JP2021071516A - 撮像装置および撮像装置の制御方法 - Google Patents
撮像装置および撮像装置の制御方法 Download PDFInfo
- Publication number
- JP2021071516A JP2021071516A JP2019196289A JP2019196289A JP2021071516A JP 2021071516 A JP2021071516 A JP 2021071516A JP 2019196289 A JP2019196289 A JP 2019196289A JP 2019196289 A JP2019196289 A JP 2019196289A JP 2021071516 A JP2021071516 A JP 2021071516A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image blur
- blur correction
- distortion
- distortion aberration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims description 49
- 238000012937 correction Methods 0.000 claims abstract description 209
- 230000004075 alteration Effects 0.000 claims abstract description 101
- 230000003287 optical effect Effects 0.000 claims abstract description 25
- 230000004907 flux Effects 0.000 claims abstract description 4
- 238000005259 measurement Methods 0.000 claims description 64
- 230000008569 process Effects 0.000 claims description 27
- 239000013598 vector Substances 0.000 description 21
- 238000006243 chemical reaction Methods 0.000 description 18
- 238000001514 detection method Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Details Of Cameras Including Film Mechanisms (AREA)
- Adjustment Of Camera Lenses (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】 像ブレの補正を行う場合において、撮像される画像とレンズの歪み特性の相関を正しく得ることができる撮像装置を提供する。【解決手段】 撮像装置は、光学系を介して被写体からの光束による像を撮像する撮像素子と、撮像素子から得られる撮像画像の像ブレを補正する像ブレ補正手段と、像ブレが補正された補正画像を記録媒体に記録する記録制御手段と、像ブレ補正手段による像ブレ補正範囲内に設定された測定位置で撮像画像を取得し、測定位置で取得された画像に含まれる歪曲収差の情報を取得する制御を行う測定手段と、を備える。【選択図】 図1
Description
本発明は、撮像装置および撮像装置の制御方法に関する。
近年、映像業界においては、旧式のレンズ(オールドレンズ)やアナモフィックレンズなどのように、撮像範囲の中央と隅で歪曲収差が大きく異なるレンズを用いて撮像された映像作品が数多くある。この種のレンズを用いた映像作品から、歪曲収差の全部または一部を除去し、あるいは歪曲収差を付加する手法も提案されている。
例えば、特許文献1では、直接レンズから焦点距離や被写体距離などを算出し、装置の振れを補正するために画像を切り出した位置(または撮像素子を駆動させた位置)や、既知の歪み特性などを用いて歪曲収差を補正することが提案されている。
例えば、レンズの歪み特性が不明である場合には、格子状のチャート等を撮像して得た画像から焦点距離ごとのレンズの歪み特性を算出することがある。
しかし、画像の切り出しによる電子的な像ブレの補正や撮像素子の駆動による像ブレの補正が行われると、レンズの光軸に対する画像の位置がシフトする。これにより、撮像された画像に生じる歪みが像ブレの補正に応じて変化するので、撮像される画像とレンズの歪み特性の相関を正しく得ることが困難になる。
しかし、画像の切り出しによる電子的な像ブレの補正や撮像素子の駆動による像ブレの補正が行われると、レンズの光軸に対する画像の位置がシフトする。これにより、撮像された画像に生じる歪みが像ブレの補正に応じて変化するので、撮像される画像とレンズの歪み特性の相関を正しく得ることが困難になる。
本発明は、上記の状況に鑑みてなされたものであって、像ブレの補正を行う場合において、撮像される画像とレンズの歪み特性の相関を正しく得ることができる撮像装置を提供する。
本発明の一例である撮像装置は、光学系を介して被写体からの光束による像を撮像する撮像素子と、撮像素子から得られる撮像画像の像ブレを補正する像ブレ補正手段と、像ブレが補正された補正画像を記録媒体に記録する記録制御手段と、像ブレ補正手段による像ブレ補正範囲内に設定された測定位置で撮像画像を取得し、測定位置で取得された画像に含まれる歪曲収差の情報を取得する制御を行う測定手段と、を備える。
本発明の一例である撮像装置によれば、像ブレの補正を行う場合において、撮像される画像とレンズの歪み特性の相関を正しく得ることができる。
以下、本発明の実施形態を図面などに基づいて詳細に説明する。各図において、同一の要素については同一の参照番号を付し、重複する説明はいずれも省略する。
<第1実施形態>
図1は、第1実施形態における撮像装置の構成例を模式的に示すブロック図である。図1では、撮像装置の一例として静止画像や動画像の撮像を行うためのレンズ交換式のデジタルカメラを示す。もっとも、本発明は、図1の構成に限定されることなく各種の撮像装置に広く適用できる。
図1は、第1実施形態における撮像装置の構成例を模式的に示すブロック図である。図1では、撮像装置の一例として静止画像や動画像の撮像を行うためのレンズ交換式のデジタルカメラを示す。もっとも、本発明は、図1の構成に限定されることなく各種の撮像装置に広く適用できる。
以下の説明では、撮像装置に加えられる振動を「振れ」と称し、撮像装置に加えられる振れによって発生する撮像画像への影響を「像ブレ」と称する。また、図2に示すように、撮像装置の回転軸は、Yaw軸、Pitch軸、Roll軸の3軸からなる。これらの軸は光軸に直交する一平面上で互いに直交した検出軸をなし、水平方向の回転軸がYaw軸、垂直方向の回転軸がPitch軸、光軸方向の回転軸がRoll軸となる。
図1に示す撮像装置100は、光学系の一例としての撮像レンズ101と、カメラ本体部を有する。撮像レンズ101は、カメラ本体部に対して着脱可能な交換レンズである。
撮像レンズ101は、変倍を行うズームレンズ102、焦点調節を行うフォーカスレンズ103を含む。撮像レンズ101は、ズーム、フォーカシング等の動作を行い、カメラ本体部の撮像素子104に被写体からの光束による光学像を結像させる。
撮像レンズ101は、変倍を行うズームレンズ102、焦点調節を行うフォーカスレンズ103を含む。撮像レンズ101は、ズーム、フォーカシング等の動作を行い、カメラ本体部の撮像素子104に被写体からの光束による光学像を結像させる。
カメラ本体部は、撮像素子104、信号処理部105、画像メモリ106、画像切り出し制御部107、表示制御部108、表示デバイス109、記録制御部110、角速度センサ112、A/D変換器113を有する。また、カメラ本体部は、動きベクトル検出部114、光学パラメータ取得部115、像ブレ補正量演算部116、電子補正量変換部117、ユーザ入力デバイス118、入力制御部119、電子補正位置制御部120を有する。
撮像素子104は、撮像レンズ101が形成する光学像を光電変換するイメージセンサである。撮像素子104は、光電変換で蓄積された電荷を読み出すことで、複数の画素からなる画像信号を信号処理部105へ供給する。撮像素子104は、例えば、XYアドレス方式のCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等で構成される。
信号処理部105は、撮像素子104から出力された画像信号にホワイトバランス調整やガンマ補正などの信号処理を施す。信号処理部105は、信号処理により生成されたフレーム画像のデータを画像メモリ106に格納する。
画像切り出し制御部107は、画像メモリ106に格納されたフレーム画像の所定の領域を切り出して新たなフレーム画像(補正画像)を生成し、切り出したフレーム画像を表示制御部108及び記録制御部110へ供給する。
画像切り出し制御部107は、所定の領域の切り出し位置を装置の振れに応じて移動させる制御を行う。これにより、画像切り出し制御部107は、装置の振れによって生じるフレーム間の被写体位置の移動(像ブレ)を補正するための電子式像ブレ補正手段として機能する。
画像切り出し制御部107は、所定の領域の切り出し位置を装置の振れに応じて移動させる制御を行う。これにより、画像切り出し制御部107は、装置の振れによって生じるフレーム間の被写体位置の移動(像ブレ)を補正するための電子式像ブレ補正手段として機能する。
なお、信号処理部105、画像切り出し制御部107で行われる一連の動作は、例えばNTSCフォーマットに準拠したビデオ信号の場合は60Hzの周期で実行される。これにより、撮像素子104から出力されるビデオ信号から動画像のデータが生成される。
表示制御部108は、表示デバイス109に画像信号を出力し、表示デバイス109に画像を表示させる。例えば、表示制御部108は、画像切り出し制御部107から供給された映像信号に基づく画像(カメラスルー画)の他、設定メニュー画像、記録済みの画像など、用途に応じて加工した画像信号を表示デバイス109に出力する。
表示デバイス109は、液晶表示素子(LCD)等の画像表示が可能な表示素子であって、表示制御部108によって駆動される。
表示デバイス109は、液晶表示素子(LCD)等の画像表示が可能な表示素子であって、表示制御部108によって駆動される。
記録制御部110は、記録媒体111に対して各種のデータの記録または読み出しを行う。記録制御部110は、例えば、記録開始や終了の指示に用いる操作手段(不図示)を介して映像信号の記録が指示されると、画像メモリ106から供給された動画像データや静止画像データを記録媒体111に記録する。
記録媒体111は、例えば、半導体メモリ等の記録媒体や、ハードディスク等で構成される。記録媒体111は、撮像装置100に着脱可能に取り付けられてもよく、撮像装置100に内蔵されていてもよい。
記録媒体111は、例えば、半導体メモリ等の記録媒体や、ハードディスク等で構成される。記録媒体111は、撮像装置100に着脱可能に取り付けられてもよく、撮像装置100に内蔵されていてもよい。
角速度センサ112は、撮像装置100に加わる振れを検出するためのセンサモジュールである。角速度センサ112が検出した振れ信号は像ブレ補正量演算部116へ供給され、像ブレ補正の制御に用いられる。
角速度センサ112は、光軸に直交する一平面上で互いに直交した検出軸をなすように、水平方向の回転軸(Yaw軸)、垂直方向の回転軸(Pitch軸)、光軸方向の回転軸(Roll軸)の3軸方向回りの振れを検出できる3つの角速度センサを含む。上記した各々の角速度センサは、撮像装置100に加わる各方向の振れの角速度を検出し、その角速度に応じた電圧を出力する。
角速度センサ112は、光軸に直交する一平面上で互いに直交した検出軸をなすように、水平方向の回転軸(Yaw軸)、垂直方向の回転軸(Pitch軸)、光軸方向の回転軸(Roll軸)の3軸方向回りの振れを検出できる3つの角速度センサを含む。上記した各々の角速度センサは、撮像装置100に加わる各方向の振れの角速度を検出し、その角速度に応じた電圧を出力する。
A/D変換器113は、角速度センサ112から出力される電圧をデジタルデータに変換して角速度データとして取り込む。A/D変換器113により取り込まれた角速度データは、像ブレ補正量演算部116に供給される。
動きベクトル検出部114は、光軸に直交する一平面上で互いに直交する2方向(図2に示す水平方向Hおよび垂直方向V)の動きベクトルを検出する。動きベクトル検出法としては、相関法やブロックマッチング法等が知られている。以下の例では、動きベクトル検出部114が、ブロックマッチング法により動きベクトルを検出する場合を説明する。
ブロックマッチング法では、まず入力画像を複数の適当なサイズのブロック(例えば、16×16画素)に分割し、前のフィールド又はフレームの一定範囲の画素との差をブロック単位で計算する。そして、対象となるブロックについて、計算した差の絶対値の和が最小となるブロックを前のフィールド又はフレームから抽出する。対象のブロックと抽出されたブロックの相対的なずれが対象のブロックの動きベクトルとして検出される。以上のようにして、画素単位での垂直方向及び水平方向各々の移動量(即ち動きベクトル)が求められる。この動きベクトルは、連続した撮像画像の単位時間当たりの移動量、すなわち撮像装置の移動量を示す。検出される動きベクトルは、水平方向ベクトル(H_Vect)、垂直方向ベクトル(V_Vect)の2成分を含む。
なお、動きベクトル検出部114が検出した動きベクトルは、像ブレ補正量演算部116へ供給され、像ブレ補正の制御に用いられる。
なお、動きベクトル検出部114が検出した動きベクトルは、像ブレ補正量演算部116へ供給され、像ブレ補正の制御に用いられる。
光学パラメータ取得部115は、交換レンズの特性情報を取得する。交換レンズの特性情報には、撮像レンズ101の光学パラメータ(撮像レンズ101の焦点距離f、絞り値、フォーカス位置など)の情報が含まれる。交換レンズの特性情報は、撮像レンズ101から直接取得するものに限定されず、ユーザ入力デバイス118などを介して入力された値を取得するものでもよい。取得された交換レンズの特性情報は、像ブレ補正量演算部116へ供給され、像ブレ補正の制御に用いられる。
像ブレ補正量演算部116は、撮像装置100に加わる振れによって生じる像ブレを補正するための補正量を演算し、当該補正量を電子補正量変換部117へ供給する。
電子補正量変換部117は、像ブレ補正量演算部116から供給された補正量を、画像切り出し制御部107で像ブレを適切に補正するための切り出し位置に変換する。切り出し位置の情報は、電子補正位置制御部120に供給される。
電子補正量変換部117は、像ブレ補正量演算部116から供給された補正量を、画像切り出し制御部107で像ブレを適切に補正するための切り出し位置に変換する。切り出し位置の情報は、電子補正位置制御部120に供給される。
ユーザ入力デバイス118は、物理的な操作スイッチやタッチパネル等を用いて、ユーザからの入力を受け付ける。例えば、ユーザ入力デバイス118は、ユーザが表示を意図する像ブレ補正画角(例えば、歪曲収差を測定する測定位置)の指定を受け付ける。この像ブレ補正画角の指定は、表示デバイス109に表示される内容に従ってユーザにより行われる。
入力制御部119は、ユーザ入力デバイス118を駆動し、ユーザによって入力や選択がされた値を処理する。例えば、入力制御部119は、ユーザ入力デバイス118が受け付けた、像ブレ補正画角に係る情報を電子補正位置制御部120に供給する。
電子補正位置制御部120は、入力制御部119から供給されるユーザの入力に基づいて、像ブレ補正画角に係る電子補正量を変換する。
電子補正位置制御部120は、入力制御部119から供給されるユーザの入力に基づいて、像ブレ補正画角に係る電子補正量を変換する。
次に、像ブレ補正量演算部116の動作について説明する。
図3は、図1に示す像ブレ補正量演算部116の動作例を説明するフローチャートである。なお、図3の処理は、例えばNTSCフォーマットに準拠したビデオ信号の場合は60Hzなど、所定の周期で繰り返し実行される。
図3は、図1に示す像ブレ補正量演算部116の動作例を説明するフローチャートである。なお、図3の処理は、例えばNTSCフォーマットに準拠したビデオ信号の場合は60Hzなど、所定の周期で繰り返し実行される。
ステップS201にて、像ブレ補正量演算部116は、光学パラメータ取得部115から交換レンズの特性情報を受ける。これにより、像ブレ補正量演算部116は、現在装着されている撮像レンズ101の光学パラメータ(撮像レンズ101の焦点距離f、絞り値、フォーカス位置など)の情報を取得できる。
なお、撮像レンズ101の光学パラメータは、上記のように交換レンズから電気的通信を介して取得してもよく、あるいはユーザ入力デバイス118などを介して手動で入力された値を取得してもよい。
なお、撮像レンズ101の光学パラメータは、上記のように交換レンズから電気的通信を介して取得してもよく、あるいはユーザ入力デバイス118などを介して手動で入力された値を取得してもよい。
ステップS202にて、像ブレ補正量演算部116は、角速度センサ112およびA/D変換器113から、Yaw、Pitch、Rollの各軸における撮像装置の振れを示す角速度データを受ける。
なお、角速度センサ112からの振れ情報は角速度であるため、低周波成分除去のためにHPFを通過し、積分器で角速度から角変位データへ変換される。上記の積分演算は、飽和を防止するために不完全積分となっており、一般的に知られている1次LPFで演算される。変換後の角変位データを、それぞれYaw_rad、Pitch_rad、Roll_radと称する。
なお、角速度センサ112からの振れ情報は角速度であるため、低周波成分除去のためにHPFを通過し、積分器で角速度から角変位データへ変換される。上記の積分演算は、飽和を防止するために不完全積分となっており、一般的に知られている1次LPFで演算される。変換後の角変位データを、それぞれYaw_rad、Pitch_rad、Roll_radと称する。
ステップS203にて、像ブレ補正量演算部116は、動きベクトル検出部114から動きベクトルの情報を受ける。
ここで、動きベクトル検出部114は、前回の像ブレ補正量演算時のフレームと、今回の像ブレ補正量演算時のフレームを用いて、両者のフレームにおける動きベクトル(H_Vect、V_Vect)を検出する。そして、動きベクトル検出部114は、ステップS203において、H_Vect、V_Vectの各値を像ブレ補正量演算部116に供給する。
ここで、動きベクトル検出部114は、前回の像ブレ補正量演算時のフレームと、今回の像ブレ補正量演算時のフレームを用いて、両者のフレームにおける動きベクトル(H_Vect、V_Vect)を検出する。そして、動きベクトル検出部114は、ステップS203において、H_Vect、V_Vectの各値を像ブレ補正量演算部116に供給する。
ステップS204にて、像ブレ補正量演算部116は、角変位データ(S202)と、動きベクトル(S203)と、撮像レンズ101の焦点距離f(S201)を用いて、Yaw、Pitch、Rollの各軸回りの像ブレ補正量を算出する。
例えば、水平方向の像ブレ補正量をH_Total、垂直方向の像ブレ補正量をV_Total、光軸回転方向の像ブレ補正量をR_Totalとする。H_Total、V_Total、R_Totalは、それぞれ以下の(式1)−(式3)により求めることができる。
例えば、水平方向の像ブレ補正量をH_Total、垂直方向の像ブレ補正量をV_Total、光軸回転方向の像ブレ補正量をR_Totalとする。H_Total、V_Total、R_Totalは、それぞれ以下の(式1)−(式3)により求めることができる。
次に、電子補正量変換部117の動作について説明する。
電子補正量変換部117は、像ブレ補正量演算部116から像ブレ補正量H_Total、V_Total、R_Totalをそれぞれ取得する。そして、電子補正量変換部117は、図1の撮像素子104の読み出し範囲、画像切り出し制御部107の可動範囲に基づいて、像ブレ補正後の画像が可動端に突き当たらないようにそれぞれの補正量に制限をかける。これにより、像ブレ補正量は、撮像素子104の読み出し範囲および画像切り出し制御部107の切り出し範囲に画像が収まる値に設定される。
電子補正量変換部117は、像ブレ補正量演算部116から像ブレ補正量H_Total、V_Total、R_Totalをそれぞれ取得する。そして、電子補正量変換部117は、図1の撮像素子104の読み出し範囲、画像切り出し制御部107の可動範囲に基づいて、像ブレ補正後の画像が可動端に突き当たらないようにそれぞれの補正量に制限をかける。これにより、像ブレ補正量は、撮像素子104の読み出し範囲および画像切り出し制御部107の切り出し範囲に画像が収まる値に設定される。
電子補正量変換部117により制限がかけられた像ブレ補正量を、それぞれH_hom_final、V_hom_final、R_hom_finalとする。H_hom_final、V_hom_final、R_hom_finalの各値は、電子補正位置制御部120に供給される。
次に、入力制御部119の動作について説明する。
図4は、図1に示す入力制御部119の動作例を説明するフローチャートである。なお、図4の処理は、ユーザの操作に応じた任意のタイミングで実行される。
図4は、図1に示す入力制御部119の動作例を説明するフローチャートである。なお、図4の処理は、ユーザの操作に応じた任意のタイミングで実行される。
ステップS301にて、入力制御部119は、歪曲収差測定モードのオン/オフの選択入力を受け付ける。ユーザ入力デバイス118を介して歪曲収差測定モードのオン(True)またはオフ(False)をユーザが選択入力すると、入力制御部119は、当該選択結果に対応する値を、変数Dist_Meas_Modeへ格納する。
例えば、歪曲収差測定モードがオン(True)であれば、Dist_Meas_Modeには1が格納され、歪曲収差測定モードがオフ(False)であれば、Dist_Meas_Modeには0が格納される。
例えば、歪曲収差測定モードがオン(True)であれば、Dist_Meas_Modeには1が格納され、歪曲収差測定モードがオフ(False)であれば、Dist_Meas_Modeには0が格納される。
ステップS302にて、入力制御部119は、Dist_Meas_ModeがTrueであるか(つまり、歪曲収差測定モードがオンであるか)を判断する。Dist_Meas_ModeがTrueの場合、処理はステップS303に移行する。一方、Dist_Meas_ModeがFalseの場合、処理はステップS306に移行する。
ステップS303にて、入力制御部119は、撮像駆動モード(撮像素子104の記録範囲のサイズ)の入力を受け付ける。ユーザ入力デバイス118を介して撮像駆動モードをユーザが選択して入力すると、入力制御部119は、当該選択結果に対応する値を変数Sens_Modeへ格納する。
本実施形態のステップS303では、撮像駆動モードとして、FullSizeまたはSuper35mmの2種類からいずれかが選択されるものとする。もっとも、ステップS303で選択可能な撮像駆動モードは、上記に限定されるものではない。
ステップS304にて、入力制御部119は、電子像ブレ補正モードの入力を受け付ける。ユーザ入力デバイス118を介して電子像ブレ補正モードをユーザが選択して入力すると、入力制御部119は、当該選択結果に対応する値を変数Stab_Modeへ格納する。
電子像ブレ補正モードとしては、強(Strength)、弱(weak)、オフのいずれかを選択することができる。電子像ブレ補正モードの強、弱は、像ブレ補正の補正倍率の大きさに対応する。電子像ブレ補正モードが強のときは、弱のときと比べて像ブレ補正の補正倍率が大きくなり、像ブレ補正で画像を切り出し可能な外縁の範囲(像ブレ補正範囲)も大きくなる。換言すれば、像ブレ補正の補正倍率が小さい場合には、像ブレ補正範囲は小さくなる。
また、電子像ブレ補正モードがオフのときは、像ブレ補正が行われない状態に相当する。なお、電子像ブレ補正モードにおける強度の刻みをより多くしてもよい。
本実施形態のステップS304では、電子像ブレ補正モードとして、強(Strength)、弱(weak)のいずれかが選択されるものとする。
本実施形態のステップS304では、電子像ブレ補正モードとして、強(Strength)、弱(weak)のいずれかが選択されるものとする。
ステップS305にて、入力制御部119は、像ブレ補正範囲内において歪曲収差を測定する測定位置の入力を受け付ける。ユーザ入力デバイス118を介して歪曲収差の測定位置をユーザが入力すると、入力制御部119は、当該入力結果に対応する値を変数Meas_Spotへ格納する。
本実施形態のステップS305では、歪曲収差の測定位置として、像ブレ補正範囲の全体(Correct_Range)または像ブレ補正範囲の4隅(右上Up_R、右下Low_R、左上Up_L、左下Low_L)のいずれかが選択されるものとする。
もっとも、ステップS305で選択可能な歪曲収差の測定位置は上記の5種類に限定されるものではなく、例えばさらに回転の場合などを含んでいてもよい。
もっとも、ステップS305で選択可能な歪曲収差の測定位置は上記の5種類に限定されるものではなく、例えばさらに回転の場合などを含んでいてもよい。
ステップS306において、入力制御部119は、ユーザの入力に基づいて格納された各変数の値(S301、S303、S304、S305)を電子補正位置制御部120へ供給する。
次に、電子補正位置制御部120の動作について説明する。
図5は、図1に示す電子補正位置制御部120の動作例を説明するフローチャートである。なお、図5の処理は、例えばNTSCフォーマットに準拠したビデオ信号の場合は60Hzなど、所定の周期で繰り返し実行される。
図5は、図1に示す電子補正位置制御部120の動作例を説明するフローチャートである。なお、図5の処理は、例えばNTSCフォーマットに準拠したビデオ信号の場合は60Hzなど、所定の周期で繰り返し実行される。
ステップS401にて、電子補正位置制御部120は、電子補正量変換部117から像ブレ補正量を取得する。
ステップS402にて、電子補正位置制御部120は、入力制御部119から歪曲収差測定モードのオン/オフを示す変数Dist_Meas_Modeの値を取得する。
ステップS402にて、電子補正位置制御部120は、入力制御部119から歪曲収差測定モードのオン/オフを示す変数Dist_Meas_Modeの値を取得する。
ステップS403にて、電子補正位置制御部120は、Dist_Meas_ModeがTrueであるか(つまり、歪曲収差測定モードがオンであるか)を判断する。Dist_Meas_ModeがTrueの場合、処理はステップS404に移行する。一方、Dist_Meas_ModeがFalseの場合、処理はステップS408に移行する。
ステップS404にて、電子補正位置制御部120は、入力制御部119から撮像駆動モードの種類を示す変数Sens_Modeの値を取得する。
ステップS405にて、電子補正位置制御部120は、入力制御部119から電子像ブレ補正モードの種類を示す変数Stab_Modeの値を取得する。
ステップS405にて、電子補正位置制御部120は、入力制御部119から電子像ブレ補正モードの種類を示す変数Stab_Modeの値を取得する。
ステップS406にて、電子補正位置制御部120は、入力制御部119から歪曲収差の測定位置を示す変数Meas_Spotの値を取得する。
ステップS407にて、電子補正位置制御部120は、ステップS404、S405、S406で取得した各条件に基づき、ステップS401で取得した像ブレ補正量がMeas_Spotとなるように補正位置を変換する。
ステップS407にて、電子補正位置制御部120は、ステップS404、S405、S406で取得した各条件に基づき、ステップS401で取得した像ブレ補正量がMeas_Spotとなるように補正位置を変換する。
ステップS408にて、電子補正位置制御部120は電子補正位置を決定する。具体的には、歪曲収差測定モードがオフである場合、電子補正位置制御部120は、ステップS401で取得した像ブレ補正量を画像切り出し制御部107へ供給する。また、歪曲収差測定モードがオンである場合、電子補正位置制御部120は、ステップS407でMeasSpotへ変換した像ブレ補正量を画像切り出し制御部107へ供給する。
図6(a)−(e)は、歪曲収差測定モードがオンであるときの表示デバイス109の画像表示例を示す。
図6(a)−(e)は、像ブレ補正量をMeas_Spotへ変換した状態の記録範囲から取得され、表示デバイス109に表示される画像である。図6(a)−(d)は、それぞれMeas_Spotが右下、左下、右上、左上であるときの画像の例である。図6(e)は、Meas_Spotが補正範囲全体であるときの画像の例である。図6(a)−(e)において、撮像素子104の撮像範囲、像ブレ補正範囲、記録範囲の関係を図中右下にそれぞれ示す。
なお、図6(a)−(e)では、いずれもSens_ModeがFullSizeに設定され、Stab_Modeが強の設定であるものとする。
図6(a)−(e)は、像ブレ補正量をMeas_Spotへ変換した状態の記録範囲から取得され、表示デバイス109に表示される画像である。図6(a)−(d)は、それぞれMeas_Spotが右下、左下、右上、左上であるときの画像の例である。図6(e)は、Meas_Spotが補正範囲全体であるときの画像の例である。図6(a)−(e)において、撮像素子104の撮像範囲、像ブレ補正範囲、記録範囲の関係を図中右下にそれぞれ示す。
なお、図6(a)−(e)では、いずれもSens_ModeがFullSizeに設定され、Stab_Modeが強の設定であるものとする。
また、図6(f)は、歪曲収差測定モードがオフのときの撮像範囲の画像を示す。図6(f)は、Sens_ModeがFullSizeで、Stab_Modeがオフの場合に相当する。
ここで、図6(e)の画像は、図6(a)−(d)の像ブレ補正範囲を縮小して全体表示したものに相当する。一方、撮像範囲の方が像ブレ補正範囲の全体よりも画角が広いので、図6(e)の画像は、図6(f)の画像をズームインしたものに相当する。
ここで、図6(e)の画像は、図6(a)−(d)の像ブレ補正範囲を縮小して全体表示したものに相当する。一方、撮像範囲の方が像ブレ補正範囲の全体よりも画角が広いので、図6(e)の画像は、図6(f)の画像をズームインしたものに相当する。
図7は、第1実施形態の歪曲収差の補正方法の例を示すフローチャートである。
ステップS501にて、歪曲収差測定モードがユーザにより選択される。
ステップS502にて、歪曲収差の測定条件がユーザによって選択される。歪曲収差の測定条件としては、撮像駆動モードSens_Mode、像ブレ補正モードStab_Mode、歪曲収差測定位置Meas_Spotに加えて、焦点距離fやフォーカス位置など、実際に撮影で用いる条件が選択される。
ステップS501にて、歪曲収差測定モードがユーザにより選択される。
ステップS502にて、歪曲収差の測定条件がユーザによって選択される。歪曲収差の測定条件としては、撮像駆動モードSens_Mode、像ブレ補正モードStab_Mode、歪曲収差測定位置Meas_Spotに加えて、焦点距離fやフォーカス位置など、実際に撮影で用いる条件が選択される。
ステップS503にて、ステップS502で選択した条件に基づいて、歪曲収差を測定する交換レンズを装着した状態で、撮像装置100によりチャートの撮像および記録が行われる(歪み有チャートの撮像)。撮像の対象となるチャートとしては、例えば、特徴点を有するとともに上下左右の比率が等しい格子状のチャートなどが使用される。
ステップS503においては、歪曲収差の測定位置が像ブレ補正範囲の全体に設定されている場合、像ブレ補正範囲の全体が例えば記録範囲の解像度で一括して1回撮像される。一方、歪曲収差の測定位置が像ブレ補正範囲の4隅のいずれかに設定されている場合、像ブレ補正範囲が撮像範囲の所望の位置に設定され、記録範囲の解像度で画像が取得される。なお、歪曲収差の測定位置を順次切り換えて、像ブレ補正範囲の4隅の画像を取得してもよい。そして、像ブレ補正範囲の4隅の画像を合成して1つの画像を生成してもよい。
ステップS504にて、ステップS503で撮像したチャートを、撮像装置100により歪曲収差のない条件で撮像および記録する(歪みなしチャートの撮像)。歪曲収差のない条件としては、例えば、S503で用いた交換レンズと焦点距離がほぼ同様で、歪曲収差がより少ない他のレンズを用いてチャートを撮像することが挙げられる。あるいは、S503で撮像したチャートの原本画像がある場合には、必要に応じて正規化しS504のチャートとして使用してもよい。
なお、ステップS504の撮像では、歪曲収差の測定位置はステップS503と同様に設定されるものとする。
なお、ステップS504の撮像では、歪曲収差の測定位置はステップS503と同様に設定されるものとする。
ステップS505にて、ステップS503、S504で記録したチャートの画像から歪曲率Dを求める。歪曲率Dは、例えば、以下の(式4)により算出される。なお、歪曲率Dの算出は、撮像装置100のプロセッサで実行されてもよく、外部のコンピュータで実行されてもよい。
図8は、第1実施形態におけるチャートの画像の例を示す図である。
図8(a)は、歪曲収差のないチャートの画像を示し、図8(b)は、歪曲収差を含むチャートの画像を示す。また、図8(c)、(d)は、歪曲収差測定モードがオンであるときのチャートの撮像範囲をそれぞれ示している。図8(c)は、図8(a)の歪曲収差のないチャートの画像に対応し、図8(d)は、図8(b)の歪曲収差を含むチャートの画像に対応する。なお、図8(c)、(d)では、Sens_ModeがFullSize、Stab_Modeが強、Meas_Spotが右上に設定されている場合の例を示す。
図8(a)は、歪曲収差のないチャートの画像を示し、図8(b)は、歪曲収差を含むチャートの画像を示す。また、図8(c)、(d)は、歪曲収差測定モードがオンであるときのチャートの撮像範囲をそれぞれ示している。図8(c)は、図8(a)の歪曲収差のないチャートの画像に対応し、図8(d)は、図8(b)の歪曲収差を含むチャートの画像に対応する。なお、図8(c)、(d)では、Sens_ModeがFullSize、Stab_Modeが強、Meas_Spotが右上に設定されている場合の例を示す。
ここで、H0は歪みのない基準となる像高(pq)を示し、Hmは歪みを含む場合の像高(pq’)を示す。また、ΔHmはH0とHmの差分(q’q)を示す。また、簡単のため、図8では任意の一点の像高を示しているが、実際には複数の像高について歪曲率Dをそれぞれ算出する必要がある。
例えば、複数の像高をH1、H2、…、Hmで表すと、各々の像高に対応する歪曲率Dは、D1、D2、…、Dmで表すことができる。これらの像高と歪曲率の情報は紐づけされて記録媒体などに記録される。
例えば、複数の像高をH1、H2、…、Hmで表すと、各々の像高に対応する歪曲率Dは、D1、D2、…、Dmで表すことができる。これらの像高と歪曲率の情報は紐づけされて記録媒体などに記録される。
ステップS506にて、ステップS505で取得された複数の像高Hmおよび歪曲率Dmに基づいて、歪曲収差の補正が行われる。歪曲収差の補正処理の方法に特に制限は無く、公知の方法を用いることができる。また、歪曲収差の補正は、撮像装置100のプロセッサで実行されてもよく、外部のコンピュータ(例えば、汎用の画像処理装置、幾何変形処理装置)で実行されてもよい。
ステップS506では、一例として、歪曲率を(式5)に示すn次多項式で近似して像高ごとの歪曲係数を求め、歪曲収差を補正してもよい。(式5)では、歪曲率D1、D2、…、Dmと、像高比Y1、Y2、…、Ymから、最小二乗法を用いて歪曲係数K0、K1、…、Knを算出する。歪曲収差の補正前の画素座標を(x,y)とし、歪曲収差の補正後の画素座標を(x0,y0)とすると、(式6)、(式7)を用いて歪曲収差を補正できる。
以上のように、撮像装置100は、装置の振れに応じて画像を切り出して像ブレを補正する。撮像装置100は、像ブレ補正範囲内の測定位置において画像に現れる歪曲収差の情報を取得し、像ブレの補正を行う場合における画像とレンズの歪み特性の相関を正しく得ることができる。これにより、第1実施形態においては、像ブレの補正が行われた画像に対して、歪曲収差の補正を高い精度で行うことができる。
第1実施形態においては、像ブレを補正する手段として、画像を切り出して電子的に像ブレを補正する構成例を説明した。しかし、後述の第2実施形態のように、電子的に像ブレを補正する代わりに撮像素子104を駆動させて像ブレを補正してもよい。この場合には、第1実施形態の像ブレ補正範囲を、撮像素子駆動範囲などに読み替えることで、第1実施形態と同様に実施できる。
また、第1実施形態では、Meas_Spotが右上に設定されている場合の処理を代表例として説明したが、上記の例に限定されず、他の位置でも同様に行うことが可能である。その他に、例えば、Meas_Spotが補正範囲全体の設定であって、像ブレ補正範囲の全体の情報を縮小して取得した場合を考える。この場合には、Stab_Modeがオフの場合の画像を基準として、上記の取得した画像との間の縮小比率から像高Hmを補正することもできる。
<第2実施形態>
図9は、第2実施形態における撮像装置の構成例を模式的に示すブロック図である。
第2実施形態においては、撮像素子を駆動させて像ブレの補正を行う。また、第2実施形態では、測定した歪曲収差の情報に基づき歪曲収差の補正を行うことが可能である。
図9は、第2実施形態における撮像装置の構成例を模式的に示すブロック図である。
第2実施形態においては、撮像素子を駆動させて像ブレの補正を行う。また、第2実施形態では、測定した歪曲収差の情報に基づき歪曲収差の補正を行うことが可能である。
図9の撮像装置200は、画像切り出し制御部107、電子補正量変換部117、電子補正位置制御部120がない点で、図1の撮像装置100と相違する。
一方、図9の撮像装置200は、撮像素子駆動量変換部121、撮像素子位置制御部122、歪曲収差測定部123、歪曲収差補正式算出部124、歪曲収差補正制御部125を有する。また、図9の撮像装置200は、位置検出部126、アンプ127、A/D変換器128、制御フィルタ129、パルス幅変調部130、モータ駆動部131、モータ132を有する。
一方、図9の撮像装置200は、撮像素子駆動量変換部121、撮像素子位置制御部122、歪曲収差測定部123、歪曲収差補正式算出部124、歪曲収差補正制御部125を有する。また、図9の撮像装置200は、位置検出部126、アンプ127、A/D変換器128、制御フィルタ129、パルス幅変調部130、モータ駆動部131、モータ132を有する。
まず、位置検出部126、アンプ127、A/D変換器128、制御フィルタ129、パルス変調部130、モータ駆動部131、モータ132の各構成を説明する。
位置検出部126は、撮像素子104の位置を検出し、検出した位置に応じた電圧を出力する。アンプ127は、位置検出部126の出力を適切な電圧範囲の信号に増幅する。A/D変換器128は、アンプ127から出力された増幅信号をデジタルデータ化し、撮像素子104の位置データとして取り込む。
位置検出部126は、撮像素子104の位置を検出し、検出した位置に応じた電圧を出力する。アンプ127は、位置検出部126の出力を適切な電圧範囲の信号に増幅する。A/D変換器128は、アンプ127から出力された増幅信号をデジタルデータ化し、撮像素子104の位置データとして取り込む。
制御フィルタ129は、撮像素子104の駆動目標位置と位置データの差分である偏差データを受ける。制御フィルタ129は、入力された偏差データに増幅及び位相補償等の種々の信号処理を施し、パルス幅変調部130に出力する。
パルス幅変調部130は、制御フィルタ129の出力を、パルス波のデューティー比を変化させる波形(即ちPWM波形)に変調して、モータ駆動部131に供給する。
モータ132は、例えばボイス・コイル型モータであり、モータ駆動部131によって駆動される。モータ132は、撮像素子104を光軸と垂直な方向に移動させる。
パルス幅変調部130は、制御フィルタ129の出力を、パルス波のデューティー比を変化させる波形(即ちPWM波形)に変調して、モータ駆動部131に供給する。
モータ132は、例えばボイス・コイル型モータであり、モータ駆動部131によって駆動される。モータ132は、撮像素子104を光軸と垂直な方向に移動させる。
ここで、モータ132によって撮像素子104が移動すると、撮像素子104の位置は位置検出部126で検出されて次の偏差データが算出される。つまり、位置制御部126、アンプ127、A/D変換器128、制御フィルタ129、パルス変調部130、モータ駆動部131、モータ132によってフィードバックループが形成されている。そして、これらの要素によって、駆動目標位置と位置データの差分が小さくなる制御が行われ、撮像素子104は駆動目標位置に追従するように駆動する。これにより、撮像素子104において像ブレ補正された補正画像を得ることができる。
次に、図9の撮像素子駆動量変換部121について説明する。
撮像素子駆動量変換部121は、像ブレ補正量演算部116から像ブレ補正量H_Total、V_Total、R_Totalをそれぞれ取得する。そして、撮像素子駆動量変換部121は、撮像素子104が光軸に対して垂直に駆動できる範囲などから、撮像素子104が駆動端に突き当たらないようにそれぞれの補正量に制限をかける。これにより、像ブレ補正量は、撮像素子104の駆動範囲に収まる値に設定される。
撮像素子駆動量変換部121は、像ブレ補正量演算部116から像ブレ補正量H_Total、V_Total、R_Totalをそれぞれ取得する。そして、撮像素子駆動量変換部121は、撮像素子104が光軸に対して垂直に駆動できる範囲などから、撮像素子104が駆動端に突き当たらないようにそれぞれの補正量に制限をかける。これにより、像ブレ補正量は、撮像素子104の駆動範囲に収まる値に設定される。
撮像素子駆動量変換部121により制限がかけられた像ブレ補正量を、それぞれH_hom_final、V_hom_final、R_hom_finalとする。H_hom_final、V_hom_final、R_hom_finalの各値は、撮像素子位置制御部122を介して、制御フィルタ129、歪曲収差測定部123に供給される。
次に、図9の撮像素子位置制御部122について説明する。
図10は、図9に示す撮像素子位置制御部122の動作例を説明するフローチャートである。なお、図10の処理は、例えばNTSCフォーマットに準拠したビデオ信号の場合は60Hzなど、所定の周期で繰り返し実行される。
図10は、図9に示す撮像素子位置制御部122の動作例を説明するフローチャートである。なお、図10の処理は、例えばNTSCフォーマットに準拠したビデオ信号の場合は60Hzなど、所定の周期で繰り返し実行される。
ステップS601にて、撮像素子位置制御部122は、撮像素子駆動量変換部121から像ブレ補正量を取得する。
ステップS602にて、撮像素子位置制御部122は、入力制御部119から歪曲収差測定モードのオン/オフを示す変数Dist_Meas_Modeの値を取得する。
ステップS602にて、撮像素子位置制御部122は、入力制御部119から歪曲収差測定モードのオン/オフを示す変数Dist_Meas_Modeの値を取得する。
ステップS603にて、撮像素子位置制御部122は、Dist_Meas_ModeがTrueであるか(つまり、歪曲収差測定モードがオンであるか)を判断する。Dist_Meas_ModeがTrueの場合、処理はステップS604に移行する。一方、Dist_Meas_ModeがFalseの場合、処理はステップS608に移行する。
ステップS604にて、撮像素子位置制御部122は、入力制御部119から撮像駆動モードの種類を示す変数Sens_Modeの値を取得する。
ステップS605にて、撮像素子位置制御部122は、入力制御部119から電子像ブレ補正モードの種類を示す変数Stab_Modeの値を取得する。
ステップS605にて、撮像素子位置制御部122は、入力制御部119から電子像ブレ補正モードの種類を示す変数Stab_Modeの値を取得する。
ステップS606にて、撮像素子位置制御部122は、入力制御部119から歪曲収差の測定位置を示す変数Meas_Spotの値を取得する。
ステップS607にて、撮像素子位置制御部122は、ステップS604、S605、S606で取得した各条件に基づき、ステップS601で取得した像ブレ補正量がMeas_Spotとなるように補正位置を変換する。
ステップS607にて、撮像素子位置制御部122は、ステップS604、S605、S606で取得した各条件に基づき、ステップS601で取得した像ブレ補正量がMeas_Spotとなるように補正位置を変換する。
ステップS608にて、撮像素子位置制御部122は撮像素子104の駆動位置を決定する。具体的には、歪曲収差測定モードがオフである場合、撮像素子位置制御部122は、ステップS601で取得した像ブレ補正量を制御フィルタ129、歪曲収差測定部123へ供給する。また、歪曲収差測定モードがオンである場合、撮像素子位置制御部122は、ステップS607でMeasSpotへ変換した像ブレ補正量を制御フィルタ128、歪曲収差測定部123へ供給する。
図11(a)−(e)は、歪曲収差測定モードがオンであるときの表示デバイス109の画像表示例を示す。
図11(a)−(e)は、像ブレ補正量をMeas_Spotへ変換した状態の記録範囲から取得され、表示デバイス109に表示される画像である。図11(a)−(d)は、それぞれMeas_Spotが右下、左下、右上、左上であるときの画像の例である。図11(e)は、Meas_Spotが補正範囲全体であるときの画像の例である。第2実施形態では撮像素子104を駆動させるので、補正範囲全体の画像を1回で撮像することはできない。そのため、第2実施形態で補正範囲全体のときの画像は、Meas_Spotが右下、左下、右上、左上の時の画像を合成して生成される。
図11(a)−(e)は、像ブレ補正量をMeas_Spotへ変換した状態の記録範囲から取得され、表示デバイス109に表示される画像である。図11(a)−(d)は、それぞれMeas_Spotが右下、左下、右上、左上であるときの画像の例である。図11(e)は、Meas_Spotが補正範囲全体であるときの画像の例である。第2実施形態では撮像素子104を駆動させるので、補正範囲全体の画像を1回で撮像することはできない。そのため、第2実施形態で補正範囲全体のときの画像は、Meas_Spotが右下、左下、右上、左上の時の画像を合成して生成される。
図11(a)−(e)において、撮像素子104の駆動範囲、像ブレ補正範囲、記録範囲の関係を図中右下にそれぞれ示す。
なお、図11(a)−(e)では、いずれもSens_ModeがFullSizeに設定され、Stab_Modeが強の設定であるものとする。
なお、図11(a)−(e)では、いずれもSens_ModeがFullSizeに設定され、Stab_Modeが強の設定であるものとする。
次に、図9の歪曲収差測定部123について説明する。
図12は、図9に示す歪曲収差測定部123の動作例を説明するフローチャートである。なお、図12の処理は、ユーザの操作に応じた任意のタイミングで実行される。
図12は、図9に示す歪曲収差測定部123の動作例を説明するフローチャートである。なお、図12の処理は、ユーザの操作に応じた任意のタイミングで実行される。
ステップS701にて、歪曲収差測定部123は、入力制御部119から歪曲収差測定モードのオン/オフを示す変数Dist_Meas_Modeの値を取得する。
ステップS702にて、歪曲収差測定部123は、Dist_Meas_ModeがTrueであるか(つまり、歪曲収差測定モードがオンであるか)を判断する。Dist_Meas_ModeがTrueの場合、処理はステップS703に移行する。一方、Dist_Meas_ModeがFalseの場合、図12の処理は終了する。
ステップS703において、歪曲収差測定部123は、入力制御部119から歪曲収差の測定条件の設定を取得する。歪曲収差の測定条件は、例えば、撮像駆動モード、電子像ブレ補正モード、歪曲収差の測定位置、交換レンズの焦点距離などを含む。
ステップS704にて、ステップS703で設定された条件に基づいて、歪曲収差を測定する交換レンズを装着した状態で、撮像装置100によりチャートの撮像および記録が行われる(歪み有チャートの撮像)。撮像の対象となるチャートとしては、例えば、特徴点を有するとともに上下左右の比率が等しい格子状のチャートなどが使用される。
ステップS704においては、歪曲収差の測定位置が像ブレ補正範囲の4隅のいずれかに設定されている場合、像ブレ補正範囲が撮像範囲の所望の位置に設定され、記録範囲の解像度で画像が取得される。一方、歪曲収差の測定位置が像ブレ補正範囲の全体に設定されている場合、歪曲収差の測定位置を順次切り換えて、像ブレ補正範囲の4隅の画像が取得される。そして、像ブレ補正範囲の4隅の画像を合成して像ブレ補正範囲の全体の画像が生成される。
ステップS705にて、ステップS704で撮像したチャートを、撮像装置100により歪曲収差のない条件で撮像および記録する(歪みなしチャートの撮像)。歪曲収差のない条件としては、例えば、S704で用いた交換レンズと焦点距離がほぼ同様で、歪曲収差がより少ない他のレンズを用いてチャートを撮像することが挙げられる。あるいは、S704で撮像したチャートの原本画像がある場合には、必要に応じて正規化しS705のチャートとして使用してもよい。
なお、ステップS705の撮像では、歪曲収差の測定位置はステップS503と同様に設定されるものとする。
なお、ステップS705の撮像では、歪曲収差の測定位置はステップS503と同様に設定されるものとする。
ステップS706にて、歪曲収差測定部123は、ステップS704、S705で記録したチャートの画像から歪曲率Dmを求める。
例えば、歪曲収差測定部123は、特徴点をブロックマッチングなどで自動検出し、各像高における歪曲率Dmを算出する。歪曲率の算出手法は、第1実施形態と同様の手法を採用してもよく、他の公知の方法で歪曲率を算出してもよい。
例えば、歪曲収差測定部123は、特徴点をブロックマッチングなどで自動検出し、各像高における歪曲率Dmを算出する。歪曲率の算出手法は、第1実施形態と同様の手法を採用してもよく、他の公知の方法で歪曲率を算出してもよい。
ステップS707にて、歪曲収差測定部123は、他の焦点距離での歪曲率の算出が必要かを判断する。なお、歪曲率の算出は、交換レンズで使用しうるすべての焦点距離で個別に行わなくともよく、ズーム範囲内の焦点距離を適宜間引きして歪曲率を算出してもよい。
他の焦点距離での歪曲率の算出が必要である場合、ステップS703に戻って処理がループする。これにより、ステップS703からS707の処理が繰り返されることで、複数の焦点距離において各像高における歪曲率Dmが算出される。
一方、他の焦点距離での歪曲率の算出が必要ではない場合、ステップS708に処理が移行する。
一方、他の焦点距離での歪曲率の算出が必要ではない場合、ステップS708に処理が移行する。
ステップS708にて、歪曲収差測定部123は、同じ焦点距離における各像高の歪曲率Dmを曲線で補間する。そして、歪曲収差測定部123は、上記補間後の歪曲率Dmのデータを、焦点距離毎にテーブル形式のデータとして記憶媒体に記録する。その後、歪曲収差測定部123は、補間した焦点距離毎の歪曲率と、歪曲収差を補正する交換レンズの焦点距離、撮像素子位置制御部122から取得した像ブレ補正量を、歪曲収差補正式算出部124へ供給する。
次に、図9の歪曲収差補正式算出部124について説明する。
図13は、図9に示す歪曲収差補正式算出部124の動作例を説明するフローチャートである。なお、図13の処理は、例えばNTSCフォーマットに準拠したビデオ信号の場合は60Hzなど、所定の周期で繰り返し実行される。
図13は、図9に示す歪曲収差補正式算出部124の動作例を説明するフローチャートである。なお、図13の処理は、例えばNTSCフォーマットに準拠したビデオ信号の場合は60Hzなど、所定の周期で繰り返し実行される。
ステップS801にて、歪曲収差補正式算出部124は、入力制御部119から歪曲収差測定モードのオン/オフを示す変数Dist_Meas_Modeの値を取得する。
ステップS802にて、歪曲収差補正式算出部124は、Dist_Meas_ModeがTrueであるか(つまり、歪曲収差測定モードがオンであるか)を判断する。Dist_Meas_ModeがFalseの場合、処理はステップS803に移行する。一方、Dist_Meas_ModeがTrueの場合、図13の処理は終了する。
つまり、歪曲収差測定モードで歪曲収差を測定する場合には、後述のステップS803、S804の処理はいずれもスキップされる。この場合には、歪曲収差補正式算出部124および歪曲収差補正制御部125による補正処理は行われない。
一方、歪曲収差測定モードで測定された歪曲収差の情報(S708)が予め記憶媒体に存在し、歪曲収差測定モードがオフである場合(例えば、歪曲収差の補正を行う設定がオンの場合)には、後述のステップS803、S804の処理が行われる。
一方、歪曲収差測定モードで測定された歪曲収差の情報(S708)が予め記憶媒体に存在し、歪曲収差測定モードがオフである場合(例えば、歪曲収差の補正を行う設定がオンの場合)には、後述のステップS803、S804の処理が行われる。
ステップS803にて、歪曲収差補正式算出部124は、提供される像ブレ補正量、実際の撮像で使用する焦点距離f、補間した焦点距離毎の歪曲率の各情報を、歪曲収差測定部123から取得する。
ステップS804にて、歪曲収差補正式算出部124は、ステップS803で取得した像ブレ補正量から歪曲収差補正の中心座標と、歪曲収差の補正式を算出する。歪曲収差補正の中心座標は、像高(pq)を求めるときに基準となる座標である。そして、歪曲収差補正式算出部124は、算出した歪曲収差補正の中心座標と、歪曲収差の補正式を歪曲収差補正制御部125へ供給する。これらの算出は、第1実施形態で説明した手法に基づくものでもよく、他の公知の方法で算出されてもよい。
その後、図13の処理は終了する。
その後、図13の処理は終了する。
次に、図9の歪曲収差補正制御部125について説明する。
歪曲収差補正制御部125は、歪曲収差の補正を行う設定がオンの場合に以下の処理を行う。
歪曲収差補正制御部125は、画像メモリ106から供給される画像のデータと、歪曲収差補正式算出部124から供給される歪曲収差補正の中心座標および歪曲収差の補正式を用いて、画像の歪曲収差を補正する。歪曲収差の補正は、第1実施形態のステップS506で説明した手法に基づくものでもよく、他の公知の方法で補正されてもよい。
歪曲収差補正制御部125は、歪曲収差の補正を行う設定がオンの場合に以下の処理を行う。
歪曲収差補正制御部125は、画像メモリ106から供給される画像のデータと、歪曲収差補正式算出部124から供給される歪曲収差補正の中心座標および歪曲収差の補正式を用いて、画像の歪曲収差を補正する。歪曲収差の補正は、第1実施形態のステップS506で説明した手法に基づくものでもよく、他の公知の方法で補正されてもよい。
以上のように、撮像装置200は、装置の振れに応じて撮像素子104を駆動させて像ブレを補正する。撮像装置200は、像ブレ補正範囲内の測定位置において画像に現れる歪曲収差の情報を取得し、像ブレの補正を行う場合における画像とレンズの歪み特性の相関を正しく得ることができる。これにより、第2実施形態においては、像ブレの補正が行われた画像に対して、歪曲収差の補正を高い精度で行うことができる。
また、第2実施形態では、歪曲収差測定モードで取得した歪曲収差の情報を用いて、歪曲収差補正式算出部124および歪曲収差補正制御部125で歪曲収差の補正が行われる。この歪曲収差の補正では、像ブレ補正による歪曲収差補正の中心座標を算出することで、適切な歪曲収差の補正を行いつつ画像を記録することが可能となる。また、第2実施形態では、焦点距離毎の歪曲率を算出することで、実際の撮像時に焦点距離が変更されたときにも、事前に測定した歪曲率から焦点距離に応じた歪曲収差の補正がリアルタイムで可能となる。
なお、第2実施形態においても、撮像素子104を駆動させて像ブレを補正する代わりに、第1実施形態で説明したように画像を切り出して電子的に像ブレを補正する構成としてもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
例えば、歪曲収差の測定位置は、上記実施形態の例に限定されるものではない。例えば、像ブレ補正範囲の任意の2隅ないし3隅を撮像し、補正画像の画角よりも広い範囲で歪曲収差を取得するようにしてもよい。また、測定位置は、像ブレ補正範囲の隅よりも内側に位置していてもよい。
また、像ブレ補正範囲の全体を一括して撮像する場合には、取得する画像の撮像範囲が像ブレ補正範囲の全体よりも小さいサイズであってもよい。
また、像ブレ補正範囲の全体を一括して撮像する場合には、取得する画像の撮像範囲が像ブレ補正範囲の全体よりも小さいサイズであってもよい。
上記の各実施形態では、振れ検出手段の一例として角速度センサを用いて説明してきたが、その他の振れ検出手段を用いてもよい。例えば、上記実施形態において、加速度センサを用いて加速度から振れ量を算出してもよく、複数のセンサを組み合わせて振れを検出することで装置の振れ量を算出してもよい。
100、200…撮像装置、101…レンズユニット、104…撮像素子、107…画像切り出し制御部、114…動きベクトル検出部、115…光学パラメータ取得部、116…像ブレ補正量演算部、117…電子補正量変換部、119…入力制御部、120…電子補正位置制御部、121…撮像素子駆動量変換部、122…撮像素子位置制御部、123…歪曲収差測定部、124…歪曲収差補正式算出部、125…歪曲収差補正制御部、132…モータ
Claims (10)
- 光学系を介して被写体からの光束による像を撮像する撮像素子と、
前記撮像素子から得られる撮像画像の像ブレを補正する像ブレ補正手段と、
前記像ブレが補正された補正画像を記録媒体に記録する記録制御手段と、
前記像ブレ補正手段による像ブレ補正範囲内に設定された測定位置で前記撮像画像を取得し、前記測定位置で取得された画像に含まれる歪曲収差の情報を取得する制御を行う測定手段と、
を備えることを特徴とする撮像装置。 - 前記測定手段は、複数の前記測定位置で前記撮像画像をそれぞれ取得することで前記補正画像の画角よりも広い範囲から前記歪曲収差の情報を取得する
ことを特徴とする請求項1に記載の撮像装置。 - 前記測定手段は、前記像ブレ補正範囲の4隅に対応する複数の前記測定位置でそれぞれ前記撮像画像を取得する
ことを特徴とする請求項2に記載の撮像装置。 - 前記測定手段は、前記補正画像の画角よりも広い範囲を一括して撮像した画像から前記歪曲収差の情報を取得する
ことを特徴とする請求項1に記載の撮像装置。 - 前記像ブレ補正手段は、前記像ブレに応じて前記撮像画像から前記補正画像を切り出す位置を制御する制御部、または前記像ブレに応じて前記撮像素子の位置を移動させる駆動部を有する
ことを特徴とする請求項1乃至4のいずれか一項に記載の撮像装置。 - 前記測定位置を指定する入力を受け付ける入力制御部をさらに備える
ことを特徴とする請求項1乃至5のいずれか一項に記載の撮像装置。 - 前記像ブレ補正手段による前記像ブレ補正の補正倍率の入力を受け付ける入力制御部をさらに備え、
前記像ブレ補正範囲は、前記補正倍率の大きさに応じて決定される
ことを特徴とする請求項1乃至6のいずれか一項に記載の撮像装置。 - 前記光学系の焦点距離の情報を取得するパラメータ取得部をさらに備え、
前記測定手段は、前記光学系の焦点距離に応じて、前記測定位置で取得された画像に含まれる歪曲収差の情報を取得する制御を行う
ことを特徴とする請求項1乃至7のいずれか一項に記載の撮像装置。 - 前記測定手段により取得した前記歪曲収差の情報を用いて、前記補正画像に含まれる歪曲収差を補正する歪曲収差補正手段をさらに備える
ことを特徴とする請求項1乃至8のいずれか一項に記載の撮像装置。 - 光学系を介して被写体からの光束による像を撮像する撮像素子と、
前記撮像素子から得られる撮像画像の像ブレを補正する像ブレ補正手段と、
前記像ブレが補正された状態の補正画像を記録媒体に記録する記録制御手段と、を備える撮像装置の制御方法であって、
前記像ブレ補正手段による像ブレ補正範囲内に設定された測定位置で前記撮像画像を取得する工程と、
前記測定位置で取得された画像に含まれる歪曲収差の情報を取得する工程と、
を有することを特徴とする方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019196289A JP2021071516A (ja) | 2019-10-29 | 2019-10-29 | 撮像装置および撮像装置の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019196289A JP2021071516A (ja) | 2019-10-29 | 2019-10-29 | 撮像装置および撮像装置の制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021071516A true JP2021071516A (ja) | 2021-05-06 |
Family
ID=75712929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019196289A Pending JP2021071516A (ja) | 2019-10-29 | 2019-10-29 | 撮像装置および撮像装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021071516A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023031578A1 (en) * | 2021-09-02 | 2023-03-09 | Cooke Optics Limited | Apparatuses, methods and computer programmes for use in modelling images captured by anamorphic lenses |
-
2019
- 2019-10-29 JP JP2019196289A patent/JP2021071516A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023031578A1 (en) * | 2021-09-02 | 2023-03-09 | Cooke Optics Limited | Apparatuses, methods and computer programmes for use in modelling images captured by anamorphic lenses |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8593533B2 (en) | Image processing apparatus, image-pickup apparatus, and image processing method | |
US20080309772A1 (en) | Image pickup apparatus and method, lens unit and computer executable program | |
CN108737726B (zh) | 图像处理设备和方法、摄像设备和计算机可读存储介质 | |
US9338355B2 (en) | Image capturing apparatus, control method thereof, and storage medium | |
US7286160B2 (en) | Method for image data print control, electronic camera and camera system | |
JP2011029735A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
US8274568B2 (en) | Method for image data print control, electronic camera and camera system | |
JP6526273B2 (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
EP3783879B1 (en) | Image stabilization apparatus, method of controlling the same, program and storage medium | |
JP6420888B2 (ja) | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 | |
JP2021071516A (ja) | 撮像装置および撮像装置の制御方法 | |
JP2008116663A (ja) | 撮像装置 | |
JP6016622B2 (ja) | 撮像装置及びその制御方法、並びにプログラム | |
KR20100046544A (ko) | 영상 왜곡 보정 방법 및 장치 | |
EP3836540B1 (en) | Image processing apparatus and image capturing apparatus | |
JP2021097402A (ja) | 画像処理装置および撮像装置 | |
JP2022120683A (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
JP6257289B2 (ja) | 画像処理装置およびそれを備えた撮像装置、画像処理方法 | |
JP2011135537A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2012186718A (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
JP2022170436A (ja) | 撮像装置及びその制御方法及びプログラム | |
JP2009159404A (ja) | 画像処理方法、画像処理装置及び画像形成装置 | |
JP2022124464A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2007019743A (ja) | 像ブレ検出装置及び電子カメラ | |
JP2010239189A (ja) | 撮影装置及び画像処理装置 |