JP2015201691A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】マクロ撮影時における装置の前後振れによる画角変化を補正することができる撮像装置を提供する。【解決手段】被写体に近接して撮影を行うマクロ撮影の機能を有する撮像装置１００を設ける。マクロ撮影時に、撮像装置１００が備えるμＣＯＭ１０１が、撮像装置１００の光軸方向の前後振れが発生したかを判断する。前後振れが発生したと判断された場合に、μＣＯＭ１０１が備える画像変形量演算部１１９が、前後振れによって生じる撮影画像の画角変化を補正するための補正量を演算し、画像変形部１２５が、演算された補正量に基づいて撮影画像を拡大または縮小する。【選択図】図１

Description

本発明は、撮像装置およびその制御方法に関する。

ブレ補正機能を有するデジタルビデオカメラ等の撮像装置が提案されている。ブレ補正機能は、例えば、撮像装置の振れを検出し、検出した振れに基づいて補正レンズ等を駆動させる、あるいは撮像素子の読み出し位置を変更することで、撮影画像にブレ（像ブレ）を生じさせない機能である。撮像装置は、例えば、撮影者の撮影状況（静止して撮影しているか、歩行しながら撮影しているかなど）や、焦点距離の大きさによって適したブレ補正が行われるように制御方法を変えている。特許文献１は、被写体に接近して撮影するマクロ撮影の機能を備えた撮像装置におけるブレ補正技術を開示している。

特開２００７−１２７９５９号公報

特許文献１が開示する撮像装置は、装置の回転ブレと並進ブレとを別々に検出し、マクロ撮影時に影響が大きい並進ブレに重み付けをしてブレ補正を行う。しかし、この撮像装置では、光軸方向（前後方向）の振れ（前後振れ）は考慮されていない。したがって、この撮像装置では、被写体距離が小さい場合には、画角に占める被写体の割合が大きく、光軸方向の手振れにより撮影画像の画角変化が目立ってしまうので、マクロ撮影時における適切な像ブレ補正を行うことができない。

本発明は、マクロ撮影時における装置の前後振れによる画角変化を補正することができる撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、被写体に近接して撮影を行うマクロ撮影の機能を有する撮像装置であって、マクロ撮影時に、前記撮像装置の光軸方向の前後振れが発生したかを判断する判断手段と、前記前後振れが発生したと判断された場合に、当該前後振れによって生じる撮影画像の画角変化を補正する制御手段とを備える。

本発明の撮像装置によれば、マクロ撮影時における装置の前後振れによる画角変化を補正することが可能となる。

実施例１の撮像装置の構成を示す図である。 画角変化補正量の演算処理を説明する図である。 撮影画像の拡大または縮小処理を説明する図である。 電子切り出し補正の例を説明する図である。 電子切り出し補正とともに行う画角変化補正を説明する図である。 ズレ量ｂｌｕｒと画角変化量αの算出を説明する図である 画像変形量演算部の処理の例を説明するフローチャートである。 実施例２の撮像装置の構成を示す図である。

（実施例１）
まず、本明細書において使用する用語の定義について説明する。撮像装置に加えられる振動を「振れ」と記述する。撮像装置に加えられる振れによって発生する撮影画像のフレーム間の被写体位置ずれ、もしくは被写体像のボケを「ブレ」と記述する。また、撮像装置が光軸と垂直方向に振れることを「縦横振れ」と記述する。特に、横方向の振れのみを言及する場合は「横振れ」、縦方向の振れのみを言及する場合は「縦振れ」と記述する。また、光軸方向に振れることを「前後振れ」と記述する。また、前後振れによって撮影画像における被写体が拡大、または縮小される変化を「画角変化」と記述する。

図１は、実施例１の撮像装置の構成例を示す図である。
図１に撮像装置１００は、デジタルビデオカメラである。撮像装置１００は、マイクロコンピュータ（μＣＯＭ）１０１乃至表示デバイス１２９を備える。

μＣＯＭ１０１は、撮像装置１００が備える各処理部を制御する。角速度センサ１０２は、撮像装置１００に加わる縦横振れを角速度信号として検出し、検出した角速度信号をＡ／Ｄ変換器１０３に供給する。Ａ／Ｄ変換器１０３は、角速度センサ１０１からの角速度信号をデジタル化してμＣＯＭ１０１内部のレンズ駆動量演算部１０４に供給する。以下では、Ａ／Ｄ変換器１０３の出力を角速度データと定義する。レンズ駆動量演算部１０４は、角速度データに基づいて、補正光学系１１６を駆動するための駆動量を算出し、減算器１０５に供給する。

減算器１０５は、位置データをレンズ駆動量演算部１０４の出力から減算し、減算結果である偏差データを制御フィルタ１０６に供給する。位置データとは、補正光学系１１６の位置を示すデータである。位置データは、補正光学系１１６の位置を検出する位置検出センサ１１２のアナログ出力をＡ／Ｄ変換器１１３にてデジタル信号に変換することで得。端子Ｂ１１１と端子Ｂ１１５とは、各々が電気的に接続されている。

制御フィルタ１０６は、入力データを所定のゲインで増幅する増幅器と位相補償フィルタを有する。減算器１０５から供給された偏差データは、制御フィルタ１０６において増幅器及び位相補償フィルタによる信号処理が行われた後、パルス幅変調部１０７に出力される。

パルス幅変調部１０７は、制御フィルタ１０６を通過して供給されたデータを、パルス波のデューティー比を変化させる波形（即ちＰＷＭ波形）に変調して、モータ駆動部１０８に供給する。モータ１０９は、補正光学系１１６の駆動用のボイス・コイル型モータである。モータ１０９は、モータ駆動部１０８に駆動されることにより、補正光学系１１６が光軸と垂直な方向に移動される。端子Ａ１１０と端子Ａ１１４とは、各々が電気的に接続されている。

位置検出センサ１１２は、磁石と、磁石に対向する位置に備えられたホール・センサとを有する。位置検出センサ１１２は、補正光学系１１６の光軸と垂直な方向への移動量を検出し、その検出結果をＡ／Ｄ変換器１１３を介して、減算器１０５に供給する。これにより、レンズ駆動量演算部１０４の出力に対して、補正光学系１１６の光軸と垂直な方向への移動量を追従させる、フィードバック制御系が構成される。

補正光学系１１６は、例えばシフトレンズ等の振れ補正手段として機能する。すなわち、補正光学系１１６は、モータ１０９によって駆動されることにより、光軸に対し垂直平面上を移動して、光軸を偏向する。これにより、撮像装置１００に加わる振れにより生じる撮像面上の被写体の縦横方向のブレが補正された像が撮像素子１２０に結像される。

撮像素子１２０は、補正光学系１１６を含む撮像光学系１１７によって結像された被写体像を撮影画像信号としての電気信号に変換し、信号処理部１２１に供給する。信号処理部１２１は、撮像素子１２０により得られた信号から、例えばＮＴＳＣフォーマットに準拠したビデオ信号（映像信号）を生成して、画像メモリ１２５と動き検出部１２３に供給する。画像メモリ１２５は、供給された映像信号に係る画像を記憶する。

画像変形量演算部１１９は、動きベクトル検出部１１８が検出する動きベクトルに基づいて、撮影画像のブレおよび画角を補正するための補正量である画像変形量を算出し、画像変形部１２５に算出した画像変形量を設定する。画像変形量は、前後振れによる撮影画像の画角変化を補正するための画角変化補正量と、縦横振れによる撮影画像のブレを補正するためのブレ補正情報とを含む。画像変形量演算部１１９の処理の詳細については、後述する。

画像変形部１２５は、画像変形量演算部１１９によって算出された画角変化補正量に基づいて、画像メモリ１２５に格納された画像を変形することによって、撮影画像のブレおよび画角を補正し、記録制御部１２６及び表示制御部１２８に出力する。ここで、撮像装置１００は、マクロ撮影の機能を有し、撮影モードの一つとして、マクロ撮影モードを備える。マクロ撮影モードは、被写体に近接して撮影するマクロ撮影を実行する撮影モードである。

明確にマクロ撮影モードというモードが存在しなくとも、被写体距離が所定値より小さいときに処理内容を変える場合は、これもマクロ撮影モードに該当する。マクロ撮影モードへの移行方法は、不図示の被写体距離検出手段によって被写体距離が所定値より小さい場合に自動で移行する方法、または不図示のモード切り替え手段によって撮影者が切り替える方法のうちのいずれでもよい。画像変形量演算部１１９は、マクロ撮影モード時に、撮像装置１００の前後振れによる画角変化を補正するための補正量（画角変化補正量）を算出する。

表示制御部１２８は、画像変形部１２５から供給された映像信号を出力して表示デバイス１２９に画像を表示させる。表示制御部１２８は、表示デバイス１２９を駆動し、表示デバイス１２９は、液晶表示素子（ＬＣＤ）等により画像を表示する。また、記録制御部１２６は、記録開始や終了の指示に用いる操作部（不図示）によって映像信号の記録が指示された場合、画像変形部１２５から供給された映像信号を記録媒体１２７に出力し、記録させる。記録媒体１２７は、半導体メモリ等の情報記録媒体やハードディスク等の磁気記録媒体である。

動きベクトル検出部１１８は、画像の動きベクトルを検出するベクトル検出手段として機能する。具体的には、動きベクトル検出部１１８は、信号処理部１２１で生成された現在の映像信号に含まれる輝度信号と、画像メモリ１２２に格納された１フィールドまたは１フレーム前の映像信号に含まれる輝度信号とに基づいて、画像の動きベクトルを検出する。

動きベクトルの検出方法としては、例えば、公知のブロックマッチング法などを用いる。ブロックマッチング法は、撮影画像をブロックと呼ばれる領域に分割し、例えば１フレーム前の撮影画像と現在の撮影画像と類似箇所を前記ブロック単位で検出する方法である。１フレーム前の撮影画像内の任意の範囲において、現在の撮影画像内の任意ブロックとの相関値が最も大きい個所を類似ブロック位置とする。現在の撮影画像内の任意ブロック位置と１フレーム前の撮影画像内の類似ブロック位置との変位量を求め、撮影画像のフレーム間の動き情報、すなわち動きベクトルを検出する。なお、ブロックマッチング法は動きベクトル検出部１１１における動きベクトル検出方法の一例であり、動きベクトル検出には、ブロックマッチング法以外の方法を用いてもよい。また、マッチング演算については、以下の参考文献において詳述されている。
参考文献：情報処理Vol.17,No.7,p.634 〜640 July 1976 ，尾上守夫等

図２は、画角変化補正量の演算処理を説明する図である。
図２中では、被写体が撮像面へ投影されている。説明を簡単にするため、撮像装置１００に生じる振れは前後振れのみであるものとして説明する。

撮像面Ｉ（ｔ）は、時刻ｔに取得される撮像面を示す。撮像面Ｉ（ｔ）上の座標は、ｕｖ平面座標として定義し、ｕｖ平面座標の原点（０，０）は、ＸＹＺ空間座標における（０，０，ｄ１）と一致しているものとする。ｄ１は、０≦ｄ１＜ｘを満たす任意の値である。

ｕｖ平面座標上の座標Ｐ（ｕ，ｖ）は、ＸＹＺ空間座標上の被写体Ａ（Ｘ，Ｙ，Ｚ）が、撮像面Ｉ（ｔ）に投影されたときの座標である。撮像面Ｉ（ｔ＋１）は、時刻ｔ＋１における撮像面を表す。撮像面Ｉ（ｔ＋１）上の座標は、ｕｖ平面と区別するためにｉｊ平面として表す。Ｐ（ｉ，ｊ）は、ＸＹＺ空間座標上の被写体Ａ（Ｘ，Ｙ，Ｚ）が、撮像面Ｉ（ｔ＋１）に投影されたときの座標である。ｉｊ平面座標の原点（０，０）は、ＸＹＺ空間座標における（０，０，ｄ２）と一致しているものとする。ｄ２は、ｄ１≦ｄ２＜ｘを満たす任意の値である。また、撮像面Ｉ（ｔ）を撮像した撮影画像は、撮像面Ｉ（ｔ＋１）を撮像した撮影画像の１つ前の撮影画像である。

時刻ｔ＋１における撮像装置１００の位置は、時刻ｔにおける撮像装置１００の位置よりも被写体Ａに近くなる。これにより、画角変化が生じ、撮像面上の被写体Ａ位置が、Ｐ（ｕ，ｖ）からＰ（ｉ，ｊ）に変化する。ただし、撮像装置１００の焦点距離は時刻ｔと時刻ｔ＋１とで変化しないものとし、画角変化は撮像装置１００の前後振れのみが影響しているものとする。このとき、Ｐ（ｕ，ｖ）からＰ（ｉ，ｊ）は、１フレーム間の被写体の位置の変化情報として、動きベクトル検出部１１８によって検出される。

ここで、撮像面Ｉ（ｔ）と撮像面（ｔ＋１）とで、以下の式（１）が成り立つ。
ｉ＝α＊ｕ・・・式（１）
式（１）は、ｕのα倍がｉとなることを表した式である。以下では、αのように画角変化による被写体位置の変化量を画角変化量と記載する。αの算出方法は、式（１）より以下のように求めることができる。
α＝ｉ／ｕ・・・式（２）

時刻ｔ＋１における時刻ｔからの画角変化を補正するためには、撮像面Ｉ（ｔ＋１）における被写体Ａの位置を撮像面（ｔ）におけるＰ（ｕ，ｖ）に対応する位置に補正すればよい。補正後の撮像面Ｉ（ｔ＋１）上の被写体Ａ位置をＰ（ｉ’，ｊ’）とすると、ｉ’、ｊ’は、下記の式（３）、式（４）のように算出できる。
ｉ’＝（１／α）＊ｉ・・・式（３）
ｊ’＝（１／α）＊ｊ・・・式（４）

すなわち、画像変形量演算部１１９は、画角変化量αを式（２）により算出し、画角変化補正量として１／αを画像変形部１２５に供給する。画像変形部１２５は、時刻ｔ＋１に取得した撮影画像を式（３）、式（４）に示すように１／α倍することで、前後振れによる画角変化を補正する。

図３は、撮影画像の拡大または縮小処理を説明する図である。
図３を参照して、画像変形部１２５による、画像メモリ１２２内の画像の拡大または縮小処理について説明する。

図３（Ａ）は、画像の拡大処理を示す。なお、以下では画像メモリ１２２に記録される画像を撮影画像、画像変形部１２５で補正された後の画像を表示画像と記載する。また、撮影画像の解像度は表示画像の解像度以上であるとする。

画像変形部１２５は、拡大処理前の表示領域、すなわち前回、撮影画像の中から表示画像用に切り出した領域の中の点線で示す領域を拡大し、表示画像用の解像度とすることで、前後振れによる画角変化を補正する。

表示画像用の解像度とは、例えばフルＨＤにおける１９２０ｘ１０８０である。補正前の表示画像の水平画素数をＸ１、点線で示す拡大領域の水平画素数をＸ２、画像変形量演算部による画角変化補正量を１／β（β＜１）とすると、画像変形部１２５は、Ｘ２を１／β倍することでＸ１と同じ水平画素数とする。

Ｘ２を１／β倍する例として、画像変形部１２５は、画像内の画素間の画素を補間し、補間画素を生成する。例えば、画像変形部１２５は、画素値Ａと画素値Ｂの隣接する画素間に、画素値（Ａ＋Ｂ）／２の画素を生成し、２画素から３画素にすることで拡大を実現する。ただし、画像を電子的に拡大する方法は、上述した方法以外の方法であってもよい。

図３（Ｂ）は、画像の縮小処理を示す。画像の縮小処理に関しては、縮小処理前の表示画像より外側の領域を用いる。縮小処理前の表示画像より外側の領域を余剰領域と呼ぶ。画像変形部１２５は、縮小処理前の表示画像の外側の余剰領域を用いて、点線で示す縮小領域を表示画像用の解像度にすることで画像を電子的に縮小する。この縮小処理により前後振れによる画角変化が補正される。表示画像の水平画素数をＸ３、点線で示す縮小領域の水平画素数をＸ４、画像変形量演算部による画角変化補正量を１／γ（１＜γ）とすると、Ｘ４を１／β倍することでＸ３と同じ水平画素数とする。

画像変形部１２５は、画像内の画素間の画素を平均化し、画素数を減少させる。画像変形部１２５は、例えば、画素値Ａと画素値Ｂの隣接する画素間に、画素値（Ａ＋Ｂ）／２の画素を生成し、前記隣接する２画素を１画素にまとめることで、縮小処理前の水平画素数Ｘ４から表示画像用の水平画素数Ｘ３に減らす。ただし、画像を電子的に縮小する方法は、上記の方法以外であってもよい。

撮像装置１００の前後振れによる画角変化の補正方法は前述のとおりであるが、画像変形部１２５は撮影画像の画角変化の補正のみならず、撮影画像内の表示領域の位置を変えることができるものとする。画像変形部１２５が、撮影画像内の表示領域の位置を変えること（以下、電子切り出し補正）によって、縦横振れによる撮影画像のブレを、補正光学系１１６の駆動による補正と、電子切り出し補正とで補正することができる。

図４は、電子切り出し補正の例を説明する図である。
図４（Ａ）は、時刻ｔにおける撮影画像を示す。図４（Ｂ）は、時刻ｔ＋１における撮影画像を示す。図４（Ｂ）の撮影画像は、撮像装置１００の横振れによって、被写体位置がズレ量ｂｌｕｒだけズレている。以下では、横振れのみについて記述するが、縦方向の振れについても、処理内容は同じである。

動きベクトル検出部１１８が、ズレ量ｂｌｕｒを検出し、画像変形量演算部１１９に供給する。画像変形量演算部１１９が、電子切り出し位置を画像変形部１２５に供給する。この電子切り出し位置が、縦横振れにより生じる撮影画像のブレを補正するためのブレ補正情報に相当する。画像変形部１２５では、供給された電子切り出し位置に基づいて、撮影画像から表示画像を切り出して、記録制御部１２６と表示制御部１２８とに出力する。

表示画像切り出し位置について説明する。図４（Ａ）中では、撮影画像の左上端を（０，０）とする。時刻ｔにおける表示画像切り出し位置の左上端は（ｍ，ｎ）である。図４（Ｂ）に示すように、時刻ｔ＋１における表示画像切り出し位置の左上端を（ｍ＋ｂｌｕｒ，ｎ）とすれば、表示画像上は、時刻ｔと時刻ｔ＋１とで、撮像装置の横振れによる撮影画像のブレを補正することが可能となる。

前後振れに対する画角変化補正と、縦横振れに対する電子切り出し補正とを別々に説明したが、以下では画角変化補正と電子切り出し補正とを同時に行う場合の処理について説明する。

図５は、電子切り出し補正とともに行う画角変化補正を説明する図である。
図２を用いて説明した画角変化補正との差異は、図５では、時刻ｔにおける撮像面Ｉ（ｔ＋１）に横方向の振れによる位置ズレが生じている点である。Ｉ（ｔ＋１）上の座標は図２と同じくｉｊ平面として表す。Ｐ（ｉ１，ｊ１）は、ＸＹＺ空間座標上の被写体Ａ（Ｘ，Ｙ，Ｚ）が、撮像面Ｉ（ｔ＋１）に投影されたときの座標である。ｉｊ平面座標の原点（０，０）は、ＸＹＺ空間座標における（０，−ｉｂ，ｄ２）と一致しているものとする。ここで、ｉｂはＸＹＺ空間座標上のＸ軸方向の振れ（横振れ）による撮像面Ｉ（ｔ＋１）のｉ軸方向のブレ量を示している。なお、撮影画像上でブレ量ｉｂに相当する位置ズレ量は、図４で示したｂｌｕｒに対応するものとする。

画像変形量演算部１１９は、切り出し位置（ｍ＋ｂｌｕｒ，ｎ）と、式（２）で示される画角変化量αとを算出し、１／αを画角変化補正量として画像変形部１２５に設定する。画像変形部１２５は、切り出し位置を（ｍ＋ｂｌｕｒ，ｎ）に設定した後、画角変化補正量１／αに基づいて、拡大（または縮小）処理を行う。以下に、画像変形量演算部１１９による、動きベクトル検出部１１８で検出した動きベクトルからｂｌｕｒとαを算出する処理の一例を説明する。

図６は、動きベクトルからのズレ量ｂｌｕｒと画角変化量αの算出を説明する図である。
Ｂ０１〜Ｂ０９は、ブロックマッチングの説明で述べたブロックを示す。Ｖ０１〜Ｖ０９は、各ブロックにおいて検出される動きベクトルを示す。なお、説明を簡単にするために９つのブロックを図示しているが、ブロック数および検出する動きベクトル数はこれ以外であってもよい。

図６（Ａ）は、前後振れのみが発生した場合に動きベクトル検出部１１８が検出する動きベクトルを示す。撮影画像の中心位置に配置されたブロックＢ０５においては、０または限りなく小さい動きベクトルが検出される。ブロックＢ０５の周辺のブロックについては、図示した通り中心に対し外側方向の動きベクトルが検出される。

ブロックＢ０４で検出される動きベクトルＶ０４は、前フレームからの画角変化による被写体位置ずれを示しているので、画像変形量演算部１１９は、ベクトルＶ０４から画角変化量を算出することができる。すなわち、画像変形量演算部１１９は、ベクトルの始点を図２の（ｕ，ｖ）、ベクトルの終点を（ｉ，ｊ）と対応させ、図２を参照して説明した方法を用いて画角変化量を算出する。

図６（Ｂ）は、前後振れと横振れが発生した場合に動きベクトル検出部１１８で検出する動きベクトルを示す。
ベクトルＶ０１’〜Ｖ０９’は、ブロックＢ０１〜Ｂ０９で検出される動きベクトルを示す。前後振れ量に関しては、図６（Ａ）と図６（Ｂ）とで同じ量であるとすると、ベクトルＶ０６とベクトルＶ０６’との差が、横振れによるブレ量である。

図６（Ａ）に示すブロックＢ０５においては前後振れにより検出されるベクトルは理論的には０になるので、図６（Ｂ）のブロックＢ０５で検出されるベクトルは横振れによる撮影画像のブレを示す。つまり、画像変形量演算部１１９は、表示画像切り出し位置の変更量（ズレ量ｂｌｕｒ）と画角変化量αとを、以下の式（４）、式（５）を用いて算出することができる。αについては、説明を簡単にするため、図５に示す単位で算出している。ベクトルＶ０６’の始点が図５の（ｕ，ｖ）、終点が（ｉ１，ｊ１）、ｂｌｕｒがｉｂに対応する。
ｂｌｕｒ＝Ｖ０５’＿ｘ・・・式（４）
α＝（ｉ１−ｉｂ）／ｕ・・・式（５）
Ｖ０５’＿ｘは、ベクトルＶ０５’の横方向成分である。

画像変形部１２５は、式（４）で算出したｂｌｕｒに基づいて電子切り出し補正を行い、式（５）で算出したαに基づいて、画像を拡大または縮小することによって、前後振れによる画角変化のみならず、縦横振れによる画像のブレも補正可能となる。

図７は、画像変形量演算部の処理の例を説明するフローチャートである。
まず、画像変形量演算部１１９が、電子切り出し位置を算出する（ステップＳ１００）。縦横振れによる撮影画像のブレ補正については、マクロ撮影モードか否かによらず行うものとする。ただし、フローチャート上では明記しないが、マクロ撮影モードの場合は、余剰領域を縮小補正用に使用するため、電子切り出しに使用する余剰領域をマクロ撮影モードか否かで変更する処理もステップＳ１００の処理に含まれる。

次に、画像変形量演算部１１９が、現在の撮影モードがマクロ撮影モードであるか、つまり被写体距離が所定値未満であるかを判断する（ステップＳ１０１）。撮影モードがマクロ撮影モードである場合は、処理がステップＳ１０２に進む。撮影モードがマクロ撮影モードでない場合は、処理がステップＳ１０５に進む。

ステップＳ１０２において、画像変形量演算部１１９が、画角変化量αを算出する。次に、画像変形量演算部１１９が、所定期間の画角変化量が所定値未満（閾値未満）であるかを判断する（ステップＳ１０３）。所定期間の画角変化量が閾値未満である場合は、画像変形量演算部１１９は、このとき生じている画角変化は撮影者の意図しない手振れなどによる前後振れによるものであると判断する。そして、処理がステップＳ１０４に進む。所定期間の画角変化量が閾値以上である場合は、画像変形量演算部１１９が、撮影者が意図的に被写体距離を変更しており、前後振れは発生していないと判断する。そして、画像変形量演算部１１９は、画角変化補正量の算出を行わず、処理がステップＳ１１０に進む。

ステップＳ１０４において、画像変形量演算部１１９が、画角変化を補正するための画角変化補正量１／αを算出する。

ステップＳ１０５〜Ｓ１０８は、マクロ撮影モード時に行った画角変化補正を０に戻す処理である。この処理は、マクロ撮影モード以外のときは画角変化の補正を行わないようにするための処理である。

ステップＳ１０５において、画像変形量演算部１１９が、前回の画角変化補正量が０でないかを判断する。前回の画角変化補正量が０である場合は、処理がステップＳ１０９に進む。そして、画像変形量演算部１１９が、画角変化補正量を０にして（ステップＳ１０９）、処理がステップＳ１１０に進む。

前回の画角変化補正量が０でない場合は、処理がステップＳ１０６に進む。ここで、マクロ撮影モードからマクロ撮影モード以外の動作モードに移行したときに、画角変化補正量を一気に０にしてしまうと、モード移行時に不自然な画角変化が生じてしまう。したがって、モード移行するときの撮影状況に応じて、画角変化補正量を０にするか、または所定期間かけて０に戻すかを判断する必要がある。このため、画像変形量演算部１１９が、現在の撮影状況が、画角変化の補正処理の解除条件を満たすかを判断する（ステップＳ１０６）。画角変化の補正処理の解除条件は、画角の変化が生じても撮影者に違和感を与えない撮影状況であることとする。具体的には、画角変化の補正処理の解除条件は、角速度センサ１０１で検出した撮像装置の振れ量が所定値以上であることとする。この条件が満たされる場合は、画像のブレが生じ、画角が変化しても画像のブレに紛れるので、撮影者に違和感を与えない。

現在の撮影状況が、画角変化の補正処理の解除条件を満たす場合は、処理がステップＳ１０７に進む。そして、画像変形量演算部１１９が、画角変化補正量を０にして（ステップＳ１０７）、処理がステップＳ１１０に進む。

現在の撮影状況が、画角変化の補正処理の解除条件を満たさない場合は、処理がステップＳ１０８に進む。そして、画像変形量演算部１１９が、画角変化補正量を、前回の値以下の所定値に変更して（ステップＳ１０８）、処理がステップＳ１１０に進む。これにより、画角の変化が撮影者に違和感を与えない程度の所定量だけ前回の画角変化補正量より小さくした値が画角変化補正量とされる。ステップＳ１１０において、画像変形量演算部１１９が、算出した画角変化補正量と、電子切り出し位置とを画像変形部１２５に供給する。これにより、マクロ撮影時に前後振れが生じた場合に、当該前後振れによって生じる撮影画像の画角変化が補正される。

以上説明したように、実施例１の撮像装置は、撮像装置１００に生じる前後振れに基づいて表示画像を拡大または縮小補正することで、表示画像上に画角変化が生じないようにする。特に、縦横振れが発生している場合も、検出した動きベクトルから前後振れによる画角変化量と電子切り出し位置とを切り分けて算出することで、画角変化を補正し、かつ補正光学系１１６での補正残りも電子切り出し補正によって補正することができる。

なお、前後振れによる画角変化を補正する機能を備えた構成を有する装置であれば、本発明を適用することができる。この構成を有する装置では、撮像光学系１１７は補正光学系１１６の機能を有しなくてもよい。

また、本実施例では、撮像装置の振れ検出に、角速度センサ１０１の出力を用いたが、振れ検出に、例えば、加速度センサを用いてもよい。また、振れ補正手段として補正光学系１１６を例にとって説明したが、これに限定されるものではない。例えば、撮像素子１２０を振れ補正手段として駆動してもよいし、プリズムを用いるようにしてもよい。

また、動きベクトル検出部１１８で検出した動きベクトルから縦横振れによるブレ量を算出する方法についても、本実施例の方法以外の方法を適用してもよい。例えば、図６（Ｂ）に示す撮影画像において、中心に対し対象位置にあるブロックＢ０４とＢ０６の各々から検出される動きベクトルＶ０４’とＶ０６’との差分から縦横ブレ成分を算出するようにしてもよい。

また、本実施例では、画像変形量演算部１１９は、動きベクトル検出部１１８が検出した動きベクトルに基づいて画角変化補正量を算出するが、画角変化補正量の算出方法はこれに限定するものでない。例えば、撮像装置１００が撮像装置１００と被写体との距離を検出する距離検出手段を備える構成をとる場合、画像変形量演算部１１９が、距離検出手段が検出した被写体距離に基づいて、画角変化量を算出してもよい。また、撮像装置１００が、撮像光学系と撮像素子との組み合わせに基づいて、被写体距離による画角変化量を予めデータとして保持する構成であってもよい。さらに、撮像装置１００が、距離検出手段でなく、前後振れ検出用の加速度センサなどを備える構成をとる場合、画像変形量演算部１１９が、加速度センサが検出した前後振れ量から、画角変化量を算出するようにしてもよい。これらの画角変化量は、前後振れの発生の有無の判断に用いられる。

（実施例２）
図８は、実施例２の撮像装置の構成を示す図である。
図８において、図１と同様の構成には、同じ符号を付し、説明は省略する。図８に示す撮像装置２００は、図１に示す撮像装置１００の構成に加え、ズーミングを行うズームレンズ２０３、フォーカシング動作を行うフォーカスレンズ２０５およびこれらを含む撮像光学系２０２、ズーム位置を検出するズームエンコーダ２０４を備える。さらに、撮像装置２００は、信号処理部１２１から出力されるビデオ信号に基づいて画像の合焦度を検出する合焦度検出部２０６を備える。

ズームエンコーダ２０４の出力と合焦度検出部２０６の出力は、μＣＯＭ２０１内部の画像変形量演算部２０７に供給される。μＣＯＭ２０１は、合焦度検出部２０６で検出した合焦度と不図示のフォーカスレンズ位置センサで検出するフォーカスレンズ２０５の位置とに基づいて、合焦するように不図示のフォーカスレンズ用モータでフォーカスレンズ２０５の位置を変更する。

実施例２の撮像装置２００は、前述の画角変更処理の解除条件（図７のＳ１０６）に以下の条件を追加し、いずれかを満たす場合に画角変更の解除条件を満たすものとする。
条件の１つは、撮像装置２００がズーム駆動中である、つまりズームレンズ２０４が駆動していることである。この条件を満たすか否かは、ズームエンコーダ２０４の出力からズームレンズ２０３が駆動しているかによって判断する。撮影者がズーム操作中であるかの判定により、ズームレンズ２０３が駆動しているかを判断してもよい。ズームレンズ２０３を駆動することで画角が変化し、このときに前後振れ補正用の画角変更を０にしてもズームによる画角変化に紛らわせることができ、撮影者に違和感を与えない。

条件の２つ目は、合焦度検出部２０６で検出した合焦度から、合焦状態でないと判断されることである。合焦状態でない場合は、撮影される画が正常な状態でないため、このときに画角変化補正量を０にしても、撮影画像の品位を落とすことにならない。

実施例２の撮像装置２００は、ズームレンズ２０３による焦点距離変更、合焦度検出部２０６による画像の合焦度の検出が可能となる。撮像装置２００に生じる光軸方向の前後振れに基づいて表示画像を拡大または縮小補正を解除する条件に、焦点距離変化や合焦度を加えることで、より俊敏に撮影者に違和感を与えず表示画像の画角を元に戻すことが可能となる。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明はこれら特定の実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施例の一部を適宜組み合わせてもよい。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ 撮像装置
１０１ μＣＯＭ
１１９ 画像変形量演算部
１２５ 画像変形部

Claims (13)

1. 被写体に近接して撮影を行うマクロ撮影の機能を有する撮像装置であって、
   マクロ撮影時に、前記撮像装置の光軸方向の前後振れが発生したかを判断する判断手段と、
   前記前後振れが発生したと判断された場合に、当該前後振れによって生じる撮影画像の画角変化を補正する制御手段とを備える
   ことを特徴とする撮像装置。
2. 前記判断手段は、撮影画像の画角変化量に基づいて、前記前後振れが発生したかを判断し、
   前記制御手段は、
   前記画角変化を補正するための画角変化補正量を算出し、
   前記算出された画角変化補正量に基づいて、前記撮影画像を拡大または縮小することで、当該撮影画像の画角変化を補正する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記判断手段は、
   前記画角変化量が閾値未満であるかを判断し、
   前記画角変化量が閾値未満である場合に、前記前後振れが発生したと判断し、前記画角変化量が閾値以上である場合に、前記前後振れが発生したと判断しない
   ことを特徴とする請求項２に記載の撮像装置。
4. 撮影画像から動きベクトルを検出するベクトル検出手段と、
   前記検出された動きベクトルに基づいて、前記撮影画像の画角変化量を演算する演算手段とを備え、
   前記判断手段は、前記演算された画角変化量に基づいて、前記前後振れが発生したかを判断する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記演算手段は、さらに、前記検出された動きベクトルに基づいて、前記撮像装置の光軸に垂直方向の振れにより前記撮影画像に生じるブレを補正するためのブレ補正情報を出力し、
   前記制御手段は、さらに、前記ブレ補正情報に基づいて、前記撮影画像に生じる前記ブレを補正する
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記撮像装置と前記被写体との距離を検出する距離検出手段を備え、
   前記判断手段は、前記動きベクトルに基づき演算される画角変化量または前記検出された被写体との距離に基づき演算される画角変化量に基づいて、前記前後振れが発生したかを判断する
   ことを特徴とする請求項４または請求項５に記載の撮像装置。
7. 撮像装置に加わる加速度を検出する加速度センサを備え、
   前記振れ検出手段は、
   前記動きベクトルに基づき演算される前記画角変化量、前記検出された被写体との距離に基づき演算される画角変化量、前記検出された加速度に基づき演算される画角変化量のうちの少なくとも１つに基づいて、前記前後振れが発生したかを判断する
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記制御手段は、
   前記撮像装置の撮影モードが前記マクロ撮影を行う撮影モードである場合に、前記撮影画像の画角変化を補正し、
   前記撮像装置の撮影モードが、前記マクロ撮影を行う撮影モードから前記マクロ撮影を行う撮影モード以外の撮影モードになった場合であって、撮影状況が前記撮影画像の画角変化の補正処理を解除するための条件を満たすときは、前記撮影画像の画角変化の補正を行わない
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記制御手段は、
   前記撮像装置の撮影モードが、前記マクロ撮影を行う撮影モードから前記マクロ撮影を行う撮影モード以外の撮影モードになった場合であって、撮影状況が前記撮影画像の画角変化の補正処理を解除するための条件を満たさないきは、前記撮影画像の画角変化を補正するための画角変化補正量を、前記撮像装置の撮影モードが、前記マクロ撮影を行う撮影モードである場合の画角変化補正量よりも小さい量とする
   ことを特徴とする請求項８に記載の撮像装置。
10. 前記撮影画像の画角変化の補正処理を解除するための条件は、前記撮像装置の振れ量が所定値以上であることである
    ことを特徴とする請求項８または請求項９に記載の撮像装置。
11. 前記撮影画像の画角変化の補正処理を解除するための条件は、前記撮像装置がズーム駆動中であることである
    ことを特徴とする請求項８または請求項９に記載の撮像装置。
12. 前記撮影画像の画角変化の補正処理を解除するための条件は、前記撮像装置が合焦状態でないことである
    ことを特徴とする請求項８または請求項９に記載の撮像装置。
13. 被写体に近接して撮影を行うマクロ撮影の機能を有する撮像装置の制御方法であって、
    マクロ撮影時に、前記撮像装置の光軸方向の前後振れが発生したかを判断する判断工程と、
    前記前後振れが発生したと判断された場合に、当該前後振れによって生じる撮影画像の画角変化を補正する制御工程とを有する
    ことを特徴とする制御方法。

Images