JP2015201709A - 撮像装置および撮像処理プログラム - Google Patents

Abstract

【課題】手振れ補正機能による補正処理が有効に利用できる条件を設定して取り込んだ画像の歪みの発生を抑えるとともに、手振れ補正機能の適用可能な範囲を広く設定する。【解決手段】取り込んだ動画画像（２０）の一部を振れ方向に応じて切り出して、手振れ状態を補正した動画画像（補正画像２２）を生成する画像生成部（６、カメラＩＳＰ３４）を備えた撮像装置（２、３０）であって、角速度センサ（１０、ジャイロスコープ４０）と、明るさ情報取得手段（１２、３２）と、制御部（８）とを備える。角速度センサは、筐体（１４）の振れ量を検出する。明るさ情報取得手段は、撮影環境の明るさ情報（露光時間）を取得する。制御部は、角速度センサの検出値に基づいて筐体の振れ量が所定の判別条件を満たしたか否かを判別し、判別条件を満たしたと判別された場合、取得した明るさ情報に応じて画像生成部による動画画像の切り出し可能な範囲の最大値を設定する。【選択図】 図１

Description

本開示の技術は、手振れ補正機能を利用して動画画像を撮像する撮像装置および撮像処理プログラムに関する。

撮像装置には、動画や静止画の撮影時に手振れを補正する機能を備えている。この手振れ補正では、所謂電子式の手振れ補正として、撮像素子が取り込んだ画像よりも小さい範囲の画像を切り出して記録し、撮像装置の揺れにより画像に振れが生じた場合には、画像の切り出し位置を変える処理を行うものがある。この切り出し位置の変更により撮像装置では、直前の画像に対して被写体の位置を合わせる。このような処理により撮像装置では、手振れの発生に対して被写体を静止させた連続画像の取り込みにより動画の撮影が行える。

手振れ補正機能は、撮像装置の揺れに応じて画像の切り出し位置を変えることから、たとえば手振れによる揺れか、撮影方向を横や縦方向にスライドさせるパンやチルトによる揺れかに関わらず作動する。

このような手振れ補正処理に関し、装置の動きを検出し、その検出値と手振れ周波数に基づく算出値とパンニング周波数に基づく算出値とからパンニングの終了を判断して、手振れ補正機能を調整するものがある（たとえば、特許文献１）。

特開２００９−２９０２６１号公報

ところで、撮像装置による撮影では、撮像装置の画像取り込み手法が手振れ補正を行った画像に影響を及ぼす場合がある。撮像装置は、撮像素子としてＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサを利用する。このＣＯＭＳセンサは、ローリングシャッタ方式で画像の取り込みを行うことで、画像内における被写体の動きが速い場合に、画像の上下または左右間で画素毎の読込みタイミングのずれによって被写体の形が歪む、フォーカルプレーン現象が生じる場合がある。撮像装置では、取り込んだ画像に対してフォーカルプレーン現象が生じた状態で手振れ補正処理が実行されると、抽出した被写体の輪郭などに歪みが生じるという課題がある。

この画像の歪みの発生状態例を図１６に示す。図１６のＡに示す撮像画像は、静止した被写体２００を中央側に配置した画像２０２となっている。撮像装置は、取り込んだ画像２０２に対し、手振れ補正処理として、一定範囲を切り出した手振れ補正画像２０４を生成する。撮像装置を静止状態から右方向に変位（パン）させて撮影を継続させると、たとえば図１６のＢに示すように取り込んだ画像２１０には、被写体２００が左方向にずれるとともに、被写体２００の上部側が右方向に延伸し、被写体２００の下部側が左方向に延伸した状態となる。このとき手振れ補正機能は、撮像装置の変位に対して反対方向に切り取り範囲を設定して、被写体２００を中央側に配置させた手振れ補正画像２１２を生成する。

撮像装置が変位方向を左方向に反転させると、取り込んだ画像２２０には、図１６のＣに示すように、被写体２００の上部側が左方向に延伸し、被写体２００の下部側が右方向に延伸した状態となる。このとき手振れ補正機能は、取り込んだ画像２２０の左端側最大位置に切り取り範囲を設定して手振れ補正画像２２２を生成する。手振れ補正画像２２２には、被写体２００が可能な限り中央側に配置される。そして撮像装置では、変位方向の反転頻度が高く、さらに振れが速い場合、人間の視覚には被写体２００の輪郭の一部または全部が歪んだ状態に捉えられる。

撮像装置の手振れ補正機能は、撮影時に生じる画面の振れや変化に応じて実行される。しかし撮像装置では、ブレの無い画像を得るために手振れ補正処理を行ったにも関わらず、それによって歪みや変形した画像が生成されるのでは、手振れ補正機能の有用性が失われるという課題がある。

また、フォーカルプレーン現象は、被写体の速度や装置の振れの大きさの他、たとえば撮影環境により発生し易さが変化する。そのため撮像装置では、取り込んだ画像の状態、装置の振れ状態のみから手振れ補正が有効に機能する範囲を設定することは困難であるという課題がある。

そこで、本開示の撮像装置の目的は、手振れ補正機能による補正処理が有効に利用できる条件を設定して取り込んだ画像の歪みの発生を抑えることにある。

また、本開示の他の目的は、撮像素子のフォーカルプレーン現象の発生し易さの条件に応じて、手振れ補正機能の適用可能な範囲を広く設定することにある。

上記目的を達成するため、本開示の技術の一側面は、取り込んだ動画画像の一部を振れ方向に応じて切り出して、手振れ状態を補正した動画画像を生成する画像生成部を備えた撮像装置であって、角速度センサと、明るさ情報取得手段と、制御部とを備える。角速度センサは、筐体の振れ量を検出する。明るさ情報取得手段は、撮影環境の明るさ情報を取得する。制御部は、前記角速度センサの検出値に基づいて前記筐体の振れ量が所定の判別条件を満たしたか否かを判別し、前記判別条件を満たしたと判別された場合、取得した前記明るさ情報に応じて前記画像生成部による前記動画画像の切り出し可能な範囲の最大値を設定する。

本開示の技術によれば、次のいずれかの効果が得られる。

(1) 検出した装置の振れに対し、手振れ補正が有効な範囲を判別することで、フォーカルプレーンの発生や、手振れ処理による画像の歪みなどの発生を防止できる。

(2) 撮影環境に応じた手振れの補正強度の設定により、フォーカルプレーンの発生し易さや取り込んだ画像の変形の発生レベルに対し、一律に手振れ補正機能をカットしないことで、手振れ補正機能の適用範囲を広く設定することができる。

第１の実施の形態に係る撮像装置の構成例を示す図である。 撮影環境に応じた手振れ補正機能の設定状態例を示す図である。 撮像処理例を示すフローチャートである。 第２の実施の形態に係る撮像装置のハードウェア構成例を示す図である。 撮影環境に応じた手振れ判別条件の一例を示す図である。 撮影環境に応じた手振れ補正機能の設定条件の一例を示す図である。 露光時間テーブルの一例を示す図である。 撮像装置の振れ状態の検出例を示す図である。 撮像装置の振れ状態の算出例を示す図である。 手振れ補正機能を「強」に設定した状態例を示す図である。 手振れ補正機能を「弱」に設定した状態例を示す図である。 撮像処理の一例を示すフローチャートである。 第３の実施の形態に係る撮影環境に応じた手振れ補正機能設定条件の一例を示す図である。 撮像処理の一例を示すフローチャートである。 撮像処理の他の例を示すフローチャートである。 手振れ補正機能による画像の歪みの発生状態例を示す図である。

〔第１の実施の形態〕

図１は、第１の実施の形態に係る撮像装置の構成例を示している。この撮像装置２は、本開示の撮像装置の一例である。

この撮像装置２は、たとえばデジタルカメラのほか、撮影機能を備えた携帯電話機やＰＣ（Personal Computer）などの情報処理装置が含まれる。撮像装置２は、たとえば少なくとも撮像素子４や画像生成部６、制御部８、角速度センサ１０、明るさ情報取得手段１２を筐体１４内に備えている。撮像素子４は、ＣＭＯＳイメージセンサを利用して被写体から発した光を受光素子で取り込み、静止画像や動画画像の撮影を行う手段の一例である。

画像生成部６は、撮像素子４が撮影した画像に対して補正処理などを行う画像処理手段の一例であり、たとえば取り込んだ動画画像の一部を振れ方向に応じて切り出して、手振れ状態を補正した動画画像を生成する手振れ補正処理を実行する。

制御部８は、撮像装置２による画像の撮像処理を制御する手段の一例であり、画像生成部６との間でデータや指示情報を送受信して、撮像処理を制御する。制御部８は、角速度センサ１０の検出データおよび明るさ情報取得手段１２が取得した明るさ情報を取り込む。角速度センサ１０は、たとえば筐体１４の一部に設置され、撮像処理の実行時に撮像装置２に対して作用する手振れやパンやチルトによる操作などによる筐体１４の角速度を検出する手段の一例である。

明るさ情報取得手段１２は、撮影環境の明るさ情報を取得する手段の一例であり、たとえば撮影時に設定される被写体からの受光光量などから、撮影環境の明るさを把握する。明るさ情報は、撮像素子４の受光面に対する光量の多さなどを表す。明るさ情報取得手段１２は、たとえば撮影時に撮像素子４や画像生成部６等に設定される露光条件などを取得してもよく、または独立して撮影環境の明るさを計測する露光計（露出計）などを利用してもよい。

制御部８は、たとえば角速度センサ１０の検出値に基づいて、筐体１４の振れが手振れか否かを判別する。具体的には、制御部８は、角速度センサ１０により検出した筐体１４の振れ量が所定の判別条件を満たしたか否かを判別する。そして制御部８は、振れ量が判別条件を満たしたと判別した場合、明るさ情報取得手段１２が得た明るさ情報に応じて、画像生成部６に対し、手振れ補正強度を設定する。

撮像素子４では、撮影環境の明るさにより、受光素子に対して画像の取り込みに必要な露光量に達するまでの露光時間が短くなる。そして、この露光時間により撮像素子４では、フォーカルプレーン現象の発生し易さが変わる。すなわち、撮像素子４では、撮影環境が明るい場合に、フォーカルプレーン現象が生じ難くなる傾向にある。

そこで、撮像装置２は、たとえば画像生成部６での手振れ補正能力に応じて、筐体１４の振れ状態について、手振れとして処理するか、または手振れ以外の動作として処理するかを判別する。この手振れか否かの判別処理では、振れの大きさ関する閾値を設定し、この値に基づいて判別すればよい。また、撮像装置２は、フォーカルプレーン現象が起きにくい条件の範囲では手振れ補正機能による処理を広く適用可能にする。また、撮像装置２は、フォーカルプレーン現象が起きやすくなる条件の範囲に対して手振れ補正能力を弱くし、生成した画像に歪みが生じる可能性を抑える。

〔手振れ補正強度の設定例について〕

図２は、手振れ補正機能の強度設定の一例を示している。

画像生成部６は、たとえば図２のＡに示すように、手振れが発生していない場合、撮像素子４が取り込んだ画像２０に対し、その中央部分の一部を切り出して補正画像２２を生成する。補正画像２２には、たとえば左右の辺に画像２０の左右端に対して、それぞれ所定長さＬ１の切り代が設定されている。また補正画像２２には、たとえば上下の辺に画像２０の上下端に対して、それぞれ長さＨ１の切り代が設定されている。これにより画像生成部６は、撮像装置２の振れに対して、横方向Ｌ１、縦方向にＨ１ずつの手振れ補正を行うことができる。

手振れ補正処理は、たとえば撮像素子４に内蔵された振れセンサなどの情報を利用すればよい。そして動画撮影では、たとえば１画像前の取り込んだ画像２０または補正画像２２で捉えた被写体の位置に対して、次の補正画像２２で被写体を同等な位置に配置されるように切り取り位置を設定してもよい。

制御部８は、たとえば図２のＢに示すように、取得した明るさ情報から撮影環境が明るいと判断した場合、手振れ補正処理での画像を切り出す横方向の範囲Ｘ１の最大値を切り代Ｌ１に設定し、縦方向の範囲Ｙ１の最大値を切り代Ｈ１に設定する。これにより画像生成部６では、取り込んだ画像２０の全体内における被写体の振れに対して追従して画像の一部を切り出し、補正画像２２を生成することができる。

また、制御部８は、たとえば図２のＣに示すように、明るさ環境が暗いと判断した場合、手振れ補正処理での画像を切り出す横方向の範囲Ｘ２の最大値を切り代Ｌ１の５０〔％〕に設定し、縦方向の範囲Ｙ２の最大値を切り代Ｈ１の５０〔％〕に設定する。画像生成部６は、たとえば明るさの条件に応じて、手振れ補正により静止状態にできる振れの範囲を制限する。

〔撮像処理について〕

図３は、撮像処理例を示すフローチャートである。この撮像処理は、本開示の撮像装置２に実行させる撮像処理プログラム、撮像処理方法の一例である。この撮像処理に示された処理手順、処理内容は一例であって、斯かる内容に限定されない。

撮像装置２は、撮像処理が開始されると、撮像装置２の振れ検出を行い（Ｓ１）、この検出により、この振れが手振れか否かを判断する（Ｓ２）。手振れの判断では、たとえば所定の閾値が設定され、制御部８は、角速度センサ１０による検出値が判別条件を満たしたか否かを判断する。設定される判別条件は、たとえば撮像素子４の画像の取り込みにおいてフォーカルプレーン現象が発生する振れの値が予め設定されてもよく、または撮像素子４に設定される設定条件などに応じて調整してもよい。

この手振れ判断により、検出した振れ量が判別条件を満たした場合（Ｓ２のＹＥＳ）、明るさ情報を取得し（Ｓ３）、この明るさ情報に応じて動画画像の切り出し幅を設定する（Ｓ４）。これにより、撮影環境に応じた手振れ補正強度が設定される。

また検出した振れ量が判別条件を満たさない場合（Ｓ２のＮＯ）、制御部８は、画像生成部６の手振れ機能を停止させる（Ｓ５）。

斯かる構成によれば、検出した撮像装置２の振れに対し、手振れ補正が有効な範囲を判別することで、フォーカルプレーンの発生や、手振れ処理による画像の歪みなどの発生を防止できる。撮影環境に応じた手振れの補正強度の設定により、フォーカルプレーンの発生し易さや、画像の変形の発生レベルに対して、一律に手振れ補正をカットさせず、手振れ補正機能の適用範囲を広く設定することができる。また撮像装置２は、明るさに対し、フォーカルプレーンが発生し易い状態では、手振れ補正により画像の中央に被写体を維持できる振れの範囲を制限することで、手振れ補正による画像の歪みの発生を抑える。

〔第２の実施の形態〕

図４は、第２の実施の形態に係る撮像装置のハードウェア構成例を示している。

撮像装置３０は、本開示の撮像装置の一例であり、撮影する動画画像に対して手振れ補正処理を行い、手振れを解消した動画画像を生成する。この撮像装置３０は、たとえばカメラモジュール３２、カメラＩＳＰ（Image Signal Processing）３４、ＣＰＵ（Central Processing Unit）３６、メモリ３８、ジャイロスコープ４０、ＬＣＤ（Liquid Crystal Display）４２、タッチパネル４４を備える。

カメラモジュール３２は、撮像素子やレンズ、その他レンズのズーム装置などを含む撮影ユニットの一例である。カメラモジュール３２は、たとえば内部に独立した制御基板が形成されており、撮像時の環境に応じた露光時間（シャッタスピード）を自動で設定する自動露出（AE：Automatic Exposure）機能を備える。そのほかカメラモジュール３２は、たとえばレンズのＦ値、受光部のＩＳＯ（International Organization for Standardization）感度などに基づいて撮像する被写体の露出度を決定し、露光時間の設定が行われる。すなわちカメラモジュール３２は、本開示の撮像素子を備えるとともに、明るさ情報取得手段を形成する。

カメラＩＳＰ３４は、本開示の画像生成部の一例であり、撮像素子のイメージセンサで取り込んだ画像について、被写体の振れを補正するほか、レンズなどの光学系に関する補正処理やイメージセンサのばらつきなどにより生じる画像の傷（劣化状態）などの補正を行う。カメラＩＳＰ３４は、たとえば独立したＩＣチップで形成されており、カメラモジュール３２との間で画像の撮像処理を実行するとともに、撮像装置３０の制御部からの指示を受けて、手振れ補正のオン／オフ、または強弱の設定処理を実行する。

ＣＰＵ３６は、演算手段の一例であり、メモリ３８に格納された撮像装置３０であるデジタルカメラや携帯電話機、情報処理装置の基本動作を制御するＯＳ（Operating System）や、撮影アプリを演算して手振れ補正機能を制御する。すなわち、ＣＰＵ３６およびメモリ３８は、本開示の制御部を形成し、カメラＩＳＰ３４やカメラモジュール３２に対して撮像指示を行うほか、手振れ補正機能の機能などを制御する。

メモリ３８は、記憶手段の一例であり、たとえばＯＳや各種制御アプリケ−ションプログラムを格納するとともに、これらのアプリケーションプログラムを展開する作業領域として機能する。このメモリ３８は、たとえばアプリケーションプログラムや、検出したデータを格納する記憶領域として、不揮発性の半導体メモリ、フラッシュメモリ、ハードディスクなどのＲＯＭ（Read Only Memory）が含まれる。

またメモリ３８は、プログラムの作業領域として、ＲＡＭ（Random Access Memory）などの揮発性メモリが含まれる。

撮像装置３０では、メモリ３８に展開された撮像処理プログラムや手振れ補正プログラムをＣＰＵ３６が演算処理することで、本開示の制御部として機能する。

ジャイロスコープ４０は、本開示の角速度センサの一例であり、撮像装置３０の筐体や制御基板の一部に設置され、撮像装置３０の角速度を検出する。

ＬＣＤ４２は、撮像装置３０の表示手段の一例であり、撮像した画像、映像を表示する。また、ＬＣＤ４２は、カメラモジュール３２によって取り込んだ画像を表示させることで、被写体に対するカメラモジュール３２の向きなどを調整させるファインダ画面として機能する。

タッチパネル４４は、操作手段の一例であり、ＬＣＤ４２の表面側に沿って添付されたタッチパネルセンサが入力操作を検出する。タッチパネル４４は、たとえばユーザの生体指などの接触位置や強さ、接触の仕方によって入力結果を異ならせる。またこのタッチパネル４４は、たとえば撮像処理において、カメラモジュール３２に対し、画像に対するズームアップ／ダウンの操作や撮像開始／終了の入力操作が行われる。

＜手振れ判断について＞

撮像装置３０では、筐体の振れ状態に基づいて手振れ機能を実行させるか否かを決定する。この振れ状態の判別処理では、たとえば撮影環境の状態情報を利用した手振れ補正閾値が設定され、検出した角速度が判別条件である閾値の範囲内であれば手振れと判別して、手振れ補正処理を行う。この閾値は、撮影環境の明るさ情報に応じて、撮像素子にフォーカルプレーン現象が発生する境界値である。カメラモジュール３２は、撮影環境が明るい場合には、フォーカルプレーン現象が発生し難くなる。そのため、手振れ補正機能を適用可能な範囲を広げるため、手振れの判別処理に明るさ情報を利用する。

そこで、メモリ３８には、たとえば図５に示すように、手振れか否かを判断する判別条件として、角速度の閾値を設定した手振れ閾値設定テーブル５０が格納されている。この手振れ閾値設定テーブル５０は、たとえば取り込んだ画像の横方向をＸ軸、縦方向をＹ軸に設定し、各方向に対する角速度の検出値または一定の算出値に対する閾値が設定される。

この閾値は、たとえば撮影環境の明るさ情報として、カメラモジュール３２から取得した露光時間が所定の明るさ閾値として、たとえば２０ルクス以上の照度か否かに応じて設定される。手振れ判別処理では、明るさ情報の閾値に応じて角速度の閾値が設定される。この露光時間による明るさ閾値は、たとえば撮影環境の照度が２０ルクスの場合に撮像素子が必要な露出量になるまでの時間を基準として、実際のカメラの露光時間がこの基準時間よりも短いか否かで決定する。すなわち、明るい場合には、露光時間が短くなり、逆に暗い場合、露出値に達するまでの露光時間が長くなる。

角速度の閾値は、露光時間が短い場合は、大きな値を設定して、撮像装置３０の振れが大きな場合にも手振れ補正をＯＮにする範囲を広げる。また、露光時間が長い場合、閾値の値を下げる。

なお、撮像装置３０の露光時間は、たとえば露出値に対し、レンズのＦ値や受光感度との組み合わせで設定される。従って、Ｆ値や受光感度を含めて露光時間を設定してもよい。また図５に示す閾値では、閾値がＸ軸とＹ軸とで同じ値が設定される場合を示したがこれに限られない。閾値は、たとえば画像の縦方向と横方向の割合（アスペクト比）やカメラモジュールの特性などにより、それぞれ異なった値を設定してもよい。

＜手振れ補正機能の設定について＞

撮像装置３０には、たとえば図６に示すように、メモリ３８内に撮影環境の明るさに応じて手振れ補正能力を規定した手振れ補正機能設定テーブル６０が格納されている。手振れ補正機能設定テーブル６０には、たとえば明るさ情報の閾値として、２０ルクスに達するまでの露光時間の長短に基づいて手振れ補正強度が設定されている。

すなわち、撮影環境が明るい場合には、手振れ補正機能を「強」に設定し、暗い場合には、手振れ補正機能を「弱」に設定する。従って、明るさ情報による閾値は、たとえばＦ値や受光感度を一定値にしてもよい。

＜露光時間について＞

メモリ３８には、たとえば図７に示すように、カメラモジュール３２から取得した露光時間情報を格納する露光時間テーブル７０を備えてもよい。この露光時間テーブル７０は、たとえば「Index」領域７２に測定回数や測定時刻などが設定される。また「露光時間」領域７４には、取得した露光時間Ｓ１〜Ｓ３・・・が格納される。

露光時間情報は、たとえば手振れ補正処理の判断時に随時取得する場合や、所定回数又は所定期間中は同一の露光時間情報を読み出して利用してもよい。

＜ジャイロスコープ４０による振れ検出について＞

メモリ３８には、たとえば図８に示すように、ジャイロスコープ４０が検出した撮像装置３０の振れ（揺れ）状態による角速度情報を含む振れ検出テーブル８０が格納されている。振れ検出テーブル８０は、たとえば所定時間毎に連続して検出する回数や時刻情報を格納するＩｎｄｅｘ欄８２や、Ｘ軸およびＹ軸毎の検出した角速度を格納した角速度欄８４が形成されている。

撮像装置３０では、たとえば撮像処理の実行時に、ジャイロスコープ４０からの検出値を取り込み、順次振れ検出テーブル８０に記録させる。また手振れ補正処理では、この振れ検出テーブル８０から所定数の情報を抽出し、メモリ３８において平均化処理や次の検出値との比較処理を行い、その結果を利用して手振れの判別処理や手振れ補正機能が設定される。

メモリ３８には、たとえば図９に示すように、撮像装置の振れ算出テーブル９０を形成し、振れ検出テーブル８０に格納された振れ情報の内、一定回数の値を振れ算出テーブル９０に書き込む。撮像装置３０では、たとえば振れ検出テーブル８０のうち、所定回数ｍ回分の角速度データを抽出し、振れ算出テーブル９０の角速度欄９２に格納する。格納された各角速度情報には、Ｉｎｄｅｘ欄に項目数を示す値が設定される。

また、振れ算出テーブル９０には、たとえばジャイロスコープ４０が検出した、または振れ検出テーブル８０から取得した最新の角速度情報９４が格納される。振れ検出処理では、たとえば取得したｍ回分のデータの平均値と最新の角速度情報９４の値との差分値９６の算出を行う。そして、この差分値９６を設定された閾値と比較して手振れ判別や手振れ補正機能の設定処理に利用する。

＜手振れ補正機能の設定状態について＞

撮像装置３０では、撮影環境が明るい場合、手振れ補正の適用範囲を広く設定するとともに、手振れ補正強度を「強」に設定する。この手振れ補正強度は、取り込んだ画像において、被写体の振れ量に対する補正画像の切り取り範囲の最大値を示している。手振れ補正強度が「強」に設定された撮像装置３０では、たとえば図１０Ａに示すように、手振れが生じていない画像２０において、中央の被写体に対して画像２０の中央部分を切り取って補正画像２２が生成される。これに対し、撮像装置３０では、たとえば次の画像取り込みタイミングにおいて、カメラモジュール３２が手振れによって右方向に変位した場合、画像２０内において被写体が右方向に大きくＰ１変位する。手振れ補正機能は、この変位Ｐ１に追従して切り取り範囲を変位させ、最大値として切り代のＸ１で切り取った補正画像２２を生成する。

また撮像装置３０は、撮影環境が暗い場合、手振れ補正の適用範囲を狭く設定するとともに、手振れ補正強度を「弱」に設定する。このとき撮像装置３０では、たとえば図１１のＡおよび図１１のＢに示すように、静止状態の画像の次の画像取り込みタイミングにおいて、カメラモジュール３２が手振れによって微量に変位した場合にのみ、手振れ補正を行う。この手振れ補正では、撮像装置３０の揺れが小さい場合、すなわちカメラモジュールが取り込んだ被写体に所定距離Ｐ２の変位が生じた場合、切り取りの最大値Ｘ２の範囲で切り取った補正画像２２が生成される。

＜撮像処理について＞

図１２は、撮像処理の一例を示すフローチャートである。図１２に示す処理内容、処理手順は一例である。

図１２に示す撮像処理は、本開示の撮像処理プログラムの一例である。撮像装置３０は、たとえばタッチパネル４４への操作により、動画の録画を開始すると、手振れ補正設定がカット（オフ）される（Ｓ１１）。撮像装置３０は、手振れ補正設定のカットにより、設定されていた手振れ判別の条件などがリセットされる。これは、たとえば撮像装置３０が前回の撮影時に入力した設定条件を記憶している場合があるためである。

撮像装置３０は、ジャイロセンサ（ジャイロスコープ４０）から所定周期Ｔとして、たとえば２００（ミリ秒）で角速度情報を取得する（Ｓ１２）。取得した角速度情報は、振れ検出テーブル８０に格納される。そして撮像装置３０は、直近のｍ回分の角速度情報からＸ軸、Ｙ軸について、角速度の平均値を算出する（Ｓ１３）。この角速度の平均値の算出処理は、たとえばジャイロスコープ４０による検出値のばらつきの解消や、温度変化などにより生じる検出誤差などを除外するために行う。利用する検出情報の回数は任意に設定してもよい。

そして最新の角速度情報と算出した平均値とを差分して比較する（Ｓ１４）。算出処理および比較処理は、メモリ３８内の振れ算出テーブル９０上で実行されればよい。

カメラモジュール３２から露光時間などの明るさ情報を取得し（Ｓ１５）、撮影環境の明るさ判断として露光時間が短いか否かを判断する（Ｓ１６）。露光時間の判断では、閾値となる明るさに露出するまでの基準露光時間との比較を行ってもよい。そして比較した結果、露光時間が短い場合（Ｓ１６のＹＥＳ）、撮影環境が明るいことから手振れ判別処理における閾値を大きく設定する（Ｓ１７）。また、露光時間が長い場合（Ｓ１６のＮＯ）、手振れ判別の閾値を小さく設定し（Ｓ１８）、手振れ補正機能の適用範囲を制限する。

＜手振れ判別処理＞

撮像装置３０では、検出した振れ情報について、手振れ判別処理を実行する。手振れ判別処理では、Ｘ、Ｙ軸毎にそれぞれ算出した振れの差分値が設定した閾値を超えているか否かを判断する（Ｓ１９）。Ｘ軸またはＹ軸のいずれかの差分値が閾値を超えている場合（Ｓ１９のＹＥＳ）、撮像装置３０に生じる振れは、手振れではないと判断し、手振れ補正機能をオフ状態に設定し（Ｓ２０）、カウンタをリセットする（Ｓ２１）。このカウンタは、たとえばメモリ３８内の振れ算出テーブル９０でカウントしており、手振れ補正機能の動作開始や設定条件の変更に利用される。

Ｘ軸またはＹ軸のいずれかの差分値が閾値を超えていない場合（Ｓ１９のＮＯ）、撮像装置３０に生じる振れは、手振れと判別される。このとき撮像装置３０は、メモリ３８内に手振れであると判断された回数のカウントを加算していく（Ｓ２２）。そしてカウンタが一定値以上になった場合（Ｓ２３のＹＥＳ）にのみ手振れ補正機能の設定処理に移行する。

カウント処理は、撮像処理において変動する振れ状態や明るさに対する設定条件の変更処理を制限している。すなわち、頻繁に変動する振れ状態や明るさに応じて手振れ機能のオン／オフ、または手振れ補正強度の設定を変化させるのでは、処理の煩雑化や消費電力の増加を招くため、連続して条件が変化した場合にのみ手振れ補正機能の設定を変化させる。カウンタに基づく条件変化の判断では、たとえば撮像装置３０の手振れ補正機能を優先する場合には少ない回数を設定すればよい。

＜手振れ補正機能の設定処理について＞

撮像装置３０は、カメラモジュール３２から露光時間情報を取得し（Ｓ２４）、この露光時間が設定された閾値未満か否かの判断を行う（Ｓ２５）。露光時間は、たとえば先のステップＳ１５で取得したものを利用してもよく、または新たに取得してもよい。露光時間の判断処理では、手振れ補正機能設定テーブル６０を利用し、取得した露光時間と基準露光時間との比較処理を行う。

露光時間が閾値未満の場合（Ｓ２５のＹＥＳ）、撮影環境が明るいことから、手振れ補正強度を「強」に設定する（Ｓ２６）。また露光時間が閾値以上の場合（Ｓ２５のＮＯ）、露出するまでの時間が長く、撮影環境が暗いことから手振れ補正強度を「弱」に設定する（Ｓ２７）。

撮像装置３０は、設定された手振れ補正強度をカメラＩＳＰ３４に対して設定するとともに、手振れ補正機能をオンさせ（Ｓ２８）、カウンタをリセットする（Ｓ２９）。

なお、この実施の形態では、条件変化に対する手振れ補正機能の条件変更を制限するためにカウンタによる計数処理を実行する場合を示したが、これに限られない。撮像装置３０は、カウンタ処理を行わず、検出した振れ情報や明るさ情報の変化に応じて、手振れ機能の設定を変更してもよい。

斯かる構成によれば、撮影環境の明るさ条件に応じて、手振れ判別の閾値を変化させて手振れ補正の実行条件を細分化することで、手振れ補正機能の適用範囲を広く設定できる。撮影環境が暗い場合には、手振れ補正の適用範囲を狭めることで、手振れ補正機能の適用による画像の歪みの発生を抑えることができ、手振れ補正機能の利便性の維持が図れる。そのほか、画像に歪みが生じるなど、手振れ補正が有効に機能できない条件において手振れ補正機能をオフにすることで、消費電力の無駄を省くことができる。

〔第３の実施の形態〕

図１３は、第３の実施の形態に係る撮像装置の手振れ補正機能の設定条件の一例を示している。図１３に示す閾値条件は一例である。

この手振れ補正機能設定テーブル１００は、たとえばカメラモジュール３２に設定される露光時間情報に基づいて、手振れ判別条件と手振れ補正機能の設定条件が設定される。すなわち、手振れ補正機能設定テーブル１００は、図１３に示すように、取得した露光時間により撮影環境が明るい場合には、閾値１として、撮像装置３０の揺れに対し、判別条件として閾値１０２が設定され、この閾値条件を満たした場合には、手振れ補正量１０４が設定される。また、手振れ補正機能設定テーブル１００は、撮影環境が暗い場合、判別条件として閾値２が設定される。

＜撮像処理について＞

図１４は、撮像処理の一例を示している。図１４に示す処理手順、処理内容は一例である。

この撮像処理では、動画の録画を開始すると、手振れ補正機能をオフに設定し（Ｓ３１）、手振れ補正機能の適用条件の判断に移行する。撮像装置３０は、所定の周期Ｔで、ジャイロスコープ４０からＸ軸、Ｙ軸毎に角速度情報を取得し（Ｓ３２）、直近のｍ回分の情報を利用して角速度の平均値を算出する（Ｓ３３）。

撮像装置３０は、カメラモジュール３２から設定された露光時間情報を取得し（Ｓ３４）、撮影環境の明るさ条件の判断を行う。

この判断では、取得した露光時間情報が閾値露光時間よりも短いか否かを判断し（Ｓ３５）その判断結果に対して手振れ補正機能設定テーブル１００を利用して手振れ判別閾値や手振れ補正量を設定する。

露光時間が短い場合（Ｓ３５のＹＥＳ）、たとえばメモリ３８に格納された手振れ補正機能設定テーブル１００を読み出し、閾値１が設定される。そして平均値との差分値であるジャイロ判定値が閾値１以上の場合（Ｓ３６のＹＥＳ）、手振れと判別せず、手振れ補正機能をオフ状態に維持させる（Ｓ３７）。また、撮像装置３０は、ジャイロ判別値が閾値１未満の場合（Ｓ３６のＮＯ）、手振れ補正量に従い、カメラＩＳＰ３４に対して手振れ補正強度を「強」に設定する（Ｓ３８）とともに、手振れ補正機能をオンに設定する（Ｓ３９）。

露光時間が長い場合（Ｓ３５のＮＯ）、手振れ補正機能設定テーブル１００により閾値２が設定される。そしてジャイロ判定値が閾値２以上の場合（Ｓ４０のＹＥＳ）、手振れと判別せず、手振れ補正機能をオフ状態に維持させる（Ｓ４１）。また、撮像装置３０は、ジャイロ判別値が閾値２未満の場合（Ｓ４０のＮＯ）、手振れ補正量に従い、カメラＩＳＰ３４に対して手振れ補正強度を「弱」に設定する（Ｓ４２）とともに、手振れ補正機能をオンに設定する（Ｓ４３）。

＜撮像処理の他の例について＞

図１５は、撮像処理の他の例を示している。

この撮像処理では、図１４に示す撮像処理に対し、手振れ補正機能の実行条件として、閾値条件を満たした回数を計数する場合を示している。

図１５に示す撮像処理では、たとえばステップＳ５１〜Ｓ５７までの処理が図１４のステップＳ３１〜Ｓ３７までの処理と同等であるので、説明を省略する。

撮像装置３０は、ジャイロ判定値が閾値１未満の場合（Ｓ５６のＮＯ）、メモリ３８内にその条件を満たした回数の連続カウント値を記憶させる（Ｓ５８）。そして撮像装置３０は、このカウント値が連続して一定回数になるまで繰り返し露光条件を判断し、一定回数以上となった場合（Ｓ５９のＹＥＳ）、手振れ補正機能設定テーブル１００から手振れ補正量を読み出して、カメラＩＳＰ３４に対して手振れ補正強度「強」を設定する（Ｓ６０）。そして、手振れ補正機能をオンに設定すると（Ｓ６１）、カウンタをリセットする（Ｓ６２）。

また、撮像装置３０は、ジャイロ判定値が閾値２未満の場合（Ｓ６３のＮＯ）、連続カウント値を記憶させる（Ｓ６５）。撮像装置３０は、カウント値が連続して一定回数に達すると（Ｓ６６のＹＥＳ）、カメラＩＳＰ３４に対して手振れ補正強度を「弱」に設定し（Ｓ６７）、手振れ補正機能をオンに設定する（Ｓ６８）。そして、手振れ補正機能を設定すると、カウンタをリセットする（Ｓ６２）。撮像装置３０は、ジャイロ判定値が閾値２以上の場合（Ｓ６３のＹＥＳ）、手振れ量が判別条件を超えることから、手振れ補正機能をオフする（Ｓ６４）。

斯かる構成によれば、取得した露光時間によって手振れ閾値と手振れ補正強度が設定されるので、撮像処理における処理を簡易化し、手振れのオン・オフまたは手振れ補正強度設定の迅速な処理を行うことができる。また閾値条件を満たした場合のカウント処理を行うことで、一次的な明るさ条件の変化や揺れの変化に対する手振れ補正機能の設定条件を変えさせないことで、動画撮影における連続した手振れに対する手振れ補正機能の応答性の低下を防止できる。またカウンタ条件により、手振れ補正強度の設定変更処理の頻度を下げることで、消費電力の増加を防止できる。

以上説明した実施の形態について、変形例を以下に列挙する。

(1) 上記実施形態では、撮像装置３０は、カメラモジュール３２から取得した現在の露光時間情報のみを利用して手振れ補正機能の設定処理や手振れ判別処理を行っているが、これに限られない。撮像装置３０は、たとえば直前の１回または数回分の手振れ補正機能設定処理で取得した露光時間情報や閾値との比較によって判断した明るさの結果を前回撮像処理までの明るさ条件としてメモリ３８に格納し、前回までの明るさ条件と現在の明るさ条件との変化に基づいて、撮影環境条件を判断してもよい。すなわち、露光時間に大きな変化が無い場合には、撮影環境の明るさに変化が少ないものと判断してもよい。

斯かる構成によれば、撮像装置３０は、連続する動画画像の撮影において、一定の周期毎に手振れ閾値設定テーブル５０を読み出して明るさの閾値と比較する処理を減らすことができ、処理の迅速化や処理負荷の軽減を図ることができる。

(2) 上記実施の形態では、撮影環境に基づく手振れの判別の閾値が明るい場合と暗い場合の二者択一の例を示したがこれに限られない。撮影環境条件は、たとえば撮像素子の性能などにより、フォーカルプレーン現象の発生条件に応じてより細分化した明るさ撮影環境条件を設定してもよい。

(3) 上記実施の形態では、撮像装置３０は、撮影環境条件の判断にカメラモジュール３２から取得した露光時間情報を利用する場合を示したがこれに限られない。撮像装置３０は、たとえば撮像対象に対する露光量を検出する露光計や撮影環境の照度を計測する照度計を独立して備えてもよい。そして撮像装置３０は、たとえばカメラモジュール３２に搭載されたイメージセンサの特性に基づいて、フォーカルプレーン現象が起きやすい露光量や照度に基づくテーブルをメモリ３８内に備えてもよい。

(4) 上記実施の形態では、撮像装置２の振れ量を検出する手段として角速度センサ１０を利用する場合を示したがこれに限られない。撮像装置２は、たとえば筐体１４が所定方向に変位した量を計測する加速度センサを利用してもよい。そして撮像装置２は、加速度センサの計測量に基づき、所定の方向への加速度に基づいて振れ量を判断し、手振れ補正機能の制御を行う。

次に、以上述べた実施の形態に関し、更に以下の付記を開示する。本開示の技術に係る技術的思想は上位概念から下位概念まで、様々なレベルやバリエーションにより把握できるものであり、以下の付記に本開示の技術が限定されるものではない。

（付記１）取り込んだ動画画像の一部を振れ方向に応じて切り出して、手振れ状態を補正した動画画像を生成する画像生成部を備えた撮像装置であって、
筐体の振れ量を検出する角速度センサと、
撮影環境の明るさ情報を取得する明るさ情報取得手段と、
前記角速度センサの検出値に基づいて前記筐体の振れ量が所定の判別条件を満たしたか否かを判別し、前記判別条件を満たしたと判別された場合、取得した前記明るさ情報に応じて前記画像生成部による前記動画画像の切り出し可能な範囲の最大値を設定する制御部と、
を備えることを特徴とする撮像装置。

（付記２）前記制御部は、角速度閾値が設定され、前記角速度センサによる検出値が該角速度閾値よりも小さい場合は前記判別条件を満たしたと判別し、設定した切り出し可能な範囲で前記画像生成部の手振れ状態の補正処理を実行させることを特徴とする付記１に記載の撮像装置。

（付記３）前記制御部は、明るさ閾値が設定され、該明るさ閾値に対する前記明るさ情報の大小に応じて、取り込んだ前記動画画像に対する切り出し幅の最大値を変えて設定することを特徴とする付記１または付記２に記載の撮像装置。

（付記４）前記制御部は、前記角速度センサの検出値により、前記筐体の振れ量が所定の判別条件を満たしていない場合、前記画像生成部に対して前記動画画像の切り出し処理を停止させることを特徴とする付記１ないし付記３のいずれか１つに記載の撮像装置。

（付記５）前記制御部は、前記角速度閾値に対して前記明るさ情報に基づく閾値が設定され、前記明るさ情報に応じて前記角速度閾値を変化させることを特徴とする付記２ないし付記４のいずれか１つに記載の撮像装置。

（付記６）前記明るさ情報取得手段は、前記撮影環境の照度を検出する照度計で形成されることを特徴とする付記１ないし付記５のいずれか１つに記載の撮像装置。

（付記７）さらに、前記角速度センサの検出情報を格納する記憶部を備え、
前記制御部は、前記記憶部に格納した直近の複数回の前記角速度センサによる検出値の平均値を算出し、前記角速度センサで検出した検出値と該平均値との差分に基づいて前記判別条件を満たしたか否かを判別することを特徴とする付記１ないし付記６のいずれか１項に記載の撮像装置。

（付記８）前記制御部は、前記角速度センサの検出値に基づき、所定回数連続して前記筐体の振れ量が所定の判別条件を満たさない場合に、前記画像生成部による手振れ補正処理を開始させるとともに、前記動画画像の切り出し幅の最大値を設定することを特徴とする付記１ないし付記７のいずれか１つに記載の撮像装置。

（付記９）取り込んだ動画画像の一部を振れ方向に応じて切り出して、手振れ状態を補正した動画画像を生成する画像生成部を備えた撮像装置に搭載されるコンピュータに実行させる撮像処理プログラムであって、
角速度センサが検出した検出値に基づいて筐体の振れ量が所定の判別条件を満たしたか否かを判別し、
前記判別条件を満たしたと判別された場合、取得した撮影環境の明るさ情報に応じて前記画像生成部による前記動画画像の切り出し可能な範囲の最大値を設定する
処理を前記コンピュータに実行させるための撮像処理プログラム。

（付記１０）前記角速度センサの検出値により、前記筐体の振れ量が所定の判別条件を満たさない場合、前記画像生成部に対して前記動画画像の切り出し処理を停止させる処理を含むことを特徴とする付記９に記載の撮像処理プログラム。

以上、本開示の構成の好ましい実施形態等について説明した。しかし、本開示の技術は上記実施の形態の記載に限定されるものではない。特許請求の範囲に記載され、または明細書に開示された技術の要旨に基づき、当業者において様々な変形や変更が可能であることは勿論である。そして斯かる変形や変更が本開示の技術に含まれることは言うまでもない。

２、３０ 撮像装置
４ 撮像素子
６ 画像生成部
８ 制御部
１０ 角速度センサ
１２ 明るさ情報取得手段
１４ 筐体
２０ 取り込んだ画像
２２ 補正画像
３２ カメラモジュール
３４ カメラＩＳＰ
３６ ＣＰＵ
３８ メモリ
４０ ジャイロスコープ
４２ ＬＣＤ
４４ タッチパネル
５０ 手振れ閾値設定テーブル
６０、１００ 手振れ補正機能設定テーブル
７０ 露光時間テーブル
８０ 振れ検出テーブル
９０ 振れ算出テーブル
９４ 最新の角速度情報欄
９６ 差分値
１０２ 閾値
１０４ 手振れ補正量

Claims (5)

1. 取り込んだ動画画像の一部を振れ方向に応じて切り出して、手振れ状態を補正した動画画像を生成する画像生成部を備えた撮像装置であって、
   筐体の振れ量を検出する角速度センサと、
   撮影環境の明るさ情報を取得する明るさ情報取得手段と、
   前記角速度センサの検出値に基づいて前記筐体の振れ量が所定の判別条件を満たしたか否かを判別し、前記判別条件を満たしたと判別された場合、取得した前記明るさ情報に応じて前記画像生成部による前記動画画像の切り出し可能な範囲の最大値を設定する制御部と、
   を備えることを特徴とする撮像装置。
2. 前記制御部は、角速度閾値が設定され、前記角速度センサによる検出値が該角速度閾値よりも小さい場合は前記判別条件を満たしたと判別し、設定した切り出し可能な範囲で前記画像生成部の手振れ状態の補正処理を実行させることを特徴とする請求項１に記載の撮像装置。
3. 前記制御部は、前記角速度閾値に対して前記明るさ情報に基づく閾値が設定され、前記明るさ情報に応じて前記角速度閾値を変化させることを特徴とする請求項２に記載の撮像装置。
4. さらに、前記角速度センサの検出情報を格納する記憶部を備え、
   前記制御部は、前記記憶部に格納した直近の複数回の前記角速度センサによる検出値の平均値を算出し、前記角速度センサで検出した検出値と該平均値との差分に基づいて前記判別条件を満たしたか否かを判別することを特徴とする請求項１ないし請求項３のいずれか１項に記載の撮像装置。
5. 取り込んだ動画画像の一部を振れ方向に応じて切り出して、手振れ状態を補正した動画画像を生成する画像生成部を備えた撮像装置に搭載されるコンピュータに実行させる撮像処理プログラムであって、
   角速度センサが検出した検出値に基づいて筐体の振れ量が所定の判別条件を満たしたか否かを判別し、
   前記判別条件を満たしたと判別された場合、取得した撮影環境の明るさ情報に応じて前記画像生成部による前記動画画像の切り出し可能な範囲の最大値を設定する
   処理を前記コンピュータに実行させるための撮像処理プログラム。
   
   

Images