JP2015114523A - 像振れ補正機能付き撮像装置 - Google Patents

Abstract

【課題】撮影者が視線を表示部から外した場合であっても、安定した見えのよい動画を撮影できる像振れ補正装置を提供すること。
【解決手段】撮影画像を表示する表示手段と、撮像装置に生じる振れを検出する振れ検出手段と、前記振れ検出手段の出力に基づいて振れを補正する補正手段と、撮影者の視線方向を検出する視線検知手段と、前記視線検知手段による視線方向が表示手段から表示手段以外に移動した場合、または、表示手段以外から表示手段に移動した場合に、振れ補正特性を変更する変更手段と、を備えることを特徴とする。
【選択図】図１

Description

本発明は、像振れ補正機能を有する撮像装置に関するものである。

手振れに起因した撮像装置の振れを検出して、この振れを補正するように撮像レンズを駆動する像振れ補正装置を備えた撮像装置が知られている。近年では、パンニング動作やチルティング動作を伴うことが前提として設計された像振れ補正機能を備えた撮像装置が提案されている。パンニング動作等の意図的な動作と判断した時は、フィルタのカットオフ周波数を高く設定し、パンニング動作に対する応答性を改善している。

特許文献１では振れの大きさに基づいてパンニング動作の有無を判定し、判定結果に応じて、フィルタのカットオフ周波数を変更することで、パンニング動作が伴う場合も伴わない場合も、安定して見えの良い動画撮影ができる像振れ補正技術が開示されている。

また、特許文献2ではファインダ上における撮影者の視線方向を検出し、視線方向が画面中央以外の場合はパンニング動作が行われていると判定し、カットオフ周波数を変更することでパンニング動作の応答性を改善するといった技術が開示されている。

特開2013−33160号公報 特開平5−107621号公報

しかしながら、特許文献１では、撮影者の視線が撮影画像を表示する表示部から被写体等に移動した場合、振れ補正性能が低下してしまう。なぜなら、視線を移動した時に生じる低周波の大きなブレをパンニング動作と誤判定し、フィルタのカットオフ周波数を高く設定しまうためである。

また、特許文献2では、視線をファインダから被写体に移動した場合、視線が画面中央以外にあるためパンニング動作と判断され、フィルタのカットオフ周波数を高く設定し、補正性能が低下してしまう。

撮影者が動画撮影中に視線を表示部から外す行為は、例えば子供を動画撮影している時に、表示部越しではなく直接子供を見る場合等に発生し、この時振れ補正性能が低下してしまう。

そこで、本発明の目的は、撮影者が視線を表示部から外した場合であっても、安定した見えのよい動画を撮影できる像振れ補正装置を提供することである。

上記目的を達成するために、本発明は、撮影画像を表示する表示手段と、
撮像装置に生じる振れを検出する振れ検出手段と、
前記振れ検出手段の出力に基づいて振れを補正する補正手段と、
撮影者の視線方向を検出する視線検知手段と、
前記視線検知手段による視線方向が表示手段から表示手段以外に移動した場合、または、表示手段以外から表示手段に移動した場合に、振れ補正特性を変更する変更手段と、を備えることを特徴とする。

本発明によれば、撮影者が視線を表示部から外した場合であっても、安定した見えのよい動画を撮影できる像振れ補正装置を提供することができる。

実施形態に係る撮像装置の構成例を示すブロック図である。 実施形態に係る視線検出制御部の構成例を示すブロック図である。 実施形態に係る振れ検出部の構成例を示すブロック図である。 実施形態に係る振れ検出部のフローチャートである。 実施形態に係る振れ検出部における補正特性の切り替えを説明する図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわる撮像装置の構成例を示すブロック図である。

図１において、補正レンズユニット１０１は光軸に対して垂直方向に移動可能な振れ補正用のレンズ（シフトレンズ）とそれを保持する機構を有する。振れ補正制御部１０２は、補正レンズユニット１０１を駆動制御する。なお、補正レンズユニット１０１と補正制御部１０２により、本実施形態の振れ補正部１２０が構成される。

絞り・シャッタユニット１０３は絞り・シャッタ制御部１０４によって駆動制御される。フォーカスレンズユニット１０５はピント調節を行うフォーカスレンズを含む。フォーカス駆動制御部１０６は、フォーカスレンズユニット１０５を駆動制御する。撮像部１０７は各レンズ群を通ってきた光像を電気信号に変換する。画像処理部１０８は撮像部１０７から出力された電気信号を映像信号に変換処理し、用途に応じて加工する。

表示部１０９は画像処理部１０８から出力された信号に基づいて、必要に応じて画像表示を行う。

１１０は撮影者の眼球を示している。視線検出部１３０は、光源１１１と、受光レンズ１１２と、眼球撮像部１１３、視線検出制御部１１４で構成される。

光源１１１は少なくとも１つの赤外発光ダイオードで構成され、視線検出制御部１１４からの制御信号に応じて、撮影者の顔、特に眼球１１０及びその周辺を照明する。受光レンズ１１２は眼球撮像部１１３へ集光するレンズユニットである。眼球撮像部１１３は光源１１１により照明された眼を含む撮影者の顔の領域が映った画像を生成する。

視線検出制御部１１４は眼球撮像部１１３の出力画像から撮影者の注視点を求める視線方向検出処理を実行する。

振れ検出部１１５は撮像装置の振れを検出し、検出した振れと視線検出部１３０で求めた視線方向に基づいて振れ補正量を算出する。この補正量に基づいて前述の振れ補正制御部１０２が補正レンズユニット１０１を駆動制御する。

操作部１１６は撮影者がシステムを操作するためのボタンやスイッチなどからなる。動画記録スイッチ１２１は動画の記録開始、終了を操作するためのボタンである。シャッタレリーズボタン１２２は静止画を撮影するためのボタンであり、押し込み量に応じて第１スイッチ（ＳＷ１）および第２スイッチ（ＳＷ２）が順にオンされる。シャッタレリーズボタン１２２が約半分押し込まれたときにスイッチＳＷ１がオンし、シャッタレリーズボタン１２２が最後まで押し込まれたときにスイッチＳＷ２がオンする構造となっている。記憶部１１７は、映像情報など様々なデータを記憶する。カメラシステム制御部１１８はシステム全体を制御する。

次に、上記構成を持つ撮像装置の概略動作について説明する。操作部１１６により振れ補正モードが選択されると、カメラシステム制御部１１８が視線検出制御部１１４及び振れ検出部１１５、振れ補正制御部１０２に動作の実行を指示する。そして、視線検出部１３０が出力する視線情報に基づいて振れ検出部１１５が振れ補正量を算出し、振れ補正制御部１０２が振れ補正量に基づいて振れ補正動作を行う。振れ補正オフの指示がなされた場合及び操作部１１６により再生モードが選択された場合には振れ補正動作を停止する。

動画記録スイッチ１２１が押下されると動画記録を開始し、動画記録中に再度動画記録スイッチ１２１が押下されると動画記録を終了する。また、シャッタレリーズボタン１２２のスイッチのＳＷ１がオンされると、フォーカス駆動制御部１０６がフォーカスレンズユニット１０５を駆動してピント調節を行うとともに、絞り・シャッタ駆動制御部１０４が絞り・シャッタユニット１０３を駆動して適正な露光量に設定する。シャッタレリーズボタン１２２のスイッチＳＷ２がオンされると、撮像部１０７に露光された光像から得られた画像データが記憶部１１７に記憶される。

次に、図２に示す視線検出制御部１１４内部の機能ブロック図について説明する。光源制御部２０１は視線検出動作に応じて、光源１１１の点灯及び消灯を制御する。撮像制御部２０２は視線検出処理実行中において、眼球撮像部１１３が撮影するタイミングを制御する。撮像制御部２０２は光源制御部２０１から光源１１１が点灯したことを通知されると、眼球撮像部１１３に撮像指示信号を送信する。

顔検出部２０３は撮影者の眼が映っている領域を特定するために、眼球撮像部が撮影した画像から、顔が映っている領域を公知のテンプレートマッチング等を利用し検出する。

プルキニエ像検出部２０４は顔検出部２０３が検出した顔領域の中から、眼が映っている領域を検出し、その中から光源１１１の角膜反射像（以下、プルキニエ像）と瞳孔を検出する。眼及び瞳孔の検出は、例えば眼及び瞳孔のテンプレート画像と顔領域の画像とで公知のテンプレートマッチングにより検出する。光源１１１のプルキニエ像が映っている領域の輝度は、その周辺よりも高い。そこで、眼の領域内で光源１１１の発光面の輪郭形状と略一致し、周辺よりも輝度の高い領域を検出し、プルキニエ像とする。そして、プルキニエ像検出部２０４は瞳孔重心とプルキニエ像の重心を視線検出部２０５へ通知する。

視線検出部２０５は瞳孔重心とプルキニエ像の重心に基づいて撮影者の視線方向を検出する。光源のプルキニエ像の位置は、角膜の表面が略球形であるため、視線方向によらず、一定となる。一方、瞳孔重心は撮影者の視線方向に応じて移動する。そのため、視線検出部２０５は、プルキニエ像の重心を基準とする瞳孔重心の相対的な位置を求めることにより、ユーザの視線方向を検出できる。そこで、瞳孔重心の相対的な位置とユーザの視線方向との関係を表す参照テーブルを参照することにより、ユーザの視線方向を決定する。

そして、視線検出部２０５は、ユーザの視線方向を注視点検出部２０７へ通知する。

距離推定部２０６は例えば、顔検出部２０３で求めた顔領域から、目や鼻等の器官を検出し、各器官間距離を求める。そして、予め記憶した表示部１０９から撮影者までの距離（撮影者距離）と各器官間距離とのテーブルを参照し撮影者距離を推定し、注視点検出部２０７へ通知する。

注視点検出部２０７は、撮影者の視線方向と撮影者距離に基づいて、表示部１０９上で注視している位置を検出する。本実施形態では、注視点検出部２０７は、ユーザの視線方向及び撮影者距離と表示部１０９上でのユーザの注視点との関係を表す注視点テーブルを参照することにより、撮影者の注視点を決定する。注視点検出部２０７はカメラシステム制御部１１８を介して、決定した注視点をブレ検出部１１５へ通知する。

図３は振れ検出部１１５内部のブロック図であり、その説明を以下に示す。なお、Ｐｉｔｃｈ方向およびＹａｗ方向で同じ構成となるため、以下では片軸のみで説明を行う。

角速度検出手段３０１は主にジャイロセンサを用いて振れの速度（角速度）を検出して、電圧として出力する。すなわち、角速度検出手段３０１は、撮像装置の手振れ等を検出する。ＤＣカット３０２は前記角速度検出手段３０１から出力される速度信号の直流成分を遮断するＤＣカットフィルタ（任意の帯域で信号を遮断するハイパスフィルタ）である。Ａ／Ｄ変換器３０３は入力される角速度信号をデジタル値に変換する。

ＨＰＦ３０４はカットオフ周波数を変更できる機能を有したハイパスフィルタ、積分フィルタ３０５はＨＰＦ３０４介する角速度信号を角変位信号に変換する。補正量算出部３０６は積分フィルタ３０５の出力結果を焦点距離情報に基づいて振れ補正部１２０での補正量に変換する。パンニング判定部３０７は前記Ａ／Ｄ変換器３０３からの角速度信号を用いてパンニング／チルティング等の撮影状態の判別を行い、この判別結果に基づいて前記ＨＰＦ３０４の特性を変更する。視線検出部１３０からの注視点が前記表示部１０９から外れた場合、または表示部１０９に戻った場合に、補正特性変更部３０８は前記ＨＰＦ３０４の特性及び、前記パンニング判定部３０７の判定基準を変更する。

注視点が表示部１０９から外れている場合は、主に周波数の低い振れが大きくなるため、補正効果が高くなるように低周波の振れに対応した補正量を生成する。また、パンニング判定基準を撮影者の意図しない側へ変更することで、低周波の大きくなった振れによりパンニングが発生したと誤った判定を回避することができる。

図４は振れ検出部１１５による振れ検出処理を示すフローチャートである。この補正量算出処理は所定の周期で繰り返し実行され、振れ補正量を算出する。Ｓ４００にてブレ検出を開始したら、Ｓ４０１において、角速度検出手段３０１の出力をＤＣカットした後、Ａ／Ｄ変換を実施しＡＤ値（ＡＤ）を求める。Ｓ４０２では、視線検出部１３０の注視点情報に基づいて、注視点が表示部１０９内か否か判定し、ＹＥＳ（表示部内）と判定した場合はＳ４０３へ遷移する。

Ｓ４０３ではＨＰＦのカットオフ周波数（ＨＰＦｆｃ）を通常時の振れ補正の第一カットオフ周波数(ｆｃ１)に設定し、Ｓ４０４へ遷移する。Ｓ４０４では後述のパンニング判定Ｓ４０７に必要な可変のパンニング判定閾値（ＰＡＮｔｈｒ）を第一パンニング判定閾値（ｔｈｒ１）に設定する。パンニング判定閾値は、Ｓ４０２の判定結果に応じて異なる閾値を設定する。ここで、パンニング判定Ｓ４０７について説明する。例えば本実施例では、パンニング判定Ｓ４０７はＡＤ変換器３０３からの角速度信号（ＡＤ）に基づいて判定する。角速度信号（ＡＤ）がパンニング判定閾値（ＰＡＮｔｈｒ）以上になった場合にパンニングと判定する。

Ｓ４０２でＮＯ（表示部外）と判定した場合はＳ４０５へ遷移する。Ｓ４０５では撮影者の視線が表示部１０９外に移動したことにより増加する低周波の振れに対応したＨＰＦのカットオフ周波数（ＨＰＦｆｃ）を設定する。カットオフ周波数（ＨＰＦｆｃ）をＳ４０３で設定した通常時の振れ補正の第一カットオフ周波数(ｆｃ１)より低い第二カットオフ周波数(ｆｃ２)に設定しＳ４０６に遷移する。Ｓ４０６では撮影者の視線が表示部１０９外に移動したことにより増加する低周波の振れをパンニングと誤判定しないよう、パンニング判定閾値（ＰＡＮｔｈｒ）を、Ｓ４０４で設定した第一パンニング判定閾値（ｔｈｒ１）より大きい第二パンニング判定閾値（ｔｈｒ２）を設定する。

Ｓ４０７にてパンニングが発生していないと判定した場合（ＡＤ≦ＰＡＮｔｈｒ）は、Ｓ４０３またはＳ４０５で設定したカットオフ周波数（ｆｃ１またはｆｃ２）でＳ４０８にて補正量を算出する。Ｓ４０７にてパンニングが発生したと判定した場合(ＡＤ＞ＰＡＮｔｈｒ）はＳ４０９へ遷移し、ＨＰＦのカットオフ周波数（ＨＰＦｆｃ）を、前記第一カットオフ周波数(ｆｃ１)及び、前記第二カットオフ周波数(ｆｃ２)より高い第三のカットオフ周波数(ｆｃ３)に設定する。これにより、パンニング動作の応答性を改善する。

Ｓ４０８では、設定されたカットオフ周波数（ＨＰＦｆｃ）でＨＰＦ処理し、積分フィルタ３０５で角変位信号に変換し、焦点距離に応じた補正量を算出する。補正量を算出した後にＳ４１０へ遷移する。

Ｓ４１０では、Ｓ４０８で算出した補正量に基づいて、振れ補正制御部１０２が補正レンズユニット１０１を駆動制御する。

Ｓ４１１では、カメラシステム制御部１１８より振れ補正終了が通知された場合、振れ検出を終了し、終了が通知されていない場合は、Ｓ４０１に戻る。

図５は振れ補正特性を時系列に示したグラフである。上段のグラフ（Ａ）は発生した振れ量（ＡＤ）及び、本実施例の補正量（以下、実施例補正量）、従来技術の補正量（以下、従来補正量）を示す。また、中段のグラフ（Ｂ）は補正した結果、残った振れ量（以下、実施例補正残り量）と従来技術の残った振れ量（以下、従来補正残り量）を示す。下段のグラフ（Ｃ）は振れ検出部１１５のＨＰＦ３０４のカットオフ周波数（以下、実施例ＨＰＦｆｃ）と従来技術のカットオフ周波数（以下、従来ＨＰＦｆｃ）の設定値を示す。

時刻０から時刻Ｔ１までの撮影者の視線は表示部１０９内とし、時刻Ｔ１で撮影者の視線は表示部１０９内から表示部１０９外に移動し、被写体に視線を持って行っている。

そのため、図５グラフ（Ａ）では、時刻Ｔ１以降において低周波の振れ量が増加する。

この時の動作を先程までのフロー（図４）に従い説明する。時刻Ｔ１で撮影者の視線が表示部１０９内から表示部１０９外に移動したことを視線検出部１３０が検出するとＳ４０２にてＮｏ（表示部外）と判定さる。続いてＳ４０５にて、増加する低周波の振れに対応するために、ＨＰＦ３０４のカットオフ周波数（ＨＰＦｆｃ）をｆｃ１からｆｃ２に下げる。この時のＨＰＦｆｃの変化を図示したものが図５グラフ（Ｃ）である。

次にＳ４０６にて、増加する低周波の振れをパンニングと誤判定しないよう、パンニング判定閾値（ＰＡＮｔｈｒ）を図５グラフ（Ａ）に示すｔｈｒ１からｔｈｒ２まで上げる。そのため、低周波の振れが増加する時刻Ｔ１以降でも、振れ量がｔｈｒ２を超えない。従って、Ｓ４０７にてパンニングは発生していないと判定し、Ｓ４０８にて補正量を算出する。このときのＨＰＦ３０４のカットオフ周波数（ＨＰＦｆｃ）は、低周波の振れに対応したｆｃ２であるため、図５グラフ（Ｂ）に示す様に、実施例補正残り量は小さい。

以上により、本実施例では視線が表示部１０９外に移動した後も補正残りが少なく、見えの良い撮影画像を提供することができる。

一方、視線検出部１３０を有していない従来技術では、視線を被写体に持って行ったことを検出できないため、時刻Ｔ１にてカットオフ周波数（ＨＰＦｆｃ）及び、パンニング判定閾値（ＰＡＮｔｈｒ）を変更できない。つまり、時刻Ｔ１以降もパンニング判定閾値（ＰＡＮｔｈｒ）は図５グラフ（Ａ）に示すｔｈｒ１のままである。従って、振れ量がｔｈｒ１を超える時刻Ｔ２において、パンニングが発生したと誤判定していた。パンニングが発生したと判定すると、パンニング動作を補正しないように、図５グラフ（Ｃ）の従来ＨＰＦｆｃに示す線の様にＨＰＦｆｃをｆｃ１からｆｃ３に上げてしまう。ＨＰＦｆｃを上げてしまうと、低周波の振れを補正することができなくなる。

従って、図５グラフ（Ｂ）従来補正残り量が示す通り、時刻Ｔ２以降において低周波の振れを補正できない。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０９ 表示部
１１５ 振れ検出部
１２０ 振れ補正部
１３０ 視線検出部
３０１ 角速度検出部
３０２ ＤＣカット
３０３ Ａ／Ｄ変換器
３０４ ＨＰＦ
３０５ 積分フィルタ
３０６ 補正量算出
３０７ パンニング判定
３０８ 補正特性変更部

Claims (5)

1. 撮影画像を表示する表示手段（１０９）と、
   撮像装置に生じる振れを検出する振れ検出手段（１１５）と、
   前記振れ検出手段の出力に基づいて振れを補正する補正手段（１２０）と、
   撮影者の視線方向を検出する視線検知手段（１３０）と、
   前記視線検知手段による視線方向が表示手段（１０９）内から表示手段（１０９）以外に移動した場合、または、表示手段（１０９）以外から表示手段（１０９）内に移動した場合に、振れ補正特性を変更する変更手段（３０８）と、を備えることを特徴とする像振れ補正装置。
2. 前記変更手段（３０８）は、前記視線検知手段（１３０）による視線方向が表示手段（１０９）から表示手段（１０９）以外に移動した場合、像振れ補正帯域の低周波限界を低周波側へ変更することを特徴とする請求項１に記載の像振れ補正装置。
3. 前記変更手段（３０８）は、前記視線検知手段（１３０）による視線方向が表示手段（１０９）以外から表示手段（１０９）に移動した場合、像振れ補正帯域の低周波限界を高周波側へ変更することを特徴とする請求項２に記載の像振れ補正装置。
4. 振れが撮影者の意図した動きであるか否かを判定するパンニング判定手段（３０７）と、を更に備え、
   前記変更手段（３０８）は、前記視線検知手段（１３０）による視線方向が表示部から表示部以外に移動した場合、パンニング判定手段の判定基準を撮影者の意図しないパンニング量へ変更することを特徴とする請求項１乃至請求項３の何れか１項に記載の像振れ補正装置。
5. 前記変更手段（３０８）は、前記視線検知手段（１３０）による視線方向が表示手段（１０９）以外から表示手段（１０９）に移動した場合、パンニング判定手段（３０７）の判定基準を撮影者の意図したパンニング量へ変更することを特徴とする請求項４に記載の像振れ補正装置。