JP2019008077A - 視線検出機能を備える撮像装置 - Google Patents

Abstract

【課題】ＡＦを行う領域を選択する際に用いる視線情報を自動的に切替えることで、撮影者の意図した領域をＡＦを行う領域として選択することを可能にした撮像装置を提供すること。【解決手段】撮影者の視線を検出する視線検出手段と、前記視線検出手段の出力により注視点を検知し、注視点を蓄積する手段と、撮影モードとシャッター速度に基づいてＡＦを行う領域を選択する際に用いる前記蓄積された注視点の数を自動的に切替える手段と、を有することを特徴とする。【選択図】図２

Description

本発明は、視線検出機能を備える撮像装置に関し、特に検出結果に基づいてＡＦ（自動焦点調節）を行う手段を備えたスチルカメラやビデオカメラ等の視線検出機能付きカメラの改良に関する。

従来、使用者（撮影者）が観察画面（カメラの場合はファインダー画面）のどの位置を観察しているのかを検知する、いわゆる視線検出装置が種々提案されている。

特許文献１には、視線検出手段の出力にて得られる撮影者の意図する対象に対する視線位置（注視点）を検出し、検出結果に基づいてＡＦを行う領域を選択する技術が開示されている。

特開２００５−０３３７６８号公報

しかしながら、一般に人の眼球の運動には、画像特徴を抽出する際に生じる運動で最も高い速度が３００度／秒に達する跳躍的運動と、３０〜３５度／秒以下の移動対象に対して生じる低速平滑な随従運動があり、そのほかに中心窩に対象物体を捉えつづけるために付随量的に生じる不規則な微少運動である固視微動等が存在する。またスチルカメラ、ビデオカメラ等においては、ファインダー内の視野外の表示を見ることもある。

このため、上述の特許文献１に開示された従来技術では、ＡＦを行う直前に取得した視線情報だけを用いてＡＦを行う領域を選択する場合、撮影者の意図とは異なる領域をＡＦを行う領域として選択してしまう可能性があった。また、ＡＦを行う直前とそれよりも一定期間前に取得した視線情報を用いてＡＦを行う領域を選択する場合、動体等を撮影しようとしている際には、撮影者の意図とは異なる領域をＡＦを行う領域として選択してしまう可能性があった。

本発明の目的は、ＡＦを行う領域を選択する際に用いる視線情報を自動的に切替えることで、撮影者の意図した領域をＡＦを行う領域として選択することを可能にした撮像装置を提供することにある。

上記の目的を達成するために、本発明に係る撮像装置は、
撮影者の視線を検出する視線検出手段と、前記視線検出手段の出力により注視点を検知し、注視点を蓄積する手段と、撮影モードとシャッター速度に基づいてＡＦを行う領域を選択する際に用いる前記蓄積された注視点の数を自動的に切替える手段と、を有することを特徴とする。

本発明によれば、ＡＦを行う領域を選択する際に用いる視線情報を自動的に切替えることで、撮影者の意図した領域をＡＦを行う領域として選択することを可能にした撮像装置を提供することができる。

第１の実施形態におけるカメラのブロック図である。 第１の実施形態におけるカメラの動作を示すフローチャートである。 第２の実施形態におけるカメラの動作を示すフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて説明する。

＜第１の実施形態＞
図１は、本発明の実施形態におけるデジタルカメラの構成を示す図である。以下、本発明の実施形態におけるデジタルカメラの構成について説明する。

カメラ１００は、中央処理装置（ＣＰＵ）１０１、表示装置１０２、操作部１０３、画像処理装置１０４、不揮発性メモリ１０５、主記憶装置１０６、記憶媒体１０７、視線検出装置１０８、レンズ駆動装置１０９、センサ１１０を備えている。

中央処理装置（ＣＰＵ）１０１は、後述する各種処理を実行するマイクロプロセッサ等から構成されており、図２のフローチャートに示す処理を実行する。また、中央処理装置１０１は、視線検出装置１０８から取得した視線検出結果を、不揮発性メモリ１０５に蓄積する。

表示装置１０２は、撮影した画像や撮影している動画、ユーザ設定画面、ライブビュー画像の表示等を行う。操作部１０３は、実際の静止画や動画の撮影の操作を行う場合やユーザ設定画面から所望の設定を入力する場合に用いる。操作部１０３には、静止画撮影ボタン、ＡＦボタン等がある。画像処理装置１０４は、撮影した画像や動画の画像解析等の画像処理を行う。

不揮発性メモリ１０５は、フラッシュメモリ等で構成されており、ユーザの設定情報等の撮像装置の電源がＯＦＦの間も保持すべき情報、画像データを転送する度に生成される転送済み情報、等を記憶するものである。また、不揮発性メモリ１０５は、撮像等の機器制御を行うプログラムコードやオペレーティングシステム（ＯＳ）等も格納している。

主記憶装置１０６は、ＲＡＭ等で構成されており、画像処理部１０４のデータを一時的に保存するために使われる。記憶媒体１０７は、取り外し可能な記録媒体等から構成されており、撮影した画像データを保存する。

視線検出装置１０８は、撮影者の視線を検出し、検出結果を中央処理装置１０１に出力する。レンズ駆動装置１０９は、中央処理装置１０１の制御によりレンズを駆動させてＡＦを行う。センサ１１０には、ＡＦセンサ、ＡＥセンサ等がある。

以下、このデジタルカメラの構成をもとに、本実施形態において撮影者の視線を検出し、撮影モードとシャッター速度とを用いて、ＡＦを行う領域を選択する際に用いる注視点の数を自動的に切替える動作について説明する。

図２に、撮影者の視線を検出し、撮影モードとシャッター速度とを用いて、ＡＦを行う領域を選択する際に用いる注視点の数を自動的に切替えるカメラ１００の動作のフローチャートを示す。

カメラ１００が視線検出状態になることにより、本フローチャートは開始される。すなわち、撮影者が撮影をする場合に本フローチャートは開始される。ここで、視線検出状態とは、たとえば、ファインダー撮影の場合、ファインダー内に設置した外光センサーが遮光されたことを検出した時など、撮影者がファインダーを覗いている状態、すなわち、撮影者の視線を検出できる状態を指す。

ステップＳ２０１において、カメラ１００の中央処理装置１０１は視線検出装置１０８からユーザの視線検出結果を情報を取得し、主記憶装置１０６に蓄積する。

ステップＳ２０２において、カメラ１００の中央処理装置１０１は操作部１０３の中のＡＦボタンが押下されたか否かを判定する。ＡＦボタンが押下されていない場合、処理をＳ２０１に戻す。ＡＦボタンが押下された場合には、処理をステップＳ２０３に進める。

ステップＳ２０３において、カメラ１００の中央処理装置１０１は撮影モードを読み込む。

ステップＳ２０４において、カメラ１００の中央処理装置１０１はステップＳ２０３で読み込んだ撮影モードが何であるかを判定する。撮影モードがスポーツ（動く被写体を撮影するためにシャッター速度が高速なモード）である場合、処理をステップＳ２０７に進める。撮影モードが風景（静止している被写体を撮影する為にシャッター速度が低速なモード）である場合、処理をステップＳ２０８に進める。撮影モードがスポーツ、風景以外である場合、処理をステップＳ２０５に進める。

ステップＳ２０５において、カメラ１００の中央処理装置１０１はＡＦモードが何であるかを判定する。ＡＦモードがサーボＡＦ（ＡＦボタンを押下している間は連続してＡＦを続けるモード）である場合、処理をステップＳ２０７に進める。ＡＦモードがワンショットＡＦ（ＡＦボタンを押下したならばＡＦを開始し一旦合焦したならばその合焦状態を保ち続けるモード）である場合、処理をステップＳ２０６に進める。

ステップＳ２０６において、カメラ１００の中央処理装置１０１はカメラのシャッター速度であるＴｖ値が、基準Ｔｖ値１よりも高速か否かを判定する。Ｔｖ値が基準Ｔｖ値１よりも高速である場合、処理をステップＳ２０７に進める。Ｔｖ値が基準Ｔｖ値１よりも低速である場合、処理をステップＳ２０８に進める。

ステップＳ２０７において、カメラ１００の中央処理装置１０１はステップＳ２０２においてＡＦボタンが押下された直前に取得した視線情報のみを用いてＡＦを行う。この場合のＡＦ動作は、中央処理装置１０１が、センサ１１０から、ＡＦボタンが押下された直前に取得した視線位置に対応する信号を読み込み、その信号を演算することによりレンズ駆動量を求める。その後、レンズ駆動装置１０９を制御して焦点調整を行う。

ステップＳ２０８において、カメラ１００の中央処理装置１０１はステップＳ２０２においてＡＦボタンが押下されたＸ秒前から、ＡＦボタンが押下された直前に取得した視線情報までを用いてＡＦを行う。この場合のＡＦ動作は、中央処理装置１０１が、センサ１１０から、ＡＦボタンが押下されたＸ秒前からＡＦボタンが押下された直前に取得した視線情報までを用いて選択された視線位置に対応する信号を読み込み、その信号を演算することによりレンズ駆動量を求める。その後、レンズ駆動装置１０９を制御して焦点調整を行う。ここで、視線位置を選択する方法は、最も視線情報が多かった位置を選択する方法や、取得した視線情報の重心を選択する方法や、視線情報の取得時間に応じて重みづけをして視線位置を選択する方法等がある。

以上説明したように、本実施形態によれば、カメラ１００が設定されている撮影モード、およびシャッター速度に基づいて、どれくらいの期間の視線情報をＡＦに用いるかを判定することで、ＡＦを行う領域を選択し、ＡＦを行うことができる。これにより、撮影モードが風景の場合や、ＡＦモードがワンショットＡＦの場合には、ＡＦを行う直前とそれよりも一定期間前に取得した視線情報を用いることで、撮影者の意図する領域を選択してＡＦを行うことができる。

また、撮影モードがスポーツの場合や、ＡＦモードがサーボＡＦの場合には、ＡＦを行う直前に取得した視線情報だけを用いることで、撮影者の意図する領域を選択してＡＦを行うことができる。

＜第２の実施形態＞
次に、第２の実施形態を説明する。

第１の実施形態では、カメラ１００の撮影モードとシャッター速度に基づいてＡＦを行う領域を選択する際に用いる注視点の数を切替えるカメラ１００の動作について述べた。

本実施形態では、カメラ１００の段階的なシャッター速度に基づいてＡＦを行う領域を選択する際に用いる注視点の数を切替えるカメラ１００の動作について説明する。なお、本実施形態は第１の実施形態と共通する部分が多い。したがって、第１の実施形態と共通する部分については説明を省略し、本実施形態に特有の部分について主に説明する。

図３に、撮影者の視線を検出し、撮影モードと段階的なシャッター速度とを用いて、ＡＦを行う領域を選択する際に用いる注視点の数を自動的に切替えるカメラ１００の動作のフローチャートを示す。

以下、図３に従って、カメラ１００の動作について示す。ステップＳ３０１〜ステップＳ３０８の処理は、図２のステップＳ２０１〜ステップＳ２０８と同様の処理であるため、ここでは説明しない。

ステップＳ３０９において、カメラ１００の中央処理装置１０１はカメラのシャッター速度であるＴｖ値が、基準Ｔｖ値２よりも高速か否かを判定する。Ｔｖ値が基準Ｔｖ値２よりも高速である場合、処理をステップＳ３１０に進める。Ｔｖ値が基準Ｔｖ値２よりも低速である場合、処理をステップＳ３０８に進める。

ステップＳ３１０において、カメラ１００の中央処理装置１０１はステップＳ３０２においてＡＦボタンが押下されたＹ秒前から、ＡＦボタンが押下された直前に取得した視線情報までを用いてＡＦを行う。

以上説明したように、本実施形態によれば、カメラ１００が設定されている撮影モード、および段階的なシャッター速度に基づいて、どれくらいの期間の視線情報をＡＦに用いるかを判定して、ＡＦをすることができる。これにより、ＡＦモードがワンショットＡＦの場合には、ＡＦを行う領域を選択する際に、どれくらい前に取得した視線情報までを用いるかを、シャッター速度に応じて動的に切替えることで、撮影者の意図する領域を選択してＡＦを行うことができる。

本実施形態では、シャッター速度を比較する値として、基準Ｔｖ値１、基準Ｔｖ値２の２つの値、およびＸ秒、Ｙ秒の２つの期間を用いて説明した。しかし、本発明はこの例に限定されるものではなく、任意の数値との比較に基づいて、それに対応した任意の期間の視線情報をＡＦに用いるかを判定してもいい。

＜他の実施形態＞
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。供給の形態はシステムあるいは装置記憶媒体に直接アクセスすることで供給されてもよいし、他の装置を介して供給されてもよい。

１０１ 中央処理装置、１０３ 操作部、１０４ 画像処理装置、
１０６ 主記憶装置、１０８ 視線検出装置、１０９ レンズ駆動装置、
１１０ センサ

Claims (1)

1. 撮影者の視線を検出する視線検出手段と、
   前記視線検出手段の出力により注視点を検知し、注視点を蓄積する手段と、
   撮影モードとシャッター速度に基づいてＡＦを行う領域を選択する際に用いる前記蓄積された注視点の数を自動的に切替える手段と、
   を有することを特徴とする撮像装置。