JP2010081260A - 撮像装置及びそのプログラム - Google Patents

Abstract

【課題】 被視線検出者の視線方向を検出し、その視線方向に基づいて画像を撮像して記録する際に、無駄な画像の記録を回避してメモリの有効活用を図ることができる撮像装置を提供する。
【解決手段】 撮像装置は、制御部２１の制御のもとに、検出された撮像画像内における被視線検出者の視線方向に対応する撮像フレーム内の部分領域をトリミングし、トリミングされた画像をメモリカード２０に記録する。また、撮像装置は、検出された撮像画像内における被視線検出者の視線方向の状況に応じて、メモリカード２０に撮像画像を記録するか否かを判断する。
【選択図】 図１

Description

本発明は、撮像素子によって撮像画像を取得する撮像装置、及びこの撮像装置に内蔵されたコンピュータが実行するプログラムに関する。

従来より、人物の視線方向を検出し、その視線方向の画像を撮像する技術が提案されている（例えば、特許文献１乃至特許文献４等参照。）。

具体的には、特許文献１には、人物の視線方向を検出し、検出した視線方向にしたがって、その視線方向にカメラを向けるとともに、エージェントの視線方向を制御する技術が開示されている。また、特許文献２には、入力した画像に含まれる１人又は複数の人物の視線方向を検出して当該人物が撮像装置を見ているか否かを判断し、予め定められた割合以上の人物が撮像装置を見ていると判断された画像を記録する技術が開示されている。さらに、特許文献３には、センサによって眼球の状態を検出し、その検出結果に基づいてカメラの焦点距離を変更する技術が開示されている。さらにまた、特許文献４には、イメージセンサによって人物の視線方向を検出し、他のカメラによって得られた撮像画像内の視線方向部分を拡大表示する技術が開示されている。
特開平１１−７３２８９号公報 特開２００６−３１９６１０号公報 特開２００１−２８１５２０号公報 特開平７−７７６６５号公報

しかしながら、上述した特許文献１乃至特許文献４に記載された従来の技術は、検出した視線方向の画像をそのまま撮像するのみであり、無駄な画像の記録を行ってしまうという問題があった。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、無駄な画像の記録を回避してメモリの有効活用を図ることができる撮像装置及びそのプログラムを提供することを目的とする。

本発明にかかる撮像装置は、撮像画像内における被視線検出者の視線方向に対応する撮像フレーム内の部分領域をトリミングし、トリミングされた画像を記録手段に記録することで、上述の課題を解決する。

また、本発明にかかる撮像装置は、撮像画像内における被視線検出者の視線方向の状況に応じて、記録手段に撮像画像を記録するか否かを判断することで、上述の課題を解決する。

さらに、本発明にかかる撮像装置のプログラムは、撮像画像内における被視線検出者の視線方向に対応する撮像フレーム内の部分領域をトリミングするトリミング処理と、トリミングされた画像を記録手段に記録する記録処理とをコンピュータに実行させることで、上述の課題を解決する。

さらにまた、本発明にかかる撮像装置のプログラムは、撮像画像内における被視線検出者の視線方向の状況に応じて、記録手段に撮像画像を記録するか否かを判断する判断処理をコンピュータに実行させることで、上述の課題を解決する。

本発明によれば、被視線検出者が注目する領域を自動的に判定してトリミングした画像を記録することから、無駄な画像の記録を回避してメモリの有効活用を図ることができる。

以下、本発明の好適な実施形態としての撮像装置について具体的に説明する。

［撮像装置の構成］
本発明の実施形態として示す撮像装置は、図１に示すように、撮像光学系１１と、この撮像光学系１１によって取得された外光に基づく光像に対応した光電変換出力を行う撮像部１２と、この撮像部１２から出力された光電変換出力に所定の処理を施す撮像処理部１３と、この撮像処理部１３から供給されたデータを記憶するデータメモリ１４と、所定のプログラムを記憶するプログラムメモリ１５と、メイン表示部１７に表示させるビデオ信号を生成するメイン表示処理部１６と、ビデオ信号を含む各種情報を表示するメイン表示部１７と、ユーザの操作を入力するキー入力部１８と、画像データの圧縮を行う画像圧縮部１９と、この画像圧縮部１９によって圧縮されたデータを記録するメモリカード２０と、撮像装置の全体動作を制御する制御部２１と、他の撮像装置との間で通信を行う通信部２２とを備える。

撮像光学系１１は、所定範囲の撮像領域の外光を撮像部１２の撮像素子に結像するための光学系である。この撮像光学系１１は、外光を入射するための複数のレンズ群や、これらレンズ群を駆動するモータ等から構成される。また、撮像光学系１１は、図示しないシャッターユニットや絞りユニットを有し、モータの駆動によってシャッターユニットの合焦位置や絞りユニットの絞り位置を移動させる。撮像光学系１１は、制御部２１の制御のもとにズームアウト及びズームインを自在に実行し、撮像範囲を変化させることができるズームレンズも有する。

撮像部１２は、例えばＲＧＢの原色系のカラーフィルタを形成したＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像素子等から構成される。撮像部１２は、図示しないタイミング発生器及び垂直ドライバによって走査駆動される。そして、撮像部１２は、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。

撮像処理部１３は、撮像部１２から出力された光電変換出力に所定の処理を施す。具体的には、撮像処理部１３は、撮像部１２からの光電変換出力に対して、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整した後、サンプルホールド回路によってサンプルホールドし、Ａ／Ｄ変換器によってディジタルデータに変換する。また、撮像処理部１３は、ディジタルデータに対して、画素補間処理、γ補正処理、及びマトリックス演算を含むカラープロセス処理を行い、ディジタル値としての輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを生成する。そして、撮像処理部１３は、複合同期信号、メモリ書き込みイネーブル信号、及びクロック信号を参照し、輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを、ＤＭＡ（Direct Memory Access）コントローラの内部のバッファに一旦書き込んだ後、バッファメモリとして使用されるデータメモリ１４に直接的に転送を行う。

データメモリ１４は、ＤＲＡＭ（Dynamic Random Access Memory）等から構成され、制御部２１の制御のもとに、撮像処理部１３から供給された輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを記憶する。このデータメモリ１４に記憶されたデータは、制御部２１によって読み出され、メイン表示部１７に表示させるために、図示しないＶＲＡＭ（Video Random Access Memory）に書き込まれる。

プログラムメモリ１５は、後述する視線検出に基づく撮像プログラム等、所定のプログラムを記憶するＲＯＭ（Read Only Memory）である。このプログラムメモリ１５に記憶されたプログラムは、制御部２１によって実行される。

メイン表示処理部１６は、輝度信号Ｙ及び色差信号Ｃｂ、ＣｒをＶＲＡＭから定期的に読み出し、これらのデータに基づいて、ビデオ信号を生成してメイン表示部１７に出力する。

メイン表示部１７は、当該撮像装置の筐体の背面側等に設けられた液晶ディスプレイ等から構成される。メイン表示部１７は、撮像モード時には、モニタ表示部（電子ファインダ）として機能する。メイン表示部１７は、この撮像モード時において、メイン表示処理部１６から供給されるビデオ信号に基づいた表示を行う。これにより、撮像装置は、その時点でＶＲＡＭから取り込んでいる画像情報をリアルタイムに表示することが可能となる。すなわち、撮像装置は、撮像部１２によって撮像した撮像画像をメイン表示部１７に表示させることができる。撮像装置は、このようにしてその時点での画像がモニタ画像としてリアルタイムにメイン表示部１７に表示されている、いわゆるスルー画像の表示状態で、撮像可能な状態となる。そして、撮像装置においては、撮像を行いたいタイミングで、キー入力部１８のうちの１つであるシャッターボタンが操作されると、制御部２１に対してトリガ信号を発生する。

キー入力部１８は、電源ボタン、シャッターボタン、モード切替ボタン、メニューボタン、決定ボタン、及び十字キー等を総称したユーザの操作を入力するための操作子群である。このキー入力部１８は、制御部２１に接続されており、各キーの操作に応じて操作された旨を指示する操作命令信号を制御部２１に供給する。

画像圧縮部１９は、制御部２１の制御のもとに、書き込まれた画像に対してＪＰＥＧ（Joint Photograph coding Experts Group）規格にしたがったＡＤＣＴ（Adaptive Discrete Cosine Transform：適応離散コサイン変換）や、エントロピ符号化方式であるハフマン符号化等の処理を行うことにより、データ圧縮を行う。画像圧縮部１９は、データ圧縮した符号データをメモリカード２０に供給する。

メモリカード２０は、当該撮像装置に対して着脱自在な記録媒体である。このメモリカード２０には、制御部２１の制御のもとに、画像圧縮部１９によって得られた符号データが１画像のデータファイルとして書き込まれる。

制御部２１は、ＣＰＵ（Central Processing Unit）等から構成され、当該撮像装置の全体動作を制御する。具体的には、制御部２１は、撮像処理部１３を制御してＤＲＡＭであるデータメモリ１４に転送された輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを、当該データメモリ１４から読み出す。そして、制御部２１は、読み出した信号を図示しないＶＲＡＭに書き込ませる。

また、制御部２１は、データの圧縮及び伸長、メモリカード２０に対する記録再生の制御等を行う。すなわち、制御部２１は、上述した撮像モード時には、シャッターボタンが操作されるのに応じて発生されたトリガ信号に基づいて、その時点で撮像部１２から取り込んでいる１画面分の輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを画像圧縮部１９に供給する。このとき、撮像処理部１３は、ＤＲＡＭであるデータメモリに書き込んだ輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを、各コンポーネント毎に画像圧縮部１９に供給する。具体的には、撮像処理部１３は、例えば、縦８画素×横８画素の基本ブロックと称される単位で輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを読み出し、画像圧縮部１９に供給する。

また、制御部２１は、静止画像の撮像時には、図示しないストロボ用の大容量コンデンサを充電した上で、撮像部１２の図示しないストロボ発光部を閃光駆動させる。さらに、制御部２１は、動画像の撮像時には、１回目のシャッターボタンが操作された時点で、上述した静止画データを画像圧縮部１９によってデータ圧縮した静止画データファイルのメモリカード２０への記録を開始させる。以降、制御部２１は、所定のフレームレート、例えば３０（フレーム／秒）でこの処理を連続して実行し、２回目にシャッターボタンが操作されるか、所定の制限時間、例えば、３０秒が経過した時点で、それら一連の静止画データファイルを一括してモーションＪＰＥＧのデータファイル（ＡＶＩファイル）として設定し直す。

さらにまた、制御部２１は、再生モード時には、まずメモリカード２０に記録されている画像データを選択的に読み出す。そして、制御部２１は、画像圧縮部１９を制御して、撮像モード時にデータ圧縮した手順と全く逆の手順で、圧縮されている画像データを伸長させ、伸長した画像データを撮像処理部１３のＤＲＡＭに保持させる。そして、制御部２１は、このＤＲＡＭに保持させたデータを、ＶＲＡＭに記憶させる。このＶＲＡＭに記憶された画像データは、定期的に読み出され、上述したように、メイン表示部１７にビデオとして表示されることになる。

また、選択された画像データが、静止画像ではなく動画像であった場合には、制御部２１は、選択された動画像ファイルを構成する個々の静止画データの再生を時間的に連続して実行し、全ての静止画データの再生を終了した時点で、次に再生の指示がなされるまで先頭に位置する静止画データのみを用いて再生表示させる。

通信部２２は、制御部２１の制御のもとに、他の撮像装置との間で通信を行い、検出した人物の視線方向情報の授受を行う。

［撮像装置の動作］
このような撮像装置は、制御部２１の制御のもとに、プログラムメモリ１５に記憶されている所定の撮像プログラムを実行することにより、検出した人物の視線方向の画像を撮像することが可能とされる。このとき、撮像装置は、制御部２１の制御のもとに、検出した視線方向に対応する撮像フレーム内の部分領域をトリミングし、そのトリミングした画像データをメモリカード２０に記録する。

ここで、視線方向情報の取得は、視線検出用の他の撮像装置から情報を受信することによって行うことができる。例えば図２に示すように、舞台上で演技している役者Ａ，Ｂを客席にいる観客Ｃが鑑賞している場合を考える。この場合、舞台を撮像範囲とする撮像装置Ｃ１は、通信部２２を介して、客席を撮像範囲とする他の撮像装置Ｃ２によって検出された観客Ｃの視線方向情報を受信する。そして、撮像装置Ｃ１は、例えば図３に示すように、制御部２１の制御のもとに、受信した視線方向情報に基づいて、撮像フレームＦ内の部分領域Ｔをトリミング範囲として切り出し、そのトリミングした画像データをメモリカード２０に記録する。

また、撮像装置は、例えば図４に示すように、舞台上で演技している役者Ａ，Ｂを客席にいる観客Ｃが鑑賞している場合において舞台後方から撮像する場合等には、他の撮像装置を用いることなく、１台で視線検出と被写体の撮像及び記録とを行うこともできる。すなわち、撮像装置Ｃ１は、例えば図５に示すように、制御部２１の制御のもとに、撮像フレームＦ内から観客Ｃの視線方向情報を検出し、検出した視線方向情報に基づいて、撮像フレームＦ内の部分領域Ｔをトリミング範囲として切り出し、そのトリミングした画像データをメモリカード２０に記録することもできる。

なお、以下では、図２及び図３に示したように、他の撮像装置によって検出された人物の視線方向に基づいて、トリミング範囲を決定する場合について説明するものとする。

ここで、トリミング範囲は、複数の人物の視線方向が集中する範囲を特定し、この特定された範囲に対応する撮像フレーム内の部分領域とする。具体的には、撮像装置は、受信又は検出した視線方向情報に基づいて、所定割合以上の視線が集中する範囲をトリミング範囲として決定する。

例えば、顔及び視線方向が所定の確度以上で認識できた人物のうち、６割以上の人物の視線方向が含まれる領域をトリミング範囲とするという条件が設定されている場合を考える。この場合において、撮像装置は、例えば図６に示すように、顔及び視線方向が所定の確度以上で認識できた観客Ｃが７人いた場合に、役者Ａに視線が向いている観客が４人であり、役者Ｂに視線が向いている観客が３人である旨を検出した場合には、図７に示すように、これら役者Ａ，Ｂの双方が写り込む領域Ｔをトリミング範囲として決定する。また、撮像装置は、例えば図８に示すように、顔及び視線方向が所定の確度以上で認識できた観客Ｃが７人いた場合に、役者Ａに視線が向いている観客が５人であり、役者Ｂに視線が向いている観客が２人である旨を検出した場合には、図９に示すように、役者Ａが写り込む領域Ｔをトリミング範囲として決定する。

このように、撮像装置は、制御部２１の制御のもとに、人物の視点方向の分布とその集中度合いとに応じて、トリミング範囲の位置及び面積を決定し、そのトリミングした画像データをメモリカード２０に記録することにより、無駄な画像の記録を行ってしまうのを回避してメモリの有効活用を図ることができる。このとき、撮像装置は、キー入力部１８を介してユーザがトリミング範囲を選択可能とすることにより、ユーザに自由度を持たせた処理を行うようにしてもよい。

なお、このような２台の撮像装置の間で視線方向情報を授受することによってトリミング範囲を決定する場合には、撮像開始に先立って、視線検出用の撮像装置によって検出される視線位置と、被写体撮像用の撮像装置によって撮像される撮像フレーム内位置との対応関係を設定する必要がある。そこで、２台の撮像装置は、図１０に示すような一連の手順にしたがって、視線位置と撮像フレーム内位置との対応関係を設定する。

まず、視線検出用の撮像装置は、図１０に示すように、ステップＳ１において、ユーザがキー入力部１８のメニューボタンを操作するのに応じて、当該撮像装置を視線検出用の撮像装置として設定するとともに、ステップＳ２において、被写体撮像用の撮像装置と通信するための通信用情報を設定する。

これに応じて、視線検出用の撮像装置は、ステップＳ３において、制御部２１の制御のもとに、当該撮像装置を実際の撮像位置に設置するように促すガイダンスをメイン表示部１７に表示させ、ステップＳ４において、上述したスルー画像の表示を開始する。

一方、被写体撮像用の撮像装置も同様に、ステップＳ１１において、ユーザがキー入力部１８のメニューボタンを操作するのに応じて、当該撮像装置を被写体撮像用の撮像装置として設定するとともに、ステップＳ１２において、視線検出用の撮像装置と通信するための通信用情報を設定する。

これに応じて、被写体撮像用の撮像装置は、ステップＳ１３において、制御部２１の制御のもとに、当該撮像装置を実際の撮像位置に設置するように促すガイダンスをメイン表示部１７に表示させ、ステップＳ１４において、上述したスルー画像の表示を開始する。

スルー画像表示を開始した視線検出用の撮像装置は、ステップＳ５において、観客等の被視線検出者に対象となる被写体方向を見るように指示するためのガイダンスをメイン表示部１７に表示させる。ユーザは、このガイダンスにしたがって被視線検出者に被写体方向を見るように指示する。

その後、視線検出用の撮像装置は、ステップＳ６において、制御部２１の制御のもとに、撮像画像を処理して撮像フレーム内の顔及び視線方向を検出し、ステップＳ７において、通信部２２を介して、検出した視線方向情報を被写体撮像用の撮像装置に対して送信する。なお、視線方向の検出処理については、後に詳述するものとする。

そして、視線検出用の撮像装置は、ステップＳ８において、メイン表示部１７等を介して、他の視線位置を設定するか否かをユーザに問い合わせ、設定する場合には、ステップＳ５からの処理を繰り返す一方で、設定しない場合には、そのまま一連の処理を終了する。

一方、スルー画像表示を開始した被写体撮像用の撮像装置は、ステップＳ１５において、メイン表示部１７の画面上で対象となる被写体の位置を指示するように促すガイダンスをメイン表示部１７に表示させる。ユーザは、このガイダンスにしたがって、キー入力部１８を介した操作により、メイン表示部１７の画面上で対象となる被写体の位置を指示する。

その後、被写体撮像用の撮像装置は、ステップＳ１６において、制御部２１の制御のもとに、ユーザによって指示されたメイン表示部１７の画面上、すなわち、撮像フレーム内での被写体位置を検出した上で、ステップＳ１７において、通信部２２を介して、視線検出用の撮像装置から送信されてきた視線方向情報を受信する。

そして、被写体撮像用の撮像装置は、ステップＳ１８において、制御部２１の制御のもとに、受信した視線方向情報が示す視線方向と、ステップＳ１６にて検出した撮像フレーム内での被写体位置とを対応付けてデータメモリ１４等に記憶させる。

続いて、被写体撮像用の撮像装置は、ステップＳ１９において、メイン表示部１７等を介して、他の視線位置を設定するか否かをユーザに問い合わせ、設定する場合には、ステップＳ１５からの処理を繰り返す一方で、設定しない場合には、ステップＳ２０へと処理を移行する。

そして、被写体撮像用の撮像装置は、ステップＳ２０において、制御部２１の制御のもとに、ステップＳ１８にて記憶した複数の視線方向と撮像フレーム内での被写体位置との対応関係に基づいて、任意の視線方向を撮像フレーム内の位置に変換するための変換情報を生成し、一連の処理を終了する。この変換情報は、実際の撮像時にトリミングを行う際に用いられることになる。

撮像装置においては、このような一連の手順にしたがって、視線位置と撮像フレーム内での被写体位置との対応関係を設定することができ、トリミングをともなう撮像を行うことが可能な状態となる。

なお、上述した視線検出用の撮像装置による視線方向の検出は、図１１に示すような一連の手順にしたがって行われる。

すなわち、撮像装置は、図１１に示すように、ステップＳ３１において、制御部２１の制御のもとに、スルー画像表示状態から撮像を開始して画像を取得すると、ステップＳ３２において、取得した画像内に写り込んでいる複数の顔を検出する。

続いて、撮像装置は、ステップＳ３３において、制御部２１の制御のもとに、未処理の顔の１つを処理対象として選択すると、ステップＳ３４において、選択した顔部分を対象として、頭髪の位置及び目の位置が顔の中心から左右方向にどの程度ずれているかを特定する。そして、撮像装置は、ステップＳ３５において、制御部２１の制御のもとに、プログラムメモリ１５に格納されている予め統計に基づいて作成された対応テーブルを参照し、ステップＳ３４にて特定したずれ量に対応する顔の向き、すなわち、顔の中心からの左右方向の角度を特定する。なお、撮像装置は、目の位置を検出できない場合には、被視線検出者が横向き又は後ろ向きであると判断し、さらに耳の位置等を検出して顔の向きを特定する。

撮像装置は、このようにして顔の向きを検出すると、ステップＳ３６において、白目の中の黒目の位置のずれ量を特定可能であるか否かを判定する。

ここで、撮像装置は、黒目の位置のずれ量を特定できない場合には、ステップＳ３７へと処理を移行し、制御部２１の制御のもとに、ステップＳ３５にて特定した顔の向きを、処理対象である顔（被視線検出者）の視線方向であるとして、データメモリ１４に記憶し、ステップＳ４０へと処理を移行する。

一方、撮像装置は、黒目の位置のずれ量を特定できた場合には、ステップＳ３８において、制御部２１の制御のもとに、プログラムメモリ１５に格納されている予め統計に基づいて作成された対応テーブルを参照し、ステップＳ３６にて特定したずれ量に視線方向、すなわち、顔の中心からの上下左右方向の角度を特定し、ステップＳ３９において、特定した視線方向、処理対象である顔（被視線検出者）の視線方向であるとして、データメモリ１４に記憶する。

撮像装置は、このようにして１つの顔についての視線方向を特定すると、ステップＳ４０において、画像内に写り込んでいる全ての顔についての視線方向を特定したか否かを判定し、未処理の顔がある場合には、ステップＳ３３からの処理を繰り返す。一方、撮像装置は、画像内に写り込んでいる全ての顔についての視線方向を特定した場合には、ステップＳ４１において、制御部２１の制御のもとに、検出した複数の視線方向のうち所定の確度以上で特定できたものを抽出する。

そして、撮像装置は、ステップＳ４２において、制御部２１の制御のもとに、第１割合以上の視線が集中する最小領域を特定するとともに、ステップＳ４３において、第２割合以上の視線が集中する最小領域を特定し、一連の処理を終了する。なお、第１割合以上の視線が集中する最小領域は、被写体撮像用の撮像装置が撮像を行う際の大まかな撮像範囲に対応し、第２割合以上の視線が集中する最小領域は、大まかな撮像範囲内におけるトリミング範囲に対応する。

撮像装置は、このようにして被視線検出者の視線方向を検出することができる。視線検出用の撮像装置は、第１割合以上の視線が集中する方向を含む第１視線方向情報と、第２割合以上の視線が集中する方向を含む第２視線方向情報とを、被写体撮像用の撮像装置に対して送信することになる。

さて、このような視線検出処理を行う視線検出用の撮像装置と、被写体撮像用の撮像装置とを用いて動画像を撮像する場合には、図１２に示すような一連の手順にしたがって、これら２台の撮像装置が協働することになる。

まず、視線検出用の撮像装置は、図１２に示すように、ステップＳ５１において、制御部２１の制御のもとに、新たな撮像画像を取得すると、ステップＳ５２において、取得した画像内に写り込んでいる複数の顔を検出する。

続いて、視線検出用の撮像装置は、ステップＳ５３において、制御部２１の制御のもとに、図１１に示したような一連の手順にしたがって、各顔の視線方向を検出すると、ステップＳ５４において、第１割合以上の視線が集中する方向を含む第１視線方向を特定するとともに、ステップＳ５５において、第２割合以上の視線が集中する方向を含む第２視線方向を特定する。

そして、視線検出用の撮像装置は、ステップＳ５６において、通信部２２を介して、特定した第１視線方向情報及び第２視線方向情報を被写体撮像用の撮像装置に対して送信する。その後、視線検出用の撮像装置は、ステップＳ５７において、終了判定が行われるまでステップＳ５１からの処理を繰り返し、終了判定が行われると、一連の処理を終了する。

一方、被写体撮像用の撮像装置は、ステップＳ６１において、通信部２２を介して、視線検出用の撮像装置から送信されてきた第１視線方向情報及び第２視線方向情報を受信すると、ステップＳ６２において、制御部２１の制御のもとに、撮像に先立って生成してある上述した変換情報に基づいて、第１視線方向情報及び第２視線方向情報のそれぞれが示す第１視線方向及び第２視線方向を、第１撮像範囲及び第２撮像範囲に変換する。

続いて、被写体撮像用の撮像装置は、ステップＳ６３において、制御部２１の制御のもとに、第１撮像範囲の全体が現在の撮像フレーム内に含まれているか否かを判定する。

ここで、第１撮像範囲の全体が現在の撮像フレーム内に含まれていない場合には、トリミングをともなう撮像を行うことができない。そのため、被写体撮像用の撮像装置は、ステップＳ６４において、制御部２１の制御のもとに、他の動画像の撮像及び記録中であるか否かを判定し、撮像及び記録中でない場合には、ステップＳ６１からの処理を繰り返す一方で、撮像及び記録中である場合には、ステップＳ６５において、動画像の撮像及び記録を終了し、ステップＳ６１からの処理を繰り返す。

一方、被写体撮像用の撮像装置は、第１撮像範囲の全体が現在の撮像フレーム内に含まれている場合には、制御部２１の制御のもとに、ステップＳ６６へと処理を移行して動画像の撮像を開始し、ステップＳ６７において、第２撮像範囲が現在の撮像フレーム内の一部であるか否かを判定する。

被写体撮像用の撮像装置は、第２撮像範囲が現在の撮像フレーム内の一部でない場合には、トリミングをともなう撮像を行うことができないことから、ステップＳ６１からの処理を繰り返す一方で、第２撮像範囲が現在の撮像フレーム内の一部であった場合には、ステップＳ６８において、制御部２１の制御のもとに、第２撮像範囲に対応する撮像フレーム内の領域を、所定の余白を設けてトリミングし、そのトリミングした動画像データをメモリカード２０に記録する。

そして、被写体撮像用の撮像装置は、ステップＳ６９において、終了判定が行われるまでステップＳ６１からの処理を繰り返し、終了判定が行われると、一連の処理を終了する。

撮像装置は、このような一連の手順にしたがって、動画像を撮像し、被視線検出者の視線が集中する領域をトリミングした動画像データを生成することができる。なお、撮像装置は、静止画像を撮像する場合にも同様の処理を行うことにより、被視線検出者の視線が集中する領域をトリミングした静止画像データを生成することができる。

このように、撮像装置は、被視線検出者の視線が集中する領域、すなわち、人物が注目している領域を自動的に判定し、その領域を含むようにトリミングした画像データを生成してメモリカード２０に記録する。したがって、撮像装置は、被視線検出者の視線が集中する領域をクローズアップした画像を得ることができ、被視線検出者の視線が集中する領域全部を記録することによる無駄な画像の記録を回避して、メモリの有効活用を図ることができる。

なお、ここでは、第１撮像範囲の全体が現在の撮像フレーム内に含まれている場合をトリガとして、実際の撮像を開始し、第２撮像範囲が現在の撮像フレーム内の一部であった場合をトリガとして、トリミングを行うものとして説明したが、撮像装置においては、メモリの有効活用を図るために、トリミング以外の手法を適用することもできる。

具体的には、撮像装置は、検出した複数の視線方向の状況に応じて撮像画像を記録するか否かを判定することにより、メモリの有効活用を図ることができる。この具体例として、視線検出用の撮像装置と、被写体撮像用の撮像装置とを用いて静止画像を撮像する場合の処理について、図１３を用いて説明する。なお、視線検出用の撮像装置は、図１２に示した処理と同様の処理を行うため、図１３には、被写体撮像用の撮像装置が行う処理のみについて示している。

まず、被写体撮像用の撮像装置は、図１３に示すように、ステップＳ７１において、ユーザによってキー入力部１８のシャッターボタンが押下されるまで待機し、シャッターボタンが押下されると、ステップＳ７２において、通信部２２を介して、視線検出用の撮像装置から送信されてきた第１視線方向情報及び第２視線方向情報を受信し、上述した変換情報に基づいて、第１視線方向情報及び第２視線方向情報のそれぞれが示す第１視線方向及び第２視線方向を、第１撮像範囲及び第２撮像範囲に変換する。

続いて、被写体撮像用の撮像装置は、ステップＳ７３において、制御部２１の制御のもとに、第１撮像範囲の全体が現在の撮像フレーム内に含まれているか否かを判定する。

ここで、被写体撮像用の撮像装置は、第１撮像範囲の全体が現在の撮像フレーム内に含まれている場合には、ステップＳ７４において、制御部２１の制御のもとに、オートフォーカス動作及び／又は自動露出動作等を行い、静止画像の撮像準備動作を開始し、ステップＳ７２からの処理を繰り返す。

一方、被写体撮像用の撮像装置は、第１撮像範囲の全体が現在の撮像フレーム内に含まれていない場合には、制御部２１の制御のもとに、ステップＳ７５へと処理を移行し、第２撮像範囲が現在の撮像フレーム内の一部であるか否かを判定する。

被写体撮像用の撮像装置は、第２撮像範囲が現在の撮像フレーム内の一部であった場合には、ステップＳ７６において、制御部２１の制御のもとに、静止画像の撮像及びメモリカード２０への記録を行い、ステップＳ７２からの処理を繰り返す。

一方、被写体撮像用の撮像装置は、第２撮像範囲が現在の撮像フレーム内の一部でない場合には、ステップＳ７７において、制御部２１の制御のもとに、シャッターボタンの押下から例えば１０秒程度の所定時間が経過したか否かを判定し、所定時間が経過するまでステップＳ７２からの処理を繰り返す。そして、被写体撮像用の撮像装置は、所定時間が経過すると、そのまま一連の処理を終了する。なお、被写体撮像用の撮像装置は、このようなタイムアウトによる処理終了を行うのではなく、一連の処理をループさせることにより、第１撮像範囲の全体が現在の撮像フレーム内に含まれており且つ第２撮像範囲が現在の撮像フレーム内の一部であった場合の静止画像を自動的にメモリカード２０に記録するようにしてもよい。

撮像装置は、このような一連の手順にしたがって、検出した視線方向の状況に応じて、静止画像を記録するか否かを判定し、人物が注目している状況のみの静止画像データのみを記録することができる。したがって、撮像装置は、被視線検出者の視線が集中していない状況の画像を記録することによる無駄な画像の記録を回避して、メモリの有効活用を図ることができる。

なお、ここでは、静止画像の撮像を想定し、第１撮像範囲の全体が現在の撮像フレーム内に含まれている場合をトリガとして、オートフォーカス動作及び／又は自動露光動作をともなう撮像準備動作を開始し、第２撮像範囲が現在の撮像フレーム内の一部であった場合をトリガとして、実際の撮像を開始するものとして説明したが、撮像装置は、動画像を撮像する場合には、第１撮像範囲の全体が現在の撮像フレーム内に含まれている場合をトリガとして、過去分の循環記録撮像を開始する撮像準備動作を行えばよい。この循環記録撮像は、所定のメモリに順次循環的に撮像結果を記録し、第１撮像範囲の全体が現在の撮像フレーム内に含まれている場合をトリガとして、循環的に記録しておいた動画像をメモリーカード２０に記録する動作である。

また、撮像装置は、第２撮像範囲が現在の撮像フレーム内の一部であった場合をトリガとして実際の撮像を開始する際に、トリミングもあわせて行うようにしてもよい。

さらに、撮像装置は、第１撮像範囲の全体が現在の撮像フレーム内に含まれている場合には、撮像部１２を制御して、リングバッファに複数枚の静止画像を連続的に記録する、いわゆるパスト撮像状態に移行し、第２撮像範囲が現在の撮像フレーム内の一部であった場合には、パスト撮像状態からパスト連写を行い、その連写された画像データをメモリカード２０に記録するようにしてもよい。撮像装置においては、このようにパスト連写を採用することにより、人物が注目している決定的な場面を時間的な幅を持たせて撮像及び記録することができ、ユーザの判断によって必要な画像データのみを抽出するような後処理を行うことが可能となる。

さらにまた、撮像装置は、撮像フレーム内で電子的にトリミングするのみならず、撮像方向やズーム倍率を機械的に変化させるようにしてもよい。

また、撮像装置は、撮像終了時のみにトリミングを行うのではなく、再生モード時における編集を行う場合やスライドショーによって画像表示を遷移させる場合等にも、トリミングを行うようにしてもよい。

さらに、撮像装置は、成人と子供の別や性別、人物以外の動物等、被視線検出者の種別に応じて異なる処理を行うようにしてもよい。

［実施形態の効果］
以上詳細に説明したように、本発明の実施形態として示した撮像装置は、制御部２１の制御のもとに、検出された撮像画像内における被視線検出者の視線方向に対応する撮像フレーム内の部分領域をトリミングし、トリミングされた画像をメモリカード２０に記録する。

これにより、この撮像装置は、被視線検出者が注目する領域を自動的に判定してトリミングした画像をメモリカード２０に記録することから、無駄な画像の記録を回避してメモリの有効活用を図ることができる。

また、この撮像装置は、制御部２１の制御のもとに、複数の被視線検出者の視線方向が集中する範囲を特定し、この特定された範囲に対応する撮像フレーム内の部分領域をトリミングする。より具体的には、この撮像装置は、制御部２１の制御のもとに、複数の被視線検出者の視線のうち所定割合以上の視線が集中する範囲に対応する撮像フレーム内の部分領域をトリミングする。

これにより、この撮像装置は、被視線検出者が注目する領域を確実に判定することができ、非視線検出者が注目している決定的な場面を確実に記録しつつメモリの有効活用を図ることができる。

さらに、この撮像装置は、制御部２１の制御のもとに、撮像画像内における被視線検出者の視線方向を検出し、検出した撮像画像内における被視線検出者の視線方向に対応する撮像フレーム内の部分領域をトリミングすることができる。すなわち、この撮像装置は、被視線検出者の視線方向の検出処理と被写体の撮像処理とを１台で行うことができる。

さらにまた、この撮像装置は、制御部２１の制御のもとに、視線検出用の他の撮像装置によって検出された撮像画像内における被視線検出者の視線方向を示す視線方向情報を、通信部２２を介して受信し、受信した視線方向情報が示す撮像画像内における被視線検出者の視線方向に対応する撮像フレーム内の部分領域をトリミングすることもできる。すなわち、この撮像装置は、視線検出用の他の撮像装置と協働して被写体の撮像処理を行うことができる。

この場合、この撮像装置は、撮像開始に先立って、制御部２１の制御のもとに、他の撮像装置によって検出される被視線検出者の視線位置と、当該撮像装置によって撮像される撮像フレーム内位置との対応関係を設定し、設定した複数の視線方向と撮像フレーム内位置との対応関係に基づいて、任意の視線方向を撮像フレーム内の位置に変換するための変換情報を生成する。そして、この撮像装置は、制御部２１の制御のもとに、変換情報に基づいて、複数の被視線検出者の視線方向が集中する範囲を特定し、この特定された範囲に対応する撮像フレーム内の部分領域をトリミングする。

これにより、この撮像装置は、視線検出用の他の撮像装置と協働する際に、被視線検出者が注目する領域を確実に判定することができ、非視線検出者が注目している決定的な場面を確実に記録しつつメモリの有効活用を図ることができる。

また、この撮像装置は、制御部２１の制御のもとに、複数の被視線検出者の視線のうち第１割合以上の視線が集中する方向を含む第１視線方向に対応する第１撮像範囲の全体が撮像フレーム内に含まれている場合に撮像動作を開始し、複数の被視線検出者の視線のうち第２割合以上の視線が集中する方向を含む第２視線方向に対応する第２撮像範囲が撮像フレーム内の一部であった場合に、第２撮像範囲に対応する撮像フレーム内の領域を含むようにトリミングする。

これにより、この撮像装置は、第１撮像範囲の全体が撮像フレーム内に含まれていない場合に撮像してしまう事態を回避することができ、さらに、被視線検出者が注目する領域を確実に判定することができ、非視線検出者が注目している決定的な場面を確実に記録しつつメモリの有効活用を図ることができる。

また、この撮像装置は、制御部２１の制御のもとに、検出された撮像画像内における被視線検出者の視線方向の状況に応じて、メモリカード２０に撮像画像を記録するか否かを判断する。

これにより、この撮像装置は、複数の被視線検出者が注目する状況を自動的に判定して撮像及び記録の有無を判断することから、無駄な画像の記録を回避してメモリの有効活用を図ることができる。

さらに、この撮像装置は、制御部２１の制御のもとに、複数の被視線検出者の視線のうち第１割合以上の視線が集中する方向を含む第１視線方向に対応する第１撮像範囲の全体が撮像フレーム内に含まれている場合に撮像準備動作を開始し、複数の被視線検出者の視線のうち第２割合以上の視線が集中する方向を含む第２視線方向に対応する第２撮像範囲が撮像フレーム内の一部であった場合に、第２撮像範囲に対応する撮像フレーム内の領域を含むように撮像を開始してメモリカード２０に画像を記録させる。

これにより、この撮像装置は、第１撮像範囲の全体が撮像フレーム内に含まれていない場合に撮像してしまう事態を回避することができ、さらに、被視線検出者が注目する状況を確実に判定することができ、非視線検出者が注目している決定的な場面を確実に記録しつつメモリの有効活用を図ることができる。

さらにまた、この撮像装置は、動画像を撮像する場合には、制御部２１の制御のもとに、第１撮像範囲の全体が撮像フレーム内に含まれている場合に過去分の循環記録撮像を開始する撮像準備動作を行うことから、第２撮像範囲が撮像フレーム内に含まれている場合に確実に動画像の撮像動作に移行することができる。

また、この撮像装置は、静止画像を撮像する場合には、制御部２１の制御のもとに、第１撮像範囲の全体が撮像フレーム内に含まれている場合に、オートフォーカス動作及び／又は自動露光動作をともなう撮像準備動作を開始することから、第２撮像範囲が撮像フレーム内に含まれている場合に確実に静止画像の撮像動作に移行することができる。

さらに、この撮像装置は、制御部２１の制御のもとに、撮像画像内における被視線検出者の視線方向を検出し、検出した撮像画像内における被視線検出者の視線方向の状況に応じて、メモリカード２０に撮像画像を記録するか否かを判断する。すなわち、この撮像装置は、被視線検出者の視線方向の検出処理と被写体の撮像処理とを１台で行うことができる。

さらにまた、この撮像装置は、制御部２１の制御のもとに、視線検出用の他の撮像装置によって検出された撮像画像内における被視線検出者の視線方向を示す視線方向情報を、通信部２２を介して受信し、受信した視線方向情報が示す撮像画像内における被視線検出者の視線方向の状況に応じて、メモリカード２０に撮像画像を記録するか否かを判断することもできる。すなわち、この撮像装置は、視線検出用の他の撮像装置と協働して被写体の撮像処理を行うことができる。

また、この撮像装置は、撮像開始に先立って、制御部２１の制御のもとに、他の撮像装置によって検出される被視線検出者の視線位置と、当該撮像装置によって撮像される撮像フレーム内位置との対応関係を設定し、設定した複数の視線方向と撮像フレーム内位置との対応関係に基づいて、任意の視線方向を撮像フレーム内の位置に変換するための変換情報を生成する。そして、この撮像装置は、制御部２１の制御のもとに、変換情報に基づいて、複数の被視線検出者の視線方向が集中する範囲を特定し、この特定された範囲に対応する撮像フレーム内の領域を含むように撮像を開始してメモリカード２０に画像を記録させる。

これにより、この撮像装置は、視線検出用の他の撮像装置と協働する際に、被視線検出者が注目する領域を確実に判定することができ、非視線検出者が注目している決定的な場面を確実に記録しつつメモリの有効活用を図ることができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施の形態に限定されることはなく、この実施の形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。

本発明の実施形態として示す撮像装置の構成について示すブロック図である。 ２台の撮像装置を用いて被視線検出者の視線方向の検出と被写体の撮像とを行う様子について示す図である。 図２に示す状況において２台の撮像装置のそれぞれによって撮像される撮像フレームの具体例を示す図である。 １台の撮像装置を用いて被視線検出者の視線方向の検出と被写体の撮像とを行う様子について示す図である。 図４に示す状況において撮像装置よって撮像される撮像フレームの具体例を示す図である。 一方の役者に視線が向いている観客が４人であり、他方の役者に視線が向いている観客が３人である様子について示す図である。 図６に示す状況において決定されるトリミング範囲について説明するための撮像フレームの具体例を示す図である。 一方の役者に視線が向いている観客が５人であり、他方の役者に視線が向いている観客が２人である様子について示す図である。 図８に示す状況において決定されるトリミング範囲について説明するための撮像フレームの具体例を示す図である。 視線検出用の撮像装置によって検出される視線位置と、被写体撮像用の撮像装置によって撮像される撮像フレーム内位置との対応関係を設定する際の一連の手順を示すフローチャートである。 視線検出用の撮像装置によって被視線検出者の視線方向を検出する際の一連の手順を示すフローチャートである。 ２台の撮像装置を用いて動画像を撮像する際の一連の手順を示すフローチャートである。 ２台の撮像装置を用いて静止画像を撮像する際の一連の手順を示すフローチャートである。

符号の説明

１１ 撮像光学系
１２ 撮像部
１３ 撮像処理部
１４ データメモリ
１５ プログラムメモリ
１６ メイン表示処理部
１７ メイン表示部
１８ キー入力部
１９ 画像圧縮部
２０ メモリカード
２１ 制御部
２２ 通信部

Claims (16)

1. 撮像素子によって撮像画像を取得する撮像装置であって、
   撮像画像内における被視線検出者の視線方向に対応する撮像フレーム内の部分領域をトリミングするトリミング手段と、
   前記トリミング手段によってトリミングされた画像を記録する記録手段とを備えること
   を特徴とする撮像装置。
2. 前記トリミング手段は、複数の被視線検出者の視線方向が集中する範囲を特定し、この特定された範囲に対応する撮像フレーム内の部分領域をトリミングすることを特徴とする請求項１記載の撮像装置。
3. 前記トリミング手段は、複数の被視線検出者の視線のうち所定割合以上の視線が集中する範囲に対応する撮像フレーム内の部分領域をトリミングすることを特徴とする請求項２記載の撮像装置。
4. 撮像画像内における被視線検出者の視線方向を検出する視線方向検出手段を備え、
   前記トリミング手段は、前記視線方向検出手段によって検出された撮像画像内における被視線検出者の視線方向に対応する撮像フレーム内の部分領域をトリミングすることを特徴とする請求項１乃至請求項３のうちいずれか１項記載の撮像装置。
5. 視線検出用の他の撮像装置によって検出された撮像画像内における被視線検出者の視線方向を示す視線方向情報を受信する受信手段を備え、
   前記トリミング手段は、前記受信手段によって受信した視線方向情報が示す撮像画像内における被視線検出者の視線方向に対応する撮像フレーム内の部分領域をトリミングすることを特徴とする請求項１乃至請求項３のうちいずれか１項記載の撮像装置。
6. 撮像開始に先立って、前記他の撮像装置によって検出される被視線検出者の視線位置と、当該撮像装置によって撮像される撮像フレーム内位置との対応関係を設定する設定手段と、
   前記設定手段によって設定された複数の視線方向と撮像フレーム内位置との対応関係に基づいて、任意の視線方向を撮像フレーム内の位置に変換するための変換情報を生成する変換情報生成手段とを備え、
   前記トリミング手段は、前記変換情報生成手段によって生成された変換情報に基づいて、複数の被視線検出者の視線方向が集中する範囲を特定し、この特定された範囲に対応する撮像フレーム内の部分領域をトリミングすることを特徴とする請求項５記載の撮像装置。
7. 前記トリミング手段は、複数の被視線検出者の視線のうち所定の第１割合以上の視線が集中する方向を含む第１視線方向に対応する第１撮像範囲の全体が撮像フレーム内に含まれている場合に撮像動作を開始し、複数の被視線検出者の視線のうち所定の第２割合以上の視線が集中する方向を含む第２視線方向に対応する第２撮像範囲が撮像フレーム内の一部であった場合に、当該第２撮像範囲に対応する撮像フレーム内の領域を含むようにトリミングすることを特徴とする請求項１乃至請求項６のうちいずれか１項記載の撮像装置。
8. 撮像素子によって撮像画像を取得する撮像装置であって、
   撮像画像を記録する記録手段と、
   撮像画像内における被視線検出者の視線方向の状況に応じて、前記記録手段に撮像画像を記録するか否かを判断する判断手段とを備えることを特徴とする撮像装置。
9. 前記判断手段は、複数の被視線検出者の視線のうち所定の第１割合以上の視線が集中する方向を含む第１視線方向に対応する第１撮像範囲の全体が撮像フレーム内に含まれている場合に撮像準備動作を開始し、複数の被視線検出者の視線のうち所定の第２割合以上の視線が集中する方向を含む第２視線方向に対応する第２撮像範囲が撮像フレーム内の一部であった場合に、第２撮像範囲に対応する撮像フレーム内の領域を含むように撮像を開始して前記記録手段に画像を記録させることを特徴とする請求項８記載の撮像装置。
10. 前記判断手段は、動画像を撮像する場合には、第１撮像範囲の全体が撮像フレーム内に含まれている場合に過去分の循環記録撮像を開始する撮像準備動作を行うことを特徴とする請求項９記載の撮像装置。
11. 前記判断手段は、静止画像を撮像する場合には、第１撮像範囲の全体が撮像フレーム内に含まれている場合に、オートフォーカス動作及び／又は自動露光動作をともなう撮像準備動作を開始することを特徴とする請求項９記載の撮像装置。
12. 撮像画像内における被視線検出者の視線方向を検出する視線方向検出手段を備え、
    前記判断手段は、前記視線方向検出手段によって検出された撮像画像内における被視線検出者の視線方向の状況に応じて、前記記録手段に撮像画像を記録するか否かを判断することを特徴とする請求項８乃至請求項１１のうちいずれか１項記載の撮像装置。
13. 視線検出用の他の撮像装置によって検出された撮像画像内における被視線検出者の視線方向を示す視線方向情報を受信する受信手段を備え、
    前記判断手段は、前記受信手段によって受信した視線方向情報が示す撮像画像内における被視線検出者の視線方向の状況に応じて、前記記録手段に撮像画像を記録するか否かを判断することを特徴とする請求項８乃至請求項１１のうちいずれか１項記載の撮像装置。
14. 撮像開始に先立って、前記他の撮像装置によって検出される被視線検出者の視線位置と、当該撮像装置によって撮像される撮像フレーム内位置との対応関係を設定する設定手段と、
    前記設定手段によって設定された複数の視線方向と撮像フレーム内位置との対応関係に基づいて、任意の視線方向を撮像フレーム内の位置に変換するための変換情報を生成する変換情報生成手段とを備え、
    前記判断手段は、前記変換情報生成手段によって生成された変換情報に基づいて、複数の被視線検出者の視線方向が集中する範囲を特定し、この特定された範囲に対応する撮像フレーム内の領域を含むように撮像を開始して前記記録手段に画像を記録させることを特徴とする請求項１３記載の撮像装置。
15. 撮像素子によって撮像画像を取得する撮像装置に内蔵されたコンピュータが実行するプログラムであって、
    撮像画像内における被視線検出者の視線方向に対応する撮像フレーム内の部分領域をトリミングするトリミング処理と、
    トリミングされた画像を記録手段に記録する記録処理と
    をコンピュータに実行させることを特徴とする撮像装置のプログラム。
16. 撮像素子によって撮像画像を取得する撮像装置に内蔵されたコンピュータが実行するプログラムであって、
    撮像画像内における被視線検出者の視線方向の状況に応じて、記録手段に撮像画像を記録するか否かを判断する判断処理をコンピュータに実行させることを特徴とする撮像装置のプログラム。

Images