JP2012124767A - 撮像機器 - Google Patents

Abstract

【課題】 撮影時の被写体の状況が理解しやすくするために、被写体の関連物体の表示を同時に行う行う技術を提供する。
【解決手段】 本発明の撮像機器は、被写体を認識する手段と、被写体の視線方向を予測する手段、その視線方向から関連物体を推測する手段を備える。それにより被写体を表示している画面内に配置される子画面内に、被写体の視線の方向を予測して、撮影画像の中から関連する関連物体を推測し、表示することができることができる。そのため、被写体がどのような関連情報に対して視線を向けているのか分かり、被写体がどのようなものを見ているかという状況が理解しやすくなる。
【選択図】 図８

Description

本発明は、被写体の視線の先の関連物体を推測し、表示することができる撮像機器に関するものである。

従来のカメラでは、被写体の視線が向いている関連物体（人物、動物、建造物など）を同時に記録、表示することができなかったために、被写体の視線が何に対して向いているのかということが分からなかった。被写体の関連物体の表示を同時に行うことで、被写体の状況を理解しやすくすることが求められていた。

この問題を解決するために、被写体の関連情報を表示させようと考慮したものがある（たとえば特許文献１参照）。

特開２００８−１６０８７９号公報

しかし特許文献１によれば、被写体の関連情報は被写体自身の情報であったり、撮影者が関連情報を見たい被写体を選択する必要があった。

そこで、カメラで撮影をしている被写体の視線を予測して自動的に視線の先にある関連物体の表示を同時に行い、被写体がどのようなものを見ているかという状況が理解しやすい撮像機器が望まれていた。

上記目的を達成するため、請求項１の撮像機器は、
少なくとも被写体を撮影するための撮像手段と、
撮影画像を表示する表示手段を備える撮像機器において、
カメラの撮影画像の中から被写体を認識する被写体認識手段と、
前記被写体の視線方向を予測する視線方向予測手段と、
カメラの撮影範囲内から前記視線方向から関連物体を推測する関連物体推測手段を備え、
前記表示手段の画面内に配置される子画面内に、
前記関連物体を表示することができることを特徴としている。

請求項２の撮像機器は、
請求項１に記載の撮像機器において、
前記子画面は被写体を隠さない位置にレイアウトされることを特徴としている。

請求項３の撮像機器は、
請求項１に記載の撮像機器において、
前記子画面は被写体の視線の方向に合わせてレイアウトされることを特徴としている。

請求項４の撮像機器は、
請求項２もしくは請求項３に記載の撮像機器において、
前記カメラは魚眼カメラもしくは全方位カメラであることを特徴としている。

請求項５の撮像機器は、
被写体を撮影するための少なくとも２つ以上撮像手段と
撮影画像を表示する表示手段を備える撮像機器において、
第１の撮影手段の撮影画像の中から被写体を認識する被写体認識手段と、
前記被写体の視線方向を予測する視線方向予測手段と、
第２の撮影手段の撮影範囲内から前記視線方向から関連物体を推測する関連物体推測手段を備え、
前記被写体を表示している画面内の中に配置される子画面内に、
前記関連物体を表示することができることを特徴としている。

請求項６の撮像機器は、
請求項５に記載の撮像機器において、
前記子画面は被写体を隠さない位置にレイアウトされることを特徴としている。

請求項７の撮像機器は、
請求項５に記載の撮像機器において、
前記子画面は被写体の視線の方向に合わせてレイアウトされることを特徴としている。

請求項８の撮像機器は、
請求項６もしくは請求項７に記載の撮像機器において、
前記サブカメラは魚眼カメラもしくは全方位カメラであることを特徴としている。

本発明によれば、被写体を表示している画面内に配置される子画面内に、被写体の視線の方向を予測して、映像の中から関連物体（人物、動物、建造物など）を推測し、表示することができることができる。

そのため、被写体がどのような関連物体に対して視線を向けているのか分かり、被写体がどのようなものを見ているかという状況が理解しやすくなる。

撮影時の使用環境を示す説明図である。 本発明の第１の実施例のカメラ本体を示す説明図である。 本発明の第１の実施例のカメラユニットを示す説明図である。 本発明の第１の実施例の動作のフローチャートである。 本発明の第１の実施例におけるカメラの撮影画像である。 本発明の第１の実施例における被写体を切り出した画像である。 本発明の第１の実施例における画像処理中の図である。 本発明の第１の実施例における表示画像である。 本発明の第２の実施例のカメラ本体を示す説明図である。 本発明の第２の実施例の動作のフローチャートである。 本発明の第２の実施例におけるメインカメラの撮影画像である。 本発明の第２の実施例におけるサブカメラの撮影画像である。 本発明の第２の実施例における表示画像である。

実施例を説明する前に、想定する撮影の環境について説明する。

図１のように、カメラ本体１１において被写体Ａがを被写体Ｂに対して視線を向けている状態を撮影しようとしているものとする。

［実施例１］
以下、本発明の第１の実施例について図を参照しながら説明する。

図２には、本発明の実施例である撮像機器としてのビデオカメラの外観を示す。カメラ本体１１には、撮像光学系を収容したカメラユニット１５、表示の切り出し範囲を変更するズームレバー１２、静止画撮像を行うためのレリーズ釦１３、動画の撮影を行うためのトリガー釦１４、画像を表示するディスプレイユニット１６が設けられている。またカメラ本体１１の内部には、画像や音声を記録したり再生したりする記録再生部が設けられている。

カメラユニット１５はその構成について後述する全方位カメラであり、カメラ本体１１の上部に設置されているため、カメラ本体１１の周囲水平方向３６０°の範囲を撮影することができる。そのため被写体Ａと被写体Ｂがカメラ本体１１の周囲のどこにいても撮影範囲内であり撮影をすることができる。

図３にカメラユニット１５の拡大図を示す。カメラユニット１５の上部に備え付けられている全方位ミラー３１はカメラの周囲３６０°の範囲において被写体からの光束を反射させ、カメラユニット１５の下部に備え付けられているカメラレンズ３２において撮影をすることができる。

図４は本発明の第１の実施例の動作のフローチャートである。図４を用いて本発明の撮像機器の動作を説明する。

まずＳ１０１では、トリガー釦１４が押されたかを判断する。

次にＳ１０２でカメラユニット１５で被写体Ａを撮影する。図５は全方位カメラであるカメラユニット１５で撮影された撮影画像である。Ｓ１０３において、被写体認識手段でこの撮影画像の中からカメラ本体１１の正面の被写体Ａを認識する。図５では分かりやすく被写体検出枠２１を点線で示してある。

図６は撮影画像から被写体Ａの周囲を切り出し、歪補正等の画像処理を行った画像である。この画像の中から被写体Ａの顔を画像処理等によって検出する。図６では検出結果の範囲を示した被写体顔検出枠２２を点線で示してある。

その後、Ｓ１０４では視線方向予測手段において被写体顔検出枠２２の範囲の中において視線検出を行い、被写体Ａの視線方向の予測を行う。視線検出のプロセスとしては、被写体顔検出枠内の顔や眼球を検知対象物とした特徴量算出及び形状判断等の認識処理と行い、認識した検知対象物に基づき、被写体Ａの視線方向を予測する。例えば、特開２００７−２６５３６７号公報には目特徴量と顔特徴量とを用いて視線の向きを検出する視線検出方法が開示されていたり、特開２００９−２６６０８６号公報には検出対象者の瞳位置および顔の向きに基づいて視線の方向を推定する視線検出装置が開示されている。被写体の視線方向を予測するにあたってはこういった技術を参考にすることが可能なため、ここでは視線方向の予測方法に関しての詳細な説明は省略する。なお画像データの認識処理において、特徴量予測の処理では図７の被写体Ａの画像をを二値化処理した後の画像データに対して、画素の連続性に基づくラベリング処理を行い、抽出した検知対象物の重心および面積および外接四角形の縦横比等を予測する。また形状判断の処理では、例えばあらかじめ記憶している所定パターンに基づき画像データ上の検索を行い、所定パターンとの類似性に応じて検知対象物を抽出するといった処理を行っている。

被写体Ａの視線方向の予測が行われた後、Ｓ１０５では関連物体推測手段において撮影画像の中から被写体Ａの視線の先の関連物体の推測が行われる。本発明の実施例においては、推測された関連物体が被写体Ｂであるので、図４では分かりやすく点線で示した関連物体検出枠２３が被写体Ｂを囲んでいる。

図８は図２に示したディスプレイユニット１６に表示される表示画像である。Ｓ１０６では被写体Ａを表示する画面４１の中に子画面４２は被写体Ａの視線の方向や被写体Ａと重ならない位置に自動的にレイアウトされる。子画面４２の中に歪み補正等の画像処理された被写体Ｂの映像をディスプレイユニット１６に表示する。

これで一連の動作シーケンスは終了する。

［実施例２］
以下、本発明の第２の実施例について図を参照しながら説明する。

図９には、本発明の実施例である撮像機器としてのビデオカメラの外観を示す。カメラ本体１１には、撮像光学系を収容したメインカメラユニット５１、表示の切り出し範囲を変更するズームレバー１２、静止画撮像を行うためのレリーズ釦１３、動画の撮影を行うためのトリガー釦１４、画像を表示するディスプレイユニット１６が設けられている。またカメラ本体１１の内部には、画像や音声を記録したり再生したりする記録再生部が設けられている。

カメラ本体１１の上部には全方位カメラのサブカメラユニット５２が設置されている。そのため被写体Ａと被写体Ｂがカメラ本体１１の周囲のどこにいても撮影範囲内であり撮影をすることができる。

図１０は本発明の第２の実施例の動作のフローチャートである。図１０を用いて本発明の撮像機器の動作を説明する。

まずＳ２０１では、トリガー釦１４が押されたかを判断する。トリガー釦１４が押されることで、Ｓ２０２でメインカメラユニット５１で被写体Ａを撮影する。またＳ２０３ではサブカメラユニット５２によってカメラの周囲水平方向３６０°の撮影が開始される。

図１１はメインカメラユニット５１で撮影された撮影画像であるである。

Ｓ２０４において、被写体認識手段でメインカメラの撮影画像の中からカメラ本体１１の正面の被写体Ａを認識する。図１１では分かりやすく被写体検出枠２１を点線で示してある。また被写体Ａの顔を画像処理等によって検出する。検出結果の範囲を示した被写体顔検出枠２２を点線で示してある。

その後、Ｓ２０５では視線方向予測手段において視線方向予測手段において被写体顔検出枠２２の範囲の中において視線検出を行い、被写体Ａの視線方向の予測を行う。

図１２は全方位カメラであるサブカメラユニット５２で撮影された撮影画像である。

被写体Ａの視線方向の予測が行われた後、Ｓ２０６では関連物体推測手段においてサブカメラの撮影画像の中から被写体Ａの視線の先の関連物体の推測が行われる。本発明の実施例においては、推測された関連物体が被写体Ｂであるので、図１２では分かりやすく点線で示した関連物体検出枠２３が被写体Ｂを囲んでいる。

最後にＳ２０７において、被写体Ａと被写体Ｂを表示することで、動作シーケンスは終了する。

図１３はディスプレイユニット１６に表示される表示画像である。被写体Ａを表示する画面４１の中に子画面４２は被写体Ａの視線の方向や被写体Ａと重ならない位置に自動的にレイアウトされる。子画面４２の中に歪み補正等の画像処理された被写体Ｂの映像をディスプレイユニット１６に表示する。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

例えば、上記実施例では、カメラとして全方位カメラを用いた場合について説明したが、魚眼レンズを用いたり、広角レンズを用いたレンズを用いてもよい。またレリーズ釦１３の位置や、ズームレバー１２の位置等の各構成要素の具体的な形状や取り付け方法は、上記実施例のものに限らず、任意に変更可能である。さらに上記実施例では、ビデオカメラについて説明したが、本発明は、デジタルカメラやカメラ機能付き携帯電話等の各種撮像機器に適用することができる。

Ａ‥‥被写体
Ｂ‥‥被写体
１１‥‥カメラ本体
１２‥‥ズームレバー
１３‥‥レリーズ釦
１４‥‥トリガー釦
１５‥‥カメラユニット
１６‥‥ディスプレイユニット
２１‥‥被写体検出枠
２２‥‥被写体顔検出枠
２３‥‥関連物体検出枠
３１‥‥全方位ミラー
３２‥‥カメラレンズ
４１‥‥画面
４２‥‥子画面
５１‥‥メインカメラユニット
５２‥‥サブカメラユニット

Claims (8)

1. 少なくとも被写体を撮影するための撮像手段と、
   撮影画像を表示する表示手段を備える撮像機器において、
   カメラの撮影画像の中から被写体を認識する被写体認識手段と、
   前記被写体の視線方向を予測する視線方向予測手段と、
   カメラの撮影範囲内から前記視線方向から関連物体を推測する関連物体推測手段を備え、
   前記表示手段の画面内に配置される子画面内に、
   前記関連物体を表示することができることを特徴とする撮像機器。
2. 前記子画面は被写体を隠さない位置にレイアウトされることを特徴とする請求項１に記載の撮像機器。
3. 前記子画面は被写体の視線の方向に合わせてレイアウトされることを特徴とする請求項１に記載の撮像機器。
4. 前記カメラは魚眼カメラもしくは全方位カメラであることを特徴とする請求項２又は請求項３に記載の撮像機器。
5. 被写体を撮影するための少なくとも２つ以上撮像手段と、
   撮影画像を表示する表示手段を備える撮像機器において、
   第１の撮影手段の撮影画像の中から被写体を認識する被写体認識手段と、
   前記被写体の視線方向を予測する視線方向予測手段と、
   第２の撮影手段の撮影範囲内から前記視線方向から関連物体を推測する関連物体推測手段を備え、
   前記被写体を表示している画面内の中に配置される子画面内に、
   前記関連物体を表示することができることを特徴とする撮像機器。
6. 前記子画面は被写体を隠さない位置にレイアウトされることを特徴とする請求項５に記載の撮像機器。
7. 前記子画面は被写体の視線の方向に合わせてレイアウトされることを特徴とする請求項５に記載の撮像機器。
8. 前記第２の撮影手段は魚眼カメラもしくは全方位カメラであることを特徴とする請求項６又は請求項７に記載の撮像機器。