JP2015023512A - 撮影装置、撮影方法及び撮影装置の撮影プログラム - Google Patents

Abstract

【課題】撮影者が見ていた被写体等を強調できるようなパノラマ画像を取得すること。【解決手段】被写体と撮影者の少なくとも眼部とを含む範囲で撮影する撮影手段と、前記撮影手段の画像データを取得する画像処理手段と、前記画像処理手段により取得された前記画像データにおける前記撮影者の目線方向を判定する目線方向判定手段と、前記目線方向判定手段により判定された前記目線方向に基づいて前記撮影者が撮影しようとする前記被写体中の主要被写体を判定する主要被写体判定手段と、前記主要被写体判定手段により判定された前記主要被写体を強調表示する強調表示手段とを具備する撮影装置である。【選択図】図１

Description

本発明は、被写体を全方位、全周囲、パノラマなど、広い撮影範囲で撮影する撮影装置、撮影方法及び撮影装置の撮影プログラムに関する。

全方位の撮影範囲で被写体を撮影する撮影装置の技術として例えば特許文献１がある。この特許文献１は、所定の撮影面に沿った３６０°方向のパノラマ画像を撮影する撮像手段と、この撮像手段を配設した当該撮像再生装置筐体の一構成面が対向する方角を検出する検出手段と、撮像手段での撮影で得たパノラマ画像の画像データを検出手段で検出した方角を示す情報と関連付けて記録する記録手段と、画像を表示する表示手段と、記録手段で記録した画像データに対し、関連付けて記録されている方角を示す情報に基づいて、予め設定した基準となる方角が画像の中心となるようにパノラマ画像を表示手段で表示させる表示制御手段とを備えたもので、パノラマ画像を観賞する者が、当該パノラマ画像中に写る被写体が撮影時に位置していた方角を容易に理解することが可能となることを開示する。

特開２０１１−４０８９８号公報

全方位の撮影、全周囲撮影、パノラマなど広い範囲の撮影では、広い画角の画像中のどの部分を撮影者が観ていたのかが分からず、又どの被写体を目的に撮影したのかが分からないような、単なる記録で意図が伝わらない印象の薄い画像しか伝えることしかできなかった。

本発明の目的は、パノラマ画像、全方位画像のような広い画角の画像を伝えることができると共に、それでいて、撮影者が見ていた主な対象物を伝えられる画像を取得できる撮影装置、撮影方法及び撮影装置の撮影プログラムを提供することにある。

本発明の主要な局面に係る撮影装置は、被写体と撮影者の少なくとも眼部とを含む範囲で撮影する撮影手段と、前記撮影手段の画像データを取得する画像処理手段と、前記画像処理手段により取得された前記画像データにおける前記撮影者の目線方向を判定する目線方向判定手段と、前記目線方向判定手段により判定された前記目線方向に基づいて前記撮影者が撮影しようとする前記被写体中の主要被写体を判定する主要被写体判定手段と、前記主要被写体判定手段により判定された前記主要被写体を強調表示する強調表示手段とを具備する。

本発明の主要な局面に係る撮影方法は、被写体と撮影者の少なくとも眼部とを含む撮影範囲を有する撮影手段によって被写体を撮影し、前記撮影範囲の画像データを画像処理手段により取得し、当該撮影者の目線方向を目線方向判定手段によって判定し、前記判定された前記目線方向に基づいて前記撮影者が撮影しようとする前記被写体中の主要被写体を強調表示する。

本発明の主要な局面に係る撮影装置の撮影プログラムは、コンピュータに、被写体と撮影者の少なくとも眼部とを含む範囲で撮影させる撮影機能と、前記撮影機能の画像データを取得させる画像処理機能と、前記画像処理機能により取得された前記画像データにおける前記撮影者の目線方向を判定させる目線方向判定機能と、前記目線方向判定機能により判定された前記目線方向に基づいて前記撮影者が撮影しようとする前記被写体中の主要被写体を判定させる主要被写体判定機能と、前記主要被写体判定機能により判定された前記主要被写体を強調表示させる強調表示機能とを実現する。

本発明によれば、撮影者が見ていた被写体等を強調できるような広角画像を取得できる撮影装置、撮影方法及び撮影装置の撮影プログラムを提供できる。

本発明に係る撮影装置の一実施の形態を示すブロック構成図。 同装置における撮影光学系を示す構成図。 同装置の撮影によりパノラマ画像を取得するときの全方位撮影の様子を示す図。 同装置による全方位撮影の撮影結果を示す図。 同装置により取得されるパノラマ画像を示す図。 同装置において基準目線方向の設定を説明するための図。 同装置により撮影者の鼻穴部の有無によって基準目線方向の設定をするときの状態を示す図。 同装置により撮影するのにあたり撮影者の目線が被写体に向けられている状態を示す図。 同装置により撮影者の瞳位置を判定するときの状態を示す図。 同装置により撮影者の瞳位置を判定するときの状態を示す図。 同装置により撮影者の瞳位置によって基準目線方向の設定をするときの状態を示す図。 同装置により撮影者の目線方向が前方に有ることを示す図。 同装置により撮影者の目線方向が自身から向かって左側に有ることを示す図。 同装置により撮影者の目線方向が自身から向かって右側に有ることを示す図。 同装置により撮影者の目線方向が自身から向かって左側に有ることを示す図。 同装置により撮影者の目線方向が自身から向かって右側に有ることを示す図。 同装置により取得されるパノラマ画像における縦幅の角度φの設定を示す図。 同装置により複数の人物から成る一群の人物に対する強調範囲の設定を示す図。 同装置における指標による強調範囲の設定の根拠を説明するための図。 同装置におけるカメラ制御フローチャート。 同装置における本装置側目線方向の判定フローチャート。 同装置における目線方向の向き判定フローチャート。

以下、本発明の一実施の形態について図面を参照して説明する。
図１は撮影装置１０のブロック構成図を示す。本装置１０は、被写体を略３６０°のほぼ全方位（以下、全方位と略記）に亘る撮影範囲で被写体を撮影して例えばそのパノラマ画像を取得するもので、全方位で撮影するための撮影光学系１１を備える。
図２は撮影光学系１１の構成図を示す。この撮像光学系１１は、魚眼レンズとしての機能を持つ複数枚のレンズを有し、光軸Ｐの周りの全周にわたる視野領域の光を捉える。もちろん、厳密に全周である必要はないし、光軸方向は撮影せず、パノラマ風の帯状領域のみ撮影する光学系でもよい。光軸方向も含めば全方位と言えるが、これらを一括して、下記には全方位という表現を使っている。もちろん、魚眼レンズや広角レンズも、使い方によっては、全方位的な撮影が可能である。この撮像光学系１１の光軸Ｐ上には、撮像部１２が設けられている。この撮像部１２は、撮像光学系１１により捉えられた光を電気的なデジタル信号に変換して画像データとする。なお、この撮像部１２は、基板１３上に設けられている。

この撮像光学系１１は、本装置本体１０ａに対して固定して設けても良いし、回転可能に設けても良い。なお、固定式の場合、ユーザがカメラの角度を調整するが、回転可能な場合、厳密に構えなくとも重力やアクチュエータの力によって、天頂方向を向いた撮影にできる。撮影光学系１１は、例えば球状の回転撮像体１３を備え、この回転撮像体１３が本装置本体１０ａに対して回転するように設ける。この回転撮像体１３の内部には、撮像光学系１１と、基板１４上に設けられた撮像部１２と、重り１４等が設けられている。これら撮像光学系１１や撮像部１２、基板１４、重り１５等は、回転撮像体１３の回転と一体的に回転移動する。重り１５は、回転撮像体１３の下部で撮像光学系１１の光軸Ｐの延長線上に設けられているので、回転可能立体角θの範囲内で回転しても、重り１５による重力が掛かることによって、撮影光学系１１を備える回転撮像体１３を本装置本体１０ａの傾きに関わらず天頂向きに回転移動する。又、回転撮像体１３の下部で撮影光学系１１の光軸Ｐの延長線上には、回転規制ピン１６が設けられている。この回転規制ピン１６は、回転撮像体１３を回転可能立体角θの範囲内に規制する。天頂方向を見て全方位撮影をすると、撮影者の眼部や顔部も撮影される可能性が高い。

又、本装置１０は、コンピュータから成る制御部２０を備える。この制御部２０には、本装置１０の全体を制御するもので、撮像部１２と、マイクロフォン２１と、操作判定部２２と、背面カメラ（アイセンサ）２３と、記録部２４と、通信部２５と、姿勢判定部２６と、前面表示部２７と、前面側タッチパネル２８と、背面表示部２９と、背面側タッチパネル３０とが接続されている。なお、制御部２０は、内部メモリを備える。

マイクロフォン２１は、本装置１０を撮影操作する撮影者と例えば人物等の主要被写体との音声をそれぞれ集音し、これら音声検出信号を出力する。このマイクロフォン２１は、撮影のスタイル（カメラの構え方）によって、選択可能としてもよく、一対以上を選んで、例えばステレオで音声をそれぞれ集音する。
操作判定部２２は、撮影者によって手動操作される各種の操作部材、例えば主要被写体に対するピント調整や、被写体の明るさを調整する絞りの操作等を行うための操作部材や、レリーズボタン、動画釦、モードダイヤル、選択キー、電源釦等を備え、これら操作部材に対する操作を判定してその操作判定信号を制御部２０に送る。

本装置１０ではあまり活用されないが、接眼式の電子ビューファインダ（ＥＶＦ）を併用できるようにした方が外光の影響を受けずに被写体を観察できる親切な設計となる。例えば、背面カメラ（アイセンサ）２３を本装置１０の背面に設け、接眼式の電子ビューファインダ（ＥＶＦ）が設けられた場合、当該ＥＶＦに対して撮影者の眼部が予め設定された距離内に近付いているか否かを検出してＥＶＦを有効にする。
記録部２４には、例えば、被写体を３６０°の全方位に亘る撮影範囲で撮影して取得されたパノラマ画像や、特定の領域を切り出した画像、顔検出部４１により検出された撮影者Ａの顔部を含む画像データ等が記録される。この記録部２４は、例えばメモリカードなどである。
通信部２５は、本装置１０と外部装置との間で例えば撮影された画像や、操作信号等を含むデータ通信を行う。
姿勢判定部２６は、本装置１０の姿勢又は姿勢の変化を検出する。この姿勢検出で、カメラの撮影モード切り換えや手ブレ補正などを行う。

前面表示部２７は、本装置１０の前面に設けられ、ライブビュー画像の表示や、撮影によって取得されたパノラマ画像等を表示する。この前面表示部２７は、例えば液晶ディスプレイや有機ＥＬディスプレイなどである。
前面側タッチパネル２８は、前面表示部２７の前面に設けられ、撮影者のタッチ操作による押圧を検出し、当該タッチ操作位置を示すタッチ座標信号を出力する。この前面側タッチパネル２８は、例えば前面表示部２７にライブビュー画像を表示している状態に、撮影者がタッチ操作すると、このタッチ操作をレリーズスイッチが行われたものとして機能するようにしてもよい。
このような前面側表示部２７を見ながら撮影光学系が天頂方向を見て全方位撮影をすると、撮影者の眼部や顔部も撮影される可能性が高い。以下の実施例では、この前面表示部２７利用時の撮影で特徴を出している。タッチ位置にピントや露出を合わせてもよい。前面側というのは、光軸方向を前面だと考えた時の表現で、実際に天頂方向に光軸を向けて撮影するモードでは、表示部は上面になるのでユーザはこれを見て構図などを確認可能である。これを見ていると、光学系のある方向からのぞき込む姿勢となり、撮影者の顔部（眼部）も撮影光学系で捉えられる確率が高く、見ている方向から、どれが撮影者かを判定することも可能となる。
つまり、ここでは、撮影レンズが配置されたのと同じ面に表示パネルが配置されていることが好ましく、これによって、撮像部で得られた画像を表示部で見る撮影者が、同じ撮像部で判定できるようになる。撮影者の向いた方向の被写体も同時に撮影できて、一般のカメラと同様に、見ているものを写すという用途には無理なく応用可能である。もちろん、撮影者も入った撮影が一度にできて便利で楽しいという効果があることは言うまでもない。
この場合、広い面にレンズと表示を配置して、小型化、薄型化が可能である。また、光軸を自分に向けての撮影、自分撮りなどにも有利である。もちろん、撮像結果を、撮影光学系を設けたのと同じ方向に表示しなくとも、撮影者の方向を向いた面に表示部を設けた場合にも同様の効果を得ることができる。可動の表示部にしても良い。ただし、これらの場合は機器が大型化したり厚くなったりする。
本装置１０では利用されないが、背面表示部２９は、本装置１０の背面に設けられ、ライブビュー画像の表示や、撮影によって取得されたパノラマ画像等を表示する。この背面表示部２９は、例えば液晶ディスプレイや有機ＥＬディスプレイなどである。
背面側タッチパネル３０は、背面表示部２９の前面に設けられ、撮影者のタッチ操作による押圧を検出し、当該タッチ操作位置を示すタッチ座標信号を出力する。この背面側タッチパネル３０も、上記前面側タッチパネル２８と同様に、例えば背面表示部２９にライブビュー画像を表示している状態に、撮影者がタッチ操作すると、このタッチ操作をレリーズスイッチが行われたものとして機能するようにしてもよい。これらの表示部は、撮影モードや姿勢などによって選択的に有効となる。

上記制御部２０は、内部メモリ等を有し、当該内部メモリに本装置１０の撮影プログラムが予め記憶されている。なお、この内部メモリ等に撮影結果を記録してもよい。この制御部２０は、当該撮影プログラムを実行することにより次の機能を実現する。すなわち、この撮影プログラムは、コンピュータから成る制御部２０に、被写体と撮影者の少なくとも眼部とを含む範囲で撮影させる撮影機能と、撮影機能の画像データを取得させる画像処理機能と、画像処理機能により取得された画像データにおける撮影者の目線方向を判定させる目線方向判定機能と、目線方向判定機能により判定された目線方向に基づいて撮影者が撮影しようとする被写体中の主要被写体を判定させる主要被写体判定機能と、主要被写体判定機能により判定された主要被写体を強調表示させる強調表示機能とを実現する。

ここで、主要被写体の強調表示について説明する。図３Ａ乃至図３Ｃは本装置１０の撮影によるパノラマ画像の取得を説明するための図を示し、同図３Ａは全方位撮影の様子を示し、同図３Ｂは撮影結果を示し、同図３Ｃは撮影結果をパノラマ画像に加工したものを示す。全方位の中から、必要な部分を切り抜き、幅広で表示する場合、パノラマ画像となる。この幅広やパノラマの定義としては、カメラの表示部のアスペクト比より横長が長いもの、縦の長さより横の長さが例えば２倍以上長いものなどがある。
図３Ａに示すように撮影者Ａは、撮影者本人である撮影者Ａと、主要被写体として例えば父親等の人物（以下、父親と称する）Ｂと、子供等の人物（以下、子供と称する）Ｃとの３人を全方位撮影によって撮影する様子を示す。撮影者Ａの目線方向（視線方向）Ｓは、父親Ｂに向けられているものとする。

図３Ａに示すような状態で全方位撮影を行うと同図３Ｂに示すような撮影結果となり、撮像光学系１１のイメージサークルに対応して円形の撮影結果が得られる。同図３Ｂでは、撮影者Ａの目線方向Ｓに基づいて撮影者Ａが撮影しようとする主要被写体、ここでは子供Ｃを含む父親Ｂを判定し、これら子供Ｃを含む父親Ｂを強調表示させるために円形の指標Ｆが付加されている。
図３Ｃに示すようにパノラマ画像上においても父親Ｂを強調表示させるために環状の指標Ｆが付加されている。

制御部２０は、上記主要被写体の強調表示を実現するために画像処理部４０と、顔検出部４１と、目線方向判定部４２と、主要被写体判定部４３と、強調表示部４４と、表示制御部４５と、音声検出部４６とを有する。なお、音声検出部４６は、マイクロフォン２１から出力される音声検出信号を入力し、撮影者と人物等の主要被写体との音声を検出する。
顔検出部４１は、画像の陰影パターンと、記録部２４に記録されている陰影パターンの画像辞書を比較して画像内の顔部を判定したり、どの人物の顔部かを判別したりできる。また、顔検出部４１は、顔画像のどの部位の陰影パターンかで眼部の部分が判定可能である。
なお、目線方向判定部４２は、白目や黒目の位置や大きさ、配置などを判定し、目線方向を判定する。

画像処理部４０は、撮像部１２から出力される全方位撮影の画像データを入力し、この画像データに対してホワイトバランス補正やガンマ補正などの画像処理を施す。
顔検出部４１は、全方位撮影の画像データから人物の顔部を検出する。
目線方向判定部４２は、画像処理部４０により取得された全方位撮影の画像データ中に撮影者が含まれると、当該撮影者Ａの目線方向Ｓを判定する。
具体的に、目線方向判定部４２は、顔検出部４１により検出された全方位撮影の画像データ中の人物、ここでは人物として撮影者Ａの顔部を受け取り、この撮影者Ａの顔部の少なくとも鼻穴部の有無又は眼部の瞳位置のいずれか一方又は両方に基づいて目線方向Ｓを判定する。撮影者の判定としては、前述のように撮影される顔画像の方向や領域などから判定が可能で、顔検出結果、カメラの所持者を判別しても良い。顔部の検出が可能なら、顔部の陰影パターンから眼部の位置を判定することも可能である。
目線方向Ｓの判定では、目線方向判定部４２は、撮影者Ａの目線方向Ｓが本装置１０側であるか否かを判定し、当該目線方向Ｓが本装置１０側であれば、当該本装置１０側の目線方向Ｓを図４に示すように原点方向（基準目線方向）Ｇとして設定する。この目線方向判定部４２は、基準目線方向Ｇを設定した後、当該基準目線方向Ｇと撮影者Ａの目線方向Ｓとを白目や黒目の配置によって比較して当該撮影者Ａの目線方向Ｓを判定する。

すなわち、撮影者Ａは、撮影者Ａ自身、子供Ｃを含む父親Ｂを中心としてパノラマ撮影を行おうとするときに、先ず、図３Ａに示すように子供Ｃを含む父親Ｂに目線を向けて本装置１０の撮影範囲内に子供Ｃを含む父親Ｂと撮影者Ａ自身とを入れる。この後、撮影者Ａは、図４に示すように前面表示部２７に表示されるライブビュー画像に目線を向けて本装置１０の撮影範囲内に子供Ｃを含む父親Ｂと撮影者Ａ自身とが入っていることを確認する。この後、撮影者Ａは、本装置１０のレリーズボタンを押し操作したり、又は前面表示部２７上のタッチパネル２８にタッチ操作することにより、本装置１０は、撮影動作を行い、図３Ｂに示すような撮影結果を得ると共に、図３Ｃに示すようなパノラマ画像を取得する。

従って、目線方向判定部４２は、図４に示すように撮影者Ａが目線方向Ｓを子供Ｃを含む父親Ｂから本装置１０側に向けたときに、当該目線方向Ｓを基準目線方向Ｇとして設定する。この目線方向は、繰り返しになるが、目線そのものが判定できるものではなく、白目と黒目の配置や相対変化によって、目線を推測するものである。
基準目線方向Ｇを設定した後、目線方向判定部４２は、当該基準目線方向Ｇと撮影者Ａの目線方向Ｓとを比較して当該撮影者Ａの目線方向Ｓを判定する。
この撮影者Ａの目線方向Ｓを判定では、目線方向判定部４２は、基準目線方向Ｇと撮影者Ａの目線方向Ｓとの比較結果に基づいて撮影者Ａの目線方向（眼部の部分における黒目の位置変化、または白目と黒目の配分による差異）が基準目線方向Ｇに対して左側、右側、又は前方のいずれかであるのかを判定する。もちろん、鼻筋のパターンや鼻の穴、顔部の輪郭パターンを基準に、黒目の位置（または白目の位置）の変化を見て判定してもよい。あるいは、白目、黒目の基準位置を定め、それとの差異から、どちらを見ているかを判断しても良い。

又、目線方向判定部４２は、上記判定した撮影者Ａの目線方向Ｓに有る人物等の主要被写体と、音声検出部４６により検出される撮影者Ａと人物等の主要被写体との音声と、これら撮影者Ａ及び人物等の主要被写体の各画像とに基づいて撮影者Ａと人物等の主要被写体との間で会話があると判定すると、撮影者Ａの瞳位置と、上記判定された左側、右側、又は前方のいずれかの目線方向Ｓとを関連付け、この関連付けのデータを内部メモリ等に記憶する。この関連付けのデータは、例えばメモリカードなどの記録部２４に記録してもよい。

ここで、撮影者Ａの目線方向Ｓの基準目線方向Ｇの設定と、撮影者Ａの目線方向Ｓの判定の一例について説明する。
目線方向判定部４２は、上記の通り、画像処理部４０により取得された画像データ中の撮影者Ａの顔部における鼻穴部の有無、又は眼部の瞳位置のいずれか一方又は両方に基づいて目線方向Ｓを判定するときの具体例について説明する。

図５Ａは撮影者Ａの目線方向Ｓが本装置１０の前面表示部２７に向けられていることを示す。この目線方向Ｓは、本装置１０の撮影光学系１１に向けられているものと略等しい。このときに撮影者Ａの目線方向Ｓが本装置１０の前面表示部２７に向けられているときを基準目線方向Ｇとするが、このときの撮影者Ａの顔部は、全面的に下向きにある。このため、本装置１０の撮影光学系１１を通して撮像部１２により撮影される画像には、撮影者Ａの顔部の鼻穴部が殆ど撮影されないものとなる。

これに対して図５Ｂは撮影者Ａの目線方向Ｓが図３Ａに示すように子供Ｃを含む父親Ｂに向けられていることを示す。このときの撮影者Ａの顔部は、全面的に上向きにある。これにより、本装置１０の撮影光学系１１を通して撮像部１２により撮影される画像には、撮影者Ａの鼻穴部が撮影されるものとなる。

従って、目線方向判定部４２は、図５Ａに示すように画像処理部４０により取得された画像データ中に撮影者Ａの鼻穴部が撮影されていれば、撮影者Ａの目線方向Ｓが本装置１０の前面表示部２７に向けられていると判定し、このときの目線方向Ｓを基準目線方向Ｇに設定する。
なお、目線方向判定部４２は、図５Ｂに示すように画像処理部４０により取得された画像データ中に撮影者Ａの鼻穴部が撮影されていなければ、撮影者Ａの目線方向Ｓが子供Ｃを含む父親Ｂに向けられていると判定し、基準目線方向Ｇの設定を行わない。

次に、目線方向判定部４２によって画像データ中の撮影者Ａの顔部における眼部の瞳位置に基づいて目線方向Ｓを判定するときの具体例について説明する。
図６Ａは撮影者Ａの目線方向Ｓが子供Ｃを含む父親Ｂに向けられていることを示す。このとき、本装置１０の撮影光学系１１を通して撮像部１２により撮影される画像には、撮影者Ａの眼部が瞳とこの瞳の周囲の白目とが撮影されるものとなる。

図６Ｂは撮影者Ａの目線方向Ｓが子供Ｃを含む父親Ｂよりも上方に向けられていることを示す。このとき、撮像部１２により撮影される画像には、撮影者Ａの眼部が瞳と白目とが２つの領域、例えば瞳位置が上方で白目位置が下方の２つの領域で撮影されるものとなる。
図６Ｃは撮影者Ａの目線方向Ｓが本装置１０の前面表示部２７に向けられていると判定し、目線方向Ｓを基準目線方向Ｇに設定する。このとき、撮像部１２により撮影される画像には、撮影者Ａの眼部が瞳と白目とが２つの領域、例えば瞳位置が下方で白目位置が上方の２つの領域で撮影されるものとなる。

従って、目線方向判定部４２は、図６Ｃに示すように画像処理部４０により取得された画像データ中に例えば瞳位置が下方で白目位置が上方の２つの領域で撮影されていれば、撮影者Ａの目線方向Ｓが本装置１０の前面表示部２７に向けられていると判定し、このときの目線方向Ｓを基準目線方向Ｇに設定する。なお、図６Ａ及び図６Ｂに示す状態では、基準目線方向Ｇの設定が行われない。

次に、目線方向判定部４２によって撮影者Ａの目線方向が基準目線方向Ｇに対して左側、右側、又は前方のいずれかであるのかを判定するときの具体例について説明する。
図７Ａ乃至図７Ｃは撮影者Ａの顔部が前方を向いて眼部の瞳だけ前方、左方向（左側）、右方向（右側）に向けた場合を示し、図７Ａは撮影者Ａの目線方向Ｓが前方に有ることを示す。なお、撮影者Ａは、本装置１０の撮影光学系１１に対して正面を向いた状態で撮影されており、撮影者Ａの鼻部の鼻筋Ｈは、両眼部の間に存在する。目線方向判定部４２は、画像処理部４０により取得された画像データ上において眼部の中心に瞳が位置し、当該瞳を中心に左右両側に略均等に白目部が撮影されていることから、撮影者Ａの目線方向Ｓが前方に有ることを判定する。

図７Ｂは撮影者Ａの目線方向Ｓが自身から向かって左側に有ることを示す。目線方向判定部４２は、画像処理部４０により取得された画像データ上において眼部の右側に瞳が位置し、当該瞳の左側に白目部が撮影されていることから、撮影者Ａの目線方向Ｓが自身から向かって左側に有ることを判定する。
図７Ｃは撮影者Ａの目線方向Ｓが自身から向かって右側に有ることを示す。目線方向判定部４２は、画像処理部４０により取得された画像データ上において眼部の左側に瞳が位置し、当該瞳の右側に白目部が撮影されていることから、撮影者Ａの目線方向Ｓが自身から向かって右側に有ることを判定する。

図８Ａ及び図８Ｂは撮影者Ａの顔部が横方向に向いて眼部の瞳が左方向（左側）、右方向（右側）に向けた場合を示す。このうち図８Ａは撮影者Ａの目線方向Ｓが自身から向かって左側に有ることを示す。目線方向判定部４２は、画像処理部４０により取得された画像データ上において眼部の右側に瞳が位置し、当該瞳の左側に白目部が撮影されていることから、撮影者Ａの目線方向Ｓが自身から向かって左側に有ることを判定する。
図８Ｂは撮影者Ａの目線方向Ｓが自身から向かって右側に有ることを示す。目線方向判定部４２は、画像処理部４０により取得された画像データ上において眼部の左側に瞳が位置し、当該瞳の右側に白目部が撮影されていることから、撮影者Ａの目線方向Ｓが自身から向かって右側に有ることを判定する。

主要被写体判定部４３は、目線方向判定部４２により判定された目線方向Ｓに基づいて撮影者Ａが撮影しようとする被写体中の主要被写体、すなわち目線方向Ｓの延長線上に存在する例えば図３Ｂ及び図３Ｃに示すような子供Ｃを含む父親Ｂを判定する。
この主要被写体判定手段４３は、撮影者Ａの鼻穴部が有る上に瞳位置が下方向きでかつ撮影者Ａの鼻筋及び瞳位置にずれが無い、又は撮影者の鼻穴部が無いけれども瞳位置に上下方向のずれが無くかつ撮影者Ａの鼻筋及び瞳位置にずれが無ければ、撮影者Ａの目線方向Ｓが本装置１０側であると判定する。

強調表示部４４は、主要被写体判定部４３により判定された主要被写体を強調表示する。具体的に強調表示部４４は、画像処理部４０により取得された画像データ中の主要被写体、例えば図３Ｂ及び図３Ｃに示すような子供Ｃを含む父親Ｂに対応する画像領域に対して強調用の画像処理、例えば子供Ｃを含む父親Ｂ等の主要被写体に対して強調用の指標を付加する、主要被写体の配置位置を変える、又は主要被写体に対応する領域の濃淡レベルを相対的に変えることのうち少なくとも１つを行う。
強調用の指標Ｆは、例えば図３Ｂ及び図３Ｃに示すようにパノラマ画像上においても子供Ｃを含む父親Ｂを強調表示させるための環状に形成された指標Ｆである。この指標Ｆは、環状に限らず、楕円状、四角形状等の他の形状でもよい。又、指標Ｆとしては、子供Ｃを含む父親Ｂ等の主要被写体の画像データ上での配置位置を変えてもよく、さらに子供Ｃを含む父親Ｂ等の主要被写体の領域の濃淡レベルを変えて例えば同領域の輝度を高くする、又は、子供Ｃを含む父親Ｂ等の主要被写体に対してスポットライトを照射したように画像処理する、さらにはコントラストを低下させる、露出を変える等を行うようにしてもよい。

この強調表示部４４は、画像データ中において主要被写体を強調表示する強調範囲が設定されている。図９は本装置１０により取得されるパノラマ画像における縦幅を角度φに設定する。この縦幅の角度φは、例えば本装置１０を主要被写体である父親Ｂの胸部の高さ位置に配置して撮影したときに、本装置１０と父親Ｂの胸部の高さ位置とを結ぶ水平ラインに対して下側の角度−１０°、上側の角度５０°の角度範囲（−１０°〜５０°＝６０°）とする。なお、指標Ｆにより強調する範囲は、当該角度範囲（−１０°〜５０°＝６０°）で行うと、強調する領域が分かりにくくなるので、例えば角度範囲６０°の半分の３０°の範囲に設定する。

指標Ｆは、例えば楕円状した場合、図１０に示すように複数の人物から成る一群の人物Ｄを撮影したとき、この一群の人物Ｄの中心部に対して上側２５°、下側１０°を強調範囲として設定する。
ここで、指標Ｆによる強調範囲の設定の根拠について図１１を参照して説明する。
撮影者Ａは、本装置１０を持って例えば地上からの高さ１．２ｍで人物Ｅ等の主要被写体を撮影するものとする。人物Ｅの伸長は、例えば１．７ｍとし、本装置１０と人物Ｅとの間隔が例えば１ｍで撮影を行うものとする。又、本装置１０の撮影光学系１１の高さ位置から水平方向Ｊに辿ると人物Ｅの胸部の高さ位置に対応するものとする。
このような条件で、本装置１０により人物Ｅを撮影して、当該人物Ｅの胸部から顔部が撮影範囲に入るためには、水平方向Ｊに対して上側の角度θ（＝２５°）が必要になる。なお、θ＝arctan（０．５）≒２５°となる。但し、人物Ｅの胸部から顔部までのみが撮影されると、人物Ｅの背景がなく、画像の鑑賞として適切でないところがあるので、角度θを倍加して上側の角度５０°としている。

又、強調表示部４４は、音声検出部４６による音声の検出が無く、かつ目線方向判定部４２によって主要被写体が複数の人物から成る人物群であると判定すると、人物群に対して強調表示を行う。
表示制御部４５は、画像処理部４０により取得された画像データ、例えばライブビュー画像やパノラマ画像等を前面表示部２７や背面表示部２９に表示する。

次に、上記の如く構成された装置の動作について図１２に示すカメラ制御フローチャートに従って説明する。
制御部２０は、ステップＳ１０１において、撮影モードに設定されているか否かを判定する。この判定の結果、撮影モードに設定されていれば、制御部２０は、ステップＳ１０２において、撮影光学系１１を備える回転撮像体１３が天頂向きになっているか否かを判定する。この判定の結果、天頂向きであれば、制御部２０は、ステップＳ１０３において、被写体のライブビュー画像等を前面表示部２７や背面表示部２９に表示する。すなわち、撮像光学系１１は、魚眼レンズとしての機能を持つ複数枚のレンズによって光軸Ｐの周りの全周にわたる視野領域の光を捉える。撮像部１２は、撮像光学系１１により捉えられた光を電気的なアナログ信号に変換し、このアナログ信号をデジタル信号に変換して画像データとする。画像処理部４０は、撮像部１２から出力される全方位撮影の画像データを入力し、この画像データに対してホワイトバランス補正やガンマ補正などの画像処理を施す。表示制御部４５は、画像処理部４０により取得された画像データ、ここではライブビュー画像を前面表示部２７又は背面表示部２９に表示する。

なお、上記ステップＳ１０１での判定の結果、撮影モードでなく他のモード、例えば再生モードに設定されていれば、制御部２０は、当該再生モードに移る。又、上記ステップＳ１０２での判定の結果、撮影光学系１１を備える回転撮像体１３が天頂向きでなければ、制御部２０は、ステップＳ１０４において、通常撮影モードに移る。

制御部２０は、ステップＳ１０５において、ライブビュー画像を表示しているのが前面表示部２７であるか否か、すなわち本装置１０において撮影光学系１１が設けられている前面側の前面表示部２７においてライブビュー画像を表示しているのかを確認する。なお、ライブビュー画像の表示が背面表示部２９であれば、制御部２０は、ライブビュー画像の表示を前面表示部２７に切り替える。

この後、制御部２０の目線方向判定部４２は、ステップＳ１１１において、画像処理部４０により取得された全方位撮影の画像データ中に撮影者が含まれると、当該撮影者Ａの目線方向Ｓを判定し、この目線方向Ｓが本装置１０側（カメラ側）であるか否かを判定する。すなわち、撮影者Ａは、例えば図３Ａに示すように撮影者Ａ自身、子供Ｃを含む父親Ｂを中心としてパノラマ撮影を行うときに、目線を図４に示すように本装置１０におけるライブビュー画像が表示されている前面表示部２７側、又は子供Ｃを含む父親Ｂ側に向けられる。

このような状況において、撮影者Ａの目線方向Ｓが本装置１０側であるか否かの判定では、目線方向判定部４２は、図５Ａに示すように画像処理部４０により取得された画像データ中に撮影者Ａの鼻穴部が撮影されていれば、撮影者Ａの目線方向Ｓが本装置１０の前面表示部２７（本装置１０側）に向けられていると判定する。
この結果、目線方向判定部４２は、ステップＳ１１２において、図５Ａに示すように本装置１０の前面表示部２７（本装置１０側）に向けられている撮影者Ａの目線方向Ｓを基準目線方向Ｇとして設定する。
目線方向判定部４２は、基準目線方向Ｇを設定したときの撮影者Ａの顔部を含む画像データを撮影者Ａの顔部の初期パターンとして例えば記録部２４等に記録する。この撮影者Ａの顔部の初期パターンの画像データは、上記画像処理部４０により取得された画像データ中から顔検出部４１が撮影者Ａの顔部を検出すると、当該画像データに撮影者Ａの顔部が含まれるものとして取得される。
顔検出部４１は、画像の陰影パターンと、記録部２４に記録されている陰影パターンの画像辞書を比較して画像内の顔部を判定したり、どの人物の顔部かを判別したりできる。

目線方向判定部４２は、ステップＳ１１３において、撮影者Ａの目線方向Ｓが基準目線方向Ｇに対して左側、右側、又は前方のいずれかであるのかの判定、すなわち撮影者Ａの目線方向Ｓの向きの判定が既に行われたか否かを判定する。
ここでは、撮影者Ａの目線方向Ｓが基準目線方向Ｇに対して左側、右側、又は前方のいずれかであるのかの判定が未だ行われていないので、制御部２０は、ステップＳ１１５を経てステップＳ１０２に戻り、再びステップＳ１１１において、撮影者Ａの目線方向Ｓが本装置１０側（カメラ側）であるか否かを判定する。

このとき、撮影者Ａの目線方向Ｓは本装置１０側であることの判定が済んでいるので、目線方向判定部４２は、ステップＳ１２１において、撮影者Ａの顔部の初期パターンが記録されているか否かを判定する。
この判定の結果、撮影者Ａの顔部の初期パターンは、既に上記ステップＳ１１２において記録されているので、目線方向判定部４２は、ステップＳ１２２において、撮影者Ａの顔部の初期パターンと現時点で上記画像処理部４０により取得される画像データ中の撮影者Ａの顔部（以下、現時点の撮影者Ａの顔部と称する）とを比較する。

この比較の結果、目線方向判定部４２は、ステップＳ１２３において、現時点の撮影者Ａの顔部が撮影者Ａの顔部の初期パターンよりも上向き、すなわち図６Ｂに示すように撮影者Ａの目線方向Ｓが子供Ｃを含む父親Ｂよりも上方に向けられているか否かを判定する。この判定の結果、現時点の撮影者Ａの顔部が上向きでなければ、目線方向判定部４２は、ステップＳ１２４において、上向きの判定が無いものとして、ステップＳ１１５を通してステップＳ１０２に戻る。

現時点の撮影者Ａの顔部が上向きであれば、目線方向判定部４２は、ステップＳ１３１において、現時点の撮影者Ａの顔部が撮影者Ａの顔部の初期パターンに対して右向き、すなわち図７Ｃに示すように撮影者Ａの目線方向Ｓが自身から向かって右側に有るか否かを判定する。この判定の結果、現時点の撮影者Ａの顔部が右向きであれば、目線方向判定部４２は、ステップＳ１３２において、現時点の撮影者Ａの顔部が右向きであると判定する。

一方、現時点の撮影者Ａの顔部が右向きでなければ、目線方向判定部４２は、ステップＳ１３３において、現時点の撮影者Ａの顔部が撮影者Ａの顔部の初期パターンに対して左向き、すなわち図７Ｂに示すように撮影者Ａの目線方向Ｓが自身から向かって左側に有るか否かを判定する。この判定の結果、現時点の撮影者Ａの顔部が左向きであれば、目線方向判定部４２は、ステップＳ１３４において、現時点の撮影者Ａの顔部が左向きであると判定する。

現時点の撮影者Ａの顔部が左向きでなければ、既に現時点の撮影者Ａの顔部が右向きでないことの判定がなされているので（ステップＳ１３１）、目線方向判定部４２は、ステップＳ１３５において、現時点の撮影者Ａの顔部が前方を向いているものと判定する。
以上の処理により目線方向判定部４２は、撮影者Ａの目線方向Ｓが基準目線方向Ｇに対して左側、右側、又は前方のいずれかであるのかの撮影者Ａの目線方向Ｓの向きの判定を終了する。

制御部２０は、ステップＳ１１５を通してステップＳ１０２に戻り、再びステップＳ１１３において、撮影者Ａの目線方向Ｓが基準目線方向Ｇに対して左側、右側、又は前方のいずれかであるのかの向きの判定が終了しているか否かの判定の後、当該判定が既に終了していることから、ステップＳ１１４に移る。
このステップＳ１１４では、主要被写体判定部４３は、目線方向判定部４２により判定された目線方向Ｓに基づいて撮影者Ａが撮影しようとする被写体中の主要被写体、例えば図３Ｂ及び図３Ｃに示すような子供Ｃを含む父親Ｂを判定する。
強調表示部４４は、画像処理部４０により取得された画像データ中の主要被写体、例えば図３Ｂ及び図３Ｃに示すような子供Ｃを含む父親Ｂに対応する画像領域に対して強調用の画像処理、例えば子供Ｃを含む父親Ｂ等の主要被写体に対して強調用の指標を付加する、主要被写体の配置位置を変える、又は主要被写体に対応する領域の濃淡レベルを相対的に変えることのうち少なくとも１つを行う。この強調用の指標Ｆは、例えば、図３Ｂ及び図３Ｃに示すようにパノラマ画像上においても子供Ｃを含む父親Ｂを強調表示させるための環状に形成されている。この強調用の指標Ｆの付加された画像データは、ライブビュー画像として前面表示部２７に表示される。

制御部２０は、ステップＳ１１５において、撮影を行うか否かを判定する。すなわち、操作判定部２２のレリーズボタンに対する押し操作、又は前面側タッチパネル２８に対してタッチ操作されると、制御部２０は、当該操作時のパノラマの画像データが記録部２４に記録される。すなわち、図３Ａに示すように全方位撮影を行うと、同図３Ｂに示すような撮像光学系１１のイメージサークルに対応する円形の撮影結果となり、この撮影結果上に、撮影者Ａの目線方向Ｓに基づいて撮影者Ａが撮影しようとする主要被写体、ここでは子供Ｃを含む父親Ｂを判定し、これら子供Ｃを含む父親Ｂを強調表示させるために円形の指標Ｆが付加される。制御部２０は、撮像光学系１１のイメージサークルに対応する円形の撮影結果を展開して図３Ｃに示すようなパノラマ画像とし、当該パノラマ画像上に父親Ｂを強調表示させるために環状の指標Ｆを付加する。

次に、目線方向判定部４２による撮影者Ａの目線方向Ｓが本装置１０側であるか否かの具体的な判定について図１３に示す本装置側目線方向の判定フローチャートを参照して説明する。目線方向（特にユーザの）とは、本来、図５Ａや図５ＢにおけるＳのような矢印で表されるものだが、この矢印そのものが検出できるものではない。そこで、この実施の形態では、鼻筋や眼部の陰影部から顔部の向きを検出し、白目や黒目の配置を考慮して、この矢印方向を判定している。例えば、図７Ａのように、鼻筋が中心で、眼部がそれに対して対象であれば、図５Ａや図５Ｂに相当する目線だと判定する。このとき、鼻の穴のパターンが判定できなければ、図５Ａの目線だと判定できる。例えば、これを基準目線として記録しておき、これと比べることによって他の方向の目線を推測してもよい。また、鼻の穴が検出できれば図５Ｂの視線だと推測できる。左右に視線が動く場合は、黒目の位置が鼻筋に対して、どちらに偏るかで判定できる。このような類推をすべて（ユーザの）目線方向判定として以下、説明を続ける。
目線方向判定部４２は、ステップＳ２０１において、画像処理部４０により取得された画像データにおいて、操作判定部２２が設けられている側に対応する画像領域内に存在する顔部、すなわち撮影者Ａの顔部を顔検出部４１により検出する。なお、顔部が検出されなければ、目線方向判定部４２は、撮影者Ａの目線方向Ｓが本装置１０側であるか否かの判定を終了する。

目線方向判定部４２は、ステップＳ２０２において、図５Ｂに示すように撮影者Ａの顔部が上向きにあり、当該撮影者Ａの目線方向Ｓが子供Ｃを含む父親Ｂに向けられて撮影者Ａの鼻穴部が撮影され、かつ撮影者Ａの瞳位置が下方に位置して目線方向Ｓが下方側で、当該撮影者Ａの目線方向Ｓが本装置１０の前面表示部２７に向けられているか否かを判定する。

この判定の結果、撮影者Ａの顔部が上向きで、かつ当該撮影者Ａの目線方向Ｓが下方側であれば、目線方向判定部４２は、ステップＳ２０３において、画像処理部４０により取得された画像データから例えば図７Ａに示すように撮影者Ａの鼻部の鼻筋Ｈが両眼部の間に存在し、眼部の中心に瞳が位置して左右にずれが無いか否かを判定する。
この判定の結果、撮影者Ａの鼻部の鼻筋Ｈが両眼部の間に存在し、眼部の中心に瞳が位置して左右にずれが無ければ、目線方向判定部４２は、ステップＳ２０４において、撮影者Ａの目線方向Ｓが本装置１０側であると判定する。

又、上記ステップＳ２０２の判定の結果、撮影者Ａの顔部が上向きで、かつ当該撮影者Ａの目線方向Ｓが下方側でなければ、目線方向判定部４２は、ステップＳ２０５において、図５Ａに示すように画像処理部４０により取得された画像データから撮影者Ａの顔部の鼻穴部が殆ど撮影されず、かつ撮影者Ａの瞳位置の上下方へのずれが無いか否かを判定する。
この判定の結果、撮影者Ａの顔部の鼻穴部が殆ど撮影されず、かつ撮影者Ａの瞳位置の上下方へのずれが無ければ、目線方向判定部４２は、上記ステップＳ２０３に移る。
なお、上記判定の結果、撮影者Ａの顔部の鼻穴部が撮影され、かつ撮影者Ａの瞳位置の上下方へのずれがあれば、目線方向判定部４２は、ステップＳ２０６において、撮影者Ａの目線方向Ｓが本装置１０側以外であると判定する。

次に、目線方向判定部４２による目線方向Ｓの向き判定（ステップＳ１３２、１３４、１３５）について図１４に示す目線方向Ｓの向き判定フローチャートを参照して説明する。なお、撮影者Ａの目線方向Ｓの向きは、基準目線方向Ｇに対して左側、右側、又は前方のいずれかであり、これらの目線方向Ｓの向きをＸとして表す。
目線方向判定部４２は、ステップＳ３００において、例えば図７Ａ乃至図７Ｃ、図８Ａ及び図８Ｂに示す各瞳位置に従って撮影者Ａの目線方向Ｓの向きを判定可能であるか否かを判定する。

この判定の結果、判定が不可能であれば、目線方向判定部４２は、ステップＳ３０１において、画像処理部４０により取得された画像データから撮影者Ａの顔部の画像と、マイクロフォン２１により集音される撮影者Ａと例えば子供Ｃを含む父親Ｂ等の主要被写体との音声との関係を判定する。すなわち、目線方向判定部４２は、ステップＳ３０２において、目線方向Ｓの向きＸ、すなわち基準目線方向Ｇに対して左側、右側、又は前方の目線方向Ｓの延長線上に撮影者Ａの顔部が有るか否かを判定する。

この判定の結果、基準目線方向Ｇに対して左側、右側、又は前方の目線方向Ｓの延長線上に撮影者Ａの顔部が有れば、目線方向判定部４２は、ステップＳ３０３において、上記左側、右側、又は前方の目線方向Ｓの延長線上の撮影者Ａの顔部の口部に変化、例えば口部に開閉等の動きが有るか否かを判定する。すなわち、撮影者Ａが例えば子供Ｃを含む父親Ｂ等の主要被写体と会話をしているか否かを判定する。
この判定の結果、撮影者Ａの口部に変化が有ると、目線方向判定部４２は、ステップＳ３０４において、撮影者Ａの口部から発せられる音声を集音したか否かを判定する。すなわち、マイクロフォン２１は、ステレオにより音声を集音するので、制御部２０は、当該マイクロフォン２１から出力される音声信号から集音した音声の方向を判定可能である。従って、目線方向判定部４２は、集音した音声の方向と、画像処理部４０により取得された画像データ中の撮影者Ａの位置とを対応させることにより、撮影者Ａの顔部から音声が発せられているか否を判定する。

この判定の結果、撮影者Ａの顔部から音声が発せられていれば、目線方向判定部４２は、ステップＳ３０５において、マイクロフォン２１から出力される音声信号に基づいて例えば左側、右側、又は前方における撮影者Ａの顔部から音声が発せられているか否かを判定する。
この判定の結果、目線方向Ｓが左側、右側、又は前方の目線方向Ｓの延長線上に存在する撮影者Ａの顔部から音声が発せられていれば、目線方向判定部４２は、ステップＳ３０６において、マイクロフォン２１から出力される音声信号に基づいて得られた目線方向Ｓが左側、右側、又は前方に対応する撮影者Ａの眼部の瞳位置と、例えば上記図７Ａ乃至図７Ｃ、図８Ａ及び図８Ｂに示す各瞳位置とを対応付けて例えば記録部２４に記録し、データベース化する。

強調表示部４４は、ステップＳ３１０において、撮影者Ａの目線方向Ｓが左側、右側、又は前方であるときの当該目線方向Ｓの延長線上に存在する例えば子供Ｃを含む父親Ｂ等の主要被写体を強調処理する。
なお、上記ステップＳ３０５の判定の結果、撮影者Ａから見て左側、右側、又は前方の目線方向Ｓの延長線上に存在する例えば子供Ｃを含む父親Ｂ等の主要被写体から音声がなければ、目線方向判定部４２は、ステップＳ３０７において、撮影者Ａから見て左側、右側、又は前方の目線方向Ｓの延長線上に存在する人物等の主要被写体が１人であるか否かを判定する。

この判定の結果、人物等の主要被写体が１人であれば、強調表示部４４は、上記ステップＳ３１０において、撮影者Ａの左側、右側、又は前方の目線方向Ｓの延長線上に存在する人物等の主要被写体の顔部を強調処理する。
又、人物等の主要被写体が１人でなければ、強調表示部４４は、ステップＳ３１２において、撮影者Ａの左側、右側、又は前方の目線方向Ｓの延長線上に存在する複数の人物等の主要被写体群の各顔部を強調処理する。

なお、上記ステップＳ３０２での判定の結果、目線方向Ｓの向きＸ、すなわち基準目線方向Ｇに対して左側、右側、又は前方の目線方向Ｓの延長線上に存在する人物等の主要被写体がなければ、目線方向判定部４２は、ステップＳ３１１において、上記左側、右側、又は前方の目線方向Ｓ上で、例えば角度範囲３０°の角度範囲で人物等の主要被写体を指標Ｆにより強調する。
上記ステップＳ３００の判定の結果、例えば図７Ａ乃至図７Ｃ、図８Ａ及び図８Ｂに示す各瞳位置に従って撮影者Ａの目線方向Ｓの向きを判定可能であれば、目線方向判定部４２は、ステップＳ３２１において、当該図７Ａ乃至図７Ｃ、図８Ａ及び図８Ｂに示す各瞳位置に従って撮影者Ａの目線方向Ｓの向きを判定する。

このように上記一実施の形態によれば、被写体を全方位の撮影範囲で撮影し、この全方位の撮影から取得した画像データ中に撮影者Ａが含まれると、当該撮影者Ａの目線方向Ｓを判定し、この判定された目線方向Ｓに基づいて撮影者Ａが撮影しようとする被写体中の例えば子供Ｃを含む父親Ｂ等の主要被写体を判定し、この判定された主要被写体を強調表示するので、撮影者Ａが見ていた被写体中の例えば子供Ｃを含む父親Ｂ等の主要被写体を強調できるようなパノラマ画像を取得できる。
上記実施の形態では、顔部の輪郭や鼻の穴などの画像判定などにも触れたが、もちろん、基準位置をプリセットするような方法や、辞書画像に、基本的な目線ごとの眼部の画像パターンを記録しておくなど、眼部の画像だけで、同様の効果を奏することが可能であることは言うまでもない。また、撮影者の目部の画像と、その撮影者が見る方向を同時に撮影できる撮影光学系、撮像光学系を持つものなら、全方位とか全周囲に限るものではない。

上記強調では、環状に形成された指標Ｆを用いたり、この環状に限らず、楕円状、四角形状等の他の形状にしたり、又、子供Ｃを含む父親Ｂ等の主要被写体の画像データ上で配置位置を変えたり、さらに子供Ｃを含む父親Ｂ等の主要被写体の領域の濃淡レベルを変えて例えば同領域の輝度を高くしたり、又、子供Ｃを含む父親Ｂ等の主要被写体に対してスポットライトを照射したように画像処理したり、さらにはコントラストを低下させたり、露出を変える等をして強調してもよい。

強調する領域、例えば環状に形成された指標Ｆにより強調する範囲は、例えば角度範囲３０°に設定したり、複数の人物から成る一群の人物Ｄの中心部に対して上側２５°、下側１０°を強調範囲として設定することにより、強調するための子供Ｃを含む父親Ｂ等の主要被写体の大きさに適したものにできる。

従って、パノラマ画像中のどの部分を撮影者が観ていたのかが明確に分かり、又どの被写体を目的に撮影したのかも分かり、撮影現場の雰囲気の中で、撮影者が撮影しようとする対象の被写体や、撮影者が見ていた被写体、撮影者が印象深かった被写体が分かるパノラマ画像を得ることができる。よって、後日、パノラマ画像を鑑賞するときに、撮影時において観ていた被写体が容易に分かり、パノラマ画像を鑑賞する上での大きな手助けとなる。
撮影者Ａの左側、右側、又は前方の目線方向Ｓを範囲することにより、この撮影者Ａの左側、右側、又は前方の目線方向Ｓの延長線上に存在する人物等の主要被写体の顔部を強調処理できる。

また、本発明は、ユーザの顔部を利用したユーザーインターフェースに特徴があり、必ずしも撮影装置でなくともよい。機器のリモコンのように、産業用、医療用装置の操作部材など、対象物を狙って操作するコントロールボックスや据え置き機器の操作部位には応用可能であることは言うまでもない。つまり、カメラにあっては、強調表示した部位などを対象に無線操作するような機器や、集中的に観察する機器に応用可能である。対象物と操作者が撮像可能な操作装置では、構えて顔部の向きを判定して操作するためにこの発明のような技術が必要となり、こうした条件の機器では、何にでも応用可能である。また、車載機器のような、ユーザがさっと機器に意志を伝いたいものにも有効である。そこで、本発明は情報処理装置に属する。

なお、上述した実施の形態における撮像装置による各処理の手法、すなわち、各フローチャートに示す処理は、何れも制御部２に実行させることができるプログラムとして記憶される。このプログラムは、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

１０：撮影装置、１１：撮影光学系、１２：撮像部、１０ａ：本装置本体、１３：回転撮像体、１４：基板、１５：重り、１６：回転規制ピン、２０：制御部、２１：マイクロフォン、２２：操作判定部、２３：背面カメラ（アイセンサ）、２４：記録部、２５：通信部、２６：姿勢判定部、２７：前面表示部、２８：前面側タッチパネル、２９：背面表示部、３０：背面側タッチパネル、４０：画像処理部、４１：顔検出部、４２：目線方向判定部、４３：主要被写体判定部、４４：強調表示部、４５：表示制御部、４６：音声検出部。

Claims (11)

1. 被写体と撮影者の少なくとも眼部とを含む範囲で撮影する撮影手段と、
   前記撮影手段の画像データを取得する画像処理手段と、
   前記画像処理手段により取得された前記画像データにおける前記撮影者の目線方向を判定する目線方向判定手段と、
   前記目線方向判定手段により判定された前記目線方向に基づいて前記撮影者が撮影しようとする前記被写体中の主要被写体を判定する主要被写体判定手段と、
   前記主要被写体判定手段により判定された前記主要被写体を強調表示する強調表示手段と、
   を具備することを特徴とする撮影装置。
2. 前記目線方向判定手段は、前記画像データ中の前記撮影者の少なくとも鼻穴部の有無又は眼部の瞳位置のいずれか一方又は両方に基づいて前記目線方向を判定することを特徴とする請求項１に記載の撮影装置。
3. 前記目線方向判定手段は、前記撮影者の前記目線方向が本装置側であるか否かを判定し、前記目線方向が前記本装置側であれば、当該本装置側の前記目線方向を基準とし、当該基準目線方向と前記撮影者の前記目線方向とを比較して当該撮影者の前記目線方向を判定することを特徴とする請求項２に記載の撮影装置。
4. 前記主要被写体判定手段は、前記撮影者の前記鼻穴部が有る上に前記瞳位置が下方向きでかつ前記撮影者の鼻筋及び前記瞳位置にずれが無い、又は前記撮影者の前記鼻穴部が無いけれども前記瞳位置に上下方向のずれが無くかつ前記撮影者の鼻筋及び前記瞳位置にずれが無ければ、前記撮影者の前記目線方向が前記本装置側であると判定することを特徴とする請求項３に記載の撮影装置。
5. 前記目線方向判定手段は、前記基準目線方向と前記撮影者の前記目線方向との比較結果に基づいて前記撮影者の前記目線方向が前記基準目線方向に対して左側、右側、又は前方のいずれかであるのかを判定することを特徴とする請求項３又は４に記載の撮影装置。
6. 前記撮影者と前記主要被写体との音声を検出する音声検出手段を備え、
   前記目線方向判定手段は、上記判定した前記目線方向に有る前記主要被写体と、前記音声検出手段により検出された前記音声と、前記撮影者及び前記主要被写体の各画像とに基づいて前記撮影者と前記主要被写体との間で会話があると判定すると、前記撮影者の前記瞳位置と、前記左側、前記右側、又は前記前方のいずれかの前記目線方向とを関連付ける、
   ことを特徴とする請求項５に記載の撮影装置。
7. 前記目線方向判定手段によって前記音声検出手段により前記音声の検出が無く、かつ前記主要被写体が複数の人物から成る人物群であると判定すると、
   前記強調表示手段は、前記人物群に対して強調表示を行う、
   ことを特徴とする請求項６に記載の撮影装置。
8. 前記強調表示手段は、前記画像データ中の前記主要被写体に対応する画像領域に対して強調用の画像処理を行い、前記主要被写体に対して強調用の指標を付加する、前記主要被写体の配置位置を変える、又は前記主要被写体に対応する領域の濃淡レベルを相対的に変えることのうち少なくとも１つを行うことを特徴とする請求項１乃至７のうちいずれか１項に記載の撮影装置。
9. 前記強調表示手段は、前記画像データ中において前記主要被写体を強調表示する強調範囲が設定されていることを特徴とする請求項１乃至８のうちいずれか１項に記載の撮影装置。
10. 被写体と撮影者の少なくとも眼部とを含む撮影範囲を有する撮影手段によって被写体を撮影し、
    前記撮影範囲の画像データを画像処理手段により取得し、
    当該撮影者の目線方向を目線方向判定手段によって判定し、
    前記判定された前記目線方向に基づいて前記撮影者が撮影しようとする前記被写体中の主要被写体を強調表示する、
    ことを特徴とする撮影方法。
11. コンピュータに、
    被写体と撮影者の少なくとも眼部とを含む範囲で撮影させる撮影機能と、
    前記撮影機能の画像データを取得させる画像処理機能と、
    前記画像処理機能により取得された前記画像データにおける前記撮影者の目線方向を判定させる目線方向判定機能と、
    前記目線方向判定機能により判定された前記目線方向に基づいて前記撮影者が撮影しようとする前記被写体中の主要被写体を判定させる主要被写体判定機能と、
    前記主要被写体判定機能により判定された前記主要被写体を強調表示させる強調表示機能と、
    を実現するための撮影装置の撮影プログラム。

Images