JP2014089304A - 視点計測装置及び電子機器 - Google Patents

Abstract

【課題】単眼カメラにて視点計測を行う。
【解決手段】視点計測装置は、所定面を基準として人物の視点を計測する。単眼カメラにて人物の顔を撮影し、撮影画像上において顔３１０を検出すると共に両眼（３１２Ｌ、３１２Ｒ）の位置を検出し、更に撮影画像上における瞳孔間距離ｒ_Iを求める。単眼カメラの内部パラメータ（焦点距離等）と実空間上における既知の瞳孔間距離とを用いて、撮影画像上における瞳孔間距離ｒ_Iを実空間上における視点距離（所定面と視点との距離）に換算する（瞳孔間距離ｒ_Iが１００画素分なら視点距離は１０ｃｍ、瞳孔間距離ｒ_Iが５０画素分なら視点距離は２０ｃｍなど）。
【選択図】図６

Description

本発明は、視点計測装置及び電子機器に関する。

撮影者の眼を撮影するための背面用撮像素子を複数個備えた撮像装置が提案されている（下記特許文献１参照）。当該撮像装置では、複数の背面用撮像素子（即ち複眼の背面カメラ）から得られる複数の撮影画像を解析することで撮影者の眼までの距離などが計測され、計測結果を利用して被写体撮像用の撮像素子の撮影画角等が調整される。

特開２００５−１２１８３８号公報

上述の撮像装置では、人物の視点（撮影者の視点）を計測するために複眼の背面カメラが必要である。必要なカメラ個数の低減が、様々なメリット（コスト、装置サイズ、消費電力の低減など）をもたらすことは言うまでもない。

そこで本発明は、コスト等の低減に寄与する視点計測装置を提供することを目的とする。また、本発明は、当該視点計測装置を利用した電子機器を提供することも目的とする。

本発明に係る視点計測装置は、単眼カメラの撮影画像に基づき、前記撮影画像上において人物の片眼を含む複数の顔器官を検出する検出部と、前記撮影画像上における前記複数の顔器官の位置に基づき前記人物の視点を計測する視点計測部と、を備えたことを特徴とする。

これにより、単眼カメラにて視点計測が可能になるため、複眼カメラを要する装置と比べてコスト等を低減することができる。当該視点計測装置を用いて電子機器を形成することができる。

本発明によれば、コスト等の低減に寄与する視点計測装置及び電子機器を提供することが可能である。

本発明の第１実施形態に係る電子機器の概略ブロック図である。 表示画面と表示画面を見る人物との関係を示す図である。 図１のカメラから得られる入力画像を示す図である。 カメラによる入力画像が定義されるＸＹ座標面を示す図である。 上方から観測した、表示画面及び人物の両眼の平面図である。 図１のカメラから得られる入力画像上の瞳孔間距離を示す図である。 表示画面と人物の視点との関係を説明するための図である。 本発明の第１実施形態に係り、視点情報の生成動作のフローチャートである。 本発明の第２実施形態に係る電子機器の概略ブロック図である。 本発明の第２実施形態に係り、電子機器、被写体及び撮影者の関係を示す図である。 図９の主カメラの内部構成図である。 撮影者の指を利用した撮影構図の決定方法を説明するための図である。 本発明の第２実施形態に係り、撮影者の視点距離と、主カメラの焦点距離と、出力画像の画角との関係を示す図である。 本発明の第２実施形態に係り、撮影者の視点距離に応じた出力画像の例を示す図である。 本発明の第２実施形態の第２処理例におけるカメラモデルを示す図である。 本発明の第２実施形態の第２処理例におけるカメラモデルを示す図である。 表示画面上における所定表示領域を示す図である。 本発明の第２実施形態に係る切り出し処理部を示す図（ａ）と、切り出し処理部による入力画像に基づく出力画像の生成動作を示す図（ｂ）である。 本発明の第２実施形態の第３処理例におけるカメラモデルを示す図である。 本発明の第２実施形態の第３処理例におけるカメラモデルを示す図である。

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、状態量又は部材等を参照する記号又は符号を記すことによって該記号又は符号に対応する情報、信号、物理量、状態量又は部材等の名称を省略又は略記することがある。

＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る電子機器１の概略ブロック図である。電子機器１及び後述の電子機器１ａは、任意の情報の取得、再生又は加工等を行うことのできる任意の情報機器であり、例えば、デジタルカメラ、携帯電話機、情報端末、パーソナルコンピュータ、電子書籍リーダ、電子辞書、ゲーム機器又はナビゲーション装置である。電子機器１は、視点計測に関わる部位として、符号１１〜１５により参照される各部位を備える。

カメラ１１は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）を有する単眼カメラ（単一のカメラ）であり、当該撮像素子を用いてカメラ１１の撮影領域内の撮影を行う。カメラ１１の撮影領域には、人物３００の顔が存在しているものとする（図２参照）。従って、カメラ１１は、人物３００の顔の撮影画像を示す画像信号を生成及び出力する。図２に示す如く、人物３００は、表示画面２０に正対し、表示画面２０を視認する。表示画面２０は、液晶ディスプレイパネル等から成る表示装置であり、電子機器１に内包される又は接続される。電子機器１にて表示画面２０の表示内容を制御することができる。

前処理部１２は、カメラ１１の出力画像信号に対して所定の信号処理を施す。カメラ１１の出力画像信号に当該信号処理が施すことで得た画像信号による１枚の静止画像を入力画像ＩＡと呼ぶ。前処理部１２による信号処理に、画像信号のデジタル化、画像信号の増幅、レンズ歪み補正、ノイズ除去などを含めておくことができる。半導体メモリ等にて形成された記憶部１５は、レンズ歪み補正のための歪み情報を記憶しており、前処理部１２は当該歪み情報を用いてレンズ歪み補正を行うことができる。

顔／顔器官検出部１３は、入力画像ＩＡの画像信号に基づき、入力画像ＩＡ上において人物３００の顔及び人物３００における複数の顔器官（顔における器官）を検出することで顔器官検出情報を生成及び出力する。以下の説明において、特に記述無き限り、顔器官とは人物３００の顔器官を指す。図３に入力画像ＩＡの例を示す。図３において、符号３１０、３１２Ｌ、３１２Ｒは、夫々、人物３００の顔、左眼、右眼を表している（入力画像ＩＡを示す図面上では、一般的な顔の正面写真と同様、右眼が左眼の左側に示される）。検出部１３にて検出される複数の顔器官は、少なくとも顔３１０の片眼（左眼３１２Ｌ又は右眼３１２Ｒ）を含む。ここでは、検出部１３にて検出される複数の顔器官に左眼３１２Ｌ及び右眼３１２Ｒが含まれているものとする。点３１４は、左眼３１２Ｌ及び右眼３１２Ｒの中心を表しており、より具体的には、左眼３１２Ｌの瞳孔中心と右眼３１２Ｒの瞳孔中心との間の中心を表している。

検出部１３は、公知の顔検出方法及び顔器官検出方法を用いて、入力画像ＩＡ上における顔３１０及び顔３１０の各顔器官を検出することができ、検出部１３の検出対象及び顔器官検出情報に、入力画像ＩＡ上における顔３１０の位置、大きさ及び形状、並びに、入力画像ＩＡ上における各顔器官の位置、大きさ及び形状を含めることができる。図４に示す如く、入力画像ＩＡ上の任意の点Ｐ_IAの位置は座標値（ｘ，ｙ）にて表現される。入力画像ＩＡは、互いに直交するＸ軸及びＹ軸を座標軸として持ったＸＹ座標面（二次元座標面）上に定義され、ｘ及びｙは、夫々、入力画像ＩＡ上における点Ｐ_IAのＸ軸及びＹ軸方向の座標値である。入力画像ＩＡ上の顔器官の位置を座標値（ｘ，ｙ）にて表現することができる。

記憶部１５には、検出部１３での検出を行うために必要な検出用データが記憶されており、検出部１３は、当該検出用データを用いて顔及び顔器官の検出を行うことができる。具体的には例えば、眼、鼻といった複数の顔器官の顔内における配置及び接続関係（２次元又は３次元での接続関係）並びに各顔器官の画像特徴量を含む顔モデルを上記検出用データに含めておき、検出部１３にて、当該顔モデルと入力画像ＩＡとのフィッティングを行うことで顔器官検出情報を生成する。フィッティングにおいてＡＳＭ（Active Shape Model）やパーティクルフィルタなど既知の手法を利用できる。尚、検出部１３の検出結果を記憶部１５にフィードバックして検出用データを更新してゆくことも可能である。

視点計測部１４は、顔器官検出情報に含まれる、入力画像ＩＡ上における複数の顔器官の位置等に基づき、人物３００の視点を計測することで視点情報を生成する。人物３００の視点は、二次元平面である所定面を基準として計測され且つ定義される。ここでは、当該所定面は表示画面２０であると考える。但し、当該所定面は表示画面２０以外の二次元平面であっても良い。図５を参照する。人物３００の視点を記号ＰＶで表す。説明の具体化のため、表示画面２０は鉛直面と平行になるように固定されていると考える。図５は、上方から観測した、表示画面２０及び人物３００の両眼（３１２Ｌ及び３１２Ｒ）の平面図である。

視点計測部１４は、左眼３１２Ｌ又は右眼３１２Ｒを視点ＰＶとして捉えて左眼３１２Ｌ又は右眼３１２Ｒの位置を視点ＰＶの位置として計測することも可能であるが、ここでは、点３１４に視点ＰＶが存在すると考える（図３も参照）。即ち、視点計測部１４は、実空間上における左眼３１２Ｌ及び右眼３１２Ｒの中心（左眼３１２Ｌの瞳孔中心と右眼３１２Ｒの瞳孔中心との間の中心）を視点ＰＶとして計測する。記号ｄは、表示画面２０から視点ＰＶまでの距離（以下視点距離という）を表しており、記号ｒは、実空間上における人物３００の瞳孔間距離（左眼３１２Ｌの瞳孔中心と右眼３１２Ｒの瞳孔中心との間の距離）を表している。一方、図６の記号ｒ_Iは、入力画像ＩＡ上における人物３００の瞳孔間距離である。計測部１４は、顔器官検出情報に含まれる、入力画像ＩＡ上の左眼３１２Ｌ及び右眼３１２Ｒの各位置から瞳孔間距離ｒ_Iを導出する。

カメラ１１の焦点距離及び実空間上の瞳孔間距離ｒが一定であるとき、視点距離ｄが定まれば瞳孔間距離ｒ_Iが定まる。故に、視点計測部１４は、カメラ１１の内部パラメータと瞳孔間距離ｒとして与えられた所定距離ｒ_REFとを用いて、瞳孔間距離ｒ_Iを視点距離ｄに換算することができる。例えば、瞳孔間距離ｒ_Iが入力画像ＩＡの１００画素分であれば視点距離ｄは１０ｃｍであると算出され、瞳孔間距離ｒ_Iが入力画像ＩＡの５０画素分であれば視点距離ｄは２０ｃｍであると算出される。得られた視点距離ｄは視点情報に含められる（図１参照）。カメラ１１の内部パラメータは、カメラ１１の焦点距離、カメラ１１の撮像素子の寸法、カメラ１１の撮像素子から画像信号が読み出される画素の数、及び、カメラ１１の撮像素子の隣接画素間隔などを含む。カメラ１１の内部パラメータを記憶部１５に記憶させておくことができる。

所定距離ｒ_REFは、人間の一般的な瞳孔間距離として、予め固定的に設定された距離（例えば６ｃｍ）であって良い。但し、顔認識処理を利用して距離ｒ_REFを可変するようにしても良い。この場合、記憶部１５にｎ人の登録人物の顔画像を記憶させておくと共にｎ人の登録人物に個別に対応付けたｎ個の瞳孔間距離を記憶させておく（ｎは１以上の整数）。そして、検出部１３は、入力画像ＩＡ上の人物３００の顔の画像と各登録人物の顔画像とを対比することで人物３００が何れかの登録人物に一致するかを判断する。人物３００が第ｉ登録人物であると判断された場合、視点計測部１４は、第ｉ登録人物に対応付けられた瞳孔間距離を距離ｒ_REFとして記憶部１５から読み出し、読み出した距離ｒ_REFを瞳孔間距離ｒとみなして視点距離ｄを求めればよい（ｉは整数）。瞳孔間距離ｒは、人によってある程度ばらつくため、上述の如く顔認識処理を利用すれば、人物３００に適応して視点距離ｄを正確に求めることができる。また例えば、検出部１３にて入力画像ＩＡ上の顔の画像信号に基づき人物３００の年齢層及び／又は性別を判定し、判定結果に応じ計測部１４にて距離ｒ_REFを可変設定しても良い。

視点計測部１４は、表示画面２０に平行な面内における視点ＰＶの位置情報も計測することができる。図７を参照する。図７において、平面３２０は、二次元平面としての表示画面２０から距離ｄだけ離れ且つ表示画面２０に平行な平面であり、視点ＰＶは平面３２０上に位置する。線３３０は、矩形形状を持つ表示画面２０の中心Ｏを通る、表示画面２０の法線（即ち、表示画面２０の中心Ｏにおける法線）である。法線３３０と平面３２０との交点を原点Ｏ’として持つＰＱ座標面を考える。ＰＱ座標面は、平面３２０に平行なＰ軸及びＱ軸を座標軸として持つ二次元座標面であり、Ｐ軸及びＱ軸は原点Ｏ’にて互いに直交する。そうすると、平面３２０上における視点ＰＶの位置を、ＰＱ座標面上における座標値（ｐ，ｑ）にて表すことができる。ｐ及びｑは、夫々、Ｐ軸及びＱ軸方向の座標値である。

電子機器１において、カメラ１１の撮像素子と表示画面２０との相対的位置関係は固定されており、且つ、カメラ１１の光軸も固定されている。従って、カメラ１１の焦点距離及び視点距離ｄが一定であるとき、面３２０内における視点ＰＶの位置（即ち（ｐ，ｑ））が定まれば、入力画像ＩＡ上の視点位置に相当する、入力画ＩＡ上の点３１４の位置（即ち（ｘ，ｙ））は定まる。故に、視点計測部１４は、カメラ１１の内部パラメータと視点距離ｄを用いて、点３１４の座標値（ｘ，ｙ）を面３２０内における視点ＰＶの座標値（ｐ，ｑ）に変換することができる。座標値（ｐ，ｑ）は、表示画面２０に平行な面３２０内における視点ＰＶの位置情報であり、座標値（ｐ，ｑ）を面内位置情報とも呼ぶ。面内位置情報（ｐ，ｑ）を視点情報に含めることができる（図１参照）。

ここでは人物３００の両眼の中心位置を視点ＰＶとして考えているため、点３１４の座標値（ｘ，ｙ）から面内位置情報（ｐ，ｑ）を求めているが、左眼３１２Ｌ又は右眼３１２Ｒを視点ＰＶとして捉える場合には、左眼３１２Ｌの瞳孔中心の座標値（ｘ，ｙ）又は右眼３１２Ｒの瞳孔中心の座標値（ｘ，ｙ）を点３１４の座標値（ｘ，ｙ）の代わりに用いて、面内位置情報（ｐ，ｑ）を求めれば良い。このように、視点計測部１４は、入力画像ＩＡ上における人物３００の両眼の中心位置（点３１４の位置）又は片眼の位置（左眼３１２Ｌ又は右眼３１２Ｒの位置）に基づき、視点ＰＶの面内位置情報（ｐ，ｑ）を求めることができる。

図８に、視点情報の生成動作のフローチャートを示す。まず、ステップＳ１１において、カメラ１１の撮像素子から１フレーム分の画像信号が読み出され、読み出された画像信号に対して前処理部１２による信号処理（レンズ歪み補正等）が施される。続くステップＳ１２及びＳ１３では、入力画像ＩＡにおいて顔が検出された後、検出された顔の位置を元にしつつ入力画像ＩＡにおいて各顔器官が検出される。そして、それらの検出結果に基づく顔器官検出情報を用いて、ステップＳ１４にて、視点ＰＶが計測され視点情報が生成される。カメラ１１は、所定のフレーム周期で人物３００の撮影を繰り返し行うことができ、当該フレーム周期でステップＳ１１〜Ｓ１４から成る一連の処理を繰り返し実行することができる。結果、視点計測部１４は、当該フレーム周期で視点情報を更新出力することができる。

本実施形態によれば、単眼カメラで人物の視点を正確に計測することができ、複数のカメラ（複眼のカメラ）を用いて視点計測を行う方法と比べて、様々なメリット（コスト、装置サイズ、消費電力の低減など）をもたらす。電子機器１において、視点の計測結果を様々に利用することができる。

例えば、電子機器１に設けられる表示制御部（不図示）は、視点情報に応じて表示画面２０の表示内容を制御、変更するようにしても良い。具体的には例えば、地図情報や文章情報などを含む画像を表示画面２０に表示している状況において、或る基準状態から視点距離ｄが減少したときには当該基準状態よりも地図情報や文字情報を拡大表示しても良いし、逆に、或る基準状態から視点距離ｄが増大したときには当該基準状態よりも地図情報や文字情報を縮小表示するようにしても良い。上記拡大表示を行う際、面内位置情報（ｐ，ｑ）に応じて拡大表示を行う情報部分を決定しても良い。

或いは例えば、人物３００により電子機器１に入力される指示が、視点情報にて決定されても良い（所謂ジェスチャー入力が行われてもよい）。即ち例えば、視点距離ｄの変化及び／又は面内位置情報（ｐ，ｑ）の変化によって、特定の指示が電子機器１に入力されても良い（顔を横に振る動作により、特定のデータを電子機器１以外の機器に転送する指示が入力されるなど）。

尚、人間の眼には利き眼があることが知られているが、視点計測部１４は利き眼を判断する機能を有しても良い。この場合、視点計測部１４は、利き眼の方が他の片眼よりも表示画面２０の中心Ｏに対して近いだろうというモデルが正しいと仮定して、左眼３１２Ｌの座標値（ｘ，ｙ）と右眼３１２Ｒの座標値（ｘ，ｙ）に基づき、左眼３１２Ｌ及び右眼３１２Ｒのどちらが利き眼であるのかを判断する。仮に、表示画面２０の法線３３０上の物体が入力画像ＩＡの中心に表れるのであれば、左眼３１２Ｌの座標値（ｘ，ｙ）と右眼３１２Ｒの座標値（ｘ，ｙ）の内、入力画像ＩＡの中心に近い方の座標値（ｘ，ｙ）を持つ片眼が利き眼であると判断される。より正確に利き眼を判断するべく、複数フレームの入力画像ＩＡを用いて利き眼を判断しても良い。即ち例えば、複数フレームの入力画像ＩＡにおける平均的な左眼３１２Ｌの座標値（ｘ，ｙ）と平均的な右眼３１２Ｒの座標値（ｘ，ｙ）の内、入力画像ＩＡの中心に近い方の座標値（ｘ，ｙ）を持つ片眼が利き眼であると判断しても良い。利き眼を判断した場合、視点計測部１４は、利き眼が左及び右眼のどちらであるかを示す利き眼情報を視点情報に含めることができ、利き眼の位置が視点ＰＶの位置であるとみなして視点距離ｄ及び面内位置情報（ｐ，ｑ）を生成しても良い。

＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態は第１実施形態を基礎とする実施形態であり、第２実施形態において特に述べない事項に関しては、特に記述無き限り且つ矛盾の無い限り、第１実施形態の記載が第２実施形態にも適用される。

図９は、本発明の第２実施形態に係る電子機器１ａの概略ブロック図である。電子機器１ａは、第１実施形態で述べた符号１１〜１５により参照される各部位を備えると共に、符号２１〜２５により参照される各部位を備える。第２実施形態では、電子機器１ａを、被写体ＳＵＢを撮影するデジタルカメラとして利用することを考える。第２実施形態において、人物３００は電子機器１ａを用いて撮影操作を行う撮影者であるため、人物３００を撮影者３００とも呼ぶ。図１０に、電子機器１ａ、被写体ＳＵＢ及び撮影者３００の関係を示す。表示画面２０は撮影者３００によって視認される。被写体ＳＵＢは、表示画面２０を基準として撮影者３００の反対側に位置する物体であり、撮影者３００と異なる。図１０では、被写体ＳＵＢとして山が示されているが、被写体ＳＵＢの種類は任意である。第２実施形態におけるカメラ１１は、撮影者３００の顔を撮影する背面カメラとして機能する。

図１１は、主カメラ２１の内部構成図である。主カメラ２１は撮像素子３１を用いて被写体ＳＵＢの撮影を行う。図１０に示す如く、主カメラ２１は、ＣＣＤ又はＣＭＯＳイメージセンサなどから成る撮像素子（固体撮像素子）３１と、光学ズーム実現用のズームレンズ３３を含む複数枚のレンズから成る光学系３２と、を有している。主制御部２３の制御に従って光学系３２内のレンズの位置が調整されることで、主カメラ２１の焦点距離及び焦点位置が調整される。特に、ズームレンズ３３の位置の調整によって、主カメラ２１の焦点距離が調整され、主カメラ２１の撮影画角が調整される。撮像素子３１は、水平及び垂直方向に複数の受光画素が配列されることによって形成され、各受光画素は、光学系３２を介して入射した被写体像（被写体ＳＵＢの光学像）を光電変換することで、被写体像の信号を主カメラ２１の出力画像信号として出力する。

前処理部２２は、主カメラ２１の出力画像信号に対して所定の信号処理を施す。カメラ２１の出力画像信号に当該信号処理が施すことで得た画像信号による１枚の静止画像を入力画像ＩＢと呼ぶ。前処理部２２による信号処理に、画像信号のデジタル化、画像信号の増幅、レンズ歪み補正、ノイズ除去などを含めておくことができる。前処理部２２は、信号処理の際、記憶部１５の記憶内容（歪み情報など）を参照することができる。主制御部２３は、画像処理部などから成り、記憶部１５を適宜利用しつつ、入力画像ＩＢから出力画像ＩＣを生成する。入力画像ＩＢと出力画像ＩＣは同じものでありうる。主制御部２３は、出力画像ＩＣの画像信号を表示部２４及び記録媒体２５に供給することができる。表示部２４は、表示画面２０を備え、供給された画像信号に基づき出力画像ＩＣを表示画面２０に表示することができる。記録媒体２５は、半導体メモリ、磁気ディスク等の不揮発性メモリから成り、出力画像ＩＣの画像信号を記録することができる。

ところで、例えばプロカメラマンが撮影構図を決めようとする場合（又は画家が風景画を描こうとした場合）、図１２に示すように、左手の親指と人差し指で形成したＬ字形状と右手の親指と人差し指で形成したＬ字形状とを対向して組み合わせることで矩形枠４００を形成し、矩形枠４００を覗き込むことで撮影構図を決める、という方法が古くから行われている。この方法を経て撮影を行えば、撮影者３００の眼で見た風景をそのまま切り取ったかのような写真（即ち、撮影者３００が望んでいたとおりの構図を持つ写真）を得ることができる。

電子機器１ａは、これを疑似的に実現する。この実現を担う処理の例として、以下に第１〜第６処理例を説明する。第１〜第６処理例の内、何れかの処理例にて説明した事項は、矛盾無き限り、他の任意の処理例にも適用される。第１〜第６処理例の説明では逐一述べないが、主制御部２３（又は主制御部２３内の切り出し処理部４１；図１８参照）は、必要に応じ、主カメラ２１の内部パラメータ（主カメラ２１の焦点距離、主カメラ２１の撮像素子３１の寸法、主カメラ２１の撮像素子３１から画像信号が読み出される画素の数、及び、主カメラ２１の撮像素子３１の隣接画素間隔など）を用いて、後述の各制御、各処理及び各演算を行うことができる。

［第１処理例］
第１処理例を説明する。第１処理例では、入力画像ＩＢの画角と出力画像ＩＣの画角は同じである。注目画像（入力画像ＩＢ又は出力画像ＩＣ）の画角とは、注目画像に含まれる被写体ＳＵＢの範囲を角度にて表現したものであり、入力画像ＩＢの画角と主カメラ２１の撮影画角は一致する。注目画像の画角は、水平又は垂直方向の画角であると考えても良いし、水平又は垂直方向の夫々の画角であると考えても良い（主カメラ２１の撮影画角も同様）。第１処理例に係る主制御部２３は、視点距離ｄに基づき主カメラ２１の焦点距離（以下焦点距離ｆと呼ぶ）を制御し、これによって出力画像ＩＣの画角を制御する。

撮影者３００の顔が矩形枠４００に近づけば矩形枠４００を通して撮影者３００が見える風景の画角は大きくなり、逆に撮影者３００の顔が矩形枠４００から遠ざかれば矩形枠４００を通して撮影者３００が見える風景の画角は小さくなる。従って、主制御部２３は、視点距離ｄの減少に伴って焦点距離ｆを減少させれば良く、逆に、視点距離ｄの増大に伴って焦点距離ｆを増大させれば良い。

即ち、主制御部２３は（図１３参照）、視点距離ｄ及び焦点距離ｆが夫々距離ｄ_REF及び距離ｆ_REFであって且つ出力画像ＩＣの画角が基準画角ＡＶ_REFであるときを基準として、視点距離ｄが距離ｄ_REFから距離ｄ₁へ減少したとき、焦点距離ｆを距離ｆ_REFから距離ｆ₁に減少させることで出力画像ＩＣの画角（従って主カメラ２１の撮影画角）を基準画角ＡＶ_REFから画角ＡＶ₁に増大させ、視点距離ｄが距離ｄ_REFから距離ｄ₂へ増大したとき、焦点距離ｆを距離ｆ_REFから距離ｆ₂に増大させることで出力画像ＩＣの画角（従って主カメラ２１の撮影画角）を基準画角ＡＶ_REFから画角ＡＶ₂に減少させる（ｄ₁＜ｄ_REF＜ｄ₂、ｆ₁＜ｆ_REF＜ｆ₂、ＡＶ₁＞ＡＶ_REF＞ＡＶ₂）。視点距離ｄの値と焦点距離ｆの値との関係をテーブルデータ等として記憶部１５に記憶させておき、当該テーブルデータ等を用いて主制御部２３は視点距離ｄから焦点距離ｆを定めても良い。

図１４（ａ）の画像４１０は、視点距離ｄが距離ｄ₁のときに得られる出力画像ＩＣの例であり、図１４（ｂ）の画像４２０は、視点距離ｄが距離ｄ₂のときに得られる出力画像ＩＣの例である。

このように第１処理例では、視点距離ｄに基づき、ズームレンズ３３の位置制御による焦点距離ｆの制御が行われ、これによって光学的に出力画像ＩＣの画角が制御される。つまり、第１処理例に係る主制御部２３は、視点距離ｄに基づき、光学ズームを利用して（焦点距離ｆの調整を介して）出力画像ＩＣの画角を制御する。

［第２処理例］
第２処理例を説明する。第２処理例でも、入力画像ＩＢの画角と出力画像ＩＣの画角は同じであるとする。第２処理例に係る主制御部２３は、視点距離ｄと、主カメラ２１と被写体ＳＵＢとの距離（実空間上の距離）である被写体距離ｈと、に基づき、光学ズームを利用して（即ち焦点距離ｆの調整を介して）出力画像ＩＣの画角を制御する。

主制御部２３は、予め定められた距離を被写体距離ｈとして用いても良い。或いは、主制御部２３に、被写体距離ｈの検出を行う被写体距離検出部（不図示）を設けておいても良い。被写体距離ｈの検出方法として、公知の方法を含む任意の方法を利用可能である。例えば、被写体距離検出部は、ステレオカメラ又は測距センサを用いて被写体距離ｈを検出しても良いし、入力画像ＩＢにおけるエッジ情報を利用した推定処理によって被写体距離ｈを求めてもよい。

図１５及び図１６に、主制御部２３にて採用されるカメラモデルを示す。図１５において、一点鎖線４３０は主カメラ２１の光軸である。実際には、主カメラ２１の光軸４３０と表示画面２０の中心Ｏにおける法線３３０（図７も参照）は一直線上に並ばないことも多いが、当該カメラモデルでは、光軸４３０と法線３３０が一直線上に並ぶように、当該カメラモデル上における撮像素子３１の位置又は表示画面２０の位置が調整される。第２処理例では、視点ＰＶが法線３３０上に位置する場合、即ち視点ＰＶが原点Ｏ’に位置している場合を想定している。但し、視点ＰＶが原点Ｏ’に位置していない場合、視点ＰＶが原点Ｏ’に位置しているとみなして第２処理例を実行することも可能である。

図１６の面４４０は、光軸４３０に直交し且つ被写体ＳＵＢが存在する平面（以下被写体面という）である。故に、被写体面４４０と主カメラ２１（例えば撮像素子３１）との間の距離は被写体距離ｈである。図１５では、被写体面４４０上の１つの線だけが示されている。ここでは、光軸４３０は水平方向に平行であって、且つ、表示画面２０、撮像素子３１の撮像面及び被写体面４４０は鉛直線に平行であるとする。光軸４３０上に位置し且つ撮像素子３１から焦点距離ｆだけ後方に位置する点ＦＰは、主カメラ２１の焦点である（撮像素子３１から見て被写体ＳＵＢが存在する方向を前と定義する）。

図１６において、点４６１〜４６４は、視点ＰＶから表示画面２０の所定表示領域の４隅の夫々を通って伸びる４本の直線と、被写体面４４０との交点である。図１７では、上記所定表示領域が斜線領域２０Ｒとして示されている。表示領域２０Ｒは、矩形形状を持ち、表示画面２０の全表示領域又は表示画面２０の全表示領域の一部である。表示領域２０Ｒの中心と表示画面２０の中心Ｏは一致しているものとする。図１５及び図１６では、表示領域２０Ｒが表示画面２０の全表示領域と一致していると仮定している（後述の図１９でも同様）。表示領域２０Ｒに出力画像ＩＣが表示されると良い。被写体面４４０において、交点４６１〜４６４により形成される矩形領域４６０は、視点ＰＶから被写体面４４０に表示領域２０Ｒを射影したときの領域に相当する。即ち、視点ＰＶから、表示画面２０に平行な被写体面４４０に対して所定表示領域２０Ｒを射影したときに形成される領域（以下、射影領域という）が、領域４６０に相当する。

主制御部２３は、視点距離ｄ及び被写体距離ｈに基づき、主カメラ２１の撮影領域が射影領域４６０と一致するように焦点距離ｆを制御する。これにより、出力画像ＩＣの全体領域が射影領域４６０と一致する。或いは、主制御部２３は、視点距離ｄ及び被写体距離ｈに基づき、射影領域４６０が主カメラ２１の撮影領域の一部として当該撮影領域に含まれるように、焦点距離ｆを制御しても良い。これにより、出力画像ＩＣの一部に射影領域４６０の画像信号が含まれることになる。何れにせよ、射影領域４６０の画像信号が出力画像ＩＣに含まれるように、出力画像ＩＣの画角が制御されることになる。“射影領域４６０の画像信号が出力画像ＩＣに含まれる”という表現を、“射影領域４６０内の画像信号の全てが出力画像ＩＣに含まれる”、又は、“射影領域４６０内の画像が出力画像ＩＣに含まれる”に読み替えても良い（後述の他の処理例においても同様）。

第２処理例では、出力画像ＩＣの生成過程において、第１処理例と同様の、視点距離ｄの増減に応じた焦点距離ｆの増減が行われる他、被写体距離ｈの増減に応じても焦点距離ｆの増減が行われる。被写体距離ｈが所定距離であって且つ焦点距離ｆが距離ｆ_REFである状態を基準として、被写体距離ｈが減少したとき出力画像ＩＣの画角を大きくすべく焦点距離ｆは距離ｆ_REFより小さくされ、被写体距離ｈが増大したとき出力画像ＩＣの画角を小さくすべく焦点距離ｆは距離ｆ_REFより大きくされる（但し、視点距離ｄが不変と仮定）。

［第３処理例］
第３処理例を説明する。第３処理例では、視点ＰＶが原点Ｏ’に位置していない場合、即ち、視点ＰＶが表示画面２０の中心Ｏにおける法線３３０からずれている場合を想定する。第３処理例に係る主制御部２３は、視点距離ｄ、被写体距離ｈ及び位置情報（ｐ，ｑ）に基づき、光学ズームを利用して（即ち焦点距離ｆの調整を介して）出力画像ＩＣの画角を制御する。

第３処理例では、主制御部２３に設けられる、図１８（ａ）の切り出し処理部４１が有効に動作する。切り出し処理部４１は、入力画像ＩＢの一部を切り出すことで出力画像ＩＣを生成する。より具体的には、図１８（ｂ）に示す如く、切り出し処理部４１は、入力画像ＩＢ内に切り出し枠ＣＦを設定して、切り出し枠ＣＦ内の画像ＩＢ’を入力画像ＩＢから切り出し、切り出した画像ＩＢ’に解像度変換（通常は拡大処理）を施すことで出力画像ＩＣを生成する。

図１９及び図２０は、視点ＰＶが原点Ｏ’に位置していない場合のカメラモデルである。視点ＰＶが原点Ｏ’からずれると（法線３３０上からずれると）、それに伴って、被写体面４４０上において交点４６１〜４６４がシフトし（図１５及び図１９参照）、結果、射影領域４６０の中心は光軸４３０からずれる（図２０参照）。主制御部２３は、視点距離ｄ、被写体距離ｈ及び位置情報（ｐ，ｑ）に基づき、主カメラ２１の撮影領域が射影領域４６０を内包するように焦点距離ｆを制御して、射影領域４６０内の画像信号を含んだ入力画像ＩＢを取得する。この際、主カメラ２１の撮影領域が射影領域４６０を内包できる限り、焦点距離ｆをなるだけ大きくすると良い。

その後、切り出し処理部４１は、視点距離ｄ、被写体距離ｈ、焦点距離ｆ及び位置情報（ｐ，ｑ）に基づき、射影領域４６０の外周対応枠に相当する切り出し枠ＣＦを入力画像ＩＢに設定する。射影領域４６０の外周対応枠とは、射影領域４６０の外周枠そのもの、又は、射影領域４６０の外周枠よりも若干大きく且つ射影領域４６０を内包する枠である。そして、切り出し処理部４１は、切り出し枠ＣＦ内の画像領域を入力画像ＩＢから切り出すことで（即ち射影領域４６０に相当する領域を入力画像ＩＢから切り出すことで）出力画像ＩＣを生成する。これにより、射影領域４６０の画像信号が出力画像ＩＣに含まれるように出力画像ＩＣが生成されることになる。

第３処理例では、出力画像ＩＣの生成過程において、第１及び第２処理例と同様の、視点距離ｄ及び被写体距離ｈの増減に応じた焦点距離ｆの増減が行われる他、視点ＰＶ及び原点Ｏ’間のずれ量の増減に応じても焦点距離ｆの増減が行われる。当該ずれ量が増大すれば、主カメラ２１の撮影領域が射影領域４６０を内包するという条件を満たすべく、焦点距離ｆが減少せしめられる。

［第４処理例］
第４処理例を説明する。第４処理例並びに後述の第５及び第６処理例では、第１〜第３処理例において光学ズームを利用して実現した出力画像ＩＣの画角制御を、電子ズームを利用して実現する。故に、第４〜第６処理例では、図１８の切り出し処理部４１を用いて出力画像ＩＣが生成され、通常、出力画像ＩＣの画角は入力画像ＩＢの画角及び主カメラ２１の撮影画角よりも小さい。但し、視点距離ｄによっては、出力画像ＩＣの画角は入力画像ＩＢの画角及び主カメラ２１の撮影画角と一致する場合もある（即ち、切り出し枠ＣＦが入力画像ＩＢの全体領域の枠と一致することもある）。第４〜第６処理例では、焦点距離ｆを所定距離（例えば焦点距離ｆの可変範囲の下限距離）に固定しておくことができ、切り出し処理部４１は、固定された焦点距離ｆを用いて切り出し枠ＣＦを設定することができる。

第４処理例に係る主制御部２３（切り出し処理部４１）は、視点距離ｄに基づき切り出し枠ＣＦの大きさを制御することで出力画像ＩＣの画角を制御する。即ち、切り出し処理部４１は（図１３参照）、視点距離ｄが距離ｄ_REFであって且つ出力画像ＩＣの画角が基準画角ＡＶ_REFであるときを基準として、視点距離ｄが距離ｄ_REFから距離ｄ₁へ減少したとき、切り出し枠ＣＦを所定の基準大きさから増大させることで出力画像ＩＣの画角を基準画角ＡＶ_REFから画角ＡＶ₁に増大させ、視点距離ｄが距離ｄ_REFから距離ｄ₂へ増大したとき、切り出し枠ＣＦを上記基準大きさから減少させることで出力画像ＩＣの画角を基準画角ＡＶ_REFから画角ＡＶ₂に減少させる。視点距離ｄの値と切り出し枠ＣＦの大きさとの関係をテーブルデータ等として記憶部１５に記憶させておき、当該テーブルデータ等を用いて主制御部２３は視点距離ｄから切り出し枠ＣＦの大きさを定めても良い。このように、第４処理例に係る主制御部２３は、視点距離ｄに基づき、電子ズームを利用して出力画像ＩＣの画角を制御する。

［第５処理例］
第５処理例を説明する。第５処理例に係る主制御部２３は、視点距離ｄ及び被写体距離ｈに基づき、電子ズームを利用して出力画像ＩＣの画角を制御する。被写体距離ｈの設定又は検出方法は第２処理例で述べた通りである。第５処理例では、主として、視点ＰＶが原点Ｏ’（図７参照）に位置している場合を想定する（視点ＰＶが原点Ｏ’に位置していない場合、視点ＰＶが原点Ｏ’に位置しているとみなして以下の処理を行っても良い）。

主制御部２３は、焦点距離ｆを十分に小さくした状態で主カメラ２１に撮影を行わせることで、射影領域４６０内の画像信号を含んだ入力画像ＩＢを取得する。そして、切り出し処理部４１は、視点距離ｄ、被写体距離ｈ及び焦点距離ｆに基づき、射影領域４６０の外周対応枠に相当する切り出し枠ＣＦを入力画像ＩＢに設定し、切り出し枠ＣＦ内の画像領域を入力画像ＩＢから切り出すことで（即ち射影領域４６０に相当する領域を入力画像ＩＢから切り出すことで）出力画像ＩＣを生成する。これにより、射影領域４６０の画像信号が出力画像ＩＣに含まれるように出力画像ＩＣが生成されることになる。

第５処理例では、出力画像ＩＣの生成過程において、第４処理例と同様の、視点距離ｄの増減に応じた切り出し枠ＣＦの大きさの増減が行われる他、被写体距離ｈの増減に応じても切り出し枠ＣＦの大きさの増減が行われる。被写体距離ｈが所定距離であって且つ切り出し枠の大きさが所定の基準大きさである状態を基準として、被写体距離ｈが減少したとき出力画像ＩＣの画角を大きくすべく切り出し枠の大きさは基準大きさより大きくされ、被写体距離ｈが増大したとき出力画像ＩＣの画角を小さくすべく切り出し枠の大きさは基準大きさより小さくされる（但し、視点距離ｄが不変と仮定）。

［第６処理例］
第６処理例を説明する。第６処理例では、第３処理例と同様、視点ＰＶが原点Ｏ’に位置していない場合、即ち、視点ＰＶが表示画面２０の中心Ｏにおける法線３３０からずれている場合を想定する。第６処理例に係る主制御部２３は、視点距離ｄ、被写体距離ｈ及び位置情報（ｐ，ｑ）に基づき、電子ズームを利用して出力画像ＩＣの画角を制御する。

主制御部２３は、焦点距離ｆを十分に小さくした状態で主カメラ２１に撮影を行わせることで、射影領域４６０内の画像信号を含んだ入力画像ＩＢを取得する。そして、切り出し処理部４１は、視点距離ｄ、被写体距離ｈ、焦点距離ｆ及び位置情報（ｐ，ｑ）に基づき、射影領域４６０の外周対応枠に相当する切り出し枠ＣＦを入力画像ＩＢに設定し、切り出し枠ＣＦ内の画像領域を入力画像ＩＢから切り出すことで（即ち射影領域４６０に相当する領域を入力画像ＩＢから切り出すことで）出力画像ＩＣを生成する。これにより、射影領域４６０の画像信号が出力画像ＩＣに含まれるように出力画像ＩＣが生成されることになる。

第６処理例では、出力画像ＩＣの生成過程において、第４及び第５処理例と同様の、視点距離ｄ及び被写体距離ｈの増減に応じた切り出し枠ＣＦの大きさの増減が行われる他、視点ＰＶ及び原点Ｏ’間のずれ量に応じて入力画像ＩＢ上の切り出し枠ＣＦの位置が決定される。

第２実施形態によれば、撮影者３００は、表示画面２０を指で形成した矩形枠４００（図１２参照）と見立てて撮影構図を調整することが可能となり、直感的な構図調整が可能となる。表示画面２０を指で形成した矩形枠４００と見立てたとき、矩形枠４００を介して撮影者３００が見た風景をそのまま切り取ったかのような出力画像ＩＣ（即ち、撮影者３００が望んでいたとおりの構図を持つ画像）を得ることが可能となる。

＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
第１実施形態では、検出部１３にて検出される複数の顔器官に人物３００の左眼及び右眼が含まれていることを主として想定したが、検出部１３にて検出される複数の顔器官に人物３００の片眼（右眼又は左眼）が含まれている限り、当該複数の顔器官は任意である。例えば、検出部１３にて検出される複数の顔器官は、人物３００の片眼と人物３００の鼻であっても良い。この場合、視点計測部１４は、カメラ１１の内部パラメータと片眼及び鼻間の距離として定められた所定基準距離（例えば５ｃｍ）を用いて、入力画像ＩＡ上における人物３００の片眼及び鼻間の距離を視点距離ｄに換算することができ、入力画像ＩＡ上における人物３００の片眼及び鼻間の位置関係から、入力画像ＩＡ上における人物３００の両眼の各位置及び両眼の中心位置を決定することができる。

検出部１３は３以上の顔器官を検出しても良い。例えば、検出部１３は人物３００の左眼、右眼及び鼻を検出しても良い。人物３００の左眼、右眼及び鼻を検出した場合、表示画面２０に対する人物３００の顔の向きをも検出することが可能となり、検出向きをも考慮して視点ＰＶの計測を行うことで視点ＰＶの計測精度向上が図られる。

［注釈２］
電子機器１又は１ａは、視点計測装置（視点位置計測装置）を内包していると考えることができる。視点位置装置（視点位置計測装置）は、検出部１３及び視点計測部１４（図１又は図９参照）を少なくとも備え、カメラ１１、前処理部１２、記憶部１５及び表示画面２０の内、少なくとも１つを更に構成要素として含みうる。

［注釈３］
電子機器１、電子機器１ａ又は視点計測装置である対象装置を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。対象装置にて実現される機能の全部又は一部である任意の特定の機能をプログラムとして記述して、該プログラムを対象装置に搭載可能なフラッシュメモリに保存しておき、該プログラムをプログラム実行装置（例えば、対象装置に搭載可能なマイクロコンピュータ）上で実行することによって、その特定の機能を実現するようにしてもよい。上記プログラムは任意の記録媒体に記憶及び固定されうる。上記プログラムを記憶及び固定する記録媒体は対象装置と異なる機器（サーバ機器等）に搭載又は接続されても良い。

１、１ａ 電子機器
１１ カメラ（単眼カメラ）
１３ 顔／顔器官検出部
１４ 視点計測部
２０ 表示画面
２１ 主カメラ
２３ 主制御部
４１ 切り出し処理部
３００ 人物
３１０ 顔
ＰＶ 視点
ＳＵＢ 被写体

Claims (8)

1. 単眼カメラの撮影画像に基づき、前記撮影画像上において人物の片眼を含む複数の顔器官を検出する検出部と、
   前記撮影画像上における前記複数の顔器官の位置に基づき前記人物の視点を計測する視点計測部と、を備えた
   ことを特徴とする視点計測装置。
2. 前記視点の位置は、所定面を基準とする前記人物の両眼の中心位置又は前記片眼の位置であり、前記視点の計測によって、前記所定面と前記視点との間の距離である視点距離を含む視点情報が生成され、
   前記視点計測部は、前記撮影画像上における前記複数の顔器官間の距離に基づき前記視点距離を計測する
   ことを特徴とする請求項１に記載の視点計測装置。
3. 前記視点情報は、前記所定面に平行な面内における前記視点の位置情報を更に含み、
   前記視点計測部は、前記撮影画像上の前記人物の両眼の中心位置又は前記片眼の位置に基づき前記位置情報を生成する
   ことを特徴とする請求項２に記載の視点計測装置。
4. 請求項２又は請求項３に記載の視点計測装置と、
   前記単眼カメラと、
   前記人物によって視認される、前記所定面としての表示画面と、
   前記人物と異なる被写体を撮影する主カメラと、
   前記主カメラの出力信号から出力画像を生成する主制御部と、を備え、
   前記主制御部は、前記視点情報に基づき前記出力画像の画角を制御する
   ことを特徴とする電子機器。
5. 前記主制御部は、前記視点距離と、前記主カメラと前記被写体との距離である被写体距離と、に基づき前記出力画像の画角を制御する
   ことを特徴とする請求項４に記載の電子機器。
6. 前記視点から前記表示画面に平行であって且つ前記被写体が存在する平面に対して前記表示画面の所定表示領域を射影したときに形成される射影領域の画像信号が前記出力画像に含まれるように、前記主制御部は、前記出力画像の画角を制御する
   ことを特徴とする請求項５に記載の電子機器。
7. 当該電子機器に備えられる視点計測装置は、請求項３に記載の視点計測装置であり、
   前記主制御部は、前記視点距離と、前記主カメラと前記被写体との距離である被写体距離と、前記位置情報と、に基づき前記出力画像の画角を制御する
   ことを特徴とする請求項４に記載の電子機器。
8. 前記主制御部は、前記主カメラからの入力画像の一部を切り出すことで出力画像を生成する切り出し処理部を有し、
   前記視点の位置が前記表示画面の中心における法線からずれているとき、
   前記視点から前記表示画面に平行であって且つ前記被写体が存在する平面に対して前記表示画面の所定表示領域を射影したときに形成される射影領域の画像信号が前記出力画像に含まれるように、前記切り出し処理部は、前記射影領域に相当する領域を前記入力画像から切り出すことで前記出力画像を生成する
   ことを特徴とする請求項７に記載の電子機器。

Images