JP2012227830A - 情報処理装置、その処理方法、プログラム及び撮像装置 - Google Patents
情報処理装置、その処理方法、プログラム及び撮像装置 Download PDFInfo
- Publication number
- JP2012227830A JP2012227830A JP2011095284A JP2011095284A JP2012227830A JP 2012227830 A JP2012227830 A JP 2012227830A JP 2011095284 A JP2011095284 A JP 2011095284A JP 2011095284 A JP2011095284 A JP 2011095284A JP 2012227830 A JP2012227830 A JP 2012227830A
- Authority
- JP
- Japan
- Prior art keywords
- face
- optical system
- image
- sight
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】
視線検出に際して、視線検出に際して、画像上における視線の向きだけではなく、撮像装置と顔との位置関係をも考慮することにより視線検出を高精度に行なえるようにした技術を提供する。
【解決手段】
情報処理装置は、撮像光学系を介して入力される画像を取得する画像取得手段と、前記画像から人物の顔を検出する顔検出手段と、前記顔の視線を検出する視線検出手段と、前記人物と前記撮像光学系との位置関係を示す情報を取得する取得手段と、前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かを判定する判定手段とを具備する。
【選択図】 図1
視線検出に際して、視線検出に際して、画像上における視線の向きだけではなく、撮像装置と顔との位置関係をも考慮することにより視線検出を高精度に行なえるようにした技術を提供する。
【解決手段】
情報処理装置は、撮像光学系を介して入力される画像を取得する画像取得手段と、前記画像から人物の顔を検出する顔検出手段と、前記顔の視線を検出する視線検出手段と、前記人物と前記撮像光学系との位置関係を示す情報を取得する取得手段と、前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かを判定する判定手段とを具備する。
【選択図】 図1
Description
本発明は、情報処理装置、その処理方法、プログラム及び撮像装置に関する。
図10に示すような視線の向き又は視線の方向(θ1、θ2)を検出する技術が開示されている(特許文献1)。特許文献1には、エッジなどに基づいて顔の輪郭や目など複数の部位を検出し、その位置関係に基づいて顔の向きを検出する技術が開示されている。また更に、特許文献1においては、瞳の位置を検出することによって、車両に設置されたカメラを基準とした運転者の視線の向き(θ1、θ2)を検出する技術も開示されている。
また、これ以外の方法で視線の向き(θ1、θ2)を検出する技術も知られている(特許文献2)。特許文献2には、エネルギーモデルを使用して目領域を検出し、この目領域と予め用意しておいた画像辞書とを比較することで視線の向き(θ1、θ2)を検出する技術が開示されている。
これらの視線の向き(θ1、θ2)を検出する技術を更に応用した技術も知られている(特許文献3)。特許文献3には、自動車の運転者の視線を検出し、当該検出した視線の向き(θ1、θ2)に基づいて運転者の脇見を判定する技術が開示されている。この他、被写体の視線がカメラ方向を向いた場合、又は所定の表情の場合に撮像を行なう技術も開示されている(特許文献4)。
P. Viola, M. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", in Proc. Of CVPR, vol.1, pp.511-518, December, 2001
御手洗祐輔, 森克彦, 真継優和, "選択的モジュール起動を用いたConvolutionalNeuralNetworksによる変動にロバストな 顔検出システム", FIT (情報科学技術フォーラム), Ll-013, 2003
Timothy F. Cootes, Gareth J. Edwards, and Christopher J. Taylor, "Active Appearance Models", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No.6, JUNE 2001
従来、画像から顔を検出する顔検出技術の他、顔の状態を検出する表情検出技術や視線検出技術など種々の技術が研究されている。これらの技術は、例えば、デジタルカメラにおける自動シャッターなどに応用されている。
これら顔検出技術や表情検出技術など多くの技術では、一般に、デジタルカメラなどの撮像装置と被写体との位置関係を考慮していない。しかし、視線の向き(θ1、θ2)がどこを注視しているか否かを検出する場合、図11(俯瞰図)に示すように、実際の空間(実空間)における撮像装置と顔との位置(又は、距離)関係、撮像光学系の倍率(又は、焦点距離)を考慮する必要がある。
ここで、このような点を考慮しなかった場合に生じる問題点として3つ例を挙げて説明する。
・第1の問題点
図12(a)には、実際の空間(実空間)における被写体と撮像装置との位置関係、及び被写体の視線の向き(θ1、θ2)が矢印として示されている。図12(b)には、図12(a)に示す撮像装置により得られる画像の一例が示されている。
図12(a)には、実際の空間(実空間)における被写体と撮像装置との位置関係、及び被写体の視線の向き(θ1、θ2)が矢印として示されている。図12(b)には、図12(a)に示す撮像装置により得られる画像の一例が示されている。
ここで、顔A及び顔Bは異なる場所を見ている。しかし、それにも関わらず、図12(b)に示すように、画像内における顔のアピアランスは同一となる。そのため、被写体と撮像装置との位置関係を考慮せず、画像内における顔のアピアランスだけの情報を用いた場合、撮像装置においては、顔A及び顔Bが同じ場所を見ていると判定してしまう可能性がある。
しかし、これまでの視線検出技術では、撮像装置の正面に被写体の顔があることのみを前提としており、被写体と撮像装置との位置関係については考慮されていなかった。そのため、このような問題を解決するためには、被写体と撮像装置との位置関係を考慮しなくてはならない。
・第2の問題点
図13(a)には、撮像装置が広角の場合における被写体と撮像装置との位置関係、及び被写体の視線の向き(θ1、θ2)が矢印として示される図と、そのときに撮像装置により得られる画像の一例が示されている。また、図13(b)には、撮像装置が望遠の場合における被写体と撮像装置との位置関係、及び被写体の視線の向き(θ1、θ2)が矢印として示される図と、そのときに撮像装置により得られる画像の一例が示されている。
図13(a)には、撮像装置が広角の場合における被写体と撮像装置との位置関係、及び被写体の視線の向き(θ1、θ2)が矢印として示される図と、そのときに撮像装置により得られる画像の一例が示されている。また、図13(b)には、撮像装置が望遠の場合における被写体と撮像装置との位置関係、及び被写体の視線の向き(θ1、θ2)が矢印として示される図と、そのときに撮像装置により得られる画像の一例が示されている。
図13(a)に示すように撮像装置が広角である場合と、図13(b)のように撮像装置が望遠である場合とでは画角が異なる。そのため、被写体が移動していないにも関わらず、画像内における顔の位置が移動してしまう。
そのため、上述した第1の問題点では、被写体と撮像装置との位置関係の重要性を述べたが、このような問題点を解決するためには、撮像光学系の倍率(又は焦点距離)をも考慮しなくてはならない。
・第3の問題点
図14には、実際の空間(実空間)における撮像装置から被写体までの距離Lが短い場合と、長い場合とが示されている。
図14には、実際の空間(実空間)における撮像装置から被写体までの距離Lが短い場合と、長い場合とが示されている。
撮像装置から被写体までの距離Lが短ければ、被写体は、撮像装置における特定箇所に視線の向き(θ1、θ2)を正確に合わせることができる。しかし、撮像装置から被写体までの距離Lが長ければ、被写体は、撮像装置における特定箇所に視線の向き(θ1、θ2)を正確に合わせることが難しい。
そのため、画像上においては、視線の向き(θ1、θ2)が撮像装置を向いていないように見え、例えば、視線検出技術を自動撮像などに応用した場合には、撮像が行なわれないといった問題が生じる可能性がある。
本発明は、上記問題点に鑑みてなされたものであり、視線検出に際して、画像上における視線の向きだけではなく、撮像装置と顔との位置関係をも考慮することにより視線検出を高精度に行なえるようにした技術を提供することを目的とする。
上記課題を解決するため、本発明の一態様による情報処理装置は、撮像光学系を介して入力される画像を取得する画像取得手段と、前記画像から人物の顔を検出する顔検出手段と、前記顔の視線を検出する視線検出手段と、前記人物と前記撮像光学系との位置関係を示す情報を取得する取得手段と、前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かを判定する判定手段とを具備する。
本発明によれば、視線検出に際して、画像から検出した顔の視線の向きだけではなく、撮像装置と顔との位置関係をも考慮する。これにより、視線検出をより高精度に行なうことができる。
以下、本発明に係わる実施の形態について添付図面を参照して詳細に説明する。
(実施形態1)
図1は、本発明の一実施の形態に係わる撮像装置30における機能的な構成の一例を示す図である。ここでは、撮像装置30において、自動シャッターを実現する構成について説明する。なお、以下の説明では、被写体の視線の向き(θ1、θ2)が撮像装置30を向いていることをカメラ視線と呼ぶ。ここでは、カメラ視線(垂直、水平)のうち、水平方向のみについて説明する。すなわち、図11に示すように、水平方向への視線の向きがθ1’のときにカメラ視線と呼ぶ。
図1は、本発明の一実施の形態に係わる撮像装置30における機能的な構成の一例を示す図である。ここでは、撮像装置30において、自動シャッターを実現する構成について説明する。なお、以下の説明では、被写体の視線の向き(θ1、θ2)が撮像装置30を向いていることをカメラ視線と呼ぶ。ここでは、カメラ視線(垂直、水平)のうち、水平方向のみについて説明する。すなわち、図11に示すように、水平方向への視線の向きがθ1’のときにカメラ視線と呼ぶ。
撮像装置30には、コンピュータが内蔵されている。コンピュータには、CPU等の主制御手段、ROM(Read Only Memory)、RAM(Random Access Memory)、外部記録媒体(例えば、メモリカード)等の記憶手段が具備される。また、コンピュータにはその他、ボタンやディスプレイ又はタッチパネル等の入出力手段、ネットワークカード等の通信手段等も具備されていても良い。なお、これら各構成部は、バス等により接続され、主制御手段が記憶手段に記憶されたプログラムを実行することで制御される。
ここで、撮像装置30は、その機能的な構成として、画像取得部10と、顔検出部11と、正規化画像生成部12と、顔器官検出部13と、視線検出部14と、カメラ視線検出部15と、撮像制御部16とを具備して構成される。これら構成は、例えば、CPUがROM等に格納されたプログラムを実行することにより実現される。なお、専用のハードウェア構成として実現されても勿論構わない。
画像取得部10は、画像を取得する。すなわち、レンズ等の撮像光学系を介して撮像部(不図示)により入力される画像を取得する。
顔検出部11は、画像取得部10により取得された画像から人物の顔を検出する。正規化画像生成部12は、顔検出部11により検出された顔領域の切り出しを行なうとともに、顔の大きさが所定サイズ及び顔の向きが正立するようにアフィン変換を行なう。
顔器官検出部13は、顔検出部11により検出された顔から、例えば、目尻、目頭、瞼、上唇などの複数の顔の器官(顔器官)を検出する。視線検出部14は、顔検出部11により検出された顔から、視線の向き(θ1、θ2)等の検出を行なう。
カメラ視線検出部15は、処理対象となる顔(より具体的には、視線の向き)がカメラ方向を向いているか否かの判定を行なう。カメラ視線検出部15には、位置関係取得部17と、カメラ視線判定部18とが設けられる。位置関係取得部17は、撮像装置(撮像光学系)30と被写体との位置関係を示す情報を取得する。カメラ視線判定部18は、当該位置関係を示す情報に基づいて、被写体の視線の向き(θ1、θ2)がカメラ方向を向いているか否かを判定する。
撮像制御部16は、カメラ視線検出部15の判定結果に基づいて撮像の実行を制御する。撮像制御部16においては、例えば、画像内で検出された人物の顔の視線が全てカメラ視線である場合に撮像を実施する。
以上が、撮像装置30の構成の一例についての説明である。なお、撮像装置30の構成は、必ずしもこのような構成に限られない。例えば、撮像制御部16を必ずしも必要な構成ではなく、省略しても良い。この場合、撮像装置30ではなく、例えば、情報処理装置(PC(Personal Computer)やその他のデバイス等)上に図1に示す機能構成を実現すれば良い。
次に、図2を用いて、図1に示す撮像装置30における処理の流れの一例について説明する。
[S100]
この処理では、まず、ユーザ等によりモードの選択が行なわれる。本実施形態においては、モードとして、例えば、通常撮像モードや自動撮像モードが設けられる。自動撮像モードにおいては、被写体の視線の向き(θ1、θ2)が所定の撮像条件を満足した場合、例えば、視線がカメラ方向を向いた場合(カメラ視線になった場合)に自動的に撮像が行なわれる。ここでは、自動撮像モードが選択されたものとする。
この処理では、まず、ユーザ等によりモードの選択が行なわれる。本実施形態においては、モードとして、例えば、通常撮像モードや自動撮像モードが設けられる。自動撮像モードにおいては、被写体の視線の向き(θ1、θ2)が所定の撮像条件を満足した場合、例えば、視線がカメラ方向を向いた場合(カメラ視線になった場合)に自動的に撮像が行なわれる。ここでは、自動撮像モードが選択されたものとする。
[S101、S102]
S100の処理で選択されたモード(自動撮像モード)では、シャッターボタンが押下された場合に処理が実行される。そのため、撮像装置30は、シャッターボタンが押下されたか否かを判定する。シャッターボタンが押下された場合(S101でYES)、撮像装置30は、画像取得部10において、レンズなどの光学系、CMOSやCCDなどの撮像素子、AD変換器などを介して画像を取得する(S102)。
S100の処理で選択されたモード(自動撮像モード)では、シャッターボタンが押下された場合に処理が実行される。そのため、撮像装置30は、シャッターボタンが押下されたか否かを判定する。シャッターボタンが押下された場合(S101でYES)、撮像装置30は、画像取得部10において、レンズなどの光学系、CMOSやCCDなどの撮像素子、AD変換器などを介して画像を取得する(S102)。
[S103]
撮像装置30は、顔検出部11において、S102の処理で取得した画像に対して顔検出処理を行なう。顔を検出する技術は、ブースティングをベースとした非特許文献1や、ニューラルネットワークをベースとした非特許文献2などの技術を用いれば良い。顔検出の手法は、これに限られず、人物の顔を検出できるのであれば、その手法は特に問わない。なお、これらの顔検出の手法においては、基本的には、顔を構成する目や口などの部位を検出し、その位置関係から顔の存在有無を判定している。そのため、顔検出処理においては、図3に示すように、顔の位置(顔の中心位置)43に加えて、目の中心位置41及び42、口の中心位置44も検出される。
撮像装置30は、顔検出部11において、S102の処理で取得した画像に対して顔検出処理を行なう。顔を検出する技術は、ブースティングをベースとした非特許文献1や、ニューラルネットワークをベースとした非特許文献2などの技術を用いれば良い。顔検出の手法は、これに限られず、人物の顔を検出できるのであれば、その手法は特に問わない。なお、これらの顔検出の手法においては、基本的には、顔を構成する目や口などの部位を検出し、その位置関係から顔の存在有無を判定している。そのため、顔検出処理においては、図3に示すように、顔の位置(顔の中心位置)43に加えて、目の中心位置41及び42、口の中心位置44も検出される。
[S104〜S106]
撮像装置30は、顔が検出されたか否かを判定し、顔が検出されていない場合には(S104でNO)、再度、S102の処理に戻る。顔が検出された場合(S104でYES)、撮像装置30は、AE、AFを行なう(S105)。そして、撮像装置30は、顔検出部11において、S102の処理で検出された1又は複数の顔の内、1つの顔を選択する(S106)。
撮像装置30は、顔が検出されたか否かを判定し、顔が検出されていない場合には(S104でNO)、再度、S102の処理に戻る。顔が検出された場合(S104でYES)、撮像装置30は、AE、AFを行なう(S105)。そして、撮像装置30は、顔検出部11において、S102の処理で検出された1又は複数の顔の内、1つの顔を選択する(S106)。
[S107]
撮像装置30は、正規化画像生成部12において、図3に示すような顔の中心位置43、目の中心位置41及び42等を用いて、顔領域の切り出しを行なうとともに、顔の大きさが所定サイズ及び顔の向きが正立するようにアフィン変換を行なう(S107)。例えば、図3に示すように、左目の中心位置41と右目の中心位置42との間の距離Wを顔の大きさ、左目の中心位置41と右目の中心位置42との2点から算出される傾きを顔の向きとして定義する。そして、左目の中心位置41と右目の中心位置42との間のW’と、実際の左目の中心位置41と右目の中心位置42との2点から算出される線分との傾きが0度となるように、アフィン変換を行なう。
撮像装置30は、正規化画像生成部12において、図3に示すような顔の中心位置43、目の中心位置41及び42等を用いて、顔領域の切り出しを行なうとともに、顔の大きさが所定サイズ及び顔の向きが正立するようにアフィン変換を行なう(S107)。例えば、図3に示すように、左目の中心位置41と右目の中心位置42との間の距離Wを顔の大きさ、左目の中心位置41と右目の中心位置42との2点から算出される傾きを顔の向きとして定義する。そして、左目の中心位置41と右目の中心位置42との間のW’と、実際の左目の中心位置41と右目の中心位置42との2点から算出される線分との傾きが0度となるように、アフィン変換を行なう。
[S108]
撮像装置30は、顔器官検出部13において、S103の処理で検出された顔の中心位置43、目の中心位置41及び42、口の中心位置44に加え、図4に示すような更に細かな特徴点(目尻、目頭、瞼、上唇など)を検出する(S108)。目尻、目頭、瞼、上唇など更に細かな特徴点(すなわち、顔器官)の検出には、例えば、モデルベースの非特許文献3など種々の技術を用いれば良い。
撮像装置30は、顔器官検出部13において、S103の処理で検出された顔の中心位置43、目の中心位置41及び42、口の中心位置44に加え、図4に示すような更に細かな特徴点(目尻、目頭、瞼、上唇など)を検出する(S108)。目尻、目頭、瞼、上唇など更に細かな特徴点(すなわち、顔器官)の検出には、例えば、モデルベースの非特許文献3など種々の技術を用いれば良い。
[S109]
撮像装置30は、視線検出部14において、視線の向き(θ1、θ2)を検出する。視線の向きは、S103の処理で検出された顔の中心位置43、目の中心位置41及び42、口の中心位置44、S108の処理で検出された更に細かな特徴点(目尻、目頭、瞼、上唇など)を用いて検出する。
撮像装置30は、視線検出部14において、視線の向き(θ1、θ2)を検出する。視線の向きは、S103の処理で検出された顔の中心位置43、目の中心位置41及び42、口の中心位置44、S108の処理で検出された更に細かな特徴点(目尻、目頭、瞼、上唇など)を用いて検出する。
視線検出技術としては、例えば、特許文献5に示されるように、S108の処理で検出された更に細かな特徴点(目尻、目頭、瞼、上唇など)の相対的な位置関係を使用すれば良い。また、例えば、S108の処理で検出された更に細かな特徴点(目尻、目頭、瞼、上唇など)を基準として複数の領域を設定し、予め作成された辞書画像と比較することで視線の向き(θ1、θ2)を検出するようにしても良い。なお、基準方向から所定の対象物に対する視線の向き(すなわち、視線方向を表す角度)を検出するのではなく、視線に関する情報としてそれ以外の情報を検出するようにしても良い。例えば、所定の方向にある対象物に対して視線が向いている度合い(すなわち、視線方向が所定の方向と一致していることを示す尤度)として、所定視線方向の尤度を検出するようにしても良い。
このようにして、S103における顔検出処理、S107における正規化画像生成処理、S108における顔器官検出処理、S109における視線検出処理が順次行なわれる。このような処理によって、顔のアピアランスから被写体の視線の向き(θ1、θ2)を検出することができる。なお、顔検出処理、正規化画像生成処理、顔器官検出処理、及び視線検出処理は、上述した技術や手法を必ずしも用いる必要はなく、他の技術を用いてそれぞれ実施するようにしても良い。
[S110]
撮像装置30は、カメラ視線検出部15において、S109の処理で検出された被写体の視線の向き(θ1、θ2)と、撮像装置30と被写体との位置(距離)関係とに基づいて、カメラ視線を検出する。この処理の詳細については後述するが、簡単に説明すると、S109の処理で選択された顔の視線が、カメラ方向を向いているか否かの判定が行なわれる。
撮像装置30は、カメラ視線検出部15において、S109の処理で検出された被写体の視線の向き(θ1、θ2)と、撮像装置30と被写体との位置(距離)関係とに基づいて、カメラ視線を検出する。この処理の詳細については後述するが、簡単に説明すると、S109の処理で選択された顔の視線が、カメラ方向を向いているか否かの判定が行なわれる。
[S111]
撮像装置30は、S103の処理で検出された顔の中で、未だ上述したS106〜S110の処理が実施されていない顔があれば(S111でYES)、再度、S106の処理に戻る。S103の処理で検出された顔全てについて上述した処理を実施していれば(S111でNO)、撮像装置30は、S112の処理に進む。
撮像装置30は、S103の処理で検出された顔の中で、未だ上述したS106〜S110の処理が実施されていない顔があれば(S111でYES)、再度、S106の処理に戻る。S103の処理で検出された顔全てについて上述した処理を実施していれば(S111でNO)、撮像装置30は、S112の処理に進む。
[S112、S113]
撮像装置30は、撮像制御部16において、所定の撮像条件を満たすか否かを判定する。この判定処理では、例えば、S103の処理で検出された全ての顔がカメラ視線であるという条件を満たすか否かを判定する。なお、撮像条件は、S100におけるモード選択時に設定・変更可能である。
撮像装置30は、撮像制御部16において、所定の撮像条件を満たすか否かを判定する。この判定処理では、例えば、S103の処理で検出された全ての顔がカメラ視線であるという条件を満たすか否かを判定する。なお、撮像条件は、S100におけるモード選択時に設定・変更可能である。
判定の結果、所定の撮像条件を満たすと判定された場合(S112でYES)、撮像装置30は、撮像制御部16において、撮像部(不図示)を制御して撮像を行なう(S113)。この撮像は、例えば、S103の処理で検出された全ての顔がカメラ視線である場合に実施される。なお、撮像を実施する前に、再度、AE・AFを実施するようにしても良い。
一方、S112の処理で所定の撮像条件を満たさないと判定した場合(S112でNO)、撮像装置30は、再度、S102の処理に戻り、次の画像を取得する。
次に、図5を用いて、上述した図2のS110に示すカメラ視線の検出処理の詳細な流れの一例について説明する。
まず、始めにカメラ視線の検出処理の概要について説明する。撮像装置30は、自装置(撮像装置30)と被写体との距離、つまり、図11に示す距離R(RX)とLとに基づいて、被写体の視線の向き(θ1、θ2)が撮像装置30に向いた時の視線の向き(θ1’、θ2’)を推定する。ここで、距離Lは、撮像光学系の光軸の方向に沿った当該撮像光学系と被写体との距離(第1の距離)を示す。距離Rは、撮像光学系の光軸に直交する方向に沿った当該撮像光学系と被写体との距離(第2の距離)を示す。ここでは、説明を簡単にするため、視線の向きは、(地面に対して)垂直な方向は考慮せず、(地面と)水平な方向のみについて考慮する。このとき、被写体が撮像装置30の方向に向いたときの視線の向きθ1’は、式(1)のように表すことができる。
式(1)
式(1)
すなわち、画像から得られる顔の中心位置43や顔の大きさW、撮像光学系の撮像パラメータ(倍率Z、又は焦点距離f)に基づいて、撮像光学系の中心から被写体の顔の中心までの水平方向の距離RXと、撮像装置から被写体までの距離Lとを求める。なお、この処理の詳細については後述する。
その後、撮像装置30は、被写体が自装置(撮像装置30)を向いた時の視線の向き(θ1’、θ2’)を中心として、カメラ視線と判定する視線の向き(θ1、θ2)の範囲を設定する。最後に、S109の処理で検出された視線の向き(θ1、θ2)と、カメラ視線となる視線の向き(θ1、θ2)の範囲とを用いることにより、被写体の視線の向き(θ1、θ2)がカメラ視線であるか否かを判定する。
ここで、図5を用いて、各ステップにおける処理について説明する。
[S200]
撮像装置30は、まず、撮像装置30から被写体までの距離L(図11参照)を推定する(S200)。距離Lの推定方法としては、種々挙げられるが、例えば、赤外線を被写体に向けて投射し、その反射光を計測することにより測定しても良い。また、異なる複数の撮像装置から取得される画像を使用したステレオ方式などもある。その他、画像内における被写体の顔の大きさと撮像光学系の倍率Zとを使用して、被写体までの距離Lを推定することもできる。
撮像装置30は、まず、撮像装置30から被写体までの距離L(図11参照)を推定する(S200)。距離Lの推定方法としては、種々挙げられるが、例えば、赤外線を被写体に向けて投射し、その反射光を計測することにより測定しても良い。また、異なる複数の撮像装置から取得される画像を使用したステレオ方式などもある。その他、画像内における被写体の顔の大きさと撮像光学系の倍率Zとを使用して、被写体までの距離Lを推定することもできる。
このように距離Lを推定する方法は種々あり、どのような手法を用いても構わないが、本実施形態においては、画像内における被写体の顔の大きさWと、撮像光学系の倍率Zとを用いて撮像装置から被写体までの距離Lを推定する。なお、本実施形態においては、撮像装置30の焦点距離が最も短いとき(広角)を倍率Z=1.0として説明する。
ここで、被写体の顔の大きさWと撮像光学系の倍率Zとを用いて、被写体までの距離Lを推定する方法の一例として2通り例を挙げて説明する。
[距離Lの第1の測定方法]
第1の測定方法としては、まず、図6に示すテーブルを予め保持しておく。図6に示すテーブルには、撮像光学系の倍率Z(又は焦点距離f)と、図3に示す画像内における顔の大きさWと、撮像装置30から被写体までの距離Lとの関係を示す情報が保持される。
第1の測定方法としては、まず、図6に示すテーブルを予め保持しておく。図6に示すテーブルには、撮像光学系の倍率Z(又は焦点距離f)と、図3に示す画像内における顔の大きさWと、撮像装置30から被写体までの距離Lとの関係を示す情報が保持される。
つまり、図6に示すテーブルには、撮像光学系の倍率Zと、顔の大きさWと、そのときの撮像装置から被写体までの距離Lとの値が複数回測定された値が保持される。この場合、撮像装置30は、画像における顔の大きさWと撮像光学系の倍率Zとに基づいて、それに対応する(被写体までの)距離Lをテーブルから取得する。なお、撮像光学系の倍率Zは、撮像光学系の倍率Zを自動的に取得可能であれば自動的に取得し、そうでない場合には、ユーザーが手動で設定すれば良い。
[距離Lの第2の測定方法]
上述した第1の測定方法で使用するテーブルを作成するには、倍率Zや顔の大きさWを変更した数多くのパターンを測定する必要があるが、代表的なパターンを基準として被写体までの距離Lを推定する手法を採っても良い。
上述した第1の測定方法で使用するテーブルを作成するには、倍率Zや顔の大きさWを変更した数多くのパターンを測定する必要があるが、代表的なパターンを基準として被写体までの距離Lを推定する手法を採っても良い。
例えば、図7に示すように、撮像装置と被写体とが所定の位置関係にある状態において、撮像光学系の倍率Zb(又は焦点距離fb)、顔の大きさWb、被写体までの距離Lbを測定し、それを所定の基準とする。そして、画像から検出処理を行なう度に、当該基準に基づいて距離Lを算出するようにしても良い。
顔の大きさWが大きくなれば、被写体までの距離Lは短くなる。そのため、被写体までの距離Lと顔の大きさWは、反比例の関係にある。一方、撮像光学系の倍率Zが大きくなれば、顔の大きさWも大きくなる。そのため、撮像光学系の倍率Zと顔の大きさWとは、比例関係にある。このような関係を用いることにより、被写体までの距離Lを算出することができる。
例えば、(基準(撮像装置)から被写体までの)距離Lbを約2[m]、撮像装置の焦点距離fbを約35[mm]とした場合、撮像装置により取得された画像内における顔の大きさWbは、約50[pixel]となる。そのため、これを基準として考えると、以下の式(2)のように表すことができる。
式(2)
式(2)
実際に、距離Lを約2[m]に保持したまま、焦点距離fを2倍の70[mm]として、撮像装置により取得された画像内における顔の大きさWを測定すると、約2倍の約100[pixel]となる。また、距離Lを1/2倍の約1[m]、焦点距離fを35[mm]にした場合に撮像装置により取得された画像内における顔の大きさWを測定すると、約2倍の約100[pixel]となる。
このような測定結果からも明らかなように、被写体までの距離Lは、式(2)を用いて求めることができる。
ここでは、距離Lの測定方法として、第1の測定方法及び第2の測定方法について例を挙げて説明したが、勿論、これ以外の方法で距離Lを測定するように構成しても良い。
[S201]
撮像装置30は、続いて、撮像光学系の中心から被写体の顔の中心までの距離R(図11参照)を推定する(S201)。
撮像装置30は、続いて、撮像光学系の中心から被写体の顔の中心までの距離R(図11参照)を推定する(S201)。
ここで、撮像光学系の中心から被写体の顔の中心までの距離Rの測定方法について2通り例を挙げて説明する。
[距離Rの第1の測定方法]
上記距離Lの測定を行なう場合と同様に、テーブルを用いる方法が挙げられる。この場合、テーブルには、画像の中心51から顔までの距離Px(及びPy)と、撮像光学系の中心から被写体の顔の中心までの距離Rx(及びRy)とが対応付けて保持される(図8(a)参照)。すなわち、距離Px(及びPy)に基づいて、距離Rx(及びRy)を求めれば良い。
上記距離Lの測定を行なう場合と同様に、テーブルを用いる方法が挙げられる。この場合、テーブルには、画像の中心51から顔までの距離Px(及びPy)と、撮像光学系の中心から被写体の顔の中心までの距離Rx(及びRy)とが対応付けて保持される(図8(a)参照)。すなわち、距離Px(及びPy)に基づいて、距離Rx(及びRy)を求めれば良い。
この場合にも、上述した距離Lにおける第1の測定方法と同様にして、距離Pや距離Rの値を変更しながら複数回測定を行ない、その結果をテーブルに保持させれば良い。
[距離Rの第2の測定方法]
撮像光学系の中心から被写体の顔の中心までの距離Rbは、画像の中心51から顔までの距離Pb、撮像光学系の中心から被写体の顔の中心までの距離Rb、撮像装置から被写体までの距離Lb、撮像光学系の倍率Zbを用いて求めても良い(図8(b)参照)。すなわち、所定の基準を設け、画像から検出処理を行なう度に、当該基準に基づいて距離Rを算出しても良い。
撮像光学系の中心から被写体の顔の中心までの距離Rbは、画像の中心51から顔までの距離Pb、撮像光学系の中心から被写体の顔の中心までの距離Rb、撮像装置から被写体までの距離Lb、撮像光学系の倍率Zbを用いて求めても良い(図8(b)参照)。すなわち、所定の基準を設け、画像から検出処理を行なう度に、当該基準に基づいて距離Rを算出しても良い。
ここで、画像の中心51から顔までの水平方向の距離Pxが長くなれば、実空間における撮像光学系の中心から被写体の顔の中心までの水平方向の距離Rxも長くなる。そのため、撮像光学系の中心から被写体の顔の中心までの水平方向の距離Rxと、画像中心51から顔までの水平方向の距離Pxとは比例関係になる。
また、画角をγ、焦点距離をf、撮像面の幅をxとすると、これらの関係は、式(3)のように表すことができる。撮像光学系の倍率Zを大きくしていくと、焦点距離fが長くなり、その結果、画角が小さくなる。
式(3)
式(3)
しかし、被写体が撮像光学系の中心からずれた位置にある場合、画角が小さくなると、実空間上で顔が移動していないにも関わらず、画像中心51から顔までの水平方向の距離Pxが長くなる。
ここで、例えば、(基準となる)撮像装置から被写体までの距離Lを約2[m]、焦点距離fを35[mm]とした場合の画像中心51から顔までの水平方向の距離Pxを1000[pixel]とする。
この場合、距離Lを約2[m]に保持したまま、焦点距離fを2倍の70[mm]にして距離Pxを測定すると、約2倍の約2000[pixel]になる。距離Lが変わった場合には、上記同様に画像の中心51から顔までの水平方向の距離Pxが変化する。
また、例えば、距離Lを約2[m]、焦点距離fを35[mm]とした場合の画像中心51から顔までの水平方向の距離Pxを1000[pixel]とする。この場合、焦点距離fを35[mm]に保持したまま、距離Lを1/2倍の約1[m]に変更し、画像中心51から顔までの水平方向の距離Pxを測定した場合、距離Pxは、約2倍の約2000[pixel]になる。
このような関係から、撮像光学系の中心から被写体の顔の中心までの距離Rx(Ry)についても、距離Lと同様に測定することができる。
ここでは、距離Rを測定する方法として、第1の測定方法及び第2の測定方法について例を挙げて説明したが、勿論、これ以外の方法で距離Rを測定するように構成しても良い。
このように種々の方法により、撮像光学系中心から被写体の顔中心までの距離Rx(及びRy)を推定することができる。
[S202]
距離L及び距離Rの推定が済むと、撮像装置30は、カメラ視線の範囲を決定する(S202)。すなわち、式(4)に示すように、被写体の視線の向き(θ1、θ2)がカメラ方向を向いたと判定するための基準(範囲)を決定する。
式(4)
なお、上述した通り、
θ’1は、
であり、
θ’2は、
である。
距離L及び距離Rの推定が済むと、撮像装置30は、カメラ視線の範囲を決定する(S202)。すなわち、式(4)に示すように、被写体の視線の向き(θ1、θ2)がカメラ方向を向いたと判定するための基準(範囲)を決定する。
式(4)
なお、上述した通り、
θ’1は、
であり、
θ’2は、
である。
また、Lは、撮像装置から被写体までの距離を示しており、Rxは、撮像光学系の中心から被写体の顔の中心までの水平方向の距離を示しており、Ryは、撮像光学系の中心から被写体の顔の中心までの垂直方向の距離を示す。
被写体の視線の向き(θ1、θ2)は、視差等の個人差の他、様々な影響が含まれる可能性がある。そのため、b1及びb2(定数)により、被写体の視線の向き(θ1、θ2)がカメラ方向を向いたと判定する範囲を設定する。
また、撮像装置から被写体までの距離Lが長い場合、被写体の視線の向き(θ1、θ2)が撮像光学系から、ずれてしまう可能性がある。つまり、対象物体が小さくなると、その対象物体の特定の位置に視線の向き(θ1、θ2)を向けることが困難になる。そのため、被写体の視線の向き(θ1、θ2)がカメラ方向を向いたと判定する範囲を設定する定数b1及びb2を、以下の式(5)のように、撮像装置から被写体までの距離Lに応じて変更するようにしても良い。式(5)の定数b1’及びb2’は、撮像装置から被写体までの距離Lに応じて異なる値が設定される。
式(5)
式(5)
[S203]
撮像装置30は、S202の処理でカメラ方向を向いたと判定する範囲と、S109の処理で検出した視線の向き(θ1、θ2)とに基づいて、カメラ視線であるか否かの判定を行なう。つまり、S109の処理で検出した視線の向き(θ1、θ2)が所定の範囲内であれば、カメラ視線であると判定し、そうでない場合、カメラ視線でないと判定する。 なお、上述した通り、視線の向き(θ1、θ2)がカメラ視線であるか否かの判定ではなく、所定視線方向の尤度を検出するようにしても良い。
撮像装置30は、S202の処理でカメラ方向を向いたと判定する範囲と、S109の処理で検出した視線の向き(θ1、θ2)とに基づいて、カメラ視線であるか否かの判定を行なう。つまり、S109の処理で検出した視線の向き(θ1、θ2)が所定の範囲内であれば、カメラ視線であると判定し、そうでない場合、カメラ視線でないと判定する。 なお、上述した通り、視線の向き(θ1、θ2)がカメラ視線であるか否かの判定ではなく、所定視線方向の尤度を検出するようにしても良い。
以上説明したように本実施形態によれば、顔のアピアランスから検出した視線の向き(θ1、θ2)に加えて、撮像装置(撮像光学系)と被写体(顔)との位置関係をも考慮してカメラ視線であるか否かを判定する。これにより、従来よりも、視線検出を高精度に行なうことができる。
以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。
例えば、上述した説明においては、撮像光学系の倍率Z、画像内における顔の位置43や大きさWを用いてカメラ視線であるか否かを判定していたが、必ずしも、これらの情報全てを用いて判定を行なう必要はない。
例えば、図9に示すように、画像を水平方向に領域分割し、分割領域毎に被写体の水平方向の視線の向きθ1がカメラ方向を向いたと判定するための基準となるカメラ視線の範囲を設定しても良い。すなわち、この場合、顔の位置43のX座標(水平方向)のみを用いてカメラ視線の範囲が決められている。
なお、垂直方向の視線の向きθ2がカメラ方向を向いたと判定するカメラ視線の範囲も同じように設定すれば良い。このように顔の位置43のみを使用するだけでも、図12(a)及び図12(b)に示す顔Bのような視線が明らかにカメラ方向を向いていない顔を取り除くことができる。
また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様を採ることもできる。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
(その他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (12)
- 撮像光学系を介して入力される画像を取得する画像取得手段と、
前記画像から人物の顔を検出する顔検出手段と、
前記顔の視線を検出する視線検出手段と、
前記人物と前記撮像光学系との位置関係を示す情報を取得する取得手段と、
前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かを判定する判定手段と
を具備することを特徴とする情報処理装置。 - 前記顔検出手段は、
前記画像から人物の顔を検出するとともに該画像内における顔の位置及び大きさを検出し、
前記取得手段は、
前記画像内における顔の位置と顔の大きさと前記撮像光学系の撮像パラメータとの少なくともいずれかを用いて、前記人物と前記撮像光学系との位置関係を示す情報を取得する
ことを特徴とする請求項1記載の情報処理装置。 - 前記取得手段は、
前記人物と前記撮像光学系との位置関係を示す情報として、前記撮像光学系の光軸の方向に沿った該撮像光学系と前記人物との間の距離を示す第1の距離と、前記撮像光学系の光軸に直交する方向に沿った該撮像光学系と前記人物との間の距離を示す第2の距離とを取得する
ことを特徴とする請求項1記載の情報処理装置。 - 前記顔検出手段は、
前記画像から人物の顔を検出するとともに該顔の大きさを検出し、
前記判定手段は、
前記顔の大きさと前記撮像光学系の撮像パラメータとに基づいて前記第1の距離を取得する
ことを特徴とする請求項3記載の情報処理装置。 - 前記顔検出手段は、
前記画像から人物の顔を検出するとともに該画像内における顔の位置を検出し、
前記判定手段は、
前記画像内における顔の位置と前記撮像光学系の撮像パラメータとに基づいて前記第2の距離を取得する
ことを特徴とする請求項3又は4記載の情報処理装置。 - 前記撮像パラメータは、倍率又は焦点距離を含む
ことを特徴とする請求項4又は5記載の情報処理装置。 - 前記判定手段は、
前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かの判定の基準となる範囲を設定し、該設定した範囲に前記検出された視線が入るか否かに基づいて前記判定を行なう
ことを特徴とする請求項1記載の情報処理装置。 - 前記判定手段は、
前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かの判定の基準となる範囲を設定し、該設定した範囲に前記検出された視線が入るか否かに基づいて前記判定を行ない、
前記判定の基準となる範囲は、
前記第1の距離の大きさに比例して広く設定される
ことを特徴とする請求項3から6のいずれか1項に記載の情報処理装置。 - 前記判定手段は、
前記位置関係を示す情報に基づいて前記検出された視線が所定の方向に対して一致することを示す尤度を判定する
ことを特徴とする請求項1記載の情報処理装置。 - 請求項1から9のいずれか1項に記載の情報処理装置と、
前記判定手段により前記検出された視線が所定の方向を向いていると判定された場合に、撮像の実行を制御する撮像制御手段と
を具備することを特徴とする撮像装置。 - 情報処理装置の処理方法であって、
画像取得手段が、撮像光学系を介して入力される画像を取得する工程と、
顔検出手段が、前記画像から人物の顔を検出する工程と、
視線検出手段が、前記顔の視線を検出する工程と、
取得手段が、前記人物と前記撮像光学系との位置関係を示す情報を取得する工程と、
判定手段が、前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かを判定する工程と
を含むことを特徴とする処理方法。 - コンピュータを、
撮像光学系を介して入力される画像を取得する画像取得手段、
前記画像から人物の顔を検出する顔検出手段、
前記顔の視線を検出する視線検出手段、
前記人物と前記撮像光学系との位置関係を示す情報を取得する取得手段、
前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かを判定する判定手段
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011095284A JP2012227830A (ja) | 2011-04-21 | 2011-04-21 | 情報処理装置、その処理方法、プログラム及び撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011095284A JP2012227830A (ja) | 2011-04-21 | 2011-04-21 | 情報処理装置、その処理方法、プログラム及び撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012227830A true JP2012227830A (ja) | 2012-11-15 |
Family
ID=47277514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011095284A Withdrawn JP2012227830A (ja) | 2011-04-21 | 2011-04-21 | 情報処理装置、その処理方法、プログラム及び撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012227830A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015045713A1 (ja) * | 2013-09-24 | 2015-04-02 | シャープ株式会社 | 画像処理装置及び画像表示装置 |
US10964046B2 (en) | 2018-06-07 | 2021-03-30 | Fuji Xerox Co., Ltd. | Information processing apparatus and non-transitory computer readable medium storing information processing program for estimating face orientation by using an omni-directional camera |
-
2011
- 2011-04-21 JP JP2011095284A patent/JP2012227830A/ja not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015045713A1 (ja) * | 2013-09-24 | 2015-04-02 | シャープ株式会社 | 画像処理装置及び画像表示装置 |
JPWO2015045713A1 (ja) * | 2013-09-24 | 2017-03-09 | シャープ株式会社 | 画像処理装置及び画像表示装置 |
US9635311B2 (en) | 2013-09-24 | 2017-04-25 | Sharp Kabushiki Kaisha | Image display apparatus and image processing device |
US10964046B2 (en) | 2018-06-07 | 2021-03-30 | Fuji Xerox Co., Ltd. | Information processing apparatus and non-transitory computer readable medium storing information processing program for estimating face orientation by using an omni-directional camera |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11281288B2 (en) | Eye and head tracking | |
US20180103193A1 (en) | Image capture systems, devices, and methods that autofocus based on eye-tracking | |
US8966613B2 (en) | Multi-frame depth image information identification | |
CN111566612A (zh) | 基于姿势和视线的视觉数据采集系统 | |
JP5755012B2 (ja) | 情報処理装置、その処理方法、プログラム及び撮像装置 | |
EP2991027B1 (en) | Image processing program, image processing method and information terminal | |
US20160011658A1 (en) | Systems and methods of eye tracking calibration | |
KR20180138300A (ko) | 관심 객체에 대한 외부 광원의 속성 정보를 제공하는 방법을 지원하는 전자 장치 | |
JP2015526927A (ja) | カメラ・パラメータのコンテキスト駆動型調整 | |
JPWO2008007781A1 (ja) | 視線方向検出装置および視線方向検出方法 | |
CN112005548B (zh) | 生成深度信息的方法和支持该方法的电子设备 | |
US10630890B2 (en) | Three-dimensional measurement method and three-dimensional measurement device using the same | |
US20140085189A1 (en) | Line-of-sight detection apparatus, line-of-sight detection method, and program therefor | |
CN102713975B (zh) | 图像整理系统、图像整理方法和计算机程序 | |
EP4095744A1 (en) | Automatic iris capturing method and apparatus, computer-readable storage medium, and computer device | |
JP2021531601A (ja) | ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器 | |
JP6981277B2 (ja) | 検出装置、及び検出プログラム | |
JP2007043263A (ja) | 撮影システム、撮影方法及び該方法を実行するためのプログラム | |
WO2018216342A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2021134311A1 (zh) | 拍摄对象切换方法及装置、图像处理方法及装置 | |
US20210378509A1 (en) | Pupil assessment using modulated on-axis illumination | |
US20230300290A1 (en) | Information display system, information display method, and non-transitory recording medium | |
JP5805013B2 (ja) | 撮像画像表示装置、撮像画像表示方法、プログラム | |
JP2012227830A (ja) | 情報処理装置、その処理方法、プログラム及び撮像装置 | |
JP5448952B2 (ja) | 同一人判定装置、同一人判定方法および同一人判定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140701 |