JP2013062560A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2013062560A JP2013062560A JP2011197793A JP2011197793A JP2013062560A JP 2013062560 A JP2013062560 A JP 2013062560A JP 2011197793 A JP2011197793 A JP 2011197793A JP 2011197793 A JP2011197793 A JP 2011197793A JP 2013062560 A JP2013062560 A JP 2013062560A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- wavelength
- eye
- image
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/368—Image reproducers using viewer tracking for two or more viewers
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
【課題】ディスプレイを視認する位置に拘わらず、ディスプレイ上の画像を立体的に視認させる。
【解決手段】第1のLEDは、被写体に対して第1の波長の光を照射し、第2のLEDは、被写体に対して第2の波長の光を照射し、カメラは、被写体の撮像を行ない、算出部は、第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、被写体の肌又は眼の少なくとも一方を表す部位領域を検出し、検出した部位領域を少なくとも含む算出用領域から、被写体の視点に関する視点情報を算出し、表示制御部は、算出された視点情報に応じて、被写体に画像を立体的に視認させるための表示機構を制御する。本開示は、例えば、被写体を撮像して得られる撮像画像を画像処理する画像処理装置に適用できる。
【選択図】図1
【解決手段】第1のLEDは、被写体に対して第1の波長の光を照射し、第2のLEDは、被写体に対して第2の波長の光を照射し、カメラは、被写体の撮像を行ない、算出部は、第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、被写体の肌又は眼の少なくとも一方を表す部位領域を検出し、検出した部位領域を少なくとも含む算出用領域から、被写体の視点に関する視点情報を算出し、表示制御部は、算出された視点情報に応じて、被写体に画像を立体的に視認させるための表示機構を制御する。本開示は、例えば、被写体を撮像して得られる撮像画像を画像処理する画像処理装置に適用できる。
【選択図】図1
Description
本開示は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、ディスプレイを視認する位置に拘らず、ディスプレイ上の画像を立体的に視認できるようにした画像処理装置、画像処理方法、及びプログラムに関する。
パララックスバリア方式(視差バリア方式)や、レンチキュラーレンズ方式などにより、鑑賞者による3Dメガネの装着を必要とせずに、ディスプレイ上の画像を立体的に視認させる3D技術が存在する(例えば、特許文献1参照)。
ここで、ディスプレイ上の画像は、左眼用2次元画像、及び右眼用2次元画像により構成されている。また、左眼用2次元画像と右眼用2次元画像との間には、鑑賞者により視認される画像上の物体が立体的に見えるように視差が設けられている。
なお、視差とは、例えば、左眼用2次元画像上の物体と、右眼用2次元画像上の物体との位置ズレを表し、この位置ズレが大きい程に、物体は、鑑賞者から見て手前側で立体的に視認される。
上述の3D技術では、ディスプレイ上の画像を鑑賞者に提示する場合、例えば、左眼用2次元画像を鑑賞者の左眼のみで視認できるようにし、右眼用2次元画像を鑑賞者の右眼のみで視認できるようにする。
ところで、上述の3D技術では、ディスプレイにおいて、画像を表示する表示画面の中央付近を通る法線上の位置から、鑑賞者が表示画面を正面に見ることを想定している。
したがって、例えば、表示画面を正面に見たときにおける右方向や左方向に寄った位置から、鑑賞者が表示画面を斜めに見る場合、表示画面に表示された画像を立体的に視認できないばかりか、左眼用2次元画像が鑑賞者の右眼で視認され、右眼用2次元画像が鑑賞者の左眼で視認される逆視が発生し得る。逆視が発生した場合には、鑑賞者に不快感を与えてしまうことがある。
本開示は、このような状況に鑑みてなされたものであり、ディスプレイを視認する位置に拘わらず、ディスプレイ上の画像を立体的に視認できるようにするものである。
本開示の一側面の画像処理装置は、被写体に対して、第1の波長の光を照射する第1の照射部と、前記被写体に対して、前記第1の波長よりも長波長である第2の波長の光を照射する第2の照射部と、前記被写体の撮像を行なう撮像部と、前記第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部とを含む画像処理装置である。
前記算出部では、前記被写体の部位のうち、予め決められた部位の特徴を表す特徴量を、前記算出用領域から算出する特徴量算出部と、前記視点情報の候補をそれぞれ異なる前記特徴量に対応付けて予め保持する保持部を参照して、算出した特徴量から前記視点情報を算出する視点情報算出部とを有することができる。
前記特徴量算出部では、前記被写体の顔の特徴を表す前記特徴量を、前記被写体の肌を表す前記部位領域を少なくとも含む前記算出用領域から算出することができる。
前記特徴量算出部では、前記被写体の眼の特徴を表す前記特徴量を、前記被写体の眼を表す前記部位領域を少なくとも含む前記算出用領域から算出することができる。
前記算出部では、前記算出用領域から、前記被写体の視線の方向、前記被写体の右眼の位置、前記被写体の左眼の位置、又は前記被写体の顔の位置の少なくとも1つを含む前記視点情報を算出することができる。
前記表示制御部では、前記表示機構を制御し、前記被写体の視点から右眼のみで視認可能な位置に右眼用2次元画像を表示させ、前記被写体の視点から左眼のみで視認可能な位置に左眼用2次元画像を表示させることができる。
前記表示制御部では、前記表示機構を制御し、右眼用2次元画像及び左眼用2次元画像を表示する表示画面から、前記被写体の視点から右眼のみで視認可能な前記右眼用2次元画像と、前記被写体の視点から左眼のみで視認可能な前記左眼用2次元画像とをそれぞれ分離させることができる。
前記表示機構は、パララックスバリア又はレンチキュラーレンズであるようにすることができる。
前記第1の波長λ1、及び前記第2の波長λ2は、
640nm ≦ λ1 ≦ 1000nm
900nm ≦ λ2 ≦ 1100nm
であるようにすることができる。
640nm ≦ λ1 ≦ 1000nm
900nm ≦ λ2 ≦ 1100nm
であるようにすることができる。
前記第1の照射部では、前記第1の波長λ1の不可視光を照射し、前記第2の照射部では、前記第2の波長λ2の不可視光を照射することができる。
前記撮像部では、前記撮像部に入射される可視光を遮断する可視光カットフィルタを設けるようにすることができる。
本開示の一側面の画像処理方法は、被写体に対して、第1の波長の光を照射する第1の照射部と、前記被写体に対して、前記第1の波長よりも長波長である第2の波長の光を照射する第2の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置の画像処理方法であって、前記画像処理装置による、前記第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出ステップと、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出ステップと、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御ステップとを含む画像処理方法である。
本開示の一側面のプログラムは、被写体に対して、第1の波長の光を照射する第1の照射部と、前記被写体に対して、前記第1の波長よりも長波長である第2の波長の光を照射する第2の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置のコンピュータを、前記第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部として機能させるためのプログラムである。
本開示によれば、前記被写体の肌又は眼の少なくとも一方を表す部位領域が検出され、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報が算出され、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構が制御される。
本開示によれば、ディスプレイを視認する位置に拘わらず、ディスプレイ上の画像を立体的に視認することが可能となる。
以下、本開示における実施の形態(以下、本実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.本実施の形態(いずれの視点からでも、画像を立体的に視認できるようにするときの一例)
2.変形例
1.本実施の形態(いずれの視点からでも、画像を立体的に視認できるようにするときの一例)
2.変形例
<1.本実施の形態>
[画像処理装置21の構成例]
図1は、本実施の形態である画像処理装置21の構成例を示している。
[画像処理装置21の構成例]
図1は、本実施の形態である画像処理装置21の構成例を示している。
なお、この画像処理装置21は、LCD(liquid crystal display)22上の画像を鑑賞する鑑賞者の視点に拘らず、いずれの視点からでも、画像を立体的に視認できるようにするものである。
すなわち、例えば、画像処理装置21は、鑑賞者の撮像を行い、その撮像により得られる撮像画像から、鑑賞者の視点情報を算出する。そして、画像処理装置21は、算出した視点情報に応じて、LCD22に表示させる表示内容を変更させるようにして、いずれの視点からでも、画像を立体的に視認できるようにする。
ここで、視点情報とは、鑑賞者の視点に関する情報を表し、例えば、鑑賞者の視線の方向を表す視線方向、鑑賞者の右眼の位置、鑑賞者の左眼の位置、又は鑑賞者の顔の位置等の少なくとも1つを含む情報をいう。すなわち、視点情報は、LCD22と鑑賞者の視点との位置関係(後述する図3や図4に示される位置関係)を判別可能な情報であれば、どのような情報であってもよい。したがって、例えば、鑑賞者の左眼、右眼及び顔の位置としては、撮像画像内における位置を採用することもできるし、実空間(現実の空間)上における位置を採用することもできる。
本実施の形態では、画像処理装置21は、撮像画像から、鑑賞者の右眼の位置、及び鑑賞者の左眼の位置を含む視点情報を算出し、算出した視点情報に応じて、LCD22に表示させる表示内容を変更させるものとする。
また、LCD22の前面には、LCD22に表示される画像が立体的に視認されるように、パララックスバリア22aが設けられている。このパララックスバリア22aは、例えば、偏光板やスイッチ液晶等からなり、LCD22に表示される画像の光の一部を遮光し、残りを透過させることで、右眼用2次元画像と左眼用2次元画像を光学的に分離させる。
なお、パララックスバリア22aに代えて、LCD22に表示される画像の光の出射方向を変更して、右眼用2次元画像と左眼用2次元画像を光学的に分離させるレンチキュラーレンズを用いることができる。
画像処理装置21は、DSP(digital signal processor)41、LED(light-emitting diode)42a、LED42b、及びカメラ43から構成される。なお、LED42aの個数、及びLED42bの個数は、それぞれ、1個に限定されず、必要に応じて複数個とされる。
DSP41は、例えば、図示せぬメモリ等に保持された制御用プログラムを実行することにより、発光制御部61、算出部62、及び表示制御部63として機能する。
発光制御部61は、カメラ43からのフレーム同期信号に基づいて、LED42a及びLED42bを制御し、LED42aやLED42bの消灯及び点灯を制御する。ここで、フレーム同期信号とは、カメラ43の撮像が行われるタイミングを表す。
すなわち、例えば、発光制御部61は、カメラ43からのフレーム同期信号に基づいて、カメラ43により1枚の画像の撮像が行われる毎に、LED42aのみを点灯、LED42bのみを点灯、LED42a及びLED42bのいずれも消灯を繰り返して行わせる。
算出部62は、カメラ43からの撮像画像I_λ1,I_λ2,I_offを取得する。ここで、撮像画像I_λ1とは、波長λ1の光を発光するLED42aのみが点灯した状態で、カメラ43の撮像により得られた画像を表す。
また、撮像画像I_λ2とは、波長λ2の光を発光するLED42bのみが点灯した状態で、カメラ43の撮像により得られた画像を表す。さらに、撮像画像I_offとは、LED42a及びLED42bのいずれも消灯した状態で、カメラ43の撮像により得られた画像を表す。
算出部62は、取得した各撮像画像I_λ1,I_λ2,I_offに対して、LPF(low pass filter)を用いた平滑化を行う。また、算出部62は、各画素ごとに、撮像画像I_λ1の輝度値Y(λ1)から、撮像画像I_λ2の輝度値Y(λ2)を減算して得られる差分(Y(λ1) - Y(λ2))を算出する。
さらに、算出部62は、撮像画像I_λ1又は撮像画像I_λ2の少なくとも一方に基づく値として、例えば輝度値(Y(λ1) Y(off))で、差分(Y(λ1) - Y(λ2))を正規化(除算)する。なお、輝度値Y(off)は、撮像画像I_offの輝度値を表す。
そして、算出部62は、正規化後の差分{(Y(λ1) - Y(λ2))/(Y(λ1) Y(off))}に所定の値(例えば、100)を乗算して得られる差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)を、予め決められた2値化用の閾値で2値化して、2値化肌画像I_skinを算出する。
なお、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)は、撮像画像I_λ1の輝度値が、撮像画像I_λ2の輝度値に対して、何パーセント高いものであるかを表す。また、2値化用の閾値としては、例えば、10パーセントを用いることができる。
算出部62は、算出した2値化肌画像I_skinに基づいて、鑑賞者の肌を表す肌領域を検出する。
すなわち、例えば、算出部62は、算出した2値化肌画像I_skinを構成する全領域のうち、2値化用の閾値以上とされた領域を、肌領域として検出する。
なお、このようにして鑑賞者の肌領域を検出できる原理は、図5を参照して後述する。
ここで、差分画像I_diffの算出時において、撮像画像I_offの輝度値Y(off)は、LED42a及びLED42bの照射光以外の外光の影響を除去するために用いており、これにより肌検出の精度を向上することができる。
なお、外光の影響が軽微である場合には、撮像画像I_offの取得を省略して、差分画像I_diffを算出するようにしてもよい。
また、カメラ43のレンズの前面に、可視光をカット(遮断)する可視光カットフィルタを設けるように構成すれば、外光としての可視光の影響を除去することができ、肌検出の精度をより向上させることができる。
算出部62は、検出した肌領域を少なくとも含む算出用領域として、例えば、図2に示されるような、肌領域81aを含む最小の矩形領域81から、鑑賞者の視点情報を算出する。
すなわち、例えば、算出部62は、矩形領域81から、鑑賞者の顔の特徴を表す特徴量を算出する。そして、算出部62は、算出した特徴量を用いて、図示せぬメモリ等を参照して、視点情報を算出し、表示制御部63に供給する。ここで、顔の特徴を表す特徴量としては、具体的には、例えば、顔の形状や、顔の一部の形状の特徴を表す特徴量を用いることができる。
なお、図示せぬメモリ等には、異なる視点情報毎に、複数の特徴量が対応付けて予め保持されているものとする。このため、算出部62は、例えば、図示せぬメモリ等に保持されている複数の特徴量と、算出した特徴量とを比較するパターンマッチングを行う。
そして、算出部62は、パターンマッチングにより、矩形領域81から算出した特徴量と最も類似する特徴量を判定し、判定された特徴量に対応付けられている視点情報を読み出して、表示制御部63に供給する。
ここで、メモリに保持される特徴量は、例えば、異なる人間の顔毎に、顔の特徴にばらつきがあることを考慮した上で算出され、画像処理装置21の出荷時に予め用意されたものを用いることができる。
すなわち、例えば、メモリに保持される特徴量は、異なる人間の顔をそれぞれ撮像して得られる複数の撮像画像から、異なる人間の顔毎に、顔の特徴にばらつきがあることを考慮した上で算出される。そして、算出された特徴量は、撮像時の人間の右眼の位置や左眼の位置等を含む視点情報に対応付けられて、図示せぬメモリに予め保持される。この場合、カメラ43の位置や、画角、撮像方向等は、図示せぬメモリに予め保持される特徴量を算出する際に、異なる人間の顔をそれぞれ撮像したカメラと同様であることが望ましい。
その他、例えば、メモリに保持される特徴量は、画像処理装置21の電源がオンになったときなどに算出したものを用いるようにしてもよい。すなわち、例えば、画像処理装置21の電源がオンとなったときなどに、カメラ43により鑑賞者を撮像し、その撮像により得られる撮像画像から算出するようにしてもよい。この場合も同様にして、算出された特徴量は、撮像時の人間の右眼の位置や左眼の位置等を含む視点情報に対応付けられて、図示せぬメモリに予め保持される。
ところで、上述の矩形領域81は、例えば、撮像画像I_λ1上の領域とされるが、鑑賞者が写る撮像画像であれば、どのような撮像画像上の領域であってもよい。
また、算出部62において、複数の肌領域が検出された場合、矩形領域81としては、検出された複数の肌領域を含む最小の矩形領域を採用することができる。また、矩形領域81としては、例えば複数の肌領域中で面積が最大の領域を少なくとも含む矩形領域や、複数の肌領域中で画像の中央部に最も近い領域を少なくとも含む矩形領域を採用してもよい。なお、視点情報の算出に用いる算出用領域の形状は、矩形に限定されない。
表示制御部63は、算出部62からの視点情報に基づいて、LCD22に表示させる左眼用2次元画像及び右眼用2次元画像の表示位置を変更し、変更後の表示位置で、左眼用2次元画像及び右眼用2次元画像をLCD22に表示させる。なお、表示制御部63が表示位置を変更する処理は、図3及び図4を参照して詳述する。
[左眼用2次元画像及び右眼用2次元画像の表示位置を変更する場合の一例]
次に、図3は、表示制御部63が、鑑賞者の視点情報に応じて、LCD22に表示する左眼用2次元画像及び右眼用2次元画像の表示位置を変更する場合の一例を示している。
次に、図3は、表示制御部63が、鑑賞者の視点情報に応じて、LCD22に表示する左眼用2次元画像及び右眼用2次元画像の表示位置を変更する場合の一例を示している。
例えば、表示制御部63は、算出部62からの視点情報に基づいて、図3に示されるような、LCD22に対する左眼の位置101L及び右眼の位置101Rを判別する。そして、表示制御部63は、その判別結果に基づいて、左眼用2次元画像を構成する全領域を、4個の短冊状の領域(以下、左眼用短冊領域という)に分割してLCD22に表示させる。
具体的には、例えば、表示制御部63は、左眼用2次元画像を分割して得られる4個の左眼用短冊領域を、それぞれ、LCD22を構成する各領域0乃至31のうち、領域4乃至7,領域12乃至15,領域20乃至23,領域28乃至31に表示させる。
なお、図3において、領域4乃至7,領域12乃至15,領域20乃至23,領域28乃至31には、左眼用2次元画像が表示されることを示す文字Lを付加している。
さらに、例えば、表示制御部63は、右眼用2次元画像を構成する全領域を、4個の短冊状の領域(以下、右眼用短冊領域という)に分割してLCD22に表示させる。
具体的には、例えば、表示制御部63は、右眼用2次元画像を分割して得られる4個の右眼用短冊領域を、それぞれ、LCD22を構成する各領域0乃至31のうち、領域0乃至3,領域8乃至11,領域16乃至19,領域24乃至27に表示させる。
なお、図3において、領域0乃至3,8乃至11,16乃至19,24乃至27には、右眼用2次元画像が表示されることを示す文字Rを付加している。
また、本実施の形態では、パララックスバリア22aには、LCD22の各領域0乃至31のうち、領域0,1,6,7,12,13,18,19,24,25,30,31の前面に、光を透過させるスリットが設けられている。このことは、後述する図4についても同様である。
次に、図4は、鑑賞者の視点情報の変化に応じて、LCD22に表示する左眼用2次元画像及び右眼用2次元画像の表示位置を変更する場合の他の一例を示している。
表示制御部63は、例えば、算出部62からの視点情報に含まれる左眼の位置及び右眼の位置が変化した場合、LCD22を制御して、左眼用2次元画像及び右眼用2次元画像の表示位置を変更させる。
すなわち、例えば、図4に示されるように、左眼の位置101Lが位置102Lに変化し、右眼の位置101Rが位置102Rに変化した場合、表示制御部63は、算出部62からの視点情報に基づいて、図4に示されるような、LCD22に対する左眼の位置102L及び右眼の位置102Rを判別する。そして、表示制御部63は、その判別結果に基づいて、左眼用2次元画像及び右眼用2次元画像の表示位置を変更して、左眼用2次元画像及び右眼用2次元画像を、LCD22に表示させる。
具体的には、例えば、表示制御部63は、左眼用2次元画像を分割して得られる4個の左眼用短冊領域を、それぞれ、LCD22を構成する各領域0乃至31のうち、領域2乃至5,領域10乃至13,領域18乃至21,領域26乃至29に表示させる。
なお、図4において、領域2乃至5,領域10乃至13,領域18乃至21,領域26乃至29には、左眼用2次元画像が表示されることを示す文字Lを付加している。
また、例えば、表示制御部63は、右眼用2次元画像を分割して得られる4個の右眼用短冊領域を、それぞれ、LCD22を構成する各領域0乃至31のうち、領域0乃至1,領域6乃至9,領域14乃至17,領域22乃至25,領域30乃至31に表示させる。
なお、図4において、領域0乃至1,領域6乃至9,領域14乃至17,領域22乃至25,領域30乃至31には、右眼用2次元画像が表示されることを示す文字Rを付加している。
表示制御部63は、例えば、鑑賞者の右眼の位置と左眼の位置に基づいて、図4に示されるように、右眼用2次元画像及び左眼用2次元画像の表示位置を変更するようにした。
これにより、図4において、左眼用2次元画像が、位置102Lに存在する左眼のみで視認され、右眼用2次元画像が、位置102Rに存在する右眼のみで視認されるようになる。よって、鑑賞者は、LCD22上の画像を立体的に視認できるようになる。なお、レンチキュラーレンズを用いる場合についても同様である。
その他、例えば、表示制御部63は、パララックスバリア22aを制御して、鑑賞者に、画像を立体的に視認させるようにしてもよい。
すなわち、例えば、表示制御部63は、右眼用2次元画像及び左眼用2次元画像の表示位置を変更する代わりに、又はその変更ととともに、パララックスバリア22aを制御して、光を透過させるスリットの位置を変更するようにしてもよい。
この場合、パララックスバリア22aは、表示制御部63からの制御にしたがって、スリットの位置を変更可能なスイッチ液晶等から構成されていてもよい。
図1に戻り、LED42aは、発光制御部61からの制御にしたがって、点灯又は消灯する。すなわち、LED42aは、発光制御部61からの制御にしたがって、波長λ1の光(例えば、波長λ1の赤外線)を照射し、又は波長λ1の光の照射を停止する。
LED42bは、発光制御部61からの制御にしたがって、点灯又は消灯する。すなわち、LED42bは、発光制御部61からの制御にしたがって、波長λ1よりも長波長である波長λ2の光(例えば、波長λ2の赤外線)を照射し、又は波長λ2の光の照射を停止する。
なお、LED42a及びLED42bは、LED42a及びLED42bからの照射光が、鑑賞者に照射される照射範囲で、照射光を照射する。
また、波長λ1と波長λ2との組み合わせ(λ1,λ2)は、例えば、人間の肌に対する分光反射特性に基づいて予め決定される。
次に、図5は、人間の肌に対する分光反射特性を示している。
なお、この分光反射特性は、人間の肌の色の違い(人種の違い)や状態(日焼け等)に拘らず、一般性があるものである。
図5において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
人間の肌に照射された照射光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
具体的には、例えば、図5に示されるように、人間の肌に対して、赤外線としての870[nm]の光を照射して得られる反射光の反射率は約63パーセントである。また、赤外線としての950[nm]の光を照射して得られる反射光の反射率は約50パーセントである。
これは、人間の肌について特有のものであり、人間の肌以外の物体(例えば、衣服等)では、800乃至1000[nm]付近において、反射率の変化は緩やかになっている。また周波数が高くなるほど、少しずつ大きくなることが多い。
本実施の形態では、例えば、組み合わせ(λ1,λ2)=(870,950)とされる。この組み合わせは、人間の肌に対して、波長λ1の光を照射したときの反射率が、波長λ2の光を照射したときの反射率よりも大きくなる組み合わせである。
したがって、撮像画像I_λ1上の肌領域を構成する輝度値は比較的大きな値となり、撮像画像I_λ2上の肌領域を構成する輝度値は比較的小さな値となる。
このため、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)上の肌領域の輝度値は、比較的大きな正の値α1となる。
また、組み合わせ(λ1,λ2)=(870,950)は、人間の肌以外のものに対して、波長λ1の光を照射したときの反射率が、波長λ2の光を照射したときの反射率と殆ど同一となる組み合わせである。
このため、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1 I_off)}×100)上の非肌領域の輝度値は、比較的小さな正または負の値β1となる。
よって、差分画像I_diffを、予め決められた2値化用の閾値(例えば、α1よりも小であり、β1よりも大である閾値)で2値化するようにして、肌領域を検出するようにしている。
ここで、組み合わせ(λ1,λ2)は、(λ1,λ2)=(870,950)に限定されず、反射率の差が十分に大きくなる組み合わせ(λ1,λ2)であれば、どのような組み合わせでもよい。
なお、正確に肌検出を行うためには、概ね、波長λ1の値は640[nm]乃至1000[nm]の範囲内で、波長λ2の値は900[nm]から1100[nm]の範囲内で、それぞれ設定することが望ましいことが、本発明者が予め行なった実験によりわかっている。
但し、波長λ1が可視光領域の波長である場合、鑑賞者に眩しさを感じさせることや、鑑賞者がディスプレイ上の画像を見る際に感じる色調にも影響すること等から、波長λ1の値は不可視光領域の800[nm]以上とすることが望ましい。
すなわち、例えば、上述の範囲内で、波長λ1の値は800[nm]以上900[nm]未満の不可視光領域の値とし、波長λ2の値は900[nm]以上の不可視光領域とすることが望ましい。
図1に戻り、カメラ43は、例えば、レンズやCMOS(complementary metal oxide semiconductor)センサ等により構成されており、フレーム同期信号に応じて、被写体の撮像を行う。また、カメラ43は、フレーム同期信号を、発光制御部61に供給する。
具体的には、例えば、カメラ43は、例えば、CMOSセンサ等に設けられた受光素子で、LED42aによって被写体に照射されている波長λ1の光の反射光を受光する。そして、カメラ43は、受光した反射光を光電変換して得られる撮像画像I_λ1を、算出部62に供給する。
また、例えば、カメラ43は、例えば、CMOSセンサ等に設けられた受光素子で、LED42bによって被写体に照射された波長λ2の光の反射光を受光する。そして、カメラ43は、受光した反射光を光電変換して得られる撮像画像I_λ2を、算出部62に供給する。
さらに、例えば、カメラ43は、例えば、CMOSセンサ等に設けられた受光素子で、LED42a及びLED42bのいずれも光を照射していない状態で、被写体からの反射光を受光する。そして、カメラ43は、受光した反射光を光電変換して得られる撮像画像I_offを、算出部62に供給する。
[画像処理装置21の動作説明]
次に、図6のフローチャートを参照して、画像処理装置21が行なう3D制御処理について説明する。
次に、図6のフローチャートを参照して、画像処理装置21が行なう3D制御処理について説明する。
この3D制御処理は、例えば、画像処理装置21に設けられた図示せぬ操作ボタン等が操作されて、画像処理装置21の電源がオンとされたときに開始される。
ステップS21では、発光制御部61は、カメラ43からのフレーム同期信号に応じて、カメラ43の撮像(ステップS22の処理)が行われるタイミングでLED42aを点灯させる。これにより、LED42aは、カメラ43の撮像が行われる間、被写体に対して、波長λ1の光を照射する。なお、LED42bは消灯されている。
ステップS22では、カメラ43は、LED42aの光が照射されている被写体の撮像を開始し、その結果得られる撮像画像I_λ1を、算出部62に供給する。
ステップS23では、発光制御部61は、カメラ43からのフレーム同期信号に応じて、ステップS22におけるカメラ43の撮像が終了するタイミングで、LED42aを消灯させる。
また、発光制御部61は、カメラ43からのフレーム同期信号に応じて、カメラ43の次の撮像(ステップS24の処理)が開始するタイミングで、LED42bを点灯させる。これにより、LED42bは、カメラ43の次の撮像が行われる間、被写体に対して、波長λ2の光を照射する。なお、LED42aは消灯されている。
ステップS24では、カメラ43は、LED42bの光が照射されている被写体の撮像を開始し、その結果得られる撮像画像I_λ2を、算出部62に供給する。
ステップS25では、発光制御部61は、カメラ43からのフレーム同期信号に応じて、ステップS24におけるカメラ43の撮像が終了するタイミングで、LED42bを消灯させる。これにより、LED42a及びLED42bは、いずれも消灯された状態となる。
ステップS26では、カメラ43は、LED42a及びLED42bのいずれも消灯している状態で撮像を開始し、その結果得られる撮像画像I_offを、算出部62に供給する。
ステップS27では、算出部62は、カメラ43からの各撮像画像I_λ1,I_λ2,I_offに基づいて、差分画像I_diff(={(I_λ1 - I_λ2)/(I_λ1-I_off)}×100)を算出する。
ステップS28では、算出部62は、算出した差分画像I_diffを、予め決められた2値化用の閾値を用いて、2値化して2値化肌画像I_skinを算出する。
ステップS29では、算出部62は、算出した2値化肌画像I_skinに基づいて、例えば肌領域81aを検出する。
ステップS30において、算出部62は、例えば、撮像画像I_λ1から、肌領域81aを含む最小の矩形領域81を検出する。
ステップS31では、算出部62は、検出した矩形領域81から、肌領域81aが表す鑑賞者の顔の特徴を表す特徴量を算出する。
ステップS32では、算出部62は、算出した特徴量に基づいて、例えば、鑑賞者の右眼の位置と左眼の位置を含む視点情報を算出し、表示制御部63に供給する。
すなわち、例えば、算出部62は、画像処理装置21に設けられた図示せぬメモリを参照して、算出した特徴量を用いたパターンマッチングを行うことにより、視点情報を算出し、表示制御部63に供給する。
なお、視点情報の算出は、パターンマッチング以外の方法で行なってもよい。すなわち、例えば、算出部62において、一般的に人間の両眼が、人間の顔において略左右対称の位置にあるとともに、顔の中心(顔を左右対称に分ける線分上の位置)から左右方向にそれぞれ約30mm離れた位置にあるという事実に基づいて、視点情報を算出してもよい。
具体的には、例えば、算出部62は、矩形領域81から、撮像画像内における鑑賞者の顔の位置として、顔の中心(例えば、顔の重心)を検出し、検出した顔の位置から、撮像画像内における鑑賞者の右眼及び左眼それぞれの位置を、視点情報として算出してもよい。
ここで、撮像画像内において、顔の中心から右眼までの間隔、及び顔の中心から左眼までの間隔は、カメラ43と鑑賞者の間の距離Dに応じて異なるものとなる。したがって、算出部62は、検出した顔の位置から左右方向に、それぞれ、鑑賞者とカメラ43の間の距離Dに応じた分だけ移動した位置を、視点情報として算出するものとなる。
上述の事実を用いて視点情報を算出する場合には、例えば、撮像画像内の肌領域から顔の位置を検出し、検出した顔の位置に基づいて、撮像画像内の右眼や左眼の位置を推定する。そして、推定された、撮像画像内の右眼や左眼の位置が、視点情報として算出される。
したがって、この場合、視点情報を例えばパターンマッチングで求める場合に比べて、処理が単純であるため、視点情報の算出に時間がかからない。このため、鑑賞者の移動等があっても追従性がよいものとなる。また、視点情報の算出に必要なDSPやCPUのパワーが低くてもよいため、製造時のコストが安くなる等のメリットもある。
なお、算出部62は、LED42aと鑑賞者の距離が近い程、LED42aの照射による肌領域81a(外光の影響が除去された肌領域)の輝度が高くなることを利用することにより、カメラ43と鑑賞者の距離を概算することができる。この場合、カメラ43は、LED42aの近傍に配置されているものとする。
また、算出部62は、LED42aに代えて、LED42bを用いるようにして、LED42bと鑑賞者の距離が近い程、LED42bの照射による肌領域81a(外光の影響が除去された肌領域)の輝度が高くなることを利用することにより、カメラ43と鑑賞者の距離を概算してもよい。この場合、カメラ43は、LED42bの近傍に配置されているものとする。
したがって、算出部62は、矩形領域81上の肌領域81aから鑑賞者の顔の位置を検出し、検出した顔の位置から、肌領域81aの輝度から求めた距離Dに応じた分だけ移動した位置を、視点情報として算出できる。
また、ポータブル機器のようにディスプレイの画面が小さい場合には、ディスプレイから鑑賞者の顔までの距離Dは所定の範囲に収まっているため、カメラ43と鑑賞者までの距離の算出は省略してもよい。
この場合、ディスプレイから鑑賞者の顔までの距離Dは、予め決められた距離(例えば、所定の範囲における中央値等)とされ、検出された顔の位置から、距離Dに応じた分だけ移動した位置が、視点情報として算出される。
ステップS33において、表示制御部63は、算出部62からの視点情報に基づいて、LCD22に表示させる左眼用2次元画像及び右眼用2次元画像の表示位置を変更し、変更後の表示位置で、左眼用2次元画像及び右眼用2次元画像をLCD22に表示させる。
すなわち、例えば、表示制御部63は、算出部62からの視点情報に基づいて、LCD22に表示させる左眼用2次元画像及び右眼用2次元画像の表示位置を算出する。そして、表示制御部63は、LCD22に表示させる左眼用2次元画像及び右眼用2次元画像の表示位置を、視点情報に基づいて算出した表示位置に変更し、変更後の表示位置で、左眼用2次元画像及び右眼用2次元画像をLCD22に表示させる。
また、例えば、表示制御部63は、図示せぬ内蔵のメモリを有し、LCD22に表示させるべき左眼用2次元画像及び右眼用2次元画像の表示位置を、視点情報毎に対応付けて予め保持していてもよい。この場合、表示制御部63は、算出部62からの視点情報に基づいて、その視点情報に対応付けられている表示位置(を表すデータ)を、内蔵するメモリから読み出す。
そして、表示制御部63は、LCD22に表示させる左眼用2次元画像及び右眼用2次元画像の表示位置を、内蔵するメモリから視点情報に応じて読み出した表示位置に変更し、変更後の表示位置で、左眼用2次元画像及び右眼用2次元画像をLCD22に表示させることとなる。
その後、処理はステップS21に戻され、それ以降、同様の処理が繰り返される。なお、この3D制御処理は、例えば画像処理装置21の電源がオフされたときに終了される。
以上説明したように、3D制御処理によれば、LCD22上の各領域に表示させる左眼用2次元画像及び右眼用2次元画像を、鑑賞者の視点情報(例えば、鑑賞者の右眼の位置と左眼の位置)に応じて決定するようにした。
このため、3D制御処理によれば、鑑賞者の視点に拘わらず、LCD22上の画像を立体的に視認させることが可能となる。
また、3D制御処理によれば、図5に示されるような人間の分光反射特性を利用して、波長λ1及びλ2の光を照射して鑑賞者の肌領域を検出するようにした。
したがって、3D制御処理によれば、画像処理装置21を使用する環境の明るさに拘らず、肌領域を精度良く検出することが可能となる。
このため、例えば、画像処理装置21を使用する場所が暗いときでも、撮像画像上の肌領域を精度良く検出することが可能となる。また波長λ1及びλ2の光を不可視光とすれば、LCD22上の画像の視認にも影響を与えない。
また、3D制御処理では、例えば、鑑賞者の肌領域を含む矩形領域81を検出し、検出した矩形領域81を対象として、視点情報を算出する処理を行うようにしている。
このため、通常の可視光の撮像画像からは視点情報の算出が難しい暗い場所でも、視点情報の算出が可能である。また、例えば、撮像画像上の全領域を対象とし、視点情報を算出する処理を行う場合と比較して、3D制御処理を実行するDSPやCPU等の負荷を少なくすることが可能となる。
具体的には、例えば、図2に示したような場合、矩形領域81は、撮像画像上の全領域の1/10以下となっている。このため、矩形領域81を対象とすれば、撮像画像上の全領域を対象とするときと比較して、視点情報を算出する際の計算量を1/10以下とすることができる。
したがって、例えば、画像処理装置21では、処理能力を向上させるために、高価なDSPを実装する必要がない。このため、安価なDSPを用いることができるので、画像処理装置21の製造コストを低く抑えることができる。
また、視点情報を算出する際の計算量を少なくできるので、小型化のために処理能力等が制限されたポータブル製品(例えば、持ち運び可能な携帯型のテレビジョン受像機や、携帯型ゲーム機、携帯型光ディスクプレーヤ、携帯電話機等)を、画像処理装置21として採用することができる。
なお、画像処理装置21を、例えばテレビジョン受像機や、携帯型ゲーム機、携帯型光ディスクプレーヤ、携帯電話機として採用する場合、LCD22及びパララックスバリア22aも、画像処理装置21の構成に含まれるものとしてもよい。
また、画像処理装置21としては、ポータブル製品の他、小型化されていない通常のテレビジョン受像機等を採用できる。その他、例えば、複数の画像により構成される動画や静止画等のコンテンツを再生する再生装置や、コンテンツの録画(記録)と再生を行う記録再生装置等にも適用できる。
すなわち、本開示は、画像を立体的に表示する表示装置や、画像をディスプレイ等に立体的に表示させる表示制御装置であれば、どのようなものにも適用することができる。
ところで、本実施の形態において、算出部62は、例えば、図2に示したように、撮像画像上の肌領域81aを全て含む最小の矩形領域81から、鑑賞者の顔の形状や、顔の一部の形状を表す特徴量を算出するようにしている。
しかしながら、算出部62が、例えば、鑑賞者の眼の特徴を表す特徴量を算出し、算出した特徴量に基づいて、図示せぬメモリ等を参照することにより、鑑賞者の視点情報を算出するようにしてもよい。なお、眼の特徴を表す特徴量としては、具体的には、例えば、眼の形状を表す特徴量を用いることができる。
この場合、肌領域81aに代えて、鑑賞者の眼を表す眼領域を検出し、眼領域を少なくとも含む算出用領域として、例えば、撮像画像上の眼領域を全て含む最小の矩形領域から、鑑賞者の眼の特徴量を算出するものとなる。また、図示せぬメモリ等の予め保持される特徴量は、鑑賞者の眼の特徴を表す特徴量とされる。
次に、図7を参照して、算出部62が、鑑賞者の眼領域を検出する場合の一例を説明する。
[人間の眼に対する分光反射特性]
図7は、人間の眼に対する分光反射特性を示している。
図7は、人間の眼に対する分光反射特性を示している。
図7において、横軸は、人間の眼に照射される照射光の波長を示しており、縦軸は、人間の眼に照射された照射光の反射率を示している。
人間の眼に照射された照射光の反射率は、900[nm]付近から1000[nm]付近まで上昇することが知られている。
したがって、撮像画像I_λ1上の眼領域を構成する輝度値は比較的小さな値となり、撮像画像I_λ2上の眼領域を構成する輝度値は比較的大きな値となる。
このため、差分画像I_diff上の眼領域の輝度値は、比較的大きな負の値α2となる。
これを利用して、差分画像I_diffから、眼領域を検出するために用いる閾値を用いて2値化肌画像I_eyeを算出し、算出した2値化肌画像I_eyeから眼領域を検出することができる。
眼領域を検出できれば、その位置(例えば、眼領域の重心等)は撮像画像上の眼の位置と合致するため、パターンマッチングや顔の位置から視点情報を算出する場合に比べて、正確に視点情報を算出できる。また視点情報を算出する際の計算量も極端に小さくできるため、処理の高速化を実現しつつ、安価なDSPを採用できるので低コストも実現できる。
なお、差分画像I_diff上の肌領域の輝度値は、比較的大きな正の値α1となる。したがって、差分画像I_diffから、眼領域を検出するために用いる閾値とともに、肌領域を検出するために用いる閾値を用いて、肌領域とともに眼領域を検出するようにしてもよい。
この場合、算出部62は、例えば、肌領域と眼領域との両方を含む最小の矩形領域から、鑑賞者の顔の特徴量、又は鑑賞者の眼の特徴量を算出することとなる。
<2.変形例>
本実施の形態では、説明を簡単にするために、LCD22上の画像を鑑賞する鑑賞者が1人であることを前提として説明した。しかしながら、本技術は、視点情報を算出する際の計算量が小さいため、鑑賞者が複数人である場合にも用いることができる。
本実施の形態では、説明を簡単にするために、LCD22上の画像を鑑賞する鑑賞者が1人であることを前提として説明した。しかしながら、本技術は、視点情報を算出する際の計算量が小さいため、鑑賞者が複数人である場合にも用いることができる。
すなわち、例えば、算出部62は、鑑賞者が複数人である場合、複数人の鑑賞者それぞれの肌領域を全て含む最小の矩形領域を対象として、鑑賞者毎の視点情報を算出する。なお、算出部62は、鑑賞者が複数人である場合、複数人の鑑賞者それぞれの眼領域を全て含む最小の矩形領域を対象として、鑑賞者毎の視点情報を算出するようにしてもよい。
そして、算出部62は、算出した複数の視点情報に含まれる右眼の位置の中央値(メジアン)や平均値を、最終的な右眼の位置として、表示制御部63に供給するようにしてもよい。また、算出部62は、左眼の位置についても同様にして、最終的な左眼の位置を算出し、表示制御部63に供給するようにしてもよい。
これにより、表示制御部63は、複数人の鑑賞者のいずれにおいても、ある程度、画像を立体的に視認できるようにLCD22等を制御させることができる。
また例えば、パララックスバリア22aを用いるパララックスバリア方式では、図8に示すように、逆視を生じずに画像を立体的に認識できる鑑賞者の視点位置、つまり、画像を正視できる鑑賞者の視点位置が、所定の間隔で複数存在する。図8では、このような視点位置を3カ所だけ示したが、この左右外側にも更に複数存在する。また図8に示したように、逆視となってしまう視点位置も、正しく立体的に画像を認識できる視点位置の中間に複数存在する。
すなわち、鑑賞者が複数人の場合、複数人の位置関係により画像を制御しても、複数人すべてが画像を正しく立体的に見えるように画像の表示を制御できるとは限らない。
したがって、算出部62は、算出した複数人の鑑賞者毎の視点情報から、複数の鑑賞者の位置がすべて、画像を立体的に認識できる視点位置の近傍になるように表示機構(例えば、LCD22及びパララックスバリア22a)を制御できると認識したときのみ、複数人の鑑賞者毎の視点情報に応じて、表示機構を制御するようにしてもよい。
また、すべての鑑賞者が逆視を生じずに画像を立体的に認識できる視点位置に移動できるように、例えば、図9のように、複数の鑑賞者同士の相対距離の変更を促す旨の表示「お二人で3次元画像をご覧いただくため、お二人の距離をもう少しあけて下さい。」を、LCD22の表示画面に表示してもよい。
その他、例えば、LCD22の表示画面には、複数人の鑑賞者のうち特定の鑑賞者に対して左もしくは右方向への移動を促すように表示を出してもよい。
また、LCD22による表示でなく、例えば、画像処理装置21にスピーカ等を設けるようにし、そのスピーカを用いて、音声で移動を促すようにしてもよい。
さらに、表示制御部63は、複数の肌領域のうち、LCD22の表示画面の中央に最も近い位置の肌領域に対応する鑑賞者が画像を立体的に視認できるように、表示機構を制御させてもよい。
すなわち、LCD22の表示画面の中央に最も近い位置の肌領域に対応する鑑賞者が、立体的な画像を鑑賞し続ける主たる鑑賞者であり、それ以外は短時間覗き込んだだけという場合が多いためである。このようにすれば、視点情報を算出する処理を簡略化できる。
この場合、主たる鑑賞者以外の鑑賞者が、所定の時間以上、正視ではなく逆視となってしまう視点位置に居続けた場合、表示制御部63は、立体的に見える画像の表示を中止し、2次元の画像を表示するようにしてもよい。
また、例えば、表示制御部63は、複数人の鑑賞者のうち、逆視による悪影響を最も受け易い鑑賞者の視点情報に合わせて、画像を表示させるようにしてもよい。
すなわち、例えば、一般的に、逆視による悪影響を受け易い幼児ほど、LCD22の近くでコンテンツ等の視聴を行う場合が多い。このため、表示制御部63は、例えば、複数人の鑑賞者それぞれの視点情報のうち、LCD22に対する右眼及び左眼の位置が最もLCD22に近いものとされる視点情報を用いて、LCD22等を制御する。なお、この場合、算出部62は、複数人の鑑賞者それぞれの視点情報を算出し、表示制御部63に供給する。
その他、例えば、算出部62において、LCD22に近い位置で検出される肌領域に基づいて、LCD22の近くで視聴を行う鑑賞者(例えば、幼児等)の視点情報を算出し、表示制御部63に供給するようにしてもよい。この場合、表示制御部63では、算出部62からの視点情報を用いて、LCD22等を制御することとなる。
なお、LCD22に近い位置で検出される肌領域(LCD22の近くで視聴を行う幼児等の肌領域)は、例えば、LED42a又は42bの少なくとも一方からの照射光による輝度の大小に応じて、算出部62により判別される。
また、算出部62は、幼児ほど顔の中において眼の位置が相対的に顎に近いという特徴を利用して、幼児かどうかを判断するようにしてもよい。具体的には、例えば、算出部62は、顔領域を肌検出で、眼領域を眼検出で行い、顔領域と眼領域との相対位置(例えば、顔領域の重心と、眼領域の重心との相対位置)により、鑑賞者が幼児であるか否かを判断できる。この場合、算出部62は、幼児であると判断した鑑賞者の肌領域に基づいて、視点情報を算出し、表示制御部63に供給することとなる。
本実施の形態では、例えば、LCD22の前面にパララックスバリア22aを設けるようにした。しかしながら、パララックスバリア22aの配置はこれに限定されず、LCD22とそのバックライトの間に設けてもよい。
なお、本技術は以下のような構成もとることができる。
(1)被写体に対して、第1の波長の光を照射する第1の照射部と、前記被写体に対して、前記第1の波長よりも長波長である第2の波長の光を照射する第2の照射部と、前記被写体の撮像を行なう撮像部と、前記第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部とを含む画像処理装置。
(2)前記算出部は、前記被写体の部位のうち、予め決められた部位の特徴を表す特徴量を、前記算出用領域から算出する特徴量算出部と、前記視点情報の候補をそれぞれ異なる前記特徴量に対応付けて予め保持する保持部を参照して、算出した特徴量から前記視点情報を算出する視点情報算出部とを有する前記(1)に記載の画像処理装置。
(3)前記特徴量算出部は、前記被写体の顔の特徴を表す前記特徴量を、前記被写体の肌を表す前記部位領域を少なくとも含む前記算出用領域から算出する前記(2)に記載の画像処理装置。
(4)前記特徴量算出部は、前記被写体の眼の特徴を表す前記特徴量を、前記被写体の眼を表す前記部位領域を少なくとも含む前記算出用領域から算出する前記(2)に記載の画像処理装置。
(5)前記算出部は、前記算出用領域から、前記被写体の視線の方向、前記被写体の右眼の位置、前記被写体の左眼の位置、又は前記被写体の顔の位置の少なくとも1つを含む前記視点情報を算出する前記(1)乃至(4)に記載の画像処理装置。
(6)前記表示制御部は、前記表示機構を制御し、前記被写体の視点から右眼のみで視認可能な位置に右眼用2次元画像を表示させ、前記被写体の視点から左眼のみで視認可能な位置に左眼用2次元画像を表示させる前記(1)乃至(4)に記載の画像処理装置。
(7)前記表示制御部は、前記表示機構を制御し、右眼用2次元画像及び左眼用2次元画像を表示する表示画面から、前記被写体の視点から右眼のみで視認可能な前記右眼用2次元画像と、前記被写体の視点から左眼のみで視認可能な前記左眼用2次元画像とをそれぞれ分離させる前記(1)乃至(4)に記載の画像処理装置。
(8)前記表示機構は、パララックスバリア又はレンチキュラーレンズである前記(7)に記載の画像処理装置。
(9)前記第1の波長λ1、及び前記第2の波長λ2は、
640nm ≦ λ1 ≦ 1000nm
900nm ≦ λ2 ≦ 1100nm
を満たす前記(1)乃至(4)に記載の画像処理装置。
(10)前記第1の照射部は、前記第1の波長λ1の不可視光を照射し、前記第2の照射部は、前記第2の波長λ2の不可視光を照射する前記(9)に記載の画像処理装置。
(11)前記撮像部には、前記撮像部に入射される可視光を遮断する可視光カットフィルタが設けられている前記(1)乃至(4)に記載の画像処理装置。
(12)被写体に対して、第1の波長の光を照射する第1の照射部と、前記被写体に対して、前記第1の波長よりも長波長である第2の波長の光を照射する第2の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置の画像処理方法において、前記画像処理装置による、前記第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出ステップと、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出ステップと、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御ステップとを含む画像処理方法。
(13)被写体に対して、第1の波長の光を照射する第1の照射部と、前記被写体に対して、前記第1の波長よりも長波長である第2の波長の光を照射する第2の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置のコンピュータを、前記第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部として機能させるためのプログラム。
(1)被写体に対して、第1の波長の光を照射する第1の照射部と、前記被写体に対して、前記第1の波長よりも長波長である第2の波長の光を照射する第2の照射部と、前記被写体の撮像を行なう撮像部と、前記第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部とを含む画像処理装置。
(2)前記算出部は、前記被写体の部位のうち、予め決められた部位の特徴を表す特徴量を、前記算出用領域から算出する特徴量算出部と、前記視点情報の候補をそれぞれ異なる前記特徴量に対応付けて予め保持する保持部を参照して、算出した特徴量から前記視点情報を算出する視点情報算出部とを有する前記(1)に記載の画像処理装置。
(3)前記特徴量算出部は、前記被写体の顔の特徴を表す前記特徴量を、前記被写体の肌を表す前記部位領域を少なくとも含む前記算出用領域から算出する前記(2)に記載の画像処理装置。
(4)前記特徴量算出部は、前記被写体の眼の特徴を表す前記特徴量を、前記被写体の眼を表す前記部位領域を少なくとも含む前記算出用領域から算出する前記(2)に記載の画像処理装置。
(5)前記算出部は、前記算出用領域から、前記被写体の視線の方向、前記被写体の右眼の位置、前記被写体の左眼の位置、又は前記被写体の顔の位置の少なくとも1つを含む前記視点情報を算出する前記(1)乃至(4)に記載の画像処理装置。
(6)前記表示制御部は、前記表示機構を制御し、前記被写体の視点から右眼のみで視認可能な位置に右眼用2次元画像を表示させ、前記被写体の視点から左眼のみで視認可能な位置に左眼用2次元画像を表示させる前記(1)乃至(4)に記載の画像処理装置。
(7)前記表示制御部は、前記表示機構を制御し、右眼用2次元画像及び左眼用2次元画像を表示する表示画面から、前記被写体の視点から右眼のみで視認可能な前記右眼用2次元画像と、前記被写体の視点から左眼のみで視認可能な前記左眼用2次元画像とをそれぞれ分離させる前記(1)乃至(4)に記載の画像処理装置。
(8)前記表示機構は、パララックスバリア又はレンチキュラーレンズである前記(7)に記載の画像処理装置。
(9)前記第1の波長λ1、及び前記第2の波長λ2は、
640nm ≦ λ1 ≦ 1000nm
900nm ≦ λ2 ≦ 1100nm
を満たす前記(1)乃至(4)に記載の画像処理装置。
(10)前記第1の照射部は、前記第1の波長λ1の不可視光を照射し、前記第2の照射部は、前記第2の波長λ2の不可視光を照射する前記(9)に記載の画像処理装置。
(11)前記撮像部には、前記撮像部に入射される可視光を遮断する可視光カットフィルタが設けられている前記(1)乃至(4)に記載の画像処理装置。
(12)被写体に対して、第1の波長の光を照射する第1の照射部と、前記被写体に対して、前記第1の波長よりも長波長である第2の波長の光を照射する第2の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置の画像処理方法において、前記画像処理装置による、前記第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出ステップと、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出ステップと、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御ステップとを含む画像処理方法。
(13)被写体に対して、第1の波長の光を照射する第1の照射部と、前記被写体に対して、前記第1の波長よりも長波長である第2の波長の光を照射する第2の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置のコンピュータを、前記第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部として機能させるためのプログラム。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
[コンピュータの構成例]
図10は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示している。
図10は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示している。
CPU(Central Processing Unit)201は、ROM(Read Only Memory)202、又は記憶部208に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)203には、CPU201が実行するプログラムやデータ等が適宜記憶される。これらのCPU201、ROM202、及びRAM203は、バス204により相互に接続されている。
CPU201にはまた、バス204を介して入出力インタフェース205が接続されている。入出力インタフェース205には、キーボード、マウス、マイクロホン等よりなる入力部206、ディスプレイ、スピーカ等よりなる出力部207が接続されている。CPU201は、入力部206から入力される指令に対応して各種の処理を実行する。そして、CPU201は、処理の結果を出力部207に出力する。
入出力インタフェース205に接続されている記憶部208は、例えばハードディスクからなり、CPU201が実行するプログラムや各種のデータを記憶する。通信部209は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
また、通信部209を介してプログラムを取得し、記憶部208に記憶してもよい。
入出力インタフェース205に接続されているドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア211が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部208に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録(記憶)する記録媒体は、図10に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini-Disc)を含む)、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア211、又は、プログラムが一時的もしくは永続的に格納されるROM202や、記憶部208を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部209を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本開示における実施の形態は、上述した本実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
21 画像処理装置, 22 LCD, 22a パララックスバリア, 41 DSP, 42a,42b LED, 43 カメラ, 61 発光制御部, 62 算出部, 63 表示制御部
Claims (13)
- 被写体に対して、第1の波長の光を照射する第1の照射部と、
前記被写体に対して、前記第1の波長よりも長波長である第2の波長の光を照射する第2の照射部と、
前記被写体の撮像を行なう撮像部と、
前記第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、
検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、
前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部と
を含む画像処理装置。 - 前記算出部は、
前記被写体の部位のうち、予め決められた部位の特徴を表す特徴量を、前記算出用領域から算出する特徴量算出部と、
前記視点情報の候補をそれぞれ異なる前記特徴量に対応付けて予め保持する保持部を参照して、算出した特徴量から前記視点情報を算出する視点情報算出部と
を有する請求項1に記載の画像処理装置。 - 前記特徴量算出部は、前記被写体の顔の特徴を表す前記特徴量を、前記被写体の肌を表す前記部位領域を少なくとも含む前記算出用領域から算出する
請求項2に記載の画像処理装置。 - 前記特徴量算出部は、前記被写体の眼の特徴を表す前記特徴量を、前記被写体の眼を表す前記部位領域を少なくとも含む前記算出用領域から算出する
請求項2に記載の画像処理装置。 - 前記算出部は、前記算出用領域から、前記被写体の視線の方向、前記被写体の右眼の位置、前記被写体の左眼の位置、又は前記被写体の顔の位置の少なくとも1つを含む前記視点情報を算出する
請求項2に記載の画像処理装置。 - 前記表示制御部は、前記表示機構を制御し、前記被写体の視点から右眼のみで視認可能な位置に右眼用2次元画像を表示させ、前記被写体の視点から左眼のみで視認可能な位置に左眼用2次元画像を表示させる
請求項1に記載の画像処理装置。 - 前記表示制御部は、前記表示機構を制御し、右眼用2次元画像及び左眼用2次元画像を表示する表示画面から、前記被写体の視点から右眼のみで視認可能な前記右眼用2次元画像と、前記被写体の視点から左眼のみで視認可能な前記左眼用2次元画像とをそれぞれ分離させる
請求項1に記載の画像処理装置。 - 前記表示機構は、パララックスバリア又はレンチキュラーレンズである
請求項7に記載の画像処理装置。 - 前記第1の波長λ1、及び前記第2の波長λ2は、
640nm ≦ λ1 ≦ 1000nm
900nm ≦ λ2 ≦ 1100nm
を満たす請求項1に記載の画像処理装置。 - 前記第1の照射部は、前記第1の波長λ1の不可視光を照射し、
前記第2の照射部は、前記第2の波長λ2の不可視光を照射する
請求項9に記載の画像処理装置。 - 前記撮像部には、前記撮像部に入射される可視光を遮断する可視光カットフィルタが設けられている
請求項1に記載の画像処理装置。 - 被写体に対して、第1の波長の光を照射する第1の照射部と、前記被写体に対して、前記第1の波長よりも長波長である第2の波長の光を照射する第2の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置の画像処理方法において、
前記画像処理装置による、
前記第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出ステップと、
検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出ステップと、
前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御ステップと
を含む画像処理方法。 - 被写体に対して、第1の波長の光を照射する第1の照射部と、前記被写体に対して、前記第1の波長よりも長波長である第2の波長の光を照射する第2の照射部と、前記被写体の撮像を行なう撮像部とを含む画像処理装置のコンピュータを、
前記第1の波長の光を照射させたときの撮像で得られる第1の撮像画像、及び前記第2の波長の光を照射させたときの撮像で得られる第2の撮像画像に基づいて、前記被写体の肌又は眼の少なくとも一方を表す部位領域を検出する検出部と、
検出された前記部位領域を少なくとも含む算出用領域から、前記被写体の視点に関する視点情報を算出する算出部と、
前記視点情報に応じて、前記被写体に画像を立体的に視認させるための表示機構を制御する表示制御部と
して機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011197793A JP2013062560A (ja) | 2011-09-12 | 2011-09-12 | 画像処理装置、画像処理方法、及びプログラム |
US13/599,001 US20130063564A1 (en) | 2011-09-12 | 2012-08-30 | Image processor, image processing method and program |
CN2012103263160A CN103179412A (zh) | 2011-09-12 | 2012-09-05 | 图像处理器、图像处理方法以及程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011197793A JP2013062560A (ja) | 2011-09-12 | 2011-09-12 | 画像処理装置、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013062560A true JP2013062560A (ja) | 2013-04-04 |
Family
ID=47829512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011197793A Withdrawn JP2013062560A (ja) | 2011-09-12 | 2011-09-12 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130063564A1 (ja) |
JP (1) | JP2013062560A (ja) |
CN (1) | CN103179412A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021124709A1 (ja) * | 2019-12-19 | 2021-06-24 | ソニーグループ株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109922966B (zh) * | 2016-11-15 | 2021-04-06 | 索尼公司 | 绘图装置和绘图方法 |
-
2011
- 2011-09-12 JP JP2011197793A patent/JP2013062560A/ja not_active Withdrawn
-
2012
- 2012-08-30 US US13/599,001 patent/US20130063564A1/en not_active Abandoned
- 2012-09-05 CN CN2012103263160A patent/CN103179412A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021124709A1 (ja) * | 2019-12-19 | 2021-06-24 | ソニーグループ株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20130063564A1 (en) | 2013-03-14 |
CN103179412A (zh) | 2013-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10049272B2 (en) | User authentication using multiple capture techniques | |
JP2013516882A (ja) | 立体視眼鏡を認識する装置および方法、ならびに、立体視ビデオストリームの表示を制御する方法 | |
US9286819B2 (en) | Display device, display method, integrated circuit, and program | |
KR102091055B1 (ko) | 헤드 마운트 디스플레이 | |
US9838673B2 (en) | Method and apparatus for adjusting viewing area, and device capable of three-dimension displaying video signal | |
JPH10510686A (ja) | ステレオスコープディスプレイシステムのトラッキングシステム | |
US10061384B2 (en) | Information processing apparatus, information processing method, and program | |
US9477305B2 (en) | Stereoscopic image display apparatus and computer-readable recording medium storing program thereon | |
JP2010154533A (ja) | 立体画像表示装置及びその制御方法 | |
JP5343156B1 (ja) | 検出装置、検出方法および映像表示装置 | |
US20100259598A1 (en) | Apparatus for detecting three-dimensional distance | |
WO2012124150A1 (ja) | 映像表示装置 | |
JP7218376B2 (ja) | 視線追跡方法および装置 | |
JP2017009986A (ja) | 画像投影装置 | |
US20140176580A1 (en) | Providing multiple viewer preferences on a display device | |
US20210034151A1 (en) | Electronic device, control method, and non-transitory computer readable medium | |
KR20200035003A (ko) | 정보 처리 장치, 정보 처리 방법, 및 프로그램 | |
JP2013062560A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2014023538A1 (en) | Safety feature for projection subsystem using laser technology | |
US20240031551A1 (en) | Image capturing apparatus for capturing a plurality of eyeball images, image capturing method for image capturing apparatus, and storage medium | |
JP2011139339A (ja) | 立体画像表示装置 | |
JP2012147328A (ja) | 表示装置、表示システム、表示装置の制御方法、制御プログラム、及び記録媒体 | |
US10928894B2 (en) | Eye tracking | |
US20230098951A1 (en) | Method of displaying content by augmented reality device and augmented reality device for displaying content | |
US20230085129A1 (en) | Electronic device and operating method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20141202 |