JP2012191483A - 映像表示装置 - Google Patents

映像表示装置 Download PDF

Info

Publication number
JP2012191483A
JP2012191483A JP2011053992A JP2011053992A JP2012191483A JP 2012191483 A JP2012191483 A JP 2012191483A JP 2011053992 A JP2011053992 A JP 2011053992A JP 2011053992 A JP2011053992 A JP 2011053992A JP 2012191483 A JP2012191483 A JP 2012191483A
Authority
JP
Japan
Prior art keywords
moving image
user
image
dimensional moving
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011053992A
Other languages
English (en)
Other versions
JP5110182B2 (ja
Inventor
Tatsuya Murakami
達哉 村上
Atsushi Irie
淳 入江
Shun Sakai
俊 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2011053992A priority Critical patent/JP5110182B2/ja
Priority to EP11860815.7A priority patent/EP2685447B1/en
Priority to PCT/JP2011/056907 priority patent/WO2012124150A1/ja
Priority to KR1020137020741A priority patent/KR101478937B1/ko
Priority to CN201180068787.XA priority patent/CN103415882B/zh
Priority to US13/984,975 priority patent/US20140002620A1/en
Publication of JP2012191483A publication Critical patent/JP2012191483A/ja
Application granted granted Critical
Publication of JP5110182B2 publication Critical patent/JP5110182B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/08Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】動画像の表示を見る利用者の利用状況に適した態様の画像を自動的に選択して表示する。
【解決手段】3次元動画像の表示が可能な表示部10を有する装置にカメラ15および画像処理装置100を組み込み、カメラ15により表示部10の前にいる利用者を撮像する。生成された画像は、画像処理装置100に入力され、前処理部102および顔検出部103により画像から利用者の顔が検出される。画像選択処理104は、検出された顔の特徴を分析することにより利用者の利用状況を推定し、その推定結果に基づき2次元および3次元の動画像の一方を選択する。この選択結果は映像信号処理回路12に与えられ、選択された動画像の映像信号が表示部10に出力される。
【選択図】図1

Description

本発明は、3次元の動画像および2次元の動画像のいずれかを切り替えて表示する表示部を有する映像表示装置に関する。
近年、偏光フィルタ付きのメガネを用いることなく、3次元画像を視認することができる映像表示装置が開発され、テレビジョン装置やゲーム機などでの形態で実用化されはじめている。
この種の映像表示装置の従来例として、たとえば特許文献1には、映像表示面の前面にシリンドリカルレンズによるレンズアレイを配置し、各レンズにより左目用の画像と右目用の画像とを分けて、前者を左目に後者を右目にそれぞれ入射させる方式(レンチキュラー方式)を採用した装置が開示されている。また、特許文献2には、右目用の画像と左目用の画像とを表示パネルの面内に規則的に混在させ、各画像の前方にそれぞれ異なる方向への偏光状態を設定するための位相素子を設けると共に、各位相素子の境界位置に凸状の遮光部を形成した構成の装置が開示されている。
また特許文献3には、3次元画像と2次元画像とを切り替えて表示する機能を具備すると共に、表示を観察している観察者を撮像するための撮像装置が設けられた映像表示装置が開示されている。また特許文献3には、撮像装置により生成された画像から観察者の両目の並びを検出し、両目の並びが所定の角度以上傾いている場合には、3次元画像の表示から2次元画像の表示に切り替えることが記載されている。
特開2001−133727号公報 特開2010−32677号公報 特開平11−234703号公報
3次元動画像は、見る人に大きなインパクトを与え、2次元動画像では得られない楽しみを得ることができるが、目や脳への負担が大きいことが問題となる。このため低年齢(特に10歳未満)の子供には3次元表示を見せない方が望ましいとされ、大人であっても、疲れているときには見ない方が望ましいとされている。
また、3次元動画像が表示されている場合でも、その表示を見る利用者の位置や姿勢が適切でないと、立体認識を十分に体験することができない。また利用者の疲労も大きくなる。このため3次元動画像を観視する場合には、表示部から一定の距離だけ離れた場所から表示を見ることが推奨されている。また3次元の動画像の表示に対して利用者が顔や視線をまっすぐに向けた姿勢をとらない場合には、立体認識に支障が生じる可能性がある。
このように、3次元動画像を観視するのに適切でない状況が考えられるので、画像を見る利用者の状況に応じて3次元動画像および2次元動画像のいずれを表示するかを選択するのが望ましい。しかし、一般の利用者に表示の選択のための操作をさせると、煩雑な思いをさせてしまう。また3次元の表示に適切な状況ではないのに3次元の表示が選択され、その結果、健康を害するなどの問題が生じるおそれもある。
特許文献3に記載された発明は、両目の並び方向が表示部の水平ラインに沿っているかどうかによって3次元の表示と2次元の表示とを切り替えるものであるが、このような方法では、上記に掲げた種々の問題のうち利用者の顔や視線の方向に関する問題に対応できるにすぎない。しかも特許文献3による方法では、両目の並び方向が水平であれば、表示部に対して利用者が顔を横に向けていても3次元の表示がされてしまう。したがって利用者の姿勢に応じた表示の切替の精度が十分に得られるとは考えにくい。
本発明は上記の問題に着目し、動画像の表示を見る利用者の利用状況を精度良く推定し、その推定結果に基づき利用者の現在の状況に適した態様の画像を自動的に選択して表示することを課題とする。
本発明による映像表示装置は、3次元動画像および2次元動画像のいずれかを切り替えて表示する表示部と、表示部の前方に位置する利用者を撮像するための撮像手段と、撮像手段により生成された画像から利用者の顔面を検出する顔検出手段と、顔検出手段により検出された顔の特徴を分析することにより利用者の利用状況を推定し、その推定結果に基づき3次元および2次元のいずれの動画像を表示するかを選択する画像選択手段と、画像選択手段により選択された動画像を表示部に出力する表示制御手段とを、具備する。
上記の構成によれば、利用者の顔の特徴を分析した結果に基づき利用者の利用状況を推定し、3次元の動画像を表示しても良い利用状況であると推定された場合には3次元動画像を表示し、3次元動画像を表示するのに適さない利用状況であると推定された場合には2次元動画像が表示される。よって、利用者に負担をかけることなく、利用状況に適した表示を行うことが可能になる。
上記映像表示装置の第1の実施形態では、画像選択手段は、顔検出手段により検出された顔の大きさおよび各顔器官の間の距離の少なくとも一方に基づき、表示部に対する利用者の位置を推定し、推定された位置があらかじめ定めた基準の範囲に含まれる場合には3次元動画像を選択し、推定された位置が基準範囲から外れる場合には2次元動画像を選択する。この構成によれば、利用者が立体認識を体験するのに適した場所で表示部を見ている場合には3次元動画が表示されるが、利用者が表示部に近づきすぎた場合や表示部からかなり離れた場所にいる場合には、2次元の動画が表示される。
上記映像表示装置の第2の実施形態では、画像選択手段は、顔検出手段による顔器官の検出結果に基づき、利用者が表示部を正面視しているか否かを推定し、正面視していると推定した場合には3次元の動画像を選択し、正面視していないと推定した場合には2次元動画像を選択する。この構成によれば、利用者の顔や目が立体認識を体験するのに適した方向を向いている場合には3次元動画像が表示され、その他の場合には2次元動画像が表示される。
上記映像表示装置の第3の実施形態では、画像選択手段は、顔検出手段により検出された顔の特徴から利用者の年齢を推定し、推定された年齢があらかじめ定めた基準の年齢以上である場合には3次元動画像を選択し、推定された年齢が基準の年齢未満である場合には2次元動画像を選択する。この構成によれば、低年齢の子供が表示を見ている場合に3次元動画像が表示されるのを防ぐことができる。
上記映像表示装置の第4の実施形態では、画像選択手段は、所定の時間内に顔検出手段により検出された顔の変化に基づき利用者が疲労しているか否かを推定し、利用者は疲れていないと推定した場合には3次元動画像を選択し、利用者は疲れていると推定した場合には2次元動画像を選択する。この構成によれば、瞬きや眼球の動きの増加やあくびなど、疲れを示す変化が利用者の顔に生じた場合には、3次元動画像が表示されないようにすることができる。
本発明による映像表示装置は、テレビジョン装置、ゲーム機、パーソナルコンピュータなどの形態で提供することができる。
本発明によれば、利用者の顔の特徴から利用状況を推定し、その推定結果に基づいて3次元および2次元のいずれの動画像を表示するかを選択するので、利用者に負担をかけることなく、利用状況に適した動画像を自動的に選択して表示することが可能になる。また利用状況が変化した場合にも、それに応じて表示を切り替えることができる。
本発明が適用されたテレビジョン装置の構成を示すブロック図である。 画像選択処理の第1の例を示すフローチャートである。 画像選択処理の第2の例を示すフローチャートである。 画像選択処理の第3の例を示すフローチャートである。 画像選択処理の第4の例を示すフローチャートである。
図1は、本発明が適用されたテレビジョン装置の構成例を示す。
このテレビジョン装置は、3次元の動画像を表示することが可能な表示部10を備えるほか、受信回路11、映像信号処理回路12、音声回路13、スピーカ14などを基本構成として具備する。
受信回路11は、図示しないアンテナが放送局から受信した信号を受け付け、この信号から2次元動画像および3次元動画像の映像信号や音声信号を復調する。各映像信号は映像信号処理回路12に入力され、この回路12でいずれか一方の映像信号を選択して表示部10に出力する。音声信号は、音声回路13からスピーカ14へと出力される。これらの処理により、受信した番組の2次元または3次元の動画像が表示部10に表示されると同時に、スピーカ14から表示中の画像に対応する音声が出力される。
この実施例のテレビジョン装置には、映像信号処理回路12に処理させる画像を選択するための手段として、カメラ15および画像処理装置100が組み込まれる。
カメラ15はディジタルビデオカメラであって、そのレンズは、テレビジョン装置の本体の前面側の適所に固定される。画像処理装置100は、カメラ15に対するインターフェース回路やマイクロコンピュータが搭載された基板の形態をとり、コンピュータに組み込まれたプログラムにより、画像入力部101、前処理部102、顔検出部103、画像選択処理部104などの機能が設定される。
画像入力部101は、一定時間毎にカメラ15から画像を取り込み、図示しないメモリに格納する。前処理部102は、入力された画像中の色彩などから利用者の顔が含まれる範囲を処理対象領域として検出し、この領域内の画像から顔検出に用いる特徴点や特徴量を抽出する。顔検出部103は、前処理部102による処理結果に基づき処理対象領域から利用者の顔および顔器官を検出する。なお、前処理部102や顔検出部103による処理には既存の顔検出技術を適用することができるので、詳細な説明は省略する。
画像選択処理部104は、顔検出部103により検出された顔の特徴を用いて視聴中の利用者の利用状況を推定し、この推定結果に基づき2次元動画像および3次元動画像のうち、利用者の利用状況から考えて表示に適していると思われる画像を選択する。選択結果は映像信号処理回路12に与えられ、選択された動画像の映像信号が表示部10へと出力される。
以下、画像選択処理部104により実行される処理の具体例として、4つの実施例を提示し、各実施例における処理内容を、それぞれ図2〜図5を参照して説明する。
<実施例1>
この実施例は、利用者が立体認識に適した場所にいる場合に3次元動画像を表示することを目的とする。具体的にこの実施例では、表示部10の画面の高さの3倍の距離を3次元動画像の観視に適した距離(以下、「標準観視距離」という。)であるとし、あらかじめ相当数の人物の画像を分析して、利用者が表示部から標準観視距離だけ離れた場所にいる場合に得られる顔画像の大きさおよび各顔器官(目、眉、鼻、口)の間の距離(左右の目の間の距離、左右の眉の間の距離を含む。)の基準データを取得する。図2に示すフローチャートは、これらの基準データが画像処理装置100に登録されていることを前提に実施される。
この処理の最初のステップS11では、顔検出部103により検出された顔画像の画素数を計数する方法により当該顔画像の面積を計測する。またステップS12では、各顔器官の間の距離を計測する。
ステップS13では、ステップS11,S12の処理により得た各計測値をそれぞれ対応する基準データと照合し、基準データとの差が所定の許容値以内となる計測データを抽出する。
ステップS14では、ステップS13の処理により抽出されたデータの数に基づき利用者の位置を推定する。たとえば、抽出データ数があらかじめ定めたしきい値を上回る場合には、利用者は立体認識に適した場所にいると推定する。この場合にはステップS15が「YES」となってステップS16に進み、3次元動画像を選択する。
一方、抽出データ数がしきい値以下の場合には、利用者は立体認識に適さない場所にいると推定する。この場合にはステップS15が「NO」となってステップS17に進み、2次元動画像を選択する。
なお、上記の実施例では、利用者の顔の大きさおよび顔器官の間の距離の2種類のパラメータを用いた推定処理を行ったが、いずれか一方のパラメータのみを用いてもよい。一方で推定の精度を向上するために、利用者の顔のほか、体部分のサイズなどを推定処理の要素に加えてもよい。また利用者の場所をより高い精度で求めたい場合には、カメラ15をステレオカメラとし、顔の特徴を対象に3次元計測を行ってもよい。
上記の処理によれば、利用者が標準観視距離に対応する場所付近にいる場合にのみ3次元動画像が表示され、利用者が標準観視距離に対応する場所より表示部10に近づいた場合や標準観視距離に対応する場所より遠くにいる場合には2次元動画像が表示される。よって、3次元動画像が表示される場合には、利用者は、安定して立体認識を体験することができる。
ただし、利用者の位置が適切でないと推定された場合でも、画像の表示範囲の調整により利用者の位置を適切な状態にできるのであれば、その調整を行って3次元動画像を表示してもよい。たとえば、ステップS13で抽出されたデータ数がしきい値以下であるが、各計測データが基準データより大きい場合には、利用者が標準観視距離に対応する場所より表示部に近い場所にいるとみなして、表示部における画像の表示範囲を狭め、その範囲内に3次元動画像を表示してもよい。
<実施例2>
3次元動画像が表示されているときに利用者が立体認識を体験するには、利用者の右目に右目用の画像が入射し、左目に左目用の画像が入射するように、視線の方向や顔の向きが調整されている必要がある。この点に鑑み、実施例2では、表示部10に対する利用者の視線の方向や顔の向きを推定し、その推定結果に基づいて表示対象の画像を選択する。
具体的な処理手順を図3を用いて説明する。この処理の最初のステップS21では、顔検出部103による処理結果に基づき、顔器官毎にその顔器官を含む範囲の座標を計測する。ステップS22では、左右の黒目の位置(たとえば重心の座標)を計測する。
ステップS23では、ステップS21,S22の処理により取得した計測データを用いて利用者の視線の方向や顔面の向きを推定する。たとえば、左右の目や眉の鼻に対する距離を計測し、左右の距離がほぼ等しい場合には、利用者の顔は正面を表示部10に向けた状態にあると推定し、左右の距離が異なる場合には、顔は表示部10の横手を向いていると推定する。また顔の正面が表示部10を向いていると推定された場合には、目の範囲全体に対する黒目の位置関係から、視線が正面を向いているか、斜めを向いているかを推定する。
これらの推定結果から利用者が表示部10を正面視していると推定した場合には、ステップS24が「YES」となってステップS25に進み、3次元動画像を選択する。一方、利用者が表示部10を正面視していないという推定結果が得られた場合には、ステップS24は「NO」となってステップS26に進み、2次元動画像を選択する。
上記の実施例2によれば、利用者の視線方向や顔の向きが立体認識を得るのに適した状態である場合にのみ3次元の動画像が表示されるので、利用者は自然に正しい姿勢をとって視聴するようになる。
なお、この実施例2は実施例1と合わせて実施してもよい。この場合には、利用者が立体認識に適した場所で表示部10を正面視している場合に3次元動画像が表示され、それ以外の場合には2次元動画像が表示されることになる。
<実施例3>
この実施例では、顔の検出結果から利用者の年齢を推定し、その推定結果に基づいて表示する動画像を選択する。
3次元の動画像の表示は、目や脳に負担をかけるため、10歳未満の子供に見せるべきではないとされている。この点に鑑み、この実施例では、利用者の推定年齢が10歳未満の場合には2次元動画像が選択されるようにする。そのためにこの実施例では、あらかじめ0〜9歳の子供の顔のサンプル画像を相当数解析して、これらの年齢層の子供の顔を検出するのに適した特徴データを数種類選択し(たとえば白目や唇の色彩、顔全体における肌の色のばらつき度合いなど)、データの種類毎に、その特徴データの値の確率分布曲線を求める。
図4に示す処理は、これらの確率分布曲線が画像処理装置100に登録されていることを前提に実施されるもので、まずステップS31において、顔検出部103により検出された顔画像を詳細に処理して、各種特徴データを計測する。ステップS32では、抽出された特徴データをそれぞれ登録されている確率分布曲線と照合し、利用者が10歳未満である可能性を推定する。たとえば特徴データの種類毎に、対応する確率分布曲線に基づき、当該特徴データが10歳未満の子供に適合する確率を求め、各確率の平均値を所定のしきい値と比較する。
上記の処理により利用者が10歳未満であると推定された場合には、ステップS33が「YES」となってステップS35に進み、2次元動画像を選択する。一方、利用者が10歳以上であると推定された場合には、ステップS33が「NO」となってステップS34に進み、3次元動画像を選択する。
上記の処理によれば、10歳未満の子供が視聴している場合に3次元動画像が表示されるのを防ぐことができるので、低年齢の子供の健康を守ることができる。
なお、顔検出部103による処理で複数人の顔が検出された場合には、検出された顔毎にステップS31〜S33を実行し、一人でも10歳未満であると推定された場合には2次元動画像を選択するのが望ましい。このようにすれば、たとえば低年齢の子供が親と一緒に視聴しているような場合には、子供に合わせた表示を行うことができる。
また、あらかじめ3次元動画像を観視するのに適さない利用者の顔画像を登録している場合には、図4の処理に代えて、登録された顔画像が検出された場合には2次元動画像を選択し、それ以外の場合には3次元動画像を選択してもよい。
<実施例4>
上記したように、3次元の動画像の表示は目や脳に負担をかけるので、成人であっても疲れている場合には見ない方が良いとされている。この点に鑑み、この実施例では、顔検出部103により検出された顔の動きに基づき利用者が疲れているかどうかを推定し、その推定結果に適した画像を選択するようにしている。
図5を参照して具体的な処理の手順を説明する。この実施例では、一定長さの期間における目の検出結果の推移を解析して、目の開閉回数および眼球が動く回数を計測する(ステップS41)。目の開閉回数は瞬きの頻度を示し、眼球が動く回数は視線が不安定になっている度合いを示す。よってこの実施例では、上記の計測データを利用者の疲労を推定するためのパラメータとして使用する。
ステップS42では、ステップS41で求めた各計数データを用いて利用者が疲れているかどうかを推定する。たとえば、各計数データをそれぞれあらかじめ登録された基準データと比較し、いずれか一方の計数データが基準データを上回った場合には、利用者が疲れていると推定する。
また図5には示していないが、ステップS41の処理に並列させて、利用者の疲れを示す動作を検出する処理を実行し、その検出結果を加味した推定処理を行うこともできる。たとえば、口が所定時間以上開放される動きをあくびとして検出したり、目のそばに手の指の特徴が現れたことを目をこする動作として検出し、これらの動きが検出された場合には利用者が疲れていると推定してもよい。
上記の推定処理により利用者は疲れていないと推定した場合には、ステップS43が「NO」となってステップS44に進み、3次元動画像を選択する。一方、利用者が疲れていると推定した場合には、ステップS43が「YES」となってステップS45に進み、2次元動画像を選択する。
上記の実施例によれば、利用者が疲れている場合に3次元動画像が表示されるのを防ぐことができるので、利用者の健康を守ることが可能になる。なお、この実施例でも複数人の顔が検出された場合には、各人毎にステップS41およびS42を実行し、疲れていると判定された人が一人でもいる場合には2次元動画像を選択するのが望ましい。
上記図2〜図5に示した処理は、いずれも一定の時間おきに繰り返し実施される。よって、最初は3次元動画像が表示されていても、その後の利用状況が3次元動画像の表示に適さない状態になった場合には、表示は2次元動画像を表示するものに切り替えられる。よって、利用者の位置や姿勢が変わったり、利用者が別の人に代わった場合にも、速やかにその変更に対応することができる。
ただし、画像の表示の切り替えは、推定結果が変動したことに応じてすぐに行うのではなく、変動後に同じ推定結果が所定回数以上続いたことをもって表示を切り替えてもよい。このようにすれば、たとえば、第1実施例や第2実施例において3次元動画像が表示されている場合に、利用者が少し移動したり、顔の向きを変えたりした場合でも、その動作の変更の期間が僅かであれば、3次元動画像の表示を維持することができる。
第3実施例や第4実施例において、3次元動画像を選択している状態から、2次元動画像を選択すべき状態に変動したと推定された場合には、第2実施例(図3)のステップS21〜S23と同様の処理により利用者の顔や視線の向きを推定し、利用者が表示部10を正面視していないと推定された場合には、3次元動画像の選択を維持してもよい。
また、いずれの実施例でも、検出された顔の目が閉じた状態が所定時間以上続いた場合には、利用者は居眠り中であると判断し、推定処理を中止して、選択中の画像の表示を維持してもよい。
10 表示部
12 映像信号処理回路
15 カメラ
100 画像処理装置
101 画像入力部
102 前処理部
103 顔検出部
104 画像選択処理部
本発明、3次元動画像および2次元動画像のいずれかを切り替えて表示する表示部と、表示部の前方に位置する利用者を撮像するための撮像手段と、撮像手段により生成された画像から利用者の顔面を検出する顔検出手段と、顔検出手段により検出された顔の特徴を分析することにより利用者の利用状況を推定し、その推定結果に基づき3次元および2次元のいずれの動画像を表示するかを選択する画像選択手段と、画像選択手段により選択された動画像を表示部に出力する表示制御手段とを、具備する映像表示装置に適用される。
本発明による映像表示装置では、画像選択手段は、顔検出手段により検出された顔の大きさおよび各顔器官の間の距離を計測して各計測データに基づき表示部に対する利用者の位置を推定し、推定された位置があらかじめ定めた基準の範囲に含まれる場合には3次元動画像を選択し、推定された位置が基準範囲から外れる場合には2次元動画像を選択する。また、本発明の一実施形態にかかる映像表示装置は、表示部からあらかじめ定めた基準の距離だけ離れた場所に利用者がいる場合に撮像手段により生成される画像から検出される顔の大きさおよび各顔器官の間の距離につき、それぞれ複数人の人物の画像を分析することにより設定された基準データが登録される登録手段を、さらに具備すると共に、画像選択手段は、顔の大きさおよび各顔器官の間の距離につき求めた複数の計測データを、それぞれ前記登録手段内の対応する基準データと照合して基準データに対する差が所定の許容値以内となる計測データを抽出し、抽出された計測データの数があらかじめ定めたしきい値を上回る場合には3次元動画像を選択し、抽出された計測データの数が前記しきい値を下回る場合には2次元動画像を選択する。
本発明によれば、利用者が立体認識を体験するのに適した場所で表示部を見ている場合には3次元動画が表示されるが、利用者が表示部に近づきすぎた場合や表示部からかなり離れた場所にいる場合には、2次元の動画が表示される。
上記映像表示装置の第2の実施形態では、画像選択手段は、顔検出手段による顔器官の検出結果に基づいて利用者が表示部を正面視しているか否かを推定する処理をさらに実行し、利用者の位置が前記基準の範囲に含まれるが利用者が表示部を正面視していないと推定された場合に2次元動画像を選択する。この構成によれば、利用者が立体認識を体験するのに適した場所に位置していても利用者の顔や目が立体認識を体験するのに適した方向を向いていない場合には、2次元動画像が表示される。
他の構成の映像表示装置では、画像選択手段は、顔検出手段により検出された顔の特徴から利用者の年齢を推定し、推定された年齢があらかじめ定めた基準の年齢以上である場合には3次元動画像を選択し、推定された年齢が基準の年齢未満である場合には2次元動画像を選択する。この構成によれば、低年齢の子供が表示を見ている場合に3次元動画像が表示されるのを防ぐことができる。
さらに他の構成の映像表示装置では、画像選択手段は、所定の時間内に顔検出手段により検出された顔の変化に基づき利用者が疲労しているか否かを推定し、利用者は疲れていないと推定した場合には3次元動画像を選択し、利用者は疲れていると推定した場合には2次元動画像を選択する。この構成によれば、瞬きや眼球の動きの増加やあくびなど、疲れを示す変化が利用者の顔に生じた場合には、3次元動画像が表示されないようにすることができる。
本発明によれば、利用者が立体認識を体験するのに適した場所にいる場合には3次元動画が表示され、利用者が立体認識を体験するのに適していない場所にいる場合には2次元動画が表示されるので、利用者に負担をかけることなく、利用状況に適した動画像を自動的に選択して表示することが可能になる。また利用者の位置が変化した場合にも、それに応じて表示を切り換えることができる。
本発明、3次元動画像および2次元動画像のいずれかを切り替えて表示する表示部と、撮像手段により生成された画像から利用者の顔面を検出する顔検出手段と、顔検出手段により検出された顔の特徴を分析することにより利用者の利用状況を推定し、その推定結果に基づき3次元および2次元のいずれの動画像を表示するかを選択する画像選択手段と、画像選択手段により選択された動画像を表示部に出力する表示制御手段とを、具備する映像表示装置に適用される。
本発明による映像表示装置では、画像選択手段は、顔検出手段により検出された顔の大きさおよび各顔器官の間の距離を計測して各計測データに基づき表示部に対する利用者の位置を推定し、推定された位置があらかじめ定めた基準の範囲に含まれる場合には3次元動画像を選択し、推定された位置が基準範囲から外れる場合には2次元動画像を選択する。また、本発明の一実施形態にかかる映像表示装置は、表示部からあらかじめ定めた基準の距離だけ離れた場所に利用者がいる場合に撮像手段により生成される画像から検出される顔の大きさおよび各顔器官の間の距離につき、それぞれ複数人の人物の画像を分析することにより設定された基準データが登録される登録手段を、さらに具備すると共に、画像選択手段は、顔の大きさおよび各顔器官の間の距離につき求めた複数の計測データを、それぞれ前記登録手段内の対応する基準データと照合して基準データに対する差が所定の許容値以内となる計測データを抽出し、抽出された計測データの数があらかじめ定めたしきい値を上回る場合には、利用者の位置が前記基準の範囲に含まれると推定し、抽出された計測データの数が前記しきい値を下回る場合には、利用者の位置が前記基準の範囲から外れると推定する。
本発明によれば、利用者が立体認識を体験するのに適した場所で表示部を見ている場合には3次元動画が表示されるが、利用者が表示部に近づきすぎた場合や表示部からかなり離れた場所にいる場合には、2次元の動画が表示される。

Claims (5)

  1. 3次元動画像および2次元動画像のいずれかを切り替えて表示する表示部と、
    撮像手段により生成された画像から利用者の顔面を検出する顔検出手段と、
    顔検出手段により検出された顔の特徴を分析することにより利用者の利用状況を推定して、その推定結果に基づき3次元および2次元のいずれの動画像を表示するかを選択する画像選択手段と、
    画像選択手段により選択された動画像を前記表示部に出力する表示制御手段とを、具備する映像表示装置。
  2. 前記画像選択手段は、顔検出手段により検出された顔の大きさおよび各顔器官の間の距離の少なくとも一方に基づき、表示部に対する利用者の位置を推定し、推定された位置があらかじめ定めた基準の範囲に含まれる場合には3次元動画像を選択し、推定された位置が前記基準範囲から外れる場合には2次元動画像を選択する、請求項1に記載された映像表示装置。
  3. 前記画像選択手段は、顔検出手段による顔器官の検出結果に基づき、利用者が表示部を正面視しているか否かを推定し、正面視していると推定した場合には3次元動画像を選択し、正面視していないと推定した場合には2次元動画像を選択する、請求項1に記載された映像表示装置。
  4. 前記画像選択手段は、顔検出手段により検出された顔の特徴から利用者の年齢を推定し、推定された年齢があらかじめ定めた基準の年齢以上である場合には3次元動画像を選択し、推定された年齢が基準の年齢未満である場合には2次元動画像を選択する、請求項1に記載された映像表示装置。
  5. 前記画像選択手段は、所定の時間内に顔検出手段により検出された顔の変化に基づき利用者が疲労しているか否かを推定し、利用者は疲れていないと推定した場合には3次元動画像を選択し、利用者は疲れていると推定した場合には2次元の動画像を選択する、請求項1に記載された映像表示装置。
JP2011053992A 2011-03-11 2011-03-11 映像表示装置 Active JP5110182B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2011053992A JP5110182B2 (ja) 2011-03-11 2011-03-11 映像表示装置
EP11860815.7A EP2685447B1 (en) 2011-03-11 2011-03-23 Video display device
PCT/JP2011/056907 WO2012124150A1 (ja) 2011-03-11 2011-03-23 映像表示装置
KR1020137020741A KR101478937B1 (ko) 2011-03-11 2011-03-23 영상 표시 장치
CN201180068787.XA CN103415882B (zh) 2011-03-11 2011-03-23 视频显示装置
US13/984,975 US20140002620A1 (en) 2011-03-11 2011-03-23 Video display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011053992A JP5110182B2 (ja) 2011-03-11 2011-03-11 映像表示装置

Publications (2)

Publication Number Publication Date
JP2012191483A true JP2012191483A (ja) 2012-10-04
JP5110182B2 JP5110182B2 (ja) 2012-12-26

Family

ID=46830259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011053992A Active JP5110182B2 (ja) 2011-03-11 2011-03-11 映像表示装置

Country Status (6)

Country Link
US (1) US20140002620A1 (ja)
EP (1) EP2685447B1 (ja)
JP (1) JP5110182B2 (ja)
KR (1) KR101478937B1 (ja)
CN (1) CN103415882B (ja)
WO (1) WO2012124150A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019163272A1 (ja) * 2018-02-23 2019-08-29 ソニー株式会社 表示装置、表示方法およびコンピュータプログラム
US10627897B2 (en) 2017-12-04 2020-04-21 Fujitsu Limited Head mounted display, display control device, processing method, display method, and storage medium
JP2021068977A (ja) * 2019-10-21 2021-04-30 Tianma Japan株式会社 立体視表示システム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150093014A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US20150254043A1 (en) * 2014-03-04 2015-09-10 Sung Jae Hwang Display property determination
KR102250821B1 (ko) 2014-08-20 2021-05-11 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치 동작 방법
US10515284B2 (en) * 2014-09-30 2019-12-24 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
US20170132466A1 (en) 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US10984235B2 (en) 2016-12-16 2021-04-20 Qualcomm Incorporated Low power data generation for iris-related detection and authentication
US10614332B2 (en) 2016-12-16 2020-04-07 Qualcomm Incorportaed Light source modulation for iris size adjustment
CN110178142B (zh) * 2017-01-23 2023-06-06 高通股份有限公司 单一处理器计算机视觉硬件控制和应用执行

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11234703A (ja) * 1998-02-09 1999-08-27 Toshiba Corp 立体表示装置
JP2006113534A (ja) * 2004-09-16 2006-04-27 Ricoh Co Ltd 画像表示装置、画像表示制御方法、プログラム及び情報記録媒体
JP2007052304A (ja) * 2005-08-19 2007-03-01 Mitsubishi Electric Corp 映像表示システム
WO2007088779A1 (ja) * 2006-02-03 2007-08-09 Pioneer Corporation 立体的二次元画像表示装置
WO2009081239A1 (en) * 2007-12-20 2009-07-02 Sony Ericsson Mobile Communications Ab System and method for dynamically changing a display
JP2010102235A (ja) * 2008-10-27 2010-05-06 V-Sync Co Ltd 電子広告システム
JP2010259017A (ja) * 2009-04-28 2010-11-11 Nikon Corp 表示装置、表示方法、および表示プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757422B1 (en) * 1998-11-12 2004-06-29 Canon Kabushiki Kaisha Viewpoint position detection apparatus and method, and stereoscopic image display system
JP2001133727A (ja) 1999-11-04 2001-05-18 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
JP3923434B2 (ja) * 2003-01-28 2007-05-30 株式会社ソフィア 画像表示装置
US20060139448A1 (en) * 2004-12-29 2006-06-29 Samsung Electronics Co., Ltd. 3D displays with flexible switching capability of 2D/3D viewing modes
JP4582219B2 (ja) 2008-07-28 2010-11-17 ソニー株式会社 立体画像表示装置およびその製造方法
JP5514219B2 (ja) * 2008-10-28 2014-06-04 コーニンクレッカ フィリップス エヌ ヴェ 三次元表示システム
JP4793451B2 (ja) * 2009-01-21 2011-10-12 ソニー株式会社 信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラム
JP2011028633A (ja) * 2009-07-28 2011-02-10 Sony Corp 情報処理装置及び方法、並びに、プログラム
JP5299214B2 (ja) * 2009-10-20 2013-09-25 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2012041371A1 (en) * 2010-09-29 2012-04-05 Brainlab Ag Method and device for controlling appartus
KR101292513B1 (ko) * 2010-11-22 2013-08-01 가부시끼가이샤 도시바 입체 화상 표시 장치, 입체 화상 표시 방법 및 입체 화상 결정 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11234703A (ja) * 1998-02-09 1999-08-27 Toshiba Corp 立体表示装置
JP2006113534A (ja) * 2004-09-16 2006-04-27 Ricoh Co Ltd 画像表示装置、画像表示制御方法、プログラム及び情報記録媒体
JP2007052304A (ja) * 2005-08-19 2007-03-01 Mitsubishi Electric Corp 映像表示システム
WO2007088779A1 (ja) * 2006-02-03 2007-08-09 Pioneer Corporation 立体的二次元画像表示装置
WO2009081239A1 (en) * 2007-12-20 2009-07-02 Sony Ericsson Mobile Communications Ab System and method for dynamically changing a display
JP2010102235A (ja) * 2008-10-27 2010-05-06 V-Sync Co Ltd 電子広告システム
JP2010259017A (ja) * 2009-04-28 2010-11-11 Nikon Corp 表示装置、表示方法、および表示プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10627897B2 (en) 2017-12-04 2020-04-21 Fujitsu Limited Head mounted display, display control device, processing method, display method, and storage medium
WO2019163272A1 (ja) * 2018-02-23 2019-08-29 ソニー株式会社 表示装置、表示方法およびコンピュータプログラム
US11356653B2 (en) 2018-02-23 2022-06-07 Sony Corporation Display device, display method, and computer program
JP2021068977A (ja) * 2019-10-21 2021-04-30 Tianma Japan株式会社 立体視表示システム
JP7427413B2 (ja) 2019-10-21 2024-02-05 Tianma Japan株式会社 立体視表示システム

Also Published As

Publication number Publication date
EP2685447A1 (en) 2014-01-15
CN103415882A (zh) 2013-11-27
US20140002620A1 (en) 2014-01-02
CN103415882B (zh) 2016-01-20
JP5110182B2 (ja) 2012-12-26
KR101478937B1 (ko) 2014-12-31
KR20130116075A (ko) 2013-10-22
EP2685447B1 (en) 2016-10-05
EP2685447A4 (en) 2014-09-03
WO2012124150A1 (ja) 2012-09-20

Similar Documents

Publication Publication Date Title
JP5110182B2 (ja) 映像表示装置
TWI439120B (zh) 顯示裝置
US9076245B2 (en) Image display apparatus and imaging apparatus
WO2012160741A1 (ja) 視覚疲労度測定装置、その方法、視覚疲労度測定システムおよび3次元メガネ
US9838673B2 (en) Method and apparatus for adjusting viewing area, and device capable of three-dimension displaying video signal
US20110316987A1 (en) Stereoscopic display device and control method of stereoscopic display device
JP5148016B2 (ja) 立体映像提供装置及びその方法
US20120013604A1 (en) Display apparatus and method for setting sense of depth thereof
US20130088574A1 (en) Detective Adjusting Apparatus for Stereoscopic Image and Related Method
JP2012205267A5 (ja)
US20110316984A1 (en) Adaptive adjustment of depth cues in a stereo telepresence system
US9374574B2 (en) Three-dimensional video display apparatus and three-dimensional video display method
JP2010087569A (ja) 姿見装置
US20110310093A1 (en) Display apparatus and 3d image acquisition-examination method thereof
US20130050427A1 (en) Method and apparatus for capturing three-dimensional image and apparatus for displaying three-dimensional image
JP2012244453A (ja) 画像表示装置、画像表示システム、及び3次元眼鏡
TW201223241A (en) Method and apparatus for adjusting 3D depth of an object, and method and apparatus for detecting 3D depth of an object
US20210400234A1 (en) Information processing apparatus, information processing method, and program
US20180045934A1 (en) Medical observation device, lens driving control device, lens driving control method, program, and video microscope device
JP6467039B2 (ja) 情報処理装置
CN115061606A (zh) 一种裸眼3d沉浸式体验设备
KR20110136326A (ko) 삼차원 입체안경의 수평각 정보를 반영한 삼차원 스테레오스코픽 렌더링 시스템
JP2006042280A (ja) 画像処理装置
JP2013131884A (ja) 眼鏡
JP2018206253A (ja) 注視方向計測装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120924

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5110182

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150