JP2013223133A - 誘導装置、誘導方法、及び誘導プログラム - Google Patents

誘導装置、誘導方法、及び誘導プログラム Download PDF

Info

Publication number
JP2013223133A
JP2013223133A JP2012094061A JP2012094061A JP2013223133A JP 2013223133 A JP2013223133 A JP 2013223133A JP 2012094061 A JP2012094061 A JP 2012094061A JP 2012094061 A JP2012094061 A JP 2012094061A JP 2013223133 A JP2013223133 A JP 2013223133A
Authority
JP
Japan
Prior art keywords
guidance
viewer
unit
viewing distance
viewing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012094061A
Other languages
English (en)
Inventor
Seiichi Tanaka
誠一 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2012094061A priority Critical patent/JP2013223133A/ja
Publication of JP2013223133A publication Critical patent/JP2013223133A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】視聴者が映像の視聴を楽しむことができること。
【解決手段】視聴距離測定部は、複数の視聴者各々と映像表示部との距離を示す視聴距離を測定する。視聴距離判定部は、視聴距離測定部が測定した視聴距離と、映像表示部に表示された映像の視聴者による視聴時間と、に基づいて、複数の視聴者の中から誘導対象者を決定する。視聴者誘導部は、視聴距離判定部が決定した誘導対象者に対して、誘導対象者以外の視聴者である非誘導者よりも強く、映像表示部から離れるように誘導を行う。
【選択図】図3

Description

本発明は、誘導装置、誘導方法、及び誘導プログラムに関する。
近年、映像放送インフラのデジタル放送化や広帯域化、表示装置の大型化や高解像度化、撮影装置の微細化、高機能化など映像技術の発展によって,高品質で高精細な映像が急速に普及しており,快適な視聴環境が整いつつある。家庭では大画面FullHDテレビ(画素数1920×1080)が普及し、シネマにはデジタルシネマ(画素数2048×1080)が一般化し、業務機器市場には4Kシステム(4K解像度のテレビシステム。例えば、画素数4096×2160))も商品化されている。更に、スーパーハイビジョン(画素数7680×4320)などの研究も盛んに行われており、これらの超高精細映像技術は今後も急速に発展していくと考えられる。
超高精細映像は高い臨場感、迫力を有し、その表現力はこれからの映像産業を強力に牽引するものと期待されている。感性工学を用いた研究成果から、超高精細映像は、画面に近付けば近付くほど、被写体がはっきり見えて、質感をより感じ取れることが、明らかになっている。この研究成果によると、この効果は表示装置の解像度が上がるほど高くなり、実世界における「物体に近づけば、よりはっきり見えて、その質感を深く知覚できる」といった知覚体験が超高精細映像で感じ取れるとしている。
ところで、画面に近付いた視聴には注意すべき問題がある。すなわち、過度に画面に近付いて長時間集中して視聴することにより、近見作業による眼の疲れと似た疲労感が発生するといった問題である。この問題に関して、例えば、特許文献1には、ユーザ(視聴者)と装置との間の距離に応じて視聴制限を行う映像表示装置が開示されている。この特許文献1によれば、映像表示装置は、映像の解像度及び画面サイズに応じた視聴距離が格納されたテーブルを記憶部に備え、表示されている映像の解像度をMPEG部によって判別し、当該解像度に応じた視聴距離をテーブルから取得することにより、視聴者センサ部によって検出される情報により視聴距離よりも画面に人が近づいたと判断された場合には、警告部によって警告を行った後に、電源制御部によって電源オフ処理(視聴制限)を行う。
特開2010−64749号公報
しかしながら、特許文献1に開示された技術では、距離のみで制限視聴がかかってしまうため、画面の近くで、映像を全く見ることができない場合がある。つまり、特許文献1に開示された技術では、画面に近づくほど、質感をより感じ取れる高精細映像の特徴が失われてしまう場合がある。ここで、眼が疲れるなどの症状は、近い距離で、長時間、集中して視聴することにより引き起こされる。従って、視聴距離のみで視聴制限をかけることは、高精細映像では好ましくない。
また、高精細映像は大画面で表示することが臨場感や迫力を高めるには効果的であるため、視聴状況として、一人よりも多数の視聴者が一緒に、高精細の大画面映像を楽しむ場面が多い。特許文献1に開示された技術では、一人の視聴者が近づいた場合でも視聴制限がされるため、この視聴制限によって、一緒に視聴している他の視聴者が不愉に感じてしまうといった問題も発生する。
以上に例示したように、特許文献1に開示された技術では、視聴者が映像の視聴を楽しむことができない場合があるという問題があった。
本発明は上記の点に鑑みてなされたものであり、視聴者が映像の視聴を楽しむことができる誘導装置、誘導方法、及び誘導プログラムを提供する。
(1)本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、複数の視聴者各々と表示部との距離を示す視聴距離を測定する視聴距離測定部と、前記視聴距離測定部が測定した視聴距離と、前記表示部に表示された映像の前記視聴者による視聴時間と、に基づいて、前記複数の視聴者の中から誘導対象者を決定する判定部と、前記判定部が決定した誘導対象者に対して、誘導対象者以外の視聴者である非誘導者よりも強く、前記表示部から離れるように誘導を行う視聴者誘導部と、を備えることを特徴とする誘導装置である。
(2)また、本発明の一態様は、上記の誘導装置において、前記視聴者誘導部は、前記誘導対象者の見ることができる画面領域であって、少なくとも1人の前記非誘導者の見ることができない画面領域に、前記誘導を表す表示を行うことを特徴とする。
(3)また、本発明の一態様は、上記の誘導装置において、前記視聴者誘導部は、前記非誘導者から見て、前記誘導対象者によって遮蔽される画面領域に、前記誘導を表す表示を行うことを特徴とする。
(4)また、本発明の一態様は、上記の誘導装置において、前記視聴者誘導部は、前記誘導対象者に対して非誘導者よりも大きな音で、前記表示部から離れるように誘導を行うことを特徴とする。
(5)また、本発明の一態様は、誘導装置における誘導方法おいて、複数の視聴者各々と表示部との距離を示す視聴距離を測定する視聴距離測定過程と、前記視聴距離測定過程で測定された視聴距離と、前記表示部に表示された映像の前記視聴者による視聴時間と、に基づいて、前記複数の視聴者の中から誘導対象者を決定する判定過程と、前記判定過程で決定された誘導対象者に対して、誘導対象者以外の視聴者である非誘導者よりも強く、前記表示部から離れるように誘導を行う視聴者誘導過程と、を有することを特徴とする誘導方法である。
(6)また、本発明の一態様は、誘導装置における誘導方法おいて、誘導装置のコンピュータに、複数の視聴者各々と表示部との距離を示す視聴距離を測定する視聴距離測定手順、前記視聴距離測定手順で測定された視聴距離と、前記表示部に表示された映像の前記視聴者による視聴時間と、に基づいて、前記複数の視聴者の中から誘導対象者を決定する判定手順、前記判定手順で決定された誘導対象者に対して、誘導対象者以外の視聴者である非誘導者よりも強く、前記表示部から離れるように誘導を行う視聴者誘導手順、を実行させるための誘導プログラムである。
本発明によれば、視聴者が映像の視聴を楽しむことができる。
本発明の実施形態に係る映像表示装置の外観図である。 本実施形態に係る映像表示装置と視聴者を上方から見た図である。 本実施形態に係る映像表示装置の構成を示す概略ブロック図である。 本実施形態に係る視聴距離算出部の構成を示す概略ブロック図である。 本実施形態に係る参照映像信号の一例を表す概念図である。 本実施形態に係る基準映像信号の一例を表す概念図である。 本実施形態に係る参照注目ブロックの一例を表す概念図である。 本実施形態に係る基準注目ブロックの一例を表す概念図である。 本実施形態に係る視差マップの一例を表す図である。 本実施形態に係る視聴距離判定部の構成を示す概略ブロック図である。 本実施形態に係る映像の一例を表す概略図である。 本実施形態に係る視差マップの一例を表す図である。 本実施形態に係る判定処理部の動作の一例を示すフローチャートである。 本実施形態に係る誘導表示処理を説明する説明図である。 映像表示部が行う誘導表示の一例を示す図である。 本実施形態に係る誘導音声処理を説明する説明図である。 本実施形態に係る誘導音声処理の別の一例を説明する説明図である。
本発明の実施形態について図を用いて説明する。
図1は、本発明の実施形態に係る映像表示装置10の外観図(正面図)である。
図1に示すように、映像表示装置10は、ステレオ撮影部1、映像表示部7、及び音声出力部8を備える。
ステレオ撮影部1は、映像表示部7の上部で、映像表示部7又は映像表示装置10の中央位置に配置されている。ステレオ撮影部1は、2個のカメラモジュール111、112から構成されている。カメラモジュール111、112は、各々異なる視点に配置され、それぞれ、左眼用映像、右眼用映像を撮影する。例えば、ステレオ撮影部1は、映像表示部7に表示された映像を視聴する視聴者を撮影する。
なお、ステレオ撮影部1を構成する2台のカメラモジュール111、112は、映像表示部7を視聴する全ての視聴者を撮影できるように、広い範囲が撮影できるものである。例えば、水平方向に約130度の画角を有する広角カメラモジュールである。
映像表示部7は、入力された映像信号に基づいて映像を表示する。例えば、映像表示部7は、受信した放送波の映像や、外部から入力された映像を表示する。映像表示部7は、例えば、液晶ディスプレイ(LCD)である。
音声出力部8は、入力された音声信号に基づいて音声を出力する。例えば、音声出力部8は、受信した放送波の音声や、外部から入力された音声を出力する。映像表示装置10には、音声出力部8が2つ備えられている。音声出力部8は、例えば、スピーカーである。
図2は、本実施形態に係る映像表示装置10と視聴者31を上方から見た図である。つまり、図2には、映像表示装置10の上面図が含まれている。この図は、ステレオ撮影部1が撮影する範囲32を示す。ここで、範囲32は、カメラモジュール111が撮影する範囲321とカメラモジュール112が撮影する範囲322とを合わせた範囲である。
カメラモジュール111、112を使用する事によって、映像表示部7を視聴する視聴者311、視聴者312(各々を視聴者31とも称する)の全員が撮影できる。なお、2つのカメラモジュール111,112は、垂直方向のずれや回転のずれが極力無いように、光軸並行で配置されている。これにより、映像表示装置10は、ステレオ撮影部1で撮影された映像を用いて、後述の視聴距離算出部2で高精度な距離測定を行うことができる。
図3は、本実施形態に係る映像表示装置10の構成を示す概略ブロック図である。
図3に示すように、映像表示装置10は、ステレオ撮影部1、視聴距離算出部2、視聴距離判定部3、視聴者誘導部4、映像表示処理部5、音声出力処理部6、映像表示部7、及び音声出力部8を含んで構成される。
ステレオ撮影部1は、撮影した2系統のステレオ映像(カメラモジュール111が撮影した左眼用映像、カメラモジュール112が撮影した右眼用映像)を、視聴距離算出部2へ出力する。
視聴距離算出部2は、ステレオ撮影部1から入力されたステレオ映像に基づいて、後述する視差算出処理を行う。これにより、視聴距離算出部2は、視聴者と映像表示部7までの距離(視聴距離)を算出する。視聴距離算出部2は、算出した視聴距離を示す視聴距離データを、視聴距離判定部3へ出力する。
視聴距離判定部3は、視聴者が所定の距離(例えば、視聴距離)以下で、所定の時間の以上、映像表示部7の映像を視聴しているかどうかの判定を行う。視聴距離判定部3は、この判定結果を示す視聴距離判定結果情報を、視聴者誘導部4へ出力する。
視聴者誘導部4は、視聴距離判定部3から入力された視聴距離判定結果情報に基づき、例えば、映像表示部7を過度に近くで視聴している視聴者に対して、視聴距離を遠ざける誘導処理を行う。例えば、視聴者誘導部4は、映像表示処理部5及び音声出力処理部6に対して、視聴距離を遠ざける誘導を出力させることで、誘導処理を行う。
映像表示処理部5は、放送波の映像(放送映像)や、外部から入力された映像(入力映像)を復調して映像信号を生成し、生成した映像信号を映像表示部7へ出力する。映像表示処理部5は、例えば、視聴者誘導部4の誘導処理に従い、放送映像や入力映像に対して、視聴者に視聴距離を遠ざけさせる誘導を示す画像を合成させる誘導表示処理を行う。この場合、映像表示処理部5は、誘導表示処理後の映像信号を映像表示部7へ出力する。映像表示部7は、放送映像や入力映像に、誘導画像を合成して表示する。
音声出力処理部6は、放送波の音声情報(放送音声)や、外部から入力された音声情報(入力音声)を音声信号に変換し、変換した音声信号を音声出力部8へ出力する。音声出力処理部6は、例えば、視聴者誘導部4の誘導処理に従い、放送映像や入力映像に対して、視聴者に視聴距離を遠ざけさせる誘導を示す誘導音を出力させる誘導音声処理を行う。この場合、音声出力処理部6は、誘導音声処理後の映像信号を音声出力部8へ出力する。音声出力部8は、誘導音を出力する。
以下、図3の各ブロックの詳細について図を用いて説明する。尚、以下の説明では、カメラモジュール111が撮影した左眼用映像を基準映像として処理を行う場合を例にとって説明する。他方、カメラモジュール112が撮影した右眼用映像を参照映像と呼ぶ。
まず、視聴距離算出部2について説明する。
図4は、本実施形態に係る視聴距離算出部2の構成を示す概略ブロック図である。視聴距離算出部2は、座標変換部1231、1232及び対応点探索部1233を含んで構成される。
座標変換部1231、1232には、カメラモジュール111、112から基準映像信号、参照映像信号が入力される。座標変換部1231、1232は、カメラモジュール111、112のカメラパラメータが各々記憶されている。カメラパラメータは、光軸の向きや視点の位置を表す外部パラメータと、撮像素子の仕様を表す内部パラメータが含まれる。外部パラメータには、光軸の向きを表すヨー、ピッチ及びロールの3軸ベクトルと、視点の位置を表す3次元の並進ベクトルと、計6個のパラメータが含まれる。内部パラメータには、2次元の映像中心位置と、視野角、アスペクト比及び焦点距離fと、計5個のパラメータが含まれる。
座標変換部1231、1232は、カメラパラメータを用いて、各々のエピポーラライン(エピポーラ線[epipolar line]とも呼ばれる)が水平方向に平行になるように基準映像信号、参照映像信号を座標変換する。エピポーララインとは、各映像における複数のエピポール(epipole)を結ぶ直線である。エピポールの1つは、1つのカメラモジュールの視点と3次元空間上のある特徴点とを結ぶ線分と、当該1つのカメラモジュールにおける映像の投影面との交点である。エピポールの他の1つは、当該1つのカメラモジュールの視点と他のカメラモジュールの視点とを結ぶ線分と、当該1つのカメラモジュールにおける映像の投影面との交点である。座標変換部1231、1232は、エピポーララインを平行にした基準映像信号、参照映像信号をそれぞれ対応点探索部1233に出力する。このように、エピポーララインを、水平方向に平行にすることで、後述する対応点探索部1233において視差を算出する際に行われる垂直方向への探索を省略することができる。そのため、処理量を低減でき、垂直方向の視差を考慮する必要がなくなる。
座標変換部1231、1232は、エピポーララインを平行化するために、例えば次の処理を行う。座標変換部1231、1232は、自部が記憶しているカメラパラメータに基づいて光軸平行化行列H,Hを予め算出しておき、算出した光軸平行化行列H,Hを記憶させておく。光軸平行化行列H,Hは、カメラモジュール111、112の光軸(Z軸)が互いに平行であって、光軸に垂直であって水平面に平行な軸(X軸)がベースラインと平行になるように回転させる3行3列の座標変換行列である。ベースラインは、カメラモジュール111、112の視点を結ぶ線分であり、基線とも呼ばれる。座標変換部1231、1232は、また、並進回転行列K,K、レンズ歪補正関数Φ,Φ、投影行列K’を予め算出しておき、算出した並進回転行列K,K、レンズ歪補正関数Φ,Φ、投影行列K’を記憶させておく。並進回転行列K,Kは、各カメラモジュール111、112の内部パラメータに基づく3行3列の回転並進行列である。レンズ歪補正関数Φ,Φは、カメラモジュール111、112が備えるレンズの半径方向及び円周方向の歪係数に基づく3行3列の回転並進行列である。投影行列K’は、光軸を平行化した基準映像、参照映像を同一の表示座標系に投影する3行3列の回転並進行列である。座標変換部1231、1232は、これらの行列を用いて式(1)を満足するように平行化した基準映像信号、参照映像信号を生成する。
式(1)において、x,xは、それぞれ基準映像信号、参照映像信号の各画素の座標を表す2次元ベクトルである。x’,x’は、それぞれ平行化した基準映像信号、参照映像信号の各画素の座標を表す2次元ベクトルである。
なお、撮影された基準映像、参照映像のエピポーララインが互いに平行になるように、カメラモジュール111、112が配置されていても良い。その場合、視聴距離算出部2は、座標変換部1231、1232を省略することができる。
対応点探索部1233には、座標変換部1231、1232から基準映像信号、参照映像信号が入力される。対応点探索部1233は、基準映像信号の各画素に対応する対応点である画素を、参照映像信号から探索する。対応点探索部1233は、例えば、ブロックマッチングによって対応点を探索する。ここで、対応点探索部1233は、基準映像信号において注目する画素(基準注目画素)を含む領域である基準注目ブロックと、基準注目ブロックと同一の数の画素を含む参照映像内の領域(参照注目ブロック)との間の指標値を算出する。算出される指標値は、基準注目ブロックに含まれる画素毎の信号値と参照注目ブロックに含まれる画素毎の信号値の類似度を表す。対応点探索部1233は、類似度が最も高い指標値をとる参照注目ブロックを定める。対応点探索部1233は、参照注目ブロックと対応する基準注目ブロックとの間の水平方向の距離を表す視差値を、基準注目画素毎に定める。対応点探索部1233は、基準注目画素毎の視差値を視差マップとして視聴距離判定部3に出力する。
次に、参照映像信号の一例について説明する。
図5は、本実施形態に係る参照映像信号s42の一例(参照映像信号s42)を表す概念図である。図5において、右方向が水平方向(x方向)、下方向が垂直方向(y方向)を表す。参照映像信号s42の左上にある四角形は、参照注目ブロック422を表す。参照注目ブロック422の右側にある四角形は、検索終了ブロック423を表す。x、yは、参照注目ブロックの左上端の注目画素(参照注目画素)のx座標、y座標を表す。この座標は、後述する基準映像信号s41における基準注目画素の座標と同一である。探索範囲52は、x、yから、参照注目画素を変更する範囲を表す予め定められた画素数(最大視差値、例えば16)だけ水平方向にずれたx座標が最大になる位置である。検索終了ブロック423は、このx座標が最大になる位置に参照注目画素を有する参照注目ブロックである。つまり、検索終了ブロック423を終点とする矢印は、対応点探索部1233が、この終点まで参照注目ブロックを1画素ずつ移動させながら、基準注目ブロック412との指標値を算出することを表す。
次に基準映像信号の一例について説明する。
図6は、本実施形態に係る基準映像信号の一例(基準映像信号s41)を表す概念図である。図6における水平方向、垂直方向の位置関係は、図5と同様である。基準映像信号s41の左上にある実線の四角形は、基準注目ブロック412を表す。図6の例では、基準注目ブロック412の左上端の基準注目画素の座標はx、yである。基準映像信号s41の左上端の破線の四角形は、基準開始ブロック411である。基準開始ブロック411は、基準注目画素が基準映像信号s41の左上端の画素とする基準注目ブロックである。基準終了ブロック413は、下端の画素が基準映像信号s41の下端となり、右端の画素が水平方向終端53となる基準注目ブロックである。水平方向終端53のx座標は、基準映像信号s41のx座標の最大値よりも最大視差値だけ小さいx座標、つまり基準映像信号s41の右端よりも探索範囲52だけ左側にあるx座標である。
基準開始ブロック411を起点とする矢印は、対応点探索部1233が、右端が水平方向終端53に至るまで、1画素ずつ基準注目ブロックを移動させてブロックマッチングを行うことを表す。これにより、参照注目ブロック422の探索範囲52が、参照映像信号s42の範囲外になることを回避する。左斜め下に向かう矢印は、対応点探索部1233が、その後、基準注目画素の座標のx座標を最小値に戻し、y座標を1増加するように、基準注目ブロックの位置を変更することを表す。対応点探索部1233は、基準注目ブロック412が基準終了ブロック413に達するまで、順次移動させてブロックマッチングを行う。これにより、対応点探索部1233は、基準注目画素毎に基準注目ブロック412と対応する参照注目ブロック422の座標を求め、視差値を算出する。
基準注目ブロック412と参照注目ブロック422との類似度を表す指標値は、例えば、SAD(Sum of Absolute Differences、差分絶対値和)である。SADは、例えば、式(2)を用いて表されるSSADである。
式(2)において、M、Nは、それぞれ水平方向の画素数、垂直方向の画素数(いずれも1よりも大きい整数)を示す。N、Mは、基準注目ブロック、参照注目ブロックにおいて共通である。i、jは、それぞれ水平方向の画素のインデックス、垂直方向の画素のインデックスである。R(i,j)は、参照注目ブロックにおける画素i、jの信号値を示す。T(i,j)は、基準注目ブロックにおける画素i、jの信号値を示す。即ち、SADは、画素毎の信号値の基準注目ブロック及び参照注目ブロック間の絶対差分値の総和である。従って、SADが小さいほど、基準注目ブロックと参照注目ブロックの類似度が高いことを表す。
次に、参照注目ブロック422、基準注目ブロック412の一例について説明する。
図7は、本実施形態に係る参照注目ブロック422の一例を表す概念図である。図8は、本実施形態に係る基準注目ブロック412の一例を表す概念図である。
図7、8における水平方向、垂直方向の位置関係は、図5と同様である。i、jは、左上端を、それぞれ1、1とする画素のインデックスを示す。
本実施例では指標値としてSADを用いたが、SADの代わりに、差分二乗和(SSD;Sun of Squared Difference)、正規化相互相関(NCC;Normalized Cross Correlation)等、を用いても良い。
視差マップは、画素毎の視差値を含む距離情報である。視差値と距離とは、式(3)に示す関係がある。
式(3)において、fは、カメラモジュール111の焦点距離、bは、カメラモジュール111、112カメラ間隔、pは、カメラモジュール111の画素ピッチ(画素間間隔)、dは、視差値をそれぞれ表す。つまり、ステレオ撮影部11までの距離が小さい被写体ほど視差値が大きく、距離が大きい被写体ほど視差値が小さい。視差値の大小を、濃淡で表した映像も、視差マップと呼ぶことがある。
図9は、本実施形態に係る視差マップの一例(視差マップ911)を表す図である。
図9が表す視差マップ911では、中央より左下に1箇所と、中央より右上に1箇所、それぞれ周囲よりも明るい領域が表されている。これらの領域は、本装置の映像表示部7を視聴している視聴者を表しており、本視差マップ911の例では2人の視聴者が異なる視聴距離で視聴していることが分る。更に、それぞれの領域の視差値から視聴者の視聴距離も測定することが出来る。このように、視聴距離算出部2では、本映像表示装置10を何人の視聴者が、どれ位の距離で視聴しているかを検出できる視差マップを算出して、視聴距離判定部3に送る。
以下、視聴距離判定部3について図10から図13を用いて説明する。
図10は、本実施形態に係る視聴距離判定部3の構成を示す概略ブロック図である。視聴距離判定部3は、顔検出部41、顔領域視差算出部42、及び判定処理部43を含んで構成される。
顔検出部41は、カメラモジュール111で撮影された基準画像から視聴者の顔領域を検出する。
顔領域視差算出部42は、顔検出部41で検出した領域の視差値を算出する。
判定処理部43は、顔検出部41の検出結果と顔領域視差算出部42の視差値に基づき、視聴距離の判定を行う。
顔検出部41は、人間の顔の輪郭、眼、鼻、口などの特徴点から構成される顔パターンテンプレートを備え、入力される基準映像とテンプレートマッチングを行う。顔検出部41の検出結果の一例を図11に示す。
図11は、本実施形態に係る映像の一例を表す概略図である。この図の映像は、カメラモジュール111で本映像表示装置を視聴している視聴者2名(例えば、図2の視聴者311、312)を撮影した映像例である。図11中の破線領域44が顔検出部41で検出された視聴者の顔の領域である。顔領域視差算出部42は、検出された顔検出領域44に基づいて、図12の視差マップ映像の顔領域の視差値を算出する。顔領域視差算出部42は、例えば、図12の白破線が示す顔検出領域44の全視差値の平均値、あるいは中央値などを算出することにより、顔領域の視差値を算出する。
判定処理部43は、視聴者が過度に映像表示部7に近い位置で、長時間、継続して視聴しているかの判定を行う。この処理内容について、図13のフローチャートを用いて説明する。判定処理部43には、1つあるいは複数の顔領域の視差値と、その領域を示す位置データが入力される。また判定処理部43は、視差値を判定するため予め設定された距離閾値データと、視聴時間を判定するため予め設定された視聴時間閾値データを記憶する。また、判定処理部43は、視聴時間を計測するためのタイマー機能を有している。
図13は、本実施形態に係る判定処理部43の動作の一例を示すフローチャートである。
(ステップS130)判定処理部43は、入力される複数の顔領域の視差値から最大の値を判定する。ここで、映像表示部7に最も近い位置で視聴している視聴者の位置と距離を検出する。その後、ステップS131へ進む。
(ステップS131)判定処理部43は、ステップS130で検出した視聴者(最も近い視聴距離で視聴している視聴者)の位置が前回の位置と同じであるか否かを判定する。視聴者の位置が前回の位置と同じであると判定された場合(YES)、ステップS133へ進む。一方、視聴者の位置が前回の位置とは異なると判定された場合(NO)、ステップS132へ進む。
なお、判定処理部43は、位置の変化が予め定めた範囲内にある場合には、同じ位置と判定しても良い。また、ステップS131において、判定処理部43は、奥行き方向の位置(視聴距離)が同じであるか否かを判定しても良い。
(ステップS132)判定処理部43は、タイマーをリセットする。例えば、判定処理部43は、判定対象の視聴者が変わった場合にタイマーをリセットする。その後、ステップS133へ進む。
(ステップS133)判定処理部43は、ステップS130で検出した視聴距離が、予め設定された距離閾値データが示す距離以上であるか否かを判定する。視聴距離が距離閾値データが示す距離以上であると判定された場合(YES)、ステップS134へ進む。一方、視聴距離が距離閾値データが示す距離よりも小さいと判定された場合(NO)、ステップS134へ進む。
(ステップS134)判定処理部43は、タイマーをリセットする。つまり、視聴距離が距離閾値データが示す距離よりも小さい場合、すなわち視聴距離が遠い場合はタイマーをリセットする。その後、ステップS130へ戻る。
(ステップS135)判定処理部43は、タイマーを進める。つまり、判定処理部43は、視聴距離が距離閾値データが示す距離よりも大きい場合、すなわち視聴距離が過度に近い場合は、タイマーを進める。その後、ステップS136へ進む。
(ステップS136)判定処理部43は、視聴時間が予め設定された視聴時間閾値データが示す時間以上であるかを判定する。視聴時間が視聴時間閾値データが示す時間以上であると判定された場合(YES)、ステップS137へ進む。一方、視聴時間が予め設定された視聴時間閾値データが示す時間よりも短いと判定された場合(NO)、ステップS130へ戻る。つまり、判定処理部43は、視聴時間が短い場合、最初(ステップS130)に戻り判定を繰り返す。
(ステップS137)判定処理部43は、判定結果と、誘導する視聴者の視聴距離、視聴位置、また、その他の視聴者の視聴位置の情報を視聴者誘導部4に伝える。つまり、視聴時間が視聴時間閾値データよりも長い場合は、判定処理部43は、誘導処理が必要であると判定し、誘導処理に必要な情報を視聴者誘導部4へ出力する。
視聴者誘導部4は、視聴距離判定部3からの情報に基づき映像表示処理部5と音声出力処理部6に対して誘導処理のデータを送出し、誘導処理を行うように命令する。以下、視聴者誘導部4が行う誘導処理、映像表示処理部5が行う誘導表示処理、及び音声出力処理部6が行う誘導音声処理について説明する。
<誘導表示処理について>
まず、視聴者誘導部4が行う誘導処理と、映像表示処理部5が行う誘導表示処理について説明する。
図14は、本実施形態に係る誘導表示処理を説明する説明図である。この図は、映像表示部7と視聴者31を上方から見た図である。この図において、視聴者31は、2人の視聴者311、312である。この図の場合には、視聴距離判定部3は、視聴者311が誘導対象と判定する(図13参照)。なお、誘導対象と判定された視聴者を、誘導対象者とも称する。図14中の破線で挟まれた画面領域143は、遠くの視聴者312からは視聴者311に隠されて見えない遮蔽領域(遮蔽領域143とも称する)である。
視聴者誘導部4は、この遮蔽領域143を決定し、決定した遮蔽領域143を示す情報を、映像表示処理部5へ出力する。映像表示処理部5は、視聴者誘導部4から入力された情報が示す遮蔽領域143内に、誘導画像を合成し、合成後の映像信号を映像表示部7へ出力する。映像表示部7は、遮蔽領域143内に誘導画像を表示することで、誘導表示を行う。
つまり、映像表示部7は、誘導対象者の見ることができる画面領域であって、少なくとも1人の他の視聴者(図14では視聴者312)が見ることのできない画面領域に、誘導画像を表示する。例えば、映像表示部7は、視聴者312から見て、視聴者311によって遮蔽される遮蔽領域143内に、誘導画像を表示する。
具体的には、視聴者誘導部4は、以下の手法によって、誘導対象者の位置と、その他の視聴者312位置から、遮蔽領域143を算出する。
視聴距離判定部3は、誘導対象者(図14では視聴者311)、及び、誘導画像を見せない視聴者(非誘導者とも称する。図14では視聴者312)を決定する。なお、非誘導者は、複数人であっても良い。また、視聴距離判定部3は、視聴距離に基づいて、例えば視聴距離が短い視聴者であって誘導対象者以外の視聴者を、非誘導者としても良い。
視聴距離判定部3は、非誘導者の視聴位置を示す点Aの位置、点Aと映像表示装置10までの距離D1、及び、点Aに対応する映像表示部7の座標位置X1を算出する。なお、点Aは、非誘導者の眼の位置に基づいて、例えば右眼と左眼の中心であっても良い。視聴者誘導部4は、誘導対象者の輪郭において、映像表示部7の上方から見た場合に一番縁となる点B1と点B2の位置を決定する。ここで、点B1は視聴者312側の、点B2は視聴者312と反対側の両端を示している。視聴距離判定部3は、決定した点B1と映像表示装置10(点B2と映像表示装置10)の距離D2と、点B1、B2に対応する映像表示部7の座標位置X21、X22と、を算出する。
視聴距離判定部3は、点Aの位置、距離D1、座標位置X1、点B1、B2の位置、距離D2、座標位置X21、X22を示す情報、視聴者誘導部4へ出力する。視聴者誘導部4は、視聴距離判定部3から入力された情報に基づいて、遮蔽領域143を決定する。具体的には、視聴者誘導部4は、三角形(A,X31,X21)と三角形(A,X31,X1)の相似関係からX31の座標を求める。同様に、視聴者誘導部4は、三角形(A,X32,X23)と三角形(A,X32,X1)の相似関係からX32の座標を求める。これにより、視聴者誘導部4は、遮蔽領域の143を算出することができる。
視聴者誘導部4は、算出した遮蔽領域143を示す情報を、映像表示処理部5へ出力する。映像表示処理部5は、映像表示部7が表示している映像の遮蔽領域143内に、誘導画像を合成して表示させることで、誘導表示を行う。ここで、誘導画像には、例えば、画面から離れて見ることを促す内容の文字や絵が含まれている。
図15は、映像表示部7が行う誘導表示の一例を示す図である。図中150が遮蔽領域143から設定された誘導表示領域である。誘導表示領域150は、水平位置を遮蔽領域143の座標範囲として、映像表示部7の画面下に設定される。誘導表示領域150に例えば画面から少し離れるメッセージ(誘導画像)を表示する。なお、垂直位置(画面の縦方向の位置)は予め定められているが、本発明はこれに限られない。以上の処理により、映像表示装置10は、誘導が必要な視聴者のみが見ることができ、非誘導者の妨げにならない誘導表示をすることができる。
また、視聴者の位置関係によっては、遮蔽領域143が映像表示部7に存在しない場合も考えられる。その場合、視聴者誘導部4は、映像表示部7を含む面(映像表示部7を延長した面)において、遮蔽領域143を算出し、その領域に最も違い画面部分に誘導表示をする。これにより、映像表示装置10は、非誘導者への影響を最小限した誘導が可能となる。
また、映像表示処理部5は、メッセージを合成する他に、誘導表示領域150の明るさを暗くする、解像度を下げて表示映像をぼかす、コントラストを下げる、彩度を下げるなど、表示している映像を一時的に変化させても良い。表示映像を変化させる構成は、誘導が必要な視聴者のみに注意を喚起する効果に加えて、誘導が必要な視聴者が視聴している領域のみの映像刺激を抑え、眼の疲れを軽減する効果もある。
<誘導音声処理について>
続いて、視聴者誘導部4が行う誘導処理と、映像表示処理部5が行う誘導表示処理について説明する。視聴者誘導部4は、視聴者の位置関係に基づいて、誘導音を出力する音声出力部8と誘導音の出力音量とを決定し、決定した音声出力部8と出力音量を示す情報を音声出力処理部6へ出力する。
図16は、本実施形態に係る誘導音声処理を説明する説明図である。この図は、映像表示部7と2つの音声出力部8と視聴者31を上方から見た図である。視聴距離判定部3は、誘導対象者(図16では視聴者311)、及び、誘導画像を見せない視聴者(非誘導者とも称する。図16では視聴者312)を決定する。視聴者誘導部4は、誘導対象者の位置情報に基づいて、視聴者311に近い側の音声出力部8を、誘導音を出力する音声出力部8と決定する。また、視聴者誘導部4は、決定した音声出力部8の位置と視聴者311の距離を算出し、算出した距離に基づいて音量を決定する。なお、視聴者誘導部4は、距離と音量とを対応付けた対応情報を予め記憶する。この対応情報は、距離と、視聴者311のみに聞こえる最小限の音量とが、対応付けられた情報である。
音声出力処理部6は、画面から離れて見ることを促す内容の音声や音等の誘導音を、決定された音量で、現在出力している音声に重畳する。音声出力処理部6は、重畳した音声を、決定された側の音声出力部8から出力する。この処理により、映像表示装置10は、誘導が必要な視聴者311のみが聞こえて、非誘導者(図16では視聴者312)の妨げにならない誘導音声出力が可能となる。
以上のように、本実施形態では、映像表示装置10は、複数の視聴者31各々と映像表示部7との距離を示す視聴距離を測定する。映像表示装置10は、測定した視聴距離と、映像表示部7に表示された映像の視聴者による視聴時間と、に基づいて、複数の視聴者の中から誘導対象者を決定する。映像表示装置10は、決定した誘導対象者に対して、誘導対象者以外の視聴者である非誘導者よりも強く、映像表示部7から離れるように誘導を行う。
例えば、映像表示装置10は、誘導対象者のみに、画面から離れるように誘導を行う。具体的には、映像表示装置10は、誘導対象者のみに見える画像領域(遮蔽領域143)に誘導表示を行い、画面から離れるように促す。また、映像表示装置10は、誘導対象者に対して非誘導者よりも大きな音で、映像表示部7から離れるように誘導を行う。例えば、映像表示装置10は、誘導対象者のみに聞こえる音で、映像表示部7から離れるように誘導を行う。
これにより、視聴者は、映像表示装置10を用いて、映像の視聴を楽しむことができる。例えば、映像表示装置10は、視聴時間内であれば、画面の近くでも映像を見ることができ、高精細映像を楽しむことができる。また、例えば、映像表示装置10は、誘導対象者がいる場合でも、誘導対象者に対して非誘導者よりも強く、換言すれば、非誘導者に対して誘導対象者よりも弱く、映像表示部7から離れるように誘導を行う。これにより、非誘導者が不愉に感じることなく誘導対象者を誘導でき、視聴者は、映像の視聴を楽しむことができる。
なお、上記実施形態において、音声出力部8が指向性の音声を出力可能な指向性スピーカである場合には、音声出力処理部6は、誘導対象者の位置情報に基づいて、音声の出力方向を制御しても良い。また、音声出力処理部6は、誘導対象者、及び、非誘導者の双方の位置情報に基づいて、音声の出力方向を制御しても良い。例えば、視聴者誘導部4は、誘導対象者に対して、非誘導者と同じ側にある音声出力部8を、誘導音を出力する音声出力部8と決定しても良い。
図17は、本実施形態に係る誘導音声処理の別の一例を説明する説明図である。この図において、視聴者誘導部4は、誘導対象者である視聴者311に対して、非誘導者である視聴者312と同じ側(図17では、線Hに対して、視聴者312が位置する側)にある音声出力部82を、誘導音を出力する音声出力部8と決定している。これにより、映像表示装置10は、非誘導者に誘導音が聞こえてしまうことを防止できる。具体的には、視聴者誘導部4は、非誘導者との距離が、誘導対象者との距離よりも、小さくなる音声出力部8を、誘導音を出力する音声出力部8と決定する。なお、視聴者誘導部4は、例えば、カメラモジュール111が撮影した映像に基づいて、非誘導者と同じ側にある音声出力部を決定しても良い。
また、上記実施形態において、視聴距離は、カメラモジュール111又は112から視聴者までの距離であっても良いし、視差で表されても良い。
なお、上述した実施形態における映像表示装置10の一部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、映像表示装置10に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における映像表示装置10の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。映像表示装置10の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
1 ステレオ撮影部
111、112 カメラモジュール
2 視聴距離算出部
3 視聴距離判定部
4 視聴者誘導部
5 映像表示処理部
6 音声出力処理部
7 映像表示部
8 音声出力部
31 視聴者
32 撮影範囲
1231、1232 座標変換部
1233 対応点探索部
41 顔検出部
42 顔領域視差算出部
43 判定処理部

Claims (6)

  1. 複数の視聴者各々と表示部との距離を示す視聴距離を測定する視聴距離測定部と、
    前記視聴距離測定部が測定した視聴距離と、前記表示部に表示された映像の前記視聴者による視聴時間と、に基づいて、前記複数の視聴者の中から誘導対象者を決定する判定部と、
    前記判定部が決定した誘導対象者に対して、誘導対象者以外の視聴者である非誘導者よりも強く、前記表示部から離れるように誘導を行う視聴者誘導部と、
    を備えることを特徴とする誘導装置。
  2. 前記視聴者誘導部は、前記誘導対象者の見ることができる画面領域であって、少なくとも1人の前記非誘導者の見ることができない画面領域に、前記誘導を表す表示を行うことを特徴とする請求項1に記載の誘導装置。
  3. 前記視聴者誘導部は、前記非誘導者から見て、前記誘導対象者によって遮蔽される画面領域に、前記誘導を表す表示を行うことを特徴とする請求項2に記載の誘導装置。
  4. 前記視聴者誘導部は、前記誘導対象者に対して非誘導者よりも大きな音で、前記表示部から離れるように誘導を行うことを特徴とする請求項1から請求項3のいずれか一項に記載の誘導装置。
  5. 誘導装置における誘導方法おいて、
    複数の視聴者各々と表示部との距離を示す視聴距離を測定する視聴距離測定過程と、
    前記視聴距離測定過程で測定された視聴距離と、前記表示部に表示された映像の前記視聴者による視聴時間と、に基づいて、前記複数の視聴者の中から誘導対象者を決定する判定過程と、
    前記判定過程で決定された誘導対象者に対して、誘導対象者以外の視聴者である非誘導者よりも強く、前記表示部から離れるように誘導を行う視聴者誘導過程と、
    を有することを特徴とする誘導方法。
  6. 誘導装置のコンピュータに、
    複数の視聴者各々と表示部との距離を示す視聴距離を測定する視聴距離測定手順と、
    前記視聴距離測定手順で測定された視聴距離と、前記表示部に表示された映像の前記視聴者による視聴時間と、に基づいて、前記複数の視聴者の中から誘導対象者を決定する判定手順、
    前記判定手順で決定された誘導対象者に対して、誘導対象者以外の視聴者である非誘導者よりも強く、前記表示部から離れるように誘導を行う視聴者誘導手順、
    を実行させるための誘導プログラム。
JP2012094061A 2012-04-17 2012-04-17 誘導装置、誘導方法、及び誘導プログラム Pending JP2013223133A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012094061A JP2013223133A (ja) 2012-04-17 2012-04-17 誘導装置、誘導方法、及び誘導プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012094061A JP2013223133A (ja) 2012-04-17 2012-04-17 誘導装置、誘導方法、及び誘導プログラム

Publications (1)

Publication Number Publication Date
JP2013223133A true JP2013223133A (ja) 2013-10-28

Family

ID=49593810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012094061A Pending JP2013223133A (ja) 2012-04-17 2012-04-17 誘導装置、誘導方法、及び誘導プログラム

Country Status (1)

Country Link
JP (1) JP2013223133A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7011762B1 (ja) 2021-08-17 2022-01-27 株式会社アップリーチ 情報処理装置、情報処理方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7011762B1 (ja) 2021-08-17 2022-01-27 株式会社アップリーチ 情報処理装置、情報処理方法及びプログラム
JP2023027534A (ja) * 2021-08-17 2023-03-02 株式会社アップリーチ 情報処理装置、情報処理方法及びプログラム

Similar Documents

Publication Publication Date Title
US10460459B2 (en) Stitching frames into a panoramic frame
JP5679978B2 (ja) 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム
US9813693B1 (en) Accounting for perspective effects in images
TWI479452B (zh) 修正數位影像的裝置及方法
KR20170017700A (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
WO2012147363A1 (ja) 画像生成装置
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
US20190045125A1 (en) Virtual reality video processing
US20190266802A1 (en) Display of Visual Data with a Virtual Reality Headset
US20190014288A1 (en) Information processing apparatus, information processing system, information processing method, and program
CN108282650B (zh) 一种裸眼立体显示方法、装置、系统及存储介质
TWI615808B (zh) 全景即時影像處理方法
US11430178B2 (en) Three-dimensional video processing
JP2018033107A (ja) 動画の配信装置及び配信方法
US20180143523A1 (en) Spherical omnipolar imaging
KR101690256B1 (ko) 영상 처리 방법 및 장치
JP2019029721A (ja) 画像処理装置、画像処理方法およびプログラム
JP2020191624A (ja) 電子機器およびその制御方法
JPWO2018189880A1 (ja) 情報処理装置、情報処理システム、および画像処理方法
CA3155612A1 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
JP2013223133A (ja) 誘導装置、誘導方法、及び誘導プログラム
CN114513646A (zh) 一种三维虚拟场景中全景视频的生成方法及设备
JP2020167657A (ja) 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
US20130208976A1 (en) System, method, and computer program product for calculating adjustments for images