JP2012227682A - 立体映像表示装置、及び立体映像表示方法 - Google Patents
立体映像表示装置、及び立体映像表示方法 Download PDFInfo
- Publication number
- JP2012227682A JP2012227682A JP2011092742A JP2011092742A JP2012227682A JP 2012227682 A JP2012227682 A JP 2012227682A JP 2011092742 A JP2011092742 A JP 2011092742A JP 2011092742 A JP2011092742 A JP 2011092742A JP 2012227682 A JP2012227682 A JP 2012227682A
- Authority
- JP
- Japan
- Prior art keywords
- video
- eye
- image
- stereoscopic
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】立体映像表示において、映像本来の立体感を大きく損なうことなく飛び出し量の極端な変化による、視聴者の違和感、及び疲労感を低減する。
【解決手段】映像入力部20に入力された立体映像信号を映像分離部30で左目映像、及び右目映像に分離し、視差計算部40で左目映像と、右目映像との視差を計算し、画面全体視差情報とする。飛び出し変化量計測部50で過去のフレームとの画面全体視差情報の変化を求め、飛び出し変化量とし、飛び出し変化量に基づいて、表示位置計算部60で左目映像、及び右目映像の表示位置を決定し、光変調部70に左目映像、及び右目映像を交互に表示することで、飛び出し量の極端な変化を抑制し、視聴者の違和感、及び疲労感を低減する。
【選択図】図2
【解決手段】映像入力部20に入力された立体映像信号を映像分離部30で左目映像、及び右目映像に分離し、視差計算部40で左目映像と、右目映像との視差を計算し、画面全体視差情報とする。飛び出し変化量計測部50で過去のフレームとの画面全体視差情報の変化を求め、飛び出し変化量とし、飛び出し変化量に基づいて、表示位置計算部60で左目映像、及び右目映像の表示位置を決定し、光変調部70に左目映像、及び右目映像を交互に表示することで、飛び出し量の極端な変化を抑制し、視聴者の違和感、及び疲労感を低減する。
【選択図】図2
Description
本発明は、立体映像表示装置、及び立体映像表示方法に関する。
視聴者が立体感を得る一つの手段として、左右の目に入る映像の視差に基づいて立体感を得る手法がある。以下の説明では、この手法を「ステレオ視」とも呼ぶ。ステレオ視に基づく立体映像表示装置では、互いに視差を持つ左目映像と右目映像を交互に表示するとともに、視聴者が着用したアクティブシャッター等により視聴者の左目に左目映像のみが入り、右目に右目映像のみが入るようにして、擬似的な視差映像を視聴者に与えることで、視聴者は立体感を得ることができる。
しかし、視聴者が実際の立体物を見るときの視差映像とは異なる擬似的な視差映像が視聴者に与えられるため、視差が大きな立体映像、特に基準面より手前方向に飛び出す映像が表示された場合、視聴者に大きな違和感・疲労感を与えてしまう。
そのため、視聴者の疲労感・違和感を緩和するための手法が提案されている。
そのため、視聴者の疲労感・違和感を緩和するための手法が提案されている。
ここで、特許文献1における立体感の制御を行うことを想定する。
特許文献1においては、映像の立体感が基準面より手前方向なのか、基準面よりも奥方向なのか区別することなく、立体感の変化のみにしたがって、立体感が制御される。
そのため、視聴者の疲労度・違和感が小さい基準面よりも奥方向の立体感の変化によっても立体感を緩和する処理を行い、映像が持つ立体感を損ない、迫力に欠ける映像となってしまう。
特許文献1においては、映像の立体感が基準面より手前方向なのか、基準面よりも奥方向なのか区別することなく、立体感の変化のみにしたがって、立体感が制御される。
そのため、視聴者の疲労度・違和感が小さい基準面よりも奥方向の立体感の変化によっても立体感を緩和する処理を行い、映像が持つ立体感を損ない、迫力に欠ける映像となってしまう。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
[適用例1]本適用例に係る立体映像表示装置は、立体映像を表す立体映像信号を受信する映像入力部と、前記立体映像に含まれる左目映像、及び右目映像の視差情報を計測する視差計算部と、前記視差計算部によって計測された前記視差情報の所定の単位時間あたりの変化に基づき、前記立体映像の飛び出し量の変化を求める飛び出し変化量計測部と、前記飛び出し変化量計測部によって計測された前記飛び出し変化量と、前記左目映像、及び前記右眼映像の過去の表示位置に基づいて、前記左目映像と前記右目映像の表示位置を決定する表示位置計算部と、前記表示位置計算部によって計算された表示位置に基づいて前記左目映像と前記右目映像を表示する映像表示部と、を有することを特徴とする。
本適用例によれば、視差情報から基準面よりも手前方向への立体感にのみ着目することが可能であるため、飛び出し変化量に基づいて立体感を制御可能となり、これによって、映像本来の立体感を大きく損なうことなく、視聴者の違和感・疲労感を軽減することが可能となる。
[適用例2]上記適用例に係る立体映像表示装置において、前記視差計算部は、前記左目映像と前記右目映像とを所定のサイズの小領域に分割し、前記左目映像、及び前記右目映像のうちのいずれかである第一の映像における前記小領域から基準領域を選択し、前記左目映像、および前記右目映像のうちの前記第一の映像とは異なる第二の映像において、前記第一の映像における前記基準領域の座標と同じ第一の座標から、前記第二の映像において前記基準領域の映像に対応する座標を一方向のみ探索し、前記第二の映像の映像端まで到達したときに最も類似度が高い座標を、前記基準領域に対応する第二の座標とし、前記第一の座標と前記第二の座標との差を視差情報することを特徴とする。
本適用例によれば、小領域ごとの視差情報を取得可能であるため、小領域ごとの飛び出し量が計測可能となり、これによって、視聴者の違和感・疲労感をより軽減することが可能となる。
[適用例3]上記適用例に係る立体映像表示装置において、前記視差計算部は、第二の映像において前記基準領域に対応する座標を探索するときに、類似度が所定の第一の閾値以上になった場合に、その座標を前記第二の座標として探索を終了することを特徴とする。
本適用例によれば、類似度が所定の第一の閾値以上であれば前記基準領域に対応する座標であるため、探索範囲を限定することとなり、これによって、より短時間で視差情報を取得することが可能となる。
[適用例4]上記適用例に係る立体映像表示装置において、前記視差計算部は、前記第二の映像の映像端まで到達したときに最も高い類似度が所定の第二の閾値以下の場合は、前記第二の座標を前記第一の座標と同じとすることを特徴とする。
本適用例によれば、最も高い類似度が所定の第二の閾値以下の場合は、前記基準領域に対応する座標が存在しないことであるため、誤探索を発見可能となり、これによって、誤った視差情報を排除することが可能となる。
[適用例5]上記適用例に係る立体映像表示装置において、前記視差計算部は、前記小領域全ての視差情報の総和を計算し、前記視差情報の総和を画面全体視差情報とすることを特徴とする。
本適用例によれば、画面全体視差情報は画面全体の飛び出し量を把握可能であるため、画面全体の飛び出し量の変化を検出可能となり、これによって、視聴者の違和感・疲労感をより軽減することが可能となる。
[適用例6]上記適用例に係る立体映像表示装置において、前記視差計算部は、前記小領域の前記視差情報のうち所定の第三の閾値以上の前記視差情報を持つ前記小領域の数を飛び出し小領域数とし、前記小領域の前記視差情報のうち所定の第三の閾値以上の前記視差情報を持つ前記小領域の前記視差情報の総和を局所視差情報とすることを特徴とする。
本適用例によれば、局所視差情報は画面一部の飛び出し量の変化が把握可能であるため、飛び出し量の局所的な変化を検出可能となり、これによって、視聴者の違和感・疲労感をより軽減することが可能となる。
[適用例7]上記適用例に係る立体映像表示装置において、前記表示位置計算部は、前記画面全体視差情報が所定の第四の閾値以上変化した場合は、前記画面全体視差情報が所定の第五の閾値以下になるように前記左目映像、及び前記右目映像の表示位置を変更し、前記画面全体視差情報が所定の第四の閾値未満変化した場合は、1フレーム前に前記左目映像、及び前記右目映像の表示位置を変更していたかどうかを確認し、変更していた場合は、前記立体映像信号本来の表示位置に近づく方向に前記左目映像、及び右目映像の表示位置を変更し、変更していなかった場合は、前記立体映像信号本来の表示位置に前記左目映像、及び前記右目映像を表示するように表示位置を計算することを特徴とする。
本適用例によれば、表示位置を変更することによって飛び出し量が制御可能であるため、画面全体の急激な飛び出し量の変化を緩和することが可能となり、これによって、視聴者の違和感・疲労感をより軽減することが可能となる。
[適用例8]上記適用例に係る立体映像表示装置において、前記表示位置計算部は、前記飛び出し小領域数が所定の第六の閾値以上変化した場合は、前記飛び出し小領域数が小さくなる方向に前記左目映像、及び前記右目映像の表示位置を変更し、前記飛び出し小領域数が所定の第六の閾値未満変化した場合は、1フレーム前に前記左目映像、及び前記右目映像の表示位置を変更していたかどうかを確認し、変更していた場合は、前記立体映像信号本来の表示位置に近づく方向に前記左目映像、及び右目映像の表示位置を変更し、変更していなかった場合は、前記立体映像信号本来の表示位置に前記左目映像、及び前記右目映像を表示するように表示位置を計算することを特徴とする。
本適用例によれば、表示位置を変更することによって飛び出し量が制御可能であるため、局所的な飛び出し量の急激な変化を緩和することが可能となり、これによって、視聴者の違和感・疲労感をより軽減することが可能となる。
[適用例9]本適用例に係る立体映像表示方法は、立体映像を表す立体映像信号を受信し、前記立体映像に含まれる左目映像、及び右目映像の視差情報を計測し、計測された前記視差情報の所定の単位時間あたりの変化に基づき、前記立体映像の飛び出し量の変化を求め、前記飛び出し変化量と、前記左目映像、及び前記右目映像の過去の表示位置に基づいて、前記左目映像と前記右目映像の表示位置を決定し、計算された表示位置に基づいて前記左目映像と前記右目映像を表示することを特徴とする。
本適用例によれば、視差情報から基準面よりも手前方向への立体感にのみ着目することが可能であるため、飛び出し変化量に基づいて立体感を制御可能となり、これによって、映像本来の立体感を大きく損なうことなく、視聴者の違和感・疲労感を軽減することが可能となる。
(第1実施形態)
以下、図面を参照して本発明の一実施形態について説明する。
図1は、本実施形態の立体映像表示システムの概略構成を示す斜視図であり、(a)は、後方から見た図、(b)は、前方から見た図である。
以下、図面を参照して本発明の一実施形態について説明する。
図1は、本実施形態の立体映像表示システムの概略構成を示す斜視図であり、(a)は、後方から見た図、(b)は、前方から見た図である。
図1(a)、(b)に示すように、立体映像表示システム3は、両眼視差を利用して視聴者に立体像を認識させるシステムであり、立体映像表示装置1と、液晶シャッターメガネ2とを備えて構成されている。なお図1では、立体映像表示装置1としてプロジェクターを用いた例を示している。
立体映像表示装置(プロジェクターとも称する)1は筐体6を備えており、この筐体6には、ユーザーにより入力操作が行われる入力操作部11が配置されている。また筐体6には複数の入力端子12が設けられており、これらの入力端子12を介して、外部の画像供給装置(図示省略)から映像情報(映像信号)が入力される。
筐体6の前面には投射レンズ(投射光学系)13を露出させるための開口部7が形成されており、この投射レンズ13から、映像情報に基づく映像が前方の投射面の一例としてのスクリーン5に投射される。
筐体6の前面には投射レンズ(投射光学系)13を露出させるための開口部7が形成されており、この投射レンズ13から、映像情報に基づく映像が前方の投射面の一例としてのスクリーン5に投射される。
入力端子12には、左目用の映像を表す左目用の映像情報と、右目用の映像を表す右目用の映像情報とが入力され、プロジェクター1は、左目用の映像と右目用の映像とをフレーム単位で時分割してスクリーン5上に交互に投射(表示)する。
また、筐体6の前面、及び前面に続いた天面の一部は、赤外線を透過するカバー部材8で覆われており、このカバー部材8の内側には、左目用の映像と右目用の映像との切り替えに同期するための同期信号を、赤外線で送信する送信部14が備えられている。
また、筐体6の前面、及び前面に続いた天面の一部は、赤外線を透過するカバー部材8で覆われており、このカバー部材8の内側には、左目用の映像と右目用の映像との切り替えに同期するための同期信号を、赤外線で送信する送信部14が備えられている。
液晶シャッターメガネ2は、立体映像表示装置1が投射する映像を視聴する視聴者に装着されるものであり、視聴者の左目に対峙する左目用の液晶シャッター24Lと、右目に対峙する右目用の液晶シャッター24Rとを備えている。
また、液晶シャッターメガネ2の前面には、立体映像表示装置1から送信される赤外線の同期信号を受信するための受信部21が設けられており、立体映像表示装置1から赤外線送信された同期信号は、スクリーン5で反射して液晶シャッターメガネ2に受信される。
液晶シャッターメガネ2は、左目用の映像が視聴者の左目のみで認識され、右目用の映像が視聴者の右目のみで認識されるよう、受信した同期信号に同期して左右の液晶シャッター24L、24Rを交互に開放させる。
また、液晶シャッターメガネ2の前面には、立体映像表示装置1から送信される赤外線の同期信号を受信するための受信部21が設けられており、立体映像表示装置1から赤外線送信された同期信号は、スクリーン5で反射して液晶シャッターメガネ2に受信される。
液晶シャッターメガネ2は、左目用の映像が視聴者の左目のみで認識され、右目用の映像が視聴者の右目のみで認識されるよう、受信した同期信号に同期して左右の液晶シャッター24L、24Rを交互に開放させる。
図2は、第1の実施形態に係る立体映像表示装置の機能的構成を示すブロック図である。
図2に示す立体映像表示装置1は、スクリーン5に立体映像を投射するプロジェクターであり、光源装置100と、光源装置100が発した光を変調する光変調部70と、光変調部70で変調された光を集光および拡散してスクリーン5に投射する投射光学系13と、を備えて構成される。
図2に示す立体映像表示装置1は、スクリーン5に立体映像を投射するプロジェクターであり、光源装置100と、光源装置100が発した光を変調する光変調部70と、光変調部70で変調された光を集光および拡散してスクリーン5に投射する投射光学系13と、を備えて構成される。
立体映像表示装置1は、左目用の映像と右目用の映像とを交互にスクリーン5に投射することにより、時分割方式で立体映像をスクリーン5に投射する。視聴者は、液晶シャッターメガネ2を装着して立体映像表示装置1が投射する映像を視聴することで、立体的な映像を見ることができる。
光源装置100は、キセノンランプや、超高圧水銀ランプ、LED(Light emitting diode)等の光源を備えている。また、光源装置100は、光源が発した光を光変調部70に導くリフレクター、及び補助リフレクターを備えていてもよく、光の光学特性を高めるためのレンズ群(図示略)や偏光板等を備えたものであってもよい。
光変調部70は、R(赤)G(緑)B(青)の各色に対応した3枚の透過型液晶パネルにより構成される。後述する表示位置計算部60により指定された液晶パネルの表示位置に、後述する制御部10から与えられる垂直同期信号(VSync)に同期して映像が描画される。言い換えると、液晶パネルは、垂直同期信号に同期して光源装置100が発した光の変調を行う。
投射光学系13は、光変調部70で変調されたRGB3色の変調光を合成するプリズムや、プリズムで合成された光をスクリーン5に結像させるレンズ群等を備えている。
立体映像表示装置1は、内蔵する記憶装置が記憶する映像ソース(図示略)、またはパーソナルコンピューターや各種映像プレーヤー等の外部の映像供給装置(図示略)から入力される立体映像信号に基づいて映像を投射する。
立体映像表示装置1は、上記した構成に加えて、立体映像表示装置1全体を制御する制御部10、映像ソースまたは外部の画像供給装置から入力端子12を介して入力される立体映像信号を受信する映像入力部20、映像入力部20から入力された立体映像および映像フォーマットに基づいて、立体映像を左目映像と右目映像とに分離する映像分離部30、映像分離部30から入力された左目映像および右目映像に基づいて、左目映像と右目映像との視差情報を求める視差計算部40、視差計算部40が求めた視差情報に基づいて飛び出し変化量を計算する飛び出し変化量計測部50、飛び出し変化量計測部50が算出した飛び出し変化量と、映像の過去の表示位置とに基づいて左目映像と右目映像の表示位置を算出する表示位置計算部60と、を備えている。
立体映像表示装置1は、上記の各機能部によって、投射する映像の立体感の制御を行う。すなわち、左目映像と右目映像の表示位置を立体映像信号に合わせて適切な位置に変化させることで、視聴者に疲労度・違和感のない立体表示を行う。
図3は、立体映像表示装置1の動作を示すフローチャートであり、上述した立体映像表示装置1の各部により実行される立体感の制御における処理手順を示している。以下、この図3のフローチャートと図2を参照して、立体感の制御の詳細について説明する。
映像入力部20は立体映像信号が入力されると(ステップS200)、入力された立体映像信号を立体映像表示装置1の内部で処理できる形式に変換して立体映像とし、映像フォーマットの判別を行う。
映像フォーマットにはフレームパッキング方式や、サイドバイサイド方式、トップアンドボトム方式等のフォーマットがある。
映像フォーマットにはフレームパッキング方式や、サイドバイサイド方式、トップアンドボトム方式等のフォーマットがある。
映像分離部30は映像フォーマットを元に、立体映像を左目映像と右目映像に分離する(ステップS210)。
本実施形態では、映像分離部30によって生成される左目映像、及び右目映像のそれぞれは、連続したビットマップ形式のデータであり、データ上でドットマトリックス状に配置された各画素について、画素ごとにRGB系の色成分を階調値(例えば、0−255段階の階調値)として保持したものである。
本実施形態では、映像分離部30によって生成される左目映像、及び右目映像のそれぞれは、連続したビットマップ形式のデータであり、データ上でドットマトリックス状に配置された各画素について、画素ごとにRGB系の色成分を階調値(例えば、0−255段階の階調値)として保持したものである。
入力された立体映像信号のフォーマットがサイドバイサイド方式またはトップアンドボトム方式である場合、映像分離部30は、立体映像から左目映像と右目映像とをそれぞれ切り出し、切り出した映像を光変調部70の表示解像度に合わせてスケーリングする処理を行って、スケーリング後の映像を出力する。
入力された立体映像信号のフォーマットがフレームパッキング方式の場合は、左目映像と右目映像とを光変調部70の表示解像度に合わせてスケーリングする処理を行って、スケーリング後の映像を出力する。
入力された立体映像信号のフォーマットがフレームパッキング方式の場合は、左目映像と右目映像とを光変調部70の表示解像度に合わせてスケーリングする処理を行って、スケーリング後の映像を出力する。
ここで、映像分離部30から視差計算部40へ、左目映像と右目映像とが、左目映像が先になるように交互に出力される。また、映像分離部30は、出力中の映像が左目映像と右目映像のどちらであるかを示すLR識別信号と、左目映像と右目映像との各々の垂直同期信号VSyncとを出力する。
入力された立体映像信号のフォーマットがフレームパッキング方式、サイドバイサイド方式またはトップアンドボトム方式である場合、この入力信号に含まれる垂直同期信号は一つのフレームに一つである。この場合、映像分離部30は、入力信号から左目映像と右目映像とを分離するとともに、分離した左目映像と右目映像とのそれぞれの描画開始タイミングを示す垂直同期信号VSyncを生成して出力する。
制御部10は、映像分離部30から出力されるLR識別信号および垂直同期信号VSyncに基づいて立体映像表示装置1の各部を制御する。
視差計算部40には、映像分離部30が出力する左目映像および右目映像と、LR識別信号と、垂直同期信号VSyncとが入力される。
視差計算部40には、映像分離部30が出力する左目映像および右目映像と、LR識別信号と、垂直同期信号VSyncとが入力される。
視差計算部40は、LR識別信号および垂直同期信号VSyncに基づいて、映像分離部30から入力される映像が左目映像か右目映像かを識別し、左目映像と右目映像のそれぞれを取得する。そして、左目映像と右目映像とから視差情報を計算する(ステップS220)。
視差計算部40が出力する視差情報は、飛び出し変化量計測部50に入力される。
視差計算部40が出力する視差情報は、飛び出し変化量計測部50に入力される。
飛び出し変化量計測部50は入力された視差情報(現在の視差情報)と、過去の視差情報と、を基にして、所定の期間において、立体映像の飛び出し量がどの程度変化したかを計算する(ステップS230)。
飛び出し変化量計測部50が計算した飛び出し変化量は、表示位置計算部60に入力される。
飛び出し変化量計測部50が計算した飛び出し変化量は、表示位置計算部60に入力される。
表示位置計算部60は、入力された飛び出し変化量と、映像の過去の表示位置と、を基にして、現フレームで表示する左目映像、及び右目映像を表示すべき表示位置を計算する(ステップS240)。
なお「過去の表示位置」とは、現フレームより前のフレームにおいて左目映像、及び右目映像が表示されていた位置である。本実施形態では、現フレームの1つ前のフレームにおいて左目映像、及び右目映像が表示されていた位置が「過去の表示位置」であるものとして説明する。
なお「過去の表示位置」とは、現フレームより前のフレームにおいて左目映像、及び右目映像が表示されていた位置である。本実施形態では、現フレームの1つ前のフレームにおいて左目映像、及び右目映像が表示されていた位置が「過去の表示位置」であるものとして説明する。
光変調部70には、映像分離部30から左目映像、及び右目映像が入力され、制御部10から垂直同期信号VSyncが入力され、表示位置計算部60から、左目映像、及び右目映像の表示位置が入力される。
光変調部70は、最初の垂直同期信号VSyncLのタイミングで左目映像を左目映像の液晶パネル表示位置(左目表示位置)に表示し、次の垂直同期信号VSyncRのタイミングで右目映像を右目映像の液晶パネル表示位置(右目表示位置)に表示する(ステップS250)。
光源装置100、光変調部70、及び投射光学系13等が、本発明における映像表示部を構成する。
光変調部70は、最初の垂直同期信号VSyncLのタイミングで左目映像を左目映像の液晶パネル表示位置(左目表示位置)に表示し、次の垂直同期信号VSyncRのタイミングで右目映像を右目映像の液晶パネル表示位置(右目表示位置)に表示する(ステップS250)。
光源装置100、光変調部70、及び投射光学系13等が、本発明における映像表示部を構成する。
ここで、本実施形態における視差の概念について説明する。
以下の説明において、「左目映像と、右目映像とが対応している」とは、これら映像が、一の映像を立体的に表現すべく、左目と右目の視差を反映して生成された映像であるということである。
より具体的には、入力された立体映像信号のフォーマットがサイドバイサイド方式またはトップアンドボトム方式である場合、立体映像から切り出されて生成された一対の左目映像と右目映像とが、対応する映像に該当する。また、左目映像に係る立体映像信号と、右目映像に係る立体映像信号とが順次入力される方式の場合、本実施形態では、一の左目映像と、当該一の左目映像の次に入力された右目映像とが、対応する画像データに該当するものとする。
以下の説明において、「左目映像と、右目映像とが対応している」とは、これら映像が、一の映像を立体的に表現すべく、左目と右目の視差を反映して生成された映像であるということである。
より具体的には、入力された立体映像信号のフォーマットがサイドバイサイド方式またはトップアンドボトム方式である場合、立体映像から切り出されて生成された一対の左目映像と右目映像とが、対応する映像に該当する。また、左目映像に係る立体映像信号と、右目映像に係る立体映像信号とが順次入力される方式の場合、本実施形態では、一の左目映像と、当該一の左目映像の次に入力された右目映像とが、対応する画像データに該当するものとする。
図4は、本実施形態における視差について説明するための図である。
図4では、左目映像、及び右目映像によって立体的に表現される映像(以下、「合成立体映像」という)に係る仮想空間(合成立体映像によって表現される奥行きをもった仮想的な空間)を上から見た様子を模式的に示している。
図4では、左目映像、及び右目映像によって立体的に表現される映像(以下、「合成立体映像」という)に係る仮想空間(合成立体映像によって表現される奥行きをもった仮想的な空間)を上から見た様子を模式的に示している。
合成立体映像で、より手前側に存在するように表現されるオブジェクトについては、仮想空間内でより手前側に配置され、一方、合成立体画像で、より奥側に存在するように表現されるオブジェクトについては、仮想空間内でより奥側に配置される。
例えば、図4の仮想空間では、オブジェクトM1の方が、オブジェクトM2よりも手前側に配置されているため、合成立体映像では、オブジェクトM1に係る映像の方が、オブジェクトM2に係る映像よりも手前側に存在するように表現される。
また、オブジェクトM2の方が、オブジェクトM3よりも手前側に配置されているため、合成立体映像では、オブジェクトM2に係る映像の方が、オブジェクトM3に係る映像よりも手前側に存在するように表現される。
なお、オブジェクトM1、オブジェクトM2は仮想空間内で、遠近の基準となる基準面よりも手前側に存在し、オブジェクトM3は基準面よりも奥側に存在する。
また、オブジェクトM2の方が、オブジェクトM3よりも手前側に配置されているため、合成立体映像では、オブジェクトM2に係る映像の方が、オブジェクトM3に係る映像よりも手前側に存在するように表現される。
なお、オブジェクトM1、オブジェクトM2は仮想空間内で、遠近の基準となる基準面よりも手前側に存在し、オブジェクトM3は基準面よりも奥側に存在する。
また、図4において、符号LPは、仮想空間を視認する左目の位置に対応する左目ポイントを示し、符号RPは、仮想空間を視認する右目の位置に対応する右目ポイントを示している。周知のとおり、左目ポイントLPに位置する左目と、右目ポイントRPに位置する右目との視差を利用して、左目映像、及び右目映像のそれぞれが生成される。
図4に示すように、左目ポイントLPとオブジェクトM1とを結ぶ仮想直線SL1、及び右目ポイントRPとオブジェクトM1とを結ぶ仮想直線SR1は、オブジェクトM1において角度αの視差対応角Q1をもって交わり、また仮想直線SL1と基準面との交点L1、及び仮想直線SR1と基準面との交点R1の間には、ギャップT1が形成される。
同様に、左目ポイントLPとオブジェクトM2とを結ぶ仮想直線SL2、及び右目ポイントRPとオブジェクトM2とを結ぶ仮想直線SR2は、オブジェクトM2において角度βの視差対応角Q2をもって交わり、また仮想直線SL2と基準面との交点L2、及び仮想直線SR2と基準面との交点R2の間には、ギャップT2が形成される。
さらに、左目ポイントLPとオブジェクトM3とを結ぶ仮想直線SL3、及び右目ポイントRPとオブジェクトM3とを結ぶ仮想直線SR3は、オブジェクトM3において角度γの視差対応角Q3をもって交わり、また仮想直線SL3と基準面との交点L3、及び仮想直線SR3と基準面との交点R3の間には、ギャップT3が形成される。
視差対応角Q1、Q2、Q3、及びギャップT1、T2、T3は、左目ポイントLPと、右目ポイントRPとの位置的な相違に起因して現出する値である。仮想空間内におけるオブジェクトの位置がより手前側であればあるほど、当該オブジェクトに係る視差対応角Q、及びギャップTが大きな値となり、逆に、仮想空間内におけるオブジェクトの位置がより奥側であればあるほど、当該オブジェクトに係る視差対応角Q、及びギャップTがより小さな値となる。さらに、オブジェクトが基準面よりも奥に配置された場合、ギャップTは負の値となる。
そして、本実施形態では、これら視差対応角Qや、ギャップTを概念的に表したものが「視差」に相当する。すなわち、本実施形態における視差とは、左目ポイントLPと右目ポイントRPとの位置的な相違に起因して、仮想空間内において手前にあるオブジェクトほど相対的に大きく、一方、奥にあるオブジェクトほど相対的に小さくなる値を概念的に示す値である。
従って、以下の説明において、例えば、左目映像に含まれる一のオブジェクトに係る画像と、他のオブジェクトに係る画像について、「一のオブジェクトに係る画像の方が、他のオブジェクトに係る画像よりも視差が大きい」と表現する場合、合成立体映像における仮想空間内で、一のオブジェクトの方が、他のオブジェクトよりも手前側に配置されていることを意味し、かつ、合成立体映像において、一のオブジェクトに係る画像の方が、他のオブジェクトに係る画像よりも手前に存在するように表現されることを意味する。
視差の大きさは、左目映像、及び右目映像に、以下のように反映される。
視差の大きさは、左目映像、及び右目映像に、以下のように反映される。
図5は、左目映像、及び右目映像を模式的に示す図である。
図5では、左目映像、及び右目映像は、同一の座標系に、互いに対応するように展開されているものとする。すなわち、座標系において、左目映像の四隅と、右目映像の四隅とが重なるように展開され、左目映像に含まれる一の画素に定義される座標と、右目映像において、右目用画像データにおける当該一の画素と同一の位置に配置された他の画素に定義される座標とが同一となっている。
図5では、左目映像、及び右目映像は、同一の座標系に、互いに対応するように展開されているものとする。すなわち、座標系において、左目映像の四隅と、右目映像の四隅とが重なるように展開され、左目映像に含まれる一の画素に定義される座標と、右目映像において、右目用画像データにおける当該一の画素と同一の位置に配置された他の画素に定義される座標とが同一となっている。
上述したように、左目映像、及び右目映像は、データ上で各画素がドットマトリックス状に配置されたデータであるため、これら映像を座標系に展開することにより、これら映像の各画素の座標は、座標系において原点として定義された位置からの相対的な位置によって一意に定義される。
図5の左目映像、及び右目映像において、画像データM´1は、図4のオブジェクトM1に対応する画像データであり、画像データM´2は、図4のオブジェクトM2に対応する画像データであり、画像データM´3は、図4のオブジェクトM3に対応する画像データである。
図5に示すように、左目映像における画像データM´1と、右目映像における画像データM´1とは、離間量V1分、ずらして配置される。同様に、これら画像データにおいて、画像データM´2は、離間量V2分、ずらして配置され、画像データM´3は、離間量V3分、ずらして配置される。
この離間量V1、V2、V3は、オブジェクトM1、M2、M3の視差に対応した値であり、仮想空間内でオブジェクトがより手前に配置されていればいるほど(=視差が大きいほど)、大きな値となり、逆に、仮想空間内でオブジェクトがより奥に配置されていればいるほど(=視差が小さいほど)、小さな値となる。また、オブジェクトが基準面より奥に配置されていると、オブジェクトの位置関係が、基準面より手前に配置されているときと比べて逆転する(=視差が負の値になる)。
すなわち、仮想空間内でより手前側に配置されており、合成立体映像においてより手前側に存在するように表現すべきオブジェクトほど、換言すれば、視差の大きなオブジェクトほど、左目映像、及び右目映像において、当該オブジェクトに係る画像に対応する離間量Vが大きくなり、逆に、仮想空間内でより奥側に配置されており、合成立体映像においてより奥側に存在するように表現すべきオブジェクトほど、換言すれば、視差の小さなオブジェクトほど、左目映像、及び右目映像において、当該オブジェクトに係る画像に対応する離間量Vが小さくなる。
視差計算部40の動作について詳細を説明する。
図6は視差計算部40の動作を示すフローチャートである。
視差計算部40は、映像分離部30より入力された左目映像、右目映像を所定の座標系に展開し、図7のような格子状の領域に分割する(ステップS500)。
図7では、映像を横32領域、縦18領域、合計576領域に分割した例である。分割の方法は上述には限らず、立体映像表示装置ごとに適切な分割方法を選択する。
図6は視差計算部40の動作を示すフローチャートである。
視差計算部40は、映像分離部30より入力された左目映像、右目映像を所定の座標系に展開し、図7のような格子状の領域に分割する(ステップS500)。
図7では、映像を横32領域、縦18領域、合計576領域に分割した例である。分割の方法は上述には限らず、立体映像表示装置ごとに適切な分割方法を選択する。
次いで、視差計算部40は右目映像内の前述の領域から一つを選択し、基準領域とするとともに、映像を取得する(ステップS510)。
例えば、図7の600−1を基準領域に選択した場合は、600−1の領域内の映像を取得することになる。
例えば、図7の600−1を基準領域に選択した場合は、600−1の領域内の映像を取得することになる。
次いで、視差計算部40はステップS510で選択した基準領域の映像をテンプレート画像として、左目映像に対してテンプレートマッチング処理を行うことにより、左目映像において当該基準領域に対応する映像が位置する領域の座標を取得する(ステップS520)。
以下、ステップ520について詳細を説明する。
以下、ステップ520について詳細を説明する。
図8はステップ520の動作の説明図である。
ステップ520において、まず視差計算部40は、左目映像を展開した座標系に、ステップ510で取得した基準領域の映像を配置する。その際、視差計算部40は右目映像における基準領域の配置位置に対応する、左目映像の座標に基準領域の映像を配置する。
例えば、図8では、基準領域が600−1の場合(図7参照)の例である。すなわち右目映像の基準領域600−1の配置位置と対応する左目映像の座標に基準領域の映像が配置されている。
ステップ520において、まず視差計算部40は、左目映像を展開した座標系に、ステップ510で取得した基準領域の映像を配置する。その際、視差計算部40は右目映像における基準領域の配置位置に対応する、左目映像の座標に基準領域の映像を配置する。
例えば、図8では、基準領域が600−1の場合(図7参照)の例である。すなわち右目映像の基準領域600−1の配置位置と対応する左目映像の座標に基準領域の映像が配置されている。
次いで、視差計算部40は、基準領域の映像と、当該基準領域の映像が配置された左目映像の領域の映像と、の類似度を計算する。本実施形態では、類似度は、正規化相互関数を用いて算出される−1〜1の範囲の値であり、その値が1に近いほど、類似度が高い。
次いで、視差計算部40は、左目映像が展開された座標系において、テンプレート画像たる基準領域の映像を画素1つ分、右方向(図8の矢印Y1の方向)にずらし、上述の方法と同様に、基準領域の画像と、当該基準領域の画像が配置された左目映像の領域と、の類似度を計算する。
このようにして、視差計算部40は基準領域の映像を、画素1つ分、右方向にずらしたあと、基準領域の映像と、左目映像の類似度を算出する、という動作を、基準領域の映像が左目映像の右端に到達するまで繰り返し行う。
例えば、図8の場合、ステップS510で取得した基準領域が領域X−0であった場合、領域X−1に到達するまで、上記処理を繰り返す。
例えば、図8の場合、ステップS510で取得した基準領域が領域X−0であった場合、領域X−1に到達するまで、上記処理を繰り返す。
次いで、視差計算部40は、算出した類似度のそれぞれを比較して、類似度が最も高かった左目映像における領域を特定し、当該領域の左目映像の座標系における座標を取得する。
例えば、図8の場合、領域X−2の類似度が最も高かったとする。この場合、領域X−2の左目映像の座標系における座標を取得する。
例えば、図8の場合、領域X−2の類似度が最も高かったとする。この場合、領域X−2の左目映像の座標系における座標を取得する。
以上のようにして、ステップS520において、視差計算部40は左目映像においてステップS510で取得した基準領域の映像に対応する映像が位置する領域の座標を取得する。
ここで、図4、及び図5を用いて説明したように、ある1つのオブジェクトに係る画像の映像について、右目映像において当該画像の映像が配置される位置と、左目映像において当該画像の映像が配置される位置とでは、視差を反映した離間量V分のずれが生じる。
そして、基準領域の映像と、ステップS520で特定された左目映像の領域に対応する映像とのそれぞれは、類似度が最も高い画像データ、すなわち、最も「似ている」画像を示す映像ということであり、これらは、同一のオブジェクトに係る画像について、視差を反映して離間量V分ずらして形成された映像のそれぞれである。
そして、基準領域の映像と、ステップS520で特定された左目映像の領域に対応する映像とのそれぞれは、類似度が最も高い画像データ、すなわち、最も「似ている」画像を示す映像ということであり、これらは、同一のオブジェクトに係る画像について、視差を反映して離間量V分ずらして形成された映像のそれぞれである。
本実施形態では、類似度として、正規化相互関数を用いた類似度を採用している。これは、同一のオブジェクトに係る画像データであっても、左目映像と右目映像とでは、左目と右目との視差を反映して(左目でオブジェクトを見たときの見え方と、右目でオブジェクトを見たときの見え方との違いを反映して)、そのデータの内容が異なっており、これを考慮して、類似という観点から、適切に、左目映像における基準領域の映像に対応する領域を検出するためである。
なお、基準領域の映像に対応する画像データが位置する領域の検出は、正規化相互関数を用いた類似度を利用した方法のみならず、例えば、基準領域の映像を2値化すると共に、左目用画像データを2値化し、これら画像データを用いてテンプレートマッチング処理を行うようにしてもよい。
また、本実施形態では、基準領域の映像を、画素1つ分、「右方向」にずらした後、基準領域の映像と、左目映像との類似度を算出する、という動作を、基準領域の映像が、左目映像の右端に至るまで繰り返し行うことにより、基準領域に対応する領域の検出を実行する。
これは、全てのオブジェクトのうち仮想空間内で基準面よりも手前側に配置されているオブジェクトに着目することを意味しており、例えば図4においては、オブジェクトM1、M2、及びM3のうち基準面よりも手前側に配置されている(視差が正の値である)オブジェクトM1、及びM2の飛び出し量を計測することに相当する。
基準面よりも手前側に配置されているオブジェクトに関しては、図5に示すように、一のオブジェクトに係る画像の画像データの右目映像における位置は、必ず、当該一のオブジェクトに係る画像の画像データの左目映像における位置の、水平方向(左目と右目とを結ぶ直線が延びる方向に対応する方向)における「左」となるからであり、上述した動作によって基準領域に対応する領域の検出を行うことにより、不必要に類似度を算出することを防止でき、処理効率の向上を図ることができるからである。
また、本実施形態では、基準領域の映像に対応する領域を検出するために、左目映像の右端まで探索を行っているが、類似度が所定の閾値以上であれば、その時点で基準領域に対応する領域と判断してもよい。こうすることで、不必要に類似度を算出することを防止でき、処理の効率化を図ることができる。
また、本実施形態では、基準領域の映像に対応する領域を検出するために、左目映像の右端まで探索を行い、算出した類似度が最も高い領域を、基準領域の映像に対応する領域としている。しかし、最も高い類似度が低い場合、本来の基準領域の映像に対応する領域が探索範囲外にある可能性がある。
そこで、最も高い類似度が所定の閾値以下の場合は、基準領域に対応する領域の座標を探索開始位置、すなわち、視差0である、とする。こうすることで、基準領域に対応する領域の誤検出を防ぎ、より正確に視差を求めることができる。
そこで、最も高い類似度が所定の閾値以下の場合は、基準領域に対応する領域の座標を探索開始位置、すなわち、視差0である、とする。こうすることで、基準領域に対応する領域の誤検出を防ぎ、より正確に視差を求めることができる。
さて、前掲の図6に戻り、視差計算部40は、基準領域の映像が右目映像において配置されていた領域の中心の座標と、左目映像において類似度が最も高かった領域の中心の座標との距離である離間量Vを算出する(ステップS530)。
図8において領域X−2が最も類似度が高いとすると、視差計算部40は、離間量Vとして、この領域X−2の中心と、領域X−0の中心との距離を算出する。
図8において領域X−2が最も類似度が高いとすると、視差計算部40は、離間量Vとして、この領域X−2の中心と、領域X−0の中心との距離を算出する。
次いで、視差計算部40は、算出した離間量Vを、そのまま、ステップS510で処理対象とした基準領域の視差値として算出する(ステップS540)。
なお、本実施形態では、離間量Vをそのまま視差値としているが、視差値は、離間量Vと正の相関関係を有する値であればよい。すなわち、視差値は、離間量Vと正の相関関係を有することにより、視差の大きさと正の相関関係を有した値であればよい。
なお、本実施形態では、離間量Vをそのまま視差値としているが、視差値は、離間量Vと正の相関関係を有する値であればよい。すなわち、視差値は、離間量Vと正の相関関係を有することにより、視差の大きさと正の相関関係を有した値であればよい。
視差計算部40は、右目映像に形成された全ての基準領域600に対して、ステップS510〜ステップS540に係る処理を行い、全ての基準領域600の視差値を算出する。
さらに、視差計算部40は、左目映像に形成された全ての基準領域に対しても、ステップS510〜ステップS540に対応する処理を行い、左目映像における全ての基準領域の視差値を算出する。
その際、ステップS520に対応する処理(ステップS525)の実行にあたり、視差計算部40は、左目映像に形成された基準領域に係る基準領域の映像を、左目用画像データが展開された座標系において、画素1つ分、「左方向」にずらした後、基準領域の映像と、左目映像との類似度を算出する、という動作を、当該基準領域の映像が、右目映像の左端に至るまで繰り返し行うことにより、基準領域に対応する領域の検出を実行する。これにより、処理効率の向上を図る。
このようにして、右目映像、及び左目映像に形成された全ての基準領域の視差値を算出し、視差値の総和を求める。これを画面全体視差情報p(t)とし、飛び出し変化量計測部50へ出力する(ステップS560)。
本実施形態では、右目映像に形成された全ての基準領域と、左目映像に形成された全ての基準領域と、の視差値を計測したが、右目映像に形成された基準領域、または左目映像に形成された基準領域、いずれか一方の全ての基準領域における視差値を計測するようにしてもよい。
これは、視差値は右目映像を基準とした場合、左目映像を基準とした場合とほぼ一致するためである。こうすることで、視差値の処理を軽減することができる。
次に、飛び出し変化量計測部50の動作について説明する。
飛び出し変化量計測部50では、1つ前のフレームの画面全体視差情報p(t−1)を記憶している。
そして、1つ前のフレームの画面全体視差情報p(t−1)と、現フレームの画面全体視差情報p(t)と、の差分を下記に示す数式(1)で求め、この値を飛び出し変化量Δp(t)とする。
そして、飛び出し変化量Δp(t)を表示位置計算部60へ出力する。
Δp(t)=p(t)−p(t−1)・・・(1)
飛び出し変化量計測部50では、1つ前のフレームの画面全体視差情報p(t−1)を記憶している。
そして、1つ前のフレームの画面全体視差情報p(t−1)と、現フレームの画面全体視差情報p(t)と、の差分を下記に示す数式(1)で求め、この値を飛び出し変化量Δp(t)とする。
そして、飛び出し変化量Δp(t)を表示位置計算部60へ出力する。
Δp(t)=p(t)−p(t−1)・・・(1)
次に、表示位置計算部60の動作について説明する。
図9に、表示位置計算部60の動作のフローチャートを示す。
はじめに、飛び出し変化量Δpと、所定の第一の閾値Th1と、の大小関係を比較する(ステップS800)。
図9に、表示位置計算部60の動作のフローチャートを示す。
はじめに、飛び出し変化量Δpと、所定の第一の閾値Th1と、の大小関係を比較する(ステップS800)。
ステップS800において、飛び出し変化量Δpが所定の第一の閾値Th1以上の場合(ステップS800:Yes)は、映像の飛び出しが急に大きくなり、視聴者に違和感を与えるため、ステップS810において、画面全体視差情報p(t)が所定の第二の閾値Th2以下となるように、表示位置シフト量dx(t)を下記に示す数式(2)で求め、その後終了する。なお、数式(2)において、Nは視差値の計測に使用した基準領域の総数である。
dx(t)=(Δp(t)−Th2)/2N・・・(2)
dx(t)=(Δp(t)−Th2)/2N・・・(2)
ステップS800において、飛び出し変化量Δpが所定の第一の閾値Th1未満の場合(ステップS800:No)は、1つ前のフレームで、表示位置を変更しているかを確認する。すなわち、1つ前のフレーム(1フレーム前)の表示位置シフト量dx(t−1)が0であるか、否か、を判断する(ステップS820)。
ステップS820において、1つ前のフレームの表示位置シフト量dx(t−1)が0の場合(ステップS820:Yes)は、飛び出し量の制御を行っておらず、かつ、現フレームにおいても飛び出し量の制御が不必要であるから、表示位置シフト量dx(t)を0とする(ステップS830)。そして、その後終了する。
ステップS820において、1つ前のフレームの表示位置シフト量dx(t−1)が0以外の場合(ステップS820:No)は、1つ前のフレームで飛び出し量の制御を行っているため、現フレームで飛び出し量の制御を止めてしまうと、立体感が突然変わってしまい、視聴者に違和感を与えてしまう。
そこで、ステップS840において、下記に示す数式(3)のように、前のフレームの表示位置シフト量dx(t−1)に対して、所定の表示位置変化量Δx1を減算することで表示位置シフト量dx(t)を求める。
dx(t)=dx(t−1)−Δx1・・・(3)
dx(t)=dx(t−1)−Δx1・・・(3)
数式(3)の結果、表示位置シフト量dx(t)が0未満となった場合(ステップS850:Yes)は、表示位置シフト量dx(t)を0として(ステップS830)、終了する。
また、数式(3)の結果、表示位置シフト量dx(t)が0未満ではなかった場合(ステップS850:No)は、終了する。
また、数式(3)の結果、表示位置シフト量dx(t)が0未満ではなかった場合(ステップS850:No)は、終了する。
次に、光変調部70の動作について説明する。
光変調部70は、表示位置シフト量dx(t)を表示位置計算部60より取得する。光変調部70は、表示位置シフト量dx(t)に従って、左目映像、及び右目映像の表示位置を決定する。
左目映像を表示する場合は、本来の表示位置より表示位置シフト量dx(t)ピクセル左へずらした映像となるように、液晶パネルへ映像を与える。このとき、表示位置シフト量dx(t)ピクセル分、右側に映像が存在しない領域ができる。この領域については、特定の色(例えば、黒)を表示しても良いし、映像の右端のピクセルの情報を表示するようにしても良い。
右目映像を表示する場合は、本来の表示位置より表示位置シフト量dx(t)ピクセル右へずらした映像となるように、液晶パネルへ映像を与える。このとき、表示位置シフト量dx(t)ピクセル分、左側に映像が存在しない領域ができる。この領域については、特定の色(例えば、黒)を表示しても良いし、映像の左端のピクセルの情報を表示するようにしても良い。
光変調部70は、表示位置シフト量dx(t)を表示位置計算部60より取得する。光変調部70は、表示位置シフト量dx(t)に従って、左目映像、及び右目映像の表示位置を決定する。
左目映像を表示する場合は、本来の表示位置より表示位置シフト量dx(t)ピクセル左へずらした映像となるように、液晶パネルへ映像を与える。このとき、表示位置シフト量dx(t)ピクセル分、右側に映像が存在しない領域ができる。この領域については、特定の色(例えば、黒)を表示しても良いし、映像の右端のピクセルの情報を表示するようにしても良い。
右目映像を表示する場合は、本来の表示位置より表示位置シフト量dx(t)ピクセル右へずらした映像となるように、液晶パネルへ映像を与える。このとき、表示位置シフト量dx(t)ピクセル分、左側に映像が存在しない領域ができる。この領域については、特定の色(例えば、黒)を表示しても良いし、映像の左端のピクセルの情報を表示するようにしても良い。
以上のように構成することによって、画面全体の急激な飛び出し量の変化による、視聴者の違和感を低減することができ、視聴者に負担のかからない立体映像表示が可能となる。
(第2実施形態)
図10は、本発明を適用した第2実施形態に係る立体映像表示装置の機能的構成を示すブロック図である。第1実施形態と同じ構成部材には同一符号を付し、ここではそれらの説明を省略又は簡略化する。
図10に示す立体映像表示装置1aは、構成要素は図2と略同様であるが、視差計算部45から出力される情報が異なり、飛び出し変化量計測部55、表示位置計算部65の動作が異なる。
第1実施形態と動作が異なる、視差計算部45、飛び出し変化量計測部55、表示位置計算部65について詳細を以下で説明する。
図10は、本発明を適用した第2実施形態に係る立体映像表示装置の機能的構成を示すブロック図である。第1実施形態と同じ構成部材には同一符号を付し、ここではそれらの説明を省略又は簡略化する。
図10に示す立体映像表示装置1aは、構成要素は図2と略同様であるが、視差計算部45から出力される情報が異なり、飛び出し変化量計測部55、表示位置計算部65の動作が異なる。
第1実施形態と動作が異なる、視差計算部45、飛び出し変化量計測部55、表示位置計算部65について詳細を以下で説明する。
視差計算部45の動作について詳細を説明する。
図11は視差計算部45の動作を示すフローチャートである。
全ての基準領域における視差量を求める手順(ステップS500〜S555)については、第1実施形態と同じ動作であるため、説明を省略する。
図11は視差計算部45の動作を示すフローチャートである。
全ての基準領域における視差量を求める手順(ステップS500〜S555)については、第1実施形態と同じ動作であるため、説明を省略する。
全ての基準領域における視差値を求めた後、視差値が所定の第三の閾値Th3以上である領域の数をカウントする(ステップS1000)。
以降、視差値が所定の第三の閾値Th3以上である領域を飛び出し領域と呼び、視差値が所定の第三の閾値Th3以上である領域の数を飛び出し領域数M(t)と呼ぶ。
以降、視差値が所定の第三の閾値Th3以上である領域を飛び出し領域と呼び、視差値が所定の第三の閾値Th3以上である領域の数を飛び出し領域数M(t)と呼ぶ。
次に、飛び出し領域の視差値の総和を求め、その値を局所視差情報LP(t)とする(ステップS1010)。
そして、飛び出し領域数M(t)と局所視差情報LP(t)と、を飛び出し変化量計測部55へ出力する。
そして、飛び出し領域数M(t)と局所視差情報LP(t)と、を飛び出し変化量計測部55へ出力する。
次に、飛び出し変化量計測部55の動作について説明する。
飛び出し変化量計測部55では、1つ前のフレームの飛び出し領域数M(t−1)と、局所視差情報LP(t−1)と、を記憶している。
飛び出し変化量計測部55では、1つ前のフレームの飛び出し領域数M(t−1)と、局所視差情報LP(t−1)と、を記憶している。
そして、1つ前のフレームの飛び出し領域数M(t−1)と、現フレームの飛び出し領域数M(t)の差分を下記に示す数式(4)で求め、飛び出し領域変化量ΔM(t)とする。
ΔM(t)=M(t)−M(t−1)・・・(4)
ΔM(t)=M(t)−M(t−1)・・・(4)
また、1つ前のフレームの局所視差情報LP(t−1)と、現フレームの局所視差情報LP(t)と、の差分を下記に示す数式(5)で求め、局所飛び出し変化量ΔLP(t)とする。
ΔLP(t)=LP(t)−LP(t−1)・・・(5)
ΔLP(t)=LP(t)−LP(t−1)・・・(5)
次に、表示位置計算部65の動作について説明する。
図12に、表示位置計算部65の動作のフローチャートを示す。
はじめに、飛び出し領域変化量ΔMと、所定の第四の閾値Th4と、の大小関係を比較する(ステップS1100)。
図12に、表示位置計算部65の動作のフローチャートを示す。
はじめに、飛び出し領域変化量ΔMと、所定の第四の閾値Th4と、の大小関係を比較する(ステップS1100)。
ステップS1100において、飛び出し領域変化量ΔMが所定の第四の閾値Th4以上の場合(ステップS1100:Yes)は、映像の飛び出しが急に大きくなり、視聴者に違和感を与えるため、ステップS1110において、局所飛び出し変化量ΔLP(t)が小さくなるように、表示位置シフト量dx(t)を下記に示す数式(6)で求める。
dx(t)=ΔLP(t)/2M(t)・・・(6)
dx(t)=ΔLP(t)/2M(t)・・・(6)
ステップS1100において、飛び出し変化量ΔMが所定の第四の閾値Th4未満の場合(ステップS1100:No)は、1つ前のフレームで、表示位置を変更しているかを確認する。すなわち、1つ前のフレーム(1フレーム前)の表示位置シフト量dx(t−1)が0であるか、否か、を判断する(ステップS1120)。
ステップS1120において、1つ前のフレームの表示位置シフト量dx(t−1)が0の場合(ステップS1120:Yes)は、飛び出し量の制御を行っておらず、かつ、現フレームにおいても飛び出し量の制御が不必要であるから、表示位置シフト量dx(t)を0とし(ステップS1130)、その後終了する。
ステップS1120において、1つ前のフレームの表示位置シフト量dx(t−1)が0以外の場合(ステップS1120:No)は、1つ前のフレームで飛び出し量の制御を行っているため、現フレームで飛び出し量の制御を止めてしまうと、立体感が突然変わってしまい、視聴者に違和感を与えてしまう。
そこで、ステップS1140において、下記に示す数式(7)のように、前のフレームの表示位置シフト量dx(t−1)に対して所定の表示位置変化量Δx2を減算することで表示位置シフト量dx(t)を求める。
dx(t)=dx(t−1)−Δx2・・・(7)
dx(t)=dx(t−1)−Δx2・・・(7)
数式(7)の結果、表示位置シフト量dx(t)が0未満となった場合(ステップS1150:Yes)は、表示位置シフト量dx(t)を0として(ステップS1130)終了する。
数式(7)の結果、表示位置シフト量dx(t)が0未満ではなかった場合(ステップS1150:No)は、
数式(7)の結果、表示位置シフト量dx(t)が0未満ではなかった場合(ステップS1150:No)は、
以上のように構成することによって、局所的な急激な飛び出し量の変化による、視聴者の違和感を低減することができ、視聴者に負担のかからない立体映像表示が可能となる。
(変形例)
また、上記実施形態は、以下のように変更してもよい。
また、上記実施形態は、以下のように変更してもよい。
上記実施形態では、プロジェクター1、1aの送信部14と、液晶シャッターメガネ2の受信部21との間で、赤外線の同期信号を送受信する態様を示したが、同期信号は、赤外線に限定されない。例えば、赤外線以外の光通信を利用するようにしてもよい。
上記実施形態では、プロジェクター1、1aの光変調部70として、透過型の液晶パネルを用いているが、反射型の液晶パネル等、反射型の光変調部を用いることも可能である。また、入射した光の射出方向を、画素としてのマイクロミラー毎に制御することにより、光源から射出した光を変調する微小ミラーアレイデバイス等を用いることもできる。
1,1a…プロジェクター、2…液晶シャッターメガネ、5…スクリーン、10…制御部、20…映像入力部、30…映像分離部、40,45…視差計算部、50,55…飛び出し変化量計測部、60,65…表示位置計算部、70…光変調部、100…光源装置、13…投射光学系。
Claims (9)
- 立体映像を表す立体映像信号を受信する映像入力部と、
前記立体映像に含まれる左目映像、及び右目映像の視差情報を計測する視差計算部と、
前記視差計算部によって計測された前記視差情報の所定の単位時間あたりの変化に基づき、前記立体映像の飛び出し量の変化を求める飛び出し変化量計測部と、
前記飛び出し変化量計測部によって計測された前記飛び出し変化量と、前記左目映像、及び前記右目映像の過去の表示位置に基づいて、前記左目映像と前記右目映像の表示位置を決定する表示位置計算部と、
前記表示位置計算部によって計算された表示位置に基づいて前記左目映像と前記右目映像を表示する映像表示部と、
を有することを特徴とする立体映像表示装置。 - 請求項1に記載の立体映像表示装置において、
前記視差計算部は、
前記左目映像と前記右目映像とを所定のサイズの小領域に分割し、
前記左目映像、および前記右目映像のうちのいずれかである第一の映像における前記小領域から基準領域を選択し、
前記左目映像、および前記右目映像のうちの前記第一の映像とは異なる第二の映像において、前記第一の映像における前記基準領域の座標と同じ第一の座標から、前記第二の映像において前記基準領域の映像に対応する座標を一方向のみ探索し、
前記第二の映像の映像端まで到達したときに最も類似度が高い座標を、前記基準領域に対応する第二の座標とし、
前記第一の座標と前記第二の座標との差を視差情報とすることを特徴とする立体映像表示装置。 - 請求項2に記載の立体映像表示装置において、
前記視差計算部は、
前記第二の映像において前記基準領域に対応する座標を探索するときに、類似度が所定の第一の閾値以上になった場合に、その座標を前記第二の座標として探索を終了することを特徴とする立体映像表示装置。 - 請求項2に記載の立体映像表示装置において、
前記視差計算部は、
前記第二の映像の映像端まで到達したときに最も高い類似度が所定の第二の閾値以下の場合は、前記第二の座標を前記第一の座標と同じとすることを特徴とする立体映像表示装置。 - 請求項2から4のいずれか一項に記載の立体映像表示装置において、
前記視差計算部は、
前記小領域全ての視差情報の総和を計算し、
前記視差情報の総和を画面全体視差情報とすることを特徴とする立体映像表示装置。 - 請求項2から4のいずれか一項に記載の立体映像表示装置において、
前記視差計算部は、
前記小領域の前記視差情報のうち所定の第三の閾値以上の前記視差情報を持つ前記小領域の数を飛び出し小領域数とし、
前記小領域の前記視差情報のうち所定の第三の閾値以上の前記視差情報を持つ前記小領域の前記視差情報の総和を局所視差情報とすることを特徴とする立体映像表示装置。 - 請求項5に記載の立体映像表示装置において、
前記表示位置計算部は、
前記画面全体視差情報が所定の第四の閾値以上変化した場合は、前記画面全体視差情報が所定の第五の閾値以下になるように前記左目映像、及び前記右目映像の表示位置を変更し、
前記画面全体視差情報が所定の第四の閾値未満変化した場合は、1フレーム前に前記左目映像、及び前記右目映像の表示位置を変更していたかどうかを確認し、
変更していた場合は、前記立体映像信号本来の表示位置に近づく方向に前記左目映像、及び右目映像の表示位置を変更し、
変更していなかった場合は、前記立体映像信号本来の表示位置に前記左目映像、及び前記右目映像を表示するように表示位置を計算することを特徴とする立体映像表示装置。 - 請求項6に記載の立体映像表示装置において、
前記表示位置計算部は、
前記飛び出し小領域数が所定の第六の閾値以上変化した場合は、前記飛び出し小領域数が小さくなる方向に前記左目映像、及び前記右目映像の表示位置を変更し、
前記飛び出し小領域数が所定の第六の閾値未満変化した場合は、1フレーム前に前記左目映像、及び前記右目映像の表示位置を変更していたかどうかを確認し、
変更していた場合は、前記立体映像信号本来の表示位置に近づく方向に前記左目映像、及び右目映像の表示位置を変更し、
変更していなかった場合は、前記立体映像信号本来の表示位置に前記左目映像、及び前記右目映像を表示するように表示位置を計算することを特徴とする立体映像表示装置。 - 立体映像を表す立体映像信号を受信し、
前記立体映像に含まれる左目映像、及び右目映像の視差情報を計測し、
計測された前記視差情報の所定の単位時間あたりの変化に基づき、前記立体映像の飛び出し量の変化を求め、
前記飛び出し変化量と、前記左目映像、及び前記右目映像の過去の表示位置に基づいて、前記左目映像と前記右目映像の表示位置を決定し、
計算された表示位置に基づいて前記左目映像と前記右目映像を表示する、
ことを特徴とする立体映像表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011092742A JP2012227682A (ja) | 2011-04-19 | 2011-04-19 | 立体映像表示装置、及び立体映像表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011092742A JP2012227682A (ja) | 2011-04-19 | 2011-04-19 | 立体映像表示装置、及び立体映像表示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012227682A true JP2012227682A (ja) | 2012-11-15 |
Family
ID=47277413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011092742A Withdrawn JP2012227682A (ja) | 2011-04-19 | 2011-04-19 | 立体映像表示装置、及び立体映像表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012227682A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9355503B2 (en) | 2012-06-19 | 2016-05-31 | Seiko Epson Corporation | Image display apparatus and method for controlling the same |
-
2011
- 2011-04-19 JP JP2011092742A patent/JP2012227682A/ja not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9355503B2 (en) | 2012-06-19 | 2016-05-31 | Seiko Epson Corporation | Image display apparatus and method for controlling the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Woods | Crosstalk in stereoscopic displays: a review | |
US20120169730A1 (en) | 3d image display device and 3d image display method | |
US8294754B2 (en) | Metadata generating method and apparatus and image processing method and apparatus using metadata | |
US8684531B2 (en) | Stereoscopic display device projecting parallax image and adjusting amount of parallax | |
US20110221746A1 (en) | 3d eyeglasses, method for driving 3d eyeglasses and system for providing 3d image | |
US8503764B2 (en) | Method for generating images of multi-views | |
US10502967B2 (en) | Method for rendering three-dimensional image, imaging method and system | |
US20100091098A1 (en) | Display apparatus, display method, and display system | |
US20110248989A1 (en) | 3d display apparatus, method for setting display mode, and 3d display system | |
US8749617B2 (en) | Display apparatus, method for providing 3D image applied to the same, and system for providing 3D image | |
US20110164123A1 (en) | 3d glasses driving method and 3d glasses and 3d image providing display apparatus using the same | |
US20120287252A1 (en) | Image display device, image display system, and image display method | |
TWI432013B (zh) | 立體影像顯示方法及影像時序控制器 | |
US10473945B2 (en) | Method for tuning a three-dimensional image and a display apparatus thereof | |
JP5585265B2 (ja) | 画像表示装置、画像供給装置、及び、画像処理方法 | |
JP5585266B2 (ja) | 画像表示装置、画像供給装置、及び、画像処理方法 | |
EP3439302B1 (en) | Method and device for processing image | |
CN102116937B (zh) | 用于显示三维图像的装置和方法 | |
JP5304758B2 (ja) | 多視点画像作成装置及び多視点画像作成方法並びに多視点画像表示システム | |
CN103297791A (zh) | 图像显示装置及图像显示方法 | |
JP2012227682A (ja) | 立体映像表示装置、及び立体映像表示方法 | |
CN102316333A (zh) | 显示系统与提示系统 | |
TWI449956B (zh) | 主動式偏光三維顯示裝置 | |
KR101026686B1 (ko) | 인터랙티브 입체 영상처리 시스템 및 방법, 그리고 인터랙티브 입체 영상처리장치 | |
JP2004279743A (ja) | 三次元表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140701 |