JP2012065066A - 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体 - Google Patents

立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体 Download PDF

Info

Publication number
JP2012065066A
JP2012065066A JP2010206318A JP2010206318A JP2012065066A JP 2012065066 A JP2012065066 A JP 2012065066A JP 2010206318 A JP2010206318 A JP 2010206318A JP 2010206318 A JP2010206318 A JP 2010206318A JP 2012065066 A JP2012065066 A JP 2012065066A
Authority
JP
Japan
Prior art keywords
image
parallax
eye
eye image
stereoscopic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010206318A
Other languages
English (en)
Other versions
JP5059922B2 (ja
Inventor
Nagao Hattori
永雄 服部
Kenichiro Yamamoto
健一郎 山本
Hisao Kumai
久雄 熊井
Ikuko Tsubaki
郁子 椿
Mikio Seto
幹生 瀬戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2010206318A priority Critical patent/JP5059922B2/ja
Priority to US13/823,509 priority patent/US9224232B2/en
Priority to PCT/JP2011/070724 priority patent/WO2012036120A1/ja
Publication of JP2012065066A publication Critical patent/JP2012065066A/ja
Application granted granted Critical
Publication of JP5059922B2 publication Critical patent/JP5059922B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Abstract

【課題】視差の調整を行いつつ、奥行き方向の位置制御を容易にする。
【解決手段】右目用画像と左目用画像からなる立体画像を生成する立体画像生成装置であって、立体視用画像データを構成する、右目用画像と左目用画像をそれぞれ拡大・縮小する画像拡大縮小部と、立体視用画像データの右目用画像及び左目用画像をそれぞれ右目及び左目に呈示し、立体画像を表示させる制御を行う表示制御部と、を備え、画像拡大縮小部は、右目用画像及び左目用画像に対応してそれぞれ異なる位置に設けられた右目用画像基準点の位置及び左目用画像基準点の位置と、右目用画像及び左目用画像の拡大率と、を含む視差量調整情報に基づいて、右目用画像基準点及び左目用画像基準点を基準として、右目用画像及び左目用画像をそれぞれ拡大・縮小する。
【選択図】図２

Description

本発明は、立体画像を生成する立体画像生成装置に関し、特に立体画像の立体感を調整する調整方法、立体画像立体感調整プログラム、及びこれを記録したコンピュータ読み取り可能な記録媒体に関するものである。
人間は一定の間隔を持つ２つの目により得られる画像の違いから空間を把握する能力を持つ。左右の眼による異なる視点から得られる画像中の対応点のずれを視差と呼び、視差を手掛かりの一つとして対象物の位置関係を立体的に把握している。このことを利用して、右目用画像を右目に表示し、左目用画像を左目に表示する手段を設けて、右目用画像、左目用画像として視差を設けた画像を提示することにより立体視が可能であることが知られている。ここでは、立体視を意図して視差を設けた複数の画像のことを立体画像と称する。
立体視において、人間は視差に応じた両眼の光軸のなす角度、すなわち輻輳の大きさを対象物までの距離に対応付けていると言われている。従って、右目用画像を右に、左目用画像を左に相対的にずらし、視差を付けた画像を見せると、実際の表示面より遠くに表示物を知覚させることができる。しかし、このときに視差をつけすぎ、観察者の目の間隔、正確には無限遠を見ている時の瞳孔間の距離を超えた視差をつけると、自然界では起き得ない状態となり、立体視が不可能となる。同様に、近距離側でも極端な視差は不自然な位置関係を生じ、また、極度な寄り目を観察者に強いることとなり、快適な立体視ができなくなる。このように、立体画像の視差がある一定の範囲では快適に立体視が可能であるが、視差の絶対値が大きくなると両目の画像が融合しなくなり、立体視が不可能となる。
そこで、視差量が大きすぎて立体視しにくい、あるいは立体視が不可能な立体画像を表示する際に、左右画像の表示位置を左右にずらすことで視差を調整し、立体画像を見やすく表示する方法が、以下の特許文献１に示されている。
この方法によれば、左右画像の表示位置をずらすことによって視差調整を行い、表示している物体の奥行き位置を全体的に前後させ、表示している物体を融合しやすくすることができる。しかしながら、左右画像の表示位置を左右にずらすことによって、表示している画像の端に表示不可能な領域が生じ、画像領域が欠けてしまう。欠けた領域は左右画像がペアにならず、立体視ができなくなる。すなわち、立体表示ができない領域が発生してしまう。さらに、奥行き方向の遠い側にも近い側にも過大な視差が付いている場合、全体的に奥行き位置を前後させても、融合のしにくさは解消されない。
そこで、左右画像を拡大、縮小することによって、視差量そのものを調整し、画面全体を立体視可能とする表示方法が特許文献２に示されている。この方法によれば、画面全体を立体視しつつ、画面全体の視差を小さく調整することができ、融合しやすい画像を得ることができる。
特開平９−１２１３７０号公報 特開２００５−７３０１３号公報
しかしながら、上記特許文献２の方法によれば、奥行き方向を全体的に表示面の位置に近づけることはできるが、特許文献２には、奥行き位置の制御については言及されていない。
本発明の目的は、視差の調整を行いつつ、奥行き方向の位置制御を容易とした立体画像生成技術を提供することである。
本発明の一観点によれば、右目用画像と左目用画像からなる立体視用画像を表示し、前記右目用画像を右目に、前記左目用画像を左目に呈示することにより立体画像を生成する立体画像生成装置であって、立体視用画像データを構成する、前記右目用画像と前記左目用画像をそれぞれ拡大・縮小する画像拡大縮小部と、前記立体視用画像データの前記右目用画像及び前記左目用画像をそれぞれ右目及び左目に呈示し、立体画像を表示させる制御を行う表示制御部と、を備え、前記画像拡大縮小部は、前記右目用画像及び前記左目用画像に対応してそれぞれ異なる位置に設けられた右目用画像基準点の位置及び左目用画像基準点の位置と、前記右目用画像及び前記左目用画像の拡大率と、を含む視差量調整情報に基づいて、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ前記拡大率で拡大・縮小することを特徴とする立体画像生成装置が提供される。
前記画像拡大縮小部は、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ横方向にのみ前記拡大率で拡大・縮小するようにしても良い。
また、本発明は、右目用画像と左目用画像からなる立体視用画像を表示し、前記右目用画像を右目に、前記左目用画像を左目に呈示することにより立体画像を生成する立体画像生成装置であって、立体視用画像データを構成する、前記右目用画像と前記左目用画像をそれぞれ拡大・縮小する画像拡大縮小部と、前記立体視用画像データの前記右目用画像及び前記左目用画像をそれぞれ右目及び左目に呈示し、立体画像を表示させる制御を行う表示制御部と、を備え、前記画像拡大縮小部は、前記右目用画像及び前記左目用画像に対応してそれぞれ異なる位置に設けられた右目用画像基準点の位置及び左目用画像基準点の位置と、前記右目用画像及び前記左目用画像の拡大率と、を含む視差量調整情報に基づいて、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ横方向にのみ前記拡大率で拡大・縮小することを特徴とする立体画像生成装置である。
横方向にのみ拡大・縮小することで、画面上下を余らせないようにすることができる。
前記右目用画像基準点及び前記左目用画像基準点は、上下方向の位置が同じであることが好ましい。
前記基準点を、画面左右端の位置とすることで、画面領域を有効に使うことができる。
前記右目用画像基準点及び前記左目用画像基準点は、視差量調整によって奥行き位置を調整する際、奥行き位置の変化しない奥行き方向の基準位置と対応付けた視差量に基づき左右間隔が設定されることが好ましい。これにより、奥行き基準を中心とした奥行きの制御ができる。
前記右目用画像基準点及び前記左目用画像基準点は、画面上の左右中央点に対し左右対称に配置されたことが好ましい。これにより、中心がずれず、画面領域を有効に使うことができる。
前記視差量調整情報は、ユーザ入力を行うユーザ入力部により手動で設定されるようにしても良い。これにより、好みや立体画像への慣れに従って値を設定することができる。
さらに、前記立体視用画像データから視差量を取得する視差量取得部を有し、前記視差量調整情報は、前記視差量取得部が前記立体視用画像データを解析することにより取得された視差量に基づき設定されることが好ましい。
前記右目用画像基準点及び前記左目用画像基準点の位置は、それぞれ左右方向の間隔が前記視差量取得部によって取得された視差量に基づき設定された位置であることが好ましい。これにより、奥行きを自然に制御することができる。
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた最背景の視差に基づき設定されることで、最背景の奥行きを固定でき、また、前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた最近景の視差に基づき設定されることで、最近景の奥行きを固定することができる。
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた最背景の視差と最近景の視差の中間値に基づき設定されることが好ましい。これにより、画像で表現された奥行きの中心を固定することができる。
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた、視差量の出現頻度の高い点に基づき設定されることが好ましい。これにより、面積の広い点の奥行きを固定することができる。
前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた、視差量の変化量の少ない点に基づき設定されることが好ましい。これにより、背景画像の奥行きを固定することができる。
画像解析部を更に有し、前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記画像解析部により求められた画像の消失点の位置に基づき設定されることが好ましい。これにより、消失点の奥行きを固定することができる。
画像解析部を更に有し、前記画像解析部は、前記右目用画像及び前記左目用画像の少なくともいずれかから特定のパターンを認識し、前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記認識された特定のパターンの画像上の位置と対応して前記視差量取得部により求められた視差量に基づき設定されることが好ましい。これにより、特定画像の奥行きを固定することができる。
前記拡大率は、前記視差量取得部によって取得された視差量に基づき設定されるようにしても良い。
前記拡大率は、前記視差量取得部によって取得された視差量の分布に基づき設定されることを特徴とする。これにより、視差の分布を求め、視差の最大値及び最小値、すなわち最遠景の視差及び最近景の視差を考慮して設定する。
前記拡大率は、前記視差量取得部によって取得された最遠景の視差量と前記奥行き方向の基準位置に対応付けた視差量との差と、所定の視差量との比に基づき設定されるようにしても良い。これにより、最遠景までの距離を調整することができる。
前記拡大率は、前記視差量取得部によって取得された最近景の視差量と前記奥行き方向の基準位置に対応付けた視差量との差と、所定の視差量との比に基づき設定されるようにしても良い。これにより、最大飛び出し量を調整することができる。
前記拡大率は、前記視差量取得部によって取得された最遠景の視差量と最近景の視差量の差と、所定の視差量との比に基づき設定されるようにしても良い。これにより、視差レンジを調整することができる。
前記拡大率は、前記視差量取得部によって取得された視差量の分散に基づき設定されることが好ましい。これにより、分散が大きい画像を視覚の負担が大きい画像として検出し、視差量を減らすことによって視覚への負担を和らげることができる。前記所定の視差量は、視聴者の操作に基づき設定されることが好ましい。また、前記所定の視差量は、視聴者の年齢に基づき設定されることが好ましい。これにより、若年者への影響を軽減することができる。前記所定の視差量は、視聴者の好みに応じて設定されるようにしても良い。
前記所定の視差量は、実験により求められた生体への影響度に応じて設定されることが好ましい。これにより、科学的な手法で影響度の低い画像を生成できる。
前記画像拡大縮小部が前記立体視用画像データを縮小処理することによって生じた前記立体視用画像データ外の画面領域に、枠画像を重畳表示する枠画像重畳表示部を有することが好ましい。これにより、画面領域を有効に使うことができる（文字表示）。また、立体感を感じやすくすることができる（枠表示）。
前記入力部で設定された視差量設定情報に基づき、前記画像拡大縮小部は、前記立体視用画像データ外の画面領域に、あらかじめ、枠画像を表示する領域を予め設けておくことが好ましい。これにより、立体感を感じやすくすることができる（枠表示）。
前記枠画像として用いる画像を予め記録しておく枠画像記録部を更に設け、前記枠画像記録部から前記枠画像を読み出すことが好ましい。
前記立体視用画像データから枠画像として用いる画像を抽出する枠画像抽出部を更に設け、前記立体視用画像データから枠画像として用いる前記枠画像を読み出すようにしても良い。
枠画像として用いる画像を選択する枠画像選択手段を更に設け、前記枠画像選択手段は、前記枠画像記録手段及び前記枠画像抽出手段の少なくとも一方から読み出された複数の枠画像から前記別の画像を選択することが好ましい。これにより、複数の枠画像から使用するものを選択できる。
前記枠画像選択手段は、前記立体視用画像データから枠画像として用いる画像の指定を読み出し、前記別の画像を選択することが好ましい。これにより、制作者の意図に合わせた枠画像とすることができる。
前記枠画像選択手段は、前記立体視用画像データの輝度情報に基づいて枠画像を選択することが好ましい。画面の輝度に合わせた枠画像を選択することで、画面と枠とのマッチング等をとることができる。
前記枠画像選択手段は、前記視差量取得手段によって取得された視差量に基づいて枠画像を選択することが好ましい。これにより、画像の視差量に応じた枠画像を選択することができる。
前記枠画像選択手段は、視聴者の入力に基づいて枠画像を選択することが好ましい。これにより、枠画像を選択することができる。前記枠画像選択手段は、ランダムに枠画像を選択するようにして、面白味をつけることもできる。前記枠画像選択手段は、日時に応じて枠画像を選択するようにしても良い。これにより、季節感・面白味をつけることができる。前記枠画像に、文字情報を重畳して前記別の画像とすることが好ましい。前記文字情報は、字幕であることが好ましい。前記文字情報は、データ放送であっても良い。また、前記文字情報は、時間情報であっても良い。
前記右目用画像基準点及び前記左目用画像基準点の座標および間隔のうち、少なくとも一方を視差基準値として前記立体視用画像データに付加するようにしても良い。上記の立体画像生成装置により付加された視差基準値を取得する視差基準値読み取り手段を更に設け、前記視差基準値読み取り手段は、前記立体視用画像データを解析することにより取得された視差基準値に基づき、前記右目用画像基準点及び前記左目用画像基準点を設定するようにしても良い。これにより、制作者の意図に合わせた視差調整を行うことができる。
また、本発明は、上記のいずれか１に記載の立体画像生成装置と、立体画像を表示する表示部と、を有する立体画像表示装置であっても良い。
本発明の他の観点によれば、前記右目用画像を右目に、前記左目用画像を左目に呈示することにより立体視を可能とする立体画像生成方法であって、立体視用画像データを構成する、前記右目用画像と前記左目用画像をそれぞれ拡大・縮小する画像拡大縮小ステップと、前記立体視用画像データの前記右目用画像及び前記左目用画像をそれぞれ右目及び左目に呈示し、立体画像を表示させる制御を行う表示制御ステップと、を有し、前記画像拡大縮小ステップは、前記右目用画像及び前記左目用画像に対応してそれぞれ異なる位置に設けられた右目用画像基準点の位置及び左目用画像基準点の位置と、前記右目用画像及び前記左目用画像の拡大率と、を含む視差量調整情報に基づいて、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ前記拡大率で拡大・縮小することを特徴とする立体画像生成方法が提供される。本発明は、コンピュータに、上記に記載の立体画像生成方法を実行させるためのプログラムであっても良く、当該プログラムを記録したコンピュータ読み取り可能な記録媒体であっても良い。
本発明によれば、左目用画像及び右目用画像それぞれに設けた基準点に対しそれぞれ画像の拡大・縮小を行うことにより、簡単な方法で容易に奥行き方向の位置制御を行いつつ全体の視差を調整することが可能となる。
本発明の一実施形態による立体画像表示装置の一構成例を示す機能ブロック図である。 本発明の一実施形態による視差調整部の一構成例を示す機能ブロック図である。 図３（ａ）から（ｄ）までは、視差と奥行き表示との関係を上から見た図である。 基準位置（基準点）の設定例を示す図である。 図５（ａ）から（ｆ）までは、本発明の第１の実施の形態による処理内容を示す図であり、右目用画像、左目用画像をそれぞれ基準点Ｐ１１、Ｐ１２に対し拡大、縮小した様子を示す図である。 図６（ａ）から（ｃ）までは、基準奥行きに対して拡大・縮小により奥行き感を調整する様子を示す図である。 視差調整前のモード選択処理の流れを示すフローチャート図である。 図７に示す処理を行うためのユーザインタフェースを示す図である。 画像変換前後における表示例を示す図である。 図１０（ａ）、（ｂ）は、画面端基準モードにおける視差と奥行きの関係を示す図である。 図１１（ａ）は、奥行き固定モード（奥方向基準）における視差と奥行きの関係を示す図であり、図１１（ｂ）は、奥行き固定モード（手前方向基準）における視差と奥行きの関係を示す図である。 拡大・縮小による変換前-変換後の視差量の変化をグラフに表した図であり、（ａ）は、左目用画像左端基準、右目用画像右端基準の場合、（ｂ）は、左目用画像右端基準、右目用画像左端基準の場合の例を示す図である。 変換前後の視差量ｄ及びｄ’の関係を示す図である。 第１の実施の形態及び第２の実施の形態による枠画像の表示例を示す図である。 本発明の第２の実施形態による立体画像表示装置における表示画面に一例を示す図である。 本発明の第４の実施の形態による立体画像表示装置のＧＵＩを示す表示例を示す図である。
＜第１の実施形態＞
以下に、本発明の第１の実施形態による立体画像生成装置について、図面を参照して説明する。図１は、本実施形態による立体画像生成装置を含む立体画像表示装置の一構成例を示す機能ブロック図である。図１に示すように、本実施形態による立体画像生成装置は、入力部１０と、入力された画像データを処理し、立体表示が可能な表示データ（以下、「立体視用画像データ」と称する。）を生成するための画像処理を行う立体画像処理部１００と、画像の視差を調整する視差調整部１０１と、画像を表示部に合わせ表示制御を行う表示制御部１０２と、システム全体を制御するシステム制御部１０４と、を有している。さらに、画像を表示する表示部１０３と、ユーザが入力を行うユーザ入力部１０５と、シャッタメガネの同期を行うメガネ同期部１０６と、を有して立体画像表示装置を構成する。シャッタメガネ１０７はユーザが装着するメガネである。
図２は、視差調整部１０１の一構成例を示す機能ブロック図である。図２に示すように、視差調整部１０１は、更に、左目用拡大縮小部１０１１、右目用拡大縮小部１０１２、左目用枠画像重畳部１０１３、右目用枠画像重畳部１０１４、視差量算出部１０１５、枠画像記録部１０１６、通信・制御部１０１７と、を有している。
次に、各機能部の動作について説明する。入力部１０を経由して立体画像表示装置に入力された画像データは、立体画像処理部１００において入力形式に合わせて左目用画像データと右目用画像データとに展開されるとともに、入力された画像データに付加情報がある場合は付加情報を抽出し、システム制御部１０４に伝送する。ここで、入力される画像データは、放送波によるもの、記録メディアから電子的に読みだされたもの、ネットワークから伝送されたものなど、どのようなものでも良い。また、右目用画像データ、左目用画像データは、１枚の画像データから作成されたものでも良い。或いは、画像データと奥行きデータから合成された複数視点画像、奥行きデータを推定して作成された複数視点画像データであってもよい。
付加情報はタグ情報、メタデータなどと呼ばれる、画像データに付随する情報である。後述する基準視差を付加情報として得られるようにしても良い。また、後述する枠画像や、使用する枠画像の指定情報がある場合にも、ここで抽出し、システム制御部１０４に通知する。
展開された左目用画像データと右目用画像データとは、視差調整部１０１に送られ、視差が調整される。視差調整部１０１の内部では、システム制御部１０４と通信する通信・制御部１０１７が各部を制御している。視差量算出部１０１５は、システム制御部１０４からの指示を通信・制御部１０１７を経由して受け、指示に応じて左目用画像及び右目用画像から視差量を算出し、通信・制御部１０１７を経由してシステム制御部１０４に通知する。
通知する内容は、表示画面全域の視差を領域ごとに表したもの、いわゆる視差マップ等であっても良いし、最遠点・最近点に対応する、視差の最大値・最小値等であってもよい。すなわち、対応する左目用画像と右目用画像の中で、対応する画素の視差を求めたものであればよい。左目用及び右目用拡大縮小部１０１１及び１０１２は、システム制御部１０４の指示を通信・制御部１０１７を経由して受け、左目用画像及び右目用画像をそれぞれ拡大・縮小する。通信・制御部１０１７から受け取る視差量調整情報は、左目用画像及び右目用画像それぞれの基準点と、拡大・縮小の割合と、を含む情報である。
左目用及び右目用枠画像重畳部１０１３及び１０１４は、同様にシステム制御部１０４からの指示を受け、枠画像記録部１０１６から読みだした枠画像データを左目用画像及び右目用画像にそれぞれ重畳する。枠画像記録部１０１６には、前述の通り、立体画像処理部１００において抽出された枠画像を追記しても良い。左目用画像及び右目用画像それぞれの基準点は、異なる位置に設けられる。
視差が調整された左目用画像と右目用画像は、表示制御部１０２に送られる。表示制御部１０２は、表示部１０３に合わせた表示制御をするとともに、メガネ同期部１０６に対し信号を送る。メガネ同期部１０６は、ユーザの装着するシャッタメガネ１０７に対し同期信号を送り、表示部１０３と同期処理が行われる。
より具体的には、例えば、表示部１０３に液晶表示パネルを用い、左目用画像と右目用画像とを交互に表示し、観察者の装着したシャッタメガネ１０７と同期して立体視を行う方式の場合、表示制御部１０２は表示部１０３に対し、左目用画像と右目用画像とを交互に出力する。出力の頻度は、例えば左目用画像と右目用画像とを、それぞれ毎秒１２０枚とする。表示部１０３は、表示制御部１０２から送られる画像を随時表示するが、表示部１０３に左目用画像が表示されているときはシャッタメガネ１０７の左目用シャッタを開、右目用シャッタを閉とすることにより左目用画像を左目に表示し、右目用画像が表示されているときには左目用シャッタを閉、右目用シャッタを開とすることにより右目用画像を右目に表示して、立体視を実現する。
観察者は、ユーザ入力部１０５を用いて、表示する画面の視差量調整用データを入力することができる。ユーザ入力部１０５は、例えばリモコンなどで実現できるが、キーボードやマウス、タッチパネル、ダイヤルなど、種々の手段により実現することができ、その入力形式を限定するものではない。入力する視差量調整用データは、左目用画像及び右目用画像の基準位置と拡大・縮小率を間接的に選ぶものであればよい。
ユーザ入力部１０５から入力された視差量調整用データは、システム制御部１０４で処理され、具体的な調整パラメータに変換された後に、視差調整部１０１に伝達される。視差調整部１０１では、受け取った視差量調整用データに基づき、視差調整処理を行う。視差量調整用データが、視差調整なしを表すデータであった場合には、視差調整部１０１では視差調整処理を行わず、左右目用画像データを出力する。
次に、視差と奥行き表示との関係を図３に示す。図３は観察者（ここでは、右目と左目のみを示している）とディスプレイ（表示面）とを上から見た図である。視差をｄとする。図３（ａ）は、通常の２次元表示状態であり、立体画像表示時には、右目用画像と左目用画像との対応点Ｐ１がディスプレイ上で同じ位置にある状態である。この場合、この点Ｐ１はディスプレイ上にあるように知覚される。図３（ｂ）は、ディスプレイ上で、右目用画像と左目用画像との対応点が、右目用画像は右に（Ｐ２）、左目用画像は左に（Ｐ３）ずれた状態である（視差ｄ）。この状態では、観察者にはこの点はディスプレイ面よりも奥に知覚される（Ｐ４）。図３（ｃ）は、ディスプレイ上で、右目用画像と左目用画像との対応点（Ｐ５、Ｐ６）が、右目用画像は左に、左目用画像は右にずれた状態である。この状態では、観察者にはこの点はディスプレイ面よりも手前に知覚される（Ｐ７）。図３（ｄ）は、これらをまとめた図である。前述したとおり、右目用画像と左目用画像の対応点が、右目用画像が右、左目用画像が左にずれて表示され、かつ対応点間の距離が両眼距離に等しい場合、この点は無限遠に知覚されるが、対応点間の距離が両眼距離を超えた場合、視線は開散方向にはならず、融合できなくなる。同様に、ディスプレイ上で、右目用画像と左目用画像の対応点が、右目用画像は左に、左目用画像は右に大きくずれた状態では（Ｐ８、Ｐ９）、視線は極端な寄り目状態となり、融合できなくなる。従って、快適に立体視できる奥行きの範囲、すなわち、図３（ｄ）に示した快適融合範囲は、これらの融合範囲よりもディスプレイ面に近い側となる。なお、快適融合範囲は、視差と視距離の相対関係によって変わるので、観察者とディスプレイ面の距離に応じて変化する。
次に、本発明の実施の形態による視差調整の方法について説明する。まず、右目用画像、左目用画像のそれぞれに対し、拡大/縮小の中心点となる基準点Ｐ１１、Ｐ１２を異なる位置に設定する。図４に基準点（基準位置）Ｐ１１、Ｐ１２の設定例を示す図である。右目用画像、左目用画像は、それぞれの画像を基準点Ｐ１１、Ｐ１２に向かって、すなわち基準点を中心にして一様に拡大表示あるいは一様に縮小表示することにより、左右画像上の対応点の視差は変化する。基準点Ｐ１１、Ｐ１２は、右目用画像、左目用画像と同一平面上にあればよいが、表示領域内に基準点を設定することで、縮小表示により画像が欠損することがない。また、右目用画像、左目用画像それぞれの基準点Ｐ１１、Ｐ１２は、同じ高さｈ（表示画面の縦方向の位置）にあることが望ましい。
図５は、右目用画像、左目用画像をそれぞれ基準点Ｐ１１、Ｐ１２に対し拡大、縮小した様子を示す図である。図５（ａ）、（ｂ）は、それぞれ視差調整前の左右目用画像であり、図５（ｃ）、（ｄ）は、それぞれ縮小調整した左右目用画像であり、図５（ｅ）、（ｆ）は、それぞれ拡大調整した画像である。矢印が、拡大・縮小の様子を示すものであり、基準点を基準として一様に拡大又は縮小される。左目用画像の基準位置と、右目用画像の基準位置とは、拡大・縮小を行っても変化しない。
図５（ｃ）、（ｄ）に示すように、縮小調整により、表示画面内に画像が表示されない無表示領域Ｒが生じ、図５（ｅ）、（ｆ）に示すように、拡大調整により画像のうち表示できない領域、すなわち表示不可領域Ｒ２が生じている。
基準点Ｐ１１、Ｐ１２を右目用画像、左目用画像それぞれに設けることにより、基準点Ｐ１１、Ｐ１２間に距離が生じる。ここでは、この基準点Ｐ１１、Ｐ１２間の左右の距離に対応する視差を基準視差と称し、基準視差が表す奥行きを基準奥行きと称することにする。右目用画像及び左目用画像を、基準点Ｐ１１、Ｐ１２に向かって、すなわち基準点を基準として拡大あるいは縮小すると、それぞれの画像の視差は、基準視差との差分が拡大あるいは縮小される。すなわち、立体画像は、基準視差に対応する基準奥行きを基準に、奥行き感が拡大、縮小されることになる。従って、例えば、立体画像内に表示された、一様な奥行きを持つ壁を基準奥行きとなるよう基準視差を設定すると、画像の拡大に伴い、壁の奥行きは一定のまま、壁より手前の物体はより手前に、壁より奥の物体はより奥に奥行き感を調整することができる。尚、図５の各図（ａ）〜（ｆ）では、横方向及び縦方向における基準点がディスプレイ上の同じ位置に来るように配置されている。
図６は、上記の様子を例示的に示す図である。図６（ｂ）は、視差調整前の表示物の位置関係を上から見た図であり、図６（ａ）は画面を縮小調整した図であり、図６（ｃ）は画面を拡大調整した図である。
図４に示すように、左目用画像と右目用画像とに基準視差を持たせることにより生じる奥行きをユーザがみていることになり、左目用画像と右目用画像とを拡大・縮小することにより、この基準奥行きにおいて見ている画像が拡大・縮小されたようにユーザは感じる。従って、図６（ａ）のように、基準点を基準にして一様に縮小調整すると、左右画像の基準点によって決まる基準奥行きを基準として、手前側に見える像は奥側に、表示面とは反対側に見える像は手前側に奥行き間が調整される。
一方、図６（ｃ）に示すように拡大調整すると、基準奥行きを基準として、手前側に見える像はさらに手前側に、奥側に見える像はさらに奥側に奥行き感が調整される。但し、拡大・縮小のいずれの場合でも、基準奥行きに存在する像（図では△で示される。）は、奥行き感が変化しない。
尚、図６中では、基準点に向かって面内で一様に拡大或いは縮小をした例を示しているが、先に述べたとおり面内で横方向のみ拡大あるいは縮小をするようにしてもよい。また、図４に示すように、右目用画像及び左目用画像の基準点Ｐ１１、Ｐ１２を、画面中央に対し左右対称に配置すると、拡大・縮小に伴って画像の中心が左右にずれることがない。同様に、基準点Ｐ１１、Ｐ１２を画像中の特定の表示物上に設定すると、その特定の表示物の表示位置が、拡大縮小に伴って奥行き方向にずれるのを避けることができる。
次に、観察者の実際の操作例について説明する。観察者は、ユーザ入力部１０５を操作して、視差量を調整するモードに入る。視差量を調整するモードでは、観察者は、図７に示すフローチャート図に従って視差量を調整するモードを選択する。ステップＳ１で、視差調整処理を開始すると、ステップＳ２で、モード選択肢が表示される。視差量を調整するモードは、例えば視差調整処理の基準となる基準点の位置により区別され、基準点の位置が画面端・固定奥行（奥）・固定奥行（手前）・自動取得（奥）・自動取得（手前）及び切の６種類である。但し、切は視差調整なしを表す。選択されたモードに応じて、視差調整処理の基準となる基準点の位置が選択される。すなわち、ステップＳ３において、選択されたモードは画面端基準か否かが判定され、Ｙｅｓであれば、ステップＳ４に進み、基準点を画面端に設定し、視差調整画面に進む（ステップＳ５）。ステップＳ３で、Ｎｏであれば、ステップＳ６に進み、選択されたモードは固定奥行きとされているか否かを判定する。Ｙｅｓであれば、ステップＳ７に進み、基準点が手前とされているか否かを判定する。Ｙｅｓでれば、ステップＳ８に進み、基準点を手前自動に設定し、ステップＳ９で視差調整画面に進む。ステップＳ７でＮｏであれば、ステップＳ１０に進み、基準点を奥自動に設定し、ステップＳ１１で視差調整画面に進む。ステップＳ６でＮｏであれば、ステップＳ１２に進み、選択されたモードは自動取得とされているか否かを判定する。Ｙｅｓであれば、ステップＳ１３に進み、基準点は手前とされているか否かを判定する。Ｙｅｓであれば、ステップＳ１４で基準点を手前固定に設定し、ステップＳ１５で視差調整画面に進む。ステップＳ１３でＮｏであれば、ステップＳ１６に進み、基準点を奥固定に設定し、ステップＳ１７で視差調整画面に進む。ステップＳ１２でＮｏの場合には、ステップＳ１８に進み、視差調整機能を停止し、ステップＳ１９で設定メニューに戻る。
図７のフローチャートに従う制御は、例えば図８に示したユーザインタフェースにより実現することができる。
図８（ａ）は、モード選択肢を観察者に提示し、選択を促す画面である。観察者はユーザ入力部１０５を操作して、画面上の選択肢からモードを選択する。図８（ａ）では、例として「固定奥行：奥」が選択されている。この状態で観察者がユーザ入力部１０５を操作して選択決定処理を行うと、選択されたモードに従った視差調整画面に遷移する。例えば、「固定奥行：奥」の場合では、図８（ｃ）の画面に遷移する。この状態でユーザ入力部１０５を操作することにより画面右に表示されているスライドバーＳを移動させ、対応する視差調整量を設定する。奥行きの範囲を狭く調整する操作を行った図を図８（ｅ）に示す。視差を小さくする方向に視差量調整を行ったため、画面が縮小されて表示されている。
尚、図８（ｂ）、（ｄ）は、画面端基準での調整画面である。図８（ａ）で、「画面端基準」を選択すると、図８（ｂ）の画面に遷移する。この状態でスライドバーＳを移動させ、画像を奥に調整する操作を行うと、図８（ｄ）に示すように、左目用画像は画面左上を基準に、右目用画像は画面右上を基準に、左右の画像が、画面端を基準に縮小されて、奥行きが調整されるようになっている。また、図８では、左右目用画像を重畳して図示している。
観察者による上記の操作により、システム制御部１０４は視差調整部１０１に基準点の位置と視差調整量を設定することができる。ここで、基準点の位置は、例えば、図７に示したように、画面端・固定奥行（奥）・固定奥行（手前）・自動取得（奥）・自動取得（手前）及び切の６種類とする。
選択された基準点の位置に従って、以下に基準点の位置の設定方法及び視差の調整方法の説明を進める。図３も参照して説明する。尚、以下横軸をＸ軸として、画面左端のＸ座標を０、画面右端のＸ座標をＷ、左目用画像の基準点のＸ座標をＸＬ０、右目用画像の基準点のＸ座標をＸＲ０、基準点のずれ、すなわち基準点の視差を基準視差ｄｒ（ｄｒ＝ＸＲ０-ＸＬ０）と表す。この時、視差ｄが正の値を取るときは右目用画像が左目用画像より右側にある状態、すなわち奥行き視差を持つ状態であり（図３（ｂ）参照）、視差ｄが負の値を取るときは右目用画像が左目用画像より左側にある状態、すなわち飛び出し視差を持つ状態である（図３（ｃ）参照）。
[画面端] 画面左右端に基準点を置く視差調整では２通りの基準の取り方が考えられるが、初めに左目用画像の基準点を画面左端上、右目用画像の基準点を画面右端上とし、それぞれの画像を基準点に向かって一様縮小表示することにより視差を調整する例を考える。すなわち、上記のような座標において、画面端に基準点をおくため、図１０（ａ）に示すように、
ＸＬ０＝０
ＸＲ０＝Ｗ
とする。
観察者は、ユーザ入力部１０５を操作して、視差量を調整する。調整された視差量はシステム制御部１０４を経由して視差調整部１０１に、例えば画像の拡大率として伝えられる。この時、画像の拡大率をα（拡大率αが１より大きいときは拡大、１より小さい時は縮小である）、右目画像上の任意の点のＸ座標をＸＲ、左目用画像上の任意の点のＸ座標をＸＬとすると、右目用画像上に変換された点のＸ座標ＸＲ’及び左目用画像上に変換された点のＸ座標ＸＬ’は、
ＸＬ’＝αＸＬ
ＸＲ’＝Ｗ−α（Ｗ−ＸＲ）
となる。この時、変換前の視差量をｄとすると、変換後の視差量ｄ’は、
ｄ ＝ＸＲ−ＸＬ
ｄ’ ＝ＸＲ’−ＸＬ’＝Ｗ−α（Ｗ−ＸＲ）−αＸＬ
＝α（ＸＲ−ＸＬ）＋Ｗ（１−α）
＝αｄ＋Ｗ（１−α）
で表される。
従って、この場合、画面上の点は、ｄ＜Ｗ の条件では、拡大率αの減少に従って変換後の視差ｄ’が増加し、奥行き方向に移動することがわかる。この時の変換前の左目画像の例を図９（ａ）に、変換前の右目画像の例を図９（ｂ）に、変換後の左目画像の例を図９（ｃ）に、変換後の右目画像の例を図９（ｄ）に、変換前-変換後の視差量の変化をグラフに表したものを図１２（ａ）に示す。
図９（ｃ）は、左目用画像を画面左端上の基準点ＸＬ０を基準に、図９（ｄ）は右目用画像を画面右端上の基準点ＸＲ０を基準に、それぞれ縮小した図である。その結果、左目用画像と右目用画像のそれぞれ対応点間の距離は拡大し、すなわち視差量ｄが大きくなり、画面全体が奥に移動する。
同様に、図９（ｅ）は、左目用画像を画面右端上の基準点ＸＲ０を基準に、図９（ｆ）は右目用画像を画面左端上の基準点ＸＬ０を基準に、それぞれ縮小した図である。その結果、左目用画像と右目用画像のそれぞれ対応点間の距離は縮小し、すなわち視差量ｄが小さくなり、画面全体が手前に移動する。
また、この時、右目用画像および左目用画像は画面両端上にそれぞれ基準点を持つので、表示部１０３としては、右目用画像の表示時間と左目用画像の表示時間の両方を考慮すると、画面左右端に無表示領域を生ずることがなく、画面を有効に使うことができる。この際、画面下には拡大率αの減少に伴い、無表示領域が生ずるが、別の表示、例えば字幕などを表示する領域として用いることにより、立体画像に影響を与えることなく有効に画面領域を使うことができる。
また、上記では、基準点を画面両端上としているが、このようにすることにより画面下部に無表示領域を集中して設けることができる。基準点を上下方向で中央とすると、上下に等しい幅の無表示領域を設けることができる。基準点の上下位置は任意の位置とすることができるが、右目用画像の基準点、左目用画像の基準点ともに同じ高さにあることが望ましい。
なお、この画面下の無表示領域は、画像の縮小を横方向にのみ行うことにより、その発生を避けることができる。このとき、画像は横方向の縮小により縦長となるが、拡大率αが１に近い間は画像が縦長となっていることが知覚されにくい。実際にはαは０．９〜１の間で運用されることが多いので、画像の変形はそれほど大きくない。なお、αが０．５未満では左右目用画像は完全に分離し、立体視することはできない。また、ｄ＞Ｗの条件、すなわち、対応点間の幅が画面幅を超える状態では、対応点が画面上に存在しないため、立体視を行うことができない。
続いて、左目用画像の基準点を画面右端上、右目用画像の基準点を画面左端上とし、それぞれの画像を基準点に向かって一様縮小表示することにより視差を調整する例について説明する。すなわち、図１０（ｂ）に示すように、
ＸＬ０＝Ｗ
ＸＲ０＝Ｏ
とする。
前述の例と同様に、右目画像上の任意の点のＸ座標をＸＲ、左目用画像上の任意の点のＸ座標をＸＬとすると、右目用画像上に変換された点のＸ座標ＸＲ’及び左目用画像上に変換された点のＸ座標ＸＬ’は、
ＸＬ’＝Ｗ−α（Ｗ−ＸＬ）
ＸＲ’＝αＸＲ
となる。この時、変換前の視差量をｄとすると、変換後の視差量ｄ’は同様に、
ｄ ＝ＸＲ−ＸＬ
ｄ’ ＝ＸＲ’−ＸＬ’＝αＸＲ−Ｗ＋α（Ｗ−ＸＬ）
＝α（ＸＲ−ＸＬ）−Ｗ（１−α）
＝αｄ−Ｗ（１−α）
で表される。
従って、この場合、画面上の点は、ｄ＜Ｗ の条件では、拡大率αの減少に従って変換後の視差ｄ’が減少し、手前方向に移動することがわかる。この時の変換後の左目画像の例を図９（ｅ）に、変換後の右目画像の例を図９（ｆ）に、変換前、変換後の視差量の変化をグラフに表したものを図１２（ｂ）に示す。
また、この時、右目用画像は画面左端上に、左目用画像は画面右端上にそれぞれ基準点を持つので、表示部１０３としては、右目用画像の表示時間と左目用画像の表示時間の両方を考慮すると、画面左右端に無表示領域を生ずることがなく、画面を有効に使うことができる。
これらの制御を、ユーザ入力部１０５の操作の奥行きずらし、手前ずらし等と関連付け、視差無調整状態をはさんで、奥行きずらし方向に操作された場合は前者、すなわち左目用画像の基準点を画面左端上、右目用画像の基準点を画面右端上とするモードを、手前ずらし方向に操作された場合は後者、すなわち左目用画像の基準点を画面右端上、右目用画像の基準点を画面左端上とするモードを連続的に実現する制御を行うと、画像を欠損させることなく手前方向から奥行き方向まで連続的に視差を調整できるので便利である。この時、システム制御部１０４は視差調整部１０１に対し、左右画像の基準位置、及び、拡大率αを更新する。
画像の欠損を許容する場合は、拡大率αを、拡大率１をはさんで、すなわち、縮小側から拡大側まで連続的に変化させても良い。その場合、左目用画像の基準点を画面左端上、右目用画像の基準点を画面右端上とすると、画像の縮小に伴い表示物は奥に、拡大に伴い表示物は手前に移動する処理とすることができる。
その場合、画面に表示された、遠ざかる物体が小さく、近づく物体が大きく表示されるようになるので、物体の距離と大きさの関係に関し、知覚上の違和感を軽減することができる。
[奥行き固定：奥] 奥行き位置が画面より奥にある位置を基準奥行きとし、基準奥行きに対して奥行きを拡大あるいは縮小する処理を考える。この場合、前述のように基準奥行きにある物体は奥行きを変えず、基準奥行きに対する相対的な奥行きを拡大あるいは縮小する調整が可能となる。基準視差は、例えば観察者の両眼距離、或いは統計により求められた安全値（例えば５ｃｍ）に対応する値とするとよい。図１１（ａ）に示すように、
基準奥行きに対応する基準視差をｄｆとすると、
ｄｆ＝ＸＲ０-ＸＬ０ （ｄｆ≧０）
なる値にＸＬ０，ＸＲ０を設定する。特に、ＸＬ０，ＸＲ０を画面中央に対し左右対称に配置すると、
ＸＬ０＝Ｗ／２−ｄｆ／２
ＸＲ０＝Ｗ／２＋ｄｆ／２
となる。視差調整方法については後述する。
[奥行き固定：手前] 奥行き位置が画面より手前にある位置を奥行き基準とし、基準奥行きに対して奥行きを拡大あるいは縮小する処理を考える。基準視差は、例えば観察者の融合限界、或いは統計により求められた安全値（例えば視差角１度）に対応する値とすると良い。図１１（ｂ）に示すように、基準奥行きに対応する基準視差をｄｎとすると、
ｄｎ＝ＸＲ０-ＸＬ０ （ｄｎ＜０）
なる値にＸＬ０，ＸＲ０を設定する。特に、ＸＬ０，ＸＲ０を画面中央に対し左右対称に配置すると、
ＸＬ０＝Ｗ／２−ｄｎ／２
ＸＲ０＝Ｗ／２＋ｄｎ／２
となる。視差調整方法については後述する。
[自動取得：奥] 再生しているコンテンツから立体画像処理部１００を経由してメタデータとして取得された再遠景の視差、或いは視差解析により得られた再遠景の視差を基準視差とし、対応する基準奥行きに対して奥行きを拡大あるいは縮小する処理を考える。この場合、コンテンツの最大奥行き位置を変更することなく、手前側奥行きの広さを調整することができる。基準視差そのものをコンテンツに付加された値としても良い。その場合、基準視差が０以上の場合がこのモードに対応する。
ここでは、基準視差をｄｆａとすると、
ｄｆａ＝ＸＲ０-ＸＬ０ （ｄｆａ≧０）
なる値にＸＬ０，ＸＲ０を設定する。特に、ＸＬ０，ＸＲ０を画面中央に対し左右対称に配置すると、
ＸＬ０＝Ｗ／２−ｄｆａ／２
ＸＲ０＝Ｗ／２＋ｄｆａ／２
となる。視差解析により設定値より大きな視差が検出された場合は設定値を更新すると良い。視差調整方法については後述する。
[自動取得：手前] 再生しているコンテンツから立体画像処理部１００を経由してメタデータとして取得された最近景視差、或いは視差解析により得られた最近景視差を基準視差とし、対応する基準奥行きに対して奥行きを拡大あるいは縮小する処理を考える。基準視差そのものをコンテンツに付加された値としても良い。その場合、基準視差が０未満の場合がこのモードに対応する。
基準視差をｄｎａとすると、
ｄｎａ＝ＸＲ０-ＸＬ０ （ｄｎａ＜０）
なる値にＸＬ０，ＸＲ０を設定する。特に、ＸＬ０，ＸＲ０を画面中央に対し左右対称に配置すると、
ＸＬ０＝Ｗ／２−ｄｎａ／２
ＸＲ０＝Ｗ／２＋ｄｎａ／２
となる。画像解析により設定値より小さな視差が検出された場合は設定値を更新すると良い。視差調整方法については後述する。
以上のように基準値を設定することとする。
（視差調整方法）
次に、視差調整方法について説明する。前述のとおり、右目用画像、左目用画像は、それぞれの画像を基準点に向かって一様拡大あるいは縮小表示することにより視差を調整する。
この時、横軸をＸ軸、画像の拡大率をα（拡大率αが１より小さい時は縮小である）、画面左端のＸ座標を０、画面右端のＸ座標をＭ、右目画像上の任意の点のＸ座標をＸＲ、左目用画像上の任意の点のＸ座標をＸＬとすると、右目用画像上に変換された点のＸ座標ＸＲ’及び左目用画像上に変換された点のＸ座標ＸＬ’は、
ＸＬ’＝α（ＸＬ−ＸＬ０）＋ＸＬ０
ＸＲ’＝α（ＸＲ−ＸＲ０）＋ＸＲ０
となる。この時、変換前の視差量をｄとすると、変換後の視差量ｄ’は、
ｄ ＝ＸＲ−ＸＬ
ｄ’ ＝ＸＲ’−ＸＬ’＝α（ＸＲ−ＸＲ０）＋ＸＲ０−α（ＸＬ−ＸＬ０）−ＸＬ０
＝α（ＸＲ−ＸＬ）＋（１−α）（ＸＲ０−ＸＬ０）
＝αｄ＋（１−α）ｄｒ
で表される。図１３は、変換前後の視差量ｄ及びｄ’の関係を示す図である。この方法によれば、基準奥行きの視差量を持つ点、すなわちｄ＝ｄｒとなる点は奥行き方向に位置を移動させないまま、基準奥行きに向かってαの値に応じて奥行き位置を広げる、或いは狭める処理を行うことができる。すなわち、例えば基準視差を観察者の両眼距離とすると、観察者には、奥行きを無限大とする背景映像の奥行きを変化させないまま、その他の表示物の奥行き位置を手前にしたり、奥にしたりする制御を行うことができ、安全かつ容易に奥行きの調整を行うことができる。
ここで、拡大率αは、観察者の好みに応じて手動で設定されても良いし、左右目用画像を解析することにより自動で設定されても良い（視差量解析手段）。より具体的には、左右目用画像の視差を求め、その特徴を解析することにより設定する。例えば、視差の分布を求め、視差の最大値及び最小値、すなわち最遠景の視差及び最近景の視差を考慮して設定する。最遠景の視差と最近景の視差の差は、画面上で表現されている視差の幅を表すが、この視差の幅が所定の範囲を超えると観察者の疲労につながるなど、悪影響があり得る。従って、この視差の差を所定の範囲の視差量で除した値をαとして設定することにより、表示される視差量の幅を所定の範囲の視差量に収めることができる。同様に、基準視差と最近景視差の差を制御することによって基準奥行きからの飛び出し量が、基準視差と最背景視差の差を制御することによって基準奥行きから奥の奥行き量が、それぞれ制御できるようになる。また、画面全体の視差量の分散を求め、分散が大きい画像を視覚の負担が大きい画像として検出し、視差量を減らすことによって視覚への負担を和らげることができる。
すなわち、拡大率を、視差量取得部によって取得された最遠景の視差量と奥行き方向の基準位置に対応付けた視差量との差と、所定の視差量との比に基づき設定すると、最遠景までの距離を調整することができる。また、拡大率を、視差量取得部によって取得された最近景の視差量と奥行き方向の基準位置に対応付けた視差量との差と、所定の視差量との比に基づき設定すると、最大飛び出し量を調整することができる。また、拡大率を、視差量取得部によって取得された最遠景の視差量と最近景の視差量の差と、所定の視差量との比に基づき設定すると、視差レンジを調整することができる。
ここで、とり得る視差の範囲は、観察者の年齢や瞳孔間隔、立体画像への慣れや好みなどに応じて変化する。前述の通り、視差の最大値が観察者の瞳孔間隔を超えると危険な状態となり得るので、とり得る値の設定は重要である。とり得る視差範囲は、前記のように観察者の瞳孔間隔が推定されるような値、具体的には年齢や性別、帽子のサイズのような値で設定されても良い。
なお、上記の説明においては、一様拡大或いは一様縮小をしているが、先に述べたとおり横方向のみ拡大あるいは横方向のみ縮小してもよい。その場合も上記の説明で示した式はＸ軸すなわち横軸方向のみの定義であるゆえ有効である。横方向のみの拡大あるいは縮小では、拡大・縮小処理に伴う演算量を削減することができる。また、縦軸方向には大きさが変化しないゆえ、大きさの知覚に及ぼす影響が少ない。
また、説明文中では簡単のため、左右画像の基準位置及びその間隔である基準視差を、画面端・固定奥行（奥）・固定奥行（手前）・自動取得（奥）・自動取得（手前）及び切の６種類としたが、それ以外の位置に設定することも可能である。
例えば、基準視差を取得された最遠景の視差と最近景の視差の中間値とすることによって、画像で表現された奥行きの中心位置を変化させない制御ができる。他にも、視差量の出現頻度が高い点の視差量を基準視差とすることによって、画面中の表示面積の広い表示物の奥行きを変えずに視差量を変化させることができる。また、視差量の変化量が少ない点の視差量を基準視差とすることによって、奥行き位置の移動の少ない表示物の奥行きを変化させない表示ができる。これらの処理は、図１及び図２で示した構成で、視差量算出部１０１５において求めた左右目用画像の視差を画像の位置と関連付けた、いわゆる視差マップの形でシステム制御部１０４に伝送し、システム制御部１０４において解析を行うことにより実現可能である。
また、画像解析部を設け、画像から消失点を求めて、消失点の位置となる奥行きを元に基準視差を求めることも有効である。具体的には、画像から直線を検出し、直線の交点を消失点とみなして、消失点の奥行きを許容される最背面奥行きの視差と設定することにより、消失点の奥行きを最背景とした、自然な遠近感の画像を得ることができる。他にも、画像解析手段により、画像の中から特定のパターン、例えば人物の顔画像を認識し、その点付近を左右目用画像の基準点としたり、人物の視差を基準視差と設定することにより、人物の奥行きを変更しないまま視差量を調整したりすることができる。
また、上記視差調整を行った結果、左右目用画像の周辺に無表示領域が発生する場合、その領域に別の画像を表示するとよい。ここでは、別の画像を枠画像又は画像枠と称する。図１、２を参照して説明すると、例えば、無表示領域に画像枠を表示する場合、観察者はユーザ入力部１０５を操作し、画像枠を表示する処理を選択する。画像枠の選択操作を受け、視差調整部１０１は、内部の枠画像記録部１０１６から枠画像データを読み出し、左目用及び右目用の枠画像重畳部１０１３及び１０１４に送る。この時、枠画像データは２次元データであっても、立体視可能な３次元データであっても良い。左目用及び右目用枠画像重畳部１０１３及び１０１４は、左目用及び右目用拡大縮小部１０１１及び１０１２により縮小処理された左右目用画像の周辺に生ずる無表示領域に、枠画像記録部１０１６から読みだした枠画像データを重畳する。
この処理により、縮小された立体視画像の周辺に枠画像を付加することができる。図１４は、枠画像を付加した画像の例を示す図である。立体視画像２０１に枠画像２０３が付加されると、枠画像２０３と立体視画像２０１との奥行きの差が相対的に把握できるようになるので、立体視画像２０１の立体感を感じやすくすることができる。枠画像２０３は、複数の候補の中から選択しても良い。この時、枠画像２０３は観察者の好みにより選択されても良いし、立体視画像からメタデータの形で得られた情報を用いて表示させても良い。枠画像２０３をランダムに選んだり、立体視画像２０１の日時を考慮して季節感等のある枠画像２０３を選んだりすることにより、面白味を増すことができる。立体視画像２０１の視差情報から、枠周辺の視差量を抽出し、それに応じた枠画像を選択すると、枠と画像との相対的な奥行きの差を把握しやすくなってなおよい。
これらの機能は、視差量算出部１０１５において算出した視差量を視差マップの形でシステム制御部１０４に送り、処理をすることによって実現可能である。また、立体視画像２０１の輝度情報を用いて枠画像２０３を選択するようにしても良い。この場合、画像の輝度を考慮することにより、枠が目立ちすぎることなどを避けることができる。この機能は、視差量算出部１０１５に輝度情報算出機能１０１５ａを追加することにより容易に実現することができる。
枠画像記録部１０１６に加えて又は代えて、立体視用画像データから枠画像として用いる画像を抽出する枠画像抽出部を設けて、立体視用画像データから抽出した枠画像を用いるようにしても良い。
また、画像枠に文字情報を重畳して表示する文字情報重畳表示部１０１３ａ、１０１４ａを設けて、文字情報などを表示させるようにしても良い。この場合の枠画像や文字情報には視差が付けてあっても、すなわち、表示装置の画面上の奥行きとは異なる奥行きに表示するようにしても良い。
枠画像２０３に文字情報２０５が重畳して表示されると、文字部分を注視する機会が増え、視差の基準としての働きをするようになり、例えば視差を少なくすることにより目の疲れを取り除き、立体視画像２０１をより立体視がしやすくなる。文字情報２０５は、例えばデジタル時計のように表示する画像作品と関連のないものや、再生時間情報など、画像作品と関連の薄いものとしても良いが、文字情報２０５を画像作品に関連のある情報、例えば字幕とすると、文字部分を注視する時間が更に増えるほか、一般的には画像内に表示することによって画像を覆い隠してしまう字幕表示を画像の外に表示することができ、画像を覆い隠すこともなくなるという利点がある。
上記の説明では、立体画像として右目用画像と左目用画像との２つを挙げたが、画像は２つに限定されるものではなく、多視点画像用の画像データであっても良い。その場合、各々の画像に対し、基準点が相対的に上記の関係となるよう、同様の処理を行う。
また、立体視可能な表示システムとしてシャッタメガネを用いた時分割方式の立体表示手段を示したが、立体表示システムは時分割方式に限定するものではなく、パララクスバリアによるもの、レンチキュラレンズを用いるものなど、立体視が可能な表示システムなら形式を問わない。前述のとおり、多視点画像を対象としたディスプレイであっても良い。
＜第２の実施形態＞
以下に、本発明の第２の実施形態による立体画像表示装置について図１５を参照しながら説明する。第２の実施形態においては、表示画面２５１の画面内周辺部に、あらかじめ枠画像を表示する領域２５３を設けておくことを特徴とする。
枠画像を表示する領域２５３より内側を立体画像表示領域２５１とし、立体画像をその領域に合わせて表示する。それ以外のハードウェア構成やユーザインタフェースの実現の仕方は第１の実施形態に準ずるため説明を省略する。より具体的には、図２において、枠画像を立体視画像に重畳させるのではなく、立体視画像表示部と、枠画像表示部を独立させた構成になる。尚、枠画像の表示幅を変更することができるようにすれば、立体視画像の表示面積を調整するようにすることも可能である。
枠画像を表示することにより立体視画像の立体感を感じやすくすることができるほか、立体視画像の表示領域を制限することにより表示倍率を制限し、大画面表示による過度な没入感に伴う映像酔いを低減することができる。例えば、立体視画像の表示時間を計測しておき、或いは、立体視画像の視差量を考慮して、時間とともに、立体視画像の表示領域を小さくするように変更したり、ある時間以上経過すると、字幕が表示されるなどの構成を有していても良い。字幕表示に注視させることで、目の疲れを軽減するように促すこともできる。
＜第３の実施形態＞
本発明の第３の実施形態による前記の基準点や基準座標を立体視用画像データに付加する立体画像生成装置について説明する。前述の通り、基準点や基準視差に対応して視差を制御することにより容易に奥行き位置を制御することができるが、立体視用画像データに予め基準点や基準視差を付加することにより、制作側の意図を反映した奥行き処理が可能になる。図１を参照しながら説明すると、立体画像処理部１００に、立体視用画像データに付加されている基準点や基準視差などの立体視情報を立体視用画像データから取得する立体視情報取得部（視差量調整情報取得部）１００ａを設けている。
静止画や動画像に基準点および基準視差のうち少なくとも一方を付加し、再生側（立体画像表示装置）で抽出することにより、再生側で基準視差を得ることができ、基準となる奥行きに合わせた視差調整が可能となる。
動画像の場合は、基準点や基準視差を一連の画像全体に対して定義する形でもよいし、時間区分ごと、或いは、動画像を構成する静止画一つ一つに対応付けて定義しても良い。好ましくは、シーンごとに基準視差と併せて、最遠点視差、最近点視差を、シーンの切り替わるタイミングで送ることにより、自然な視差量補正が可能となり、過大な視差や過大な視差変動による観察者の目の疲労を軽減することができる。シーンの切り替わりを再生側で検出することはできるが、シーン全体にわたっての視差量を再生側で解析することは困難であるため、シーンごとに上記パラメータを画像データに付加しておくことは自然な画像表示に関して有効である。基準視差やコンテンツ視差情報の付加は、画像のエンコーダに視差情報を与えることで実現できるが、パーソナルコンピュータ（ＰＣ）を用いて処理を行う画像編集ソフトやオーサリングソフトに機能を追加することにより簡単に実現することができる。第１の実施形態に示したように、枠画像の指定や枠画像を重畳するとなおよい。
＜第４の実施形態＞
本発明の第４の実施形態においては、パーソナルコンピュータ（以下、ＰＣと称する。）を用いて立体画像処理を行い、立体表示可能な表示デバイスを用いて立体表示する。ＰＣ上では、ユーザがＰＣの操作デバイス、例えばマウスやキーボード、タッチパネル等を用いて、ＧＵＩアプリケーションを操作して立体画像処理を行う。すなわち、ＰＣに供えられたＣＰＵが記憶装置、例えばハードディスクやＣＤ−ＲＯＭに記録されている立体表示アプリケーションソフトに従って、動画や静止画に対し処理を行い、立体表示デバイスに立体表示をする。
図１６は、本発明の第４の実施形態による立体表示デバイスの表示画面を説明する図であり、立体表示デバイス３０１上に、立体画像表示アプリケーションによる画面３０３が表示されている。表示は、立体視画像表示３０３ａと、ＧＵＩ表示とからなる。ＧＵＩは、再生等の操作ボタン３０５と、再生位置を示すバー３０７と、奥行き調整タブ３１１と、奥行き調整用の設定ボタン３１１ａから３１１ｈと、視差を調整するスライドバー３１５と、を備えている。
ユーザは、マウスやキーボード等の操作デバイスを用いて、ＧＵＩ上の設定ボタン３１１ａから３１１ｈやスライドバー３１５を操作することにより、立体画像表示３０３ａを処理することができる。処理結果を新たな画像ファイルとして、或いは、既存の画像ファイルに上書きしてハードディスク等に保存するようにしても良い。
上記の立体視表示装置を用いれば、奥行き調整を含む設定をユーザが行うことができ、ユーザ毎に適した設定にカスタマイズすることができる。
尚、前述した第１から第４の実施形態においては、基準位置や基準視差、座標等に明確な単位を定義していないが、処理系と親和性のあるものならどのようなものでもよい。例えば、図１に示したブロック図においては、入力系１０から表示器１０３は画像を構成するドットに対応するピクセル単位で構成し、システム制御部１０４がユーザ入力部から入力されたメートル単位の位置情報を変換して処理しても良い。
また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
本発明は、３Ｄテレビジョン受信装置などに利用可能である。
１０ 入力部
１００ 立体画像処理部
１０１ 視差調整部
１０２ 表示制御部
１０３ 表示部
１０４ システム制御部
１０５ ユーザ入力部
１０６ メガネ同期部
１０７ シャッタメガネ
１０１１ 左目用拡大縮小部
１０１２ 右目用拡大縮小部
１０１３ 左目用枠画像重畳部
１０１４ 右目用枠画像重畳部
１０１５ 視差量算出部
１０１６ 枠画像記録部
１０１７ 通信・制御部

Claims (47)

  1. 右目用画像と左目用画像からなる立体画像を生成する立体画像生成装置であって、
    立体視用画像データを構成する、前記右目用画像と前記左目用画像をそれぞれ拡大・縮小する画像拡大縮小部と、
    前記立体視用画像データの前記右目用画像及び前記左目用画像をそれぞれ右目及び左目に呈示し、立体画像を表示させる制御を行う表示制御部と、
    を備え、
    前記画像拡大縮小部は、前記右目用画像及び前記左目用画像に対応してそれぞれ異なる位置に設けられた右目用画像基準点の位置及び左目用画像基準点の位置と、前記右目用画像及び前記左目用画像の拡大率と、を含む視差量調整情報に基づいて、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ前記拡大率で拡大・縮小することを特徴とする立体画像生成装置。
  2. 前記画像拡大縮小部は、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ横方向にのみ前記拡大率で拡大・縮小することを特徴とする請求項１に記載の立体画像生成装置。
  3. 前記右目用画像基準点及び前記左目用画像基準点は、上下方向の位置が同じであることを特徴とする請求項１又は２に記載の立体画像生成装置。
  4. 前記基準点は、画面左右端の位置であることを特徴とする、請求項３に記載の立体画像生成装置。
  5. 前記右目用画像基準点及び前記左目用画像基準点は、視差量調整によって奥行き位置を調整する際、奥行き位置の変化しない奥行き方向の基準位置と対応付けた視差量に基づき左右間隔が設定されることを特徴とする、請求項１又は２に記載の立体画像生成装置。
  6. 前記右目用画像基準点及び前記左目用画像基準点は、画面上の左右中央点に対し左右対称に配置されたことを特徴とする、請求項１から５までのいずれか１項に記載の立体画像生成装置。
  7. 前記視差量調整情報は、ユーザ入力を行うユーザ入力部により手動で設定されることを特徴とする請求項１から６までのいずれか１項に記載の立体画像生成装置。
  8. さらに、前記立体視用画像データから視差量を取得する視差量取得部を有し、
    前記視差量調整情報は、前記視差量取得部が前記立体視用画像データを解析することにより取得された視差量に基づき設定されることを特徴とする、請求項７に記載の立体画像生成装置。
  9. 前記右目用画像基準点及び前記左目用画像基準点の位置は、それぞれ左右方向の間隔が前記視差量取得部によって取得された視差量に基づき設定された位置であることを特徴とする、請求項８に記載の立体画像生成装置。
  10. 前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた最背景の視差に基づき設定されることを特徴とする、請求項７から９までのいずれか１項に記載の立体画像生成装置。
  11. 前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた最近景の視差に基づき設定されることを特徴とする、請求項７から９までのいずれか１項に記載の立体画像生成装置。
  12. 前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた最背景の視差と最近景の視差の中間値に基づき設定されることを特徴とする、請求項７から９までのいずれか１項に記載の立体画像生成装置。
  13. 前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた、視差量の出現頻度の高い点に基づき設定されることを特徴とする、請求項７から９までのいずれか１項に記載の立体画像生成装置。
  14. 前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記視差量取得部により求められた、視差量の変化量の少ない点に基づき設定されることを特徴とする、請求項７から９までのいずれか１項に記載の立体画像生成装置。
  15. 画像解析部を更に有し、
    前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記画像解析部により求められた画像の消失点の位置に基づき設定されることを特徴とする、請求項７から９までのいずれか１項に記載の立体画像生成装置。
  16. 画像解析部を更に有し、
    前記画像解析部は、前記右目用画像及び前記左目用画像の少なくともいずれかから特定のパターンを認識し、前記右目用画像基準点及び前記左目用画像基準点の左右間隔は、前記認識された特定のパターンの画像上の位置と対応して前記視差量取得部により求められた視差量に基づき設定されることを特徴とする、請求項７から９までのいずれか１項に記載の立体画像生成装置。
  17. 前記拡大率は、前記視差量取得部によって取得された視差量に基づき設定されることを特徴とする、請求項１６に記載の立体画像生成装置。
  18. 前記拡大率は、前記視差量取得部によって取得された視差量の分布に基づき設定されることを特徴とする、請求項１７に記載の立体画像生成装置。
  19. 前記拡大率は、前記視差量取得部によって取得された最遠景の視差量と前記奥行き方向の基準位置に対応付けた視差量との差と、所定の視差量との比に基づき設定されることを特徴とする、請求項１８に記載の立体画像生成装置。
  20. 前記拡大率は、前記視差量取得部によって取得された最近景の視差量と前記奥行き方向の基準位置に対応付けた視差量との差と、所定の視差量との比に基づき設定されることを特徴とする、請求項１８に記載の立体画像生成装置。
  21. 前記拡大率は、前記視差量取得部によって取得された最遠景の視差量と最近景の視差量の差と、所定の視差量との比に基づき設定されることを特徴とする、請求項１８に記載の立体画像生成装置。
  22. 前記拡大率は、前記視差量取得部によって取得された視差量の分散に基づき設定されることを特徴とする、請求項１８に記載の立体画像生成装置。
  23. 前記所定の視差量は、視聴者の操作に基づき設定されることを特徴とする、請求項１９から２１までのいずれか１項に記載の立体画像生成装置。
  24. 前記所定の視差量は、視聴者の年齢に基づき設定されることを特徴とする、請求項１９から２１までのいずれか１項に記載の立体画像生成装置。
  25. 前記所定の視差量は、視聴者の好みに応じて設定されることを特徴とする、請求項２３に記載の立体画像生成装置。
  26. 前記所定の視差量は、実験により求められた生体への影響度に応じて設定されることを特徴とする、請求項２３に記載の立体画像生成装置。
  27. 前記画像拡大縮小部が前記立体視用画像データを縮小処理することによって生じた前記立体視用画像データ外の画面領域に、枠画像を重畳表示する枠画像重畳表示部を有することを特徴とする、請求項１から２６までのいずれか１項に記載の立体画像生成装置。
  28. 前記入力部で設定された視差量設定情報に基づき、前記画像拡大縮小部は、前記立体視用画像データ外の画面領域に、あらかじめ、枠画像を表示する領域を予め設けておくことを特徴とする、請求項１から２６までのいずれか１項に記載の立体画像生成装置。
  29. 前記枠画像として用いる画像を予め記録しておく枠画像記録部を更に設け、前記枠画像記録部から前記枠画像を読み出すことを特徴とする、請求項２７又は２８に記載の立体画像生成装置。
  30. 前記立体視用画像データから枠画像として用いる画像を抽出する枠画像抽出部を更に設け、前記立体視用画像データから枠画像として用いる前記枠画像を読み出すことを特徴とする、請求項２７から２９までのいずれか１項に記載の立体画像生成装置。
  31. 枠画像として用いる画像を選択する枠画像選択手段を更に設け、前記枠画像選択手段は、前記枠画像記録手段及び前記枠画像抽出手段の少なくとも一方から読み出された複数の枠画像から前記別の画像を選択することを特徴とする、請求項２７から３０までのいずれか１項に記載の立体画像生成装置。
  32. 前記枠画像選択手段は、前記立体視用画像データから枠画像として用いる画像の指定を読み出し、前記別の画像を選択することを特徴とする、請求項３１に記載の立体画像生成装置。
  33. 前記枠画像選択手段は、前記立体視用画像データの輝度情報に基づいて枠画像を選択することを特徴とする、請求項３１に記載の立体画像生成装置。
  34. 前記枠画像選択手段は、前記視差量取得手段によって取得された視差量に基づいて枠画像を選択することを特徴とする、請求項３１に記載の立体画像生成装置。
  35. 前記枠画像選択手段は、視聴者の入力に基づいて枠画像を選択することを特徴とする、請求項３１に記載の立体画像生成装置。
  36. 前記枠画像選択手段は、ランダムに枠画像を選択することを特徴とする、請求項３１に記載の立体画像生成装置。
  37. 前記枠画像選択手段は、日時に応じて枠画像を選択することを特徴とする、請求項３１に記載の立体画像生成装置。
  38. 前記枠画像に、文字情報を重畳して前記別の画像とすることを特徴とする、請求項２７から３１のいずれかに記載の立体画像生成装置。
  39. 前記文字情報は、字幕であることを特徴とする、請求項３８に記載の立体画像生成装置。
  40. 前記文字情報は、データ放送であることを特徴とする、請求項３８に記載の立体画像生成装置。
  41. 前記文字情報は、時間情報であることを特徴とする、請求項３８に記載の立体画像生成装置。
  42. 前記右目用画像基準点及び前記左目用画像基準点の座標および間隔のうち、少なくとも一方を視差基準値として前記立体視用画像データに付加することを特徴とする、立体画像生成装置。
  43. 請求項４２の立体画像生成装置により付加された視差基準値を取得する視差基準値読み取り手段を更に設け、
    前記視差基準値読み取り手段は、前記立体視用画像データを解析することにより取得された視差基準値に基づき、前記右目用画像基準点及び前記左目用画像基準点を設定することを特徴とする、請求項１から４１のいずれか１項に記載の立体画像生成装置。
  44. 請求項１から４３までのいずれか１項に記載の立体画像生成装置と、
    立体画像を表示する表示部と、を有する立体画像表示装置。
  45. 前記右目用画像を右目に、前記左目用画像を左目に呈示することにより立体視を可能とする立体画像生成方法であって、
    立体視用画像データを構成する、前記右目用画像と前記左目用画像をそれぞれ拡大・縮小する画像拡大縮小ステップと、
    前記立体視用画像データの前記右目用画像及び前記左目用画像をそれぞれ右目及び左目に呈示し、立体画像を表示させる制御を行う表示制御ステップと、
    を有し、
    前記画像拡大縮小ステップは、前記右目用画像及び前記左目用画像に対応してそれぞれ異なる位置に設けられた右目用画像基準点の位置及び左目用画像基準点の位置と、前記右目用画像及び前記左目用画像の拡大率と、を含む視差量調整情報に基づいて、前記右目用画像基準点及び前記左目用画像基準点を基準として、前記右目用画像及び前記左目用画像をそれぞれ前記拡大率で拡大・縮小することを特徴とする立体画像生成方法。
  46. コンピュータに、請求項４５に記載の立体画像生成方法を実行させるためのプログラム。
  47. 請求項４６に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2010206318A 2010-09-15 2010-09-15 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体 Expired - Fee Related JP5059922B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010206318A JP5059922B2 (ja) 2010-09-15 2010-09-15 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
US13/823,509 US9224232B2 (en) 2010-09-15 2011-09-12 Stereoscopic image generation device, stereoscopic image display device, stereoscopic image adjustment method, program for causing computer to execute stereoscopic image adjustment method, and recording medium on which the program is recorded
PCT/JP2011/070724 WO2012036120A1 (ja) 2010-09-15 2011-09-12 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010206318A JP5059922B2 (ja) 2010-09-15 2010-09-15 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2012065066A true JP2012065066A (ja) 2012-03-29
JP5059922B2 JP5059922B2 (ja) 2012-10-31

Family

ID=45831580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010206318A Expired - Fee Related JP5059922B2 (ja) 2010-09-15 2010-09-15 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体

Country Status (3)

Country Link
US (1) US9224232B2 (ja)
JP (1) JP5059922B2 (ja)
WO (1) WO2012036120A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012100084A (ja) * 2010-11-02 2012-05-24 Jvc Kenwood Corp 立体映像表示装置および立体映像表示方法
JP2012222588A (ja) * 2011-04-08 2012-11-12 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
KR20140088450A (ko) * 2013-01-02 2014-07-10 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR101428866B1 (ko) 2012-10-26 2014-08-12 한국과학기술원 스테레오 영상의 깊이감 조절 장치 및 방법
US9235930B2 (en) 2012-09-21 2016-01-12 Samsung Electronics Co., Ltd. Generating just noticeable depth difference (JNDD) model of three-dimensional (3D) display, method and system for enhancing depth image using JNDD model
JP2019201278A (ja) * 2018-05-15 2019-11-21 株式会社デンソー ヘッドアップディスプレイ
WO2019225361A1 (ja) * 2018-05-22 2019-11-28 Eizo株式会社 立体画像表示装置、立体画像表示方法及びプログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4787369B1 (ja) * 2010-03-30 2011-10-05 富士フイルム株式会社 画像処理装置および方法並びにプログラム
BR112013028780A2 (pt) 2011-05-11 2017-01-31 I-Cubed Res Center Inc aparelho de processamento de imagem, método de processamento de imagem, e meio de armazenamento onde um programa é armazenado
JP2013016116A (ja) * 2011-07-06 2013-01-24 Sony Corp 情報処理装置、画像表示装置、および情報処理方法
JP5281720B1 (ja) * 2011-09-20 2013-09-04 パナソニック株式会社 立体映像処理装置及び立体映像処理方法
JP5581452B2 (ja) * 2011-09-29 2014-08-27 富士フイルム株式会社 視差量調整装置およびその動作制御方法
WO2014100020A1 (en) * 2012-12-20 2014-06-26 Dolby Laboratories Licensing Corporation Managing 3d edge effects on autostereoscopic displays
IL236420A (en) * 2014-12-23 2016-06-30 Ron Schneider Methods and systems for producing an enlarged 3D image
US10602116B2 (en) * 2015-08-03 2020-03-24 Sony Corporation Information processing apparatus, information processing method, and program for performing display control
US10742964B2 (en) * 2017-04-04 2020-08-11 Nextvr Inc. Methods and apparatus for displaying images
JP2020048017A (ja) * 2018-09-18 2020-03-26 ソニー株式会社 表示制御装置および表示制御方法、並びに記録媒体
EP3644604A1 (en) * 2018-10-23 2020-04-29 Koninklijke Philips N.V. Image generating apparatus and method therefor
US11039118B2 (en) * 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
CN114390267A (zh) * 2022-01-11 2022-04-22 宁波视睿迪光电有限公司 立体图像数据合成方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
WO2010013382A1 (ja) * 2008-07-31 2010-02-04 三菱電機株式会社 映像符号化装置、映像符号化方法、映像再生装置、映像再生方法、映像記録媒体、及び映像データストリーム
WO2010092823A1 (ja) * 2009-02-13 2010-08-19 パナソニック株式会社 表示制御装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3653790B2 (ja) 1995-05-23 2005-06-02 松下電器産業株式会社 立体電子ズーム装置及び立体画質制御装置
US6005607A (en) 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
JP2848291B2 (ja) 1995-08-24 1999-01-20 松下電器産業株式会社 立体ｔｖ装置
JP4573977B2 (ja) * 1999-09-22 2010-11-04 富士重工業株式会社 監視システムの距離補正装置、および監視システムの消失点補正装置
JP2003052058A (ja) 2001-08-06 2003-02-21 Nippon Hoso Kyokai <Nhk> 立体画像撮像装置
JP4212987B2 (ja) 2003-08-26 2009-01-21 シャープ株式会社 立体画像表示装置、立体画像表示方法、その方法をコンピュータに実行させるためのプログラム及びそのプログラムを記録した記録媒体
KR101719980B1 (ko) * 2010-06-22 2017-03-27 엘지전자 주식회사 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 디스플레이 기기
JP5491786B2 (ja) * 2009-07-21 2014-05-14 富士フイルム株式会社 画像再生装置及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
WO2010013382A1 (ja) * 2008-07-31 2010-02-04 三菱電機株式会社 映像符号化装置、映像符号化方法、映像再生装置、映像再生方法、映像記録媒体、及び映像データストリーム
WO2010092823A1 (ja) * 2009-02-13 2010-08-19 パナソニック株式会社 表示制御装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012100084A (ja) * 2010-11-02 2012-05-24 Jvc Kenwood Corp 立体映像表示装置および立体映像表示方法
JP2012222588A (ja) * 2011-04-08 2012-11-12 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9041781B2 (en) 2011-04-08 2015-05-26 Sony Corporation Image processing apparatus, image processing method, and program
US9235930B2 (en) 2012-09-21 2016-01-12 Samsung Electronics Co., Ltd. Generating just noticeable depth difference (JNDD) model of three-dimensional (3D) display, method and system for enhancing depth image using JNDD model
KR101937673B1 (ko) 2012-09-21 2019-01-14 삼성전자주식회사 3ｄ 디스플레이에 대한 ｊｎｄｄ 모델을 생성, 상기 ｊｎｄｄ 모델을 이용하여 깊이 영상을 개선하는 방법 및 시스템
KR101428866B1 (ko) 2012-10-26 2014-08-12 한국과학기술원 스테레오 영상의 깊이감 조절 장치 및 방법
KR20140088450A (ko) * 2013-01-02 2014-07-10 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR101984097B1 (ko) * 2013-01-02 2019-05-30 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP2019201278A (ja) * 2018-05-15 2019-11-21 株式会社デンソー ヘッドアップディスプレイ
JP7006498B2 (ja) 2018-05-15 2022-01-24 株式会社デンソー ヘッドアップディスプレイ
WO2019225361A1 (ja) * 2018-05-22 2019-11-28 Eizo株式会社 立体画像表示装置、立体画像表示方法及びプログラム
US11509885B2 (en) 2018-05-22 2022-11-22 Eizo Corporation Stereoscopic image display device, stereoscopic image display method, and program

Also Published As

Publication number Publication date
WO2012036120A1 (ja) 2012-03-22
JP5059922B2 (ja) 2012-10-31
US9224232B2 (en) 2015-12-29
US20130169633A1 (en) 2013-07-04

Similar Documents

Publication Publication Date Title
JP5059922B2 (ja) 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
JP5515301B2 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
WO2010084724A1 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
EP2357841B1 (en) Method and apparatus for processing three-dimensional images
TWI523488B (zh) 處理包含在信號中的視差資訊之方法
WO2011036827A1 (ja) 立体映像表示装置および立体映像表示方法
JP5396877B2 (ja) 画像処理装置、プログラム、画像処理方法、および記録方法
JPWO2006049208A1 (ja) 画像合成装置及び画像合成方法
US20110310093A1 (en) Display apparatus and 3d image acquisition-examination method thereof
JP2010259017A (ja) 表示装置、表示方法、および表示プログラム
JP5562122B2 (ja) 画像処理装置及びその制御方法
JP5036088B2 (ja) 立体画像処理装置、立体画像処理方法およびプログラム
JPH09233499A (ja) 立体画像生成装置
JP2011223126A (ja) 立体映像表示装置および立体映像表示方法
JP2012105153A (ja) 立体画像表示装置、立体画像表示方法、立体画像表示方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
JP5037713B1 (ja) 立体画像表示装置および立体画像表示方法
KR20120017653A (ko) 디스플레이 장치 및 이에 적용되는 ｏｓｄ 제공방법
US9547933B2 (en) Display apparatus and display method thereof
JPH10172004A (ja) 立体画像表示方法
KR20110062983A (ko) 3ｄ 영상의 입체감 조절 요소를 설정하는 ｇｕｉ를 표시하는 디스플레이 장치 및 이에 적용되는 ｇｕｉ 제공 방법
JP2012257252A (ja) 立体画像表示装置、立体画像表示方法、立体画像表示方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
JP2011180779A (ja) 立体画像データ生成装置、立体画像データ生成方法、および立体画像データ生成プログラム
JP5501150B2 (ja) 表示装置及びその制御方法
WO2012036056A1 (ja) 立体画像表示装置、立体画像表示方法、立体画像表示方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
JP2010256713A (ja) 眼鏡および表示システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120710

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120802

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees