JP2009520392A - 3d画像表示方法及び装置 - Google Patents

3d画像表示方法及び装置 Download PDF

Info

Publication number
JP2009520392A
JP2009520392A JP2008545190A JP2008545190A JP2009520392A JP 2009520392 A JP2009520392 A JP 2009520392A JP 2008545190 A JP2008545190 A JP 2008545190A JP 2008545190 A JP2008545190 A JP 2008545190A JP 2009520392 A JP2009520392 A JP 2009520392A
Authority
JP
Japan
Prior art keywords
depth
image
content
image display
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008545190A
Other languages
English (en)
Other versions
JP5059024B2 (ja
Inventor
ペー カルマン,ヘラルデュス
ウェー エー スホーベン,ダニエル
レーデルト,ペテル−アンドレ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2009520392A publication Critical patent/JP2009520392A/ja
Application granted granted Critical
Publication of JP5059024B2 publication Critical patent/JP5059024B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/002Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

3D画像を生成及び/又は表示する方法及び装置において、画像又は画像の一部のコンテンツの深度(d)は、コンテンツの深度が低いレベル(l)に減少された後に、高いレベル(h)に一時的に増加される。このコンテンツの深度の一時的な増加は、それが適用される画像又は画像の一部に大きい3D効果をレンダリングする。増加された3D効果のこの改善効果は、適用後でさえ、ビューアの知覚において残存することが判明した。実際の平均のコンテンツの深度は、比較的小さくし、それ故、疲労を低減することが可能である一方、コンテンツについて知覚される深度は比較的大きいものである。

Description

本発明は、三次元(3D)画像表示方法及び装置に関する。
本発明はまた、3D画像データを新しい3D画像データに変換する画像表示データ変換方法に関する。
本発明は、3D画像信号に更に関する。
本発明は、3D画像データ入力に基づいて、出力3D画像データを生成する命令を有するコンピュータ構成によりロードされるコンピュータプログラムプロダクトであって、そのコンピュータ構成は処理手段を有する、コンピュータプログラムプロダクトに更に関する。
グラフィック及びビデオの三次元表現は、ディスプレイ業界における聖杯のひとつである。ビューアが三次元画像を見ている印象をそのビューアに与える幾つかの方法が案出されてきた。3D認識は複数の方法において得られる。三次元の印象は、ステレオ対(ビューアの2つの目に方向付けられた2つの異なる画像)を用いることにより得られる。ステレオ画像を生成する方法は複数存在している。それらの画像は、2Dディスプレイにおいて時間多重化されることが可能であるが、これには、ビューアが、例えば、LCDシャッタを備えたメガネを装着する必要がある。それらのステレオ画像が同時に表示されるとき、それらの画像は、ヘッドマウントディスプレイを用いて、又は偏光メガネ(画像は、その場合、直交偏光された光により生成される)を用いることにより、適切な目の方に方向付けられる。観測者が装着しているメガネは、各々の目の方にビューを有効に経路付ける。メガネにおけるシャッタは、その経路付けを制御するようにフレームレートに対して同期化される。そのようなシステムに伴う不利点は、頭の位置がトラッキングされず、それに伴って、ビューが適合されない場合、2つの画像は“周囲を見回す”能力を得ないことである。更に、何れかの効果を得るように、メガネを装着する必要があることである。このことは、メガネに慣れていない観測者には不快であり、付加的なメガネは必ずしも適合しないために、メガネを既に掛けている観測者にとっても、潜在的な問題があることである。
ビューアの目に近接することに代えて、2つのステレオ画像がまた、レンチキュラスクリーン又は視差バリアのようにスクリーンを分割することにより、表示スクリーンにおいて分割されることが可能である。例えば、米国特許第6,275,254号明細書の図3及び4に、その原理が示されている。
3D画像を見ることにより表示画像のシーンのリアリティを改善するが、ある時間の後に、ビューアは、見ていることの疲労を、そして頭痛さえ経験することが報告されている。このことは、一般に、3D画像装置及び3D画像化の魅力を低減させるものである。
米国特許第6,275,254号明細書
本発明の目的は、上記の問題を低減することにより、3D画像化方法及び3Dゲーム表示装置を改善することである。
このために、本発明に従った方法は、表示画像のコンテンツの深度が第1深度コンテンツレベルに一時的に設定され、コンテンツの深度は第2深度制御レベルに設定された後、第1深度制御レベルに比べて浅くなることを特徴とする。
画像を表示するために、画素データは、x及びy位置に関連するデータ、即ち、表示スクリーンに対して平行な面内の位置と、z位置に関連する深さデータ、即ち、表示面に対して垂直な画素又はオブジェクトの位置、即ち深さを表すデータを備えている。
深さデータは、右目及び左目が見る画像における差に、即ち、画像のコンテンツの深さを与える視差角に、即ち、まさに3D効果をどれ位“深く”ビューアが認識するかに、変換される。その画像は、左目画像と右目画像との間の差がほんの僅かであるように表示されることが可能であり、その場合、表示される画像のコンテンツの深さはほんの僅かであり、即ち、ほんの小さい3Dの光学的効果が存在し、又はその差は大きくされることが可能であり、その場合、コンテンツの大きい深度が、即ち、大きい3D効果が存在する。画像の又は画像の何れかの部分のコンテンツの深度は、深度データ、即ち、画像の画素又はオブジェクトのz値の関係と、左目及び右目が見る画像間の差、即ち、視差角とにより与えられる。従来の装置においては、この関係は一定であり、即ち、コンテンツの深さは静止している、即ち、固定され、不変である。
従来の3D表示装置は、1つの面のみがビューアのための焦点にあるという固有の特性を有する。このことは、ビューアが矛盾する深度のキューを受け入れ、画像不一致(左目及び右目のための画像の不一致)及び目の遠近調節キューは、実際には決して適合しないことを意味する。深度再現が比較的小さい(即ち、小さい3D効果のみが存在する)とき、これは問題を提供しないが、より大きい深度効果に対しては、視聴の疲労及び頭痛さえ、もたらす。焦点にないものはぼやけ、このことは、目の疲労をもたらす。これは、克服できないジレンマを与えるように思われる。一方で、3D効果が強ければ強い程、3D表示装置は従来の2D表示装置に対して魅力的になるが、他方で、3D効果は、視聴疲労に繋がり、頭痛に繋がる可能性があり、その影響は、3D効果、即ち、画像において知覚される深度を低減することにより減少することが可能であるが、これは、従来の2D表示装置に対してその3D表示装置の有利点を低減するものである。
本発明は、このジレンマを緩和することができる。表示画像又は表示画像の一部のコンテンツの深度は、第1深度コンテンツレベルに一時的に設定され、コンテンツの深度が第2深度コンテンツレベルに設定された後、第1深度コンテンツレベルより小さくされる。
このことは、画像の深度コンテンツが、平均して比較的低いレベルにあるようにする。それ故、平均して、深度コンテンツは低く、比較的小さい視差角が用いられ、そのことは、疲労及び頭痛を緩和する。一時的に、比較的短い時間の間のみに用いられるように意図されている又はその間に続くという意味で、高レベルに深度コンテンツを増加することは、ビューアの深度知覚能力を高められる。この高められた深度知覚能力が、増加した深度の適用の間にのみビューアが知覚することができる場合、その影響は小さくなる。しかしながら、高められた深度知覚能力は、画像の実際の深度コンテンツが低レベルに低下された後、しばらくの間、比較的高いレベルに維持される。ある意味では、ビューアの目及び脳はだまされている。高い深度コンテンツを、即ち、より高い3D効果を有する画像を知覚することは、ある意味で、彼/彼女が高い3D効果を有するピクチャを見ていると信じるようにビューアの知覚を固定する。深度コンテンツの低下の後でさえ、実際には、彼/彼女が単に小さい3D効果を有する画像を見ている場合であっても、高い深度コンテンスを有するとして画像を尚も知覚することができる。実際には、実験により、時間の100%の間、大きい深度コンテンツを有する、即ち、明確な3D効果を示す画像を表示することと、大きい深度コンテンツであって、例えば、x秒の低い深度コンテンツにより後続される又は何れの深度コンテンツにも後続されないx秒の大きい深度コンテンツを断続的に有する画像を表示することとの間の何れかの差異をビューアは見ることがない、又は殆ど見ることがなく、ここで、x及びxは0.1乃至10秒のオーダーにあり、好適にはxはxに等しい又はそれより長い。明らかに、時間の実質的に一部において、“フラットな画像”が表示される場合でさえ、3D効果が関係している限り、そのような画像を、ビューアは、実際の3D画像と異なっているとして知覚しない。実際に、断続的な大きい深度コンテンツ及び小さい深度コンテンツは、ビューアが知覚するのを好む全体的に幾らか鮮鋭な画像を提供する。
第1の高レベルに深度コンテンツを一時的に設定することは、実施形態においては、表示画像から独立して行われる。実施形態においては、コンテンツの深度は、0.1乃至10秒のオーダーにある期間で周期的に変化し、例えば、x秒長い深度コンテンツはy秒短い深度コンテンツにより後続される又は深度コンテンツにより後続されず、ここで、x及びyは0.1乃至10秒のオーダーにあり、好適には、yはxに等しい又はそれより長い。これは簡単なスキームである。本発明は、ビューアにとって全体的な“矛盾する3Dキューを有する3Dロード”を低減することにより、ビューアの疲労を緩和することができる。
本発明の実施形態においては、深度コンテンツは、画像データに含まれるキューの導入時に、表示画像に応じて、第1レベルに設定される。キューは、映画又は画像への新しい要素の導入若しくはシーンにおける変化であることが可能である。キューは、画像のコンテンツから導き出されることが可能であり、又はビットストリームにおけるラベルであることが可能である。画像データ及び何れかの画像データに関連する何れかのメタデータが含まれる。例えば、コンピュータゲームについての3Dビデオエンジンにおいて、全てのオブジェクトについての債権情報が既知であり、新しいオブジェクトは、それ故、レベリングされる。新しいオブジェクトの導入は、その場合、コンテンツの深度が第2の低いレベルに設定された後の比較的短い時間期間の間に、即ち、一時的に、第1の相対的に高いレベルに新しいオブジェクトを有する画像の又は画像の一部のコンテンツの深度を設定するキューである。“設定される”は、広汎に解釈されるべき本発明の概念の範囲内の表現であり、第1レベルと第2レベルとの間の遷移は瞬間的であるが、瞬間的である必要はない。穏やかな遷移を有することが可能であり、第1レベルと第2レベルとの間のコンテンツの深度における変化は漸進的である。実際には、これは、良好な結果を得ることができるために好ましい。それらの実施形態においては、殆ど認識されたとき、即ち、新しい要素が画像に導入されたとき、改善された3D効果が提供される。新しい要素は、新しいシーン、又はシーンにおける自動車の運転等の新しい要素であることが可能である。たとえ実際の3D効果、即ち、深度コンテンツ自体が低レベルに低減された場合であっても、3D効果は、シーンにおける変化又は新しい要素に精神的に関連付けられるビューアによるものであるこの代替の実施形態は、同じ洞察に基づくものである。表示画像の深度コンテンツを一時的に増加させることは、より低い3D効果の画像が実質的に表示されるときでさえ、ビューアを‘だまし、前記画像は高レベルコンテンツを有する。
本発明に従った画像表示装置は、本発明に従った方法のステップを実行する手段を有する。
変換方法は、入力画像データの出力画像データへの変換に関する本発明に従った方法のステップを有する。
変換器は、本発明に従った変換方法に対応する方法のステップを実行する手段を有する。
本発明の上記の及び他の目的については、以下に詳述する実施形態を参照して、明らかになり理解することができる。
図はスケーリングされて描かれていない。一般に、同じ構成要素は、図中に同様の参照番号で示されている。
図1は、レンチキュラスクリーン3が2つのステレオ画像5及び6に分割される基本原理を示している。2つのステレオ画像の縦方向のラインは、例えば、バックライト1を有する空間光変調器2(例えば、LCD)において(空間的に)交互に表示される。バックライト及び空間光変調器は共に、画素アレイを構成する。レンチキュラスクリーン3のレンズ構造は、ステレオ画像をビューアの適切な目の方に方向付ける。
図2は、2つのステレオ画像に分割する視差バリアの基本原理を示している。2つのステレオ画像の縦方向のラインは、例えば、バックライトを有する空間光変調器(例えば、LCD)において(空間的に)交互に表示される。視差バリア7の格子構造は、ビューア4の各々の目が適切なステレオ画像(5,6)を見ることを確実にする。
図3A及び3Bは、図1及び2に示す2種類の自動立体視表示装置について示している。
バリア自動立体視表示システムにおいては、バリア31は、表示アレイ32の前に備えられる。画像のステレオ対の左側画像及び右側画像は縦方向のストリップにスライスされている。左側画像のストリップ32L及び右側画像のストリップ32Rは、アレイ32において交互に表示される。スロット31Aはバリア31において形成される。スロット31Aは、観測者の左目4Lが左側画像のストリップ32Lのみを見ることができ、右目4Rが右側画像のストリップ32Rのみを見ることができるように位置付けられている。観測者は、フル画像を三次元で再構成する。
ここで、図3Bを参照するに、バリア31は、各々左側画像ストリップ32L及び右側画像ストリップ32Rに対応する縦方向の円柱形レンズ33Aのアレイを有するレンチキュラレンズスクリーン33により置き換えられている。動作中、各々のレンズは、左側画像ストリップ32Lに観測者の左目4Lを、右側画像ストリップ32Rに観測者の右目4Rを方向付ける。
左目及び右目に対して与えられる画像間の差分量は知覚される深度を決定する。左目及び右目に与えられる画像間に差分が存在しない場合、その画像はフラットであり、3D効果は存在しない。深度の量は、左側画像及び右側画像間の差分を変化させることにより調整されることが可能である。基本的には、ビューアは、一の面が他の面の後にある異なる面における画像の異なる部分を知覚する。
3D表示装置の固有の特性は、1つの面のみがビューアにとって焦点にあり、殆ど常に、その面は表示スクリーンの実際の位置に対応している。このことは、ビューアが矛盾する深度キューを受け入れ、画像の差異(左目及び右目のための画像の差異)並びに目の遠近調節キュー(目はスクリーン上にフォーカシングする一方、それらの目は、スクリーンまでの距離と異なる距離にある観測されるオブジェクトの方に向きを変える)は、実際には適合しない。深度再現が比較的小さい(即ち、小さい3D効果のみが存在する)とき、小さい深度差分のみが存在し、画像の全ての部分は、多かれ少なかれ焦点にある小さい深度差分を原因とするために、これは課題を提供しないし、目は何れかの差分に適応することができる。しかしながら、大きい深度効果のために、視聴の疲労、更には、頭痛がもたらされる。焦点にないものはぼやけ、このぼやけは目に疲労をもたらす。このことは、克服できないジレンマを与えるように思われる。一方では、3D効果が強くなればなる程、3D表示は従来の2D表示に対して益々魅力的になるが、他方、強い3D効果は、視聴の疲労をもたらし、頭痛をもたらす可能性があり、その効果は3D効果、即ち、画像における知覚深度を減少させることにより低減されるが、このことは、3D表示の魅力を低下させる。図4は、本発明の原理を示している。図4においては、例えば、図の上部において、家と都市の地平線との間の大きい距離で模式的に示されている、大きい深度コンテンツd、即ち、大きい3D効果で、そして画像の下部においてdについて大きい値で、都市の地平線42に対して家の画像が表示されるとき、その画像は大きい深度を有するように知覚される。画像知覚の深度d′は、実際に表示される画像の深度コンテンツに対応している。しかしながら、画像の深度コンテンツが減少されるとき、家と地平線との間のかなり小さい距離により及び時間tにおける落差dにより模式的に示されている図4においては、知覚される深度d′は高レベルのまま保たれ、僅かに徐々に減少される。この効果について、図5においてグラフィカルに且つ模式的に示されている。長さxを有する期間の間に高深度コンテンツdを有する画像及び長さxを有する期間の間に低深度コンテンツを有する画像を断続的に表示することにより、この実施例においては、高深度コンテンツの約半分である全体的に平均の深度コンテンツを与える。知覚される深度コンテンツd′は、しかしながら、略最大の効果を有する。
本発明の代替の実施形態においては、深度コンテンツは、画像への新しい要素の導入のときに増加される。それらの実施形態においては、3D効果が最も認識されるとき、即ち、新しい要素が画像に導入されるときに、改善された3D効果が与えられる。新しい要素は、新しいシーン、又はシーンの中に走って来る自動車のような新しい要素であることが可能である。その3D効果は、新しい要素に精神的に関連するビューアによるものであり、たとえ実際の3D効果、即ち、深度コンテンツ自体が、低レベルに低下されているとしても、存続しているように知覚される。この代替の実施形態は、同じ洞察に基づいていて、表示画像の深度コンテンツを増加させることにより、低3D効果の画像が実質的に表示されているときでさえ、前記画像は高深度コンテンツを有するとビューアが考えるように‘だます’ことができる。
図6は、表示前のデータの変換を模式的に示している。オリジナルの信号は、各々の画素又は画素の群について、スクリーンにおける位置を示すx及びyデータ、並びにオリジナルのデータの深度を示すzデータが与えられる画素データを有する。このzデータは、左側画像及び右側画像に与えられる画像間の差分に変換される必要がある。zデータが無視できる場合、左側画像及び右側画像に与えられる画像は同じであり、その画像はフラットであり、即ち、2D画像のように知覚される。図6においては、このことが模式的に示されていて、これについて次に説明する。オリジナルの画像は、データD51(x,y,z)において捕捉され、zは深さを表す。変換器52においては、オリジナルのデータ51はデータに変換され、z座標はデータΔに変換され、Δは左目及び右目に与えられる画像間の差分を表し、視差角に相当するものである。zのΔへの変換は画像の深度コンテンツを決定する。視差角におけるより大きい差分は大きい3D効果を与え、小さい差分は小さい3D効果を与える。実際の3D効果は、小さい(Δsmall)又は大きい(Δlarge)であるように選択されることが可能である。本発明の最重要点は、断続的にか若しくは画像への新しい又は特定の要素の導入後のどちらかにおいて、比較的短い時間期間の間、大きい深度コンテンツが与えられる、即ち、コンテンツの深度の減少により、即ち、Δについてのより小さい値への減少により後続して、各々のzへの変換器52において、比較的大きいΔが結合される。大きい視差角により条件付けされる人間の脳は、しかしながら、視差角がかなり小さい値に減少されたとしても、大きい3D効果を知覚するようにだまされる。Δであって、それにより、視差角は、それ故にオリジナルの値zの時間依存関数であり、大きい3D効果は、小さい3D効果により後続される。3D再生における増加の効果は、表示画像が大きい深度コンテンツを有するとビューアが思えるようにだますようなものである。オリジナルのデータのz値とスクリーンにおいて見られる視差角との間の関係は、それ故、断続的に変化される、即ち、その関係は時間の関数であり、サイクルは次のようである。代替として又は付加的に、画像のコンテンツにおける変化であって、特に、シーンにおける新しい要素の導入又は新しいシーンの導入に依存して、深度コンテンツは増加される(即ち、zの所定値についての視差角を増加させる)ことが可能である。図6において、このことは、Δがz、t及びIの関数であることにより模式的に示されていて、ここで、tは時間を表し、Iは新しいシーンの新しい要素の導入を表す。これは、映画又はゲームのアクション時に最もよく認識されるときに、最も顕著は3D効果をもたらす。
好適な実施形態においては、改善された深度効果の適用において、キューが新しい要素の導入であるとき、深度コンテンツは、その新しく導入された要素に近接する画像の一部についてのみ増加される。その場合、ビューアの注意は、新しく導入された要素に強く引きつけられ、深度の知覚と要素との間にもたらされる関連性は強くなる。
特開平10−040420号公報においては、新しいシーンが導入されるときであって、それ故、変化に対して目が適用する必要がある、前と実質的に異なる深度の位置においてオブジェクトを見る可能性が高いとき、深度変換が、その変化を容易にし、複数のフレーム時間において深度知覚における変化を変調するように行われる。このことは、しかしながら、一時的な深度コンテンツ変換が用いられるが、本発明とは異なっている。特開平10−040420号公報においては、一時的に、画像シーンが変化した後、実際の深度コンテンツより小さい深度コンテンツが用いられ、その深度が最終的な値と一致するまで、深度コンテンツを増加することにより後続される。一旦、深度値が最終的な値に達すると、更なる変化は行われない、即ち、減少は存在しない。
図7は、本発明に従った表示装置を示す。画像表示装置71は、表示スクリーン55及び画像データD(x,y,z)の入力を有する。画像データD(x,y,z)は、表示スクリーンに表示される画像のコンテンツの深度が、第1深度コンテンツレベルより小さい第2深度コンテンツレベルにおける画像を表示することにより後続される第1深度コンテンツレベルにおいて断続的に設定され、そして/又は、表示画像のコンテンツの深度が、第1深度コンテンツレベルより小さい第2深度コンテンツレベルにおいて画像を表示することにより後続されるキューにおいて第1深度コンテンツレベルに増加されるように備えられた出力データ54に変換される。その装置は、データの変換を制御する制御器cであって、特に、z値とΔ値との間の関係を制御する、制御器cを有する。その制御器は、独立して、時間期間x及びxを制御する内部時間設定装置を有することが可能である。代替として、データストリームD(x,y,z)は、x及びxについての値を有するヘッダ等のラベルを有することが可能である。付加的に又は代替として、その制御器は、画像データからのキューを実行し、変換器52にトリガ信号を送り、シーン偏光の新しい要素の導入等のイベントの信号を発する。制御器cは、データストリームのコンテンツをからのキューなどを演繹することが可能であり、又はそのデータズとリームは、制御器をトリガするラベルを有することが可能である。トリガ信号71は、第1の比較的高いレベルhにおける画像又は画像の一部のコンテンツの深度を設定するように制御器52をトリガする変換器52に制御器により送られる。
本発明はまた、表示装置に含まれない場合でさえ、変換装置において実施されることが可能である。そのような変換器は、(例えば、DVDから)入来するデータストリームを変換し、その場合に、例えば、記憶装置に又は受信器に送信される出力データストリームに変換されることが可能である。基本的には、そのような変換装置は、図7に示している表示装置のような同じ要素を有するが、表示スクリーン部分についてのものである。変換装置は、スタンドアロン装置であることが可能であり、即ち、データを変換するのみのために用いられる、又は大きい装置であって、例えば、表示装置である大きい装置に一体化されることが可能である。変換装置はまた、変換する及び変換された画像データを記憶する記憶装置の一部であることが可能である。本発明はまた、画像表示データ変換方法であって、コンテンツの深度が第1レベルより低い第2レベルに設定された後に、コンテンツの深度が一時的に第1レベルに設定されるように、3D画像データD(x,y,z)が新しい画像データd(x,y,Δ(x,y,t,i))に変換される、画像表示データ変換方法に関する。そのような変換方法のプロダクトは画像データであり、z係数は、本発明に従って、コンテンツの深度における変化が考慮されたz′係数により置き換えられる。本発明はまた、コンテンツの深度が第2レベルに設定された後に、一時的に第1レベルに設定される3D表示画像データ信号において実施される。本発明が信号において実施されるか否かは、標準的な表示装置を用いて、一連の画像(即ち、ビデオ)を表示することにより比較的容易に調べられる。上記の効果は動的効果であり、ビデオが標準の速度で表示されるときに存在し、そのビデオが標準の速度で再生されるとき、コンテンツの知覚される深度はかなり大きく、且つ多かれ少なかれ一定である。かなり長い時間間隔において静止画像を表示することは、ビューアがコンテンツの深度における差に気が付くことに繋がる。
全ての例において第1レベルが同様である必要ははいことに留意する必要がある。本発明の概念は、コンテンツの深度を一時的に増加させることである。本発明の概念の範囲内で、例えば、新しい要素の導入において、コンテンツの深度を大きく設定することが可能であるが、新しい要素の全てについて等しく大きくない。小さい、比較的重要でない新しい要素は、コンテンツの深度における比較的緩やかな増加と関連付けられることが可能であり、重要な新しい要素の導入時には、コンテンツの深度における比較的大きい増加が実行される。
同様に、周期的な変化が用いられるとき、そのサイクルな変化は、種々の混ざったサイクルを有することが可能であり、種々のサイクルのコンテンツの深度における変化は異なることが可能である。
要約すると、本発明は次のようになる。
3D画像を生成する及び/又は表示する方法及び装置において、画像の又は画像の一部の深度コンテンツは、コンテンツの深度が減少された後に、一時的に増加される。この一時的なコンテンツの深度の増加は、そのコンテンツの深度が適用される画像又は画像の一部に対する大きい3D効果をレンダリングする。増加された3D効果のこの改善効果は、適用後でさえ、ビューアの知覚において残存することが判明した。実際の平均のコンテンツの深度は、比較的小さくし、それ故、疲労を低減することが可能である一方、コンテンツについて知覚される深度は比較的大きい。
本発明はまた、本発明に従った方法又は装置についての何れかのコンピュータプログラムプロダクトにおいて実施される。コンピュータプログラムプロダクトにおいて、一連のローディングステップ(中間言語及び最終処理器言語への変換のような中間変換ステップを有することが可能である)の後に、汎用の又は特殊用途の処理器が、本発明の特徴的な機能の何れかを実行するように、処理器にコマンドを入れることを可能にするコマンドの収集の何れかの物理的実現が理解される必要がある。特に、コンピュータプログラムプロダクトは、例えば、ディスク又はテープ等の担体におけるデータ、メモリに存在するデータ、無線又は有線のネットワーク接続において若しくは理論的にはプログラムコードにおいて移動するデータとして実現されることが可能である。プログラムコード以外に、プログラムのための必要な特徴的なデータがまた、コンピュータプログラムプロダクトとして実施されることが可能である。
方法を機能させるために必要なステップの一部は、データ入力及び出力ステップのようなコンピュータプログラムプロダクトに表現されているものの代わりに、処理器の機能において既に存在することが可能である。
上記の実施形態は、例示であって、本発明を制限するものではなく、当業者は、同時提出の特許請求の範囲における範囲から逸脱することなく、多くの代替の実施形態をデザインすることができることに留意する必要がある。
用語“を有する”は、請求項に列挙されている要素又はステップ以外の要素又はステップを排除するものではない。本発明は、複数の別個の要素を有するハードウェアにより、そして適切にプログラムされたコンピュータにより実行されることが可能である。複数の手段を挙げている装置請求項においては、それらの手段の幾つかは、同一のハードウェアにより実施されることが可能である。本発明は、上記の種々の異なる好適な実施形態における何れかの特徴の組み合わせにより実施されることが可能である。特に、符号化方法又は符号化器に関連して図示された又は記載されている何れかの実施形態は、示されていない又は不可能でない限り、復号化方法又は復号化器についての対応する実施形態を有し、そのような復号化方法及び復号化器は本発明の実施形態であり請求項に記載されていることを述べておく。
2つのステレオ画像に分離されるレンチキュラスクリーンの基本原理を示す図である。 2つのステレオ画像に分離される視差バリアの基本原理を示す図である。 図1に示す自動立体視表示装置を示す図である。 図1に示す自動立体視表示装置を示す図である。 本発明の原理を示す図である。 時間の関数としての深度コンテンツを模式的に示す図である。 表示前のデータの変換を模式的に示す図である。 本発明に従った表示装置を示す図である。

Claims (22)

  1. 三次元(3D)画像表示方法であって、表示される画像又は該画像の一部のコンテンツの深度は、前記コンテンツの深度が前記第1深度コンテンツレベルより小さい第2深度コンテンツレベルに設定された後、第1深度コンテンツレベルに一時的に設定される、3D画像表示方法。
  2. 請求項1に記載の3D画像表示方法であって、前記第1深度コンテンツレベルにおける前記画像の前記のコンテンツの深度の一時的な設定は、前記表示される画像から独立して実行される、3D画像表示方法。
  3. 請求項2に記載の3D画像表示方法であって、前記のコンテンツの深度は、0.1乃至10秒のオーダーにある期間により周期的に変化される、3D画像表示方法。
  4. 請求項3に記載の3D画像表示方法であって、前記深度コンテンツは、x秒の間、大きい深度コンテンツを有する画像又は画像の一部が、コンテンツの小さい深度を有する又はコンテンツの深度を有さない前記画像又は前記画像の前記一部を表示するx秒の間、後続して表示される周期に従って変化される、3D画像表示方法。
  5. 請求項4に記載の3D画像表示方法であって、xはxに等しい又はxより大きい、3D画像表示方法。
  6. 請求項1に記載の3D画像表示方法であって、前記表示される画像又は該画像の一部の前記のコンテンツの深度は、画像データに含まれるキューにおいて前記第1深度コンテンツレベルに設定される、3D画像表示方法。
  7. 請求項6に記載の3D画像表示方法であって、前記キューは新しい要素又はシーンの変化の導入である、3D画像表示方法。
  8. 請求項7に記載の3D画像表示方法であって、前記新しい要素の導入の際に、前記のコンテンツの深度は、前記新しく導入された要素に近接している画像の一部のみについて、前記第1深度コンテンツレベルに設定される、3D画像表示方法。
  9. 深度データを有する画像データを入力する入力部;
    表示スクリーンに送られるように前記画像データを出力データに変換する変換器であって、コンテンツの深度が第1深度コンテンツレベルより小さい第2深度コンテンツレベルに設定された後に、表示される画像又は画像の一部のコンテンツの深度が第1深度コンテンツレベルに一時的に設定されるように、前記出力データは備えられている、変換器;及び
    前記出力データに対応する画像を表示する表示スクリーン;
    を有する3D画像表示装置。
  10. 請求項9に記載の3D画像表示装置であって、前記変換器は、前記のコンテンツの深度が0.1乃至10秒のオーダーにある期間により周期的に変化されるように備えられている、3D画像表示装置。
  11. 請求項10に記載の3D画像表示装置であって、x秒の間大きい深度コンテンツを有する画像又は該画像の一部が、小さいコンテンツの深度を有する又はコンテンツの深度を有さない前記画像又は前記画像の前記一部を表示するx秒の間、後続して表示される周期に従って、前記深度コンテンツが変化されるように、前記変換器が備えられている、3D画像表示装置。
  12. 請求項9に記載の3D画像表示装置であって、前記表示装置は、前記画像データからキューを抽出し、前記変換器にトリガ信号を供給する制御器を有し、前記変換器は、トリガ信号の受信時に前記第1深度コンテンツレベルにおいて前記画像又は前記画像の一部の前記のコンテンツの深度を設定するように備えられている、3D画像表示装置。
  13. 入力画像表示データを出力画像表示データに変換する方法であって、前記出力データは、コンテンツの深度が第1深度コンテンツレベルより小さい第2深度コンテンツレベルに設定された後に、表示される画像又は画像の一部のコンテンツの深度が第1深度コンテンツレベルに一時的に設定されるように備えられている、画像表示データを変換する方法。
  14. 請求項13に記載の画像表示データを変換する方法であって、前記のコンテンツの深度は、0.1乃至10秒のオーダーにある期間により周期的に変化される、方法。
  15. 請求項14に記載の画像表示データを変換する方法であって、前記表示される画像又は該画像の一部の前記のコンテンツの深度は、画像データに含まれるキューにおいて前記第1深度コンテンツレベルに設定される、方法。
  16. 入力画像表示データを出力画像表示データに変換する変換器であって、前記出力データは、コンテンツの深度が第1深度コンテンツレベルより小さい第2深度コンテンツレベルに設定された後に、表示される画像又は画像の一部のコンテンツの深度が第1深度コンテンツレベルに一時的に設定されるように備えられている、変換器。
  17. 請求項16に記載の変換器であって、前記のコンテンツの深度は、0.1乃至10秒のオーダーにある期間により周期的に変化される、変換器。
  18. 請求項16に記載の変換器であって、前記表示される画像又は該画像の一部の前記のコンテンツの深度は、画像データに含まれるキューにおいて前記第1深度コンテンツレベルに設定される、変換器。
  19. 画像表示データを有する信号であって、前記画像表示データは、コンテンツの深度が第1深度コンテンツレベルより小さい第2深度コンテンツレベルに設定された後に、表示される画像又は画像の一部のコンテンツの深度が第1深度コンテンツレベルに一時的に設定されるように備えられている、信号。
  20. 請求項19に記載の信号であって、前記のコンテンツの深度は、0.1乃至10秒のオーダーにある期間により周期的に変化される、信号。
  21. 請求項19に記載の信号であって、前記表示される画像又は該画像の一部の前記のコンテンツの深度は、画像データに含まれるキューにおいて前記第1深度コンテンツレベルに設定される、信号。
  22. コンピュータ構成によりロードされるコンピュータプログラムであって、コンピュータにおいて実行されるときに、請求項1乃至8又は請求項13乃至15の何れか一項に記載の方法のために、3D画像データ入力に基づいて出力3D画像データを生成する命令を有し、前記コンピュータ構成は処理手段を有する、コンピュータプログラム。


JP2008545190A 2005-12-19 2006-12-08 3d画像表示方法及び装置 Expired - Fee Related JP5059024B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05112381 2005-12-19
EP05112381.8 2005-12-19
PCT/IB2006/054675 WO2007072270A1 (en) 2005-12-19 2006-12-08 3d image display method and apparatus

Publications (2)

Publication Number Publication Date
JP2009520392A true JP2009520392A (ja) 2009-05-21
JP5059024B2 JP5059024B2 (ja) 2012-10-24

Family

ID=37946695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008545190A Expired - Fee Related JP5059024B2 (ja) 2005-12-19 2006-12-08 3d画像表示方法及び装置

Country Status (5)

Country Link
US (1) US8493379B2 (ja)
EP (1) EP1967016B1 (ja)
JP (1) JP5059024B2 (ja)
CN (1) CN101341760B (ja)
WO (1) WO2007072270A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015202216A (ja) * 2014-04-15 2015-11-16 株式会社サンセイアールアンドディ 遊技機
JP2015202217A (ja) * 2014-04-15 2015-11-16 株式会社サンセイアールアンドディ 遊技機
KR20180116719A (ko) 2017-04-17 2018-10-25 (주)엔클로니 진동피더
KR20180116720A (ko) 2017-04-17 2018-10-25 (주)엔클로니 자세전환장치

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008032448A1 (en) * 2006-09-13 2008-03-20 Nikon Corporation Headgear type display
JP4695664B2 (ja) * 2008-03-26 2011-06-08 富士フイルム株式会社 立体動画像処理装置および方法並びにプログラム
KR20100112940A (ko) * 2009-04-10 2010-10-20 엘지전자 주식회사 데이터 처리방법 및 수신 시스템
JP5434231B2 (ja) * 2009-04-24 2014-03-05 ソニー株式会社 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム
US9524700B2 (en) * 2009-05-14 2016-12-20 Pure Depth Limited Method and system for displaying images of various formats on a single display
JP2011070450A (ja) * 2009-09-25 2011-04-07 Panasonic Corp 三次元画像処理装置およびその制御方法
JP4831223B2 (ja) * 2009-09-29 2011-12-07 カシオ計算機株式会社 画像表示装置及び方法並びにプログラム
TW201320716A (zh) * 2011-11-01 2013-05-16 Acer Inc 動態景深調整裝置及其方法
EP2590417A1 (en) * 2011-11-01 2013-05-08 Acer Incorporated Stereoscopic image display apparatus
CN103108199A (zh) * 2011-11-09 2013-05-15 宏碁股份有限公司 动态景深调整装置及其方法
CN103108201A (zh) * 2011-11-14 2013-05-15 宏碁股份有限公司 立体图像显示装置及动态深度图像产生方法
US9571864B2 (en) 2012-03-30 2017-02-14 Intel Corporation Techniques for media quality control
US20140160256A1 (en) * 2012-12-10 2014-06-12 Daniel Avrahami Apparatus and techniques to provide variable depth display
US9483111B2 (en) 2013-03-14 2016-11-01 Intel Corporation Techniques to improve viewing comfort for three-dimensional content
KR101844883B1 (ko) * 2014-12-23 2018-04-03 메타 컴퍼니 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템
CN104570368A (zh) 2015-01-28 2015-04-29 京东方科技集团股份有限公司 一种显示面板及显示装置
US9942532B2 (en) 2015-11-03 2018-04-10 International Business Machines Corporation Eye-fatigue reduction system for head-mounted displays
US11373740B2 (en) * 2016-07-04 2022-06-28 Plano Pte Ltd Apparatus and method for monitoring use of a device
KR102228919B1 (ko) * 2017-03-30 2021-03-18 스노우 주식회사 이미지에 동적 효과를 적용하는 방법 및 장치
CA3086592A1 (en) 2017-08-30 2019-03-07 Innovations Mindtrick Inc. Viewer-adjusted stereoscopic image display
CN108508616B (zh) * 2018-05-17 2024-04-16 成都工业学院 一种3d显示系统及3d显示装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
JPH11164328A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
JP2004007396A (ja) * 2002-03-27 2004-01-08 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2004165708A (ja) * 2002-09-27 2004-06-10 Sharp Corp 立体画像表示装置、立体画像符号化装置、立体画像復号装置、立体画像記録方法及び立体画像伝送方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9611941D0 (en) 1996-06-07 1996-08-07 Philips Electronics Nv Three-dimensional image texture mapping
GB2314203B (en) 1996-06-15 2000-11-08 Ibm Auto-stereoscopic display device and system
EP0817123B1 (en) * 1996-06-27 2001-09-12 Kabushiki Kaisha Toshiba Stereoscopic display system and method
US6031564A (en) * 1997-07-07 2000-02-29 Reveo, Inc. Method and apparatus for monoscopic to stereoscopic image conversion
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
JP4149037B2 (ja) 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
US6466208B1 (en) * 1999-12-20 2002-10-15 Silicon Integrated Systems Corporation Apparatus and method for adjusting 3D stereo video transformation
US20030063383A1 (en) 2000-02-03 2003-04-03 Costales Bryan L. Software out-of-focus 3D method, system, and apparatus
US6677945B2 (en) 2001-04-20 2004-01-13 Xgi Cayman, Ltd. Multi-resolution depth buffer
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
ES2392244T3 (es) * 2002-09-27 2012-12-07 Sharp Kabushiki Kaisha Dìspositivo de visualización de imágenes en 3D

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
JPH11164328A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
JP2004007396A (ja) * 2002-03-27 2004-01-08 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2004165708A (ja) * 2002-09-27 2004-06-10 Sharp Corp 立体画像表示装置、立体画像符号化装置、立体画像復号装置、立体画像記録方法及び立体画像伝送方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015202216A (ja) * 2014-04-15 2015-11-16 株式会社サンセイアールアンドディ 遊技機
JP2015202217A (ja) * 2014-04-15 2015-11-16 株式会社サンセイアールアンドディ 遊技機
KR20180116719A (ko) 2017-04-17 2018-10-25 (주)엔클로니 진동피더
KR20180116720A (ko) 2017-04-17 2018-10-25 (주)엔클로니 자세전환장치

Also Published As

Publication number Publication date
CN101341760A (zh) 2009-01-07
WO2007072270A1 (en) 2007-06-28
JP5059024B2 (ja) 2012-10-24
EP1967016A1 (en) 2008-09-10
CN101341760B (zh) 2012-12-12
US8493379B2 (en) 2013-07-23
US20090027384A1 (en) 2009-01-29
EP1967016B1 (en) 2012-09-26

Similar Documents

Publication Publication Date Title
JP5059024B2 (ja) 3d画像表示方法及び装置
US9916517B2 (en) Image processing method and apparatus
ES2435669T3 (es) Gestión de subtítulos en visualización en 3D
KR101095392B1 (ko) 3-d 영상 디스플레이 스크린상에 3-d 영상들을렌더링하는 시스템 및 방법
US8842170B2 (en) Method and apparaus for making intelligent use of active space in frame packing format
US9261710B2 (en) 2D quality enhancer in polarized 3D systems for 2D-3D co-existence
Devernay et al. Stereoscopic cinema
KR20110083650A (ko) 신호에 포함된 시차 정보를 처리하는 방법
JP2011176541A (ja) 立体映像処理装置および方法、並びにプログラム
US20030103136A1 (en) Method and system for 2D/3D illusion generation
US10122987B2 (en) 3D system including additional 2D to 3D conversion
KR101686168B1 (ko) 스트레오스코픽 동영상 파일의 구성 방법
US20120120191A1 (en) Image processor for use in a frame sequential 3d display system and related 3d display system
JP2013182192A5 (ja)
JP5629825B2 (ja) ステレオスコピック動画ファイルの構成方法
KR101433082B1 (ko) 2차원 영상과 3차원 영상의 중간 정도 느낌을 주는 영상 변환 및 재생 방법
Ludé New Standards for Immersive Storytelling through Light Field Displays
JP5341942B2 (ja) 映像再生装置
Doyen et al. Towards a free viewpoint and 3D intensity adjustment on multi-view display
Bayatpour The Evaluation of Selected Parameters that Affect Motion Artifacts in Stereoscopic Video
CA2982015A1 (en) Method and apparatus for depth enhanced imaging
KR20130111991A (ko) 화질 개선을 위한 다중시점 영상 디스플레이 장치 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091204

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111101

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120131

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120801

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees