JP2014500674A - 適応的な両眼差をもつ3dディスプレイのための方法およびシステム - Google Patents

適応的な両眼差をもつ3dディスプレイのための方法およびシステム Download PDF

Info

Publication number
JP2014500674A
JP2014500674A JP2013542324A JP2013542324A JP2014500674A JP 2014500674 A JP2014500674 A JP 2014500674A JP 2013542324 A JP2013542324 A JP 2013542324A JP 2013542324 A JP2013542324 A JP 2013542324A JP 2014500674 A JP2014500674 A JP 2014500674A
Authority
JP
Japan
Prior art keywords
image
binocular difference
eye image
binocular
maximum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013542324A
Other languages
English (en)
Inventor
ソン,チャンピン
ソン,ウェンホアン
スー,ヤン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2014500674A publication Critical patent/JP2014500674A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3D画像における両眼差および両眼差変化レートを制御する画像処理装置および方法が提案される。方法は:最大の負の両眼差閾値および/または両眼差変化の最大レート閾値を見る者が入力する段階と;3D画像のデータを受領する段階と;該データを左眼画像データおよび右眼画像データにデコードする段階と;デコードされた3D画像データの、最大の負の両眼差および両眼差変化レートを決定する段階と;決定された最大の負の両眼差および両眼差変化レートならびに少なくとも一つの閾値に基づいて画像移動値を決定する段階と;前記左眼画像および前記右眼画像を前記画像移動値を使って調整する段階と;調整された左眼画像および右眼画像を3D表示装置上で見る者に対して表示する段階とを含む。装置は、画像受領器(402)と、画像デコーダ(404)と、最大両眼差解析器(406)と、両眼差制御値決定器(408)と、ユーザー・インターフェース(410)と、両眼差調整器(412)と、ステレオ・ディスプレイ(414)とを有する。

Description

本発明は三次元ディスプレイ・システムに関する。より詳細には本発明は入力3D画像の両眼差を表示のために調整する方法およびシステムに関する。
両眼視は人間に、二つの目の網膜に入射する二つの像における相同的なまたは対応する点の位置のわずかな相違に由来する奥行き知覚の利点を与える。これは、ステレオプシス(立体視の意)として知られており、シーン内のオブジェクトの奥行き関係についての正確な情報を与えることができる。左右の網膜像における点の位置の差は両眼差(disparity)として知られている。
従来の三次元(3D)ディスプレイは、2Dフラット・ディスプレイを使って異なる両眼差をもつ画像をユーザーの左右の目に投影し、偏光めがねまたは視差(parallax)バリアのようなツールを使うことによって3D画像を生成している。3D画像を生成するために、現実の像が3Dカメラによって撮影される。あるいはまた、3D画像内容がコンピュータ・グラフィックを使って製作されてもよい。
目標は、それぞれの目が自然において見るのと同じものを見るようにすることであるが、2Dであれ3Dであれフラット・ディスプレイ装置で、人間の目が実際に機能する仕方を複製するものはない。2Dディスプレイでは、両目は、二つの視差ビューではなく、同じ単一の画像を見ている。加えて、たいていの画像では、シーン全体で同時に焦点が合う。これは、自然において目が機能する仕方ではないが、人間の目は、ディスプレイ表面上どこでも望むところを見ることができるようこの全シーン合焦技法を使う。現実には、人間の視野のごく小さな中心部分のみが鮮鋭に焦点が合い、それも凝視(焦点)距離においてのみである。人間の目は近くおよび遠くのオブジェクトを見る際に、絶えず焦点を変える、あるいは調節する。しかしながら、(フラットな)2D画像を見るときには、すべてのオブジェクトに同時に焦点が合う。
立体視3Dディスプレイでは、人間の目は今やそれぞれ適正な視差ビューを与えられるが、それでも目は両方の画像が現実には平坦な表面上に表示されているという事実を受け入れなければならない。二つの画像は、見る者から固定距離において何らかの平面上で重畳されており、像を明瞭に見るためには、見る者はそこに焦点を合わせなければならない。現実の自然状態では、人間の目はモニタ上のシーンをうろつきまわり、ある種のオブジェクトまたはオブジェクト点を凝視する。しかしながら、今、人間の目はある距離で輻輳し、別の距離で合焦している。目の輻輳と調節の間に「ミスマッチ」がある。輻輳は、通例、オブジェクトを見るときに単一の両眼視を維持しようとする努力における、両目が互いに接近する同時の内向きの動きである。
たとえば図1では、左眼120Aおよび右眼102B視線が10フィートにおけるオブジェクト「F」において収斂し、近いオブジェクト「A」は5フィート離れており、遠いオブジェクト「B」は15フィートのところにあるとする。収斂距離にあるオブジェクトはいかなる両眼差ももたず、スクリーン104上に正確に重ねられているように見える。表示スクリーン104を取り巻く3D空間においては、オブジェクトがスクリーン104表面上にあるように見える。スクリーン104の手前にあるように見えるオブジェクトAは負の両眼差をもつという。この負の両眼差は、スクリーン104表面上の距離106として測定できる。スクリーン104の奥にあるように見えるオブジェクトBは正の両眼差をもつ。正の両眼差は、スクリーン104表面上の距離108として測定できる。オブジェクトAを見るためには、人間の目は、スクリーン104の手前にある点に輻輳する。オブジェクトBのためには、輻輳点はスクリーン104より奥にある。現実の自然状態と同様に、人間の目は、シーン内のさまざまなオブジェクトに輻輳するが、焦点は平坦なスクリーン104の表示に合ったままである。このように、我々は、立体視対の画像を閲覧するときに「見る」新しい方法を学びつつあるのである。二つの画像がよく一致し、両目によって明瞭かつ別個に見られる場合、オブジェクトを融合するのが容易になる。融合は、両眼差のある左ビューと右ビューを3Dビューに混合する人間の脳のプロセスである。説明として、両眼視融合が起こるのは、両方の目が一緒に使われてそれぞれの目が自身の画像を有しているにもかかわらず単一の画像を知覚するときである。両眼視融合は、右眼画像と左眼画像に少量の水平方向両眼差がある場合でも簡単である。しかしながら、大きな両眼差をもつ画像を長時間見るときは、すぐ疲れることがあり、吐き気のような副作用をもつこともある。また、一部の人は、大きな負の両眼差がある場合、オブジェクトを融合することが難しいまたさらには不可能であると見出すことがある。
3D画像を見るとき、人は、オブジェクトがスクリーンからあまりに飛び出す場合には、目の疲労の問題に遭遇する。さらに、オブジェクトがスクリーンからあまりに急速に飛び出す場合、多くの人はそのオブジェクトを融合できない。
本発明は、目の疲労を軽減し、人がより簡単にオブジェクトを融合できる助けとなるために使用できる方法およびシステムを提供することによって上記の問題を解決する。ある実施形態では、3D画像を受け取り表示する受領端において画像の両眼差を調整するとともに、両眼差の変化レートを調整することによって、画像の収斂を制御する方法が使われることができる。最大の負の両眼差についての閾値がユーザーによって設定される。あるモードでは、3D画像の何らかのオブジェクトの最大両眼差が閾値を超えるとき、3D画像の両眼差が、閾値を超えないよう調整される。もう一つの実施形態では、3D画像の何らかのオブジェクトの最大両眼差が閾値を超えるとき、両眼差の変化レートが、所定の値を超えないよう調整される。
3Dシステムにおける両眼差の例を示す図である。 Aは左眼画像の例を示し、Bは右眼画像の例を示し、CはAおよびBからの画像の重ね合わせを表す。 Aは本発明のある側面に従って左眼画像の両眼差を軽減する例示的な方法を示し、Bは本発明のある側面に従って右眼画像の両眼差を軽減する例示的な方法を示し、Cは本発明のある側面に従って両眼差を軽減するためのAおよびBの例の重ね合わせを示す。 本発明の方法を実装する例示的なブロック図である。 本発明の諸側面に基づく例示的な方法を示す図である。
図2のAおよびBは、平行なステレオ・ビューまたはマルチビュー・カメラによって撮影または記録されたそれぞれ左眼画像および右眼画像を示す。図2のCは、一つの平面内でAの左眼画像をBの右眼画像に重ね合わせて示し、両者の間の両眼差を呈示している。右眼画像のオブジェクトが左眼画像の同一オブジェクトの右側に存在するときに正の両眼差が存在するものとする。同様に、左眼画像のオブジェクトが右眼画像の右にくるときには負の両眼差が存在する。図2のCに示されるように、円形のオブジェクトは正の両眼差をもっている。これは、見る者が、そのオブジェクトが該見る者から離れており、スクリーン中に沈んでいるように知覚することを意味する。四角のオブジェクトは負の両眼差をもつ。これは、見る者にとってより近くに、スクリーンの手前にあるまたはスクリーンから飛び出ているように知覚されることを意味する。三角形のオブジェクトは両眼差0をもち、これはスクリーンと同じ奥行きにあるように思われることを意味する。ステレオ画像では、負の両眼差は正の両眼差より大きな3D効果をもつが、見る者は正の両眼差のほうが快適である。しかしながら、ステレオ画像におけるオブジェクトが3D効果を最大化するよう過大な両眼差をもつ場合には、視覚疲労または融合困難などの副作用が生じる。
当業者には、最大融合範囲が±7°の視差内であること、合理的な閲覧のための範囲は±2°の視差内であること、快適な閲覧のための範囲は±1°の視差内であることが知られている。よって、ステレオ画像の両眼差は、少なくとも合理的な範囲内である必要がある。しかしながら、そのような両眼差の範囲は個人差、ディスプレイ特性、閲覧距離およびコンテンツによって変わることがある。たとえば、同じ閲覧距離において同じスクリーン上で同じステレオ画像を見ているとき、大人は快適に感じても子供は画像を融合させるのを困難に感じることがある。もともと意図されたより大きなディスプレイ上に表示される画像は快適な融合限界を超え、偽の奥行き印象を与えることがある。ステレオ画像が3Dカメラによって撮影されるとき、個人差、スクリーン・サイズまたは閲覧距離を予期することは難しいことがある。したがって、ステレオ画像の両眼差は、表示される前に受領端末において処理されるのが有利である。
負の両眼差は正の両眼差より大きな3D効果をもつが、見る者にとって、負の両眼差をもつオブジェクトを融合させることは、正の両眼差の場合より難しい。図2のCを参照するに、四角のオブジェクトは大きな負の両眼差をもち、人の融合限界を超えることがありうる。図2のCにおいて、四角い右眼画像は左眼画像の左であることを注意しておく。図3のA〜Cは、本発明のある実施形態に基づき、図2のA〜Cの左眼画像および右眼画像をそれぞれ左および右に動かすことによってステレオ画像の負の両眼差を軽減するプロセスを示す。換言すれば、図3のA〜Cは、両眼差を調整することによって、ユーザーに対して、安定した3D画像を提供するよう画像を処理する方法を示している。図3のAは、図2のAの左眼画像を、距離d/2だけ画像の左端を切り落とし(トリミングし)、次いで距離d/2だけ画像の右端を充填することによって左に動かしたものを示している。図3のBは、図2のBの右眼画像を、距離d/2だけ画像の右端を切り落とし(トリミングし)、次いで距離d/2だけ画像の左端を充填することによって右に動かしたものを示している。図3のCは、本発明のある実施形態に基づく、3Dステレオ・ディスプレイ上で図3のAの右眼画像を図3のBの左眼画像と合成したものを示している。個々の画像のトリミングおよび充填の全体としての効果は、画像の全体的なサイズに対してもつ正味の効果は0であるが、相対的な両眼差は図3のCの合成では距離dだけ変化していることを注意しておく。
図3のCを参照するに、四角のオブジェクトの両眼差は、図2のCに示される四角のオブジェクトと比べ、dだけ小さくなる(つまり、両眼差の値がdだけ大きくされる(負である程度を小さくされる))。したがって、四角のオブジェクトのスクリーンからの飛び出し方が小さくなるように見え、見る者にとって、四角のオブジェクトの画像の両眼ビューを融合させることがより容易になる。四角のオブジェクトについてのみならず、画像のすべてのオブジェクトについて、両眼差の値がdだけ変更されることを注意しておく。したがって、スクリーン上の画像のすべてのオブジェクトが見る者から遠ざかるように感じられる。換言すれば、すべてのオブジェクトはスクリーン中に沈み込む傾向があるように感じられる。たとえば、円形のオブジェクトはもっとスクリーン中に沈み込むように感じられ、両眼差を調整する前はスクリーンと同じ奥行きに感じられる三角形のオブジェクトは今やスクリーン中に沈み込むように感じられる。オブジェクトの一部がスクリーンから飛び出していたのが、本発明の両眼差調整後はスクリーンに沈み込むようにシフトすることもありうる。
逆に、3D効果を高め、すべてのオブジェクトを見る者の近くにすることを望む場合には、左眼画像を右に、右眼画像を左に動かすことによって、ステレオ画像の両眼差を減らすことができる。
図4は、本発明のある実施形態に基づく画像処理システム400のブロック図である。図4を参照するに、画像処理システムは、画像受領器402、画像デコーダ404、最大両眼差解析器406、両眼差制御値決定器408、両眼差調整器412、ユーザー・インターフェース410および3Dステレオ・ディスプレイ414を含む。手短にいうと、ステレオ3Dディスプレイ414によって呈示される3D画像をユーザー(見る者)が快適に閲覧できるよう両眼差制御値決定器408が両眼差調整器412を調整できるようにするよう、見る者は、ユーザー・インターフェース410を介してシステム400を対話的に使うことができる。最初、見る者は、ユーザー・インターフェース410を対話的に使って、快適な最大両眼差値(最大の負の両眼差閾値)および快適な両眼差変化レート(disparity change rate)(最大飛び出しレート(protruding rate)閾値)を決定する。最大飛び出しレート閾値は、負の両眼差をもつオブジェクト、すなわち3Dディスプレイ・スクリーンから飛び出すオブジェクトの変化のスピードを制限するために、ユーザー対話によって設定される値である。本システムなしでは、見る者に呈示される3D画像が最大の負の両眼差閾値を超える場合、ステレオ・ディスプレイ414のユーザーは快適でない閲覧セッションをもつことがある。ユーザー・インターフェースを利用することによって、ユーザーは3D画像を、個々の見る者または見る者のグループにとってより快適なある種の両眼差値に調整することができる。ユーザーにとってのより快適な閲覧セッションは、最大の負の両眼差を制限するのみならず負の両眼差のためにオブジェクトが閲覧スクリーンから飛び出すスピードをも制限するよう両眼差を調整することから帰結する。
図4を参照するに、画像受領器402はステレオ・ビューまたはマルチビュー画像を受領し、画像デコーダ404に送信する。画像デコーダ404はステレオ・ビューまたはマルチビュー画像をデコードし、左眼画像および右眼画像を最大両眼差解析器408および両眼差調整器412に出力する。最大両眼差解析器406は右眼画像と左眼画像の間の両眼差を推定し、最大の負の両眼差Dmを決定する。当業者は、二つの画像の間の両眼差を推定するために多くの方法が使用できることを知っている。両眼差制御値決定器408は決定された最大の負の両眼差Dmを最大両眼差解析器406から受け取り、左眼画像および右眼画像両方についての動き値dを決定する。詳しくは、両眼差制御値決定器408は決定された最大の負の両眼差の値を両眼差閾値Dtと比較する。このDtは、ステレオ3Dディスプレイ414を観察する間、見る者が快適な値であると感じる見る者の最大の負の両眼差であると想定される。(簡単のため、Dtは見る者の最大の負の両眼差の絶対値である。)受領された左眼画像および右眼画像の最大の負の両眼差の値が最大の負の両眼差閾値Dtより大きい場合、両眼差制御値は画像動き値dとして計算される。加えて、両眼差制御値決定器408は、見る者から決定された両眼差の最大変化レート(maximum rate of change of disparity)を表す最大飛び出しレート閾値と比較しての最後の3D画像と現在の3D画像との間の両眼差の変化に基づく、左眼画像と右眼画像の両眼差の現在の変化レート(current rate of change of disparity)に基づいて、両眼差の変化レート(rate of change of disparity)を決定する。
当業者は理解するだろうが、図4は、単一プロセッサ・システムまたは複数プロセッサ・システムのいずれによっても実装されうる。たとえば、単一プロセッサ実施形態では、バス・ベースのシステムを使って、入力および出力インターフェースは、画像受領器402、ユーザー・インターフェース410およびステレオ・ディスプレイ414を駆動する両眼差調整器412出力を含むことができる。そのような単一プロセッサ・システムでは、画像デコーダ404、最大両眼差解析器406、両眼差制御値決定器408によって実行される機能は、図4の個々の機能ボックスの機能を実行するようメモリと協働するプロセッサに収容されることができる。代替的に、図4のいくつかの機能ボックスまたは各機能ボックスは、近隣の機能ブロックと通信するために、内部プロセッサ、メモリおよびI/Oと一緒に機能することができる。
本発明のある実施形態では、見る者は、オブジェクトがステレオ3Dディスプレイ414から飛び出しすぎることを防ぐために図4のシステム400を使う。この場合、最大の負の両眼差Dmの値は見る者に関する両眼差閾値Dtを超えるべきではない。したがって、画像移動値dは単に
d=|Dm|−Dt |Dm|>Dtの場合
または
d=0 |Dm|≦Dtの場合
式(1)
として計算される。
本発明のもう一つの実施形態では、見る者はできるだけ大きな3D効果を望むが、スクリーンからあまりに大きく、あまりに急速に飛び出すオブジェクトを融合させることに困難を覚える。この場合、最大の負の両眼差Dmの値はあまりに急速に増大するべきではない。ここで、ユーザー・インターフェース410を使って、見る者は、快適なユーザー閲覧のための最大飛び出しレート閾値を確立する。画像移動値dは
d=|Dm|−D′−δ |Dm|>D′+δの場合
または
d=0 |Dm|≦D′+δの場合
式(2)
として計算される。ここで、δは、ユーザー・インターフェース410および両眼差制御値決定器408の使用を介して決定される値であり、飛び出しレート(両眼差変化レート(change of disparity rate))を制御するために使われる。D′は両眼差が調整された最後の画像の最大の負の両眼差の値である。D′は初期にはDtと設定され、両眼差制御値決定器408に記憶される。ひとたび画像の両眼差が調整されたら、D′は
D′=|Dm|−2d
式(3)
として更新される。
上記を使って、最大両眼差が見る者に快適である限界内に制御されることができるのみならず、見る者の最大飛び出しレート閾値を確立し、右眼画像と左眼画像の間の両眼差変化のレート(rate of disparity change)を制御することによって、飛び出す画像のレートが制御されることができる。ある実施形態では、これは少なくとも最後の画像両眼差値をメモリに記憶することによって達成される。それにより、最後の画像と現在画像との間でレートが決定できるようにし、受領されデコードされる相続く右眼および左眼画像セットの間の相対的な両眼差変化(relative disparity changes)(変化レート(rate of change))。この実施形態の一つの利点は、最後の画像フレーム全体ではなく、最後の画像両眼差レート値のみが記憶されるということである。
両眼差制御値決定器408は両眼差閾値Dtおよび飛び出しレート値δをユーザーから、見る者からの入力およびユーザー・インターフェース410を介して受け取る。両眼差調整器412は、両眼差制御値決定器408から受領された画像移動値dだけ左眼画像を左に動かし、右眼画像を右に動かすことによってステレオ画像の両眼差を調整し、次いで、両眼差を調整された左眼画像および右眼画像をステレオ・ディスプレイ414に出力する。当業者には、左眼画像および右眼画像が等しい量だけ動かされる必要はないことは明白であろう。たとえば、ある実施形態では、右眼画像が動かされない一方、左眼画像はdだけ動かされる。等価だが、右眼および左眼の他の均等でない移動量が実装されることもできる。ある実施形態では、左眼画像は1/3dだけ動かされてもよく、右眼画像が2/3dだけ動かされてもよい。
図5は、本発明のある実施形態に基づく、画像処理方法500のフローチャートである。方法510の開始後、ステップ520において、ステレオ・ビューまたはマルチビュー画像が受領され、左眼画像および右眼画像にデコードされる。ステレオ・ビューまたはマルチビュー画像は、信号または等価なデジタル・データの形の三次元(3D)画像であることができる。ステップ520は、図4の画像受領器402を使って実行されることができる。受領されたステレオ・ビューまたはマルチビュー画像は次いでステップ530において左眼画像および右眼画像にデコードされる。これは図4の画像デコーダ404を使って実行できる。左眼画像と右眼画像の間の両眼差が推定され、ステップ540で、受領された画像の最大の負の両眼差が決定される。ステップ540は、図4の最大両眼差解析器406を使って実行されることができる。画像飛び出しのレート(rate of image protrusion)または両眼差の変化のレート(rate of change in the disparity)も計算されることができる。次いで、ステップ550において、左眼画像および右眼画像両方についての画像移動値が、この画像と最後の画像の最大の負の両眼差、確立された最大の負の両眼差閾値および最大飛び出しレート閾値(ユーザーの両眼差レート変化限界(disparity rate change limit))に基づいて、計算される。ステップ550は、図4の両眼差制御値決定器408を使って実行できる。
図4のシステムおよび図5の方法500が二つの種類の調整を提供することを注意しておく。一つは、見る者に対して表示される最大の負の両眼差の制御である。他方は、見る者に対して呈示される最大の負の両眼差の変化レートの制御である。ユーザーが最大の負の両眼差閾値を設定する場合、最大の負の両眼差の制御機能が行われる。ユーザーが最大の飛び出しレート閾値を設定する場合には、最大の負の両眼差の変化レートの制御機能が行われる。ユーザーが最大の負の両眼差閾値および最大の飛び出しレート閾値の両方を設定する場合には、方法500に記述されるように両方の制御機能が行われる。実際の画像移動値は、二つの計算された値の大きいほうである。たとえば、ある実施形態では、3D画像の何らかのオブジェクトの最大の負の両眼差Dmが最大の負の両眼差閾値Dtを超えるとき、画像移動値d1が式(1)によって計算される。最大の負の両眼差Dmの値が、両眼差が調整された最後の画像の最大の負の両眼差の値に比べて急速に増大しすぎる場合、画像移動値d2が式(2)によって計算される。すると、実際の画像移動値dは
d=max(d1,d2)
式(4)
として決定される。
したがって、画像の最大の負の両眼差が最大の負の両眼差閾値Dtを超えず、かつ画像の任意のオブジェクトの飛び出しレートが最大飛び出しレート閾値δも超えないよう、画像が調整される。画像が調整されたのち、最後の調整された画像D′の最大の負の両眼差の値が式(3)によって更新される。
最大の負の両眼差閾値および最大飛び出しレートは、ユーザーによって確立される、快適な閲覧のための閾値であることを注意しておく。最大の負の両眼差閾値および最大飛び出しレート閾値はユーザー・インターフェース410を介して対話的に決定されてもよい。両眼差制御値決定器408によってユーザー入力が受け入れられ、ユーザーによる快適な閲覧のための閾値として有用なパラメータとして処理される。両眼差制御値決定器408はこれらのユーザー閾値と、最大両眼差解析器406から決定された最大の両眼差および値の両眼差の変化レートの入力とを使って、画像移動値dを決定する。ステップ560において、左眼画像および右眼画像は計算された画像移動値に基づいてそれぞれ左および右に動かされ、左眼画像と右眼画像の間の両眼差は調整される。ステップ560は、図4の両眼差調整器412によって実行できる。両眼差調整された左眼画像および右眼画像はステップ570において出力され、表示される。両眼差調整器412は、快適なユーザー閲覧のために、両眼差が調整されたステレオ信号をステレオ・ディスプレイ414に出力する。
本稿に記載される実装はたとえば、方法もしくはプロセス、装置またはハードウェアおよびソフトウェアの組み合わせにおいて実装されうる。たとえ単一の形の実装のコンテキストで論じられるだけであったとしても(たとえば方法としてのみ論じられていても)、論じられている事項の実装は他の形(たとえば、ハードウェア装置、ハードウェアおよびソフトウェア装置またはコンピュータ可読媒体)で実装されてもよい。装置は、たとえば適切なハードウェア、ソフトウェアおよびファームウェアにおいて実装されてもよい。方法は、たとえば装置において実装されてもよい。装置はたとえば、プロセッサなどである。プロセッサは任意の処理装置を指し、たとえば、コンピュータ、マイクロプロセッサ、集積回路またはプログラム可能型論理デバイスを含む。処理装置は、たとえばコンピュータ、携帯電話、ポータブル/パーソナル・デジタル・アシスタント(「PDA」)およびエンドユーザー間の情報の通信を容易にする他の装置といった通信装置をも含む。
さらに、方法は、プロセッサによって実行される命令によって実装されてもよく、そのような命令は、たとえば、集積回路、ソフトウェア担体または他の記憶デバイスといったプロセッサまたはコンピュータ可読媒体上に記憶されてもよい。記憶デバイスはたとえば、ハードディスク、コンパクトディスケット、ランダム・アクセス・メモリ(「RAM」)、読み出し専用メモリ(「ROM」)または他の任意の磁気式、光学式または半導体媒体といったものである。命令は、上述した媒体のうちの任意のもののようなコンピュータ可読媒体上に有体に具現されたアプリケーション・プログラムをなしてもよい。明らかなはずだが、プロセッサは、該プロセッサ・ユニットの一部として、たとえばプロセスを実行するための命令を有する、コンピュータ可読媒体を含んでいてもよい。本発明の方法に対応する命令は、汎用コンピュータを、本発明の方法を実行する具体的な機械に変換することができる。

Claims (12)

  1. 三次元(3D)画像を受領し、受領した3D画像を左眼画像および右眼画像にデコードする画像受領器およびデコーダと;
    前記左眼画像と前記右眼画像の間の最大両眼差および両眼差変化レートを決定する両眼差解析器と;
    前記最大両眼差、前記両眼差変化レートおよび閾値に基づいて両眼差調整値を決定する両眼差制御値決定器と;
    前記両眼差調整に従って、受領された前記左眼画像および受領された前記右眼画像を調整する両眼差調整器と;
    調整された左眼画像および右眼画像を使ってディスプレイを駆動する、前記両眼差調整器からの出力とを有する、
    画像処理装置。
  2. 最大の負の両眼差閾値を決定するために対話的に使われるユーザー・インターフェースをさらに有する、請求項1記載の装置。
  3. 前記ユーザー・インターフェースが、対話的に最大の飛び出しレート閾値をも決定する、請求項2記載の装置。
  4. 前記両眼差制御値決定器が、前記最大の負の両眼差閾値が超過された場合に、前記最大の負の両眼差を制御する両眼差調整値を生成する、請求項1記載の装置。
  5. 前記両眼差制御値決定器が、前記最大の飛び出しレート閾値が超過された場合に、前記両眼差変化レートを制御する両眼差調整値を生成する、請求項1記載の装置。
  6. 前記両眼差調整器が、受領された前記左眼画像および受領された前記右眼画像を、最大の負の両眼差閾値および最大の飛び出しレート閾値に基づいて調整する、請求項1記載の装置。
  7. 調整された左眼画像および右眼画像を見るためのステレオ3D画像表示装置をさらに有する、請求項1記載の装置。
  8. 画像処理システムによって実行される方法であって:
    三次元(3D)画像のデータを受領する段階と;
    前記3D画像を左眼画像および右眼画像にデコードする段階と;
    少なくとも一つのプロセッサを使って、デコードされた3D画像の、最大両眼差および両眼差変化レートを決定する段階と;
    画像移動値を決定し、前記最大両眼差および両眼差変化レートを少なくとも一つの閾値との関係で使って前記左眼画像および前記右眼画像を調整する段階と;
    前記左眼画像および前記右眼画像を前記画像移動値を使って調整する段階と;
    調整された左眼画像および右眼画像を3D表示装置上で見る者に対して表示する段階とを含む、
    方法。
  9. 画像移動値を決定する処理が、最大の負の両眼差閾値および最大飛び出しレート閾値を前記最大両眼差および前記両眼差変化レートと比較することを含む、請求項9記載の方法。
  10. 前記最大の負の両眼差閾値が超過される場合、画像の最大の負の両眼差が前記最大の負の両眼差閾値を超えないよう画像が調整される、請求項9記載の方法。
  11. 前記最大飛び出しレート閾値が超過される場合、前記両眼差変化レートが、前記最大飛び出しレート閾値を超えないよう調整される、請求項9記載の方法。
  12. 前記最大の負の両眼差閾値および前記最大飛び出しレート閾値が見る者から決定された閾値である、請求項9記載の方法。
JP2013542324A 2010-12-08 2010-12-08 適応的な両眼差をもつ3dディスプレイのための方法およびシステム Pending JP2014500674A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/001988 WO2012075603A1 (en) 2010-12-08 2010-12-08 Method and system for 3d display with adaptive disparity

Publications (1)

Publication Number Publication Date
JP2014500674A true JP2014500674A (ja) 2014-01-09

Family

ID=46206508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013542324A Pending JP2014500674A (ja) 2010-12-08 2010-12-08 適応的な両眼差をもつ3dディスプレイのための方法およびシステム

Country Status (6)

Country Link
US (1) US20130249874A1 (ja)
EP (1) EP2649803A4 (ja)
JP (1) JP2014500674A (ja)
KR (1) KR20130125777A (ja)
CN (1) CN103404155A (ja)
WO (1) WO2012075603A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101699957B1 (ko) * 2009-11-18 2017-01-25 톰슨 라이센싱 유연한 디스패리티 선택이 가능한 3차원 컨텐트 전달 방법 및 시스템
US10491915B2 (en) * 2011-07-05 2019-11-26 Texas Instruments Incorporated Method, system and computer program product for encoding disparities between views of a stereoscopic image
US10178368B2 (en) * 2012-10-23 2019-01-08 Intuitive Surgical Operations, Inc. Stereo imaging system with automatic disparity adjustment for displaying close range objects
TWI516093B (zh) * 2012-12-22 2016-01-01 財團法人工業技術研究院 影像互動系統、手指位置的偵測方法、立體顯示系統以及立體顯示器的控制方法
CN104539923A (zh) * 2014-12-03 2015-04-22 深圳市亿思达科技集团有限公司 一种景深自适应的全息显示方法及其装置
KR101747167B1 (ko) 2015-02-23 2017-06-15 부경대학교 산학협력단 입체영상의 돌출 시차 변화율을 이용한 물체 접근 감지 장치 및 방법
WO2017003054A1 (ko) * 2015-06-30 2017-01-05 삼성전자 주식회사 3d 이미지를 디스플레이하는 방법 및 이를 위한 장치
CN104967837A (zh) * 2015-06-30 2015-10-07 西安三星电子研究有限公司 用于调整三维显示效果的设备和方法
US10057558B2 (en) * 2015-09-04 2018-08-21 Kabushiki Kaisha Toshiba Electronic apparatus and method for stereoscopic display
CN105872518A (zh) * 2015-12-28 2016-08-17 乐视致新电子科技(天津)有限公司 虚拟现实调整视差的方法及装置
CN105847783B (zh) * 2016-05-17 2018-04-13 武汉鸿瑞达信息技术有限公司 基于流媒体的3d视频显示与交互方法及装置
CN109542209A (zh) * 2017-08-04 2019-03-29 北京灵境世界科技有限公司 一种适应人眼汇聚的方法
CN108156437A (zh) * 2017-12-31 2018-06-12 深圳超多维科技有限公司 一种立体图像处理方法、装置和电子设备
CN111818319B (zh) * 2019-04-10 2022-05-24 深圳市视觉动力科技有限公司 提高三维图像显示质量的方法和系统
CN111225201B (zh) * 2020-01-19 2022-11-15 深圳市商汤科技有限公司 视差校正方法及装置、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09121370A (ja) * 1995-08-24 1997-05-06 Matsushita Electric Ind Co Ltd 立体tv装置
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP2010098479A (ja) * 2008-10-15 2010-04-30 Sony Corp 表示装置、表示方法及び表示システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US7643672B2 (en) * 2004-10-21 2010-01-05 Kazunari Era Image processing apparatus, image pickup device and program therefor
JP4046121B2 (ja) * 2005-03-24 2008-02-13 セイコーエプソン株式会社 立体画像表示装置及び方法
KR101185870B1 (ko) * 2005-10-12 2012-09-25 삼성전자주식회사 3d 입체 영상 처리 장치 및 방법
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
KR20080076628A (ko) * 2007-02-16 2008-08-20 삼성전자주식회사 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법
KR101345303B1 (ko) * 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
US8390674B2 (en) * 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
KR101520619B1 (ko) * 2008-02-20 2015-05-18 삼성전자주식회사 스테레오 동기화를 위한 스테레오스코픽 영상의 시점 결정방법 및 장치
JP5400467B2 (ja) * 2009-05-01 2014-01-29 キヤノン株式会社 映像出力装置、その制御方法、及びプログラム
US8798160B2 (en) * 2009-11-06 2014-08-05 Samsung Electronics Co., Ltd. Method and apparatus for adjusting parallax in three-dimensional video
US9030530B2 (en) * 2009-12-15 2015-05-12 Thomson Licensing Stereo-image quality and disparity/depth indications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09121370A (ja) * 1995-08-24 1997-05-06 Matsushita Electric Ind Co Ltd 立体tv装置
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP2010098479A (ja) * 2008-10-15 2010-04-30 Sony Corp 表示装置、表示方法及び表示システム

Also Published As

Publication number Publication date
US20130249874A1 (en) 2013-09-26
EP2649803A4 (en) 2014-10-22
EP2649803A1 (en) 2013-10-16
CN103404155A (zh) 2013-11-20
WO2012075603A1 (en) 2012-06-14
KR20130125777A (ko) 2013-11-19

Similar Documents

Publication Publication Date Title
JP2014500674A (ja) 適応的な両眼差をもつ3dディスプレイのための方法およびシステム
KR101602904B1 (ko) 신호에 포함된 시차 정보를 처리하는 방법
JP5515301B2 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
TWI520569B (zh) 深度資訊產生器、深度資訊產生方法及深度調整裝置
KR20110044573A (ko) 디스플레이장치 및 그 영상표시방법
US20120327077A1 (en) Apparatus for rendering 3d images
TW201605226A (zh) 影像顯示方法以及影像顯示裝置
US20170171534A1 (en) Method and apparatus to display stereoscopic image in 3d display system
CN106293561A (zh) 显示控制方法和装置、显示设备
TW201301857A (zh) 3d影像處理裝置
KR101320477B1 (ko) 카메라 간격 및 이동속도 조절이 가능한 건축물 내비게이션 장치 및 방법
WO2017130472A1 (ja) 2次元映像の立体映像化表示装置
US20140347451A1 (en) Depth Adaptation for Multi-View System
JP2014053782A (ja) 立体画像データ処理装置、および、立体画像データ処理方法
JP2011254176A (ja) 画像処理装置及びその制御方法
KR101086305B1 (ko) 3차원 영상 디스플레이 장치 및 방법
KR101816846B1 (ko) 디스플레이 장치 및 이에 적용되는 osd 제공방법
WO2013042392A1 (ja) 立体画像評価装置
Arican et al. Intermediate view generation for perceived depth adjustment of stereo video
KR102306775B1 (ko) 사용자 인터렉션 정보를 반영하여 입체영상을 재생하는 방법 및 장치
WO2014199127A1 (en) Stereoscopic image generation with asymmetric level of sharpness
Kim et al. Adaptive interpupillary distance adjustment for stereoscopic 3d visualization
CN111684517B (zh) 观看者调节的立体图像显示
TWI628619B (zh) 立體影像產生方法及其裝置
US20130127843A1 (en) Display apparatus and display method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141014

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141224

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150714