JP2014500642A - 立体映像表示装置およびそのディスプレイ方法 - Google Patents

立体映像表示装置およびそのディスプレイ方法 Download PDF

Info

Publication number
JP2014500642A
JP2014500642A JP2013533768A JP2013533768A JP2014500642A JP 2014500642 A JP2014500642 A JP 2014500642A JP 2013533768 A JP2013533768 A JP 2013533768A JP 2013533768 A JP2013533768 A JP 2013533768A JP 2014500642 A JP2014500642 A JP 2014500642A
Authority
JP
Japan
Prior art keywords
display
display element
depth value
video
eye image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2013533768A
Other languages
English (en)
Inventor
ス−ジン・ヨン
サン−イル・イ
ヒェ−ウォン・イ
ボ−ミ・キム
ムン−シク・ジョン
ヨン−ヒ・イ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2014500642A publication Critical patent/JP2014500642A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/339Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/361Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

立体映像表示装置のディスプレイ方法が開示される。ディスプレイ方法は、第1デプス値を有する第1ディスプレイ要素をディスプレイするステップと、第2デプス値を有する第2ディスプレイ要素が第1ディスプレイ要素に重畳されてディスプレイされたり、第1ディスプレイ要素上にディスプレイされるように実行されると、第1ディスプレイ要素および第2ディスプレイ要素の少なくとも一方のデプス値を調整するステップと、デプス値が調整された第1ディスプレイ要素および第2ディスプレイ要素の少なくとも一方をディスプレイするステップとを含む。

Description

本発明は、立体映像表示装置およびそのディスプレイ方法に関し、より詳細には、3次元GUIを提供する立体映像表示装置およびそのディスプレイ方法に関する。
3次元立体の映像技術は、情報通信、放送、医療、教育訓練、軍事、ゲーム、アニメーション、仮想現実、CAD、産業技術等、その応用分野が非常に多様であり、このような様々な分野で共通して必要とされる次世代3次元立体のマルチメディア情報通信のコア基盤技術といえる。
一般的に、人間が知覚する立体感は、観察しようとする物体の位置による水晶体の厚さの変化度合い、両眼と対象物との角度の差、そして左右眼に映る対象物の位置及び形の相違、対象物の運動によって生じる時差、その他に各種心理及び記憶による効果等が複合的に作用して生じる。
その中でも、人の両眼が横方向に約6〜7cm程離れていることで生じる両眼時差(binocular disparity)は、立体感において最も重要な要因といえる。即ち、両眼時差によって対象物に対する角度の差が生じたままモノを眺めるようになり、この差によってそれぞれの眼に入ってくるイメージが相互に異なる像を持つようになって、この二つの映像が網膜を通じて脳へと伝達されると、脳はこの二つの情報を正確に融合して本来の3次元立体映像を感じることができるのである。
3次元映像は、左眼で認識される左眼映像と右眼で認識される右眼映像で構成される。そして、3次元ディスプレイ装置は、左眼映像と右眼映像との時差を用いて映像の立体感を表現するようになる。このように、左眼映像と右眼映像とを交互に表示して3次元映像を実現する環境をステレオ3次元映像環境という。
2次元映像では、立体感を表示するために透明度を変更したり、シャドウ処理、テクスチャ変更等の方法を利用していた。しかし、3次元ディスプレイ装置を利用する場合、UIにも3次元効果を与えることができるようになる。
図1および図17は、従来の技術の問題点を説明するための図である。
図1は、通常の2Dグラフィック(例えば、2.5D、3D)UI画面で、グラフィック要素に位置、大きさ、カラー等の視覚的なグラフィック要素に変化を与えて選択(注目)の差を表現する。
図17は、ステレオ3Dを通じてUIを表現する方法で画面に存在する対象を見る際、発生する両眼の時点差(ステレオ3D原理)を活用して対象をZ軸方向にデプス値を有するように表現し、このようなデプス値を通じて画面から選択した要素と残りの要素との間の注目情報を立体的に表現する。
図17に示すように、ステレオ3D(stereo 3D)を用いてデプス値を有する一つ以上のUI要素が立体的に再生されている画面に同一の性格のUI要素が重畳されて表現される場合、画面で存在する既存の3D UI要素と新たなUI要素間のデプス値が衝突して視覚的に干渉をもたらすようになる。
それに、画面から選択したUI対象と選択していないUI対象との区分が不明に表現され、ユーザによって視覚的またはUI操作に混乱を与え、画面上に映る複数のUI要素で発生する過度な立体感がユーザに視覚的な疲労感をもたらしかねない。
なお、奥行き感を有する背景UI上に立体映像を表示する場合、立体映像が意図と違って見えたり、ユーザに視覚的な疲労感をもたらすという問題が発生するおそれがある。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、3D UI要素間のデプス値を整理して提供する立体映像表示装置およびそのディスプレイ方法を提供することにある。
前記目的を達成するための本発明の一実施形態に係る立体映像表示装置のディスプレイ方法は、第1デプス値を有する第1ディスプレイ要素をディスプレイするステップと、前記第1ディスプレイ要素がディスプレイされた状態で、前記第1ディスプレイ要素上に、または第1ディスプレイ要素に付加されてディスプレイされる第2デプス値を有する第2ディスプレイ要素および前記第1ディスプレイ要素のうち、少なくとも一方のデプス値を調整するステップと、デプス値が調整された、前記第1ディスプレイ要素および前記第1ディスプレイ要素上に、または第1ディスプレイ要素に付加される前記第2ディスプレイ要素をディスプレイするステップとを含む。
本発明の別の実施形態に係る立体映像表示装置は、第1デプス値を有する第1ディスプレイ要素および第2デプス値を有する第2ディスプレイ要素を生成するディスプレイ処理部と、前記生成された第1および第2ディスプレイ要素をディスプレイするディスプレイ部と、前記第1ディスプレイ要素および前記第1デプス値を有する前記第1ディスプレイ要素がディスプレイされた状態で、前記第1ディスプレイ要素上に、または重畳されてディスプレイされる第1デプス値を有する第2ディスプレイ要素のうち、少なくとも一方のデプス値を調整する制御部とを含み、前記第1ディスプレイ要素および前記第2ディスプレイ要素のうち、少なくとも一方は調整されたデプス値でディスプレイされる。
以上説明したように、本発明によれば、3D UI要素のディスプレイ状態が視覚的に安定することができ、3D UI要素に対するユーザの注目性および認知性を向上させることができる。
従来の技術の問題点を説明するための図である。 本発明の一実施形態に係る3D映像提供システムを示す図である。 本発明の一実施形態に係るディスプレイ装置の構成を示すブロック図である。 本発明の一実施形態に係る左眼映像と右眼映像との時差を示す図である。 本発明の一実施形態に係るディスプレイ方法が適用される場合を説明する図である。 本発明の一実施形態に係るディスプレイ方法を説明する図である。 本発明の一実施形態に係るディスプレイ方法を説明する図である。 本発明の別の実施形態に係るディスプレイ方法を説明する図である。 本発明の別の実施形態に係るディスプレイ方法を説明する図である。 本発明の一実施形態に係る立体映像表示装置のディスプレイ方法を説明するためのフローチャートである。 本発明が適用される立体映像の一例を説明するための図である。 本発明の一実施形態に係る時差情報調整方法を説明するための図である。 本発明の多様な実施形態に係る立体感調整方法を説明するためのフローチャートである。 予め保存された撮像距離による左眼および右眼映像セットおよび基準面調整方法を説明するための図である。 本発明の多様な実施形態に係る立体感調整方法が適用された一例を説明するための図である。 本発明の多様な実施形態に係る立体感調整方法が適用された別の例を説明するための図である。 従来の技術の問題点を説明するための図である。 本発明の一実施形態に係る時差とデプス値の関係を示す図である。 本発明の一実施形態に係るディスプレイ方法が適用される場合を説明する図である。 本発明の一実施形態に係るディスプレイ方法が適用される場合を説明する図である。 本発明の一実施形態に係るディスプレイ方法を説明する図である。 本発明の一実施形態に係るディスプレイ方法を説明する図である。 本発明の一実施形態に係るディスプレイ方法を説明する図である。 本発明の一実施形態に係るディスプレイ方法を説明する図である。 本発明の別の実施形態に係るディスプレイ方法を説明する図である。 本発明の別の実施形態に係るディスプレイ方法を説明する図である。 本発明の別の実施形態に係るディスプレイ方法を説明する図である。 本発明の別の実施形態に係るディスプレイ方法を説明する図である。 本発明の一実施形態に係る時差情報調整方法を説明するための図である。 本発明の多様な実施形態に係る立体感調整方法を説明するためのフローチャートである。 予め保存された撮像距離による左眼および右眼映像セットおよび基準面調整方法を説明するための図である。 本発明の多様な実施形態に係る立体感調整方法が適用された一例を説明するための図である。 本発明の多様な実施形態に係る立体感調整方法が適用された一例を説明するための図である。 本発明の多様な実施形態に係る立体感調整方法が適用された別の例を説明するための図である。 本発明の多様な実施形態に係る立体感調整方法が適用された別の例を説明するための図である。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
図2は、本発明の一実施形態に係る3D映像提供システムを示す図である。図2に示すように、3D映像提供システムは、3次元映像を画面に表示するためのディスプレイ装置100および3次元映像を視聴するための3Dメガネ200で構成される。
立体映像表示装置100は、3次元映像をディスプレイしたり、2次元映像および3次元映像を全てディスプレイするように実現されてよい。
立体映像表示装置100が2次元映像をディスプレイする場合、既存の2次元ディスプレイ装置と同じ方法を用いることができ、3次元映像をディスプレイする場合、受信された2次元映像を3次元映像に変換して画面に表示することができる。場合によっては、カメラ等の撮像装置から受信された3次元映像またはカメラによって撮影されて放送局で編集/加工されてから、放送局から送出された3次元映像を受信し、受信された3次元映像を処理した後、それを画面に表示することができる。
特に、立体映像表示装置100は、3次元映像のフォーマットを参照し、左眼映像と右眼映像とを加工し、加工された左眼映像と右眼映像とが時分割されて交互にディスプレイされるようにすることができる。ユーザは、ディスプレイ装置100に表示される左眼映像および右眼映像を3Dメガネ200を用いて左眼と右眼とで交互に見ることにより、3次元映像を視聴することができるようになる。
一般的に、人の左右眼は、一つの立体対象物を観察する際、互いに微細に異なる位置から見るようになるため、観察者は左右眼を通じて互いに微細に異なる映像情報を認識するようになる。観察者は、このように、互いに微細に異なる映像情報を組み合わせて立体対象物に対するデプス情報を獲得に、立体感を感じるようになる。
本立体映像表示装置100は、観察者が実際に立体対象物を観察する際、観察者の左右眼が見るようになる映像を観察者に提供することにより、観察者により立体映像を感じるようにする。このとき、観察者の左右眼が見るようになる映像の差をディスパリティ(disparity)という。このようなディスパリティが、正の値を有する場合、観察者は立体対象物の所定の基準面より観察者方向に近く位置するように感じるようになり、ディスパリティが負の値を有する場合、観察者は立体対象物が観察者の反対方向に近く位置するように感じるようになる。
3Dメガネ200は、アクティブタイプのシャッタグラス(shutter glass)で実現されてよい。シャッタグラス方式は、両眼の時差を用いたディスプレイ方法として、ディスプレイ装置の映像提供と3Dメガネ左右両眼のオン−オフを同期化し、各々異なる角度から観察された映像が頭脳作用による空間感を認識するようにする方式である。
シャッタグラス方式の原理は、立体映像表示装置100で再生される左・右映像フレームと3Dメガネ200に装着されたシャッタを同期化する方式である。すなわち、立体映像表示装置100の左・右映像同期信号に応じてメガネの左・右側グラスが選択的に開閉されながら3D立体映像が作られてよい。
一方、立体映像表示装置100は、画面に3次元映像とともに、3次元ディスプレイ装置、例えば、3次元UI(User Interface)(特に、GUI:Graphic User Interface)を表示することができる。ここで、GUIは、ディスプレイ上に表示されるアイコンやメニューを選択することにより、ユーザ命令を入力する手段のことを意味する。たとえば、ユーザはGUIを通じてディスプレイに表示するメニュー、リスト、アイコン等を参照してカーソルを移動させ、カーソルの位置する項目等を選択することができる。
立体映像表示装置100は、3次元効果のために、左眼映像および右眼映像の時差のみを調節して3次元映像を実現することができるようになり、別途のイメージ処理過程(スケーリングやテクスチャ、遠近感効果処理等)を経る必要なく、3次元GUIを提供することができる。
図3は、本発明の一実施形態に係るディスプレイ装置の構成を示すブロック図である。
図3に示すように、本立体映像表示装置100は、映像受信部110と、映像処理部120と、ディスプレイ部130と、制御部140と、保存部150と、ユーザインターフェース部160と、ディスプレイ処理部170および同期信号処理部180を含む。
一方、図2では、立体映像表示装置100が3Dテレビであるとして示しているが、それは一例に過ぎず、本立体映像表示装置100は、デジタルテレビや移動通信端末機、携帯電話、パーソナル情報端末機(PDA:Personal Digital Assistant)、スマートフォン(Smart Phone)、デジタルマルチメディア放送(DMB:Digital Multimedia Broadcasting)フォン、MP3プレーヤ、オーディオ機器、携帯用テレビ、デジタルカメラ等のように、3D UI要素のディスプレイが可能な全ての装置で実現可能である。
映像受信部110は、放送局または衛星から有線または無線で受信される2Dまたは3D映像信号を受信して復調する。なお、映像受信部110は、カメラ等の外部機器と接続されて外部機器から3D映像を受信することができる。外部機器は、無線で接続されたり、S−Video、コンポーネント、コンポジット、D−Sub、DVI、HDMI(登録商標)等のインターフェースを介して有線で接続されることができる。一方、2D映像処理方法は、当業者に自明な事項であるため、以下では、3D映像処理方法に着目して説明する。
上述したように、3D映像は少なくとも1つフレームで構成された映像として、1つの映像フレームに左眼映像と右眼映像とが含まれたり、各フレームが左眼映像又は右眼映像で構成された映像を意味する。即ち、3D映像は、多様な3Dフォーマットのうち1つによって生成された映像である。
よって、映像受信部110に受信される3D映像は、多様なフォーマットであってよく、特に、一般的なトップ−ボトム(top−bottom)方式、サイドバイサイド方式(side by side)、水平インターリーブ(horizontal interleave)方式、垂直インターリーブ(vertical interleave)方式及びチェッカーボード(checker board)方式、シーケンシャルフレーム(sequential frame)のうち1つによるフォーマットでなされることができる。
映像受信部110は、受信された2D映像または3D映像を映像処理部120に伝達する。
映像処理部120は、映像受信部110に受信された2D映像または3D映像に対してビデオデコーディング、フォーマット分析、ビデオスケーリングなどの信号処理及びGUI付加などの作業を行う。
特に、映像処理部120は、映像受信部110に入力された2D映像または3D映像のフォーマットを用いて、1つの画面の大きさ(1920*1080)に該当する左眼映像と右眼映像とをそれぞれ生成する。
例えば、3D映像のフォーマットが、トップ−ボトム(top−bottom)方式、サイドバイサイド方式(side by side)、水平インターリーブ(horizontal interleave)方式、垂直インターリーブ(vertical interleave)方式及びチェッカーボード(checker board)方式、シーケンシャルフレーム(sequential frame)によるフォーマットである場合、映像処理部120は各映像フレームから左眼映像部分と右眼映像部分とをそれぞれ抽出し、抽出された左眼映像と右眼映像とを拡大スケーリング又は補間することで、ユーザに提供するための左眼映像と右眼映像とをそれぞれ生成するようになる。
なお、3D映像のフォーマットが一般的なフレームシーケンス方式である場合、映像処理部120は各フレームから左眼映像又は右眼映像を抽出してユーザに提供するための準備をするようになる。
一方、入力された3D映像のフォーマットに対する情報は、3D映像信号に含まれててもよく、含まれていなくてもよい。
例えば、入力された3D映像のフォーマットに対する情報が、3D映像信号に含まれている場合、映像処理部120は3D映像を分析してフォーマットに対する情報を抽出し、抽出された情報によって受信された3D映像を処理するようになる。一方、入力された3D映像のフォーマットに対する情報が3D映像信号に含まれていない場合、映像処理部120はユーザによって入力されたフォーマットに従って受信された3D映像を処理したり、予め設定されたフォーマットに従って受信された3D映像を処理するようになる。
映像処理部120は、抽出された左眼映像と右眼映像とを時分割して交互にディスプレイ部130に伝達する。即ち、映像処理部120は「左眼映像(L1)→右眼映像(R1)→左眼映像(L2)→右眼映像(R2)→…」の時間的順番で左眼映像と右眼映像をディスプレイ部130に伝達する。
なお、映像処理部120は、OSD処理部150から生成されたOSD映像をブラック映像に挿入して処理したり、そのものを一つの映像として処理して提供することができる。
ディスプレイ部130は、映像処理部120から出力される左眼映像と右眼映像とを交互に出力してユーザに提供する。
制御部140は、ユーザインターフェース部170から伝達されたユーザ命令または予め設定されたオプションに応じてディスプレイ装置100の動作全般を制御する。
特に、制御部140は、映像受信部110及び映像処理部120を制御し、3D映像が受信され、受信された3D映像が左眼映像と右眼映像とに分離され、分離された左眼映像と右眼映像とのそれぞれが、1つの画面でディスプレイされることのできる大きさでスケーリング又は補間されるように制御する。
なお、制御部140は、ディスプレイ部130を制御してディスプレイ部130を介して提供される映像の偏光方向が左眼映像または右眼映像に一致するようにスイッチングされるようにすることができる。
なお、制御部140は、後述のディスプレイ処理部150の動作を制御することができる。
ディスプレイ処理部150は、ディスプレイ部130から出力される2Dまたは3D映像にオーバーラップされて表示されるディスプレイ要素を生成して3次元映像に挿入することができる。
なお、ディスプレイ処理部150は、ディスプレイ要素、例えば、UI要素の実行順番、属性等に応じて互いに異なるデプス値を設定して生成することができる。ここで、デプス値は、3次元映像で奥行き感の度合いを表す数値を意味する。3次元映像は、画面上の上下左右の位置だけでなく、視聴者の視線方向である前後方向の位置に該当する奥行き感も表現することができる。このとき、奥行き感は、左眼映像と右眼映像との間の時差(disparity)によって決定される。よって、3次元コンテンツリストGUIのデプス値は、左眼GUIと右眼GUIとの間の時差に対応するようになる。デプス値と時差との関係に対しては、図5および図6を参照してより詳細に説明する。
ここで、UI要素は、ディスプレイ画面上にメニュー画面、警告文句、時間やチャネル番号等の文字や図形等を表示する画面がディスプレイ映像にオーバーラップされて表示されてよい。
例えば、予め設定されたオプションまたはイベントに応じて、警告文句がOSD形態のUI要素で表示されてよい。
または、ユーザが望む機能をメニューから選択するために、操作パネルやリモートコントローラのような入力装置を操作することにより、ディスプレイ画面上にメインメニューやサブメニュー等がOSD形態のUI要素で表示されてよい。
このようなメニューは、ディスプレイ装置から選択できるオプション項目を含んだり、ディスプレイ装置の機能を調整できる項目を含んでよい。
なお、ディスプレイ処理部150は、制御部140の制御によってUI要素の2D/3D切り替え、透明度、色相、大きさ、形態および位置調整、ハイライト、アニメーション効果等の作業を行うことができる。
なお、制御部140は、第1ディスプレイ要素のデプス値による第2ディスプレイ要素の相対的なデプス値を算出し、予め保存されたデプス値による左眼および右眼映像のうち、算出された相対的なデプス値に対応する左眼および右眼映像を検出し、第2ディスプレイ要素の左眼および右眼映像を検出された左眼および右眼映像に置き換えることができる。
なお、制御部140は、第2ディスプレイ要素の左眼および右眼映像のうちの一方を他方の映像に置き換えることができる。
なお、制御部140は、置き換えられた第2ディスプレイ要素の左眼および右眼映像の画面上の離隔位置を第1ディスプレイ要素に対応する左眼映像および右眼映像の画面上の離隔位置分だけ調整して表示することができる。
ここで、第1ディスプレイ要素は背景要素であり、第2ディスプレイ要素は背景要素上のコンテンツ要素であってよい。
保存部160は、立体映像表示装置100を動作させるために必要な各種プログラム等が保存される保存媒体として、メモリやHDD(Hard Disk Drive)等で実現可能である。例えば、保存部は、制御部140の動作実行のためのプログラムを保存するためのROM、制御部140の動作実行によるデータを一時的に保存するためのRAM等を具備してよい。なお、各種参照データを保存するためのEEPROM(Electrically Erasable Programmable ROM)等を更に備えてよい。
ユーザインターフェース部170は、リモコンや入力パネル等の入力手段から受信されるユーザ命令を制御部140に伝達する。
ここで、入力パネルは、タッチパッド(Touch Pad)或いは各種機能キー、数字キー、特殊キー、文字キー等を備えたキーパッド(Key Pad)またはタッチスクリーン(Touch Screen)方式で行われてよい。
同期信号処理部180は、左眼映像および右眼映像のディスプレイタイミングに合わせて3Dメガネ200の左眼シャッタグラスおよび右眼シャッタグラスを交互に開放させるようにする同期信号を生成し、3Dメガネ200に伝送する。それは、3Dメガネ200が交互に開閉され、3Dメガネ200の左眼オープンタイミングでディスプレイ部130で左眼映像が表示され、3Dメガネ200の右眼オープンタイミングで映像出力130で右眼映像が表示されるようにするためである。ここで、同期信号は、赤外線形態で伝送されてよい。
制御部140は、ユーザインターフェース部170から伝達されたユーザ操作に応じて立体映像表示装置100の動作全般を制御する。
特に、制御部140は、映像受信部110及び映像処理部120を制御し、3D映像が受信され、受信された3D映像が左眼映像と右眼映像とに分離され、分離された左眼映像と右眼映像とのそれぞれが、1つの画面でディスプレイされ得る大きさでスケーリング又は補間されるようにする。
なお、制御部140は、OSD処理部150を制御し、ユーザインターフェース部170から伝達されたユーザの操作に対応するOSDが生成されるようにし、同期信号処理部180を制御し、左眼映像および右眼映像の出力タイミングと同期化された同期信号が生成および伝送されるようにする。
なお、制御部140は、第1デプス値を有する第1UI要素をディスプレイされた状態で、第2デプス値を有する第2UI要素が第1UI要素に重畳されてディスプレイされるように実行されると、第1UI要素のデプス値を用いて第1UI要素および第2UI要素のうち、少なくとも一方のデプス値を調整することができる。
具体的に、制御部140は、第1UI要素および第2UI要素の各々のデプス値を考慮し、第1UI要素および第2UI要素間のデプス値の差を調整することができる。
具体的に、制御部140は、第2UI要素の第2デプス値を予め設定されたデプス値に移動させた後、第1UI要素の第1デプス値を第2UI要素の移動したデプス値だけ移動させることができる。ここで、予め設定されたデプス値は、第2UI要素の前記第2デプス値より小さい値であってよい。なお、予め設定されたデプス値はディスプレイ画面のデプス値を含んでよい。
なお、制御部140は、各々対応するデプス値を有する複数のUI要素が実行されてディスプレイされた状態で、新たなUI要素が重畳されてディスプレイされるように実行される場合、既存に実行されてディスプレイされた複数のUI要素のデプス値を同様のデプス値に一致させて調整することができる。ここで、調整されるデプス値は、新たに実行されたUI要素のデプス値より小さい値であってよい。
なお、制御部140は、第1および第2UI要素の重畳ディスプレイ実行が解除されると、調整された第1および第2UI要素のデプス値を元のデプス値に調整することができる。
一方、既存に実行されてディスプレイされたUI要素に重畳されてディスプレイされるように実行されるUIは、既存に実行されたUI要素に関連するイベント内容を含むフィードバック性質を有するディスプレイ要素、既存に実行されたUI要素に関連しないイベント内容を含むアラーム、警告およびポップアップのうち、少なくとも何れか一つの性質を有するUI要素であってよい。
一方、3Dメガネ200は、立体映像表示装置100から受信された同期信号に応じて左眼シャッタグラスと右眼シャッタグラスとを交互に開閉し、ユーザが左眼と右眼とを通じて左眼映像および右眼映像を各々視聴可能とする。
一方、ディスプレイ部130は、パネル駆動部(図示せず)、表示パネル部(図示せず)、バックライト駆動部(図示せず)およびバックライト発光部(図示せず)等の細部構成を含んでよく、それに対する詳細な説明は省略する。
このとき、デプス値は、左眼映像と右眼映像との時差によって決定され、それについては、図4および図18を参照して詳細に説明する。
図4は、本発明の一実施形態に係る左眼映像と右眼映像との時差を示す図である。
図4には、左眼映像のオブジェクト410と右眼映像のオブジェクト420とが重なった状態で示されている。しかし、実際に画面にディスプレイされる際は、左眼映像のオブジェクト410と右眼映像のオブジェクト420とが交互にディスプレイされる。
図4に示すように、左眼映像のオブジェクト410と右眼映像のオブジェクト420とがずれている程度を時差という。
図18は、本発明の一実施形態に係る時差とデプス値との関係を示す図である。
図18には、テレビ画面とユーザの眼との間で発生する時差を示している。ユーザの眼が2つあるため、ユーザの眼は両眼の間隔による時差を有する。
そして、図18に示すように、ユーザに近いオブジェクトであるほど、時差が大きくなることを確認することができる。具体的に、テレビ画面の表面(すなわち、デプス値0)に位置したオブジェクトを表示しようとする場合、左眼映像と右眼映像430が時差なく一位置に表示される。一方、視聴者に少し近くなった位置のデプス値−1の位置にオブジェクトを表示しようとする場合、左眼映像440と右眼映像445は、時差1だけ互いに離れた位置に表示されなければならない。そして、視聴者に更に近くなった位置のデプス値−2の位置にオブジェクトを表示しようとする場合、左眼映像450と右眼映像455は、時差2だけ互いに離れた位置に表示されなければならない。
このように、デプス値は、時差に対応する値であることが確認することができる。よって、3次元テレビ100は、別途のイメージ処理なく左眼GUIと右眼GUIとの時差を用いて3次元GUIのデプス値を設定することができるようになる。
以下では、図5ないし9、図19ないし28を参照して、UI要素のデプス値調整方法について説明する。図5ないし9、図19ないし28に示す図は、2次元状態で示されているが、実際には、左眼GUIおよび右眼GUIを交互に表示することで実現されるステレオ3次元GUIを示すということに注意すべきである。
図5、19、20は、本発明の一実施形態に係るUI提供方法が適用される場合を説明するための図である。
図5に示すように、ステレオ3Dが再生可能な画面で、UI「A」、「B」がピクセルディスパリティ(pixel disparity)によってZ軸方向に画面(display)と同様か、最小限の画面以上のデプス値をもって位置している。具体的に、左眼用ピクセルから投射される左眼用映像は、右眼用映像から所定のディ右パリティを有する映像で形成され、右眼用画素から投射される右眼用映像は、左眼用映像から所定のディスパリティを有する映像で形成される。よって、観察者は、左眼用ピクセルから投射される左眼用映像および右眼用画素から投射される右眼用映像をそれぞれ観察者の左眼および右眼で認識する際、実際立体対象物を左眼/右眼を通じて見るときのようなデプス情報を得るようになり、立体感を感じるようになる。
この場合、現在選択されているUI「B」は、UI「A」より後に実行されているため、画面の上段に位置してよい。
その後、図19に示すように、選択されたUI「B」でユーザの入力によって実行されるUI「B1」は、Z軸方向にUI「A」、「B」より大きいデプス値を有し、画面の上段に位置してよい。ここで、UI「B1」は、UI「B」に関連する一種のUIイベントとして、ユーザ入力による実行結果、フィードバックのような性格をもつUI要素であってよい。
または、図20に示すように、更に実行されるUI「C」がZ軸方向にUI「A」、「B」より大きいデプス値を有し、画面の上段に位置してよい。ここで、UI「C」は、UI「A」、「B」に関係のない別途のUIイベントとして、アラームや警告メッセージウィンドウやポップアップ形態のように、新たなウィンドウを生成して実行する新たなUI要素であってよい。
図6、21、22および図7、23、24は、本発明の一実施形態に係るUI提供方法を説明するための図である。
図6、21、22および図7、23、24は、図5に示すようなUI実行画面において、図19に示すようなUI実行画面に切り替わる場合のUI提供方法に関する。
ここで、図6、21、22は、ステレオ3D画面のfront viewを、図7、23、24はtop viewを示し、図6、21、22に示す状態は各々図7、23、24に示すUI実行状態に対応する。
図6に示すように、互いに異なるデプス値を有するUI要素A、B、C610、620、630が実行されている画面で、図21に示すように、ユーザ命令または予め設定されたオプションに応じて所定のデプス値を有するUI要素1−1(611−1)が重畳実行される場合があってよい。この場合、重畳実行されたUI要素1−1(611−1)が既に実行されたUI要素Aに関連するUI要素である場合(例えば、UI要素A−1(611)に対するフィードバック性格を有するUI要素)を例に挙げて説明する。
図21に示すように、所定のデプス値を有するUI要素1−1(611−1)重畳実行される場合、図22に示すように、既存に実行されたUI要素A、B、Cおよび新たに実行されたUI要素1−1(611−1)のデプス値が調整されて表示されてよい。
新たに実行されたUI要素1−1(611−1)のデプス値が調整される具体的な方法については、図7、23、24を参照して説明する。
図7に示す各UI要素は、図6に示す各UI要素に対応し、図示のように、UI要素A610(特に、UI要素A−1(611))が実行中であることを確認することができる。
図23に示す各UI要素は、図21に示すUI要素に対応し、図示にように、所定のデプス値を有するUI要素1−1(611−1)がUI要素A−1(611)に重畳されて実行されることを確認することができる。
図24に示す各UI要素は、図22に示す各UI要素に対応し、図示のように、重畳実行されたUI要素1−1(611−1)を所定デプス値Z(*)だけ移動させた後、既存に実行されたUI要素も、UI要素1−1(611−1)が移動されたデプス値、すなわち、Z(1−1)−Z(*)だけ同様のデプス方向に移動させることができる。
この場合にも、ユーザが最後に入力したUI要素1−1(611−1)は、現在の画面で最上段のデプス値を有する性格を維持するようになる。
図8、25、26および図9、27、28は、本発明の別の実施形態に係るUI提供方法を説明する図である。
図8、25、26および図9、27、28は、図5に示すようなUI実行画面において、図20に示すようなUI実行画面に切り替わる場合のUI提供方法に関する。
図8、25、26は、ステレオ3D画面のfront viewを、図9、27、28はtop viewを示し、図8、25、26に示す状態を各々図9、27、28に示すUI実行状態に対応する。
図8に示すように、互いに異なるデプス値を有するUI要素A、B、C810、820、830が実行されている画面で、図25に示すように、ユーザ命令または予め設定されたオプションに応じて所定のデプス値を有するUI要素(840)が重畳実行される場合があってよい。この場合、重畳実行されたUI要素(840)が既に実行されたUI要素A、B、C810、820、830に関連しないUI要素である場合を例えて説明する。例えば、UI要素Dが、既に実行されたUI要素A、B、Cに関連しない別途のUIイベントでアラームや警告メッセージウィンドウやポップアップ形態のように、新たなウィンドウを生成して実行する新たなUI要素であってよい。
図25に示すように、所定のデプス値を有するUI要素(840)が重畳実行される場合、図26に示すように、既存に実行されたUI要素A、B、C810、820、830および新たに実行されたUI要素(840)のデプス値が調整されて表示されてよい。
新たに実行されたUI要素(840)のデプス値が調整される具体的な方法については、図9、27、28を参照して説明する。
図9に示す各UI要素は、図8に示す各UI要素に対応し、図示のように、UI要素A810が実行中であることを確認することができる。
図27に示す各UI要素は、図25に示す各UI要素に対応し、図示にように、所定のデプス値を有するUI要素(840)がUI要素A、B、C810、820、830に重畳されて実行されることを確認することができる。
図28に示す各UI要素は、図26に示す各UI要素に対応し、図示のように、重畳実行されたUI要素(840)を除く既存に実行されたUI要素A、B、C810、820、830を同様のデプス値Z(#)に移動させることができる。
この場合にも、同様のデプス値Z(#)にマージ(merge)された要素A、B、C810、820、830は、Z(#)が0である場合を除いては、所定のデプス値を維持する3DUI性格を維持するようになる。
一方、図6ないし9、図21ないし28に示す例では、説明の便宜上、UI要素が+Z軸方向に重畳実行される場合を例に挙げて説明したが、それは一実施形態に過ぎず、UI要素が−Z軸方向に実行される場合、+Z軸および−Z軸方向に混合されて実行される場合にも、同様の原理が適用されてよい。
なお、図6ないし9、図21ないし28に示す実施形態では、現在実行中のUI要素に関連するUIの場合は図6、7、21ないし24に示す方法で、現在実行中のUI要素に関連しないUI場合、図8、9、25ないし28に示す方法で、デプス値が調整されるものとして説明したが、それは一実施形態に過ぎず、図6、7、21ないし24に示すUI提供方法、図8、9、25ないし28に示すUI提供方法は、UI要素の性格によらずに適用されることも可能である。
図10は、本発明の一実施形態に係る立体映像表示装置のUI提供方法を説明するためのフローチャートである。
図10に示すように、立体映像表示装置のUI提供方法によると、第1デプス値を有する第1UI要素をディスプレイし(S1010)、第2デプス値を有する第2UI要素が前記第1UI要素に重畳されてディスプレイされるように実行されてよい(S1020)。ここで、デプス値は、左眼UIと右眼UIとの間の時差に対応してよい。
次いで、第1UI要素のデプス値を用いて第1UI要素および第2UI要素の何れか一方のデプス値を調整する(S1030)。
その後、ステップS1030において、デプス値が調整された第1UI要素および第2UI要素の少なくとも何れか一方をディスプレイする(S1040)。
ここで、ステップS1030は、第1UI要素および第2UI要素の各々のデプス値を考慮し、第1UI要素および第2UI要素間のデプス値の差を調整することができる。
なお、ステップS1030は、第2UI要素の第2デプス値を予め設定されたデプス値に移動させた後、第1UI要素の第1デプス値を第2UI要素が移動したデプス値だけ移動させることができる。
ここで、予め設定されたデプス値は、第2UI要素の前記第2デプス値より小さい値であってよい。
なお、予め設定されたデプス値は、ディスプレイ画面のデプス値を含んでよい。
なお、第2UI要素の実行前に第3デプス値を有する第3UI要素をディスプレイすることができる。この場合、デプス値を調整するステップは、第2デプス値を有する第2UI要素が、第1UI要素および第3UI要素に重畳されてディスプレイされるように実行されると、第1および第3UI要素の前記第1および第3デプス値を同様のデプス値に一致させて調整することができる。
ここで、第1および第3UI要素の前記調整された同様のデプス値は、第2UI要素の前記第2デプス値より小さい値であってよい。
なお、第1および第2UI要素の重畳ディスプレイ実行が解除されると、調整された第1および第2UI要素のデプス値を元のデプス値に調整することができる。
一方、第2UI要素は、第1UI要素に関連するイベント内容を含むフィードバック性質を有するUI要素、第1UI要素に関連しないイベント内容を含むアラーム、警告およびポップアップのうち、少なくとも一つの性質を有するUI要素であってよい。
図11は、本発明が適用される立体映像の一例を説明するための図である。
図11に示すように、本発明は、立体感を有する背景UI(A)に重畳して、または立体感をもつ背景UI(A)上に、立体感をもつコンテンツ(B)または当該コンテンツ(B)を含む立体映像がディスプレイされる場合に適用されてよい。
図12および図29は、本発明の一実施形態に係る時差情報調整方法を説明するための図である。
図12に示すように、立体感を有する背景UI1211上に立体感を有するコンテンツ1212または立体感を有するコンテンツ1212を含む立体映像1213がディスプレイされる場合、当該立体映像が背景UI1211を抜けて窪んで見えたり、背景UI1211から離れて見えるように、意図と違って表現されてよい。
この場合、図29に示すように、立体感を有するコンテンツ1212を含む立体映像1213に対応する左眼映像1214および右眼映像1215を時差調整のための対応する左眼映像1214−1および右眼映像1215−1に置き換えることができる。
この場合、置き換えられる左眼映像1214−1および右眼映像1215−1は、背景UI1211のデプス値と立体映像1213のデプス値を考慮した映像であってよい。
例えば、背景UIのZ軸デプス値が+1であり、立体映像のZ軸デプス値が+zである場合、置き換えられるz+1のデプス値を有する立体映像の左眼映像および右眼映像であってよい。
それにより、Z軸デプス値が+1である背景UI1211を基準面とするとき、置き換えられた立体映像1213−1の左眼および右眼イメージは+zのデプス値だけ飛び出て見えるようになる。
図13および図30は、本発明の多様な実施形態に係る立体感調整方法を説明するためのフローチャートである。
図13に示す立体感調整方法によると、まず、Z軸デプス値を有する背景UI上に立体映像をディスプレイするための予め設定されたイベントが発生してよい(S1310)。例えば、Z軸デプス値を有するフレーム上に3D写真をディスプレイする場合がそれに該当してよいが、それに限定されるものではない。
次いで、当該立体映像に対応する多様な距離から客体を眺めた左眼および右眼映像セットを呼び出すことができる(S1320)。ここで、多様な距離から客体を眺めた左眼および右眼映像セットは、多様な距離から3Dカメラを用いて撮像した左眼および右眼映像セットであってよい。
次いで、呼び出したセットの中から、背景UIのZ軸値による相対的なデプス値を有する左眼および右眼映像を検索する(S1330)。すなわち、背景UIのZ軸デプス値が+1である場合、+1に対応する距離から当該映像を撮像したイメージであってよい。すなわち、当該映像のデプス値が+zである場合、検索対象はz+1のデプス値を有する映像に対応する左眼および右眼映像であってよい。
それにより、図14に示すように、立体映像の撮像距離による左眼および右眼映像が予め保存されていてよい。
次いで、立体映像の現在の左眼および右眼映像をステップS1330における検索した左眼および右眼映像に置き換える(S1340)。
次いで、置き換えられた左眼および右眼映像上の離隔位置を背景UIに対応する左眼映像および右眼映像の画面上の離隔位置だけ調整して表示することができる(S1350)。すなわち。置き換えられた左眼および右眼映像の基準面を背景UIに対応するように調整するためのものである。
例えば、図31に示すように、背景UIを構成する左眼および右眼映像の1だけ離れた位置に表示され、立体映像の左眼および右眼映像が+dだけ離れて表示される場合、置き換えられた左眼および右眼映像は+1だけ位置値が調整されてd+1だけ離れた位置に表示されるようになる。
図30に示す立体感調整方法によると、まず、Z軸デプス値を有する背景UI上に立体映像をディスプレイするためのイベントが発生すると(S1311)、当該立体映像の左眼および右眼映像の何れか一方を他方に置き換える(S1321)。それにより、立体映像が有している時差を無くすことができる。
次いで、置き換えられた左眼および右眼映像の画面上の離隔位置を背景UIに対応する左眼映像および右眼映像の画面上で離隔位置だけ調整して表示することができる(S1331)。それは、左眼および右眼映像の基準面を背景UIに対応するように調整するためのものである。
図14および図31は、上述のように、予め保存された撮像距離による左眼および右眼映像セットおよび基準面調整方法を説明するための図である。
図15、32、33は、本発明の多様な実施形態に係る立体感調整方法が適用された一例を説明するための図である。
図15に示すように、ディスプレイ画面1510上で立体感をもつ背景サムネール1511上に立体感を有する客体1512がディスプレイされる場合を例えて説明する。
図32および図33は、図15に示す例において本発明の多様な実施形態に係る立体感調整方法を適用した場合を示す。
具体的に、図32は、図13を参照して説明した立体感調整方法に応じて変更されたZ軸値に対応する左眼および右眼映像を検索し、立体映像の左眼および右眼映像を検索された左眼および右眼映像に置き換える方法が適用された場合を示してよい。
この場合、図示のように、背景UI1511に対する立体感をもつ客体1512の立体感が調整されてディスプレイ1512−1であってよい。
一方、図33は、図30において説明した立体感調整方法に応じて立体映像の左眼および右眼映像の何れか一方を他方に置き換えてりったい映像そのものの立体感を無くす方法が適用された場合であってよい。
この場合でも同様に、背景UI1511に対する立体感を有する客体1512が立体感が調整されてディスプレイ1512−2されてよい。
図16、34、35は、本発明の多様な実施形態に係る立体感調整方法が適用された別の例を説明するための図である。
図16に示すように、ディスプレイ画面1610上の背景UI1611が[x、y]位置に応じて互いに異なるz軸デプス値を有し、当該背景UI1611上に立体感を有する客体1612がディスプレイされる場合を例に挙げて説明する。
一方、本実施形態において、背景UI1611上に立体感を有する客体は図示のように、(x1、y1)の位置から(x2、y2)の位置に移動された場合が仮定されてよい。
図34および図35は、図16に示す例において、本発明の多様な実施形態に係る立体感調整方法を適用した場合を示す。
具体的に、図34は、図13を参照して説明した立体感調整方法に応じて変更された位置(x2、y2)における背景UIのZ軸値に対応する左眼および右眼映像が検索されて立体感を有する客体1612の左眼および右眼映像を検索された左眼および右眼イメージに置き換える方法が適用された場合を示してよい。
この場合、図示のように、背景UI1611に対する立体感を有する客体1612の立体感が調整されてディスプレイ1612−1されてよい。
一方、図35は、図30において説明した立体感調整方法に応じて変更された位置(x2、y2)で、立体感を有する客体1612の左眼および右眼イメージの何れか一方を他方に置き換えて、立体感を有する客体1612そのものの立体感を無くす方法が適用される場合であってよい。
なお、本発明では、上述のように、立体映像表示装置のUI提供方法を実行するためのプログラムを含むコンピュータ読み取り記録媒体を含んでよい。コンピュータ読み取り記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全種類の記録装置を含む。コンピュータ読み取り記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置等があり、なお、コンピュータ読み取り記録媒体は、ネットワークで接続されたコンピュータシステムに分散され、分散方式でコンピュータが読み取ることができるコードが保存されて実行されてよい。
それにより、3D UI要素間のデプス値を整理して3D UI要素のディスプレイ状態が視覚的に安定できるようになる。
なお、3D UI要素に対するユーザの注目性および認知性を向上させることができるようになる。
なお、立体感を有する背景UI上に立体映像がディスプレイされる場合、背景UIの奥行き感分だけ基準面と映像内の客体で自然な奥行き感をもつようにすることができる。
または、立体映像の自らがもつ立体感を除去して、背景UIのデプス情報と立体映像内の客体に対する時差情報が矛盾するという問題点を防止することができるようになる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
110……映像受信部
120……映像処理部
130……映像出力部
140……制御部
150……保存部
160……ユーザインターフェース部
170……UI処理部
180……同期信号処理部

Claims (15)

  1. 立体映像表示装置のディスプレイ方法において、
    第1デプス値を有する第1ディスプレイ要素をディスプレイするステップと、
    前記第1ディスプレイ要素がディスプレイされた状態で、前記第1ディスプレイ要素上に、または第1ディスプレイ要素に付加されてディスプレイされる第2デプス値を有する第2ディスプレイ要素および前記第1ディスプレイ要素のうち、少なくとも一方のデプス値を調整するステップと、
    デプス値が調整された、前記第1ディスプレイ要素および前記第1ディスプレイ要素上に、または第1ディスプレイ要素に付加される前記第2ディスプレイ要素をディスプレイするステップと
    を含むディスプレイ方法。
  2. 前記デプス値を調整するステップは、
    前記第1ディスプレイ要素および前記第2ディスプレイ要素の各々のデプス値を考慮し、前記第1ディスプレイ要素および前記第2ディスプレイ要素間のデプス値の差を調整することを特徴とする請求項1に記載のディスプレイ方法。
  3. 前記デプス値を調整するステップは、
    前記第2ディスプレイ要素の前記第2デプス値を予め設定されたデプス値に移動させた後、前記第1ディスプレイ要素の前記第1デプス値を、前記第2ディスプレイ要素の移動したデプス値だけ移動させることを特徴とする請求項1に記載のディスプレイ方法。
  4. 前記予め設定されたデプス値は、
    前記第2ディスプレイ要素の前記第2デプス値またはディスプレイ画面のデプス値より小さいことを特徴とする請求項3に記載のディスプレイ方法。
  5. 前記第2ディスプレイ要素の実行前に第3デプス値を有する第3ディスプレイ要素をディスプレイするステップと、
    前記第2デプス値を有する第2ディスプレイ要素が、前記第1ディスプレイ要素および前記第3ディスプレイ要素に重畳されてディスプレイされるように実行されると、前記第1および第3ディスプレイ要素の前記第1および第3デプス値を同様のデプス値に一致させて調整することを特徴とする請求項1に記載のディスプレイ方法。
  6. 前記第1および第2ディスプレイ要素の重畳ディスプレイ実行が解除されると、前記調整された第1および第2ディスプレイ要素のデプス値を元のデプス値に調整するステップを更に含むことを特徴とする請求項1に記載のディスプレイ方法。
  7. 前記第2ディスプレイ要素は、
    前記第1ディスプレイ要素に関連するイベント内容を含むフィードバック性質を有するディスプレイ要素、第1ディスプレイ要素に関連しないイベント内容を含むアラーム、警告およびポップアップのうち、少なくとも何れか一つの性質を有するディスプレイ要素であることを特徴とする請求項1に記載のディスプレイ方法。
  8. 前記第1デプス値は、前記第1ディスプレイ要素の左眼イメージおよび右眼イメージの間の時差(disparity)に対応し、前記第2デプス値は、前記第2ディスプレイ要素の左眼イメージおよび右眼イメージの間の時差に対応することを特徴とする請求項1に記載のディスプレイ方法。
  9. 前記デプス値を調整するステップは、
    前記第1ディスプレイ要素に対する前記第1ディスプレイ要素の相対的なデプス値を算出するステップと、
    相違なるデプス値に対応する予め保存された複数の左眼および右眼イメージセットの中から、前記算出された相対的なデプス値に対応する左眼および右眼イメージセットを検出するステップと、
    前記第2ディスプレイ要素の左眼および右眼イメージセットを前記検出された左眼および右眼イメージセットに置き換えるステップと
    を含むことを特徴とする請求項1に記載のディスプレイ方法。
  10. 前記デプス値を調整するステップは、
    前記第2ディスプレイ要素の左眼および右眼映像の何れか一方を他方のイメージに置き換えることを特徴とする請求項1に記載のディスプレイ方法。
  11. 前記第1ディスプレイ要素の左眼および右眼イメージの間の距離に応じて、前記検出された左眼および右眼イメージの間の距離を調整し、前記距離が調整された左眼および右眼イメージをディスプレイするステップを更に含むことを特徴とする請求項10に記載のディスプレイ方法。
  12. 前記第1ディスプレイ要素の左眼および右眼イメージの間の距離に応じて、前記置き換えられた左眼および右眼イメージの間の距離を調整し、前記距離が調整された左眼および右眼イメージをディスプレイするステップを更に含むことを特徴とする請求項11に記載のディスプレイ方法。
  13. 前記第1ディスプレイ要素は背景要素であり、前記第2ディスプレイ要素は前記背景要素上のコンテンツ要素であることを特徴とする請求項10に記載のディスプレイ方法。
  14. 前記第1ディスプレイ要素は背景要素を含み、前記第2ディスプレイ要素は前記背景要素上のコンテンツ要素を含むことを特徴とする請求項10に記載のディスプレイ方法。
  15. 第1デプス値を有する第1ディスプレイ要素および第2デプス値を有する第2ディスプレイ要素を生成するディスプレイ処理部と、
    前記生成された第1および第2ディスプレイ要素をディスプレイするディスプレイ部と、
    前記第1ディスプレイ要素および前記第1デプス値を有する前記第1ディスプレイ要素がディスプレイされた状態で、前記第1ディスプレイ要素上に、または重畳されてディスプレイされる第1デプス値を有する第2ディスプレイ要素のうち、少なくとも一方のデプス値を調整する制御部と
    を含み、
    前記第1ディスプレイ要素および前記第2ディスプレイ要素のうち、少なくとも一方は調整されたデプス値でディスプレイされることを特徴とする立体映像表示装置。
JP2013533768A 2010-10-12 2011-10-12 立体映像表示装置およびそのディスプレイ方法 Ceased JP2014500642A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR20100099323 2010-10-12
KR10-2010-0099323 2010-10-12
KR10-2011-0001127 2011-01-05
KR1020110001127A KR20120037858A (ko) 2010-10-12 2011-01-05 입체영상표시장치 및 그 ui 제공 방법
KR10-2011-0102629 2011-10-07
KR1020110102629A KR20120037350A (ko) 2010-10-11 2011-10-07 입체영상표시장치 및 그 디스플레이 방법
PCT/KR2011/007595 WO2012050366A2 (en) 2010-10-12 2011-10-12 3d image display apparatus and display method thereof

Publications (1)

Publication Number Publication Date
JP2014500642A true JP2014500642A (ja) 2014-01-09

Family

ID=46138875

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013533768A Ceased JP2014500642A (ja) 2010-10-12 2011-10-12 立体映像表示装置およびそのディスプレイ方法

Country Status (9)

Country Link
US (1) US20120086714A1 (ja)
EP (1) EP2628304A4 (ja)
JP (1) JP2014500642A (ja)
KR (2) KR20120037858A (ja)
CN (1) CN103155579B (ja)
AU (1) AU2011314521B2 (ja)
BR (1) BR112013008559A2 (ja)
RU (1) RU2598989C2 (ja)
WO (1) WO2012050366A2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508651B (zh) * 2011-09-29 2015-04-15 深圳超多维光电子有限公司 用户界面的实现方法及系统、电子设备
US9381431B2 (en) * 2011-12-06 2016-07-05 Autodesk, Inc. Property alteration of a three dimensional stereoscopic system
KR101691839B1 (ko) * 2012-09-14 2017-01-02 엘지전자 주식회사 3d 디스플레이 상에서 컨텐트 제어 방법 및 장치
DE102013000880A1 (de) 2013-01-10 2014-07-10 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zu Bereitstellen einer Benutzerschnittstelle in einem Fahrzeug
WO2014157749A1 (ko) * 2013-03-28 2014-10-02 케이디씨 주식회사 다중 디스플레이 장치 및 이를 이용한 표시 방법
KR20140144056A (ko) 2013-06-10 2014-12-18 삼성전자주식회사 객체 편집 방법 및 그 전자 장치
JP2015119373A (ja) * 2013-12-19 2015-06-25 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN106610833B (zh) * 2015-10-27 2020-02-04 北京国双科技有限公司 一种触发重叠html元素鼠标事件的方法及装置
KR102335209B1 (ko) * 2015-11-30 2021-12-03 최해용 가상현실 영상 이동 장치
KR20210063118A (ko) * 2019-11-22 2021-06-01 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100208040A1 (en) * 2009-02-19 2010-08-19 Jean-Pierre Guillou Preventing interference between primary and secondary content in a stereoscopic display
KR20100094375A (ko) * 2009-02-17 2010-08-26 삼성전자주식회사 영상 처리 방법 및 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP2005223495A (ja) * 2004-02-04 2005-08-18 Sharp Corp 立体映像表示装置及び方法
KR100649523B1 (ko) * 2005-06-30 2006-11-27 삼성에스디아이 주식회사 입체 영상 표시 장치
RU2313191C2 (ru) * 2005-07-13 2007-12-20 Евгений Борисович Гаскевич Способ и система формирования стереоизображения
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
CN101653011A (zh) * 2007-03-16 2010-02-17 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法
US8384769B1 (en) * 2007-05-23 2013-02-26 Kwangwoon University Research Institute For Industry Cooperation 3D image display method and system thereof
WO2009020277A1 (en) * 2007-08-06 2009-02-12 Samsung Electronics Co., Ltd. Method and apparatus for reproducing stereoscopic image using depth control
US8228327B2 (en) * 2008-02-29 2012-07-24 Disney Enterprises, Inc. Non-linear depth rendering of stereoscopic animated images
JP4925354B2 (ja) * 2008-03-31 2012-04-25 富士フイルム株式会社 画像処理装置、画像表示装置、撮像装置及び画像処理方法
CN102113324B (zh) * 2008-07-31 2013-09-25 三菱电机株式会社 视频编码装置、视频编码方法、视频再现装置、视频再现方法
US8335425B2 (en) * 2008-11-18 2012-12-18 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback
US9013551B2 (en) * 2008-12-01 2015-04-21 Imax Corporation Methods and systems for presenting three-dimensional motion pictures with content adaptive information
KR20100077270A (ko) * 2008-12-29 2010-07-08 엘지전자 주식회사 Dtv 및 이를 이용한 gui 제공 방법
JP2010250562A (ja) * 2009-04-15 2010-11-04 Sony Corp データ構造、記録媒体、再生装置および再生方法、並びにプログラム
CN101938670A (zh) * 2009-06-26 2011-01-05 Lg电子株式会社 图像显示装置及其操作方法
KR20120039703A (ko) * 2009-07-07 2012-04-25 엘지전자 주식회사 3차원 사용자 인터페이스 출력 방법
JP2011081453A (ja) * 2009-10-02 2011-04-21 Toshiba Corp 映像再生装置及び映像再生方法
JP2011081480A (ja) * 2009-10-05 2011-04-21 Seiko Epson Corp 画像入力システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100094375A (ko) * 2009-02-17 2010-08-26 삼성전자주식회사 영상 처리 방법 및 장치
US20100208040A1 (en) * 2009-02-19 2010-08-19 Jean-Pierre Guillou Preventing interference between primary and secondary content in a stereoscopic display

Also Published As

Publication number Publication date
RU2598989C2 (ru) 2016-10-10
WO2012050366A2 (en) 2012-04-19
BR112013008559A2 (pt) 2016-07-12
AU2011314521B2 (en) 2014-12-11
CN103155579B (zh) 2016-11-16
EP2628304A2 (en) 2013-08-21
EP2628304A4 (en) 2014-07-02
WO2012050366A3 (en) 2012-06-21
RU2013121611A (ru) 2014-11-20
US20120086714A1 (en) 2012-04-12
KR20120037350A (ko) 2012-04-19
CN103155579A (zh) 2013-06-12
AU2011314521A1 (en) 2013-04-11
KR20120037858A (ko) 2012-04-20

Similar Documents

Publication Publication Date Title
RU2598989C2 (ru) Устройство отображения трехмерного изображения и способ отображения для такового
EP2456217B1 (en) Method of providing 3D image and 3D display apparatus using the same
EP2346263B1 (en) GUI providing method, and display apparatus and 3D image providing system using the same
US8930838B2 (en) Display apparatus and display method thereof
TWI444036B (zh) 2d至3d使用者介面內容資料轉換
US20150350626A1 (en) Method for providing three-dimensional (3d) image, method for converting 3d message, graphical user interface (gui) providing method related to 3d image, and 3d display apparatus and system for providing 3d image
US20120154558A1 (en) Display apparatus and method for processing image thereof
US20120050508A1 (en) Three-dimensional image display apparatus and driving method thereof
KR101812189B1 (ko) 3차원 gui를 이용한 컨텐츠 리스트 디스플레이 방법 및 이를 적용한 3차원 디스플레이장치
EP2421271B1 (en) Display apparatus and method for applying on screen display (OSD) thereto
US9547933B2 (en) Display apparatus and display method thereof
KR101620969B1 (ko) 디스플레이 장치 및 이에 적용되는 3d 영상 미리보기 제공 방법, 그리고 3d 영상 제공 시스템
KR101713786B1 (ko) 디스플레이 장치 및 이에 적용되는 gui 제공 방법
KR20110062983A (ko) 3d 영상의 입체감 조절 요소를 설정하는 gui를 표시하는 디스플레이 장치 및 이에 적용되는 gui 제공 방법
KR101698787B1 (ko) 영상표시장치 및 그 동작방법
KR20110057948A (ko) 디스플레이 장치, 3d 영상 제공 방법 및 3d 영상 제공 시스템
KR20110057950A (ko) 디스플레이 장치 및 이에 적용되는 3d 영상 변환 방법, 그리고 3d 영상 제공 시스템
KR20110106149A (ko) 영상표시장치 및 그 동작방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141010

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20141226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151102

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160606

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160831

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20170529