JP2013545184A - 3次元画像にグラフィックオブジェクトを散りばめる3次元画像生成方法及びこれに用いられる表示装置 - Google Patents

3次元画像にグラフィックオブジェクトを散りばめる3次元画像生成方法及びこれに用いられる表示装置 Download PDF

Info

Publication number
JP2013545184A
JP2013545184A JP2013535411A JP2013535411A JP2013545184A JP 2013545184 A JP2013545184 A JP 2013545184A JP 2013535411 A JP2013535411 A JP 2013535411A JP 2013535411 A JP2013535411 A JP 2013535411A JP 2013545184 A JP2013545184 A JP 2013545184A
Authority
JP
Japan
Prior art keywords
depth
image
graphic object
edge
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013535411A
Other languages
English (en)
Other versions
JP2013545184A5 (ja
JP5902701B2 (ja
Inventor
ティーボ シルバン
ベルディエ アライン
ドアイヤン ディディエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2013545184A publication Critical patent/JP2013545184A/ja
Publication of JP2013545184A5 publication Critical patent/JP2013545184A5/ja
Application granted granted Critical
Publication of JP5902701B2 publication Critical patent/JP5902701B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus

Abstract

本発明は3D画像信号を生成する方法に関する。グラフィックオブジェクトが決められた深さにおいて前記画像に挿入される。決められた厚さの枠が、挿入されるべきオブジェクトを囲む。移行領域は当該挿入されたグラフィックオブジェクトの周りのフレームによって画定される。移行領域の画像要素の深さは、挿入されるグラフィックオブジェクトの枠の外部エッジから内部エッジへの順次変化する。本発明は前記表示信号を生成する装置にも関する。

Description

本発明は、3次元(3D)ドキュメント画像を表示できる画面(スクリーン)上に3次元ドキュメント画像を表示するための方法に関すると共に、当該方法に基づいて表示信号を生成する装置にも関する。
現在、起伏(凸凹)であるという知覚・認識を復元する(感じさせる)ためにビデオ処理に用いられるいくつかの方法があり、例えば、実体視法(立体視法、ステレオスコープ法)がある。実体視法では、同じシーンの2つのビュー(光景)を、2つの異なるビデオカメラまたは2つの異なる静止(固定)カメラで、横方向に互いからオフセットした2つの異なる視点から記録する。観察者が3次元表示で見ることができるようにするために、同じシーンの前記2つのビュー(左右のビューと呼ばれる)は、表示装置の同一画面上に表示されて、PDP(プラズマディスプレイパネル)もしくはLCD(液晶ディスプレイ)型スクリーン又はビデオプロジェクタスクリーンが使用される。観察者は、典型的にはそれぞれの目に対応するビューを透過する眼鏡(メガネ)をかける。
このような画面に表示される3D画像における起伏(凹凸)の知覚・認識は、左画像と右画像の視差に直接依存する。つまり、記録されたシーンの同じオブジェクト要素を表す2つの画素を隔てる距離(例えば画素数で測定することができる)に直接依存する。当該画素の1つは左眼で知覚さることを意図し、他方の画素は右眼で知覚さることを意図する。これら画素は表示装置のレベルで同じビデオ情報を表す。即ち、当該画素は、記録されたシーンの同じオブジェクト要素を表す。
3D画像のオブジェクト要素に関連付けられた視差値は、フィルムまたはビデオの左画像及び右画像内の当該要素の横軸上の位置ずれ(位置の違い)に対応する。視差は、特に、記録されたシーンと記録カメラとの間のオブジェクト間距離、並びに、左カメラと右カメラの間の距離に依存する。一般的に、2つのカメラは例えば6.5cm以上の距離だけ互いから隔てられる。なぜなら、この距離は人間の2つの目の間の平均距離に相当するからである。
オブジェクトが他のオブジェクトの後に配置されている場合は、当該他のオブジェクトの後に置かれたオブジェクトの部分(パーツ)は、一方の目には見えるかも知れないが他方の目には隠れて見えない。これは、当該オブジェクトの前にある当該他のオブジェクトが前記部分を隠さない場合である。前記部分が見えるかどうかは、前記部分を一方の目で見ているのか、他方の目で見ているのかによって異なる。「オクルージョン(occlusion)」と呼ばれるこの現象によれば、脳は、オブジェクトが別のオブジェクトの背後に位置しており、異なる深さにあることを推測することができる。3Dシーンの視野角度に応じて、オブジェクトは、前に置かれたオブジェクトによって隠されることもあるし隠されないこともある。従って、3Dでは、遮られたオブジェクトは、遮るオブジェクトよりも大きな深さを有する(遮るオブジェクトの後にあると知覚される)。2次元(2D)画像においては、同じ画像が2つの目によって知覚され、その際、どのような角度から画像のオブジェクトが見られたとしても、そこにある遮ぎ(遮蔽)が維持され、2D画像は観察者に立体的な深さを知覚させない。
3Dシーケンスは通常、様々な深さにあるオブジェクトを含み、特に、画面の後に知覚されるオブジェクトと画面の前に知覚される他のオブジェクトを含む。特に、OSD(On Screen Display:オンスクリーンディスプレイ)回路を使用して、画面に表示された画像に重ねるようにグラフィックオブジェクトを表示するためには、当該グラフィックオブジェクトが例えば、表示装置のパラメータ設定メニュー、ロゴ、スコアパネルまたは様々なテキスト情報要素を表している場合であれば、このグラフィックオブジェクトが前記画像の前に現れるように当該グラフィックオブジェクトを挿入するのが好ましい。よって、当該グラフィックオブジェクトが前景で知覚されるように、視差が当該グラフィックオブジェクトに適用されるべきである。しかし、そうなると、テキスト及びグラフィックオブジェクトの読みやすさが低下し、観察者の目が3Dシーンからの当該グラフィックオブジェクトに移るのに、ある程度の収斂時間が必要になる。その結果として、視覚的な不快感や眼の疲労が生ずる。
この問題に対する最初の解決策は、低視差でこれらグラフィックオブジェクトを適用することである。即ち、前記グラフィックオブジェクトを画面レベルで挿入することである。オクルージョンの問題が考慮されるなら、表示された画像に挿入されたグラフィックオブジェクトは、表示された3D画像のオブジェクトによって隠されて一部だけが現れるというリスクを有する。よって、当該オブジェクトの後に位置するグラフィックオブジェクトがこれらにより隠されてしまうというリスクがあるので、視覚的な表示は、知覚における高レベルの不快感を引き起こす。
フィリップス社の国際特許出願公開WO2008/038205は、3Dシーンのオブジェクトの前にグラフィックオブジェクトを配置するための方法について説明をしている。観察者から最も遠くに知覚されるシーンの部分(本出願において第1のサブ範囲と称す)はビデオ(映像)のみに使用され、観察者により近い第2の部分(第2のサブ範囲)はグラフィックスのみに使用される。その結果、ビデオによりグラフィックデータが遮られることはなく、グラフィックデータにシーンの一部を割り当てることで、グラフィックオブジェクトが常に前景に配置されるようにする。この方法は、ビデオ(映像)によるグラフィックスのオクルージョン(遮ぎ)の問題を解決するが、映像全体の深さの範囲が小さくなるという代償を払うことになる。
本発明は、視覚的な快適さの良好なレベルを維持しながら、ビデオドキュメントの深さを制限することを極力避けつつグラフィックオブジェクトを挿入するための新規な方法を提案する。
本発明の目的は、三次元画像信号にグラフィックオブジェクトを挿入するステップを含む、三次元画像信号を生成するための方法であって、当該方法はさらに下記のステップも含むことを特徴とする。
- 挿入されたグラフィックオブジェクトの周囲の輪郭によって画定される補間領域(ゾーン)を決定するステップ。当該補間領域は所定の厚さを有する。
- 前記補間領域に配置された画素を処理するステップ。前記画素の深さは、挿入されるべきグラフィック要素の輪郭の外部エッジから当該輪郭の内部エッジに向かって少しずつ増加する。前記輪郭の内部エッジ上の画素は、前記挿入されるオブジェクトよりも大きい深さ位置に配置される。
挿入されたオブジェクトの周囲にある3Dシーンのオブジェクトの深さの変化(多様性)を維持することにより、ユーザは、簡単に前記挿入されたグラフィックオブジェクトを見ると共にビジュアル的(視覚的)な不快感を最小限に抑えながら、挿入されたオブジェクトの周りの深さ(奥行き)を知覚し続ける。
第1の改良例(態様)によれば、補間領域の各画素に与えられる深さの変化(ばらつき)は、当該画素と輪郭の内部エッジとの間の距離の関数であり、当該関数は以下の複数の関数のうちの1つである。即ち、当該関数は、線形関数、三角関数、放物線関数の1つである。このようにして、挿入されたオブジェクトのエッジにおける深さの変化を効率的に(効果的に)抑制し、深さが大きく変化することによる視覚的インパクトを低減することができる。他の改良例によると、この方法は、グラフィックオブジェクトに関連付けられたデータを受信するステップを含み、当該受信されたデータは、挿入されたグラフィックオブジェクトの周囲の補間領域の幅とその他の情報とを含む。このように、レシーバ(受信装置)は、当該グラフィックオブジェクトにカスタマイズされたパラメータを有し、これにより、当該グラフィックオブジェクトをビデオ画像により良い形で挿入することを可能にする。変形例によれば、受信されたデータは、挿入されるオブジェクトから画面までの距離と、観察者から画面までの距離との比を含む。このように、レシーバは、画面上でカスタマイズされた表示ができるように、当該グラフィックオブジェクトに関連付けられたパラメータを有する。
他の改良例によれば、本発明の方法は、挿入されたグラフィカルオブジェクトの深さ(奥行き)を調整するコマンドを導入するステップを含む。このようにして、挿入されたオブジェクトの深さは、より大きな視覚的な快適さをユーザに与えるように当該ユーザによって調整することができる。この改良例をさらに改良した例よれば、補間領域の幅は、ユーザによって導入されたグラフィックオブジェクトの深さを調整するための調整(調整量、調整法)に依存する。
他の改良例によれば、挿入されたグラフィックオブジェクトの周囲の補間領域の幅は可変である。このように、補間領域は、挿入されたオブジェクトの形状に適応することができ、且つ、もし挿入されたオブジェクトが3次元であるなら、その立体的形態に適応することもできる。
また、本発明の目的は、三次元画像信号を生成する装置であり且つグラフィックオブジェクトを当該三次元画像信号に挿入する手段を含む装置を提供することであって、当該装置は、
- 前記挿入されたグラフィックオブジェクトの周囲の輪郭により画定される補間領域を決定する手段を含み、当該輪郭は所定の厚さを有し、
- 前記挿入手段は、前記グラフィックオブジェクトの輪郭上に置かれた画素の深さを変更(調整)し、前記画素の深さは挿入されるべき前記グラフィックオブジェクトの輪郭の内部エッジまで少しずつ前記輪郭の外部エッジから増大し、前記輪郭の内側エッジにある画素は前記挿入されたオブジェクトの画素より深い位置に位置される。
本発明は、その特徴及び利点と共に、添付図面を参照しながら特定の非限定的な実施形態の説明を読むことにより明確にされるであろう。
図1は、本発明の実施形態に基づいて3D画像の表示を可能にするレシーバ(受信装置)のブロック図である。 図2aは、3D画像の線形要素の深さと、グラフィックオブジェクトが挿入された場合の当該線形要素の深さの変化(調整)とを示す概略図である。 図2bは、3D画像の線形要素の深さと、グラフィックオブジェクトが挿入された場合の当該線形要素の深さの変化(調整)とを示す概略図である。 図2cは、3D画像の線形要素の深さと、グラフィックオブジェクトが挿入された場合の当該線形要素の深さの変化(調整)とを示す概略図である。 図2dは、3D画像の線形要素の深さと、グラフィックオブジェクトが挿入された場合の当該線形要素の深さの変化(調整)とを示す概略図である。 図3は、本発明に基づいて挿入されたグラフィックオブジェクトと3D画像を表示するレシーバの画面を示す図である。 図4は、3D画像におけるグラフィックスオブジェクトの補間領域の例と、当該領域の要素の深さを表すグラフを示す図である。
図1は、表示スクリーン(画面)を有する表示装置2に接続されたレシーバ(受信装置)1を示している。この表示装置は、例えば、ビデオプロジェクタ、テレビ画面または3Dコンテンツ用の任意の画面である。レシーバ1は、例えば3Dテレビ受像機または3D視聴覚端末である。通信手段は、ブロードバンドネットワークを介してデータストリームを送信する。レシーバ1は、メモリ4及びその他の要素に接続された中央処理ユニット(CPU)3を含むと共に、例えばリモートコントローラ10により送信されたコマンドを受信するインターフェース9を含む。さらに、レシーバは、放送ネットワークを介して送信された3Dコンテンツデータを受信するために、ディマルチプレクサ7とチューナに関連付けられたアンテナ等の受信手段を含む。1つの変形例では、レシーバにインターフェース5を設けて、3Dデータコンテンツを受信するためにブロードバンドデジタルネットワーク6との通信ができるようにする。
また、レシーバ1は、3Dコンテンツを記憶するため記憶ユニット11を含む。使用される記憶サポート部品は、例えば、ランダムアクセスメモリ(RAM)、ハードディスクまたは光ディスクである。レシーバ1は、例えば、DVD若しくはブルーレイプレーヤ等のデータリーダ14に接続することができ、または、一体化されたDVD若しくはブルーレイプレーヤを有することができる。さらにレシーバは、データを画面に表示するためのOSD(オンスクリーンディスプレイ)回路13を備える。OSDは、メモリ4に記録(記憶)された実行可能プログラムに基づいて中央処理ユニット3によって制御される。インターフェース12は、ビデオデータとOSD回路からのデータとのインターフェースを取る。レシーバ1は表示装置2と一体化することができる。
レシーバ1は、3D映像コンテンツに対応するデータを受信し、表示装置2に適合したビジュアルコンテンツに対応するデータを送信する。OSD回路13は、表示画面上の少なくとも1つの挿入ウィンドウ(窓)内に配置された少なくとも1つのグラフィックオブジェクトを3D映像コンテンツに(挿入)するために中央処理ユニット3からの指令を受信する。これらグラフィックオブジェクトは十分な判読性(明瞭性、可読性)を必要とする。
「グラフィックオブジェクト」は、グラフィカルに再生される文字または記号の任意のセット(組み合わせ)を意味する。
3D画像内の挿入ウィンドウに対応する輪郭が、例えば前記文字及び記号のセットの範囲を限定する(定める)。本発明に基づく1つの例では、当該輪郭により範囲限定されて、文字若しくは記号のセットと背景要素と含む内部領域は、挿入されるグラフィックオブジェクトの一部である。本発明の他の例では、挿入されるグラフィックオブジェクトは、文字若しくは記号の前記セットに限定される。
前記グラフィックオブジェクトは、例えば2D表示(表現)である。本発明の別の例では、グラフィックオブジェクトのみが、または当該グラフィックオブジェクトとその輪郭内に含まれる要素とが、3D表示である。
本発明の1つの目的は、挿入されたグラフィックオブジェクトが、当該画像の要素によって遮られないようにすることである。
表示される画像の視差マップは、中央処理ユニットによってそれ自体公知の方法で決定されるか、データストリームを介して送信され、この場合、視差値が右側ビューまたは左側ビューの各要素に関連付けられる。表示される送信されたコンテンツの3次元画像の全ての要素の対応する深さは、このように決定される。正の視差は画面の後に位置する画像要素に対応し、負の視差は画面の前に位置する画像要素に対応する。
本発明の1つの例に基づいて、挿入されるグラフィックオブジェクトが文字または記号のセットに限定されるならば、本発明では最初に、挿入されるグラフィックオブジェクトの挿入ウィンドウ内(つまり、当該グラフィックオブジェクトの周囲の輪郭内)の3D画像要素の深さ値(奥行き値)を変更・修正する。当該画像部分の対応する要素の視差は補間により変更されて、当該画像部分が、画面の深さを有することなく、当該画面の平面に対応する深さに近い深さに位置されるようにする。従って、これら要素の視差は僅かに正となり、挿入されたグラフィック要素が、これら画像要素によって遮られない。
また、本発明は、3D画像上への複数のグラフィックオブジェクトの挿入に関する。
挿入されるグラフィック要素の輪郭によって限定される画像部分と当該画像の残りの部分との間の急激な深さ変化を避けるために、本発明では当該グラフィック要素の輪郭の周りに移行領域が作成される。この領域は、グラフィックオブジェクトの輪郭に対応する第1の内部エッジと、異なるパラメータ(例えば、望まれる表示若しくは画像の2つの部分の間の深さの違い)に応じて決定される幅だけ離れた第2の外部エッジとを含む。
当該領域が広いほど、深さの移行(変化)が緩やかになる。輪郭に対応する内部エッジは、四角形(正方形)、円形または楕円形である。外部エッジは、内部エッジと同じ形状であることが好ましい。他の例では、外部エッジは内部エッジとは異なる形状である。例えば、楕円形の外部エッジは長方形の内部エッジと共に使用され得る。
図2a及び図2bは、横軸の要素の位置に基づいてビデオドキュメントから抽出された3D画像のオブジェクト要素の深さを示すグラフと、2Dグラフィックオブジェクトの処理及び挿入後の、同じ画像のオブジェクト要素の深さを示すグラフである。
図2aに示されているように、図示されたオブジェクト要素は可変深さ(知覚されるZ)を有し、当該可変深さにより、当該オブジェクト要素を画面の前または後に位置することができる。画面深さは破線の縦座標線Zscreenに対応している。
図2bに示されているように、グラフィックオブジェクトは画面の深さ(奥行き)レベルで挿入され、画面の深さZにおける破線の複数の点によって表されている。従って、このグラフィックオブジェクトの要素の視差はゼロとなる。これは、領域1として定義された領域に挿入される。
また、移行領域は、図3にも示されているように、挿入されるグラフィック要素の周りに、所定幅の矩形の枠として示されている。挿入ウィンドウの中心部の軸xに基づく水平ラインに対応する図2のグラフのレベルでは、当該移行領域は、右側領域(2D領域)と左側領域(2G領域)により示されている。
最初に、もし必要ならば、挿入されるグラフィックオブジェクトが補間されて当該画像部の要素の視差値がゼロに近い正の値を有するようになるなら、3D画像部は輪郭内に位置される。この補間は、当該画像部の要素の視差値がゼロに近い正の値を有するようになる補間である。よって、挿入されたグラフィックオブジェクトは、当該3D画像部の要素の前方に配置される。従って、有利なことに、競合及び視覚的な不快感はない。
図2bは、挿入されるグラフィックオブジェクトの周囲に位置する枠の要素の深さも示している。挿入されるオブジェクトの右側において、当該枠の幅の範囲内に2D移行領域があり、当該領域において3D画像が変更(修正)される。
実際に、この領域の画像要素は、挿入されるグラフィックオブジェクトの画像要素と再送信された3D画像の画像要素との間に位置している。視覚的な不快感を回避するため、当該領域に位置するシーンの要素の深さの変更は、好ましくは、挿入されるオブジェクトの全周において順次増大する。
挿入されるグラフィックオブジェクトの深さと、3D画像の深さとの間の移行がこのようにして生成される。当該領域の要素の深さは、内部エッジに位置している要素の深さ値から外部エッジに位置している要素の深さ値に向けて徐々に大きくなるように変更される。この漸進的な変更(徐々に増大する変更)は、例えば、線形的な変化または緩やかな変化である。
図2bの方式によると、グラフィックオブジェクトの右エッジに位置して2D移行領域においては、要素の深さは、移行領域の外部エッジの要素の初期深さに対応する深さ値Z1から値Zscreenへ変化する。グラフィックオブジェクトの左エッジに位置する2G移行領域内では、要素の深さは深さZscreen(正の視差)より大きい。従って、グラフィックオブジェクトのこのサイドにおいて、塞ぎ(遮蔽)の危険性は無く、移行領域2Gの要素の深さ値を変更(調節)する必要はない。
深さ値の変化の累進増加は当該移行領域の幅に依存する。深さ値と深さ値の間の差が大きいほど、当該領域の幅を大きくすることが望ましい。この幅は特に画素数で決定される。
図2cのグラフで表される本発明の変形例によれば、オブジェクトが画面の深さとは異なる深さZiで挿入される。移行領域では、要素の深さは、移行領域の外部エッジの要素の深さに対応する深さ値Z1またはZ2から挿入値Ziへ漸進的に(順次増加するように)変化する。
他の例においては、挿入されるグラフィックオブジェクトは、ZG2−ZG1で定義される深さの3D表示であり、ZG2−ZG1は当該グラフィックオブジェクトの最も深い要素の深さと当該グラフィックオブジェクトの最も浅い要素の深さとの差に対応している。説明を簡単にするために、当該グラフィックオブジェクトの挿入は、深さの差の平均値1/2(ZG2−ZG1)に相当する深さの要素が画面レベルまたは所定レベルに位置するように、当該挿入を調節することによって行われる。この場合が図2dに示されている。図2dに示されているように、移行領域の限界値は前記値に対応する。この領域の画像要素の深さは、当該領域の外部エッジ上の画像の深さ値から、挿入されたグラフィックオブジェクトの最も浅い要素の深さ値zG1に徐々に変化させる。
図3は、3D画像を表示する画面の一例を示している。この画像の下部において、テキスト情報の項目が、挿入ウィンドウ内で当該画像に挿入される。挿入されたオブジェクトを囲む枠は所定の厚さ(典型的な場合、50画素)を有する。この枠は移行領域を画定し、中央処理ユニット3は前記移行領域内に位置している3D画像の画素の視差を変更(調節)する。挿入されるテキスト情報を表す要素のすべてが画面の平面(スクリーン面)のレベルに位置する深さに配置されている。当該枠の内部エッジに位置して3D画像のオブジェクトに属する要素は、画面の深さに近い深さに配置される。これら要素を表す画素の視差値はゼロに近いが正である第1の値に対応する。前記枠の外部エッジに位置して3D画像のオブジェクトに属する画像の要素は、当初の視差値を維持する。前記枠内に位置している中間の画素の深さで補間によって割り当てられた値は、前記第1の値と当該要素の当初の値との間で徐々に増大するように変化する。
図4は、垂直ビデオ軸Yと水平ビデオ軸Xに基づいて、3D画像にグラフィックオブジェクトを挿入する補間の例を示している。Z軸は深さ(奥行き)を示し、観察者は値Z=0に位置している。挿入されるグラフィックオブジェクトの領域では、3D画像が深さ「Zimage」に位置し、グラフィックオブジェクトは深さ「Zscreen」に挿入されている。
図4の左下の部分は観察者から見た画面を示し、OSD回路によって挿入されたオブジェクトが中心に位置している。図4の右側部分は縦軸Yで見たビューを示し、図4の左側部分は横軸Xで見たビューを示している。オブジェクトを囲む枠の幅は、Y軸で見ると、(Ya−Yb)=(Y’b−Y’a)となる。オブジェクトを囲む枠の幅は、X軸で見ると(Xa−Xb)=(X’b−X’a)となる。枠の幅は移行領域Z2の幅を画定する。改良例では、X軸における枠の幅はY軸における枠の幅と異なる。この相違は、挿入されるオブジェクトが一つの方向において長く(延ばされ)他の方向において短い(細かい)場合に、有用である。また、移行領域の幅を調整することができるという事実は、挿入されたオブジェクト自体が3Dであるときに、深さの変化を滑らか(緩やか)にすることを可能にする。Yaでは、3D画像の要素は変更(調整)されない。Ybでは、画像が補間されることにより、要素はZscreenに等しい最小の深さを有するようになる。YaとYb(それぞれY’aとY’b)の間において、要素の深さの変化は線形である。同じ理論がX軸に適用できる。
枠上に位置する画素の異なる深さに関連する視覚障害を減ずるために、前記変化は徐々に変化する放物線状であってもよい。
改良例によれば、ユーザは、画面の深さ値に対して、グラフィックオブジェクトを挿入するための深さ値の導入手段を有する。この導入手段はカーソルに設けることができ、ユーザによって選択されたカーソルの位置が挿入されるオブジェクトの位置を規定する。観察者が画面の前に挿入されるオブジェクトを多く配置すれば、3Dシーンの奥行きはより深くなる。ユーザが画面の背面にカーソルを移動できるようにする必要はない。なぜなら、そうすると深さの効果(印象)がさらに限定されるからである。改良例によれば、補間領域の幅は、ユーザによって導入される調整に依存する。例えば、ユーザが画面の前に明らかに自分のグラフィックオブジェクトを移動する場合、視覚的不快感を減らすための非常に広い補間領域は必要ない。
例えば、挿入されるオブジェクトがロゴである場合、枠の厚さは30画素に制限することができる。
本発明の改良例によれば、挿入されるオブジェクトに関連するデータのセットは、レシーバ1により受信され、特に以下のもの(情報)を含む。
- オブジェクトの視覚的データ(圧縮されている可能性有り)
- 表示された画像内に挿入されるオブジェクトの位置
- 挿入されるオブジェクトから画面までの距離と、観察者から画面までの距離との比
- 枠の厚さ。
本発明に係るアプリケーションは、画面上に視覚的コンテンツを表示し、追加情報項目の表示の許否を瞬間に行うものを全て含む。ビデオゲームの場合、挿入されるグラフィックオブジェクトはプレイヤーの得点(スコア)であってもよい。従って、スポーツイベントのライブ伝送(生放送)時には、特定のプレイヤーの詳細またはスコアを表示することができる。表示装置2は、典型的には、アクティブ眼鏡またはパッシブ眼鏡を使用する3Dテレビ画面であるか、ビデオプロジェクタであるか、3D画像を表示するその他の装置である。
また、本発明は、視聴覚放送を受信するための装置において実装(実施)できるだけではなく、送信装置においても実装することができる。例えば、放送される3Dコンテンツに恒久的にロゴを挿入したいと望むテレビ会社のレベルで実装することができる。
本実施形態は、例示として解釈されなければならなく、特許請求の範囲によって定義された範囲内で変更することができる。特に、本発明は、デジタル視聴覚放送を受信する任意の装置に適用することができる。本発明は、特に、任意の表示手段に三次元画像を表示する全ての技術で実装(実施)することができる。

Claims (5)

  1. 少なくとも1つの三次元画像を生成する方法であって、
    グラフィックオブジェクトを所定の挿入深さで前記少なくとも1つの三次元画像に挿入するステップと、
    前記挿入されたグラフィックオブジェクトを囲む移行領域を決定するステップであって、前記領域が前記グラフィックオブジェクトを画定する第1の内部エッジと当該第1のエッジから離れた第2のエッジとにより画定される、ステップと、前記方法はさらに、
    前記移行領域に位置する前記少なくとも1つの画像の要素の深さを、前記移行領域の前記第1のエッジから前記第2のエッジへ、前記挿入されたグラフィックオブジェクトの深さから前記第2のエッジの画像要素の深さへ、順次適合させるステップ、を含む、前記方法。
  2. 前記適合は、前記移行領域にある各要素に適用される深さが、前記移行領域の前記第1のエッジから前記第2のエッジへ少しずつ増大するようになされる、請求項1記載の方法。
  3. 前記決定された領域の各要素に適用された深さの前記順次適合は、前記領域の前記第1のエッジと第2のエッジの間の距離の関数であり、当該関数は線形関数、三角関数または放物線関数のいずれかである、請求項2記載の方法。
  4. 前記方法は、前記グラフィックオブジェクトに関連付けられたデータを受信するステップを含み、当該受信されたデータは前記挿入されたグラフィックオブジェクトの周りの前記移行領域の幅のデータを少なくとも含む、請求項1記載の方法。
  5. 三次元画像を生成する装置であって、
    少なくとも1つの3次元画像にグラフィックオブジェクトを挿入する手段を備え、前記装置はさらに、
    前記挿入されたグラフィックオブジェクトを囲む移行領域を決定する手段であって、前記領域は、前記グラフィックオブジェクトの輪郭に対応する第1の内部エッジと前記第1の内部エッジから離れた第2のエッジとによって画定される、手段と、
    前記移行領域に位置する前記少なくとも1つの画像の要素の深さを、前記第2のエッジに位置する前記画像の要素の深さから、前記挿入されたグラフィックオブジェクトの深さに順次適合させる手段と、を備える、前記装置。




JP2013535411A 2010-10-29 2011-10-26 3次元画像にグラフィックオブジェクトを散りばめる3次元画像生成方法及びこれに用いられる表示装置 Active JP5902701B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1058966 2010-10-29
FR1058966 2010-10-29
PCT/EP2011/068698 WO2012055892A1 (en) 2010-10-29 2011-10-26 Method for generation of three-dimensional images encrusting a graphic object in the image and an associated display device

Publications (3)

Publication Number Publication Date
JP2013545184A true JP2013545184A (ja) 2013-12-19
JP2013545184A5 JP2013545184A5 (ja) 2014-12-18
JP5902701B2 JP5902701B2 (ja) 2016-04-13

Family

ID=44024058

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013535411A Active JP5902701B2 (ja) 2010-10-29 2011-10-26 3次元画像にグラフィックオブジェクトを散りばめる3次元画像生成方法及びこれに用いられる表示装置

Country Status (7)

Country Link
US (1) US20130207971A1 (ja)
EP (1) EP2633688B1 (ja)
JP (1) JP5902701B2 (ja)
KR (1) KR101873076B1 (ja)
CN (1) CN103202024B (ja)
WO (1) WO2012055892A1 (ja)
ZA (1) ZA201302757B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014063470A (ja) * 2012-08-29 2014-04-10 Jvc Kenwood Corp デプス推定装置、デプス推定方法、デプス推定プログラム、画像処理装置、画像処理方法及び画像処理プログラム
JP2016507936A (ja) * 2012-12-24 2016-03-10 トムソン ライセンシングThomson Licensing 立体画像を表示する装置および方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2801198B1 (en) 2012-01-04 2023-10-11 InterDigital Madison Patent Holdings, SAS Processing 3d image sequences

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004328566A (ja) * 2003-04-28 2004-11-18 Sharp Corp コンテンツ表示装置およびコンテンツ表示プログラム
JP2007171228A (ja) * 2005-12-19 2007-07-05 Brother Ind Ltd 画像表示システム
JP2009239388A (ja) * 2008-03-26 2009-10-15 Fujifilm Corp 立体動画像処理装置および方法並びにプログラム
WO2010010499A1 (en) * 2008-07-25 2010-01-28 Koninklijke Philips Electronics N.V. 3d display handling of subtitles

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208348B1 (en) * 1998-05-27 2001-03-27 In-Three, Inc. System and method for dimensionalization processing of images in consideration of a pedetermined image projection format
US20100091012A1 (en) 2006-09-28 2010-04-15 Koninklijke Philips Electronics N.V. 3 menu display
KR101362647B1 (ko) * 2007-09-07 2014-02-12 삼성전자주식회사 2d 영상을 포함하는 3d 입체영상 파일을 생성 및재생하기 위한 시스템 및 방법
EP2235685B1 (en) * 2007-12-26 2014-06-18 Koninklijke Philips N.V. Image processor for overlaying a graphics object
PL2299726T3 (pl) * 2008-06-17 2013-01-31 Huawei Device Co Ltd Sposób, urządzenie i system komunikacji wideo
CN102318352B (zh) * 2009-02-17 2014-12-10 皇家飞利浦电子股份有限公司 组合3d图像和图形数据
KR20110018261A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치
CN101742349B (zh) * 2010-01-05 2011-07-20 浙江大学 一种对三维场景的表达方法及其电视系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004328566A (ja) * 2003-04-28 2004-11-18 Sharp Corp コンテンツ表示装置およびコンテンツ表示プログラム
JP2007171228A (ja) * 2005-12-19 2007-07-05 Brother Ind Ltd 画像表示システム
JP2009239388A (ja) * 2008-03-26 2009-10-15 Fujifilm Corp 立体動画像処理装置および方法並びにプログラム
WO2010010499A1 (en) * 2008-07-25 2010-01-28 Koninklijke Philips Electronics N.V. 3d display handling of subtitles

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014063470A (ja) * 2012-08-29 2014-04-10 Jvc Kenwood Corp デプス推定装置、デプス推定方法、デプス推定プログラム、画像処理装置、画像処理方法及び画像処理プログラム
JP2016507936A (ja) * 2012-12-24 2016-03-10 トムソン ライセンシングThomson Licensing 立体画像を表示する装置および方法

Also Published As

Publication number Publication date
KR20130139271A (ko) 2013-12-20
US20130207971A1 (en) 2013-08-15
CN103202024B (zh) 2016-05-04
EP2633688A1 (en) 2013-09-04
CN103202024A (zh) 2013-07-10
JP5902701B2 (ja) 2016-04-13
WO2012055892A1 (en) 2012-05-03
ZA201302757B (en) 2014-06-25
EP2633688B1 (en) 2018-05-02
KR101873076B1 (ko) 2018-06-29

Similar Documents

Publication Publication Date Title
US8913108B2 (en) Method of processing parallax information comprised in a signal
TWI598846B (zh) 影像資料處理方法以及使用該方法的立體影像顯示裝置
US20110193945A1 (en) Image display device, image display viewing system and image display method
KR102130123B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
JP2011071898A (ja) 立体映像表示装置および立体映像表示方法
US10694173B2 (en) Multiview image display apparatus and control method thereof
EP3292688A1 (en) Generation of image for an autostereoscopic display
JP5902701B2 (ja) 3次元画像にグラフィックオブジェクトを散りばめる3次元画像生成方法及びこれに用いられる表示装置
CN106559662B (zh) 多视图图像显示设备及其控制方法
JP6377155B2 (ja) 多視点映像処理装置及びその映像処理方法
EP2421271B1 (en) Display apparatus and method for applying on screen display (OSD) thereto
JP2013057697A (ja) 立体映像表示装置
KR20140088465A (ko) 디스플레이 방법 및 디스플레이 장치
JP2011223126A (ja) 立体映像表示装置および立体映像表示方法
WO2014199127A1 (en) Stereoscopic image generation with asymmetric level of sharpness
JP2012205285A (ja) 映像信号処理装置及び映像信号処理方法
US9547933B2 (en) Display apparatus and display method thereof
JP2014225736A (ja) 画像処理装置
KR102143944B1 (ko) 입체감 조절 방법과 이를 이용한 입체 영상 표시장치
JP5501150B2 (ja) 表示装置及びその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141027

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150929

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160310

R150 Certificate of patent or registration of utility model

Ref document number: 5902701

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250