JP2013517677A - 3dテキストを3dコンテンツと合成するシステムおよび方法 - Google Patents
3dテキストを3dコンテンツと合成するシステムおよび方法 Download PDFInfo
- Publication number
- JP2013517677A JP2013517677A JP2012548923A JP2012548923A JP2013517677A JP 2013517677 A JP2013517677 A JP 2013517677A JP 2012548923 A JP2012548923 A JP 2012548923A JP 2012548923 A JP2012548923 A JP 2012548923A JP 2013517677 A JP2013517677 A JP 2013517677A
- Authority
- JP
- Japan
- Prior art keywords
- text
- image
- display
- disparity
- disparity information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、同一の譲受人に共通して譲渡された、米国特許出願(代理人整理番号PU090183、発明の名称「3D画像を2D画像と識別し、特徴点対応付けの決定により、3D画像形式の存在を特定する方法)に関する。上記出願の内容は参照により、全体として本明細書に明示的に包含されている。
d=Xrの水平位置−Xlの水平位置 (1)
式(1)の構成においては、左表示Lおよび左表示Rを生成する2つのカメラは、その間に若干の水平距離を有し、サイドバイサイド構成に配置されていると仮定する。このサイドバイサイド構成は、一つのカメラが他のカメラの上方に位置する状態のカメラの垂直配置により、カメラが垂直分離を呈する状態をカバーすることも意図している。カメラが垂直または上下構成で配置されている場合は、式はそれに応じて変更され、スクリーン視差が以下のような式(2)に従って画定されることとなる。
d=Xrの垂直位置−Xlの垂直位置 (2)
上記式(2)においては、dが正(>0)の場合は、認識された画像はスクリーンの後ろ側(すなわち、テレビ面の後ろ側)に配置され、当該状態は正の視差の一つであり、dがゼロ(=0)の場合は、認識された画像はスクリーン上に配置され、当該状態は無視差の一つであり、dが負(<0)の場合は、認識された画像はスクリーンの前に配置され、当該状態は負の視差の一つである。
実際の深度(A)>実際の深度(B)>実際の深度(C)
のように、一つのフレーム内のポイントA,B,Cが実際の深度について順位序列を呈する場合は、
認識された深度の順位序列は以下のようになることが予測されるものとする。
認識された深度(A)>認識された深度(B)>認識された深度(C)
上記で説明したように、これらのポイント間の実際の距離は、実際の深度から認識された深度に移行する際には、一般的には維持されない。これらの関係は、同一フレーム内で維持されることが意図される。異なるフレームにわたって、これらの関係が同一ポイントA,B,Cについて残存するとは必ずしも予測されない。
d=f(P,DX,IntD,UD) (3)
すなわち、最良の視差値dは、P,DX,IntD,UDの視差パラメータ値から得られた一部または全部の視差情報に依存する要件f(・)から算定される。以下に示した視差情報のより詳細な説明から、要件の関数のための基礎となるパラメータはPであることが理解される。なぜなら、残りのパラメータDX,IntD,UDは、Pから直接的あるいは間接的に算定できるからである。全ての視差パラメータのPに対する最終的な依存関係に関するこの知見に基づき、最良の視差値dの公式化は、以下のような式(4)により簡略化してもよい。
d=f(P) (4)
もちろん、簡略化されたdの公式化は、特定の要件が必要とする数と同数のPから導かれたパラメータを含むより厳密な表現を網羅することが理解される。
NF1={NF1i|i=1… N} (5)
Rにおける新たな特徴点または残りの特徴点は、以下のような式(6)により特徴付けられる。
NF2={NF2i|i=1… N} (6)
ここでNは、対応関係を有する特徴点の総数である。(NF1i,NF2i)として指定されたペアは、L表示およびR表示の双方の中に検出される、一対のマッチングした特徴点のペアを特定する。特徴点対応付けおよびマッチングは、当該技術分野で周知であると考えられ、本明細書には詳細に記載されていない。本明細書に参照により包含され、本明細書中の以下に列記されたて複数の文献は、画像の特徴点に適用される多くの対応付けおよび選択手法を開示している。ステップS54が終了すると、図5の方法はステップS55に進む。
IntDmin=max(IntDmin,Pmin) (7)
IntDmax=min(intDmax,Pmax) (8)
UDmin=min(UDmin,Pmin)および
UDmax=max(UDmax,Pmax)
上記で画定した算定により、合併UDminの値は、UDminの前値またはPminの現在値のいずれかのうち最小のものにより置き換えることができる。同様に、UDmaxについて上記で画定した算定により、合併UDmaxの値は、UDmaxの前値またはPmaxの現在値のいずれかのうち最大のものにより置き換えることができる。
Claims (16)
- テキストを三次元(3D)画像コンテンツと合成する方法であって、結果として生じる画像は3D表示装置により表示可能であり、
前記方法は、
少なくとも一つの3D画像を含む前記3D画像コンテンツおよび前記少なくとも一つの3D画像と関連付けられたテキストの双方を受け取るステップであって、前記少なくとも一つの3D画像は、第1の表示および第2の表示を含む、前記ステップと、
前記少なくとも一つの3D画像から視差情報を抽出するステップと、
前記第1の表示におけるテキストのための位置を決定するステップと、
前記第2の表示におけるテキストのための位置を決定するステップと、を含み、
前記第2の表示における位置は、少なくとも部分的には、前記視差情報に基づいた量だけ、対応する3D画像の第1の表示における位置に対してオフセットされる、前記方法。 - 前記3D画像コンテンツに対するテキストの所望の配置を特定するための少なくとも一つの要件を受け取るステップを更に含み、
前記第2の表示におけるテキストの前記位置のための前記オフセット量は、少なくとも部分的には、前記視差情報および前記少なくとも一つの要件の双方にも基づいている、請求項1に記載の方法。 - 各表示について、配置されたテキストを有する前記少なくとも一つの3D画像コンテンツの前記第1および第2の表示を処理するステップを更に含み、テキスト及び関連する3D画像コンテンツの合成を前記3D表示装置に表示する、請求項1に記載の方法。
- 前記視差情報が抽出されたもととなる前記3D画像コンテンツに関連付けて、前記視差情報、および前記3D画像コンテンツに関連したテキストを記憶するステップを更に含む、請求項2に記載の方法。
- 各表示について、配置されたテキストを有する前記少なくとも一つの3D画像コンテンツの前記第1および第2の表示を処理するステップを更に含み、テキスト及び関連する3D画像コンテンツの合成を前記3D表示装置に表示する、請求項4に記載の方法。
- 前記オフセット量が抽出されたもととなる前記3D画像コンテンツに関連付けて、前記オフセット量、および前記3D画像コンテンツに関連したテキストを記憶するステップを更に含む、請求項2に記載の方法。
- 各表示について、配置されたテキストを有する前記少なくとも一つの3D画像コンテンツの前記第1および第2の表示を処理するステップを更に含み、テキスト及び関連する3D画像コンテンツの合成を前記3D表示装置に表示する、請求項6に記載の方法。
- 前記視差情報は、視差値の集合(P)、視差範囲の集合(DX),視差値の交わり集合(IntD),視差値の和集合(UD)を備えた、請求項2に記載の方法。
- 前記抽出するステップは更に、
前記3D画像コンテンツの第1および第2の表示における少なくとも一対の対応する特徴点を検出するステップと、
前記少なくとも一対の対応する特徴点に関する前記視差情報を抽出するステップと、
前記一対の対応する特徴点に関する前記抽出された視差情報を、先行する一対の対応する特徴点の抽出後に生じる既存の視差情報と比較し、前記既存の視差情報を更新するか否かを判断するステップと、
前記既存の視差情報を、現に抽出された視差情報の少なくとも一部により更新するステップを含み、更新が必要であると判断された場合、更新された視差情報は、前記既存の視差情報に置き換わる、請求項8に記載の方法。 - 前記抽出するステップは更に、
前記少なくとも一つの3D画像コンテンツから得られた視差情報を既存の視差情報として保持するステップと、
少なくとも第2の3D画像コンテンツから視差情報を抽出するステップと、
前記少なくとも一つの3D画像コンテンツから得られた前記既存の視差情報を、前記少なくとも第2の3D画像コンテンツに関する前記抽出された視差情報の少なくとも一部により更新するステップを含み、更新が必要であると判断された場合、更新された視差情報は、前記既存の視差情報に置き換わる、請求項2に記載の方法。 - 前記第1の表示におけるテキストの前記位置と、テキストが抽出されたもととなる前記3D画像コンテンツに関連付けられた前記第2の表示におけるテキストの位置と、前記3D画像コンテンツに関連したテキストを記憶するステップを更に含む、請求項2に記載の方法。
- 前記抽出するステップは、現画像から抽出された視差情報と1つ以上の先行する画像から抽出された視差情報の合成に基づいて、前記視差情報を決定するステップを更に含む、請求項8に記載の方法。
- 前記抽出するステップは、現画像から抽出された視差情報、1つ以上の先行する画像から抽出された視差情報、1つ以上の後続の画像から抽出された視差情報、および1つ以上の後続の画像から抽出された視差情報の合成に基づいて、前記視差情報を決定するステップを更に含む、請求項8に記載の方法。
- 前記少なくとも一つの要件は、画像全体についての所定の視差値で前記テキストを配置するステップ、画像の選択された領域についての所定の視差値で前記テキストを配置するステップ、前記コンテンツを遮断することを回避し、連続する視差値についての変化量を少量に限定するために、前記テキストを配置するステップから成る群から選択される、請求項2に記載の方法。
- テキストを三次元(3D)画像コンテンツと合成する装置であって、結果として生じる画像は3D表示装置により表示可能であり、
前記装置は、
少なくとも一つの3D画像を含む前記3D画像コンテンツおよび前記少なくとも一つの3D画像と関連付けられたテキストの双方を受け取る手段であって、前記少なくとも一つの3D画像は、第1の表示および第2の表示を含む前記手段と、
前記少なくとも一つの3D画像から視差情報を抽出する手段と、
前記第1の表示におけるテキストのための位置を決定する手段と、
前記第2の表示におけるテキストのための位置を決定する手段と、を備え、
前記第2の表示における位置は、少なくとも部分的には、前記視差情報に基づいた量だけ、対応する3D画像の第1の表示における位置に対してオフセットされる、前記装置。 - 1つ以上の実行可能命令を記憶した機械可読媒体であって、該1つ以上の実行可能命令は、デジタル処理システムにより実行される場合は、前記デジタル処理システムに、テキストを三次元(3D)画像コンテンツと合成する方法を実行させ、結果として生じる画像は、3D表示装置により表示可能である、前記機械可読媒体において、前記方法は、
少なくとも一つの3D画像を含む前記3D画像コンテンツおよび前記少なくとも一つの3D画像と関連付けられたテキストの双方を受け取るステップであって、前記少なくとも一つの3D画像は、第1の表示および第2の表示を含む、前記ステップと、
前記少なくとも一つの3D画像から視差情報を抽出するステップと、
前記第1の表示におけるテキストのための位置を決定するステップと、
前記第2の表示におけるテキストのための位置を決定するステップと、を含み、
前記第2の表示における位置は、少なくとも部分的には、前記視差情報に基づいた量だけ、対応する3D画像の第1の表示における位置に対してオフセットされる、前記機械可読媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2010/000077 WO2011087470A1 (en) | 2010-01-13 | 2010-01-13 | System and method for combining 3d text with 3d content |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016126357A Division JP6391629B2 (ja) | 2016-06-27 | 2016-06-27 | 3dテキストを3dコンテンツと合成するシステムおよび方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013517677A true JP2013517677A (ja) | 2013-05-16 |
Family
ID=41727851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012548923A Pending JP2013517677A (ja) | 2010-01-13 | 2010-01-13 | 3dテキストを3dコンテンツと合成するシステムおよび方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20130002656A1 (ja) |
EP (1) | EP2524510B1 (ja) |
JP (1) | JP2013517677A (ja) |
KR (1) | KR20120123087A (ja) |
CN (1) | CN102792700A (ja) |
TW (1) | TW201143367A (ja) |
WO (1) | WO2011087470A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013520925A (ja) * | 2010-02-25 | 2013-06-06 | トムソン ライセンシング | 視差推定を用いる、視差の時間的変動を制限する2眼式立体字幕付け |
JP4908624B1 (ja) * | 2010-12-14 | 2012-04-04 | 株式会社東芝 | 立体映像信号処理装置及び方法 |
US9679496B2 (en) * | 2011-12-01 | 2017-06-13 | Arkady Zilberman | Reverse language resonance systems and methods for foreign language acquisition |
JP5571257B2 (ja) * | 2011-12-19 | 2014-08-13 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
CN102611906A (zh) * | 2012-03-02 | 2012-07-25 | 清华大学 | 具有自适应深度的立体视频图文标签的显示和编辑方法 |
JP6092525B2 (ja) * | 2012-05-14 | 2017-03-08 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 画像処理装置、情報処理システム、画像処理方法およびプログラム |
TWI555400B (zh) | 2012-05-17 | 2016-10-21 | 晨星半導體股份有限公司 | 應用於顯示裝置的字幕控制方法與元件 |
JP2013243585A (ja) * | 2012-05-22 | 2013-12-05 | Funai Electric Co Ltd | 映像信号処理装置 |
US10212406B2 (en) * | 2016-12-15 | 2019-02-19 | Nvidia Corporation | Image generation of a three-dimensional scene using multiple focal lengths |
WO2023282619A1 (ko) * | 2021-07-06 | 2023-01-12 | 주식회사 메디트 | 3차원 모델 상에 텍스트를 추가하는 방법 및 3차원 모델 처리 장치 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11113028A (ja) * | 1997-09-30 | 1999-04-23 | Toshiba Corp | 3次元映像表示装置 |
JPH11289555A (ja) * | 1998-04-02 | 1999-10-19 | Toshiba Corp | 立体映像表示装置 |
JP2001045523A (ja) * | 1999-07-30 | 2001-02-16 | Nippon Telegr & Teleph Corp <Ntt> | 三次元画像処理装置 |
JP2004104331A (ja) * | 2002-09-06 | 2004-04-02 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
WO2008115222A1 (en) * | 2007-03-16 | 2008-09-25 | Thomson Licensing | System and method for combining text with three-dimensional content |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5625408A (en) * | 1993-06-24 | 1997-04-29 | Canon Kabushiki Kaisha | Three-dimensional image recording/reconstructing method and apparatus therefor |
US5784097A (en) * | 1995-03-29 | 1998-07-21 | Sanyo Electric Co., Ltd. | Three-dimensional image display device |
JP3596314B2 (ja) * | 1998-11-02 | 2004-12-02 | 日産自動車株式会社 | 物体端の位置計測装置および移動体の通行判断装置 |
JP2004274125A (ja) * | 2003-03-05 | 2004-09-30 | Sony Corp | 画像処理装置および方法 |
CN101841728B (zh) * | 2003-04-17 | 2012-08-08 | 夏普株式会社 | 三维图像处理装置 |
IL175632A (en) * | 2006-05-15 | 2011-08-31 | Rafael Advanced Defense Sys | Method, system and computer product for deriving three dimensional information progressively from a streaming video sequence |
CN101523924B (zh) * | 2006-09-28 | 2011-07-06 | 皇家飞利浦电子股份有限公司 | 3d菜单显示 |
JP2009135686A (ja) * | 2007-11-29 | 2009-06-18 | Mitsubishi Electric Corp | 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置 |
CA2726208C (en) * | 2008-05-28 | 2018-04-03 | Thomson Licensing | System and method for depth extraction of images with forward and backward depth prediction |
KR20100002032A (ko) * | 2008-06-24 | 2010-01-06 | 삼성전자주식회사 | 영상 생성 방법, 영상 처리 방법, 및 그 장치 |
JP4637942B2 (ja) * | 2008-09-30 | 2011-02-23 | 富士フイルム株式会社 | 3次元表示装置および方法並びにプログラム |
RU2546546C2 (ru) * | 2008-12-01 | 2015-04-10 | Аймакс Корпорейшн | Способы и системы для представления трехмерных изображений движения с адаптивной к содержимому информацией |
US8269821B2 (en) * | 2009-01-27 | 2012-09-18 | EchoStar Technologies, L.L.C. | Systems and methods for providing closed captioning in three-dimensional imagery |
JP2011071898A (ja) * | 2009-09-28 | 2011-04-07 | Panasonic Corp | 立体映像表示装置および立体映像表示方法 |
US9049431B2 (en) * | 2009-12-31 | 2015-06-02 | Cable Television Laboratories, Inc. | Method and system for generation of captions over stereoscopic 3D images |
-
2010
- 2010-01-13 KR KR1020127021223A patent/KR20120123087A/ko not_active Application Discontinuation
- 2010-01-13 JP JP2012548923A patent/JP2013517677A/ja active Pending
- 2010-01-13 WO PCT/US2010/000077 patent/WO2011087470A1/en active Application Filing
- 2010-01-13 US US13/521,290 patent/US20130002656A1/en not_active Abandoned
- 2010-01-13 EP EP10702936.5A patent/EP2524510B1/en active Active
- 2010-01-13 CN CN2010800654034A patent/CN102792700A/zh active Pending
-
2011
- 2011-01-13 TW TW100101302A patent/TW201143367A/zh unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11113028A (ja) * | 1997-09-30 | 1999-04-23 | Toshiba Corp | 3次元映像表示装置 |
JPH11289555A (ja) * | 1998-04-02 | 1999-10-19 | Toshiba Corp | 立体映像表示装置 |
JP2001045523A (ja) * | 1999-07-30 | 2001-02-16 | Nippon Telegr & Teleph Corp <Ntt> | 三次元画像処理装置 |
JP2004104331A (ja) * | 2002-09-06 | 2004-04-02 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
WO2008115222A1 (en) * | 2007-03-16 | 2008-09-25 | Thomson Licensing | System and method for combining text with three-dimensional content |
Also Published As
Publication number | Publication date |
---|---|
EP2524510A1 (en) | 2012-11-21 |
CN102792700A (zh) | 2012-11-21 |
TW201143367A (en) | 2011-12-01 |
WO2011087470A1 (en) | 2011-07-21 |
EP2524510B1 (en) | 2019-05-01 |
KR20120123087A (ko) | 2012-11-07 |
US20130002656A1 (en) | 2013-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10200678B2 (en) | System and method for combining text with three-dimensional content | |
JP2013517677A (ja) | 3dテキストを3dコンテンツと合成するシステムおよび方法 | |
KR101210315B1 (ko) | 3차원 비디오 위에 그래픽 객체를 오버레이하기 위한 추천 깊이 값 | |
US9565415B2 (en) | Method of presenting three-dimensional content with disparity adjustments | |
KR101716636B1 (ko) | 3d 비디오 및 보조 데이터의 결합 | |
KR101310212B1 (ko) | 입체 상의 3d 객체를 상대적인 깊이로 삽입하는 방법 | |
CN102318353B (zh) | 用于处理视频图像的方法和设备 | |
WO2010064118A1 (en) | Methods and systems for presenting three-dimensional motion pictures with content adaptive information | |
US20120098856A1 (en) | Method and apparatus for inserting object data into a stereoscopic image | |
JP6391629B2 (ja) | 3dテキストを3dコンテンツと合成するシステムおよび方法 | |
JP5337282B1 (ja) | 3次元画像生成装置および3次元画像生成方法 | |
US20240155095A1 (en) | Systems and methods for processing volumetric images | |
CN104980732B (zh) | 测量立体运动画面的潜在眼睛疲劳的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131127 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20140220 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140227 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20141022 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150226 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20151021 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160406 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160627 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20160705 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160707 |