JP2013520924A - 立体映像用の字幕付け - Google Patents

立体映像用の字幕付け Download PDF

Info

Publication number
JP2013520924A
JP2013520924A JP2012554967A JP2012554967A JP2013520924A JP 2013520924 A JP2013520924 A JP 2013520924A JP 2012554967 A JP2012554967 A JP 2012554967A JP 2012554967 A JP2012554967 A JP 2012554967A JP 2013520924 A JP2013520924 A JP 2013520924A
Authority
JP
Japan
Prior art keywords
subtitles
frame
eye view
content
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012554967A
Other languages
English (en)
Inventor
バルコンス−パラウ,ヘスース
リヤツク,ホアン
アル−カンジ,ロウアイ,マーワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2013520924A publication Critical patent/JP2013520924A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • H04N9/8715Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本発明の方法、装置、及び、システムは、立体映像用の字幕の配置と立体字幕の視差の選択とを可能にし、立体映像コンテンツの各フレーム内での字幕の適切な表示を確実に行う。一実施形態において、本発明の概念の機能性は、受信したファイル情報に基づいて、3D表示についてサポートされるモード(即ち、ライン・インタリーブ、チェッカーボード・パターン)を用いて、2つのストリーム(一方のストリームは左ビュー、他方のストリームは右ビュー)を読み取り、それらのストリームをリアルタイムでミキシングすることによって立体映像コンテンツを表示でき、更に、受信したファイル情報内の各値をレンダリングすることによって字幕を各フレーム内に挿入できるプレーヤーに基づいている。

Description

(関連出願のクロスリファレンス)
本出願は、2010年2月24日に提出された米国仮出願第61/307779号の利益を主張する。
本発明は概して字幕に関し、更に詳しくは、3Dコンテンツに字幕を組み込む方法、装置、及び、システムに関する。
2次元コンテンツの場合、字幕は、通常、同じ場所に、例えば、1つのフレーム又は一連のフレームの下部に配置される。これとは対照的に、3次元コンテンツの場合、フレーム内の要素に応じて、1つのフレーム又は一連のフレームの特定の領域に字幕を配置することが合理的である。
3次元コンテンツに関して考慮すべきもう1つの点は、3次元コンテンツを表示することに関係する視差(ディスパリティ)である。更に具体的に述べると、2次元コンテンツでは、両目が同じフレームを見るのに対して、3次元コンテンツでは、それぞれの目が相異なるフレームを見る。従って、3次元コンテンツの字幕は、水平軸上の相異なる位置に描画され得る。水平方向の位置の差は、視差と呼ばれる。
従って、3次元コンテンツに字幕を付けることは、制御すべき、かつ、考慮に入れるべき変動要素が多いため、2次元コンテンツよりもずっと複雑である。
本発明の各実施態様は、立体映像コンテンツ用の字幕を提供する方法、装置、及び、システムを提供することによって、従来技術の欠点に対処する。本発明の種々の実施態様では、本発明のシステムによって、オペレータが、立体映像用字幕を配置し、立体的な字幕の視差を選択して、適切な表示を確実に行うことが可能になる。
本発明の一態様において、本発明の概念の機能性は、受信ファイル情報に基づく3D表示についてサポートされるモード(即ち、ライン・インタリーブ、チェッカーボード・パターン)を用いて、2つのストリーム(一方は左ビュー、他方は右ビュー)を読み取り、それらのストリームをリアルタイムでミキシングすることによって、立体映像コンテンツを表示可能なプレーヤーに基づいている。
更に具体的には、本発明の一態様において、3次元コンテンツ内に字幕を配置する方法は、字幕を挿入すべき3次元コンテンツの少なくとも1つの左目ビュー・フレームを受信するステップと、字幕を挿入すべき前記3次元コンテンツの少なくとも1つの対応する右目ビュー・フレームを受信するステップと、各フレーム内に挿入すべき字幕と、字幕を挿入するための各フレーム内の少なくともそれぞれの位置とを特定するファイル情報を受信するステップと、受信したファイル情報内の各値をレンダリングすることによって字幕を各フレーム内に挿入し、また、受信したファイル情報内の各値を変更することによって各フレームにおける字幕の位置をリアルタイムで操作する手段を提供するステップと、を含んでいる。この方法は、字幕が付けられた少なくとも1つの左目ビュー・フレームと字幕が付けられた少なくとも1つの右目ビュー・フレームとをミキシングするステップを更に含むことができる。
本発明の別の態様において、3次元コンテンツ内に字幕を配置する字幕付け装置は、プログラム・ルーチンとデータ・ファイルとを記憶するメモリと、プログラム・ルーチンを実行するプロセッサとを有している。本発明のこのような態様において、プロセッサは、プログラム・ルーチンを実行する際に、3次元コンテンツの少なくとも1つの左目ビュー・フレーム内と少なくとも1つの対応する右目ビュー・フレーム内とに字幕を挿入するステップであって、この挿入を、各フレーム内に挿入すべき字幕と、字幕を挿入するための各フレーム内の少なくともそれぞれの位置とを特定する情報を含むファイル内の各値をレンダリングすることによって行う該ステップと、ファイル内の各値を変更することによって、各フレーム内の字幕の位置をリアルタイムで操作するステップと、を行うように構成されている。
本発明の別の態様において、3次元コンテンツ内に字幕を配置するシステムは、字幕を挿入すべき3次元コンテンツの少なくとも1つの左目ビュー・フレームの供給源と、字幕を挿入すべき3次元コンテンツの少なくとも1つの右目ビュー・フレームの供給源と、字幕付け装置とを有し、字幕付け装置は、字幕を挿入すべき3次元コンテンツの少なくとも1つの左目ビュー・フレームを受信し、字幕を挿入すべき3次元コンテンツの少なくとも1つの右目ビュー・フレームを受信し、各フレーム内に挿入すべき字幕と、字幕を挿入するための各フレーム内の少なくともそれぞれの位置とを特定するファイル情報を受信し、受信したファイル情報内の各値をレンダリングすることによって字幕を各フレーム内に挿入し、また、受信したファイル情報の各値を変更することによって各フレームにおける字幕の位置をリアルタイムで操作する。
本発明の教示は、添付図面を参照しつつ、以下の詳細な説明を検討することによって、容易に理解することができる。
本発明の一実施形態による、立体映像コンテンツ用の字幕を提供するシステムの高レベルのブロック図である。 本発明の一実施形態による、図1のシステムでの使用に適したグラフィカル・ユーザ・インタフェースの高レベルのブロック図である。 本発明の一実施形態による、立体映像の左右の各ビューに挿入された字幕の代表的な図である。 図3aの立体映像の左右の各ビューに挿入された字幕の更に詳細な図である。 本発明の一実施形態による、字幕が挿入された図3aの立体映像の描画ウィンドウの代表的な図である。 本発明の一実施形態による、3次元コンテンツ内に字幕を配置する方法の流れ図である。 本発明の種々の実施形態の創意に富んだ方法とプロセスを実行するのに適した字幕付け装置の一実施形態の高レベルのブロック図である。
なお、各図面は、本発明の概念を例示することを目的とするものであり、必ずしも、本発明を例示する唯一の可能な構成ではないことを理解されたい。理解を容易にするために、可能であれば、各図に共通した同一の要素を指し示すために同一の参照番号を使用している。
本発明は、立体映像コンテンツ用の字幕を提供する方法、装置、及び、システムを有利に提供する。本発明は、主に、情報ファイルを使用して3次元コンテンツ用の字幕を提供する状況の範囲内で説明するが、本発明の具体的な各実施形態は、本発明の範囲を限定するものとして解されるべきではない。本発明の概念が、実質的にあらゆる立体映像コンテンツに適用でき、かつ、ファイル構造に加えてその他の形態で字幕に関する情報を受信することにも適用できることは、当業者であれば、本発明の教示から理解できるであろう。
各図に示す種々の要素の各機能は、専用ハードウェアの使用、並びに、適切なソフトウェアと共同してソフトウェアを実行できるハードウェアの使用によって提供できる。各機能は、プロセッサによって提供される場合、単一の専用プロセッサによって、あるいは、単一の共用プロセッサによって、あるいは、一部が共用できる複数の個別のプロセッサによって提供できる。更に、「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアを実行できるハードウェアを排他的に意味すると解釈されるべきではなく、デジタル信号プロセッサ(「DSP」)ハードウェア、ソフトウェアを記憶するリード・オンリー・メモリ(「ROM」)、ランダム・アクセス・メモリ(「RAM」)、及び、不揮発性記憶装置を黙示的に無制限に含んでいる。更に、本発明の各原理、各態様、及び、各実施形態、並びに、それらの各具体例を挙げる全ての記載は、それらの構造的な均等物と機能的な均等物の両方を包含することを意図している。更に、そのような均等物は、現在周知の均等物と将来開発される均等物(即ち、構造に関わらず、同じ機能を果たす、開発される任意の要素)の両方を含むことを意図している。
従って、当業者であれば、例えば、ここに提示された各ブロック図が、本発明の各原理を実施している例示的なシステム構成要素、及び/又は、回路の理論的な概観を代表していることを理解するであろう。同様に、あらゆるフローチャート、流れ図、状態遷移図、及び、擬似コード等が、コンピュータ可読媒体において表され、従って、コンピュータ、あるいは、プロセッサによって(そのようなコンピュータ、あるいは、プロセッサが明示的に示されているか否かに関わらず)実行され得る種々のプロセスを示すことも理解するであろう。
前述したように、3次元(3D)コンテンツのような立体映像コンテンツに字幕を加えることは、2次元コンテンツに字幕を加えることよりもずっと複雑である。例えば、3Dコンテンツの場合、字幕が遮られないように、フレーム内の要素/オブジェクトに応じて1つのフレーム又は一連のフレームの特定の領域に字幕を配置することが合理的である。また、3Dコンテンツの場合、3Dコンテンツを表示することに関係する視差を考慮に入れる必要がある。従って、3次元コンテンツ用の字幕は、水平軸上の相異なる位置に描画され得る。
図1には、本発明の一実施形態による、立体映像(3D)コンテンツに字幕を提供するシステム100の高レベルのブロック図が示されている。図1のシステム100は、例示的に、3Dコンテンツの左目ビューの供給源105と右目ビューの供給源110とを含んでいる。図1のシステム100には、更に、立体字幕付け装置115、ミクサ125、及び、立体(3D)映像を描画する描画装置130を含んでいる。
図1のシステム100において、左目ビューの供給源105及び右目ビューの供給源110からのコンテンツが、立体字幕付け装置115を介して、ミクサ125に送信される。本発明の一実施形態において、図1のシステム100のミクサ125は、例えば、ライン・インタリーブ、あるいは、チェッカーボード・パターンの3D表示についてサポートされるモードを使用して、2つの供給源105及び110からのコンテンツを結合(ミキシング)することが可能である。
図1のシステム100において示されているように、立体字幕付け装置115は、立体(3D)映像に挿入される字幕に関する情報を含む情報ファイル(例えば、テキスト・ファイル)と共に、左目ビューの供給源105及び右目ビューの供給源110からのコンテンツを受信する。本発明の一実施形態において、立体字幕付け装置115に送信される情報ファイルは、以下のような情報を含むことができる。
字幕画像ファイル(例えば、TIFFファイル)
タイムスタンプ(最初と最後)
位置(X,Y)
視差(Z)
すなわち、本発明の一実施形態において、立体字幕付け装置は、立体映像と、字幕並びに字幕が挿入されるべき立体映像内の場所及び位置に関する情報とを受信する。受信情報は、立体映像についての視差情報を更に含んでいる。本発明の一実施形態において、受信情報は、制御ファイルの形態を取っており、立体映像と共に送信される。本発明の別の実施形態において、制御情報は、メタデータとして立体映像内に入れて送信される。本発明の更に別の実施形態において、このような制御情報は、ローカル又はリモートの記憶媒体または記憶装置に記憶することができ、それにより、本発明の立体字幕付け装置は、立体映像を受信した時に、その記憶された情報を、受信映像を識別する情報と比較して、記憶された制御情報ファイルの何れかが、受信立体映像コンテンツに適用すべきデータであるかどうかを判定できる。
本発明の各実施形態の概念によれば、本発明の立体字幕付け装置は、受信した制御ファイル情報を使用して、字幕を受信立体映像内に配置する。本発明の一実施形態において、制御ファイル情報は、以前に字幕を挿入していない立体映像内に初めて字幕を配置することに使用され、あるいは、本発明の更に別の実施形態において、受信された制御ファイル情報は、受信立体映像内に既に存在している字幕の位置を調整するために使用される。例えば、図1のシステム100において、立体字幕付け装置115は、受信制御ファイルと、一例として、字幕を含むTIFF画像ファイルとを読み取り、最初のタイムスタンプと最後のタイムスタンプとの間の全てのフレームについて、適切な位置と視差で、字幕を描画する。
図6には、本発明の種々の実施形態の創意に富んだ方法とプロセスを実行するのに適した字幕付け装置115の実施形態の高レベルのブロック図が示されている。更に具体的には、図6の字幕付け装置115は、一例として、プロセッサ610と、制御プログラム、ファイル情報、蓄積メディア等を格納するメモリ620とを含んでいる。字幕付け装置115は、電源、クロック回路、キャッシュ・メモリ等、及び、メモリ620に記憶されたソフトウェア・ルーチンの実行のアシストを行う回路等の従来型のサポート回路630と協働する。従って、ここでソフトウェア処理として述べる処理ステップの一部が、例えば、字幕付け装置115と協働して種々のステップを行う回路としてのハードウェア内で実施されてもよいと考えられる。字幕付け装置115は、ミクサ、ディスプレイ、コンテンツ供給源等の、字幕付け装置115に接続された種々の機能要素間のインタフェースを形成する、入出力回路640を含んでいる。
図6の字幕付け装置115は、本発明に従って種々の制御機能を行なうようにプログラムされた汎用コンピュータとして示されているが、本発明は、前述したように、ハードウェアで実施でき、例えば、特定用途向け集積回路(ASIC)として実施できる。従って、ここに記載した各処理ステップは、ソフトウェア、ハードウェア、あるいは、それらの組み合わせによって同等に行われると広く解釈されることを意図している。
本発明の概念により、オペレータ/ユーザは、情報/制御ファイル内の値を操作することによって、字幕の位置と視差をリアルタイムで操作することができる。本発明の概念によるこのようなアプリケーションによって、立体映像コンテンツ用の字幕の配置と見映えとが改善され、また、従来の3Dコンテンツに字幕を付ける技術に比べて処理速度が速くなる。その理由は、情報ファイルの値の変更が、立体映像における字幕の最終結果に、どのような影響を及ぼすかを、オペレータ/ユーザが即座に見られるためである。
例えば、図2には、本発明の一実施形態による、図1のシステム100における字幕付け装置115と共に使用するのに適したグラフィカル・ユーザ・インタフェース(GUI)の高レベルの図が示されている。図2に示されているように、本発明の一実施形態によるGUIには、ロードするファイルを見つけるためのブラウザと、字幕用の左右位置の各インジケータと、その左右の各位置をオフセットするための「上」ボタン及び「下」ボタンと、グローバル・オフセット・インジケータ及びX、Y、Zの各調整ボタンと、出力ファイルに名称を付けるためのテキスト・バーと、タイム及びファイル名の各インジケータと、タイムコード・インジケータ及びキュー・ボタンとを設けることができる。本発明の一実施形態によれば、Z調整は、フレーム内の字幕の視差または位置を調整することに使用される。
図2のGUIは、更に一例として、プレー/ポーズ・ボタン、順方向ボタン、及び、逆方向ボタンを含む再生ビューポートを含んでいる。図2のGUIのビューポート領域は、X及びYの微調整用の各オフセット・ボタンと各インジケータとを更に含んでいる。対象とする字幕の再生がループで再生するように構成でき、あるいは、前の字幕又は次の字幕をそれぞれのボタンを使って選択できる。図2に示されているように、図2のGUIの他の領域において、ユーザは、オプションとして、字幕についての安全領域の境界を設定できる。
更に具体的には、本発明の一実施形態において、安全字幕領域を、立体映像コンテンツの各フレーム上に設定できる。このような領域が、例えば図2のGUIを使用することによって指定されると、その領域中の要素だけが、規格に準拠した任意のディスプレイ上に描画されることが保証される。例えば、本発明の一実施形態において、安全字幕領域内の要素は、フレームのその他の如何なるオブジェクト上に描画されることが保証され、その結果、その字幕はその他のオブジェクトによって遮られることはない。従って、本発明によるこのような機能は、ユーザ/オペレータがその定められた領域内で字幕を完全に描画することを確実に行える点で、便利である。なお、コンテンツは立体コンテンツであるので、「安全字幕領域」は、字幕の表示を遮るかもしれないシーン(場面)上の各オブジェクトの前に、特定の視差で描画する必要がある。そのような視差の値は、図2のGUIを使用して選択できる。
図2に示されているように、本発明のGUIには、字幕についてのコメントを挿入するためのコメント・セクションを更に含むことができる。本発明の一実施形態において、コメントは、GUI上に表示され、かつ制御ファイル情報と共に記憶される。更に、本発明の概念は、3D描画モードをオンザフライで(即ち、ライン・インタリーブからチェッカーボード・パターンに)変更することに使用でき、種々の表示/フォーマットで字幕の表示を可能にする。
更に、コンテンツのフレーム・サイズが、描画ウィンドウ(例えば、2048x1200及び1920x1080)より大きい場合、ビューポートの下のコンテンツだけが描画される。本発明の一実施形態において、ユーザは、ビューポートをリアルタイムに変更できる。本発明の一実施例において、各ビューの変化を避けるために(即ち、ライン・インタリーブを使用した場合、各ビューの変化によって、スクリーン上で視差が反転することになる)、垂直軸上の動き精度(motion granularity)は2画素である。
本発明の種々の実施形態によれば、本発明の立体字幕付け装置115は、例えば図2のGUIによって、以下の各機能を備えることができる。
・立体映像相互間の視差を特定することによって、あるいは、通知されることによって、字幕の視差と位置とを自動的に推定する。
・「安全字幕」領域の視差を自動的に推定する。
・どの視差、及び、どの位置が問題を生じさせ得るか(即ち、字幕がオブジェクトの後ろに描画される、視差がある閾値より高い状態で字幕が描画される等)を字幕のオペレータに知らせる。
・(オーディオ処理を使用することに因る)タイムスタンプとオーディオとの不整合をオペレータに知らせて、新たなタイムスタンプを推奨する。
本発明の一実施形態において、立体字幕付け装置115によって特定され、かつ受信された情報は、ミクサ125及び/又は描画装置130に送信され、立体の映像と字幕が処理されて表示される。
図1のシステム100において、立体字幕付け装置115は、一例として、システム100内では独立した構成要素であるが、本発明の別の実施形態においては、立体字幕付け装置115は、ミクサ125あるいは描画装置130に組み込まれた構成要素とすることができる。
図3aには、本発明の一実施形態による、立体映像の左右の各ビューに挿入された字幕の代表的な図が示されている。更に具体的には、図3aに示されているように、本発明の立体字幕付け装置115は、字幕を左右の各映像に挿入し、配置し、適切に表示するように実施される。
図3bには、図3aの立体映像の左右の各ビューに挿入された字幕の更に詳細な図が示されている。図3bに示されているように、挿入された字幕は、立体字幕付け装置115と図1のシステム100の各構成要素とによって可能となる、字幕の位置と視差の操作によって、立体映像内で正しく表示される。
図4には、本発明の一実施形態による、字幕が挿入された図3aの立体映像の描画ウィンドウの代表的な図が示されている。更に具体的には、図4には、字幕がフレーム内の指定された「安全字幕」領域内に挿入された立体映像のフレームが示されている。前述したように、安全字幕領域内の字幕は、規格に準拠した任意のディスプレイ上に描画されることが保証される。
図5には、本発明の一実施形態による、3次元コンテンツ内に字幕を配置する方法の流れ図が示されている。この方法500は、ステップ502から開始し、このステップにおいて、字幕を挿入すべき3次元コンテンツの少なくとも1つの左目ビュー・フレームと少なくとも1つの右目ビュー・フレームとを受信する。次に、方法500はステップ504に進む。
ステップ504において、各フレーム内に挿入すべき字幕と、その字幕を挿入するための各フレーム内の位置とを特定するファイル情報を受信する。次に、方法500はステップ506に進む。
ステップ506において、受信したファイル情報内の各値をレンダリングすることによって、各フレーム内に字幕を挿入し、また、受信したファイル情報内の各値を変更することによって、各フレーム内の字幕の位置をリアルタイムで操作する手段を提供する。その後、方法500は終了できる。
本発明の概念によれば、ユーザは、オプションとして、例えば制御ファイル内の全ての字幕の位置及び視差を変更するために、例えば図2のGUIを使用して、制御ファイル情報に適用されるオフセットを設定できる。このような特徴は、特に、同じコンテンツの種々のバージョン(即ち、種々の解像度)があり、かつ、全てのバージョンに字幕を適用すべき場合に有用である。
以上、立体映像コンテンツ用の字幕を提供する方法、装置、及び、システムについての種々の実施形態を(本発明を限定するものではなく、例示として)説明したが、当業者であれば、上述の教示に照らして、様々な変形および修正を加えることができることに留意されたい。従って、ここに開示した本発明の特定の各実施形態において、本発明の範囲内で様々な変更を加えることができることを理解されたい。上述の事項は、本発明の種々の実施形態について説明されたものであるが、本発明のその他の更なる実施形態を、本発明の基本的な範囲から逸脱することなく、考案できるであろう。

Claims (15)

  1. 3次元コンテンツ内に字幕を配置する方法であって、
    字幕を挿入すべき前記3次元コンテンツの少なくとも1つの左目ビュー・フレームを受信するステップと、
    字幕を挿入すべき前記3次元コンテンツの少なくとも1つの右目ビュー・フレームを受信するステップと、
    前記各フレーム内に挿入すべき字幕と、前記字幕を挿入するための前記各フレーム内の少なくともそれぞれの位置とを特定するファイル情報を受信するステップと、
    前記受信したファイル情報内の各値をレンダリングすることによって前記字幕を前記各フレーム内に挿入し、また、前記受信したファイル情報内の各値を変更することによって前記各フレームにおける前記字幕の位置をリアルタイムで操作する手段を提供するステップと、
    を含む、前記方法。
  2. 前記字幕が付けられた少なくとも1つの左目ビュー・フレームと前記字幕が付けられた少なくとも1つの右目ビュー・フレームとをミキシングするステップを更に含む、請求項1に記載の方法。
  3. 前記各フレームは、ライン・インタリーブとチェッカーボード・パターンとの少なくとも一方によってミキシングされる、請求項2に記載の方法。
  4. 前記字幕が付けられた3次元コンテンツを描画するステップを更に含む、請求項1に記載の方法。
  5. 前記ファイル情報は、前記3次元コンテンツの前記少なくとも1つの左目ビュー・フレームと前記少なくとも1つの右目ビュー・フレームとのうちの少なくとも一方と共に送信されるメタデータを含んでいる、請求項1に記載の方法。
  6. 前記ファイル情報は、前記手段にアクセス可能な記憶手段に記憶される、請求項1に記載の方法。
  7. 3次元コンテンツ内に字幕を配置する字幕付け装置であって、
    プログラム・ルーチンとデータ・ファイルとを記憶するメモリと、
    前記プログラム・ルーチンを実行するプロセッサと、
    を有し、前記プロセッサは、前記プログラム・ルーチンを実行する際に、
    前記3次元コンテンツの少なくとも1つの左目ビュー・フレーム内と少なくとも1つの対応する右目ビュー・フレーム内とに字幕を挿入するステップであって、この挿入を、前記各フレーム内に挿入すべき字幕と、前記字幕を挿入するための前記各フレーム内の少なくともそれぞれの位置とを特定する情報を含むファイル内の各値をレンダリングすることによって行う該ステップと、
    前記ファイル内の各値を変更することによって、前記各フレーム内の字幕の位置をリアルタイムで操作するステップと、
    を行うように構成されている、前記字幕付け装置。
  8. 前記ファイルは、前記字幕付け装置の前記メモリに記憶される、請求項7に記載の字幕付け装置。
  9. 前記ファイルは、前記3次元コンテンツと共に送信されるメタデータとして受信される、請求項7に記載の字幕付け装置。
  10. 前記3次元コンテンツの前記各フレーム内に字幕を挿入することと、該字幕の位置をリアルタイムで操作することとを可能にするグラフィカル・ユーザ・インタフェースを有する、請求項7に記載の字幕付け装置。
  11. ユーザが前記受信したファイル内の各値を変更することを可能にするユーザ・インタフェースを更に有する、請求項7に記載の字幕付け装置。
  12. 3次元コンテンツ内に字幕を配置するシステムであって、
    字幕を挿入すべき前記3次元コンテンツの少なくとも1つの左目ビュー・フレームの供給源と、
    字幕を挿入すべき前記3次元コンテンツの少なくとも1つの右目ビュー・フレームの供給源と、
    字幕付け装置と、
    を有し、前記字幕付け装置は、
    字幕を挿入すべき前記3次元コンテンツの少なくとも1つの左目ビュー・フレームを受信し、
    字幕を挿入すべき前記3次元コンテンツの少なくとも1つの右目ビュー・フレームを受信し、
    前記各フレーム内に挿入すべき字幕と、前記字幕を挿入するための前記各フレーム内の少なくともそれぞれの位置とを特定する情報を含むファイルを受信し、
    前記受信したファイル内の各値をレンダリングすることによって前記字幕を前記各フレーム内に挿入し、また、前記受信したファイル内の各値を変更することによって前記各フレームにおける前記字幕の位置をリアルタイムで操作する、
    前記システム。
  13. 字幕が付けられた少なくとも1つの左目ビュー・フレームと、字幕が付けられた少なくとも1つの対応する右目ビュー・フレームとをミキシングするミクサを更に有する、請求項12に記載のシステム。
  14. 前記字幕が付けられた3次元コンテンツを描画する描画装置を更に有する、請求項12に記載のシステム。
  15. ユーザが前記受信したファイル内の各値を変更することを可能にするユーザ・インタフェースを更に有する、請求項12に記載のシステム。
JP2012554967A 2010-02-24 2010-12-13 立体映像用の字幕付け Pending JP2013520924A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US30777910P 2010-02-24 2010-02-24
US61/307,779 2010-02-24
PCT/US2010/003150 WO2011105992A1 (en) 2010-02-24 2010-12-13 Subtitling for stereoscopic images

Publications (1)

Publication Number Publication Date
JP2013520924A true JP2013520924A (ja) 2013-06-06

Family

ID=43798473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012554967A Pending JP2013520924A (ja) 2010-02-24 2010-12-13 立体映像用の字幕付け

Country Status (7)

Country Link
US (1) US20160065929A1 (ja)
EP (1) EP2540087A1 (ja)
JP (1) JP2013520924A (ja)
KR (1) KR20130008569A (ja)
CN (1) CN102771129A (ja)
MX (1) MX2012009888A (ja)
WO (1) WO2011105992A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9766441B2 (en) * 2011-09-22 2017-09-19 Digital Surgicals Pte. Ltd. Surgical stereo vision systems and methods for microsurgery
CN102611906A (zh) * 2012-03-02 2012-07-25 清华大学 具有自适应深度的立体视频图文标签的显示和编辑方法
CN102663665B (zh) * 2012-03-02 2014-04-09 清华大学 具有自适应深度的立体图像图文标签的显示和编辑方法
CN104469338B (zh) * 2013-09-25 2016-08-17 联想(北京)有限公司 一种控制方法和装置
CN104683785B (zh) * 2015-02-06 2017-02-22 四川长虹电器股份有限公司 基于裸眼3d技术的实时插播3d文字的方法
KR101606860B1 (ko) 2015-11-23 2016-03-28 (주)아바엔터테인먼트 파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템
US10958890B2 (en) 2017-03-31 2021-03-23 Samsung Electronics Co., Ltd. Method and apparatus for rendering timed text and graphics in virtual reality video
KR20190100714A (ko) 2018-02-21 2019-08-29 삼성전자주식회사 정보 표시 방법 및 이를 위한 전자 장치
CN108600727B (zh) * 2018-04-13 2020-11-27 天津大学 一种基于观看舒适度的立体字幕添加方法
US11659219B2 (en) 2019-02-06 2023-05-23 Loop Now Technologies, Inc. Video performance rendering modification based on device rotation metric
US10645331B1 (en) * 2019-02-06 2020-05-05 Loop Now Technologies, Inc. Immersive video experience
US11381805B2 (en) 2019-02-06 2022-07-05 Loop Now Technologies, Inc. Audio and video stream rendering modification based on device rotation metric
US11483492B2 (en) 2019-02-06 2022-10-25 Loop Now Technologies, Inc. Immersive video experience including rotation
JP2023513095A (ja) 2020-02-05 2023-03-30 ループ ナウ テクノロジーズ インコーポレイテッド 選択および表示のための機械学習によるビデオのキュレーション

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3005885U (ja) * 1994-02-23 1995-01-17 北日本放送株式会社 字幕制作システム
JPH10336703A (ja) * 1997-05-27 1998-12-18 Canon Inc 画像合成装置、方法および記憶媒体
JP2000354203A (ja) * 1999-06-09 2000-12-19 Nippon Television Network Corp 字幕素材作成システム、字幕素材作成方法及び字幕素材作成プログラムを記憶した記録媒体
JP2003037792A (ja) * 2001-07-25 2003-02-07 Toshiba Corp データ再生装置及びデータ再生方法
JP2004102512A (ja) * 2002-09-06 2004-04-02 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP2007324668A (ja) * 2006-05-30 2007-12-13 Funai Electric Co Ltd DivXプレーヤ及びコンテンツ再生装置
WO2010013382A1 (ja) * 2008-07-31 2010-02-04 三菱電機株式会社 映像符号化装置、映像符号化方法、映像再生装置、映像再生方法、映像記録媒体、及び映像データストリーム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4072674B2 (ja) * 2002-09-06 2008-04-09 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
CA2680724C (en) * 2007-03-16 2016-01-26 Thomson Licensing System and method for combining text with three-dimensional content
KR20100002032A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
JP5792064B2 (ja) * 2008-07-25 2015-10-07 コーニンクレッカ フィリップス エヌ ヴェ 字幕の三次元表示処理

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3005885U (ja) * 1994-02-23 1995-01-17 北日本放送株式会社 字幕制作システム
JPH10336703A (ja) * 1997-05-27 1998-12-18 Canon Inc 画像合成装置、方法および記憶媒体
JP2000354203A (ja) * 1999-06-09 2000-12-19 Nippon Television Network Corp 字幕素材作成システム、字幕素材作成方法及び字幕素材作成プログラムを記憶した記録媒体
JP2003037792A (ja) * 2001-07-25 2003-02-07 Toshiba Corp データ再生装置及びデータ再生方法
JP2004102512A (ja) * 2002-09-06 2004-04-02 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP2007324668A (ja) * 2006-05-30 2007-12-13 Funai Electric Co Ltd DivXプレーヤ及びコンテンツ再生装置
WO2010013382A1 (ja) * 2008-07-31 2010-02-04 三菱電機株式会社 映像符号化装置、映像符号化方法、映像再生装置、映像再生方法、映像記録媒体、及び映像データストリーム

Also Published As

Publication number Publication date
EP2540087A1 (en) 2013-01-02
WO2011105992A1 (en) 2011-09-01
KR20130008569A (ko) 2013-01-22
US20160065929A1 (en) 2016-03-03
MX2012009888A (es) 2012-09-12
CN102771129A (zh) 2012-11-07

Similar Documents

Publication Publication Date Title
JP2013520924A (ja) 立体映像用の字幕付け
TWI573434B (zh) 通用的三維圖片格式
JP5357317B2 (ja) 立体視映像再生装置
JP5933916B2 (ja) Gui提供方法及びこれを用いたディスプレイ装置と3d映像提供システム
JP4772163B2 (ja) 立体視再生を行う再生装置、再生方法、プログラム
KR101629865B1 (ko) 3d gui에서 2d 그래픽 확장
KR101659576B1 (ko) 영상 처리 방법 및 장치
WO2010013382A1 (ja) 映像符号化装置、映像符号化方法、映像再生装置、映像再生方法、映像記録媒体、及び映像データストリーム
JP2011081453A (ja) 映像再生装置及び映像再生方法
JP5789518B2 (ja) グラフィック画面処理方法及び装置
JP2007533022A (ja) 2.5dグラフックスをレンダリングするためのゴースト・アーチファクト削減
EP2629532B1 (en) Display control program, display control apparatus, display control system, and display control method
JP2013520925A (ja) 視差推定を用いる、視差の時間的変動を制限する2眼式立体字幕付け
WO2013108285A1 (ja) 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法
JP4991953B2 (ja) 映像再生装置及び映像再生方法
US8712225B2 (en) Playback device for stereoscopic viewing, integrated circuit, and program
JPH09172654A (ja) 立体画像編集装置
US11758112B2 (en) Information processing apparatus, control method, and storage medium
JP2012173865A (ja) 3dポインタ生成装置及び3dポインタ生成方法
JP5685079B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法および画像処理システム
JP2012100015A (ja) 三次元映像再生装置
KR101358431B1 (ko) 다시점 입체영상 재생 시스템 및 방법
TWM470456U (zh) 三維立體影像字幕插入裝置
KR20140077772A (ko) 2차원 디스플레이를 이용한 다시점 영상 제공 장치 및 방법
JP2012257150A (ja) 立体映像撮像装置および立体映像再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141224

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150317

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150623

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20151021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151209

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160518