JP2007525907A - 立体3dビデオイメージディジタルデコーディングのシステムおよび方法 - Google Patents

立体3dビデオイメージディジタルデコーディングのシステムおよび方法 Download PDF

Info

Publication number
JP2007525907A
JP2007525907A JP2007500701A JP2007500701A JP2007525907A JP 2007525907 A JP2007525907 A JP 2007525907A JP 2007500701 A JP2007500701 A JP 2007500701A JP 2007500701 A JP2007500701 A JP 2007500701A JP 2007525907 A JP2007525907 A JP 2007525907A
Authority
JP
Japan
Prior art keywords
video
image
sequence
tdvision
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007500701A
Other languages
English (en)
Inventor
ノヴェロ,マニュエル ラファエル グティエレス
Original Assignee
ティディヴィジョン コーポレイション エス.エー. デ シー.ヴィ.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34910116&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2007525907(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by ティディヴィジョン コーポレイション エス.エー. デ シー.ヴィ. filed Critical ティディヴィジョン コーポレイション エス.エー. デ シー.ヴィ.
Publication of JP2007525907A publication Critical patent/JP2007525907A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本発明は、独自の分類アルゴリズムを有するMPEG2互換3D立体ビデオイメージをディジタルデコードする方法およびシステムに関する。ディジタルビデオストリーム内の3Dイメージを得るために、デコーディングプロセスの異なる部分でハードウェア変更およびソフトウェア変更を行うことによって、ビデオストリームの構造およびビデオシーケンスが、ビットレベルでTDVision(R)テクノロジイメージのタイプを識別する必要なフラグを含めるために変更される。変更は、デコーディングプロセスで、例えばソフトウェアおよびハードウェアを介して情報をデコードする間に行われ、二重出力バッファがアクティブ化され、平行デコーディングセレクタおよび差デコーディングセレクタがアクティブ化され、圧縮解除プロセスが実行され、イメージが対応する出力バッファで表示される。
【選択図】図1

Description

発明の分野
本発明は、3DVisor(登録商標)デバイスでの立体ビデオイメージ表示に関し、具体的には、標準化された圧縮技法を使用することによって3次元情報の保管を可能にする、ディジタルデータ圧縮システムによるビデオイメージデコーディング方法に関する。
発明の背景
現在、データ圧縮技法は、1つのイメージまたは一連のイメージの表現のビット消費を減らすために使用されている。標準化作業が、国際標準化機構の専門家のグループによって実行された。現在、これらの方法を、通常、JPEG(Joint Photographic Expert Group)、およびMPEG(Moving Pictures Expert Group)と称する。
これらの技法の共通の特性は、イメージブロックが、通常は離散コサイン変換(DCT)と称する、ブロックに適当な変換の適用によって処理されることである。形成されたブロックが、量子化プロセスにサブミットされ、その後、可変長コードを用いてコード化される。
可変長コードは、可逆プロセスであり、可変長コードを用いてコーディングされたものの正確な再構成を可能にする。
ディジタルビデオ信号の表示に、30Hzから75Hzの周波数で連続して表示されまたは提示される、ある個数のイメージフレーム(30fpsから96fps)が含まれる。各イメージフレームは、それでも、特定のシステムのディスプレイ解像度に従って、画素アレイによって形成されたイメージである。たとえば、VHSシステムは、320列480行のディスプレイ解像度を有し、NTSCシステムは、720列486行のディスプレイ解像度を有し、高品位テレビジョンシステム(HDTV)は、1360列1020行のディスプレイ解像度を有する。低解像度のディジタル化された形式である320列480行VHSフォーマットに関して、2時間のムービーは、100ギガバイトのディジタルビデオ情報と同等とすることができる。これと比較して、従来のコンパクト光ディスクは、約0.6ギガバイトの容量を有し、磁気ハードディスクは、1〜2ギガバイトの容量を有し、現在のコンパクト光ディスクは、8ギガバイト以上の容量を有する。
我々が映画またはTVの画面で見るすべてのイメージが、高い速度で完全なイメージ(写真に似た静止画)を提示するという原理に基づく。これらが、30フレーム毎秒速度(30fps)ですばやく順次の形で提示される時に、我々は、人間の目の保持力に起因して、これらを動画として知覚する。
順次の形で提示されるイメージを分類し、ビデオ信号を形成するために、各イメージを行に分割する必要があり、ここで、各行は、画素またはピクセルに分割され、各画素は、2つの関連する値すなわちルマおよびクロマを有する。ルマは、各点での光強度を表し、ルマは、定義された色空間(RGB)の関数として色を表し、この色空間は、3バイトによって表すことができる。
イメージは、水平垂直ラスタで上から下へ、左から右へと周期的に画面に表示される。走査線の本数および表示の周波数は、NTSC、PAL、またはSECAMなどのフォーマットの関数として変化し得る。
ビデオ信号を、送出、受取、および通常のテレビジョンセットまたは3DVisor(登録商標)などのディスプレイデバイスでの表示のためのデコードの後に、ディジタルフォーマットで保管するためにディジタル化することができ、このプロセスを、アナログ−ディジタルビデオ信号コーディング−デコーディングと称する。
定義により、MPEGは、システムストリームにビデオおよびオーディオをインターレースする2つの異なる方法を有する。
トランスポートストリームは、干渉を受けやすい衛星システムなど、より高い誤りの可能性を有するシステムで使用される。各パッケージは、188バイト長であり、識別ヘッダから始まり、この識別ヘッダが、ギャップの認識および誤りの修復を可能にする。さまざまなオーディオプログラムおよびビデオプログラムを、単一のトランスポートストリーム上でトランスポートストリームを介して同時に伝送することができ、ヘッダに起因して、これらを独立に個別にデコードし、多数のプログラムに統合することができる。
プログラムストリームは、DVD再生時など、より低い誤りの可能性を有するシステムで使用される。この場合に、パッケージは、可変長を有し、トランスポートストリームで使用されるパッケージより実質的に大きいサイズを有する。主要な特性として、プログラムストリームは、単一のプログラム内容だけを許容する。
トランスポートストリームおよびプログラムストリームが異なるパッケージを扱う時であっても、ビデオフォーマットおよびオーディオフォーマットは、同一の形でデコードされる。
次に、上のパッケージに適用される、たとえば時間予測、圧縮、および空間圧縮など、3つの圧縮タイプがある。
デコーディングは、長々しい数学プロセスに関連し、その目的は、情報量を減らすことである。フルフレームの完全なイメージが、マクロブロックと呼ばれる単位に分割され、各マクロブロックは、16画素×16画素のマトリックスから構成され、上から下、左から右に順序付けられ、名前を付けられる。画面上のマトリックスアレイを用いる場合であっても、情報ストリームを介して送られる情報は、特殊な順次シーケンスに従う、すなわち、マクロブロックは、昇順で順序付けられる、すなわち、macroblock0、macroblock1、などである。
連続するマクロブロックの組は、スライスを表す。マクロブロックが単一の行に関係するならば、1スライス内に任意の個数のマクロブロックを設けることができる。マクロブロックと同様に、スライスは、左から右、下から上に番号を付けられる。スライスは、イメージ全体をカバーしなければならない。というのは、これが、MPEG2がビデオを圧縮する形であるからであり、コーディングされたイメージは、必ずしも、画素ごとのサンプルを必要としない。一部のMPEGプロファイルは、固定したスライス構造の処理を必要とし、このスライス構造によって、イメージ全体がカバーされなければならない。
Katata他に1999年10月5日に与えられた米国特許第5963257号は、位置区域およびイメージ形式、下レイヤコード、予測コーディング上レイヤコードによって、コーディングされたデータを分離し、したがってコーディングされたデータの階層構造を得る手段を有するフラットビデオイメージデコーディングデバイスを保護し、このデコーダは、高品質イメージを得るために、階層構造でコーディングされたデータを分離する手段を有する。
Shen他に2001年9月18日に与えられた米国特許第6292588号は、再構成されたフラットイメージのデータが小さい領域のイメージデータおよび前記イメージの最適予測データの合計から生成される形で、小さい領域から再構成され、デコードされる予測フラットイメージをコーディングするデバイスおよび方法を保護する。イメージデータストリーム用の前記予測デコーディングデバイスには、単一次元DCT係数の可変長コードが含まれる。Boonに2002年4月9日に与えられた米国特許第6370276号は、上記に類似するデコーディング方法を使用する。
Lazzaro他に2002年9月24日に与えられた米国特許第6456432号は、立体3Dイメージディスプレイシステムを保護し、このシステムは、2つの透視図からイメージをとり、これらをCRTに表示し、観察者の両目に関するフリッカなしで、これらのイメージをフィールドシーケンシャルな形で多重化する。
Duruoz他に2003年12月2日に与えられた米国特許第6658056号は、指定された位置のディジタルビデオフィールドを出力メモリ内に得るために「隣接フィールド」コマンドに対応する論理表示セクションを含むディジタルビデオデコーダを保護する。ディジタルビデオ表示システムは、MPEG2ビデオデコーダを備える。イメージは、メモリバッファとしてデコードされ、このメモリバッファは、最適化され、補償変数テーブルを維持し、データフィールドとして表示される固定メモリポインタテーブルにアクセスする。
Boonに2003年12月16日に与えられた米国特許第6665445号は、イメージ伝送用のデータ構造、フラットイメージコーディング方法、およびフラットイメージデコーディング方法を保護する。このデコーディング方法は、2つの部分からなり、第1部分は、イメージ形式情報データストリームを分類し、第2部分は、イメージデータストリームの画素値に関するデコーディングプロセスであり、両方の部分を、フラットイメージ信号コーディングに従って切り替えることができる。
Moutin他に2004年1月13日に与えられた米国特許第6678331号は、共用メモリを使用するMPEGデコーダを保護する。実際には、回路に、マイクロプロセッサ、フラットイメージシーケンスをデコードするMPEGデコーダ、マイクロプロセッサ用の共通メモリ、およびデコーダが含まれる。この回路に、デコーダ遅延を評価する回路と、マイクロプロセッサまたはデコーダに関するメモリ優先順位を判定する制御回路も含まれる。
Fergusonに2004年1月13日に与えられた米国特許第6678424号は、リアルタイムヒューマンビジョンシステムの挙動モデルを保護する。実際には、このモデルは、異なるチャネル内の、一方が他方から導出される、2次元の2つのイメージ信号を処理する。
発明の簡単説明
本発明の目的は、ソフトウェアの変更およびハードウェアの変更からなる、立体3Dビデオイメージディジタルデコーディングのシステムおよび方法を提供することである。
本発明の追加の目的は、通常のvideo_sequenceプロセスが、コーディングされたイメージデータすなわち、variable_length_decoding(VLD)、inverse_scan、inverse_quantization、inverse_discrete_cosine_transform(IDCT)、およびmotion_compensationに適用されるデコーディング方法を提供することである。
本発明のもう1つの目的は、ビデオフォーマットの識別のデコーディング、2DイメージMPEG2後方互換性、TDVision(登録商標)タイプイメージの区別、最後のイメージバッファの保管、情報デコーディングの適用、誤り訂正の適用、および各々のチャネルバッファへの結果の保管に関するソフトウェア情報の変更を行うことである。
本発明のもう1つの目的は、TDVision(登録商標)タイプイメージが見つかった時に、最後の完全なイメージのバッファが左または右のチャネルバッファに保管される形で、video_sequenceプロセスの通常の形を有するデコーディング方法を提供することである。
本発明のもう1つの目的は、2つの互いに依存する(異なる)ビデオ信号を同一のvideo_sequence内で送ることができ、その情報デコーディングがBタイプフレームとして適用され、保管される、デコーディングプロセスを提供することである。
本発明のもう1つの目的は、動きベクトルおよび色訂正ベクトルが適用される時に、誤り訂正が最後に得られたイメージに適用されるデコーディングプロセスを提供することである。
本発明のもう1つの目的は、2つの独立のプログラムストリームを同時に受け取り、分類するためにソフトウェアによってデコーダをプログラムすることである。
本発明のもう1つの目的は、二重出力バッファがアクティブ化されるハードウェアを介して3Dイメージ情報をデコードするデコーディングシステムを提供することである。
本発明のもう1つの目的は、イメージデコーディングセレクタを並列に差によってアクティブ化する、3Dイメージ情報のデコーディングシステムを提供することである。
本発明のもう1つの目的は、圧縮解除プロセスを実行し、対応する出力バッファを表示する、3Dイメージ情報デコーディングシステムを提供することである。
発明の詳細説明
ハードウェアとソフトウェアアルゴリズムの組合せは、立体3Dイメージ情報圧縮を可能にし、この情報は、立体対識別子を有する2つの同時プログラムを送り、したがってコーディング−デコーディングプロセスをはかどらせることによって、3Dvision(登録商標)カメラから来る左右の信号に対応する2つの独立だが同一のtime_codeを有するビデオ信号として受け取られる。また、2つの互いに依存するビデオ信号を、その差を入手することによって処理することができ、この差は、イメージタイプ識別子を有する「B」タイプフレームとして保管される。コーディングプロセスは、技術開発を促進するためにオープンにされているので、このデコーディングプロセスすなわち、コーディングされたデータに可変長デコーディングを適用し(実質的な削減が得られるが、ルックアップテーブルを使用してデコーディングを実行しなければならない)、逆スキャンプロセスを適用し、各データにスカラをかける逆量子化プロセスを適用し、逆コサイン変換関数を適用し、誤り訂正または動き補償ステージを適用し、デコードされたイメージを最終的に得ることに従うことだけが必要である。
構造および動作方法に関する本発明の新規の特性は、添付明細書と一緒に添付図面の説明からよりよく理解されるが、添付図面では、類似する符号が類似する部分およびステップを指す。
図1は、本発明の対象目的が関係するテクノロジマップを表す。図1には、立体3Dイメージのコーディングおよびデコーディングのシステムと、対応する方法とが示されている。イメージは、立体カメラ(32)から来て、情報は適当なシステム(30)または(33)でコンパイルされ(31)、表示される。情報は、(34)でコーディングされ、これを、(35)などの適当な以前のデコーディングステージを有するシステムに伝送することができ、(35)は、ケーブルシステム(36)、衛星システム(37)、高品位テレビジョンシステム(38)、またはTDVision(登録商標)社の3DVisors(登録商標)(39)などの立体視システムとすることができる。
図2に、本プロセスのステップの概要が示された流れ図を示す。目的は、現在のMPEG2デコーダに対する変更と、デコーディングプロセス(2)のソフトウェア(3)およびハードウェア(4)に対する変更を行うことによってディジタルビデオストリームから3次元イメージを得ることであり、デコーダ(1)は、MPEG2−4と互換でなければならない。
図3は、ビットレベルでTDVision(登録商標)テクノロジイメージタイプを識別するための、変更されなければならない構造と、データストリームのvideo_sequenceとの概略を示す。
デコーディングプロセスのステージのそれぞれを、下で詳細に説明する(20)。
コーディングされたデータ(10)は、ブロック情報、マクロブロック、フィールド、フレーム、およびMPEG2フォーマットビデオイメージを有するバイトである。
Variable_length_decoding(11)(VLC、可変長デコーダ)は、最も頻繁なパターンがより短いコードによって置換され、頻繁に発生しないパターンがより長いコードによって置換される圧縮アルゴリズムである。この情報の圧縮された版は、より少ないスペースを占め、ネットワークによってより高速に伝送することができる。しかし、これは、簡単に編集可能なフォーマットではなく、ルックアップテーブルを使用する圧縮解除を必要とする。
たとえば、語BEETLEは、次のようになる
文字 ASCIIコード VLS
B 0100 0010 0000 0010 10
E 0110 0101 11
L 0110 1100 0001 01
T 0111 0100 0100
したがって、この語のASCIIコードは、0100 0010 0110 0101 0110 0101 0111 01000 0110 1100 0110 0101であり、VLCでは0000 0010 10 11 11 0100 00010 01 11である。
実質的な減少が認められるが、VLCから語「Beetle」に戻すためには、ルックアップテーブル内の検索が、ビットストリームをデコードするために必要であり、これは、読取ビットの正確な比較によって行われる。
逆スキャン(12) 情報を、ブロックによってグループ化しなければならず、VLCを用いて情報をコーディングすることによって、線形ストリームが得られる。ブロックは、8×8データ行列であり、したがって、線形情報を正方形の8×8行列に変換する必要がある。これは、プログレッシブイメージまたはインターレースイメージのどちらであるかに応じて、両方のシーケンスタイプで上から下、左から右への降下するジグザグの形で行われる。
逆量子化(13) これは、単純に、各データ値に係数をかけることからなる。分類された時に、ブロック内のデータの大半が、人間の目が知覚できない情報を除去するために量子化され、この量子化は、より大きいMPEG2ストリーム変換を得ることを可能にし、デコーディングプロセスで逆プロセス(逆量子化)を実行することも必要とする。
逆コサイン変換(14)(IDCT、inverse_discrete_cosine_transform) 各ブロック内で処理されるデータは、周波数領域に関係し、この逆コサイン変換は、空間領域のサンプルに戻すことを可能にする。IDCTでデータを変換したならば、画素、色、および色訂正を得ることができる。
動き補償(15)は、MPEGフォーマットのデコーディングステージの前に生成されたいくつかの誤りを訂正することを可能にし、動き補償は、基準として前のフレームをとり、画素に関する動きベクトルを計算し(4つまでのベクトルを計算することができる)、これらを使用して新しいイメージを作成する。この動き補償は、PタイプイメージおよびBタイプイメージに適用され、ここで、イメージ位置が、基準イメージからの「t」時間に対して突き止められる。動き補償のほかに、誤り訂正も適用される。というのは、特定の画素の位置を予測することは不十分であり、その色の変化も存在し得るからである。したがって、デコードされたイメージが得られる(16)。
PタイプイメージまたはBタイプイメージをデコードするために、基準イメージがとられ、動きベクトルが、代数的に加算されて、次のイメージが計算され、最後に、誤り訂正データが、適用され、したがって、デコードされたイメージが成功裡に生成される。実際には、video_sequence内で、2つの互いに依存するビデオ信号「R−L=デルタが存在し、デルタ差は、TDVision(登録商標)識別子を有するBタイプ立体対フレームとして保管されるものであり、デコーディングの瞬間に、イメージからの差によって構成される。すなわち、R−delta=LおよびL−delta=Rであり、左イメージは、右イメージとの差から構成され、右イメージは、左イメージとの差から構成される。
前のプロセスは、左または右の信号がとられ、両方が一時バッファに保管され、その後、左信号と右信号の間の差が計算され、その後、前記イメージからの差によって後にデコードされる、video_sequenceに保管されたBタイプイメージとしてコーディングされる形で概要を示された。
デコーディングプロセスでは、VLCステージによって入力されたデータが、同一ステージによって出力されるデータよりはるかに小さいことを演繹することができる。
MPEGビデオシーケンス構造 これは、MPEG2フォーマットで使用される最大の構造であり、次のフォーマットを有する。
ビデオシーケンス(Video_Sequence)
シーケンスヘッダ(Sequence_Header)
シーケンス拡張(Sequence_Extension)
ユーザデータ(0)および拡張(Extension_and_User_Data(0))
イメージグループヘッダ(Group_of_Picture_Header)
ユーザデータ(1)および拡張(Extension_and_User_Data(1))
イメージヘッダ(Picture_Header)
コーディングされたイメージ拡張(Picture_Coding_Extension)
ユーザデータ(2)および拡張(Extension_and_User_Data(2))
イメージデータ(Picture_Data)
スライス(Slice)
マクロブロック(Macroblock)
動きベクトル(Motion_Vectors)
コーディングされたブロックパターン(Coded_Block_Pattern)
ブロック(Block)
最終シーケンスコード(Sequence_end_Code)
これらの構造が、ビデオシーケンスを構成する。ビデオシーケンスは、MPEGフォーマットについて適用され、各バージョンを区別するために、シーケンスヘッダの直後にシーケンス拡張が存在することの検証がなければならず、シーケンス拡張がヘッダに続かない場合には、そのストリームはMPEG1フォーマットである。
ビデオシーケンスの始めに、sequence_headerおよびsequence_extensionがvideo_sequenceに現れる。sequence_extensionは、最初の試行で同一でなければならず、sequence_headerの「s」回の反復は、最初の出現と比較してほとんど変化せず、量子化行列を定義する部分だけが変化しなければならない。シーケンス反復を有することによって、ビデオストリームへのランダムアクセスが可能になる、すなわち、デコーダがビデオストリームの途中から再生を開始することを望む場合に、これを行うことができる。というのは、次のイメージをデコードするために、その瞬間の前のsequence_headerおよびsequence_extensionを見つけることだけが必要になるからである。これは、伝送時刻の後に同調された衛星デコーダなど、先頭から開始できないビデオストリームについても発生する。
フルビデオ信号コーディング−デコーディングプロセスは、次のステップからなる。
ビデオ信号をディジタル化すること。これは、NTSCフォーマット、PALフォーマット、またはSECAMフォーマットで行うことができる。
ディジタル形式でビデオ信号を保管すること
信号を送ること
ディジタルビデオストリームを物理媒体(DVD、VCD、MiniDV)に記録すること
信号を受け取ること
ビデオストリームを再生すること
信号をデコードすること
信号を表示すること
適当なDSPによって処理されるメモリを2倍にし、8つまでの出力バッファを配置する可能性を有することが必須であり、これによって、TDVision(登録商標)社の3DVisor(登録商標)などのデバイスで立体イメージの以前の表現および同時表現が可能になる。
実際には、たとえば、Texas Instruments社のTMS320C62X DSPの例示的な事例で、DSPのプログラミングAPIを呼び出す時に、2チャネルを初期化しなければならない。
MPEG2VDEC_create(const IMPEG2VDEC_fxns*fxns,const MEPG2VDEC_Params* params)
ここで、IMPEG2VDEC_fxns y MEPG2VDEC_Paramsは、各ビデオチャネルの動作パラメータを定義するポインタ構造であり、たとえば、
3DLhandle=MPEG2VDEC_create(fxns3DLEFT,Params3DLEFT)
3DRhandle=MPEG2VDEC_create(fxns3DRIGHT,Params3DRIGHT
である。
これによって、左右の立体チャネルごとに1つずつの、2つのビデオチャネルをデコードできるようになり、2つのビデオハンドラが得られる。
二重表示出力バッファが必要であり、ソフトウェアによって、AP関数を呼び出すことによって、2つのバッファのうちのどちらが出力を表示しなければならないかが定義される。
すなわち、MPEG2VDEC_APPLY(3DRhandle,inputR1,inputR2,inputR3,3doutright_pb,3doutright_fb)
MPEG2VDEC_APPLY(3DLhandle,inputL1,inputL2,inputL3,3doutleft_pb,3doutleft_fb)
これと同一の手順を、類似する機能を有するすべてのDSP、マイクロプロセッサ、または電子デバイスについて実施することができる。
ここで、3DLhandleは、DSPの作成関数によって返されるハンドルへのポインタであり、input1パラメータは、FUNC_DECODE_FRAMEまたはFUNC_START_PARAのアドレスであり、input2は、外部入力バッファアドレスへのポインタであり、input3は、外部入力バッファのサイズである。
3doutleft_pbは、パラメータバッファのアドレスであり、3doutleft_fbは、デコードされたイメージが保管される出力バッファの先頭である。
timecodeおよびtimestampは、順次同期式の形での最終デバイスへの出力に使用される。
DSPによって処理されるメモリを2倍にし、8つまでの出力バッファを配置する可能性を有することが必須であり、これによって、TDVision(登録商標)Corporation社の3DVisor(登録商標)などのデバイスで立体イメージの以前の表示および同時表示が可能になる。
ソフトウェアプロセスおよびハードウェアプロセスの統合は、DSPと称するデバイスによって実行され、このDSPは、ハードウェアプロセスのほとんどを実行する。これらのDSPは、製造業者によって供給されるC言語およびアセンブリ言語のハイブリッドによってプログラムされる。各DSPは、DSP内に置かれ、ソフトウェアによって呼び出される関数リストまたは手続き呼出しからなる、それ自体のAPIを有する。
この参照情報を用いて、MPEG2フォーマット互換3Dイメージデコーディングに関する本願が作られる。
実際には、ビデオシーケンスの始めに、シーケンスヘッダ(sequence_header)およびシーケンス拡張が必ず現れる。シーケンス拡張の反復は、最初と同一でなければならない。対照的に、シーケンスヘッダ反復は、最初の出現と比較してほとんど変化せず、量子化行列を定義する部分だけが変化しなければならない。
図4に、TDVision(登録商標)デコーディング方法のコンパイルソフトウェアフォーマット(40)を示すが、ここで、sequence_header(42)内でディジタル立体イメージビデオストリームのvideo_sequence(41)が識別され、これは、依存または独立(平行イメージ)とすることができる。イメージがTDVision(登録商標)である場合に、2重バッファがアクティブ化され、aspect_ratio_informationの変更が識別される。ここで見つけることができる、イメージに対応する情報が、user_data(43)に読み取られる。sequence_scalable_extension(44)は、それとベースレイヤとエンハンスメントレイヤとに含まれる情報を定義し、video_sequenceをここで突き止めることができ、scalable_modeおよびレイヤ識別子を定義し、extra_bit_picture(45)は、picture_estructureおよびpicture_headerを定義し、picture_coding_extension(46)は、「B」タイプイメージを読み取り、それがTDVision(登録商標)タイプイメージである場合に、第2バッファをデコードする。picture_temporal_scalable_extension()(47)は、時間スケーラビリティを有する場合に、Bタイプイメージをデコードするのに使用される。
すなわち、シーケンスヘッダ(sequence_header)は、ビデオストリームに対する上位情報レベルを提供し、わかりやすくするために、それぞれに対応するビット数も示され、上位ビットは、シーケンス拡張(Sequence_Extension)構造内に置かれ、次の構造によって形成される。
Figure 2007525907
Figure 2007525907
Picture_temporal_scalable_extension()
時間スケーラビリティを有する場合に、2つの空間解像度ストリームが存在し、下レイヤは、ビデオフレームのより小さいインデックスの版を提供し、上レイヤは、同一ビデオのフレームのより大きいインデックスの版を導出するのに使用することができる。時間スケーラビリティは、低品質、低コスト、または無料のデコーダによって使用することができ、より高いフレーム毎秒は、有料で使用される。
Figure 2007525907
イメージ空間スケーラビリティの場合に、エンハンスメントレイヤにデータが含まれ、このデータは、ベースレイヤのよりよい解像度を可能にし、したがって、ベースレイヤのよりよい解像度を再構築することができる。エンハンスメントレイヤが、動き補償の基準としてのベースレイヤの関数として使用される時に、エンハンスメントレイヤのより高い解像度を得るために、下レイヤをエスカレートし、オフセットしなければならない。
Figure 2007525907
EXTENSION_AND_USER_DATA(2)
イメージは、
DVD(ディジタル多用途ディスク)
DTV(ディジタルテレビジョン)
HDTV(高品位テレビジョン)
ケーブル(DVB、ディジタルビデオ放送)
衛星(DDS、ディジタル衛星システム)
で表示することができ、これはソフトウェアプロセスとハードウェアプロセスの統合である。
図5のハードウェアセクションでのデコーディングコンパイルフォーマット(50)は、DSP入力メモリに複製され、それと同時に、立体TDVision(登録商標)カメラによって撮影された左右の立体の既存信号に対応する2つの独立のまたは依存するビデオ信号の同時入力が許容される。この手順では、video_sequence(51)が、左右のフレームを交番させるかこれらを並列に送るために検出され、sequence_header(52)識別、イメージタイプ(53)が識別され、通常ビデオストリーム(54)に渡され、次に、誤り訂正プロセス(55)にサブミットされ、ビデオイメージ情報が、出力バッファ(56)に送られ、出力バッファ(56)は、この情報を共用し、ビデオストリーム情報が3Dまたは2Dで表示される前記チャネル内の左チャネル(57)および右チャネル(58)に分配する。
2つの独立だが同一のtime_codeに同期化されたビデオストリームとしての同時形式でL(左)とR(右)の両方のビデオストリームを保管することにあり、したがって、これらを、後にデコードし、より大きい出力バッファ内で並列に再生することができる。これらを、従属とし、差によって分類解除(decodify)することもできる。
ハードウェアに関して、プロセスのほとんどが、DSP(ディジタル信号プロセッサ)と称するデバイスによって実行される。例として、たとえば、Motorola社のモデルおよびTexas Instruments社のモデル(TMS320C62X)を使用することができる。
これらのDSPは、当の製造業者によって供給されるC言語およびアセンブリ言語のハイブリッドによってプログラムされる。各DSPは、DSP内に置かれ、ソフトウェアによって呼び出される関数リストまたは手続き呼出しからなる、それ自体のAPIを有する。この参照情報から、3Dイメージがコーディングされ、このコードは、MPEG2フォーマットおよびそれ自体のコーディングアルゴリズムと互換である。情報がコーディングされる時に、DSPは、MPEG2圧縮されたビデオストリームを形成するために、予測プロセス、比較プロセス、量子化プロセス、およびDCT関数適用プロセスを実行する責任を負う。
ディジタルビデオストリームから3次元イメージを得るために、デコーディングプロセスの異なる部分のソフトウェア変更およびハードウェア変更によって、現在のMPEG2デコーダに対するある種の変更が行われた。ビデオデータストリームの構造およびvideo_sequenceを、TDVision(登録商標)テクノロジイメージタイプをビットレベルで識別するのに必要なフラグを含めるために変更しなければならない。
この変更は、次のデコーディングステップで行われる。
ソフトウェア
−ビデオフォーマット識別。
− TDVision(登録商標)ビデオでない場合のMPEG2後方互換性のための論理「and」の適用。
− video_sequenceをスキャンする、通常の形(前の技法)でのイメージデコーディング。
− TDVision(登録商標)タイプイメージの場合に、
_ それらが従属または独立のどちらのビデオ信号であるかの区別。
_ 最後の完全なイメージバッファを左または右のチャネルバッファに保管する。
_ Bタイプフレーム情報デコーディングを適用する。
_ 動きベクトルおよび色訂正ベクトルを適用することによって、最後に得られたイメージに誤り訂正を適用する。
_ その結果を各々のチャネルバッファに保管する。
_ ビデオシーケンス読取を継続する。
ハードウェア
情報がハードウェアを介してデコードされる時に、
_イメージが2Dまたは3Dのどちらであるかを区別する。
_二重出力バッファをアクティブ化する(メモリを増やす)。
_差デコーディングセレクタをアクティブ化する。
_平行デコーディングセレクタをアクティブ化する。
_圧縮解除プロセスを実行する。
_イメージをそれに対応する出力バッファ内で表示する。
次の構造、副構造、およびシーケンスドは、特定の形で使用され、MPEG2後方互換TDVision(登録商標)テクノロジのハードウェア実施のvideo_sequence構造に属する。
実際には、
Sequence_header
Aspect_ratio_information
1001 TDVision(登録商標)で該当なし
1010 TDVision(登録商標)の4:3
1011 TDVision(登録商標)の16:9
1100 TDVision(登録商標)の2.21:1
0111との論理「and」を実行して、2Dシステムとの後方互換性を得るが、これが行われる時に、立体対(左または右)のバッファをソースに対して等しくしなければならないことの指示がDSPに送られ、したがって、デコードされるすべてのイメージが、すべてのデバイスでのイメージ表示を可能にするために両方の出力バッファに送られる。
Frame_rate_code
1001 TDVision(登録商標)フォーマットの24000/101 (23.976)
1010 TDVision(登録商標)フォーマットの24
1011 TDVision(登録商標)フォーマットの25
1100 TDVision(登録商標)フォーマットの30000/1001 (29.97)
1101 TDVision(登録商標)フォーマットの30
1110 TDVision(登録商標)フォーマットの50
1111 TDVision(登録商標)フォーマットの60000/1001 (59.94)
2Dシステムとの後方互換性を得るために、0111との論理「and」を実行する。
User_data()
Sequence_scalable_extension
Picture_header
Extra_bit_picture
0=TDVision(登録商標)
1=通常
Picture_coding_extension
ピクチャ構造
00=TDVision(登録商標)フォーマットのイメージ
Picture_temporal_scalable_extension()
情報をコーディングする瞬間に、DPSが使用され、このDPSは、予測プロセス、比較プロセス、および量子化プロセスを実行する責任を負い、DCTを適用してMPEG2圧縮されたビデオストリームを形成し、2Dイメージと3Dイメージの間で区別する。
2つのビデオ信号が、独立だが同一のtime_codeを有する形式でコーディングされ、これらの信号は、3DVision(登録商標)カメラから来る左信号および右信号に対応し、両方のプログラムがTDVision(登録商標)立体対識別子と共に同時に送られる。このタイプのデコーディングは、「平行イメージによる(by parallel images)」と称し、左と右(LとR)の両方のビデオストリームを2つの独立だがtime_code同期化されたビデオストリームとして同時に保管することにある。これらは、後に、並列にデコードされ、再生される。デコーディングソフトウェアだけをデコードする必要があり、トランスポートストリームのコーディングおよび圧縮アルゴリズムは、現在のものと同一である。
デコーダでのソフトウェア変更
デコーダでは、この例の事例ではTMS320C62XファミリのTexas Instruments社のDSPの使用でプログラミングAPIに従って、2つのプログラムストリームまたは、2つの互いに依存するビデオ信号すなわち識別子と共にBタイプフレームとして保管された両方の間の差から構成されたビデオ信号を、同時にプログラムしなければならない。
DSPのプログラミングアルゴリズムおよび方法
_ DSPを始動する時に2つのプロセスチャネル(主バッファおよび副バッファまたはAPIを呼び出す時には左右)を作成する。
_ 各チャネルのRAMメモリポインタ(メモリマップ内のRAMアドレス)を得る。
_TDVision(登録商標)タイプビデオシーケンスを得た時に
これをBタイプと解釈し
イメージをリアルタイムでデコードし
変更または差を相補バッファに適用し
結果を副バッファに保管する。
video_sequenceデータストリームでソフトウェアに関して、次の2つのオプションが実施される。
1.− 一方は、ソフトウェアだけを変更し、user_data()セクションを使用して、立体信号を再生成できるようにする誤り訂正を保管する。
2.− 他方は、ハードウェアによってPICTURE_DATA3D()関数をイネーブルし、この関数は、MPEG2互換リーダに透過的であり、TDVision(登録商標)互換DSPによってデコードすることができる。
MPEG2デコーダは、user_data()コードを検出した瞬間に、3DVISION_START_IDENTIFIER=0X000ABCD 32ビット識別子を検索し、これは、コードを再作成するのが極端に高く、むずかしいか、データを表さない。次に、読み取るべき3Dブロック長を考慮に入れるが、これは32ビット「n」データである。この情報がUSER_DATA()内で検出された時に、特殊なデコーディング関数への呼出しが行われ、これが、その後、出力バッファと比較され、Bタイプフレームに関する通常の訂正として、video_sequenceの現在の読取オフセットすなわちnバイトから適用される。この訂正の出力が、他の出力アドレスに送られ、この出力アドレスは、電子表示デバイスに存在するものに追加されるビデオ出力に直接に関連する。
PICTURE_DATA3D()構造が認識される場合に、直接にデコーダによる情報の読取に進むが、情報は第2出力バッファに書き込まれ、第2出力バッファは、電子表示デバイスに存在するものに追加されるビデオ出力にも接続される。
プログラムストリームの場合に、2つの信号(左および右)が、time_codeによって同期化され、これらの信号は、十分な同時複数ビデオチャネルデコーディング能力を有するMPEGデコーダによって並列にデコードされるか、同一video_sequence内の2つの互いに依存するビデオ信号、たとえば「R−L=デルタ」を送ることができ、ここで、デルタは、立体対TDVision(登録商標)識別子と共に「B」タイプフレームとして保管された差であり、2つの信号は、前述のTexas Instruments社のDSPの場合と同様に、イメージからの差によってデコーディングの瞬間に再構成することができる、すなわち、「R−デルタ=L」または「L−デルタ=R」であるが、これは、例示的であって制限的な例ではないと考えられる。
単一のビデオシーケンスを含むビデオも、実施されるが、60フレーム毎秒で左右のフレームが交番し(それぞれ30フレーム)、デコードされた時に、ビデオバッファイメージが対応する左チャネルまたは右チャネルに置かれる。
ハードウェアを介して、信号がTDVision(登録商標)タイプであるかどうかを検出する能力もあり、そうである場合には、その信号がトランスポートストリーム、プログラムストリーム、または60フレーム毎秒の左右多重化であるかどうかが識別される。
トランスポートストリームの場合に、後方互換性システムが、3D特性なしで2Dでのみ同一のビデオを表示する能力を有する、現在のデコーダ内で使用可能であり、この場合に、DSPは、TDVision(登録商標)または以前の技法のデバイスでイメージを表示するためにディスエーブルされる。
プログラムストリームの場合に、現在衛星伝送システムで使用されているものなどの無変更のコーダが使用されるが、レセプタおよびデコーダは、TDVision(登録商標)フラグ識別システムを有し、したがって、左右対を形成するために第2ビデオバッファをイネーブルする。
最後に、多重化されたビデオの場合に、2つのビデオバッファ(左右)を有するMPEGデコーダがイネーブルされ、適当なフレームを識別し、各信号を30フレーム毎秒で分離し、したがって、フリッカレスイメージがもたらされ、ビデオストリームが一定なので、また、人間の目の特性保持波(characteristic retention wave)に起因して、多重化効果は知覚されない。
本発明の特定の実施形態を図示し、説明したが、当業者には、本発明の範囲から逸脱せずに複数の修正または変更を作ることができることは明白であろう。そのような修正および変更のすべてが、添付の特許請求の範囲に含まれ、その結果、すべての変更および修正が、本発明の範囲に含まれるようになることが意図されている。
本発明の対象目的が関係するテクノロジマップを表す。 本プロセスのステップの概要が示された流れ図を示す。 ビットレベルでTDVision(登録商標)テクノロジイメージタイプを識別するための、変更されなければならない構造と、データストリームのvideo_sequenceとの概略を示す。 TDVision(登録商標)デコーディング方法のコンパイルソフトウェアフォーマット(40)を示す。 ハードウェアセクションでのデコーディングコンパイルフォーマットを示す。

Claims (10)

  1. ビデオデータストリームのvideo_sequenceの構造が、イメージタイプについてビットレベルの必要なフラグを含めるためにソフトウェアを介して変更される、立体3Dビデオイメージディジタルデコーディングのシステムおよび方法であって、
    ソフトウェアだけを変更することと、user_data()セクションを使用して、立体ビデオ信号を再生成することを可能にする誤り訂正を保管することとにより特徴付けられ、これによって、ビデオフォーマットを実際に識別するステップと、TDVision(登録商標)ビデオでない場合にMPEG2後方互換性のために論理「and」を適用するステップと、通常は前記video_sequenceをスキャンすることによってデコードするステップと、前記イメージがTDVision(登録商標)イメージである時に、
    a)最後の完全なイメージバッファを左チャネルバッファまたは右チャネルバッファに保管するステップと、
    b)Bタイプフレーム情報について差デコーディングまたは平行デコーディングを適用するステップと、
    c)動き訂正ベクトルおよび色訂正ベクトルを適用することによって、最後に得られたイメージに誤り訂正を適用するステップと、
    d)結果をその各々のチャネルバッファに保管するステップと、
    e)video_sequence読取を継続するステップと
    を備えること特徴とする立体3Dビデオイメージディジタルデコーディングのシステムおよび方法。
  2. デコーダコンパイルフォーマットが、
    a)video_sequenceを読み取るステップと、
    b)sequence_headerを区別し、TDVision(登録商標)イメージが識別される場合に、二重バッファをアクティブ化するステップと、
    c)user_dataに、前記イメージが前記構造に含まれるかのように前記イメージを読み取るステップと、
    d)sequence_scalable_extension内でvideo_sequence MPEGに情報を追加するステップであって、前記情報を前記構造内に含めることができる、ステップと、
    e)picture_header内で、extra_bit_picture内のTDVision(登録商標)イメージ識別子を見つけるステップと、
    f)picture_coding_extension内の「B」タイプイメージを読み取り、これがTDVision(登録商標)タイプイメージである場合に、第2バッファをデコードするステップと、
    g)前記イメージが時間的にスケーラブルである場合に、「B」をデコーダに適用するステップと
    であることをさらに特徴とする請求項1に記載のビデオデータストリームのvideo_sequenceの構造がイメージタイプについてビットレベルの必要なフラグを含めるためにソフトウェアを介して変更される立体3Dビデオイメージディジタルデコーディングの方法およびシステム。
  3. 前記デコーダが、user_data()コードを見つけた時に、32ビット3DVision(登録商標)_start_identifier=0x000ABCD識別子を検索し、この情報を検出した時に、出力バッファを比較し、これをvideo_sequenceの現在の読取オフセットから適用する特殊なデコーディング関数への呼出しが行われることをさらに特徴とする請求項1に記載のビデオデータストリームのvideo_sequenceの構造がイメージタイプのビットレベルの必要なフラグを含めるために変更される立体3Dビデオイメージディジタルデコーディングの方法およびシステム。
  4. 前記デコーダが、2つのプログラムストリームを同時に受け取り、デコードするためにソフトウェアを介してプログラムされなければならないことをさらに特徴とする請求項1に記載のビデオデータストリームのvideo_sequenceの構造がイメージタイプのビットレベルの必要なフラグを含めるためにソフトウェアを介して変更される立体3Dビデオイメージディジタルデコーディングのシステムおよび方法。
  5. 2つの互いに依存するビデオ信号を同一のvideo_sequence内で送ることができることと、一方に依存する前記信号が他方を形成し、3DVision(登録商標)カメラから来ることと、その代数加算(R−L=デルタ)に関して、各信号がBタイプフレームとして保管され、そのデコーディングがそれらのうちの1つからの差によることとをさらに特徴とする請求項1に記載のビデオデータストリームのvideo_sequenceの構造がイメージタイプのビットレベルの必要なフラグを含めるためにソフトウェアを介して変更される立体3Dビデオイメージディジタルデコーディングの方法およびシステム。
  6. 2つの独立のビデオストリームLおよびRが、同時形式であるが同一のtime_codeに同期化されて保管され、並列にデコードされ、表示されることをさらに特徴とする請求項1に記載のビデオデータストリームのvideo_sequenceの構造がイメージタイプのビットレベルの必要なフラグを含めるためにソフトウェアを介して変更される立体3Dビデオイメージディジタルデコーディングの方法およびシステム。
  7. ビデオデータストリームのvideo_sequenceの構造が、ハードウェアによって変更される、立体3Dビデオイメージディジタルデコーディングの方法およびシステムであって、結果的に2S信号または3D信号のどちらであるかを区別する、ハードウェアを介するMPEG2後方互換TDVision(登録商標)テクノロジを実施するためにvideo_sequenceに属する構造、副構造、およびシーケンスの特定の使用と、二重出力バッファ(追加メモリ)のアクティブ化と、平行デコーディングセレクタのアクティブ化および差デコーディングセレクタのアクティブ化と、イメージ圧縮解除プロセスの実行および対応する出力バッファ内のイメージの表示と、互換MPEG2リーダに透過的なPICTURE_DATA3D()関数の使用可能化とを特徴とする立体3Dビデオイメージディジタルデコーディングの方法およびシステム。
  8. ハードウェアを介するMPEG2後方互換TDVision(登録商標)テクノロジを実施するためのvideo_sequenceに属する構造、副構造、およびシーケンスすなわち、
    a)sequence_header
    aspect_ratio_information
    1001 TDVision(登録商標)で該当なし
    1010 TDVision(登録商標)で4:3
    1011 TDVision(登録商標)で16:9
    1100 TDVision(登録商標)で2.21:1
    2Dシステムとの後方互換性を得るために0111との論理「and」が実行され、立体対バッファ(左または右)をソースに対して等しくしなければならないことを述べる指示がDSPに送られ、
    b)frame_rate_code
    1001 TDVision(登録商標)フォーマットの24000/1001 (23.976)
    1010 TDVision(登録商標)フォーマットの24
    1011 TDVision(登録商標)フォーマットの25
    1100 TDVision(登録商標)フォーマットの30000/1001(29.97)
    1101 TDVision(登録商標)フォーマットの30
    1110 TDVision(登録商標)フォーマットの50
    1111 TDVision(登録商標)フォーマットの60000/1001(59.94)
    2Dシステムとの後方互換性を得るために0111との論理「and」が実行され、立体対バッファ(左または右)をソースに対して等しくしなければならないことを述べる指示がDSPに送られ、
    c)user_data()
    sequence_scalable_extension
    d)picture_header
    extra_bit_picture
    0=TDVision(登録商標)
    1=通常
    e)picture_coding_extension
    picture_structure
    00=TDVision(登録商標)フォーマットのイメージ
    f)picture_temporal_scalable_extension()
    の特定の使用を特徴とする請求項7に記載のビデオデータストリームのvideo_sequenceの構造がハードウェアによって変更される立体3Dビデオイメージディジタルデコーディングの方法およびシステム。
  9. PICTURE_DATA3D()構造が認識される時に、直接にデコーダによる情報の読取に進行するが、前記情報を、電子表示デバイスに存在するものに追加のビデオ出力にも接続された第2出力バッファに書き込むことを特徴とする請求項7に記載のビデオデータストリームのvideo_sequenceの構造がハードウェアによって変更される立体3Dビデオイメージディジタルデコーディングの方法およびシステム。
  10. 前記信号がTDVision(登録商標)タイプである場合に、前記信号がトランスポートストリーム、プログラムストリーム、または左もしくは右の60フレーム毎秒での多重化であるかどうかが識別されることと、前記信号がトランスポートストリームである場合に、前記信号が現在の2Dコーダ内の後方互換性を有することを特徴とし、TDVision(登録商標)の3D特性なしでビデオを表示する能力を有するソースに対して立体対バッファ(左または右)を等しくしなければならないことを述べる指示がDSPに送られる請求項7に記載のビデオデータストリームのvideo_sequenceの構造がハードウェアによって変更される立体3Dビデオイメージディジタルデコーディングの方法およびシステム。
JP2007500701A 2004-02-27 2004-02-27 立体3dビデオイメージディジタルデコーディングのシステムおよび方法 Pending JP2007525907A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/MX2004/000012 WO2005083637A1 (es) 2004-02-27 2004-02-27 Método y sistema de decodificación digital de imágenes de video 3d estereoscópicas

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011090295A Division JP5228077B2 (ja) 2011-04-14 2011-04-14 立体3dビデオイメージディジタルデコーディングのシステムおよび方法

Publications (1)

Publication Number Publication Date
JP2007525907A true JP2007525907A (ja) 2007-09-06

Family

ID=34910116

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007500701A Pending JP2007525907A (ja) 2004-02-27 2004-02-27 立体3dビデオイメージディジタルデコーディングのシステムおよび方法

Country Status (7)

Country Link
US (4) US20070041444A1 (ja)
EP (2) EP1727090A1 (ja)
JP (1) JP2007525907A (ja)
KR (1) KR101177663B1 (ja)
CN (1) CN1938727A (ja)
CA (1) CA2557534A1 (ja)
WO (1) WO2005083637A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926576A (zh) * 2004-02-27 2007-03-07 Td视觉有限公司 用于数字编码3d立体视频图像的方法和系统
JP4366277B2 (ja) * 2004-09-21 2009-11-18 キヤノン株式会社 撮像装置及びその制御方法
JP4727221B2 (ja) * 2004-12-21 2011-07-20 ルネサスエレクトロニクス株式会社 映像信号処理装置及び映像信号処理方法
WO2006088644A1 (en) * 2005-02-16 2006-08-24 Thomson Licensing Agile decoder
JP4214532B2 (ja) * 2006-04-25 2009-01-28 セイコーエプソン株式会社 画像処理装置及び画像処理方法
US10908421B2 (en) * 2006-11-02 2021-02-02 Razer (Asia-Pacific) Pte. Ltd. Systems and methods for personal viewing devices
KR100842568B1 (ko) * 2007-02-08 2008-07-01 삼성전자주식회사 영상 압축 데이터의 생성 장치와 방법 및 영상 압축데이터의 출력 장치와 방법
US20080252719A1 (en) * 2007-04-13 2008-10-16 Samsung Electronics Co., Ltd. Apparatus, method, and system for generating stereo-scopic image file based on media standards
KR100962696B1 (ko) * 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
JP2009044537A (ja) * 2007-08-09 2009-02-26 Osaka Univ 映像ストリーム処理装置及びその制御方法、プログラム、記録媒体
WO2009076595A2 (en) * 2007-12-12 2009-06-18 Cisco Technology, Inc. Video processing with tiered interdependencies of pictures
KR100993428B1 (ko) * 2007-12-12 2010-11-09 한국전자통신연구원 Dmb 연동형 스테레오스코픽 데이터 처리방법 및스테레오스코픽 데이터 처리장치
US20090219985A1 (en) * 2008-02-28 2009-09-03 Vasanth Swaminathan Systems and Methods for Processing Multiple Projections of Video Data in a Single Video File
WO2009154033A1 (ja) * 2008-06-18 2009-12-23 三菱電機株式会社 三次元映像変換記録装置、三次元映像変換記録方法、記録媒体、三次元映像変換装置、及び三次元映像伝送装置
CN102257823B (zh) * 2008-12-18 2017-03-08 Lg电子株式会社 用于显示立体图像的数字广播接收方法及使用该方法的数字广播接收装置
US20100175741A1 (en) * 2009-01-13 2010-07-15 John Danhakl Dual Axis Sun-Tracking Solar Panel Array
CN102484730A (zh) * 2009-06-04 2012-05-30 寇平公司 集成头戴显示器的3-d视频处理器
CN102197655B (zh) * 2009-06-10 2014-03-12 Lg电子株式会社 暂停模式中的立体图像再现方法及使用该方法的立体图像再现装置
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
WO2010151555A1 (en) 2009-06-24 2010-12-29 Dolby Laboratories Licensing Corporation Method for embedding subtitles and/or graphic overlays in a 3d or multi-view video data
US9036700B2 (en) * 2009-07-15 2015-05-19 Google Technology Holdings LLC Simulcast of stereoviews for 3D TV
CN102656620B (zh) * 2009-11-13 2017-06-09 寇平公司 用于从标准视频流驱动3d双目眼镜的方法
US8922625B2 (en) * 2009-11-19 2014-12-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
AU2009243439A1 (en) * 2009-11-30 2011-06-16 Canon Kabushiki Kaisha Robust image alignment for distributed multi-view imaging systems
US8947503B2 (en) * 2009-12-08 2015-02-03 Broadcom Corporation Method and system for processing 3-D video
WO2011084895A1 (en) 2010-01-08 2011-07-14 Kopin Corporation Video eyewear for smart phone games
CN102123280B (zh) * 2010-01-11 2016-03-02 联发科技股份有限公司 解码方法及解码装置
US8570361B2 (en) 2010-01-11 2013-10-29 Mediatek Inc. Decoding method and decoding apparatus for using parallel processing scheme to decode pictures in different bitstreams after required decoded data derived from decoding preceding picture(s) is ready
WO2011087303A2 (ko) * 2010-01-18 2011-07-21 엘지전자 주식회사 방송 신호 수신기 및 비디오 데이터 처리 방법
US9426441B2 (en) * 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
CA2797619C (en) 2010-04-30 2015-11-24 Lg Electronics Inc. An apparatus of processing an image and a method of processing thereof
CN101888567B (zh) * 2010-07-07 2011-10-05 深圳超多维光电子有限公司 立体图像处理方法和立体显示装置
TWI406559B (zh) * 2010-09-28 2013-08-21 Innolux Corp 顯示方法及執行其之電腦可讀取媒體
GB2487200A (en) * 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
EP2697975A1 (en) 2011-04-15 2014-02-19 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3d images independent of display size and viewing distance
US9615126B2 (en) * 2011-06-24 2017-04-04 Google Technology Holdings LLC Intelligent buffering of media streams delivered over internet
US9307002B2 (en) 2011-06-24 2016-04-05 Thomson Licensing Method and device for delivering 3D content
JP6035842B2 (ja) * 2012-04-25 2016-11-30 ソニー株式会社 撮像装置、撮像処理方法、画像処理装置および撮像処理システム
US9179144B2 (en) 2012-11-28 2015-11-03 Cisco Technology, Inc. Fast switching hybrid video decoder
JP5886341B2 (ja) 2014-03-07 2016-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9681111B1 (en) * 2015-10-22 2017-06-13 Gopro, Inc. Apparatus and methods for embedding metadata into video stream
US20170164041A1 (en) * 2015-12-07 2017-06-08 Le Holdings (Beijing) Co., Ltd. Method and electronic device for playing videos
US9984314B2 (en) * 2016-05-06 2018-05-29 Microsoft Technology Licensing, Llc Dynamic classifier selection based on class skew
US10735826B2 (en) * 2017-12-20 2020-08-04 Intel Corporation Free dimension format and codec
CN112684483B (zh) * 2021-01-22 2024-02-06 浙江理工大学 基于卫星和视觉融合的导航偏差感知及其信息获取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07240943A (ja) * 1994-02-25 1995-09-12 Sanyo Electric Co Ltd ステレオ画像符号化方法
JPH11113026A (ja) * 1997-09-29 1999-04-23 Victor Co Of Japan Ltd 立体動画像高能率符号化復号化装置及びその方法
WO2003092304A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Image data creation device, image data reproduction device, and image data recording medium
JP2003319419A (ja) * 2002-04-25 2003-11-07 Sharp Corp データ復号装置

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496183B1 (en) 1998-06-30 2002-12-17 Koninklijke Philips Electronics N.V. Filter for transforming 3D data in a hardware accelerated rendering architecture
US5821989A (en) 1990-06-11 1998-10-13 Vrex, Inc. Stereoscopic 3-D viewing system and glasses having electrooptical shutters controlled by control signals produced using horizontal pulse detection within the vertical synchronization pulse period of computer generated video signals
JP2586260B2 (ja) 1991-10-22 1997-02-26 三菱電機株式会社 適応的ブロッキング画像符号化装置
NO175080B (no) 1992-03-11 1994-05-16 Teledirektoratets Forskningsav Fremgangsmåte for koding av bildedata
EP0639031A3 (en) 1993-07-09 1995-04-05 Rca Thomson Licensing Corp Method and device for encoding stereo image signals.
JP3524147B2 (ja) 1994-04-28 2004-05-10 キヤノン株式会社 3次元画像表示装置
JP3086396B2 (ja) 1995-03-10 2000-09-11 シャープ株式会社 画像符号化装置及び画像復号装置
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
NZ309818A (en) 1995-06-02 1999-04-29 Philippe Schoulz Process for transforming images into stereoscopic images, images and image series obtained by this process
US6023301A (en) 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
JPH09139957A (ja) 1995-11-14 1997-05-27 Mitsubishi Electric Corp グラフィック表示装置
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JP3952319B2 (ja) 1995-12-29 2007-08-01 株式会社セガ 立体画像システム、その方法、ゲーム装置及び記録媒体
KR970060973A (ko) 1996-01-31 1997-08-12 김광호 디지탈 입체영상의 부호화/복호화장치
DE69709835T2 (de) 1996-05-28 2002-08-22 Matsushita Electric Ind Co Ltd Vorrichtung zur bildvorhersage und decodierung
CA2208950A1 (en) * 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
US5652616A (en) * 1996-08-06 1997-07-29 General Instrument Corporation Of Delaware Optimal disparity estimation for stereoscopic video coding
EP0931420A4 (en) * 1996-10-11 2002-06-26 Sarnoff Corp METHOD AND DEVICE FOR CODING AND DECODING STEREOSCOPIC VIDEO SIGNALS
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
KR100318056B1 (ko) 1996-11-06 2001-12-24 모리시타 요이찌 화상 복호화 방법
KR100273110B1 (ko) * 1997-02-26 2000-12-01 윤종용 엠펙 시스템 디코더 및 이 디코더의 데이터 처리 방법
MY129665A (en) 1997-04-09 2007-04-30 Matsushita Electric Ind Co Ltd Image predictive decoding method, image predictive decoding apparatus, image predictive coding method, image predictive coding apparatus, and data storage media
JP3191922B2 (ja) 1997-07-10 2001-07-23 松下電器産業株式会社 画像復号化方法
KR20000068660A (ko) 1997-07-29 2000-11-25 요트.게.아. 롤페즈 3차원 장면 재구성 방법과 재구성 장치 및 디코딩 시스템
JPH1169346A (ja) 1997-08-18 1999-03-09 Sony Corp 送信装置、受信装置、伝送装置、並びに送信方法、受信方法、伝送方法
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
JP3420504B2 (ja) 1998-06-30 2003-06-23 キヤノン株式会社 情報処理方法
US6151362A (en) * 1998-10-30 2000-11-21 Motorola, Inc. Joint rate control for stereoscopic video coding
EP1006482A3 (en) 1998-12-01 2005-08-10 Canon Kabushiki Kaisha Encoding separately image object and its boundary
US6658056B1 (en) 1999-03-30 2003-12-02 Sony Corporation Digital video decoding, buffering and frame-rate converting method and apparatus
CN1166207C (zh) 1999-05-27 2004-09-08 皇家菲利浦电子有限公司 对视频信号进行编码的方法、装置及采用该装置的摄像机
KR100334722B1 (ko) * 1999-06-05 2002-05-04 강호석 Mpeg 데이터를 이용한 입체영상생성방법 및 그 장치
JP2001054140A (ja) 1999-08-11 2001-02-23 Sukurudo Enterprise Kk ステレオ映像帯域圧縮符号化方法および復号化方法ならびに記録媒体
FR2800551B1 (fr) 1999-11-03 2002-01-04 St Microelectronics Sa Decodeur mpeg utilisant une memoire partagee
US6678424B1 (en) 1999-11-11 2004-01-13 Tektronix, Inc. Real time human vision system behavioral modeling
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
KR100830355B1 (ko) * 2000-03-31 2008-05-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 2개의 상관된 데이터 시퀀스들의 인코딩 및 디코딩을 위한 방법, 인코더, 디코더, 및 멀티플렉스
US7277121B2 (en) * 2001-08-29 2007-10-02 Sanyo Electric Co., Ltd. Stereoscopic image processing and display system
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
JP4154569B2 (ja) * 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
EP1543339B1 (en) * 2002-09-20 2006-08-02 Koninklijke Philips Electronics N.V. Method and apparatus for determining iddq
AU2002952873A0 (en) * 2002-11-25 2002-12-12 Dynamic Digital Depth Research Pty Ltd Image encoding system
KR100751422B1 (ko) * 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
JP2004287857A (ja) * 2003-03-20 2004-10-14 Sanyo Electric Co Ltd プログラム、記録媒体、サーバ装置および画像フィルタ
KR100768837B1 (ko) 2003-04-17 2007-10-19 샤프 가부시키가이샤 3차원 화상 작성 장치, 3차원 화상 재생 장치, 3차원 화상 처리 장치, 3차원 화상 처리 프로그램을 기록한 기록 매체
CN1204757C (zh) 2003-04-22 2005-06-01 上海大学 一种立体视频流编码/解码器及其立体视频编解码系统
CN1926576A (zh) 2004-02-27 2007-03-07 Td视觉有限公司 用于数字编码3d立体视频图像的方法和系统
US7699521B2 (en) * 2005-08-01 2010-04-20 Thermal Wave Imaging Automated binary processing of thermographic sequence data
US20080017360A1 (en) * 2006-07-20 2008-01-24 International Business Machines Corporation Heat exchanger with angled secondary fins extending from primary fins

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07240943A (ja) * 1994-02-25 1995-09-12 Sanyo Electric Co Ltd ステレオ画像符号化方法
JPH11113026A (ja) * 1997-09-29 1999-04-23 Victor Co Of Japan Ltd 立体動画像高能率符号化復号化装置及びその方法
WO2003092304A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Image data creation device, image data reproduction device, and image data recording medium
JP2003319419A (ja) * 2002-04-25 2003-11-07 Sharp Corp データ復号装置

Also Published As

Publication number Publication date
KR20110111545A (ko) 2011-10-11
CN1938727A (zh) 2007-03-28
CA2557534A1 (en) 2005-09-09
US20100271462A1 (en) 2010-10-28
EP1727090A1 (en) 2006-11-29
US20190058894A1 (en) 2019-02-21
KR101177663B1 (ko) 2012-09-07
US9503742B2 (en) 2016-11-22
EP2544451A3 (en) 2014-01-08
US20170070742A1 (en) 2017-03-09
EP2544451A2 (en) 2013-01-09
US20070041444A1 (en) 2007-02-22
WO2005083637A1 (es) 2005-09-09

Similar Documents

Publication Publication Date Title
JP2007525907A (ja) 立体3dビデオイメージディジタルデコーディングのシステムおよび方法
US20190058865A1 (en) System and method for encoding 3d stereoscopic digital video
RU2573257C2 (ru) Устройство декодирования сигнала изображения, способ декодирования сигнала изображения, устройство кодирования сигнала изображения, способ кодирования сигнала изображения и программа
US8571101B2 (en) Method and system for encoding a video signal, encoded video signal, method and system for decoding a video signal
US5999657A (en) Recording and reproducing apparatus for digital image information
JP5228077B2 (ja) 立体3dビデオイメージディジタルデコーディングのシステムおよび方法
JP5227439B2 (ja) 立体3dビデオイメージディジタルコーディングのシステムおよび方法
KR20070011341A (ko) 입체적 3d-비디오 이미지 디지털 디코딩 시스템 및 방법
KR20070011340A (ko) 입체적 3d-비디오 이미지 디지털 코딩 시스템 및 방법
LGGGGGG C ZIT źd d': http:% pic. gc. ca-Ottawa-Hull KlA 0C9-http://cipo. gc. ca () PI
CN101917616A (zh) 用于数字编码3d立体视频图像的方法和系统
MXPA06009734A (es) Metodo y sistema de decodificacion digital de imagenes de video 3d estereoscopicas.
MXPA06009733A (es) Metodo y sistema de codificacion digital de imagenes de video 3d estereoscopicas.

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100405

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100412

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100825

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100901

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101001

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101008

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101101

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101129

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110414

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110520

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110525

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20110708

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120409

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120412

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121009

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121012