JP2015092700A - 立体的三次元画像の圧縮を維持する低帯域コンテンツのための方法及び装置 - Google Patents

立体的三次元画像の圧縮を維持する低帯域コンテンツのための方法及び装置 Download PDF

Info

Publication number
JP2015092700A
JP2015092700A JP2014252284A JP2014252284A JP2015092700A JP 2015092700 A JP2015092700 A JP 2015092700A JP 2014252284 A JP2014252284 A JP 2014252284A JP 2014252284 A JP2014252284 A JP 2014252284A JP 2015092700 A JP2015092700 A JP 2015092700A
Authority
JP
Japan
Prior art keywords
image
frame line
stereoscopic
eye frame
line image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014252284A
Other languages
English (en)
Other versions
JP6074404B2 (ja
Inventor
チュカレイスキー エミル
Tchoukaleysky Emil
チュカレイスキー エミル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Priority to JP2014252284A priority Critical patent/JP6074404B2/ja
Publication of JP2015092700A publication Critical patent/JP2015092700A/ja
Application granted granted Critical
Publication of JP6074404B2 publication Critical patent/JP6074404B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】追加層をビデオストリームの帯域幅の15%−30%の画像内で送る効率的な方法及び装置を提供する。
【解決手段】第1及び第2の立体的アイフレームライン画像を受け入れ、第1と第2の画像との間の大凡の画像シフトを判断し、大凡の画像シフトに応じて正確な画像シフトを判断し、第1と第2の画像の一方を送り、正確な画像シフトに対応したデータ及びさらなる処理のためのメタデータを送る各ステップを含む。さらに送信された第1の完全な立体アイフレームライン画像を受信し、第1と第2の画像との差分を得て、差分を第1の画像から引き、第2の立体的アイフレームライン画像を記憶し、第1の完全な立体アイフレームライン画像に含まれているメタデータからシフトライン値を得て、シフト値に応じて第2の立体的アイフレームライン画像をその元の位置にシフトする各ステップを含む。
【選択図】図3

Description

本発明は三次元(3D)ビデオ画像の配信に関連し、特に、コンテンツを保持しながら3Dビデオ画像の配信に必要な帯域幅を小さくする方法及び装置に関する。
マルチキャスト送信もしくはブロードキャスト送信を行う場合、データはサーバから複数のレシーバ(受信装置)に有線ネットワーク及び/または無線ネットワークを介して送信される。マルチキャストシステムは、サーバが同じデータを複数の受信装置に同時に送信するシステムであり、これら受信装置は幾つかの受信装置(全ての受信装置を含む場合もある)からなるサブセットを形成する。ブロードキャストシステムは、サーバが同じデータを前記受信装置の全てに同時に送信するシステムである。つまり、マルチキャストシステムはその定義によれば、ブロードキャストシステムを含むことができる。
左目(LE:left eye)−右目(RE:right eye)の画像差分を追加層として送る(送信する、展開する)既存の方法は、実質的な立体的圧縮を達成するが、当該追加層の帯域幅は1つのチャネルの30%から60%である。この量は依然として大きく、分散(分配)、復号化及び記憶に関して問題を生じさせる。
本発明の1つの目的は追加層を1つのビデオストリームの帯域幅の15%−30%の画像内で送ることができる現実的(実用的)で且つ効率的な方法を見出すことである。
本発明の圧縮方法は、左目と右目のビデオ画像対の立体的3D(S3D)構造に良く適しており、2つのピクチャチャネルの本来の関係を利用する。もし元のS3Dピクチャがパラレルカメラ器具もしくはトーイン(toe−in)を使用して捕捉されたなら、または、それがクリエイティブシーン深さ(creative scene depth)を適用して捕捉(撮影)されたなら、対になっている当該2つの画像はより深い相関関係を有し、画像のz軸(つまり深さ方向の軸)に沿った非線形の回転によって抽出される。本発明はこの相関特性を利用しており、これはHVS(Human Visual System:人間視覚システム)の特殊性に基づいており、より良いビデオ伝送圧縮を送ることができる。
本発明はビデオ画像(ピクチャ、映像)の家庭への高度な(拡張的な)展開を可能にするものであり、当該ビデオ画像は画像深さ再生を目的として捕捉または作成された画像である。左目画像及び右目画像の一方は、その全体が既存の移送路(リンク、チャネル)を通って伝送される。その際、当該リンクがマルチキャスト、ブロードキャスト、ケーブル、衛星(サテライト)、インターネット、地上波その他であるかは関係ない。第2のビデオ画像は、立体的ピクチャ対の体積(容量)的な特徴及び空間的な特殊性を使用して圧縮される。
本発明は、2Dプラスデルタ技術として知られているMPEG4実装技術の一部として位置づけられている手法を拡張するものである。ここに記載された本発明は、3D回転及び逐次(反復)画像減算(iterative image subtraction:イテラティブイメージサブストラクション)に基づいて、左目画像と右目画像を相関させるという点において、この技術とは異なる。
尚、ビデオ画像データが例として用いられるが、データはS3Dタイプのマルチメディアデータでもよい。また、本発明は、3Dビデオ画像がテレビに表示されるシステム、または、3Dビデオ画像がディスプレイモニタ、ビデオプロジェクタもしくは3Dビデオ画像をレンダリングすることができる任意のその他の装置(例えば、モバイルデバイス、コンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、PDA(personal digital assistants)、デュアルモードスマートフォン。尚、これらに限られない。)にレンダリングされるシステムにおいて使用することができる。本明細書においてテレビライン(TV line)という用語は、前記システムの例示的な実施形態として、3Dビデオ画像を送ってレンダリングするという意味で用いられる。上記したデバイス(装置)のいずれも、クライアントサーバアーキテクチャで動作すること、ピアツーピア(P2P)アーキテクチャで動作すること、これらアーキテクチャの任意の組み合わせにおいて動作することができると共に、3Dビデオ画像を送ってレンダリングするのに使用される他の任意のアーキテクチャでも動作することができる。組み合わされたアーキテクチャとしては、例えば、マルチホップ無線リレーネットワークで使用されるP2Pアーキテクチャが挙げられる。マルチホップ無線リレーネットワークはクライアントサーバアーキテクチャのサーバに接続されたメッシュルータを有する。
本発明は、最初に、ディスプレイフレーム内の第1のアクティブなフレームラインの右目画像を当該第1のアクティブなフレームライン(同じライン)の左目画像から引くことによって、効率的な立体的画像符号化(エンコーディング)を行う。もし差分(difference:単に差ともいう)が大きければ、アルゴリズムは立体的な内容(コンテンツ)があると認識し、それがどこに(実際のシーンの視聴ゾーンから遠いゾーンなのか、中間のゾーンなのか、近いゾーンなのか)集中しているかを探し始める。これは、右目画像ラインを左目画像ラインの方向に3段階でシフトし、3つの左目−右目差分を生成することによって達成される。最小差分は、当該シーンの主画像深さを示している。小さな差分のために、小さな(わずかな)画像ラインシフトが、この位置の回りに決定(判断)される。次のテレビラインについては、前記プロセスが繰り返され、1つのフレームについて垂直ライン相関が追加されると共にフレーム間の時間ライン相関が追加される。従って、このプロセスは左目画像に最も近い右目画像の位置を見つける。非線形(直線的ではない)の右目画像ラインシフトはテレビフレームにおける回転動作を表し、この動作は、最もはっきりしている立体面における左目画像ラインに合わせようとする動作である。左目画像は全部送られるが、右目画像は右目画像を最小の左目−右目差分として符号化することによって送られる。計算は次のとおりである。シフト、引き算(減算)、及び差分における蓄積バイトのカウントである。圧縮方法はライン走査のリアルタイムで実施される。受け取り側(受信側)では、解凍方法がメタデータをラインシフト値とともに受け入れ(受信し)、当該方法は左目−右目差分を前記送信された完全な左目画像から引いて、右目ライン画像を復元し、当該右目ライン画像を元の位置に配置する。
本発明の方法は完全プログレッシブ走査(順次走査)またはインターレース走査(一本おきに走査)された左目画像及び右目画像を処理する。即ち、本発明の方法は、画像が本発明の方法及び装置に提示できるように当該画像を処理する。本発明はラスターフォーマットを修正しないし、ゾーン圧縮及びインターリーブ圧縮も採用しない。本発明では、両方の画像に関する情報をパラレルに運び、立体的画像対を圧縮するために左目画像シーケンスも右目画像シーケンスも採用しない。
右目画像を左目画像から引くという本明細書に記載された例示的な実施形態は、左右を反転して(逆にして)もよい。その場合、本発明の方法も左右を反転する。本発明の方法は近い領域、中間の領域及び遠い領域以外の領域も使用することができる。例えば、近い領域と中間の領域の間の領域と、中間の領域と遠い領域の間の領域とを使用してもよい。このようにすると5つの領域と5つのシフトと5つの差分ができる。即ち、本発明は3つの領域に限定されず、3つの領域の使用は例示的な実施形態として採用されている。
本発明の方法及び装置は、適応性技術を立体的画像対に採用することによって、S3Dデュアルビデオストリームの帯域幅を減少させる。このビデオストリームは家庭もしくは映画館(劇場)もしくはモバイル装置(デバイス)に送信されるものである。最近のS3Dビデオエンコーダ及び方法には3つのカテゴリがあり、本発明と比較することができる。
1)標準2Dプラスデルタエンコーディングのための方法。この方法はMPEG4のマルチビュービデオコーディングエクステンションのH.264インプリメンテーションに基づいており、ISO/ITU/IEC/MPEG2/MPEG4/MVCイニシアチブに記載されている。この技術は右目チャネルもしくは左目チャネルの一方を二次元(2D)バージョンとして使用し、その際、当該チャネルと第2のチャネルの間の圧縮差分である相違量(デルタ)がビデオストリームのユーザデータに注入されるか、2次的なストリームとして運ばれるか、強化層として運ばれる。デルタデータは空間的な立体的相違量、時間的な予測(推測)または双方向動き補償であり得るが、デルタデータは画像深さデータではない。
このカテゴリの方法の利点は、左目立体ビデオビュー(見えるもの)及び右目立体ビデオビューの全情報を再構築することができること、既存の移送路を介して配信できること、従来の(旧式の)2Dデコーダによって復号化(デコーディング)できることである。このアプローチの欠点は左目画像と右目画像の自然な相関を使用しないので、圧縮効率が限定的である(高くできない)ことである。
2)2Dプラス深さエンコーディング(2DプラスZフォーマットとも称される)のための方法。この方法は、各2D画像フレームに関連して作られるグレースケール深さマップに基づいている。当該マップは、2D画像の特定の画素がディスプレイ(スクリーン)面の前または当該ディスプレイ面の後で再生成される必要があるかを示す。256グレースケールレベルは画像内にスムースな勾配(段階的(階層的)変化)の深さを作ることができる。ディスプレイモニタ(テレビ、ビデオプロジェクタ、モバイル装置、及びS3Dビデオ画像をレンダリングするのに用いられるその他のディスプレイ装置)における処理は、深さマップを利用し左目ビデオ画像及び右目ビデオ画像を再構築すると共にマルチビュー画像をレンダリングする。
このカテゴリの方法の利点は、帯域幅が限定的であることであり、シングルビデオ(S3Dではない)のビデオストリームを配信するために(の)ビデオチャネルの20%の範囲内でよい。このカテゴリの方法の欠点は、既存の2Dディスプレイとの互換性(適合性)がないことであり、ライブ立体フィード(live stereoscopic feed)から深さマップを正確に生成するのが難しいし、深さマップをレンダリングする際に目に見える乱れ(歪)が生ずる。
3)画像のセグメント化及び立体相関の計算のための方法。この方法は、複雑なシーンにおけるエッジ検出及びコンピュータビジョンに応用でき、3Dの映像的な表示及び認識において発展及び利点をもたらした。この方法の欠点は、コストが高いこと及び処理が遅いことである。この欠点はライブのブロードキャスト(マルチキャスティング、ストリーミング)において許容されない場合がある。
従って、本発明の方法は第2のビデオストリームの全てを送信するのに必要とされていたフルチャネル帯域幅の15%〜30%で、当該第2のビデオストリームを表すことができる。その結果得られる圧縮ビデオストリームは、フル解像度で左目立体ビュー及び右目立体ビューを再構築するのに必要な全ての情報を含む。
本明細書に記載された方法及び装置は、第1の立体的アイフレームライン(eye frame line)画像を受け入れるステップと、第2の立体的アイフレームライン画像を受け入れるステップと、前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像との間の大凡の画像シフトを判断するステップと、前記大凡の画像シフトに応じて、正確な画像シフトを判断するステップと、前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像の一方を送るステップと、前記正確な画像シフトに対応するデータ及び更なる処理のためのメタデータを送るステップとを含む。本明細書には、送信された第1の完全な(フル)立体的アイフレームライン画像を受信するステップと、第1の立体的アイフレームライン画像と第2の立体的画像との間の差分を得る(抽出する)ステップと、当該得られた差分を前記第1の立体的アイフレームライン画像から引くステップと、前記第2の立体的アイフレームライン画像を記憶するステップと、前記第1の完全な立体的アイフレームライン画像に含まれているメタデータからシフトライン値を得る(抽出する)ステップと、前記シフト値に応じて前記第2の立体的アイフレームライン画像をその元の位置にシフトするステップと、を含む方法及び装置も記載されている。
本発明は、添付図面を参照して下記の発明を実施するための形態の説明を読むことにより、非常に良く理解される。添付図面は以下において簡単に説明される図面を含む。
人間視覚システム(HVS:Human Visual System)に対するシーンオブジェクトの位置を示す図である。 (a)、(b)、(c)及び(d)は、当初の左目ライン画像及び右目ライン画像と、遠いシーンオブジェクト、中間のシーンオブジェクト及び近いシーンオブジェクトについての大凡の差分を判定(決定)するために右目画像を右にシフトした結果を示す図である。 本発明の圧縮方法において、前記大凡の画像シフトを判断(決定)するための例示的な実施形態のフローチャートである。 本発明の圧縮方法において、ライン間処理及びフレーム間処理を決める例示的な実施形態のフローチャートである。 本発明の技術思想に基づくエンコーダの例示的な実施形態のブロック図である。 本発明の解凍方法の例示的な実施形態のフローチャートである。 本発明の解凍装置の例示的な実施形態のブロック図である。
ブロードキャスト、衛星、ケーブル、インターネット、パッケージ化された媒体、ブルーレイディスク及び最近ではモバイル(機器)を介して配信するために、立体的3D画像の2つのビデオチャネルをできるだけ1つのビデオチャネルに圧縮する際の課題については、幾つかのアプローチ(課題解決手段)がある。S3Dの復活に伴い、新しい技術が開発されたり、幾つかの既存の基準及び手法・技法が、圧縮を行い及び現在の通信路との互換性(適合性)を取るために大容量のピクチャ(映像)に適用された。課題は、もし高品質の圧縮画像を第1のストリームに組み込むことができなければ、第2のビデオストリームが配信のために独立したチャネルを必要とするという点にある。
立体的ビデオ圧縮及びコンテンツ配信についてのMPEG技術(主に2Dプラスデルタ技術におけるもの)を使用することにより、著しい進歩が達成された。本発明の目的は、次のレベルのコンテンツ維持(保持)圧縮の開発において立体的画像対の相関的特徴を利用することである。当該相関的特徴を利用することにより、当該対の1つのチャネル表示に近くなる。
S3D画像(画像作成)の1つの特徴は、左目画像と右目画像の回転類似性である。人間の目に最も近いオブジェクト(物)は最も大きな画像不同(画像差分、ディスパリティ)を有する。例えば、空間的な左目画像と右目画像の間の差分が最大となる。これは、位置だけでなく、コンテンツについても言える。遠いオブジェクト(通常、150フィート(約45.7m)よりも離れた所にあるもの)は、左目画像と右目画像についてHVS(人間視覚システム)では同じような画像を生成する。近いエリアと遠いエリアの間にあるオブジェクトは、中程度に異なる立体的な画像対を形成する。これは、空間的な位置とコンテンツについて中程度に異なる。もし画像回転が左目画像または右目画像の一方に適用され、その回転中心が遠い面であり、且つ、回転方向が他方の画像に向いているなら、空間回転のある角度において画像がオーバーラップする。このとき、立体対の画像同士の間のコンテンツ差分だけが現れる。当該残っている差分はHVSの眼間距離からくるものであり、符号化のための最も価値のある情報を提示する。
実際の場合、既に得られている3D画像に空間回転を行うことは難しい。しかし本発明は対の画像の2つのラインに繰り返し数学的な処理を行うことによって同様の結果を得られる可能性に着目した。よって、幾つかのステップが研究された。
−1フレームライン毎に、左目画像と右目画像の間の大凡の回転相関を見つけるステップ。
−1フレームライン毎に、左目画像と右目画像の間の回転相関を見つけるステップ。
−垂直方向において、1つのS3Dフレーム内の連続フレームラインを相関させるステップ。
−時間方向において、前記連続フレームを相関させるステップ。
見る人に対するシーンオブジェクトの位置が、遠いオブジェクト、中間の深さのオブジェクト及び近いオブジェクトについて、図1に示されている。この図は本発明の理解に関する基本であり、右目画像の符号化についてのオブジェクトの主な位置を選んだものである。
図2(a)の上の2つのラインは、左目画像及び右目画像からのラインオブジェクトの画素を示す例である。水平位置差分は立体カメラ機器(装置)の2つのカメラによって得られる最初の画素差分である。左目画像は右目画像の右に位置している。これはまた、どのように人間が画像を見ているかを表している(その前提として、両方のピクチャ(映像)が1つの同じ水平開始点(両方のピクチャについて画素数がゼロ)から始まると仮定する)。
本発明の1つの実施形態では、左目画像ラインが基準とされ、右目画像ラインが左目画像ラインの方向において水平方向に右に移動され(即ち、シフトされ)、最も小さい(最少の)左目−右目差分を見つける。図2の一番下の(最後)のラインは、補正(補償)が開始される前の当初の左目−右目画像差分を示している。この差分は、ビットサイズでみると、2つの立体コンポーネントのいずれよりも小さいが、右目画像が下記のようにシフトした後に生成される当該差分よりも大きい。
右目画像シフトは4つのフェーズで実行される。
−最初に、右目画像を左目画像から引いて(左目−右目)、その結果を分析する。もし当該結果がゼロバイトと128バイトの間ならば、当該2つの画像ラインは異ならないので、このフレームラインには実質的にS3D情報は無い。減算フェーズは、すべての同じ数の画素のビデオ値を1つ1つ順次減算することによって実行され(LE−RE:左目−右目)、その後、当該差分が加算される。もし減算(差分)結果が128バイトのデジタル値より大きければ、このフレームラインには大きなS3Dデータがある。減算処理において、128番目のバイトが満たされるまで、当該差分結果が次の計算バイトに加算される。差分を正確に計算する必要は無い。連続減算及び加算の後の最後に満たされたバイトの数は立体効果を判断するのに十分な情報をもたらし、当該最後に満たされたバイトは本実施形態において最初の差分であるので「差分(最初)」と記載される。
−右目画像の最初の水平方向シフトは小さな画素数でなされ、右目画像ラインを右にシフトする。これが図2(b)に示されている。これは実際のS3Dシーンにおける深い(つまり遠い)オブジェクトに関連している。右目画像ラインの全画素が10画素だけ右にシフトされており、本明細書において「シフト(遠)」と記載されている。フレームラインの長さより大きいバッファが、右目画像ラインの最右の画素を収容するためには必要となる。10画素移動された右目画像ラインを左目画像ラインから引き、その結果を保持(記憶、維持)する。これが計算後の、最後に満たされたバイトの番号である。次に、右目画像ライン位置を元の場所に戻す(リセットする)。図2(b)の一番下(最後)のラインは、図2(a)の一番下(最後)のラインと比較して、画像差分のビットサイズが大きく減少していることを示している。
−右目画像ラインの第2の水平方向シフトは50画素だけ右になされる。これが図2(c)に示されており、本明細書において「シフト(中間)」と記載されている。これは実際のS3Dシーンにおける中間の深さにあるオブジェクトに関連している。全ての右目画像ライン画素が右にシフトされ、当該シフトされたフレームラインを記憶するために他のバッファが採用される。50画素移動された右目画像ラインを左目画像ラインから引き、その結果を保持(記憶、維持)する。これが計算後の、最後に満たされたバイトの番号である。次に、右目画像ライン位置を元の場所に戻す(リセットする)。図2(c)の一番下(最後)のラインも、図2(a)の一番下(最後)のラインと比較して、画像差分のビットサイズが減少していることを示している。
−右目画像ラインの第3の水平方向シフトは150画素だけ右になされる。これが図2(d)に示されており、本明細書において「シフト(近)」と記載されている。このシフトは実際のS3Dシーンにおいて視聴者に最も近いオブジェクトに関連している。全ての右目画像ライン画素がシフトされ、当該シフトされたフレームラインを記憶するために他の拡張バッファが用いられる。150画素移動された右目画像ラインを左目画像ラインから引き、その結果を保持(記憶、維持)する。これが計算後の、最後に満たされたバイトの番号である。再度、右目画像ライン位置を元の場所に戻す(リセットする)。図2(d)の一番下(最後)のラインも、図2(a)の一番下(最後)のラインと比較して、画像差分のビットサイズが減少していることを示している。
3つの画像ラインシフト及び減算フェーズが実行されたならば、得られた差分を前記差分(最初)と比較する。最後に満たされたバイトの番号を比較するだけでよい。前記3つのシフト結果の内で、前記差分(最初)と比較して最も小さい、最後に満たされたバイトの数を有するシフト結果が、左目画像ラインに対する最良の右目画像ライン概算(近算)であり、本明細書では右目(大凡)と記載される。これは、シーンのZ軸に沿った当該フレームラインの主なオブジェクト位置を反映している。その後、右目(大凡)は画素毎に左目画像ラインから引かれ、ビデオ差分(画像差分)は比較の最初の結果となる。これは、最少の冗長性を有する、画像対における第2のビデオチャネルを表し、本明細書において大凡の差分(「差分(大凡)」)と記載されている。
図2(a)、(b)、(c)及び(d)に示された例の内、図2(c)のシフトが最良の左目−右目画像差分を有し、本発明の圧縮方法の次のステップのために本発明の方法によって選択され、これが2つの画像ラインの間の正確な相関である。メタデータはライン毎に(各ライン)2バイトで右目ラインシフト情報を運ぶ。
左目画像ラインと右目画像ラインの間の大凡の回転相関の後、最良の初期マッチングを見つけ、次のレベルの相関探しを開始する。これは、大凡の回転相関のエリア(周囲、近傍)における、より小さな(少ない)左目−右目差分を見つけるためである。このプロセスは、同じような画素シフト、減算、及び最後に満たされたバイトの比較を適用する。
正確な回転相関を探す処理を開始するにあたり、右目画像ラインを最良の位置に設定する。最良の位置は、上記した大凡の回転相関で決められたもの(右目(大凡))である。次に、右目画像ラインを少しずつ増加した量だけシフト(移動)する。最初は、右に、例えば、5画素移動する。各シフトされた右目画像ラインを左目画像ラインから引き、最後に満たされたバイトの数と前記差分(大凡)の最後に満たされたバイトの数と比較する。もし新しいバイトの数が前記差分(大凡)より小さければ、アルゴリズムはエンコーダのためのより良い右目画像ライン候補を見つけたことになり、これが本明細書において「右目(正確)」と記載され、正確な差分は本明細書において「差分(正確)」と記載されている。前記差分(正確)が増加し始め(大きくなり始め)て最少の差分(正確)を選択するまで、右目を右へシフトすることを繰り返す。
前記差分(正確)が前記差分(大凡)より大きければ、右目画像ラインを左に5画素ずつシフトする(戻す)。もし新しいバイトの数が前記差分(大凡)より小さくなれば、これが符号化のための、より良い候補となる。前記差分(正確)が増加し始め(大きくなり始め)て最少の差分(正確)を選択するまで、右目を左へシフトすることを繰り返す。右目画像ラインデータを移送するためにバッファのメタデータに右目画像ライン画素位置を記憶する。
ビデオフレームの1ラインおきのフレームライン(2フレームラインに1フレームライン)には、第1のフレームラインに対して行われた上記した処理が行われなければならない。この際、連続するフレームラインの追加の非線形相関評価を観察する。ビデオ画像化処理の公知の構造及び統計に基づけば、次のフレームラインシフトについての最良の概算は前のラインからの右目(正確)の位置であるので、これは次のフレームラインの大凡の回転相関ポイント(位置)を見つけるための良いスタートポイントである。
この考えに従って、次のラインの差分(最初)がテストされる。もしその結果が前のフレームラインからの値と同じようなものであれば、当該フレームライン間の回転相関は残りの計算を不要とする(当該回転相関については残りの計算を行わない)。もし前記差分(最初)が前のラインからの値の|20|%以上異なるなら、オブジェクトは画像の垂直方向において非類似性を示しており、上記した計算が繰り返される(改めて行われる)。
画像シーケンスの後続の各フレーム(次に続くフレームの各々)には、上記した処理が行われ、その際、フレーム間の非線形回転相関が加えられる。ビデオフレームは冗長な情報を含んでおり(運んでおり)、オブジェクトサイズ及び位置の重複(情報)も含んでいる。
このような考察・検討を考慮して、次のラインの左目−右目(正確)差分がテストされる。もしその結果が前のフレームからの値と同じようなものであれば、当該フレーム間の相関により、詳細な計算は省略できる。もし前記差分(正確)が前のフレームからの値の|20|%以上異なるなら、オブジェクトは画像の時間方向において非類似性を示しており、上記した計算が繰り返される(改めて行われる)。
S3D圧縮方法は1つのフレームをフレーム時間より短い時間で変換し、これはリアルタイム計算であると考えられる。関連するメタデータは右目画像の画素オフセット(各フレームラインに2バイト)を含む。シフトされた(即ち、回転された)右目チャネルは左目−右目差分として示され、立体対の2つの画像の最良オーバーラップ位置に位置される。回転変換(即ち、連続的な右目画像シフト)はライン毎に行われ、よって、シーン収束(コンバージェンス)は複数のステップで検出される。
受信側は少ない計算を行い、送信されてきた左目−右目画像差分を完全な左目画像から引いて右目画像を再構築し、その後、右目画像は元の位置にシフトされる(戻される)。シフト値の情報はメタデータから得られる。
本発明の圧縮方法の例示的な実施形態のフローチャートが、その大きさの故に、2つの図に分けて示されている。
図3は本発明の1つのフレームラインの圧縮方法の例示的な実施形態を示している。ここで、入力左目画像ライン及び入力右目画像ラインは最初に引かれて差分(最初)を生成する。もしその結果が128バイトより大きければ、当該方法は先へ進む。その後、右目画像ラインは右へ10画素、50画素及び150画素シフトされ、その結果が左目画像ラインから引かれる。3つの差分が比較され、差分(大凡)が当該3つの差分の中の一番小さい差分に割り当てられる。その後、右目画像ラインは、次のモジュールで、右と左へ5画素シフトされる。その値が各ステップにおいて左目画像ラインから引かれ、差分(正確)が生成される。前記差分(大凡)と前記差分(正確)が比較され、プロセスは最小差分が見つかるまで繰り返される。
図4は本発明の圧縮方法の例示的な実施形態の第2のパート(部分)を示している。ここでは、この方法のパート1(図3に示されている)からの前記差分(大凡)が入力となる。前のフレームラインからの差分(大凡)と当該前のフレームからの差分(大凡)とが入力され記憶される。現在の差分(大凡)と、前のラインからの差分(大凡)との比較により、当該前のラインのシフト値が使用できるか否かが決められる(判断される)。もし現在のラインの差分(大凡)と前のラインの差分(大凡)との間の差分が|20|%より小さければ(>|20|%)、フルアルゴリズム(パート1)が実行される。そうでなければ、前のフレームからの差分(大凡)との比較は同じ比較に含まれる(差分<|20|%の場合)。
図5は本発明の圧縮装置の例示的実施形態のブロック図である。左目画像データと右目画像データをそれぞれ記憶するのに使用される左目画像ラインバッファと右目画像ラインバッファは微分器に接続され、その出力は差分(最初)である。左目画像ラインシフタ(大凡)を介して、オフセット右目画像ラインが比較器に供給され、そこで差分(大凡)が計算される。正確な右目画像ラインシフタ及び別の比較器を用いて、差分(正確)が生成される。セレクタは、現在の、その前のフレームラインと前のフレームの間の最小の差分(正確)を選び、その結果が圧縮された第2のビデオストリームとなり、これが、さらなるMPEG処理のために送信される。微分器からの差分(最初)出力は、フレームラインバッファに供給される。フレームラインバッファデータはライン間比較器に供給され、現在のラインの差分(正確)と前のラインの差分(正確)との比較により、差分(正確)を決定(判断)する。ライン間比較器の出力は情報を前記セレクタとフレームバッファ比較器に供給し、当該フレームバッファ比較器が現在のラインの差分(正確)と前のフレームの差分(正確)との比較により、前記差分(正確)を決定する。フレームライン比較器の出力はセレクタに供給される。
本発明の解凍方法の例示的実施形態が図6に示されている。受信された完全な(圧縮されていない)左目画像は、最初に、当該左目画像から(左目−右目)の画像差分を得る(抽出する)ために使用される。この低帯域画像差分は本発明の圧縮によって圧縮されたものであり、これにより、圧縮された画像差分をメインの左目画像のストリームに含めることができる。その後、左目−(左目−右目)=右目という引き算の結果が、シフトされた右目(正確)画像ラインを運ぶ。メタデータからの制御情報に基づいて、後者は記憶され、フレームラインの元の位置にシフトされる。このようにして、立体対が復元される。
図7は解凍装置の例示的な実施形態のブロック図である。入力された左目画像ビデオ信号は左目−右目画像差分の抽出器(エクストラクタ、計算器)に供給され、当該抽出器はメインストリームの小さな部分を占める。その後、左目−(左目−右目)のための減算器は右目(正確)画像を復元する。メタデータモジュールからの制御情報に基づいて、後者は一時的に記憶され(バッファに入れられ)、フレームライン内の元の位置にシフトされる。当該装置の出力が、左目画像と右目画像の立体対である。
図3に再び戻ると、ステップ305において、右目画像及び左目画像が入力される。ステップ310において、右目画像は右へ10画素シフトされる。ステップ325において、10画素シフトされた右目画像が、左目画像から引かれる。ステップ315において右目画像は右へ50画素シフトされる。ステップ330において、50画素シフトされた右目画像が、左目画像から引かれる。ステップ320において、右目画像は右へ150画素シフトされる。ステップ335において、150画素シフトされた右目画像が、左目画像から引かれる。ステップ340において、3つの差分(10画素、50画素及び150画素)が比較されて、最小差分が判断(決定)される。差分(大凡)が当該最小差分に設定される。ステップ345において、右目(大凡)が最小差分(差分(大凡))に設定される。ステップ350において、右目(大凡)が左と右に5画素シフトされる。ステップ335において、右に5画素シフトされた右目(大凡)が左目から引かれる。ステップ360において、左に5画素シフトされた右目(大凡)が左目から引かれる。ステップ365において、差分(正確)が前記2つの直前の減算結果(差分)の小さい方に設定される。ステップ370において、差分(正確)が差分(大凡)と比較される。ステップ375において、前記最小差分(正確)が見つけられたかを判断するテストを行う。もし当該最小差分(正確)が見つかっていれば、この処理は本発明の方法の当該部分について終了し、処理は図4に進む。もし最小差分(正確)が見つかっていなければ、処理はステップ350に進む。ステップ380において、差分(最初)は左目−右目に設定される。ステップ390において、差分(最初)が128バイトより大きいかを判断するテストを行う。もし差分(最初)が128バイトより大きければ、処理はステップ340に進む。もし差分(最初)が128バイトより大きければ、この処理は終了する。
図4を再び参照すると、この方法のパート1(図3に示されてている)からの差分(大凡)がステップ405における入力となっている。ステップ410において、前のフレームラインからの差分(大凡)が記憶され、ステップ420において、前のフレームからの差分(大凡)が記憶される。ステップ415において、このラインからの差分(大凡)が前のラインの差分(大凡)から引かれる。ステップ430において、当該差分が|20|%より大きいかを判断するテストを行う。もし当該差分が|20|%以下ならば、ステップ455において、前のフレームラインからの差分(大凡)が使用できると考える。ステップ450において、これが最後のフレームかどうかを判断するテストを行う。もしこれが最後のフレームなら、処理は終了する。もしこれが最後のフレームでなければ、処理はステップ405に進む。もし差分が|20|%より大きければ、処理はステップ425に進む。前のフレームからの差分(大凡)が記憶された後、処理はステップ425に進む。ステップ425において、現在のフレームからの差分(大凡)が前記前のフレームの差分(大凡)から引かれる。即ち、ステップ430における肯定的な結果はトリガもしくは制御ラインとして作用し、それがなければ、ステップ425の処理及びその後の処理は実行されない。ステップ435において、差分が|20|%より大きいかを判断するテストを行う。もし差分が|20|%より大きければ、ステップ440において図3の処理に戻り当該処理を実行する。処理はステップ450に進む。もし差分が|20|%以下なら、当該前のフレームからの差分(大凡)がステップ445において使用できるとみなされる。処理はステップ450に進む。
図6を再び参照すると、ステップ605において、左目画像ラインが入力となる。左目画像ラインは完全な左目画像と左目−右目画像とメタデータを含む。ステップ610において左目−右目画像差分を得る(抽出する)。ステップ615において左目−右目画像差分が左目画像から引かれる。ステップ620において、右目(正確)画像が1つのフレームラインについて記憶される。ステップ625において、メタデータを入力左目画像ラインから得る(抽出する)。ステップ630において右目(正確)画像が、メタデータを使用して元のライン位置へシフトされる。つまり、右目画像ラインが再構築される。ステップ635において、立体画像対(左目、右目)が記憶される。ステップ640において、これが最後のフレームラインかを判断するテストが行われる。もしこれが最後のフレームラインであるなら、処理は終了する。もしこれが最後のフレームでなければ、処理はステップ605に進む。
本発明は種々の形式・形態のハードウエア、ソフトウエア、ファームウエア、専用プロセッサ、またはこれらの組み合わせにおいて実装することができる。好ましくは、本発明はハードウエアとソフトウエアの組み合わせとして実装される。さらに、ソフトウエアは好ましくは、プログラム記憶デバイス(装置)に実体的に(具体的に、タンジブルに)含まれるアプリケーションプログラムとして実装される。アプリケーションプログラムは、任意の適切なアーキテクチャを含むマシンにアップロードされ当該マシンによって実行される。好ましくは、当該マシンは、1つ以上の中央処理装置(CPU)、RAM(ランダムアクセスメモリ)及び入力/出力(I/O)インターフェース(単数または複数)等のハードウエアを有するコンピュータプラットフォームに実装される。コンピュータプラットフォームはまた、オペレーティングシステムとマイクロインストラクションコードを含む。本明細書に記載された種々のプロセス及び機能は、マイクロインストラクションコードの一部であってもよいし、アプリケーションプログラムの一部であってもよく(または、これらの組み合わせの一部であってもよい)、オペレーティングシステムを介して実行される。加えて、データ記憶装置及び印刷装置等の種々の他の周辺機器(デバイス)がコンピュータプラットフォームに接続されてもよい。
添付図面に示されたシステムコンポーネント(装置構成要素)及び方法ステップの幾つかは、好ましくはソフトウエアで実装されるので、システムコンポーネント(またはプロセスステップ)同士の間の実際の接続は、本発明のプログラムされ方に応じて異なることもある。本明細書の教示内容を与えられた当業者であれば、上記した及びこれと似たような本発明の実装もしくは構成を考えつくであろう。
添付図面に示されたシステムコンポーネント(装置構成要素)及び方法ステップの幾つかは、好ましくはソフトウエアで実装されるので、システムコンポーネント(またはプロセスステップ)同士の間の実際の接続は、本発明のプログラムされ方に応じて異なることもある。本明細書の教示内容を与えられた当業者であれば、上記した及びこれと似たような本発明の実装もしくは構成を考えつくであろう。
(付記1)
第1の立体的アイフレームライン画像を受け入れるステップと、
第2の立体的アイフレームライン画像を受け入れるステップと、
前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像との間の大凡の画像シフトを判断するステップと、
前記大凡の画像シフトに応じて正確な画像シフトを判断するステップと、
前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像の一方を送信するステップと、
前記正確な画像シフトに対応するデータと更なる処理のためのメタデータとを送信するステップと、
を含む、前記方法。
(付記2)
前記大凡の画像シフトを判断するステップはさらに、
前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像との間の差分に応じて、最初の差分を判断するステップと、
前記最初が閾値より大きいかを判断するステップと、
前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像の一方を第1の数の画素だけシフトするステップと、
前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像の一方を第2の数の画素だけシフトするステップと、
前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像の一方を第3の数の画素だけシフトするステップと、
前記第1のシフトするステップ、前記第2のシフトするステップ、前記第3のシフトするステップ及び前記第4の判断するステップの結果に応じて最小差分を判断するステップと、
前記最小差分を記憶するステップと、
を含む、付記1記載の方法。
(付記3)
前記正確な差分を判断するステップはさらに、
前記最小差分を右へ第4の数の画素だけシフトするステップと、
前記最小差分を左へ前記第4の数の画素だけシフトするステップと、
前記第4の数の画素だけ右へシフトされた前記最小差分を、前記第1の立体的アイフレームライン画像から引くステップと、
前記第4の数の画素だけ左へシフトされた前記最小差分を、前記第1の立体的アイフレームライン画像から引くステップと、
前記第1の引き算の結果と前記第2の引き算の結果との間の正確な差分を判断するステップと、
を含む、付記2記載の方法。
(付記4)
前記大凡の画像シフトを、前のラインからの大凡の画像シフトから引くステップと、
前記引き算の結果が絶対値の20%以内にあるかを判断するステップと、
前記第3の判断するステップに応じて、現在のラインの大凡の画像シフトを、前のフレームの大凡の画像シフトから引くステップと、
前記第2の引き算の結果が絶対値の20%以内にあるかを判断するステップと、
をさらに含む、付記1記載の方法。
(付記5)
前記第1の立体的アイフレームライン画像が左目画像であり、前記第2の立体的アイフレームライン画像が右目画像である、付記1記載の方法。
(付記6)
前記第1の立体的アイフレームライン画像が右目画像であり、前記第2の立体的アイフレームライン画像が左目画像である、付記1記載の方法。
(付記7)
第1の立体的アイフレームライン画像を受け入れる手段と、
第2の立体的アイフレームライン画像を受け入れる手段と、
前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像との間の大凡の画像シフトを判断する手段と、
前記大凡の画像シフトに応じて正確な画像シフトを判断する手段と、
前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像の一方を送信する手段と、
前記正確な画像シフトに対応するデータと更なる処理のためのメタデータとを送信する手段と、
を含む、前記装置。
(付記8)
前記大凡の画像シフトを判断する手段はさらに、
前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像との間の差分に応じて、最初の差分を判断する手段と、
前記最初が閾値より大きいかを判断する手段と、
前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像の一方を第1の数の画素だけシフトする手段と、
前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像の一方を第2の数の画素だけシフトする手段と、
前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像の一方を第3の数の画素だけシフトする手段と、
前記第1のシフト、前記第2のシフト、前記第3のシフト及び前記第4の判断の結果に応じて最小差分を判断する手段と、
前記最小差分を記憶する手段と、
含む、付記7記載の装置。
(付記9)
前記正確な差分を判断する手段はさらに、
前記最小差分を右へ第4の数の画素だけシフトする手段と、
前記最小差分を左へ前記第4の数の画素だけシフトする手段と、
前記第4の数の画素だけ右へシフトされた前記最小差分を、前記第1の立体的アイフレームライン画像から引く手段と、
前記第4の数の画素だけ左へシフトされた前記最小差分を、前記第1の立体的アイフレームライン画像から引く手段と、
前記第1の引き算の結果と前記第2の引き算の結果との間の正確な差分を判断する手段と、
を含む、付記8記載の装置。
(付記10)
前記大凡の画像シフトを、前のラインからの大凡の画像シフトから引く手段と、
前記引き算の結果が絶対値の20%以内にあるかを判断する手段と、
前記第3の判断に応じて、現在のラインの大凡の画像シフトを、前のフレームの大凡の画像シフトから引く手段と、
前記第2の引き算の結果が絶対値の20%以内にあるかを判断する手段と、
をさらに含む、付記7記載の装置。
(付記11)
前記第1の立体的アイフレームライン画像が左目画像であり、前記第2の立体的アイフレームライン画像が右目画像である、付記7記載の装置。
(付記12)
前記第1の立体的アイフレームライン画像が右目画像であり、前記第2の立体的アイフレームライン画像が左目画像である、付記7記載の装置。
(付記13)
送信された第1の完全な立体的アイフレームライン画像を受信するステップと、
第1の立体的アイフレームライン画像と第2の立体的画像との間の差分を得るステップと、
前記得られた差分を前記第1の立体的アイフレームライン画像から引くステップと、
前記第2の立体的アイフレームライン画像を記憶するステップと、
前記第1の完全な立体的アイフレームライン画像に含まれているメタデータからシフトライン値を得るステップと、
前記シフト値に応じて、前記第2の立体的アイフレームライン画像を元の位置にシフトするステップと、
を含む、前記方法。
(付記14)
前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像とを記憶するステップをさらに含む、付記13記載の方法。
(付記15)
前記第1の立体的アイフレームライン画像が左目画像であり、前記第2の立体的アイフレームライン画像が右目画像である、付記13記載の方法。
(付記16)
前記第1の立体的アイフレームライン画像が右目画像であり、前記第2の立体的アイフレームライン画像が左目画像である、付記13記載の方法。
(付記17)
送信された第1の完全な立体的アイフレームライン画像を受信する手段と、
第1の立体的アイフレームライン画像と第2の立体的画像との間の差分を得る手段と、
前記得られた差分を前記第1の立体的アイフレームライン画像から引く手段と、
前記第2の立体的アイフレームライン画像を記憶する手段と、
前記第1の完全な立体的アイフレームライン画像に含まれているメタデータからシフトライン値を得る手段と、
前記シフト値に応じて、前記第2の立体的アイフレームライン画像を元の位置にシフトする手段と、
を含む、装置。
(付記18)
前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像とを記憶する手段をさらに含む、付記17記載の装置。
(付記19)
前記第1の立体的アイフレームライン画像が左目画像であり、前記第2の立体的アイフレームライン画像が右目画像である、付記17記載の装置。
(付記20)
前記第1の立体的アイフレームライン画像が右目画像であり、前記第2の立体的アイフレームライン画像が左目画像である、付記17記載の装置。

Claims (20)

  1. 第1の立体的アイフレームライン画像を受け入れるステップと、
    第2の立体的アイフレームライン画像を受け入れるステップと、
    前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像との間の大凡の画像シフトを判断するステップと、
    前記大凡の画像シフトに応じて正確な画像シフトを判断するステップと、
    前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像の一方を送信するステップと、
    前記正確な画像シフトに対応するデータと更なる処理のためのメタデータとを送信するステップと、
    を含む、前記方法。
  2. 前記大凡の画像シフトを判断するステップはさらに、
    前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像との間の差分に応じて、最初の差分を判断するステップと、
    前記最初が閾値より大きいかを判断するステップと、
    前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像の一方を第1の数の画素だけシフトするステップと、
    前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像の一方を第2の数の画素だけシフトするステップと、
    前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像の一方を第3の数の画素だけシフトするステップと、
    前記第1のシフトするステップ、前記第2のシフトするステップ、前記第3のシフトするステップ及び前記第4の判断するステップの結果に応じて最小差分を判断するステップと、
    前記最小差分を記憶するステップと、
    を含む、請求項1記載の方法。
  3. 前記正確な差分を判断するステップはさらに、
    前記最小差分を右へ第4の数の画素だけシフトするステップと、
    前記最小差分を左へ前記第4の数の画素だけシフトするステップと、
    前記第4の数の画素だけ右へシフトされた前記最小差分を、前記第1の立体的アイフレームライン画像から引くステップと、
    前記第4の数の画素だけ左へシフトされた前記最小差分を、前記第1の立体的アイフレームライン画像から引くステップと、
    前記第1の引き算の結果と前記第2の引き算の結果との間の正確な差分を判断するステップと、
    を含む、請求項2記載の方法。
  4. 前記大凡の画像シフトを、前のラインからの大凡の画像シフトから引くステップと、
    前記引き算の結果が絶対値の20%以内にあるかを判断するステップと、
    前記第3の判断するステップに応じて、現在のラインの大凡の画像シフトを、前のフレームの大凡の画像シフトから引くステップと、
    前記第2の引き算の結果が絶対値の20%以内にあるかを判断するステップと、
    をさらに含む、請求項1記載の方法。
  5. 前記第1の立体的アイフレームライン画像が左目画像であり、前記第2の立体的アイフレームライン画像が右目画像である、請求項1記載の方法。
  6. 前記第1の立体的アイフレームライン画像が右目画像であり、前記第2の立体的アイフレームライン画像が左目画像である、請求項1記載の方法。
  7. 第1の立体的アイフレームライン画像を受け入れる手段と、
    第2の立体的アイフレームライン画像を受け入れる手段と、
    前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像との間の大凡の画像シフトを判断する手段と、
    前記大凡の画像シフトに応じて正確な画像シフトを判断する手段と、
    前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像の一方を送信する手段と、
    前記正確な画像シフトに対応するデータと更なる処理のためのメタデータとを送信する手段と、
    を含む、前記装置。
  8. 前記大凡の画像シフトを判断する手段はさらに、
    前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像との間の差分に応じて、最初の差分を判断する手段と、
    前記最初が閾値より大きいかを判断する手段と、
    前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像の一方を第1の数の画素だけシフトする手段と、
    前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像の一方を第2の数の画素だけシフトする手段と、
    前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像の一方を第3の数の画素だけシフトする手段と、
    前記第1のシフト、前記第2のシフト、前記第3のシフト及び前記第4の判断の結果に応じて最小差分を判断する手段と、
    前記最小差分を記憶する手段と、
    含む、請求項7記載の装置。
  9. 前記正確な差分を判断する手段はさらに、
    前記最小差分を右へ第4の数の画素だけシフトする手段と、
    前記最小差分を左へ前記第4の数の画素だけシフトする手段と、
    前記第4の数の画素だけ右へシフトされた前記最小差分を、前記第1の立体的アイフレームライン画像から引く手段と、
    前記第4の数の画素だけ左へシフトされた前記最小差分を、前記第1の立体的アイフレームライン画像から引く手段と、
    前記第1の引き算の結果と前記第2の引き算の結果との間の正確な差分を判断する手段と、
    を含む、請求項8記載の装置。
  10. 前記大凡の画像シフトを、前のラインからの大凡の画像シフトから引く手段と、
    前記引き算の結果が絶対値の20%以内にあるかを判断する手段と、
    前記第3の判断に応じて、現在のラインの大凡の画像シフトを、前のフレームの大凡の画像シフトから引く手段と、
    前記第2の引き算の結果が絶対値の20%以内にあるかを判断する手段と、
    をさらに含む、請求項7記載の装置。
  11. 前記第1の立体的アイフレームライン画像が左目画像であり、前記第2の立体的アイフレームライン画像が右目画像である、請求項7記載の装置。
  12. 前記第1の立体的アイフレームライン画像が右目画像であり、前記第2の立体的アイフレームライン画像が左目画像である、請求項7記載の装置。
  13. 送信された第1の完全な立体的アイフレームライン画像を受信するステップと、
    第1の立体的アイフレームライン画像と第2の立体的画像との間の差分を得るステップと、
    前記得られた差分を前記第1の立体的アイフレームライン画像から引くステップと、
    前記第2の立体的アイフレームライン画像を記憶するステップと、
    前記第1の完全な立体的アイフレームライン画像に含まれているメタデータからシフトライン値を得るステップと、
    前記シフト値に応じて、前記第2の立体的アイフレームライン画像を元の位置にシフトするステップと、
    を含む、前記方法。
  14. 前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像とを記憶するステップをさらに含む、請求項13記載の方法。
  15. 前記第1の立体的アイフレームライン画像が左目画像であり、前記第2の立体的アイフレームライン画像が右目画像である、請求項13記載の方法。
  16. 前記第1の立体的アイフレームライン画像が右目画像であり、前記第2の立体的アイフレームライン画像が左目画像である、請求項13記載の方法。
  17. 送信された第1の完全な立体的アイフレームライン画像を受信する手段と、
    第1の立体的アイフレームライン画像と第2の立体的画像との間の差分を得る手段と、
    前記得られた差分を前記第1の立体的アイフレームライン画像から引く手段と、
    前記第2の立体的アイフレームライン画像を記憶する手段と、
    前記第1の完全な立体的アイフレームライン画像に含まれているメタデータからシフトライン値を得る手段と、
    前記シフト値に応じて、前記第2の立体的アイフレームライン画像を元の位置にシフトする手段と、
    を含む、装置。
  18. 前記第1の立体的アイフレームライン画像と前記第2の立体的アイフレームライン画像とを記憶する手段をさらに含む、請求項17記載の装置。
  19. 前記第1の立体的アイフレームライン画像が左目画像であり、前記第2の立体的アイフレームライン画像が右目画像である、請求項17記載の装置。
  20. 前記第1の立体的アイフレームライン画像が右目画像であり、前記第2の立体的アイフレームライン画像が左目画像である、請求項17記載の装置。
JP2014252284A 2014-12-12 2014-12-12 立体的三次元画像の圧縮を維持する低帯域コンテンツのための方法及び装置 Expired - Fee Related JP6074404B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014252284A JP6074404B2 (ja) 2014-12-12 2014-12-12 立体的三次元画像の圧縮を維持する低帯域コンテンツのための方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014252284A JP6074404B2 (ja) 2014-12-12 2014-12-12 立体的三次元画像の圧縮を維持する低帯域コンテンツのための方法及び装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013500597A Division JP2013523038A (ja) 2010-03-22 2010-03-22 立体的三次元画像の圧縮を維持する低帯域コンテンツのための方法及び装置

Publications (2)

Publication Number Publication Date
JP2015092700A true JP2015092700A (ja) 2015-05-14
JP6074404B2 JP6074404B2 (ja) 2017-02-01

Family

ID=53195595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014252284A Expired - Fee Related JP6074404B2 (ja) 2014-12-12 2014-12-12 立体的三次元画像の圧縮を維持する低帯域コンテンツのための方法及び装置

Country Status (1)

Country Link
JP (1) JP6074404B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01202093A (ja) * 1988-02-08 1989-08-15 Nippon Hoso Kyokai <Nhk> 立体テレビジョン伝送方式
JPH0993614A (ja) * 1995-09-27 1997-04-04 Nec Corp 3次元画像符号化装置
JP2000333184A (ja) * 1999-03-17 2000-11-30 Matsushita Electric Ind Co Ltd 動きベクトル検出方法,動きベクトル検出装置,及びデータ記録媒体
JP2001502504A (ja) * 1996-10-11 2001-02-20 サーノフ コーポレイション 立体視ビデオを符号化及び複号する装置及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01202093A (ja) * 1988-02-08 1989-08-15 Nippon Hoso Kyokai <Nhk> 立体テレビジョン伝送方式
JPH0993614A (ja) * 1995-09-27 1997-04-04 Nec Corp 3次元画像符号化装置
JP2001502504A (ja) * 1996-10-11 2001-02-20 サーノフ コーポレイション 立体視ビデオを符号化及び複号する装置及び方法
JP2000333184A (ja) * 1999-03-17 2000-11-30 Matsushita Electric Ind Co Ltd 動きベクトル検出方法,動きベクトル検出装置,及びデータ記録媒体

Also Published As

Publication number Publication date
JP6074404B2 (ja) 2017-02-01

Similar Documents

Publication Publication Date Title
US10484697B2 (en) Simultaneous localization and mapping for video coding
US8953684B2 (en) Multiview coding with geometry-based disparity prediction
JP5575908B2 (ja) 2dビデオデータの3dビデオデータへの変換のための深度マップ生成技法
US20110157309A1 (en) Hierarchical video compression supporting selective delivery of two-dimensional and three-dimensional video content
US8487981B2 (en) Method and system for processing 2D/3D video
JP2013523038A (ja) 立体的三次元画像の圧縮を維持する低帯域コンテンツのための方法及び装置
KR100738867B1 (ko) 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법
WO2018223086A1 (en) Methods for full parallax light field compression
US20150365649A1 (en) Method and Apparatus of Disparity Vector Derivation in 3D Video Coding
CN114080812A (zh) 使用sbtmvp的基于帧间预测的图像或视频编译
US20150071362A1 (en) Image encoding device, image decoding device, image encoding method, image decoding method and program
Khattak et al. Temporal and inter-view consistent error concealment technique for multiview plus depth video
JP5685682B2 (ja) 映像信号の符号化システム及び符号化方法
WO2012177063A2 (ko) 스킵 모드 부호화 복호화 방법 및 장치
Zhang et al. Rendering distortion estimation model for 3D high efficiency depth coding
CN116097652B (zh) 基于视口变化的双流动态gop访问
JP6074404B2 (ja) 立体的三次元画像の圧縮を維持する低帯域コンテンツのための方法及び装置
Uchihara et al. Fast H. 264/AVC stream joiner for interactive free view-area multivision video
WO2011094164A1 (en) Image enhancement system using area information
CN114342405A (zh) 图像解码方法和用于该图像解码方法的装置
SHEKHAR et al. Signal transmission optimization moving-vector classification Mpeg standard video coding
WO2015141549A1 (ja) 動画像符号化装置及び方法、及び、動画像復号装置及び方法
Karunakar Implementation of an out-of-the loop post-processing technique for HEVC decoded depth maps
Ranjbari et al. Depth error concealment based on decision making
Tizon et al. Multi-view acquisition and advanced depth map processing techniques

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160531

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161006

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20161125

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170106

R150 Certificate of patent or registration of utility model

Ref document number: 6074404

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees