JP3992533B2 - Data decoding apparatus for stereoscopic moving images enabling stereoscopic viewing - Google Patents
Data decoding apparatus for stereoscopic moving images enabling stereoscopic viewing Download PDFInfo
- Publication number
- JP3992533B2 JP3992533B2 JP2002124346A JP2002124346A JP3992533B2 JP 3992533 B2 JP3992533 B2 JP 3992533B2 JP 2002124346 A JP2002124346 A JP 2002124346A JP 2002124346 A JP2002124346 A JP 2002124346A JP 3992533 B2 JP3992533 B2 JP 3992533B2
- Authority
- JP
- Japan
- Prior art keywords
- error
- channel
- image
- data
- decoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Error Detection And Correction (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数のチャンネルにおける動画像を符号化した、複数チャンネル符号化データを復号する復号装置に関し、特に、複数チャンネルの動画像によって立体視を可能とする立体動画像用の復号装置に関する。
【０００２】
【従来の技術】
人の視覚に立体的な動画像を認知させるための立体動画像を符号化する方式にはさまざまなものがある。たとえば、右目用、左目用として、それぞれ異なる方向から撮影した２種類以上の動画像を用意し、それぞれを符号化及び多重化して複数チャンネル符号化データを作成するという方式がある。こうして作成された複数チャンネル符号化データを無線経由で送信したりストリーミング配信を行ったりした場合、復号側に到達するまでの間に、ビットの反転、欠落、混入などのエラーが発生する可能性があり、これによって復号画像の画質が損なわれるという問題がある。
【０００３】
特開平７−３２２３０２号公報は、このような問題を解決する立体動画像復号装置を開示する。この公報に開示された立体動画像復号装置は、被写体を複数の方向から撮影することによって得られた撮影方向毎の各画像データが記録された記録媒体より画像データを読出して復号することにより再生画像を得る装置である。この装置は、被写体を複数の方向から撮影することによって得られた撮影方向毎の各画像データが記録された記録媒体より画像データを読出す記録媒体読出回路と、記録媒体読出回路により読出された画像データを、一旦蓄積した後に復号する復号回路と、画像データにエラーが生じていないか否かを検出する復号エラー検出回路と、復号回路により得られた画像データを撮影方向毎のチャンネル別に転送するための多重分離回路と、多重分離手段によって得られた各チャンネルで表示される画像データが記憶される出力側画像データ記憶回路と、画像データにエラーが検出されたとき、出力側画像データ記憶回路において他のチャンネルの画像データを画像単位でエラー画像データに代えて補填する補填回路とを含む。
【０００４】
この公報に開示された立体動画像復号装置は、図１０に示すような構造である。なお、以下の説明では、複数チャンネル符号化データを左目用のＬチャンネル、右目用のＲチャンネルの２チャンネル符号化データと想定する。図１０に示すように、入力された複数チャンネル符号化データは、まず復号部１０００で復号されて復号画像となる。続いて多重分離部１００２で多重化を解除され、Ｒチャンネル復号画像、Ｌチャンネル復号画像に分離される。ここまでの過程でエラーが発見されなかった場合、Ｌチャンネル復号画像はＬチャンネル用の復号画像バッファＬ１００６、出力画像バッファＬ１０１０へと順に送られて、最終的なＬチャンネル出力画像となる。同様にして、Ｒチャンネル復号画像はＲチャンネル用の復号画像バッファＲ１００８、出力画像バッファＲ１０１２へと順に送られ最終的なＲチャンネル出力画像となる。これらの出力画像は、Ｒチャンネル出力画像をユーザーの右目に、Ｌチャンネル出力画像をユーザーの左目に表示できるよう工夫された立体動画像用の表示装置に送られ、ユーザーは立体感のある動画像として認識できるようになる。
【０００５】
エラー検出部１００４でどちらかのチャンネル、例えＬチャンネルにエラーが検出され復号不可能と判断された場合、左目用の出力画像だけが欠落したり、エラーが混入したままの画像が表示されてしまったりする。これを避けるために、エラー検出部１００４は、復号画像バッファＲ１００８に対し、Ｒチャンネル復号画像をＬチャンネル用の復号画像バッファＬ１００６にも転送するよう指示を出力する。復号画像バッファＲ１００８はこの指示を受けて、Ｒチャンネル復号画像を復号画像バッファＬ１００６に上書きする。これにより、左目用出力画像と右目用出力画像が同一の画像となってしまうものの、画像が欠落したりエラーが混入したままの画像が表示されたりする事態を避けられる。
【０００６】
さらに、この公報には、エラーが検出されたチャンネルの過去の画像を複写することにより、エラーを修復することも開示されている。
【０００７】
【発明が解決しようとする課題】
上述した公報に開示された装置を用いてエラーを修復した場合の出力画像を図１１に示す。図１１において、上段は右目用のＲチャンネルの出力画像を、下段は左目用のＬチャンネルの出力画像を表わす。Ｒ−１からＲ−６はＲチャンネル符号化データから復号された出力画像を表わし、Ｌ−１からＬ−６はＬチャンネル符号化データから復号された出力画像を表わす。また、番号が若いほど時間的に前の出力画像を表わしている。画像名に下線が引かれているＬ−５は画面内符号化された符号化データから復号された出力画像を表わし、それ以外の画像は画面間符号化された符号化データから復号された出力画像であることを示す。矢印は、画面間符号化に際して矢印の先の画像を復号するために矢印の元の画像を参照していることを示す。たとえば、Ｒ−３を復号するためには、Ｒ−２を参照していることを示している。
【０００８】
Ｌチャンネル符号化データから復号されたＬ−２にエラーが検出された場合、エラーを含んだＬ−２の復号画像は使用せず、同時期のＲチャンネル出力画像であるＲ−２を左目用の画像としても出力する。左右のチャンネルの画像は似た画像であることも多いため、ある程度の画質で修復することが可能となる。
【０００９】
Ｌ−３以降のＬチャンネル符号化データにエラーが検出されなかった場合、Ｌ−３以降は通常どおりの復号が行われる。しかし、符号化方法としてＩＳＯ／ＩＥＣのＭＰＥＧ（Moving Picture Experts Group）標準やＩＴＵ−Ｔ（International Telecommunications Union Telecommunication Standardization Sector）のＨシリーズ勧告などに代表される画面間符号化を使用していた場合、Ｌ−３は本来参照すべきＬ−２ではなくＲ−２を参照することとなってしまうため、それ自体の符号化データにはエラーがなかったにもかかわらず正しい出力画像が得られない。これをＬ−３’と呼ぶ。同様に、その正しくないＬ−３’を参照しているＬ−４も正しい出力画像とはならず、これをＬ−４’と呼ぶ。これらの出力画像には、正しくない参照画像を参照したことによるノイズが混入する。この連鎖は前の画像を参照せずに画面内符号化されているＬ−５の前まで続き、Ｌ−５まで到達して初めて再び正しい出力画像を得ることができる。もし、右目用の画像と左目用の画像がほとんど同一であれば、上述した公報に開示された装置を用いても、問題なくエラーを修復することができる。
【００１０】
しかしながら、一般的な立体動画像では立体感を強調するために左右の画像に大きな差があることが多い。このため、エラーが発生した画像と逆の目用の画像を複写しただけでは、十分なエラー修復がなされたとは言いがたい。
【００１１】
上述した公報に開示された、エラーが発生したチャンネルにおける過去の画像を複写してエラーを修復する方法では、過去の画像と現在の画像の間で変化が少ない場合には有効であるものの、過去の画像と現在の画像の間で変化が大きく、動きの大きな画像では満足な修復結果を得ることができない。
【００１２】
さらに、画面内符号化されたＬ−５が復号されるまでの間、Ｌチャンネルの出力画像に誤った参照画像を参照したことによるノイズが混入し続けるため、ユーザーは単に立体感を感じ取れなくなるだけでなく、せっかく正しく復号されている右目用の画像の認識にも問題を生ずる可能性がある。
【００１３】
本発明は、上述の課題を解決するためになされたものであって、複数のチャンネルを含む動画像データに発生したエラーを、人の視覚に対する影響をできるだけ少なくして、修復することができるデータ復号装置を提供することである。
【００１４】
【課題を解決するための手段】
第１の発明に係るデータ復号装置は、複数のチャンネルの動画像を符号化したデータを復号する。このデータ復号装置は、データの中からエラーを検出するための検出手段と、エラーを修復するための複数の修復手段と、複数の修復手段の中から、１の修復手段を選択するための選択手段と、エラーを修復するように、選択された修復手段を制御するための制御手段とを含む。
【００１５】
第１の発明によると、検出手段は、符号化されたデータの中からエラーを検出する。このエラーを修復するための修復手段は複数準備されている。選択手段は、たとえば、復号している符号化データの性質に応じて、適切な修復手段を選択することができる。これにより、ユーザーがエラーを認識する可能性を低く抑えることができる。その結果、複数のチャンネルを含む動画像データに発生したエラーを、人の視覚に対する影響をできるだけ少なくして、修復することができるデータ復号装置を提供することができる。
【００１６】
第２の発明に係るデータ復号装置は、第１の発明の構成に加えて、エラーを修復するために用いられるデータと、エラーを含むデータとの変化を算出するための算出手段をさらに含む。選択手段は、複数の修復手段の中から、変化に基づいて、１の修復手段を選択するための手段を含む。
【００１７】
第２の発明によると、たとえば、エラーを修復するために用いられるデータと、エラーを含むデータとの変化が小さいと、エラーが検出されたチャンネルと同じチャンネルにおいて復号化されたデータを用いて、その変化が大きいと、エラーが検出されたチャンネルとは異なるチャンネルにおいて復号化されたデータを用いて、エラーを修復することができる。このように、符号化データの性質に応じて、適切な修復手段を選択することができる。
【００１８】
第３の発明に係るデータ復号装置は、第２の発明の構成に加えて、複数の修復手段は、エラーが検出されたチャンネルと同じチャンネルのデータを用いてデータを修復するための第１の修復手段と、エラーが検出されたチャンネルとは異なるチャンネルのデータを用いてデータを修復するための第２の修復手段とを含む。選択手段は、変化が小さいと第１の修復手段を、変化が大きいと第２の修復手段を選択するための手段を含む。
【００１９】
第３の発明によると、エラーを修復するために用いられるデータと、エラーを含むデータとの変化が小さいと、エラーが検出されたチャンネルと同じチャンネルにおいて復号化されたデータを用いて、その変化が大きいと、エラーが検出されたチャンネルとは異なるチャンネルにおいて復号化されたデータを用いて、エラーを修復する。このように、符号化データの性質に応じて、適切な修復手段を選択することができる。
【００２０】
第４の発明に係るデータ復号装置は、第３の発明の構成に加えて、第１の修復手段は、エラーが検出されたチャンネルと同じチャンネルにおける、既に復号済みのデータに動き補償を施して、エラーを修復するための同チャンネル動き補償型エラー修復手段と、エラーが検出されたチャンネルと同じチャンネルにおける、既に復号済みのデータを複写して、エラーを修復するための同チャンネル複写型エラー修復手段との少なくともいずれかを含む。第２の修復手段は、エラーが検出されたチャンネルと異なるチャンネルにおける、既に復号済みのデータおよび復号中のデータのいずれかに視差補償を施して、エラーを修復するための別チャンネル視差補償型エラー修復手段と、エラーが検出されたチャンネルと異なるチャンネルにおける、既に復号済みのデータおよび復号中のデータのいずれかを複写して、エラーを修復するための別チャンネル複写型エラー修復手段との少なくともいずれかを含む。
【００２１】
第４の発明によると、エラーが検出されたチャンネルと同じチャンネルにおいて復号化されたデータを用いる、同チャンネル動き補償型エラー修復手段および同チャンネル複写型エラー修復手段のいずれか、エラーが検出されたチャンネルとは異なるチャンネルにおいて復号化されたデータを用いる、別チャンネル視差補償型エラー修復手段および別チャンネル複写型エラー修復手段のいずれかを、用いて、符号化データの性質に応じて、適切な修復手段を選択することができる。
【００２２】
第５の発明に係るデータ復号装置は、第４の発明の構成に加えて、制御手段は、エラーの検出後からエラーが検出されたチャンネルに画面内符号化データおよび画面内符号化データに相当する符号化データのいずれかが出現するまでの間、別チャンネル複写型エラー修復手段を用いて、エラーを修復するように制御するための手段を含む。
【００２３】
第５の発明によると、エラーが検出されたチャンネルに画面内符号化データおよび画面内符号化データに相当する符号化データのいずれかが出現するまで、エラーが修復される。このため、画面間符号化データが出現している間においては、エラーの混入した画像が表示されないため、動画像の内容の認識に支障をきたすおそれがない。
【００２４】
第６の発明に係るデータ復号装置は、データの中からエラーを検出するための検出手段と、複数のチャンネルの中の任意のチャンネルのデータを使用して２次元表示用のデータを生成するための２次元データ生成手段と、出力モードを、２次元表示用出力モードと３次元表示用出力モードとで切換える切換え手段と、エラーの検出後からエラーが検出されたチャンネルに画面内符号化データおよび画面内符号化データに相当する符号化データのいずれかが出現するまでの間、エラーが検出されたチャンネルと異なるチャンネルのデータを用いて、２次元画像生成手段に２次元表示用データを生成させるとともに、２次元表示用出力モードを維持するように、２次元データ生成手段と切換え手段とを制御するための制御手段とを含む。
【００２５】
第６の発明によると、２次元データ生成手段は、複数のチャンネルの中の任意のチャンネルのデータを使用して２次元表示用のデータを生成し、切換え手段は、出力モードを、２次元表示用出力モードと３次元表示用出力モードとで切換える。制御手段は、エラーの検出後からエラーが検出されたチャンネルに画面内符号化データが出現するまでの間、エラーが検出されたチャンネルと異なるチャンネルのデータを用いて２次元表示用データを生成させる。制御手段は、２次元表示用出力モードを維持させる。これにより、画面間符号化データが出現している間においては、エラーが検出されたチャンネルとは異なるチャンネルのデータを用いて２次元表示用データが生成され、エラーの混入した画像が表示されないため、動画像の内容の認識に支障をきたすおそれがない。その結果、より高画質な２次元モードで画像を表示することができる。
【００２６】
第７の発明に係るデータ復号装置は、データの中からエラーを検出するための検出手段と、エラーが検出されたチャンネルと異なるチャンネルにおける、既に復号済みのデータおよび復号中のデータのいずれかに視差補償を施して、エラーを修復するための修復手段とを含む。
【００２７】
第７の発明によると、符号化データにエラーが検出されると、エラーが検出されたチャンネルと異なるチャンネルにおける、既に復号済みのデータおよび復号中のデータのいずれかが使用されてエラーが修復される。このとき、視差補償を施して、エラーを修復するので、人の視覚に違和感を感じさせることなくエラーを修復させることができる。
【００２８】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００２９】
本発明に係る立体動画像復号装置を説明するに先立ち、立体動画像復号装置が復号化処理の対象とする複数チャンネル符号化データの構成方法を以下に説明する。
【００３０】
一般的に、複数チャンネル符号化データは、被写体を複数の方向から撮影した複数チャンネルの動画像を、予め定められた方法により符号化および多重化することにより得られる。ただし、複数チャンネルの動画像としては、このような方法以外にも、複数方向から撮影した際の効果を考慮して人工的に合成された複数チャンネルの動画像や、一つの方向から撮影された動画像を解析して別方向からの動画像を生成した複数チャンネルの動画像などもある。
【００３１】
符号化方式には、ＩＳＯ／ＩＥＣのＭＰＥＧ標準に準拠する方式、ＩＴＵ−ＴのＨシリーズ勧告に準拠する方式などがある。符号化に際しては、各チャンネル間の相関を無視して別々に符号化する方法のほかに、基準となるチャンネルを一つ設けておいて、基準チャンネルは通常の符号化とし、他のチャンネルは基準チャンネルの画像、あるいは基準チャンネルの画像に視差補償を施した画像との差分を符号化する方法がある。
【００３２】
多重化の方式には、各チャンネルの符号化データを別々のファイルとしたり、別々の媒体を使用して送ったりしたりする方式のほか、複数の符号化データを所定のフォーマットに従って、一つのファイルまたはストリームにまとめる多重化方法、符号化前の画像の段階で各チャンネル用の画像を一枚の画像として合成して、これを前述の符号化方式を用いて符号化するという多重化方法もある。
【００３３】
本発明に係る立体動画像復号装置は、上述した符号化方法および多重化方法のどの方法によって作成された複数チャンネル符号化データにも適用でき、符号化方法および多重化方法の種類には依存しない。
【００３４】
以下の説明では、符号化方法としてＩＳＯ／ＩＥＣ １４４９６ ＭＰＥＧ−４を、多重化方法として複数チャンネルの動画像を符号化前に一枚の画像に合成する方法を採用した符号化装置で生成された複数チャンネル符号化データを入力とすると想定する。また、チャンネル数については右目用のＲチャンネル、左目用のＬチャンネルの２チャンネルからなる複数チャンネル符号化データと想定する。ただし、本発明はこれに限定されるものではなく、３つ以上のチャンネルを有する場合にも適用できる。
【００３５】
＜第１の実施の形態＞
以下、本発明の第１の実施の形態に係る立体動画像復号装置について説明する。
【００３６】
図１は、本実施の形態に係る立体動画像復号装置の構成を示したブロック図である。図１に示すように、この立体動画像復号装置は、復号部１００、多重分離部１０２、エラー検出部１０４、動きベクトル抽出部１０６、参照画像バッファＬ１０８、動き補償部１１０、視差ベクトル抽出部１１２、出力画像バッファＲ１１４、視差補償部１１６、修復回路決定部１１８、出力画像合成部１２０、および出力画像バッファＬ１２２を含む。
【００３７】
復号部１００は、復号部１００に入力された複数チャンネル符号化データを復号して復号画像を出力する。多重分離部１０２は、復号部１００から出力された復号画像を、Ｒチャンネル、Ｌチャンネルの復号画像に分離する。なお、複数チャンネル符号化データの構成の種類によっては、最初に多重分離部が存在し、分離された符号化データを復号部で復号するという構成となることも考えられる。
【００３８】
なお、Ｒチャンネルの処理系とＬチャンネルの処理系は対称であるため、図１には、主としてＬチャンネルの処理系を記述した。図１の破線で囲った部分がＬチャンネル処理系であり、Ｒチャンネル処理系もこれと同様な構成である。各処理系内の多くの構成要素は両チャンネルで共用できるため、Ｌチャンネル処理系内の全ての構成要素を、Ｒチャンネル用にも用意する必要はない。たとえば、Ｌチャンネル処理系内の出力画像バッファＬと参照画像バッファＬ以外の構成要素をＲチャンネル処理系と共用し、入力をＬチャンネル、Ｒチャンネル間で適切に切換えて使用することもできる。
【００３９】
多重分離部１０２で分離されたＬチャンネルの復号画像は、エラーの検出されていない通常時には、出力画像合成部１２０へ出力される。出力画像合成部１２０は、復号画像をＬチャンネル用の出力画像バッファである出力画像バッファＬ１２２に格納し、これがＬチャンネル出力画像となる。
【００４０】
エラー検出部１０４が、Ｌチャンネルの符号化データに何らかのエラーを検出した場合、多重分離部１０２から出力されるＬチャンネルの復号画像にはエラーが混入していることになる。エラー検出部１０４は、修復回路決定部１１８に対して、エラー検出箇所を修復するような指令を出力する。出力画像合成部１２０は、修復回路決定部１１８から出力される修復画像と、多重分離部１０２から出力される復号画像とに基づいて、最終的な出力画像を生成して、出力画像バッファＬ１２２に格納する。
【００４１】
なお、エラー検出箇所の修復に際しては、エラーが検出された画像全体を修復する方法と、エラーが検出された画像領域だけを修復しそれ以外の画像領域は復号画像を使用する方法がある。本発明は、これらのどちらの方法にも適用できる。
【００４２】
画像領域の単位としては、たとえばＭＰＥＧ−４のビデオパケットのように固定長の再同期マーカで挟まれている領域が考えられる。ビデオパケットを使用していれば、符号化データ上のある箇所でエラーが検出され、以降の可変長符号を復号することができなくなった場合でも、次のパケットの先頭を再同期マーカで検出して復号を再開することができる。したがって、エラーの混入した画像領域を画像内の一部に限定することができる。
【００４３】
エラーが検出された画像領域のみを修復する場合、出力画像合成部１２０は、多重分離部１０２から出力される復号画像と、修復回路決定部１１８から出力される修復画像とを合成する機能を果たす。一方、画像全体を修復する場合、出力画像合成部１２０は、復号画像と修復画像のどちらを出力するかを切換えるスイッチの機能を果たす。
【００４４】
一般的にはできるだけ狭い画像領域だけを修復したほうが有利であるため、符号化効率に問題が発生しない範囲で、符号化装置側がビデオパケットの構成を小さくしておくことが望ましい。このようにすると、画像内の１箇所にエラーが検出されただけで画像全体を修復する必要がなくなる。特に、片側のチャンネルに発生したエラーが逆側のチャンネルにも影響してしまうことを避けるのがエラー修復処理上望ましいため、ＲチャンネルとＬチャンネルの画像を左右方向に連結するような合成方法が採用されている場合には、符号化装置側は左右の画像の境界でビデオパケットを分割しておくとよい。この様子を図２に示す。ここで、ビデオパケット（１）、ビデオパケット（３）、ビデオパケット（５）、ビデオパケット（７）、ビデオパケット（９）、ビデオパケット（１１）、ビデオパケット（１３）、ビデオパケット（１５）、ビデオパケット（１７）は、Ｌチャンネルの画像のビデオパケットで、ビデオパケット（２）、ビデオパケット（４）、ビデオパケット（６）、ビデオパケット（８）、ビデオパケット（１０）、ビデオパケット（１２）、ビデオパケット（１４）、ビデオパケット（１６）、ビデオパケット（１８）は、Ｒチャンネルの画像のビデオパケットである。このように左右にまたがるビデオパケットが存在しないようにビデオパケットを構成しておけば、エラーの影響を最小限にできる。
【００４５】
修復回路決定部１１８は、４種類のエラー画像修復回路を有する。この中のどれを使用するかを、適応的に選択してエラー画像を修復する。以下、この４種類のエラー画像修復回路を詳細に説明する。
【００４６】
第１のエラー画像修復回路は、参照画像バッファＬ１０８に格納してあるＬチャンネルの復号済み画像を複写して修復画像とする回路である。参照画像バッファＬは、本来、復号部がＬチャンネルの画像を復号する際に必要となる参照画像を格納するためのものであるが、これをエラー発生画像の修復にも使用するものである。
【００４７】
なお、復号用の参照画像バッファとエラー画像修復用の参照画像バッファをこのように兼用とする必要は必ずしもなく、例えば復号用の参照画像バッファに時間的に最も近い画像が格納されていない場合に、エラー画像修復専用の参照画像バッファを持って、そこに時間的に最も近い復号画像を格納しておく構成も考えられる。このエラー画像修復回路を以下では同チャンネル画像複写型エラー画像修復回路と呼ぶ。
【００４８】
第２のエラー画像修復回路は、参照画像バッファＬに格納された画像に動き補償を施して修復画像とする回路である。動きベクトル抽出部１０６は、参照画像バッファＬ１０８に格納された参照画像と、修復対象のエラー発生画像との間の動きベクトルを抽出する。動きベクトルは動き補償部１１０に出力される。動き補償部１１０は、参照画像バッファＬ１０８の参照画像に動きベクトルに基づいた動き補償を施した上で修復画像とする。このエラー画像修復回路を以下では動き補償型エラー画像修復回路と呼ぶ。
【００４９】
動きベクトルの抽出に際しては、符号化データがＭＰＥＧ−４のデータ・パーティショニングを使用して符号化されており、かつエラー発生画像領域の動きベクトルの復号に成功している場合などのように、正しい動きベクトルが符号化データ中から復号されている場合は、その復号結果をそのまま使う。一方、動きベクトル自体にもエラーが検出されていたり、データ・パーティショニングそのものが使われていなかったり、画像が画面内符号化されていたりして動きベクトルを得ることが出来なかった場合は、動きベクトルを０として出力する。この場合、上述した同チャンネル画像複写型エラー画像修復回路の動作と同一となる。このため、同チャンネル画像複写型エラー画像修復回路を、動き補償型エラー画像修復回路の特別な場合として、装置を兼用することも可能である。本実施の形態においては、予め動き補償型エラー画像修復回路が使用できないことがわかっている場合に、不要な処理を行わずに済むよう、別の構成とした。なお、動きベクトル抽出部１０６の動作は、これに限定されるものではなく、動きベクトルが直接得られなかった場合でも復号済みの画像で使用した動きベクトルからエラー発生画像の動きベクトルを推測したり、エラー発生画像中の復号に成功した画像領域の動きベクトルからエラー発生画像領域の動きベクトルを推測したりすることもできる。
【００５０】
第３のエラー画像修復回路は、Ｒチャンネルの復号画像を複写して修復画像とする回路である。修復に使用するＲチャンネルの復号画像は、出力画像バッファＲ１１４に格納されている。これは、Ｌチャンネル処理系における出力画像バッファＬと等価な役目を持ったＲチャンネル用の出力画像バッファである。Ｌチャンネルにエラーが検出された場合には、出力画像バッファＲ１１４に格納されている復号画像を複写して修復画像とする。
【００５１】
出力画像バッファＲ１１４には、Ｌチャンネルのエラー発生画像と同時期に表示されるべきＲチャンネルの復号画像が格納されているので、Ｒチャンネル用の出力画像バッファと、エラー画像修復用の画像バッファを共用することが可能である。必ずしもこのような共用に限定されるものではなく、両者が別々となる構成も可能である。このエラー画像修復回路を、以下では別チャンネル画像複写型エラー画像修復回路と呼ぶ。
【００５２】
第４のエラー画像修復回路は、出力画像バッファＲ１１４の復号画像に、視差補償を施して修復画像とする回路である。出力画像バッファＲ１１４に格納されているＲチャンネルの出力画像は、本来エラーがなかった場合に復号できたはずのＬチャンネル復号画像に似ている場合が多い。しかしながら、両者の間には視差が存在するため、単にＲチャンネル出力画像の同一位置の画像を使用するのではなく、これを視差ベクトルで補償したほうがより高性能なエラー画像修復が行える。視差ベクトル抽出部１１２は、このための視差ベクトルを抽出する。視差ベクトルは、視差補償部１１６に送られ、Ｒチャンネル出力画像に対して視差ベクトルに基づいた視差補償が施され、修復画像となる。このエラー画像修復回路を、以下では視差補償型エラー画像修復回路と呼ぶ。
【００５３】
視差ベクトルの抽出に際しては、視差ベクトルが何らかの形で複数チャンネル符号化データ内に符号化されており、かつその復号に成功しているならば、これを使用する。一方、視差ベクトルが復号できなかったり、そもそも視差ベクトルが符号化されていなかったりした場合は、視差ベクトルを０として出力する。この場合、上述した別チャンネル画像複写型エラー画像修復回路と同一の動作となる。このため、別チャンネル画像複写型エラー画像修復回路を、視差補償型エラー画像修復回路の特別な場合とみなし、装置を兼用することも可能である。本実施の形態においては、予め視差補償型エラー画像修復回路が使用できないことがわかっている場合に不要な処理を行わずに済むよう、別の構成とした。なお、視差ベクトル抽出部１１２の動作はこれに限られるものではなく、視差ベクトルが直接得られなかった場合でも、既に復号済みの左右両チャンネルの出力画像から視差ベクトルを割り出し、これを元に現在の左右両チャンネル間の視差ベクトルを推測したり、エラー発生画像中の復号に成功した画像領域の視差ベクトルからエラー発生画像領域の視差ベクトルを推測したりすることも可能である。
【００５４】
なお、本実施の形態では、上述した４種類のエラー画像修復回路を有しているが、これらに限定されるものではない。上述した４種類の中の一部だけでも良いし、上述した４種類以外のエラー画像修復回路以外の修復回路を有していても良い。
【００５５】
修復回路決定部１１８においては、上述した４種類のエラー画像修復回路のうち、適切な一つを選択してエラー画像の修復を行なう。その選択の手順を、図３を用いて説明する。
【００５６】
ステップ１００（以下、ステップをＳという。）にて、修復回路決定部１１８は、動きベクトルの有無を判定する。動きベクトルが得られている場合（Ｓ１００にてＹＥＳ）、処理はＳ１１０へ移される。もしそうでないと（Ｓ１００にてＮＯ）、処理はＳ１０２に移される。
【００５７】
Ｓ１０２にて、修復回路決定部１１８は、視差ベクトルの有無を判定する。視差ベクトルが得られている場合（Ｓ１０２にてＹＥＳ）、処理はＳ１１２へ移される。もしそうでないと（Ｓ１０２にてＮＯ）、処理はＳ１０４へ移される。
【００５８】
Ｓ１０４にて、修復回路決定部１１８は、エラー発生チャンネルにおけるフレーム間の動きの大小を判定する。動きが大きいと判定された場合（Ｓ１０４にてＹＥＳ）、処理はＳ１１４へ移される。もしそうでないと（Ｓ１０４にてＮＯ）、処理はＳ１０６へ移される。
【００５９】
Ｓ１０６にて、修復回路決定部１１８は、同チャンネルの復号済み画像を利用して同チャンネル画像複写型エラー画像修復回路によるエラー修復を行う。
【００６０】
Ｓ１０８にて、修復回路決定部１１８は、エラーを修復した上で、修復画像を最終的に出力する。
【００６１】
Ｓ１１０にて、修復回路決定部１１８は、動き補償型エラー画像修復回路によってエラーを修復する。本実施の形態においては、データ・パーティショニングで動きベクトル部の復号に成功している場合などがこれに相当する。
【００６２】
Ｓ１１２にて、修復回路決定部１１８は、視差補償型エラー画像修復回路によってエラーを修復する。本実施形態では、視差ベクトルが付加情報として符号化されていて、その復号に成功している場合などがこれに相当する。
【００６３】
Ｓ１１４にて、修復回路決定部１１８は、エラー発生チャンネルと逆側のチャンネルの復号画像を使って別チャンネル画像複写型エラー画像修復回路によるエラー修復を行う。同チャンネルの復号済みの画像を複写してエラーを修復すると、正しい画像からの誤差が激しくなる可能性が高いので、別チャンネルの復号済みの画像を複写してエラーを修復する。
【００６４】
以上のような構造およびフローチャートに基づく、本実施の形態に係る立体動画像復号装置の動作について説明する。
【００６５】
図４に出力画像を示す。図４の上段は右目用のＲチャンネルの出力画像を、下段は左目用のＬチャンネルの出力画像を表わす。Ｒ−１からＲ−６はＲチャンネル符号化データから復号された出力画像を表わし、Ｌ−１からＬ−６はＬチャンネル符号化データから復号された出力画像を表わす。また、番号が若いほど時間的に前の出力画像を表わしている。画像名に下線が引かれているＬ−５は画面内符号化された符号化データから復号された出力画像を表わし、それ以外の画像は画面間符号化された符号化データから復号された出力画像であることを表わす。矢印は、画面間符号化に際して矢印の先の画像を復号するために矢印の元の画像を参照していることを示す。たとえば、Ｒ−３を復号するためにはＲ−２を参照していることを示す。
【００６６】
Ｌチャンネル符号化データから復号されたＬ−２にエラーが検出された場合、図３に示すフローチャートに従って、エラー画像修復回路が選択される。ここでは、視差補償型エラー画像修復回路が選択されたものと想定する（Ｓ１０２にてＹＥＳ、Ｓ１１２）。すなわち、図４の点線矢印で示した方向に画像を参照し、視差補償を行った上で修復画像が作成され、エラー修復済みの出力画像Ｌ−２’がＬチャンネル用の出力画像として出力される。Ｌ−３の復号には参照画像として本来Ｌ−２が必要だが、これはエラーで復号されていないため、代わりに修復されたＬ−２’を参照画像に使用する。このため、本来の正しいＬ−３は出力されず、何らかのノイズを含んだＬ−３’が出力される。しかし、Ｌ−２’がＬ−２に非常に近いため、このノイズは視認しづらいレベルにおさえることが可能である。Ｌ−４についても同様にノイズを含んだＬ−４’となるが、画質上の問題はさらに小さくなる。Ｌ−５は画面内符号化された符号化データから復号されており、Ｌ−４を参照する必要がないため、Ｌ−５以降は正しい出力画像が表示される。
【００６７】
以上のようにして、本実施の形態に係る立体画像復号装置によると、復号している複数チャンネル符号化データの性質に応じて、適切なエラー画像修復回路を選択して修復画像を作成することが可能であり、ユーザーがエラーを認識する可能性を低く抑えることができる。
【００６８】
なお、上述した説明においては、チャンネル数を２チャンネルに限定していたため、Ｌチャンネルにエラーが検出されて視差補償型エラー画像修復回路または別チャンネル画像複写型エラー画像修復回路を用いて修復を行う場合、Ｒチャンネルの復号画像を使用することは明らかであった。しかし、３チャンネル以上ある場合にはなんらかの判断基準をもって使用するチャンネルを選択する必要がある。この際の判断基準としては、たとえば、エラー発生チャンネルからの視差が最も小さいチャンネルを使用することが考えられる。
【００６９】
また、上述した説明においては、Ｌチャンネルにエラーが検出されたときにＲチャンネルにはエラーが検出されていない場合を想定していたが、実際にはＲチャンネルにもエラーが検出されていることもある。この場合は、Ｒチャンネルを使用しない、動き補償型エラー画像修復回路または同チャンネル画像複写型エラー画像修復回路を優先的に使用することでエラーの波及を阻止することができる。
【００７０】
＜第１の実施の形態 変形例＞
以下、本発明の第１の実施の形態の変形例に係る立体動画像復号装置について説明する。以下に示す以外については、前述の第１の実施の形態に係る立体動画像復号装置と同じであるので、ここでの詳細な説明は繰返さない。
【００７１】
上述した動き補償型エラー画像修復回路と視差補償型エラー画像修復回路とは、それぞれ動きベクトル抽出部の出力する動きベクトルと視差ベクトル抽出部の出力する視差ベクトルの内容次第では、単体でも十分なエラー画像修復能力を有することが可能である。このため、本変形例においては、修復回路決定部を設けず一つの修復回路のみを有する立体動画像復号装置とした。
【００７２】
図５に本変形例に係る立体動画像復号装置の制御ブロック図を示す。この立体動画像復号装置は、視差補償型エラー画像修復回路のみを有する。復号部１００、多重分離部１０２、エラー検出部１０４、視差ベクトル抽出部１１２、出力画像バッファＲ１１４、視差補償部１１６、出力画像合成部１２０、出力画像バッファＬ１２２は、図１に示したものと同様である。
【００７３】
この変形例においては、視差補償型エラー画像修復回路のみが存在し、エラー検出部がエラーを検出した場合は、エラー画像修復部５００が視差補償型エラー画像修復回路を用いてエラー画像を修復する構成である。
【００７４】
＜第２の実施の形態＞
以下、本発明の第２の実施の形態に係る立体動画像復号装置について説明する。なお、以下に示す説明の中で、前述の第１の実施の形態に係る立体動画像復号装置と同じ構成については同じ参照符号を付してある。それらの機能も同じである。したがって、それらについての詳細な説明は繰返さない。
【００７５】
図６は、第２の実施の形態に係る立体動画像復号装置の制御ブロック図である。復号部１００、多重分離部１０２、エラー検出部１０４、出力画像バッファＲ１１４、出力画像バッファＬ１２２は、図１に示したものと同じものである。エラー画像修復部Ｌ６００およびエラー画像修復部Ｒ６０２は、第１の実施の形態における別チャンネル画像複写型エラー画像修復回路に相当し、それぞれＬチャンネルおよびＲチャンネル用のエラー画像修復を行う。
【００７６】
なお、本実施の形態では、１種類のエラー画像修復回路しか有していないが、本発明はこれに限られるものではない。第１の実施の形態のように、複数のエラー画像修復回路を有していて、適応的に切換えるものであってもよい。少なくとも、別チャンネル画像複写型エラー画像修復回路を有すればよい。
【００７７】
別チャンネル画像複写型エラー画像修復回路しか持たない場合や、第１の実施の形態のように適応的にエラー画像修復回路を選択した結果、別チャンネル画像複写型エラー画像修復回路が使用された場合、十分な画質の画像修復がなされないことが多い。このため、エラーが検出された画像の画質に問題が生ずるだけでなく、それを参照画像として使用する全ての画像に、正しくない参照画像を参照したことに起因するノイズが混入し、出力画像の画質が大きく悪化する可能性がある。この場合には立体感が失われるだけでなく、本来正しく復号されている別チャンネルの画像内容の認識にまで支障をきたすことがある。
【００７８】
本実施の形態においては、エラーが検出された後、エラー発生チャンネルに画面内符号化された画像が現れるまでの間、エラー画像修復部の出力を使いつづける。これにより、左右両チャンネルの出力画像は同一となり、立体感こそ失われるものの、誤った参照画像を参照したことに起因するノイズは混入しないため、動画像の内容認識には支障をきたすことがなくなる。
【００７９】
出力画像決定部６０４は、エラーが未検出の間は、出力画像バッファＲ１１４にはＲチャンネル復号画像を出力するように、出力画像切換えスイッチＲ６０８を操作する。同様にして、出力画像バッファＬ１２２にはＬチャンネル復号画像を出力するように、出力画像切換えスイッチＬ６０６を操作する。
【００８０】
たとえば、Ｌチャンネルにエラーが検出されたとの情報を、エラー検出部１０４から得た場合、出力画像切換えスイッチＬ６０６を操作して、エラー画像修復部Ｌ６００からの出力が出力されるように切換える。これによってＬチャンネルとＲチャンネルの復号画像が同一となる。
【００８１】
その後、Ｌチャンネルの符号化データにエラーが検出されなかったとしても、Ｌチャンネルに画面内符号化された符号化データが現れるまでの間、Ｌチャンネルのエラーの有無にかかわらずエラー画像修復部Ｌ６００から出力されるように、出力画像切換えスイッチＬ６０６を保持しておく。修復に使用しているＲチャンネルの復号画像にはまったくエラーが存在していないため、立体感こそ得られないものの、Ｌチャンネルの出力画像にエラーによるノイズが混入することはない。
【００８２】
このようにして、画像の修復が行われた場合の出力画像の様子を、図７を用いて説明する。上段・下段の区別、Ｒ−１からＲ−６、Ｌ−１からＬ−６の復号画像、下線、実線矢印については、図４と同じであるため、ここでは説明を繰返さない。
【００８３】
斜線が引かれているＬ−２にエラーが検出された場合、エラー画像修復部Ｌ６００によってＲ−２が複写され、Ｌチャンネル用の出力画像として出力される。その後、画面内符号化されたＬ−５より前のＬチャンネルの復号画像であるＬ−３、Ｌ−４は使用されず、エラー画像修復部Ｌの出力が使用されつづける。すなわち、Ｌ−２、Ｌ−３、Ｌ−４の代わりに、Ｒ−２、Ｒ−３、Ｒ−４がＬチャンネル用出力画像として出力される。なお、Ｌ−３、Ｌ−４のように復号前に使用されないことが判明している場合は、復号自体を行わないことも可能である。
【００８４】
なお、本実施の形態においては、エラー画像修復部の出力から本来の復号画像にスイッチを戻すための契機として、エラー発生チャンネルに画面内符号化された画像が出現することを使用しているが、本発明はこれに限られるものではなく、画面内符号化された画像の出現に相当する別のきっかけを使用しても良い。たとえば、一般的には画面内符号化は画像単位で行われるだけでなく、マクロブロックなどの画像領域単位でも行われているので、画面内符号化された画像領域を記憶しておき、ほぼ画面全体が画面内符号化されたと判断された場合に出力画像切換えスイッチを切換えて本来の復号画像に戻す方法もある。
【００８５】
以上のようにして、本発明の第２の実施の形態に係る立体動画像復号装置によると、エラー検出後の立体感こそ損なわれるものの、エラーの混入した画像はまったく表示されないため、動画像の内容認識に支障をきたす恐れがない。
【００８６】
＜第３の実施の形態＞
以下、本発明の第３の実施の形態に係る立体動画像復号装置について説明する。なお、以下に示す説明の中で、前述の第１の実施の形態に係る立体動画像復号装置と同じ構成については同じ参照符号を付してある。それらの機能も同じである。したがって、それらについての詳細な説明は繰返さない。
【００８７】
図８は、第３の実施の形態に係る立体動画像復号装置の制御ブロック図である。復号部１００、多重分離部１０２、エラー検出部１０４は、図１に示したものと同じである。表示部８１０としては、たとえば、特開平５−１２２７３３号公報に開示されている、２Ｄ表示と３Ｄ表示を切換え可能な表示装置が使用される。
【００８８】
この２種類の画像表示方法を表示モードと呼び、２Ｄ表示と３Ｄ表示の表示モードを、それぞれ２Ｄモード、３Ｄモードと呼ぶ。なお、特開平５−１２２７３３号公報の表示装置では、２Ｄモードでは３Ｄモードの２倍の解像度で表示が可能であり、従って２Ｄモードでは、３Ｄモードで左右に同一の画像を表示するのに比して、より高画質な画像を表示することが可能である。ただし、２Ｄモードでは解像度が３Ｄモードの２倍となるため、１チャンネルの復号画像をそのまま表示したのでは解像度が不足する。そのため、１チャンネルの復号画像から２Ｄモード用の出力画像を得る場合は、２Ｄ画像生成部８０４を使用して解像度が２倍の２Ｄ画像を生成する。一方、３Ｄモードでは左右両チャンネルの画像を適切に表示するために、左右両チャンネルの出力画像を合成する処理が必要となる。これは、３Ｄ画像合成部８００で行われる。
【００８９】
エラーが検出されていない通常の復号状態では、表示モード決定部８０６によって３Ｄモードが選択され、その旨が表示部に指示されるとともに３Ｄ画像合成部の出力が表示部に送られるよう表示モード切換えスイッチ０８０６が操作される。しかし、エラー検出部１０４によって、あるチャンネルにエラーが検出されると、表示モード決定部８０６は２Ｄモードを選択する。２Ｄモードが選択された場合、その旨が表示部８１０に指示されるとともに、出力画像切換えスイッチ８０８も２Ｄ画像生成部８０４の出力が表示部８１０に出力されるように切換えられる。また、２Ｄ画像生成部８０４への入力を選択する入力画像切換えスイッチ８０２は、エラーが検出されたチャンネルと別のチャンネルを選択する。たとえば、Ｌチャンネルにエラーが検出された場合、Ｒチャンネルが入力として選択される。
【００９０】
その後、Ｌチャンネルの符号化データにエラーが検出されなかったとしても、Ｌチャンネルに画面内符号化された符号化データが現れるまでの間、Ｌチャンネルのエラーの有無にかかわらず、表示モード決定部８０６は、２Ｄモードを選択しつづける。
【００９１】
このようにして、画像の修復が行われた場合の出力画像の様子を、図９を用いて説明する。Ｒ−１からＲ−６、Ｌ−１からＬ−６の復号画像、下線、実線矢印については、図４と同じであるため、ここでは説明を繰返さない。図中の上段は右目用のＲチャンネル出力画像を、下段は左目用のＬチャンネル出力画像を表わし、中段は２Ｄモードで表示される２Ｄモード用の出力画像を表わす。Ｐ−２からＰ−４は２Ｄモード用に解像度が２倍になるよう拡大された出力画像を表わす。
【００９２】
斜線が引かれているＬ−２にエラーが検出された場合、エラーの検出されたＬ−２から、これを参照画像として使用しているＬ−３、Ｌ−４までは表示に使用されない。一方、エラーが検出されなかったＲチャンネルの出力画像であるＲ−２からＲ−４は、復号された後に２Ｄ画像生成部で２Ｄモード用の出力画像へと変換され、それぞれＰ−２からＰ−４となって２Ｄモードに切換えられた表示部８１０へ出力される。エラーの検出されたＬチャンネルに画面内符号化されたＬ−５が現れて以降は、３Ｄモードに戻して通常の復号が行われる。
【００９３】
なお、前記第２の実施形態で記述したのと同様、３Ｄモードへの復帰の契機として、エラー発生チャンネルに画面内符号化された画像が現れることを利用する以外に、マクロブロックなどの画像領域単位の画面内符号化が全画面におよんだと判断された場合に３Ｄモードに復帰させるという方法もある。
【００９４】
以上のようにして、本発明の第３の実施の形態に係る立体動画像復号装置によると、エラー検出後の立体感こそ損なわれるものの、エラーの混入した画像はまったく表示されないため、動画像の内容認識に支障をきたす恐れがない上に、より高画質な２Ｄモードで画像を表示することが可能となる。
【００９５】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態に係る立体動画像復号装置の制御ブロック図である。
【図２】 本発明の第１の実施の形態に係る立体動画像復号装置に好適な複数チャンネル符号化データを説明する説明図である。
【図３】 本発明の第１の実施の形態に係る立体動画像復号装置の修復回路決定部において実行されるプログラムの制御構造を示すフローチャートである。
【図４】 本発明の第１の実施の形態に係る立体動画像復号装置の動作を説明する説明図である。
【図５】 本発明の第１の実施の形態の変形例に係る立体動画像復号装置の制御ブロック図である。
【図６】 本発明の第２の実施の形態に係る立体動画像復号装置の制御ブロック図である。
【図７】 本発明の第２の実施の形態に係る立体動画像復号装置の動作を説明する説明図である。
【図８】 本発明の第３の実施の形態に係る立体動画像復号装置の制御ブロック図である。
【図９】 本発明の第３の実施の形態に係る立体動画像復号装置の動作を説明する説明図である。
【図１０】 従来技術に係る立体動画像復号装置の制御ブロック図である。
【図１１】 従来技術に係る立体動画像復号装置の動作を説明する説明図である。
【符号の説明】
１００ 復号部、１０２ 多重分離部、１０４ エラー検出部、１０６ 動きベクトル抽出部、１０８ 参照画像バッファＬ、１１０ 動き補償部、１１２ 視差ベクトル抽出部、１１４ 出力画像バッファＲ、１１６ 視差補償部、１１８ 修復回路決定部、１２０ 出力画像合成部、１２２ 出力画像バッファＬ、５００ エラー画像修復部、６００ エラー画像修復部Ｌ、６０２ エラー画像修復部Ｒ、６０４ 出力画像決定部、６０６ 出力画像切換えスイッチＬ、６０８ 出力画像切換えスイッチＲ、８００ ３Ｄ画像合成部、８０２ 入力画像切換えスイッチ、８０４ ２Ｄ画像生成部、８０６ 表示モード決定部、８０８ 出力画像切換えスイッチ、８１０ 表示部、１０００ 復号部、１００２ 多重分離部、１００４ エラー検出部、１００６ 復号画像バッファＬ、１００８ 復号画像バッファＲ、１０１０ 出力画像バッファＬ、１０１２ 出力画像バッファＲ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a decoding device that decodes multi-channel encoded data obtained by encoding moving images in a plurality of channels, and more particularly, to a decoding device for a stereoscopic moving image that enables stereoscopic viewing with moving images of a plurality of channels.
[0002]
[Prior art]
There are various methods for encoding a stereoscopic moving image for allowing a human vision to recognize a stereoscopic moving image. For example, there is a method in which two or more types of moving images taken from different directions are prepared for the right eye and the left eye, and each channel is encoded and multiplexed to generate multi-channel encoded data. When the multi-channel encoded data created in this way is transmitted over the air or streamed, errors such as bit inversion, omission, and mixing may occur before reaching the decoding side. There is a problem in that the image quality of the decoded image is impaired.
[0003]
Japanese Patent Laid-Open No. 7-322302 discloses a stereoscopic video decoding apparatus that solves such a problem. The stereoscopic video decoding device disclosed in this publication is reproduced by reading and decoding image data from a recording medium in which each image data for each shooting direction obtained by shooting a subject from a plurality of directions is recorded. This is an apparatus for obtaining an image. This apparatus reads out image data from a recording medium on which each image data for each photographing direction obtained by photographing a subject from a plurality of directions is recorded, and the recording medium reading circuit reads the image data. Decoding circuit that decodes image data once stored, decoding error detection circuit that detects whether or not an error has occurred in image data, and transfers image data obtained by the decoding circuit for each channel in each shooting direction A demultiplexing circuit, an output side image data storage circuit for storing image data displayed on each channel obtained by the demultiplexing means, and an output side image data storage when an error is detected in the image data The circuit includes a compensation circuit that compensates image data of other channels in place of error image data in units of images.
[0004]
The stereoscopic video decoding device disclosed in this publication has a structure as shown in FIG. In the following description, it is assumed that the multi-channel encoded data is 2-channel encoded data of the left-eye L channel and the right-eye R channel. As shown in FIG. 10, the input multi-channel encoded data is first decoded by the
[0005]
If the
[0006]
Further, this publication also discloses that an error is repaired by copying a past image of a channel in which the error is detected.
[0007]
[Problems to be solved by the invention]
FIG. 11 shows an output image when an error is repaired using the apparatus disclosed in the above-mentioned publication. In FIG. 11, the upper row represents an R channel output image for the right eye, and the lower row represents an L channel output image for the left eye. R-1 to R-6 represent output images decoded from the R channel encoded data, and L-1 to L-6 represent output images decoded from the L channel encoded data. Further, the lower the number, the earlier the output image in time. L-5 underlined in the image name represents an output image decoded from the encoded data encoded in the screen, and the other images are output decoded from the encoded data encoded in the inter-screen. Indicates an image. The arrow indicates that the original image of the arrow is referred to in order to decode the image ahead of the arrow during the inter-picture encoding. For example, in order to decode R-3, R-2 is referred to.
[0008]
When an error is detected in L-2 decoded from the L channel encoded data, the decoded image of L-2 including the error is not used, and the R-2 output image at the same time is used for the left eye. Also output as an image. Since the images of the left and right channels are often similar images, it can be restored with a certain level of image quality.
[0009]
When no error is detected in the L channel encoded data after L-3, the normal decoding is performed after L-3. However, when encoding is performed using inter-picture coding represented by ISO / IEC MPEG (Moving Picture Experts Group) standard or ITU-T (International Telecommunications Union Telecommunication Standardization Sector) H series recommendation, Since L-3 refers to R-2 instead of L-2 that should be referred to originally, a correct output image cannot be obtained even though there is no error in its own encoded data. This is called L-3 ′. Similarly, L-4 referring to the incorrect L-3 ′ is not a correct output image, and is referred to as L-4 ′. In these output images, noise caused by referring to an incorrect reference image is mixed. This chain continues before L-5, which is intra-coded, without referring to the previous image, and a correct output image can be obtained again only after reaching L-5. If the image for the right eye and the image for the left eye are almost the same, the error can be repaired without any problem even if the apparatus disclosed in the above publication is used.
[0010]
However, in general stereoscopic moving images, there are often large differences between the left and right images in order to enhance the stereoscopic effect. For this reason, it is difficult to say that the error has been sufficiently repaired only by copying the image for the eye opposite to the image in which the error has occurred.
[0011]
The method of correcting errors by copying past images in a channel in which an error has occurred disclosed in the above publication is effective when there is little change between the past images and the current image, There is a large change between the current image and the current image, and a satisfactory restoration result cannot be obtained with an image having a large movement.
[0012]
Furthermore, since the noise caused by referring to an erroneous reference image continues to be mixed in the L channel output image until the intra-coded L-5 is decoded, the user simply cannot feel the stereoscopic effect. In addition, there may be a problem in recognizing a right-eye image that has been correctly decoded.
[0013]
The present invention has been made in order to solve the above-described problems, and is capable of repairing errors occurring in moving image data including a plurality of channels with as little influence on human vision as possible. A decoding device is provided.
[0014]
[Means for Solving the Problems]
A data decoding apparatus according to a first aspect decodes data obtained by encoding moving images of a plurality of channels. The data decoding apparatus includes: a detecting unit for detecting an error from data; a plurality of repairing units for repairing an error; and a selection for selecting one repairing unit from the plurality of repairing units Means and control means for controlling the selected repair means to repair the error.
[0015]
According to the first invention, the detection means detects an error from the encoded data. A plurality of repair means for repairing this error are prepared. For example, the selection unit can select an appropriate restoration unit according to the nature of the encoded data being decoded. Thereby, the possibility that the user recognizes the error can be kept low. As a result, it is possible to provide a data decoding device that can repair errors occurring in moving image data including a plurality of channels with as little influence on human vision as possible.
[0016]
In addition to the configuration of the first invention, the data decoding apparatus according to the second invention further includes a calculation means for calculating a change between data used to repair an error and data including the error. The selecting means includes means for selecting one repairing means based on a change from among the plurality of repairing means.
[0017]
According to the second invention, for example, when the change between the data used to repair the error and the data including the error is small, the data decoded in the same channel as the channel where the error is detected is used. If the change is large, the error can be repaired using data decoded in a channel different from the channel in which the error was detected. Thus, an appropriate restoration means can be selected according to the nature of the encoded data.
[0018]
In addition to the configuration of the second invention, the data decoding device according to the third invention is the first for restoring data using data of the same channel as the channel in which the error is detected. Repairing means and second repairing means for restoring data using data of a channel different from the channel in which the error is detected. The selection means includes means for selecting the first repair means when the change is small and the second repair means when the change is large.
[0019]
According to the third invention, when the change between the data used to repair the error and the data including the error is small, the change is made by using the data decoded in the same channel as the channel where the error is detected. Is large, the error is repaired using data decoded in a channel different from the channel in which the error was detected. Thus, an appropriate restoration means can be selected according to the nature of the encoded data.
[0020]
In addition to the configuration of the third invention, the data decoding apparatus according to the fourth invention is such that the first restoration means performs motion compensation on already decoded data in the same channel as the channel where the error is detected. In-channel motion compensation type error repairing means for repairing errors, and in-channel duplication type error repairing for repairing errors by copying already decoded data in the same channel as the channel where the error was detected And / or means. The second repair means performs a disparity compensation error on another channel for repairing the error by performing disparity compensation on either the already decoded data or the data being decoded in a channel different from the channel in which the error is detected. At least one of the repairing means and another channel copy type error repairing means for repairing the error by copying either already decoded data or data being decoded in a channel different from the channel in which the error is detected Including
[0021]
According to the fourth aspect of the present invention, either the same channel motion compensation type error correcting means or the same channel duplication type error correcting means using the data decoded in the same channel as the channel in which the error is detected has detected an error. Appropriate restoration according to the nature of the encoded data using either another channel parallax compensation type error restoration means or another channel duplication type error restoration means using data decoded in a channel different from the channel Means can be selected.
[0022]
In the data decoding device according to the fifth invention, in addition to the configuration of the fourth invention, the control means corresponds to the intra-screen encoded data and the intra-screen encoded data in the channel in which the error is detected after the error is detected. Means for controlling the error to be corrected by using another channel copy type error correcting means until any of the encoded data to appear is included.
[0023]
According to the fifth aspect of the invention, the error is repaired until either the intra-screen encoded data or the encoded data corresponding to the intra-screen encoded data appears in the channel where the error is detected. For this reason, while inter-coded data appears, an error-mixed image is not displayed, and there is no possibility of hindering recognition of the content of the moving image.
[0024]
According to a sixth aspect of the present invention, there is provided a data decoding apparatus for generating two-dimensional display data using detection means for detecting an error from data and data of an arbitrary channel among a plurality of channels. Two-dimensional data generating means, switching means for switching the output mode between the two-dimensional display output mode and the three-dimensional display output mode, the intra-screen encoded data and the channel in which the error is detected after the error is detected, and Until two of the encoded data corresponding to the intra-screen encoded data appear, the two-dimensional image generating means generates two-dimensional display data using data of a channel different from the channel in which the error is detected. In addition, control means for controlling the two-dimensional data generating means and the switching means so as to maintain the two-dimensional display output mode is included.
[0025]
According to the sixth invention, the two-dimensional data generating means generates data for two-dimensional display using data of an arbitrary channel among a plurality of channels, and the switching means displays the output mode in two-dimensional display. The mode is switched between the output mode for use and the output mode for 3D display. The control means generates data for two-dimensional display using data of a channel different from the channel in which the error is detected until the encoded data appears in the channel in which the error is detected after the error is detected. . The control means maintains the two-dimensional display output mode. As a result, while inter-coded data appears, two-dimensional display data is generated using data of a channel different from the channel in which the error is detected, and an error mixed image is not displayed. , There is no risk of disturbing the recognition of the contents of the moving image. As a result, an image can be displayed in a higher-quality two-dimensional mode.
[0026]
According to a seventh aspect of the present invention, there is provided a data decoding device according to any one of detection means for detecting an error from data and data that has already been decoded and data that is being decoded in a channel different from the channel in which the error is detected. Repairing means for performing parallax compensation and repairing errors.
[0027]
According to the seventh aspect, when an error is detected in the encoded data, either the already decoded data or the data being decoded in a channel different from the channel where the error is detected is used to repair the error. The At this time, parallax compensation is performed and the error is repaired, so that the error can be repaired without making the human eye feel uncomfortable.
[0028]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
[0029]
Prior to the description of the stereoscopic video decoding apparatus according to the present invention, a method of configuring multi-channel encoded data that is a target of decoding processing by the stereoscopic video decoding apparatus will be described below.
[0030]
In general, the multi-channel encoded data is obtained by encoding and multiplexing a multi-channel moving image obtained by photographing a subject from a plurality of directions by a predetermined method. However, in addition to such a method, a multi-channel moving image was artificially synthesized with consideration of the effect of shooting from a plurality of directions, or was taken from a single direction. There is also a multi-channel moving image obtained by analyzing a moving image and generating a moving image from another direction.
[0031]
The encoding method includes a method that conforms to the MPEG standard of ISO / IEC, a method that conforms to the ITU-T H series recommendation, and the like. In encoding, in addition to the method of encoding separately ignoring the correlation between each channel, one reference channel is provided, the reference channel is normal encoding, and the other channels are reference There is a method of encoding a difference between a channel image or a reference channel image subjected to parallax compensation.
[0032]
Multiplexing methods include a method in which the encoded data of each channel is made into a separate file or sent using different media, and a plurality of encoded data in a single file according to a predetermined format. Alternatively, there is a multiplexing method in which streams are combined, and an image for each channel is synthesized as one image at the stage of the image before encoding, and this is encoded using the above-described encoding method. .
[0033]
The stereoscopic video decoding apparatus according to the present invention can be applied to multi-channel encoded data created by any of the above-described encoding methods and multiplexing methods, and does not depend on the type of encoding method and multiplexing method. .
[0034]
In the following description, the encoding method is ISO / IEC 14496 MPEG-4 as the encoding method, and the encoding method that employs the method of combining multiple channels of moving images into one image before encoding as the multiplexing method. Assume that multi-channel encoded data is input. The number of channels is assumed to be multi-channel encoded data including two channels, an R channel for the right eye and an L channel for the left eye. However, the present invention is not limited to this, and can also be applied to the case of having three or more channels.
[0035]
<First Embodiment>
Hereinafter, the stereoscopic video decoding apparatus according to the first embodiment of the present invention will be described.
[0036]
FIG. 1 is a block diagram showing a configuration of a stereoscopic video decoding device according to the present embodiment. As shown in FIG. 1, this stereoscopic video decoding apparatus includes a
[0037]
The
[0038]
Since the R channel processing system and the L channel processing system are symmetrical, FIG. 1 mainly describes the L channel processing system. The portion surrounded by the broken line in FIG. 1 is the L channel processing system, and the R channel processing system has the same configuration. Since many components in each processing system can be shared by both channels, it is not necessary to prepare all the components in the L channel processing system for the R channel. For example, components other than the output image buffer L and the reference image buffer L in the L channel processing system can be shared with the R channel processing system, and the input can be switched appropriately between the L channel and the R channel.
[0039]
The decoded image of the L channel separated by the
[0040]
When the
[0041]
There are two methods for repairing an error detected part: a method of repairing an entire image in which an error is detected, and a method of repairing only an image region in which an error is detected and using a decoded image in other image regions. The present invention can be applied to either of these methods.
[0042]
As a unit of the image area, for example, an area sandwiched between fixed-length resynchronization markers such as an MPEG-4 video packet can be considered. If a video packet is used, even if an error is detected at a certain point in the encoded data and the subsequent variable length code cannot be decoded, the beginning of the next packet is detected by the resynchronization marker. Decoding can be resumed. Therefore, it is possible to limit an image area in which an error is mixed to a part of the image.
[0043]
When only the image area where the error is detected is repaired, the output
[0044]
In general, it is more advantageous to restore only the narrowest possible image region. Therefore, it is desirable that the encoding device side make the video packet configuration small as long as there is no problem in encoding efficiency. In this way, it is not necessary to repair the entire image just by detecting an error in one place in the image. In particular, since it is desirable for error correction processing to prevent an error occurring in one channel from affecting the other channel, a synthesis method that connects the images of the R channel and the L channel in the left-right direction is used. If it is adopted, the encoding device side may divide the video packet at the boundary between the left and right images. This is shown in FIG. Here, video packet (1), video packet (3), video packet (5), video packet (7), video packet (9), video packet (11), video packet (13), video packet (15) , Video packet (17) is a video packet of the image of the L channel, and video packet (2), video packet (4), video packet (6), video packet (8), video packet (10), video packet ( 12), video packet (14), video packet (16), and video packet (18) are video packets of R channel images. If the video packets are configured such that there are no video packets extending from side to side in this way, the influence of errors can be minimized.
[0045]
The repair
[0046]
The first error image restoration circuit is a circuit that copies a decoded image of the L channel stored in the reference image buffer L108 to obtain a restored image. The reference image buffer L is originally for storing a reference image that is necessary when the decoding unit decodes an L-channel image, and this is also used for repairing an error occurrence image.
[0047]
Note that the decoding reference image buffer and the error image restoration reference image buffer do not necessarily have to be used in this manner. For example, when the image closest in time is not stored in the decoding reference image buffer. A configuration is also possible in which a reference image buffer dedicated to error image restoration is provided and the decoded image closest in time is stored therein. This error image restoration circuit is hereinafter referred to as a same channel image duplication type error image restoration circuit.
[0048]
The second error image restoration circuit is a circuit that performs motion compensation on the image stored in the reference image buffer L to obtain a restored image. The motion
[0049]
When extracting motion vectors, as in the case where the encoded data is encoded using MPEG-4 data partitioning and the motion vectors in the error-occurring image area are successfully decoded, etc. When a correct motion vector is decoded from the encoded data, the decoding result is used as it is. On the other hand, if an error is detected in the motion vector itself, data partitioning itself is not used, or the motion vector cannot be obtained because the image is encoded in the screen, the motion vector The vector is output as 0. In this case, the operation is the same as that of the above-described channel image copy type error image restoration circuit. Therefore, the same-channel image copy type error image restoration circuit can also be used as a device as a special case of the motion compensation type error image restoration circuit. In this embodiment, when it is known in advance that the motion compensated error image restoration circuit cannot be used, another configuration is adopted so that unnecessary processing is not performed. Note that the operation of the motion
[0050]
The third error image restoration circuit is a circuit that copies the decoded image of the R channel to obtain a restoration image. The decoded image of the R channel used for restoration is stored in the output image buffer R114. This is an output image buffer for the R channel having a role equivalent to the output image buffer L in the L channel processing system. When an error is detected in the L channel, the decoded image stored in the output image buffer R114 is copied and used as a restored image.
[0051]
Since the output image buffer R114 stores an R channel decoded image to be displayed at the same time as the L channel error occurrence image, an R channel output image buffer and an error image repair image buffer are provided. It can be shared. It is not necessarily limited to such sharing, and a configuration in which both are separate is possible. This error image restoration circuit is hereinafter referred to as another channel image copy type error image restoration circuit.
[0052]
The fourth error image restoration circuit is a circuit that performs parallax compensation on the decoded image of the output image buffer R114 to obtain a restored image. The output image of the R channel stored in the output image buffer R114 is often similar to the L channel decoded image that should have been decoded when there was no error. However, since there is a parallax between the two, it is possible not only to use an image at the same position of the R channel output image, but to perform error image restoration with higher performance by compensating this with a parallax vector. The disparity
[0053]
When extracting the disparity vector, if the disparity vector is encoded in the multi-channel encoded data in some form and successfully decoded, this is used. On the other hand, when the disparity vector cannot be decoded or the disparity vector is not encoded in the first place, the disparity vector is output as 0. In this case, the operation is the same as that of the above-described another channel image copy type error image restoration circuit. For this reason, the separate channel image copy type error image restoration circuit can be regarded as a special case of the parallax compensation type error image restoration circuit and can also be used as a device. In this embodiment, another configuration is adopted so that unnecessary processing is not performed when it is known in advance that the parallax compensation type error image restoration circuit cannot be used. Note that the operation of the disparity
[0054]
In the present embodiment, the four types of error image restoration circuits described above are included, but the present invention is not limited to these. Only a part of the four types described above may be used, or a repair circuit other than the four types of error image repair circuits described above may be provided.
[0055]
The repair
[0056]
In step 100 (hereinafter, step is referred to as S), the repair
[0057]
In S102, the repair
[0058]
In S104, the repair
[0059]
In S106, the restoration
[0060]
In S108, the repair
[0061]
In S110, the repair
[0062]
In S112, the repair
[0063]
In S114, the restoration
[0064]
An operation of the stereoscopic video decoding device according to the present embodiment based on the above-described structure and flowchart will be described.
[0065]
FIG. 4 shows an output image. The upper part of FIG. 4 represents the output image of the R channel for the right eye, and the lower part represents the output image of the L channel for the left eye. R-1 to R-6 represent output images decoded from the R channel encoded data, and L-1 to L-6 represent output images decoded from the L channel encoded data. Further, the lower the number, the earlier the output image in time. L-5 underlined in the image name represents an output image decoded from the encoded data encoded in the screen, and the other images are output decoded from the encoded data encoded in the inter-screen. Indicates an image. The arrow indicates that the original image of the arrow is referred to in order to decode the image ahead of the arrow during the inter-picture encoding. For example, in order to decode R-3, R-2 is referred to.
[0066]
When an error is detected in L-2 decoded from the L channel encoded data, the error image restoration circuit is selected according to the flowchart shown in FIG. Here, it is assumed that the parallax compensation type error image restoration circuit is selected (YES in S102, S112). That is, referring to the image in the direction indicated by the dotted arrow in FIG. 4, a repaired image is created after performing parallax compensation, and an error-corrected output image L-2 ′ is output as an output image for the L channel. The For decoding L-3, L-2 is originally required as a reference image, but since this is not decoded due to an error, the repaired L-2 ′ is used instead for the reference image. For this reason, the original correct L-3 is not output, but L-3 ′ including some noise is output. However, since L-2 ′ is very close to L-2, this noise can be kept at a level that is difficult to see. Similarly, L-4 ′ including noise is L-4 ′, but the problem of image quality is further reduced. Since L-5 is decoded from the encoded data encoded in the screen and does not need to refer to L-4, a correct output image is displayed after L-5.
[0067]
As described above, according to the stereoscopic image decoding apparatus according to the present embodiment, a repair image is created by selecting an appropriate error image repair circuit according to the nature of the decoded multi-channel encoded data. It is possible to reduce the possibility that the user will recognize the error.
[0068]
In the above description, since the number of channels is limited to two, an error is detected in the L channel and restoration is performed using a parallax compensation type error image restoration circuit or another channel image duplication type error image restoration circuit. In this case, it was obvious to use the decoded image of the R channel. However, when there are three or more channels, it is necessary to select a channel to be used with some criteria. As a judgment criterion at this time, for example, it is conceivable to use a channel having the smallest parallax from the error occurrence channel.
[0069]
In the above description, it is assumed that an error is not detected in the R channel when an error is detected in the L channel. However, an error is actually detected in the R channel. There is also. In this case, it is possible to prevent the error from spreading by preferentially using the motion compensation type error image restoration circuit or the same channel image duplication type error image restoration circuit that does not use the R channel.
[0070]
<Modification of First Embodiment>
Hereinafter, a stereoscopic video decoding apparatus according to a modification of the first embodiment of the present invention will be described. Since it is the same as that of the stereoscopic video decoding device according to the above-described first embodiment except for the following, detailed description thereof will not be repeated here.
[0071]
The motion compensation type error image restoration circuit and the parallax compensation type error image restoration circuit described above are sufficient for a single error depending on the contents of the motion vector output from the motion vector extraction unit and the parallax vector output from the parallax vector extraction unit, respectively. It is possible to have an image repair capability. For this reason, in this modification, the stereoscopic video decoding apparatus having only one repair circuit without providing the repair circuit determination unit is used.
[0072]
FIG. 5 shows a control block diagram of the stereoscopic video decoding apparatus according to this modification. This stereoscopic video decoding apparatus has only a parallax compensation type error image restoration circuit. The
[0073]
In this modification, when only the parallax compensation type error image restoration circuit exists and the error detection unit detects an error, the error
[0074]
<Second Embodiment>
Hereinafter, a stereoscopic video decoding apparatus according to the second embodiment of the present invention will be described. In the following description, the same reference numerals are assigned to the same components as those of the stereoscopic video decoding device according to the first embodiment described above. Their functions are the same. Therefore, detailed description thereof will not be repeated.
[0075]
FIG. 6 is a control block diagram of the stereoscopic video decoding apparatus according to the second embodiment. The
[0076]
In the present embodiment, only one type of error image restoration circuit is provided, but the present invention is not limited to this. As in the first embodiment, a plurality of error image restoration circuits may be provided and adaptively switched. It suffices to have at least another channel image copy type error image restoration circuit.
[0077]
When there is only another channel image copy type error image restoration circuit, or when another channel image copy type error image restoration circuit is used as a result of adaptively selecting the error image restoration circuit as in the first embodiment In many cases, image restoration with sufficient image quality is not performed. This not only causes a problem in the image quality of the image in which the error is detected, but also causes noise caused by referring to an incorrect reference image to all images that use it as a reference image. The image quality can be greatly degraded. In this case, not only the stereoscopic effect is lost, but also the recognition of the image content of another channel that is originally correctly decoded may be hindered.
[0078]
In the present embodiment, after an error is detected, the output of the error image restoration unit is continuously used until an image encoded in the screen appears in the error occurrence channel. As a result, the output images of both the left and right channels are the same, and the stereoscopic effect is lost, but noise caused by referring to the wrong reference image is not mixed, so that the content recognition of moving images is not hindered. .
[0079]
The output
[0080]
For example, when information indicating that an error has been detected in the L channel is obtained from the
[0081]
After that, even if no error is detected in the L channel encoded data, the error image restoration unit L600 regardless of the presence or absence of the L channel error until the encoded data encoded in the screen appears in the L channel. So that the output image changeover switch L606 is held. Since there is no error at all in the decoded image of the R channel used for restoration, a stereoscopic effect cannot be obtained, but noise due to the error is not mixed in the output image of the L channel.
[0082]
The state of the output image when the image is repaired in this way will be described with reference to FIG. The distinction between the upper and lower stages, the decoded images from R-1 to R-6, L-1 to L-6, the underline, and the solid line arrow are the same as those in FIG. 4, and thus the description thereof will not be repeated here.
[0083]
When an error is detected in the hatched L-2, the error image restoration unit L600 copies R-2 and outputs it as an output image for the L channel. After that, L-3 and L-4, which are decoded images of the L channel before L-5 encoded in the screen, are not used, and the output of the error image restoration unit L continues to be used. That is, R-2, R-3, and R-4 are output as L channel output images instead of L-2, L-3, and L-4. In addition, when it is known that it is not used before decoding like L-3 and L-4, it is possible to not perform decoding itself.
[0084]
In this embodiment, it is used that an intra-coded image appears in the error occurrence channel as a trigger for returning the switch from the output of the error image restoration unit to the original decoded image. However, the present invention is not limited to this, and another trigger corresponding to the appearance of the intra-coded image may be used. For example, in general, intra-frame coding is performed not only on an image basis, but also on an image area basis such as a macroblock. There is also a method of switching the output image changeover switch back to the original decoded image when it is determined that the entire image has been intra-coded.
[0085]
As described above, according to the stereoscopic video decoding device according to the second embodiment of the present invention, although the stereoscopic effect after the error detection is lost, an image with an error is not displayed at all. There is no risk of disturbing content recognition.
[0086]
<Third Embodiment>
Hereinafter, a stereoscopic video decoding apparatus according to the third embodiment of the present invention will be described. In the following description, the same reference numerals are assigned to the same components as those of the stereoscopic video decoding device according to the first embodiment described above. Their functions are the same. Therefore, detailed description thereof will not be repeated.
[0087]
FIG. 8 is a control block diagram of the stereoscopic video decoding apparatus according to the third embodiment. The
[0088]
These two types of image display methods are called display modes, and the display modes of 2D display and 3D display are called 2D mode and 3D mode, respectively. In the display device disclosed in Japanese Patent Laid-Open No. 5-122733, the 2D mode can display at twice the resolution of the 3D mode. Therefore, in the 2D mode, compared to displaying the same image on the left and right in the 3D mode. Thus, a higher quality image can be displayed. However, since the resolution in the 2D mode is twice that of the 3D mode, if the decoded image of one channel is displayed as it is, the resolution is insufficient. Therefore, when an output image for 2D mode is obtained from a decoded image of one channel, a 2D image having a double resolution is generated using the 2D
[0089]
In the normal decoding state in which no error is detected, the display
[0090]
Thereafter, even if no error is detected in the encoded data of the L channel, the display mode determining unit is used regardless of the presence or absence of the error of the L channel until the encoded data encoded in the screen appears in the L channel. In
[0091]
The state of the output image when the image is repaired in this way will be described with reference to FIG. Since the decoded image, underline, and solid line arrow from R-1 to R-6 and L-1 to L-6 are the same as those in FIG. 4, the description thereof will not be repeated here. In the figure, the upper part represents an R channel output image for the right eye, the lower part represents an L channel output image for the left eye, and the middle part represents an output image for 2D mode displayed in 2D mode. P-2 to P-4 represent output images enlarged to double the resolution for the 2D mode.
[0092]
When an error is detected in L-2 that is shaded, L-2 from which the error is detected to L-3 and L-4 that use this as a reference image are not used for display. On the other hand, R-2 to R-4, which are output images of the R channel for which no error has been detected, are decoded and converted into output images for 2D mode by the 2D image generation unit. -4 and output to the
[0093]
Note that, as described in the second embodiment, an image area such as a macro block is used in addition to using the fact that an intra-coded image appears in an error occurrence channel as a trigger for returning to the 3D mode. There is also a method of returning to the 3D mode when it is determined that the intra-frame coding of the unit has been applied to the entire screen.
[0094]
As described above, according to the stereoscopic video decoding device according to the third embodiment of the present invention, although the stereoscopic effect after error detection is lost, an image with an error is not displayed at all. It is possible to display an image in a higher-quality 2D mode without causing a problem in content recognition.
[0095]
The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
[Brief description of the drawings]
FIG. 1 is a control block diagram of a stereoscopic video decoding device according to a first embodiment of the present invention.
FIG. 2 is an explanatory diagram illustrating multi-channel encoded data suitable for the stereoscopic video decoding device according to the first embodiment of the present invention.
FIG. 3 is a flowchart showing a control structure of a program executed in the restoration circuit determination unit of the stereoscopic video decoding device according to the first embodiment of the present invention.
FIG. 4 is an explanatory diagram illustrating an operation of the stereoscopic video decoding device according to the first embodiment of the present invention.
FIG. 5 is a control block diagram of a stereoscopic video decoding device according to a modification of the first embodiment of the present invention.
FIG. 6 is a control block diagram of a stereoscopic video decoding device according to a second embodiment of the present invention.
FIG. 7 is an explanatory diagram explaining an operation of the stereoscopic video decoding device according to the second embodiment of the present invention.
FIG. 8 is a control block diagram of a stereoscopic video decoding device according to a third embodiment of the present invention.
FIG. 9 is an explanatory diagram explaining an operation of the stereoscopic video decoding device according to the third embodiment of the present invention.
FIG. 10 is a control block diagram of a stereoscopic video decoding device according to a conventional technique.
FIG. 11 is an explanatory diagram for explaining the operation of a stereoscopic video decoding device according to a conventional technique.
[Explanation of symbols]
100 decoding unit, 102 demultiplexing unit, 104 error detection unit, 106 motion vector extraction unit, 108 reference image buffer L, 110 motion compensation unit, 112 disparity vector extraction unit, 114 output image buffer R, 116 disparity compensation unit, 118 restoration Circuit decision unit, 120 output image composition unit, 122 output image buffer L, 500 error image restoration unit, 600 error image restoration unit L, 602 error image restoration unit R, 604 output image decision unit, 606 output image changeover switch L, 608 Output image changeover switch R, 800 3D image composition unit, 802 Input image changeover switch, 804 2D image generation unit, 806 Display mode determination unit, 808 Output image changeover switch, 810 Display unit, 1000 decoding unit, 1002 Demultiplexing unit, 1004 Error detection unit, 1006 Decoded image buffer L, 1008 Decoded image buffer R, 1010 Output image buffer L, 1012 Output image buffer R.
Claims (5)
前記データの中からエラーを検出するための検出手段と、
エラーが検出されたチャンネルと同じチャンネルのデータを用いて前記エラーを修復するための第１の修復手段と、
エラーが検出されたチャンネルとは異なるチャンネルのデータを用いて前記エラーを修復するための第２の修復手段と、
前記動画像のフレーム間の動きの変化を算出するための算出手段と、
前記複数の修復手段の中から、前記変化の大きさに基づいて、前記第１の修復手段および前記第２の修復手段のいずれかを選択するための選択手段と、
前記エラーを修復するように、前記選択された修復手段を制御するための制御手段とを含む、立体視を可能とする立体動画像用のデータ復号装置。A data decoding apparatus for decoding data obtained by encoding moving images of a plurality of channels,
Detecting means for detecting an error from the data;
First repair means for repairing the error using data of the same channel as the channel in which the error was detected;
Second repair means for repairing the error using data of a channel different from the channel in which the error is detected;
Calculating means for calculating a change in motion between frames of the moving image;
A selection means for selecting one of the first repair means and the second repair means based on the magnitude of the change from the plurality of repair means;
A data decoding apparatus for stereoscopic moving images that enables stereoscopic viewing, including control means for controlling the selected repairing means so as to repair the error.
動きベクトルの有無を検出するための手段と、
前記動きベクトルが有ると、前記第１の修復手段を選択するための手段とをさらに含む、請求項１に記載のデータ復号装置。The data decoding device comprises:
Means for detecting the presence or absence of a motion vector;
The data decoding apparatus according to claim 1 , further comprising means for selecting the first restoration means when the motion vector is present .
視差ベクトルの有無を検出するための手段と、
前記視差ベクトルが有ると、前記第２の修復手段を選択するための手段とをさらに含む、請求項１に記載のデータ復号装置。 The data decoding device comprises:
Means for detecting the presence or absence of a disparity vector;
If the disparity vector is present, and means for selecting said second restoration means, a data decoding apparatus according to claim 1.
前記エラーが検出されたチャンネルと同じチャンネルにおける、既に復号済みのデータに動き補償を施して、前記エラーを修復するための同チャンネル動き補償型エラー修復手段と、
前記エラーが検出されたチャンネルと同じチャンネルにおける、既に復号済みのデータを複写して、前記エラーを修復するための同チャンネル複写型エラー修復手段との少なくともいずれかを含み、
前記第２の修復手段は、
前記エラーが検出されたチャンネルと異なるチャンネルにおける、既に復号済みのデータおよび復号中のデータのいずれかに視差補償を施して、前記エラーを修復するための別チャンネル視差補償型エラー修復手段と、
前記エラーが検出されたチャンネルと異なるチャンネルにおける、既に復号済みのデータおよび復号中のデータのいずれかを複写して、前記エラーを修復するための別チャンネル複写型エラー修復手段との少なくともいずれかを含む、請求項１〜３のいずれかに記載のデータ復号装置。The first repair means includes
The same channel motion compensation type error repairing means for repairing the error by performing motion compensation on already decoded data in the same channel as the channel in which the error is detected;
Including at least one of the same channel duplication type error repairing means for copying the already decoded data in the same channel as the channel in which the error is detected and repairing the error,
The second repair means includes
Another channel parallax compensation type error repairing means for repairing the error by performing parallax compensation on any of already decoded data and data being decoded in a channel different from the channel in which the error is detected;
At least one of another channel duplication type error repairing means for copying either the already decoded data or the data being decoded in a channel different from the channel in which the error is detected, and repairing the error including, data decoding apparatus according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002124346A JP3992533B2 (en) | 2002-04-25 | 2002-04-25 | Data decoding apparatus for stereoscopic moving images enabling stereoscopic viewing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002124346A JP3992533B2 (en) | 2002-04-25 | 2002-04-25 | Data decoding apparatus for stereoscopic moving images enabling stereoscopic viewing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003319419A JP2003319419A (en) | 2003-11-07 |
| JP3992533B2 true JP3992533B2 (en) | 2007-10-17 |
Family
ID=29539406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002124346A Expired - Fee Related JP3992533B2 (en) | 2002-04-25 | 2002-04-25 | Data decoding apparatus for stereoscopic moving images enabling stereoscopic viewing |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3992533B2 (en) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2544451A3 (en) | 2004-02-27 | 2014-01-08 | Tdvision Corporation S.A. DE C.V. | Method and system for digital decoding 3D stereoscopic video images |
| KR20090099547A (en) * | 2007-01-04 | 2009-09-22 | 톰슨 라이센싱 | Method and apparatus for video error correction in multi-view coded video |
| CN101578873B (en) | 2007-01-04 | 2012-07-25 | 汤姆森特许公司 | Method and apparatus for decoding multi-view coded video |
| CN101291434A (en) * | 2007-04-17 | 2008-10-22 | 华为技术有限公司 | Encoding/decoding method and device for multi-video |
| JP4854582B2 (en) * | 2007-04-25 | 2012-01-18 | キヤノン株式会社 | Image processing apparatus and image processing method |
| JP4912224B2 (en) * | 2007-06-08 | 2012-04-11 | キヤノン株式会社 | Image display system and control method thereof |
| CN101779471B (en) * | 2007-08-15 | 2013-07-10 | 汤姆森许可贸易公司 | Method and apparatus for error concealment in multi-view coded video |
| JP2009135686A (en) | 2007-11-29 | 2009-06-18 | Mitsubishi Electric Corp | Stereoscopic video recording method, stereoscopic video recording medium, stereoscopic video reproducing method, stereoscopic video recording apparatus, and stereoscopic video reproducing apparatus |
| WO2010035486A1 (en) * | 2008-09-29 | 2010-04-01 | パナソニック株式会社 | Video signal processing device |
| JP5274359B2 (en) | 2009-04-27 | 2013-08-28 | 三菱電機株式会社 | 3D video and audio recording method, 3D video and audio playback method, 3D video and audio recording device, 3D video and audio playback device, 3D video and audio recording medium |
| JP5627860B2 (en) | 2009-04-27 | 2014-11-19 | 三菱電機株式会社 | 3D image distribution system, 3D image distribution method, 3D image distribution device, 3D image viewing system, 3D image viewing method, 3D image viewing device |
| JP5299111B2 (en) * | 2009-06-19 | 2013-09-25 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
| JP4875127B2 (en) * | 2009-09-28 | 2012-02-15 | パナソニック株式会社 | 3D image processing device |
| JP4733764B2 (en) * | 2009-11-10 | 2011-07-27 | パナソニック株式会社 | 3D image processing apparatus and 3D image processing method |
| JP4823349B2 (en) * | 2009-11-11 | 2011-11-24 | パナソニック株式会社 | 3D video decoding apparatus and 3D video decoding method |
| JP4927928B2 (en) * | 2009-11-30 | 2012-05-09 | パナソニック株式会社 | Multi-view video decoding apparatus and multi-view video decoding method |
| JP5524594B2 (en) * | 2009-12-14 | 2014-06-18 | パナソニック株式会社 | Image decoding apparatus and image decoding method |
| JP4837772B2 (en) * | 2009-12-15 | 2011-12-14 | パナソニック株式会社 | Multi-view video decoding apparatus, multi-view video decoding method, program, and integrated circuit |
| JP5393593B2 (en) * | 2010-05-31 | 2014-01-22 | 日立コンシューマエレクトロニクス株式会社 | Multi-viewpoint image correction device |
| WO2012037713A1 (en) * | 2010-09-20 | 2012-03-29 | Mediatek Singapore Pte. Ltd. | Method for performing display management regarding three-dimensional video stream, and associated video display system |
| JP5622537B2 (en) * | 2010-11-30 | 2014-11-12 | 三菱電機株式会社 | Error concealment device |
| JP2012209804A (en) * | 2011-03-30 | 2012-10-25 | Sumitomo Electric Ind Ltd | Video reproducer |
| JP5422597B2 (en) * | 2011-04-22 | 2014-02-19 | パナソニック株式会社 | 3D image processing device |
| US8643699B2 (en) | 2011-04-26 | 2014-02-04 | Mediatek Inc. | Method for processing video input by detecting if picture of one view is correctly paired with another picture of another view for specific presentation time and related processing apparatus thereof |
| JP5058362B1 (en) * | 2011-06-23 | 2012-10-24 | 株式会社東芝 | Moving picture decoding apparatus and moving picture decoding method |
| JP5779483B2 (en) | 2011-11-15 | 2015-09-16 | 株式会社ソシオネクスト | Image processing apparatus and image processing method |
| JP2014042308A (en) * | 2013-10-03 | 2014-03-06 | Mitsubishi Electric Corp | Image reproduction method, image reproduction apparatus, and optical disk |
-
2002
- 2002-04-25 JP JP2002124346A patent/JP3992533B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003319419A (en) | 2003-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3992533B2 (en) | Data decoding apparatus for stereoscopic moving images enabling stereoscopic viewing | |
| JP4134027B2 (en) | Image encoding device, image decoding device, and image recording device | |
| JP5406182B2 (en) | Method and system for encoding a three-dimensional video signal, included three-dimensional video signal, and method and signal for a decoder for a three-dimensional video signal | |
| US6081551A (en) | Image coding and decoding apparatus and methods thereof | |
| AU2003281127B2 (en) | Method for error concealment in video sequences | |
| US8885709B2 (en) | Image decoding device, image coding device, image decoding method, image coding method, and program | |
| US20090190662A1 (en) | Method and apparatus for encoding and decoding multiview video | |
| JP4837772B2 (en) | Multi-view video decoding apparatus, multi-view video decoding method, program, and integrated circuit | |
| KR101687092B1 (en) | Video encoding/decoding device, method, and program | |
| JP3332575B2 (en) | 3D video playback device | |
| KR20060108952A (en) | Method for coding and inter-view balanced disparity estimation in multiview animation coding/decoding system | |
| KR20150095765A (en) | Apparatus and method for generating and rebuilding a video stream | |
| WO2013146636A1 (en) | Image encoding device, image decoding device, image encoding method, image decoding method and program | |
| JP2001054140A (en) | Stereo video band compression coding method, decoding method and recording medium | |
| JPH08126033A (en) | Method for coding stereoscopic moving image | |
| JP2002300600A (en) | Stereoscopic image encoder and stereoscopic image decoder | |
| JP2011071903A (en) | Apparatus, method and program for encoding image | |
| JP2008034893A (en) | Multi-viewpoint image decoder | |
| JP2013211777A (en) | Image coding device, image decoding device, image coding method, image decoding method and program | |
| KR20050019876A (en) | Method for error concealment in video sequences | |
| JP2002058023A (en) | Encoding picture signal transmitting system | |
| JP2000244928A (en) | Image decoder and method for restoring image | |
| JP2017147749A (en) | Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method, and program | |
| JP2005051816A (en) | Dynamic image decoding method, dynamic image decoding apparatus, and program recording medium | |
| JPH04178095A (en) | Moving vector data compressor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050225 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070507 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070515 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070613 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070717 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070724 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120803 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120803 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130803 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |