JP2004242000A

JP2004242000A - 符号化装置および方法、並びに復号装置および方法

Info

Publication number: JP2004242000A
Application number: JP2003028353A
Authority: JP
Inventors: Yoshinari Senda; 吉成千田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-02-05
Filing date: 2003-02-05
Publication date: 2004-08-26

Abstract

【課題】復号側が、符号化側と同じ状況でステレオ表示することができるようにする。
【解決手段】ビデオカメラ２１，２２は、対象物３をそれぞれ同時に撮像し、撮像信号に変換する。ビデオカメラ２２は、画面内を複数の領域に分割し、分割された領域毎に、各領域内における最大の面積を有する対象物３までの距離を算出し、それを焦点情報Ｂ３とする。ステレオ符号化部２３は、入力された撮像信号に対して所定の処理を施し、符号化データＣ１に符号化するとともに、左右の画像の視差を算出し、それを差分情報Ｂ４とする。レンズ間距離発生部２４は、ビデオカメラ２１，２２のレンズ間の距離情報Ａ１を発生する。多重化部２５は、入力された符号化データＣ１、距離情報Ａ１、焦点情報Ｂ３、および差分情報Ｂ４を、所定のフォーマットに基づいて多重化し、復号側に伝送する。本発明は、ビデオカメラに適用できる。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明は、符号化装置および方法、並びに復号装置および方法に関し、特に、例えば、ステレオ動画像の符号化および復号に用いて好適な符号化装置および方法、並びに復号装置および方法に関する。
【０００２】
【従来の技術】
従来、ステレオ動画像の符号化方式として、さまざまな手法が提案されている。例えば、２台のカメラを用いて左右の画像を符号化する際、一方の画像には、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）等で用いられている動き補償フレーム間予測符号化方式を、他方の画像には、視差補償予測または視差成分を、それぞれアフィン（Ａｆｆｉｎｅ）変換を用いて冗長性を除き、符号化する方式が提案されている。
【０００３】
また、１つの視点の画像を基準画像と定め、その基準画像に対して動き補償を行うとともに、基準画像以外の視差画像に対して視差補償を行い、ブロック毎に補償方法を選択することにより、符号化しているものもある（特許文献１参照）。
【０００４】
【特許文献１】
特開平１０−１９１３９４号公報
【０００５】
【発明が解決しようとする課題】
上述した特許文献１に開示されている技術によれば、平面動画像に比べて、ステレオ動画像は２倍のデータレートとなることから、左右画像の相関を利用して、冗長性を削減している。
【０００６】
しかしながら、この技術では、符号化側のデータレートの削減だけが考慮されており、復号側の表示に関しては、全く考慮されていない。
【０００７】
近年、符号化技術の進歩、およびプロセッサの演算速度の向上により、符号化側でデータレートを削減することが可能になっているとともに、ＡＤＳＬ（ＡｓｙｎｃｈｒｏｎｏｕｓＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒＬｏｏｐ）の普及、または、記録メディアの記録容量の増大により、データレートを削減することが、必ずしも重要ではなくなってきている。
【０００８】
ところで、復号側のステレオ表示については、例えば、「視差（パララックス）バリア方式」を利用した裸眼立体視液晶ディスプレイが提案されている。しかしながら、このディスプレイには、立体視が可能な範囲が狭いという課題があった。
【０００９】
また、符号化側の状況を復号側で正確に再現できていないため（すなわち、符号化側の状況と異なる表示を復号側で行っているため）、観察者に対し、ステレオ表示は、不安定、不自然、あるいは疲れるといった印象を与えてしまう課題があった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、符号化側の状況をパラメータとしてデータストリームに重畳することにより、復号側が、符号化側と同じ状況でステレオ表示することができるようにするものである。
【００１１】
【課題を解決するための手段】
本発明の符号化装置は、２つの撮像装置により対象物を撮像する撮像手段と、撮像手段により撮像された画像を符号化する符号化手段と、撮像手段により撮像された画像に基づいて、符号化時の画像に係るパラメータを算出する算出手段と、符号化手段により符号化された符号化データ、および、算出手段により算出されたパラメータを多重化する多重化手段とを備えることを特徴とする。
【００１２】
前記パラメータは、２つの撮像手段の間の距離に関する情報であるものとすることができる。
【００１３】
前記パラメータは、対象物までの距離に関する情報であるものとすることができる。
【００１４】
前記画像は、ステレオ動画像であるものとすることができる。
【００１５】
本発明の符号化方法は、２つの撮像装置により対象物を撮像する撮像ステップと、撮像ステップの処理により撮像された画像を符号化する符号化ステップと、撮像ステップの処理により撮像された画像に基づいて、符号化時の画像に係るパラメータを算出する算出ステップと、符号化ステップの処理により符号化された符号化データ、および、算出ステップの処理により算出されたパラメータを多重化する多重化ステップとを含むことを特徴とする。
【００１６】
本発明の復号装置は、符号化側から伝送されてきたデータを、符号化データ、およびパラメータに分離する分離手段と、分離手段により分離された符号化データを復号する復号手段と、復号手段により復号された画像を、分離手段により分離されたパラメータに基づいて、画像変換する画像変換手段と、画像変換手段により画像変換された画像を表示する表示手段とを備えることを特徴とする。
【００１７】
前記パラメータは、符号化時の画像に係るパラメータであるものとすることができる。
【００１８】
前記画像は、ステレオ動画像であるものとすることができる。
【００１９】
本発明の復号方法は、符号化側から伝送されてきたデータを、符号化データ、およびパラメータに分離する分離ステップと、分離ステップの処理により分離された符号化データを復号する復号ステップと、復号ステップの処理により復号された画像を、分離ステップの処理により分離されたパラメータに基づいて、画像変換する画像変換ステップと、画像変換ステップの処理により画像変換された画像の表示を制御する表示制御ステップとを含むことを特徴とする。
【００２０】
第１の本発明においては、２つの撮像装置により対象物が撮像され、撮像された画像が符号化され、撮像された画像に基づいて、符号化時の画像に係るパラメータが算出され、符号化データおよびパラメータが多重化される。
【００２１】
第２の本発明においては、符号化側から伝送されてきたデータが、符号化データおよびパラメータに分離され、分離された符号化データが復号され、復号された画像が、分離されたパラメータに基づいて画像変換され、表示される。
【００２２】
【発明の実施の形態】
以下、図を参照して、本発明の実施の形態について説明する。
【００２３】
図１は、観察者１が、対象物である背景２および前景３を観察した場合における立体視の原理を説明するための図である。ここで、観察者１の眼球間の距離をＡ１とし、観察者１から背景２までの距離をＢ１とし、観察者１から前景３までの距離をＢ２とする。同図に示されるように、観察者１から背景２までの距離Ｂ１と前景３までの距離Ｂ２では、視差が異なり、この視差が観察者１に対し、距離間を与え、立体視を可能にしている。
【００２４】
通常、眼球間の距離Ａ１は、個人差があるものの、ほぼ７乃至８センチとされている。一方、ステレオ・ビデオカメラにおける２組のレンズ間の距離は、７乃至８センチに限定されるものではない。従って、本実施の形態においては、レンズ間の距離、あるいは、レンズ間の距離と初期値（例えば、８センチ）との差をパラメータＡ１とする。同様に、対象物（背景２および前景３）までの距離、あるいは、対象物までの距離と初期値との差をパラメータＢとする。
【００２５】
図２は、本発明を適用した符号化システム１１の構成例を示す図である。
【００２６】
左右のビデオカメラ２１，２２は、対象物である図１に示した前景３をそれぞれ同時に撮像し、撮像された画像を電気信号（撮像信号）に変換し、ステレオ符号化部２３に出力する。
【００２７】
また左右のビデオカメラ２１，２２のうち、いずれか一方（図２の例の場合、ビデオカメラ２２）は、例えば、画面内を複数の領域（後述するマクロブロック）に分割し、分割された領域毎に、各領域内における最大の面積を有する対象物（前景３）までの距離を算出するか、あるいは、前景（最短距離にある対象物）までの距離を算出し、それを焦点情報Ｂ３（以下、必要に応じてパラメータＢ３と記載する）として多重化部２５に出力する。
【００２８】
なお、多くの場合、前景（最短距離にある対象物）までの距離が重要であり、背景（最長距離、または測定不可能な無限にある対象物）までの距離は、焦点が合致しないため、鮮明に表示させなくても大した問題とはならない。
【００２９】
ステレオ符号化部２３は、左右のビデオカメラ２１，２２から入力された撮像信号に対して、一方の撮像信号を、通常のＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）２またはＭＰＥＧ４等の符号化方式によって所定の処理を施し、冗長性の少ないデータに符号化する。これに対し、他方の撮像信号は、前記一方の撮像信号との誤差分として、例えば、差分符号化、またはアフィン符号化などにより冗長性が削減され、符号化データとされる。これら両者のデータにおいて、主符号化データとしては、前記一方の符号化データが用いられ、副符号化データとしては、前記他方の符号化データが、いわゆるエンハンスドデータとして用いられ、符号化データＣ１として多重化部２５に出力される。
【００３０】
この多重化により、主符号化データは、通常のＭＰＥＧ符号化データとして扱うことができ、復号側が従来の平面表示装置である場合、従来のＭＰＥＧ復号装置をそのまま使用することができる。
【００３１】
またステレオ符号化部２３は、左右のビデオカメラ２１，２２から入力された撮像信号に基づいて、左右の画像の差分（視差）を算出し、それを差分情報Ｂ４（以下、必要に応じてパラメータＢ４と記載する）として多重化部２５に出力する。ここでステレオ符号化部２３は、対象物を特定することなく、マクロブロック毎に左右の画像を比較して、誤差（視差）の大きさを距離に換算し、それをパラメータＢ４に設定するか、あるいは、左右の画像を合成し、マクロブロック毎に距離を算出し、それをパラメータＢ４に設定する。
【００３２】
さらにステレオ符号化部２３は、多重化のための同期信号Ｄ１を多重化部２５に出力する。
【００３３】
レンズ間距離発生部２４は、左右のビデオカメラ２１，２２のレンズ間の距離を発生し、それを多重化部２５に出力する。具体的には、レンズ間距離発生部２４は、予め左右のビデオカメラ２１，２２のレンズ間の距離が固定されている場合、その固定値をパラメータＡ１として出力し、レンズ間の距離が固定されていない場合、その撮影時のレンズ間の距離をパラメータＡ１として出力する。
【００３４】
なお、レンズ間の距離は、レンズの中心からの垂直軸間の距離で表わされるため、仮にレンズ間の距離が固定されていたとしても、ビデオカメラ２１，２２が左右に傾いた場合には、擬似的にレンズ間の距離が変更されてしまう。すなわち、ビデオカメラ２１，２２が傾くと、擬似的に変更されてしまったレンズ間の距離に基づいて、ステレオ動画像が形成されてしまうが、復号側の立体表示装置４５（図４）では、そのカメラの傾きを想定していない。
【００３５】
例えば、ビデオカメラ２１，２２が傾くことにより、７乃至８センチに設定されていたレンズ間の距離が、擬似的に５乃至６センチに変更されてしまう。この状態で形成されたステレオ動画像を復号側の立体表示装置４５で表示させた場合、画面が傾くだけでなく、視差の変化により距離が変動し、観察者に対し、不快感を生じさせる。付言すれば、画面が傾くこと、およびレンズ間の距離が変動することが相乗効果となって、観察者に対し、より不快感を与えることになる。
【００３６】
そこで、本実施の形態においては、左右のビデオカメラ２１，２２が傾いた場合、傾きによるレンズ間の距離の変化を、パラメータＡ１とする。従って、レンズ間距離発生部２４は、例えば、船や航空機などに搭載されている電子傾き計（ジャイロ）を含むことにより、左右のビデオカメラ２１，２２の傾きを検出するとともに、その傾きによるレンズ間の距離の擬似的変化をパラメータＡ１として発生する。
【００３７】
多重化部２５は、ステレオ符号化部２３から供給される同期信号Ｄ１に基づいて、スイッチング動作を行い、ビデオカメラ２２から入力されたパラメータＢ３（焦点情報）、ステレオ符号化部２３から入力された符号化データＣ１およびパラメータＢ４（差分情報）、レンズ間距離発生部２４から入力されたパラメータＡ１（レンズ間の距離情報）を、所定のフォーマットに基づいて多重化する。
【００３８】
例えば、ステレオ符号化部２３からのシーケンス、ＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅｓ）、あるいはマクロブロックなどのヘッダタイミングに応じて、ＭＰＥＧの符号化データＣ１に、パラメータＡ１，Ｂ３，Ｂ４が多重化される。そして、多重化されたデータストリームＥは、所定の伝送路またはメディア（いずれも図示せず）を介して復号システム３１（図４）に伝送される。
【００３９】
ここで、図３を参照して、ＭＰＥＧのビットストリーム（データストリーム）に多重化された各パラメータの位置について説明する。
【００４０】
同図に示されるように、ＭＰＥＧのビットストリームは、ＧＯＰ層、ピクチャ層、および複数のマクロブロック層で構成されている。レンズ間の距離に関するパラメータＡ１は、ＧＯＰ層、またはピクチャ層に１つ設けられ、対象物までの距離に関するパラメータＢ（パラメータＢ３，Ｂ４）は、マクロブロック毎に設けられる。
【００４１】
すなわち、レンズ間の距離の変化は、最短でも１画面内でしか発生しないのに対し、１画面中に含まれる対象物は、様々な距離を有しており（厳密には、画素毎に対象物の距離が異なり）、パラメータＢについては、マクロブロック毎に設けられる。
【００４２】
図４は、本発明を適用した復号システム３１の構成例を示す図である。
【００４３】
デマルチプレクサ４１は、所定の伝送路またはメディアを介して、符号化システム１１（図２）から供給されたデータストリームＥを、符号化データＣ１、および、多重化されたパラメータＡ／Ｂ（以下、多重パラメータＡ／Ｂと記載する）に分離する。分離された符号化データＣ１は、復号部４２に出力され、多重パラメータＡ／Ｂは、パラメータ分離部４３に出力される。
【００４４】
復号部４２は、デマルチプレクサ４１から入力された符号化データＣ１に対して所定の処理を施し、ステレオ動画像に復号するとともに、分離のためのタイミング信号Ｆをパラメータ分離部４３に供給する。パラメータ分離部４３は、復号部４２から供給されるタイミング信号Ｆに応じて、デマルチプレクサ４１から入力された多重パラメータＡ／Ｂを、ＭＰＥＧのＧＯＰ層、およびマクロブロック層毎に、パラメータＡ１，Ｂ３，Ｂ４にそれぞれ分離する。分離されたパラメータＡ１，Ｂ３，Ｂ４は、表示制御部４４にそれぞれ出力される。
【００４５】
表示制御部４４は、パラメータ分離部４３から供給されたパラメータＡ１（レンズ間の距離情報）および、パラメータＢ３，Ｂ４（対象物までの距離情報）に基づいて、復号部４２で復号されたステレオ動画像に対し、所定の画像変換処理を施す。立体表示装置４５は、表示制御部４４で画像変換されたステレオ動画像を表示する。
【００４６】
次に、図５のフローチャートを参照して、符号化システム１１が実行するステレオ動画像の符号化処理について説明する。
【００４７】
ステップＳ１において、左右のビデオカメラ２１，２２は、例えば、図６に示されるように、撮影範囲６１内に存在する対象物をそれぞれ同時に撮影する。図６の例の場合、撮影される対象物には、背景２および前景３が存在する。
【００４８】
ステップＳ２において、左右のビデオカメラ２１，２２のうち、いずれか一方（例えば、ビデオカメラ２２）は、例えば、画面内を複数のマクロブロックに分割し、マクロブロック毎に、対象物までの距離を算出し、それをパラメータＢ３（焦点情報）に設定する。
【００４９】
ここで、図６に示す撮影範囲６１のうち、４つのマクロブロック６２−１乃至６２−４における、対象物までの距離を算出する処理について説明する。同図に示されるように、４つのマクロブロック６２−１乃至６２−４には、背景２であるビルと雲、および前景３である樹木が含まれている。
【００５０】
その拡大図を図７に示す。すなわち、マクロブロック６２−１には、背景２であるビルが含まれており、マクロブロック６２−２には、背景２であるビルと雲が含まれており、マクロブロック６２−３には、背景２であるビルおよび前景３である樹木が含まれており、マクロブロック６２−４には、背景２であるビルと雲が含まれている。
【００５１】
ビデオカメラ２２は、各マクロブロックで最大の面積を有する対象物を選択し、選択された対象物までの距離を算出し、それをパラメータＢ３に設定する。図７の例の場合、マクロブロック６２−１において、最大の面積を有する対象物はビルであり、ビルまでの距離が１５ｍであった場合、その値がパラメータＢ３に設定される。また、マクロブロック６２−２，６２−３において、最大の面積を有する対象物は雲であり、雲までの距離は無限であるため、その値がパラメータＢ３に設定される。また、マクロブロック６２−４において、最大の面積を有する対象物は、樹木であり、樹木までの距離が２ｍであった場合、その値がパラメータＢ３に設定される。
【００５２】
以上のようにして、マクロブロック毎に対象物までの距離が算出され、それらがパラメータＢ３に設定される。
【００５３】
上述した例では、ビデオカメラ２２が、各マクロブロックにおいて、最大の面積を有する対象物までの距離をそれぞれ算出し、それらをパラメータＢ３に設定するようにしているが、より具体的には、左右のビデオカメラ２１，２２の画面の同位置におけるマクロブロック同士の差分（視差）を求め、マクロブロック内の対象物の平均距離を算出することが望ましい。
【００５４】
図５の説明に戻る。ステップＳ３において、ステレオ符号化部２３は、ステップＳ１の処理で撮影された撮像信号に対して、ＭＰＥＧ等の符号化方式によって所定の処理を施し、冗長性の少ないデータに符号化する。ステップＳ４において、ステレオ符号化部２３は、ステップＳ１の処理で撮影された撮像信号に基づいて、左右の画像の差分（視差）を算出し、それをパラメータＢ４（差分情報）に設定する。このとき、ステレオ符号化部２３は、多重化部２５に、多重化のために必要な同期信号Ｄ１を供給する。
【００５５】
ステップＳ５において、レンズ間距離発生部２４は、左右のビデオカメラ２１，２２のレンズ間の距離を発生し、それをパラメータＡ１に設定する。ステップＳ６において、多重化部２５は、ステレオ符号化部２３から供給される同期信号Ｄ１に基づいて、スイッチング動作を行い、ステップＳ３の処理で得られた符号化データＣ１、ステップＳ２の処理で得られたパラメータＢ３（焦点情報）、ステップＳ４の処理で得られたパラメータＢ４（差分情報）、およびステップＳ５の処理で得られたパラメータＡ１（レンズ間の距離情報）を、所定のフォーマットに基づいて多重化する。
【００５６】
ステップＳ７において、多重化部２５は、ステップＳ６の処理で多重化されたデータストリームＥを、所定の伝送路またはメディアを介して復号システム３１に伝送する。
【００５７】
このように、符号化システム１１で符号化されたデータストリームには、符号化側の撮影状況に関する、パラメータＡ１（レンズ間の距離情報）、および、パラメータＢ（対象物までの距離に関する焦点情報および差分情報）の２つのパラメータが重畳されるため、復号側に対し、有益な符号化側の状況を知らせることができる。従って、復号システム３１では、この２つのパラメータに基づいて、復号処理を実行することにより、最適なステレオ動画像を表示させることができる。
【００５８】
次に、図８のフローチャートを参照して、復号システム３１が実行するステレオ動画像の復号処理について説明する。
【００５９】
ステップＳ２１において、デマルチプレクサ４１は、符号化システム１１から供給されたデータストリームＥを、符号化データＣ１、および多重パラメータＡ／Ｂに分離する。ステップＳ２２において、復号部４２は、ステップＳ２１の処理により分離された符号化データＣ１に対して所定の処理を施し、ステレオ動画像に復号する。このとき、復号部４２は、パラメータ分離部４３に、多重パラメータＡ／Ｂを分離するために必要なタイミング信号Ｆを供給する。
【００６０】
ステップＳ２３において、パラメータ分離部４３は、復号部４２から供給されるタイミング信号Ｆに応じて、ステップＳ２１の処理で分離された多重パラメータＡ／Ｂを、ＭＰＥＧのＧＯＰ層、およびマクロブロック層毎に、パラメータＡ１（レンズ間の距離情報）、パラメータＢ３（焦点情報）、およびパラメータＢ４（差分情報）にそれぞれ分離する。
【００６１】
ステップＳ２４において、表示制御部４４は、ステップＳ２３の処理で分離された各パラメータＡ１，Ｂ３，Ｂ４に基づいて、ステップＳ２２の処理で復号されたステレオ動画像に対し、所定の画像変換処理を施す。
【００６２】
より具体的には、立体表示装置４５のレンズ間の距離が８センチで構成されている場合（すなわち、観察者の眼球間の距離（８センチ）で自然に観察される状況である場合）、ステレオ動画像の一方あるいは両方について、生じる視差（誤差）に対し、アフィン変換を用いて補正する。
【００６３】
例えば、符号化システム１１から伝送されてきた、レンズ間の距離に関するパラメータＡ１が６センチであった場合、アフィン変換を用いて、対象物の本来撮影できていない陰面分を補間処理し、正常な視差が得られるように補正する。
【００６４】
また例えば、レンズ間の距離に関するパラメータＡ１が３０センチであった場合、立体感が強調されすぎているため、アフィン変換を用いて、強調された部分を本来観察できない陰面部とし、より自然な表示結果となるように補正する。
【００６５】
また例えば、撮影時のビデオカメラ２１，２２の傾きにより、擬似的にレンズ間の距離が変化した場合、立体表示装置４５の表示結果が最適となるように、適応的にアフィン変換を用いて、対象物の本来撮影できていない陰面分を補間処理し、観察者に安定した距離感を与えるようにする。
【００６６】
なお、撮影時のビデオカメラ２１，２２の傾きにより、擬似的にレンズ間の距離が変化する場合において、適応的にアフィン変換を用いて、対象物の本来撮影できていない陰面分を補間処理するだけでは、必ずしも充分な表示結果とならない場合がある。そこで、このような場合、対象物内の隣接ブロックの距離が緩やかに変化することを利用して、対象物までの距離方向に対し、スムーズフィルタをかける。換言すれば、撮影時のビデオカメラ２１，２２の傾きにより、画面内のほぼ同距離に存在する対象物の視差がほぼ同一となることを利用して、ブロック毎にアフィン変換の量を決める際、隣接ブロック間でスムーズなつながりとなるように、アフィン変換の量をコントロールする。
【００６７】
ステップＳ２５において、立体表示装置４５は、ステップＳ２４の処理で画像変換されたステレオ動画像を表示する。
【００６８】
このように、符号化システム１１から伝送されてきたデータストリームには、符号化側の撮影状況に関する、パラメータＡ１（レンズ間の距離情報）、および、パラメータＢ（対象物までの距離に関する焦点情報および差分情報）の２つのパラメータが重畳されているため、復号システム３１は、まず、伝送されてきたデータストリームを符号化データと多重パラメータに分離した後、さらに多重パラメータを各パラメータに分離する。これにより、復号システム３１では、符号化側の撮影状況に関する各パラメータに基づいて、ステレオ動画像を画像変換し、符号化側と同じ状況でステレオ表示させることができる。
【００６９】
以上においては、各マクロブロックにおいて、最大の面積を有する対象物までの距離を算出し、それをパラメータＢ３に設定するようにしたが、これに限らず、例えば、最短距離を有する対象物までの距離を算出し、それをパラメータＢ３に設定するようにしてもよい。
【００７０】
また、対象物までの距離に関する情報であるパラメータＢは、特殊効果の改善に利用することが可能である。すなわち、怪獣映画などの特殊撮影において、実際には２ｍ程度の身長の怪獣を、５０ｍ以上の身長に見せるため、背景として遠景が用いられる。しかしながら、スタジオのセットでは、背景までの距離に限界があり、数メートル乃至数十メートルである。このような状況で、ステレオ動画像を符号化した場合、背景までの距離が、そのまま数メートル乃至数十メートルに知覚され、観察者は距離感を感じることができない。
【００７１】
そこで、符号化側で、例えば、前景（いまの場合、怪獣）までの距離であるパラメータＢが５メートルとされているものを３０メートルに置き換えるとともに、背景までの距離が数メートル乃至数十メートルとされているものを無限に置き換える。これにより、復号側の表示制御部４４は、ステレオ動画像に対して、距離感が強調されるようにアフィン変換の量をコントロールすることができる。その結果、立体表示装置４５は、実際のステレオ動画像とは異なり、あたかも遥か彼方に怪獣が存在するかのように表示することができる。
【００７２】
また、パラメータＢと同様に、レンズ間の距離に関するパラメータＡについても、符号化側で、実際の値とは異なるパラメータに故意に変更し、それをデータストリームに重畳して伝送して、復号側の表示制御装置４４で、ステレオ動画像に所定の画像変換を行わせることができる。
【００７３】
さらに、符号化側において、パラメータＡおよびパラメータＢを画像処理に利用することも勿論可能である。例えば、レンズ間の距離がほぼ３センチのビデオカメラ２１，２２を用いる場合、撮影された画像にアフィン変換処理を施し、レンズ間の距離を８センチに故意に変更することにより、符号化側での処理を容易にすることができる。
【００７４】
上述した一連の処理（図５の符号化処理および図８の復号処理）は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【００７５】
図９は、汎用のコンピュータの内部の構成例を示す図である。コンピュータのＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０１は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１０２に記憶されているプログラム、または記憶部１０８からＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１０３にはまた、ＣＰＵ１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００７６】
ＣＰＵ１０１、ＲＯＭ１０２、およびＲＡＭ１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インターフェース１０５も接続されている。
【００７７】
入出力インターフェース１０５には、ボタン、スイッチ、キーボードあるいはマウスなどで構成される構成される入力部１０６、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）やＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）などのディスプレイ、並びにスピーカなどで構成される出力部１０７、ハードディスクなどで構成される記憶部１０８、およびモデムやターミナルアダプタなどで構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して通信処理を行う。
【００７８】
入出力インターフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、そこから読み出されたコンピュータプログラムが、記憶部１０８にインストールされる。
【００７９】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図９に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）を含む）、光磁気ディスク（ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ１０３またはハードディスクなどの記憶部１０８で構成される。
【００８０】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８１】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。
【００８２】
【発明の効果】
以上のように、第１の本発明によれば、ステレオ動画像を符号化することが可能となる。特に、符号化側の状況をパラメータとしてデータストリームに重畳することにより、復号側に、有益な符号化側の状況を知らせることが可能となる。
【００８３】
第２の本発明によれば、ステレオ動画像を復号することが可能となる。特に、符号化側と同じ状況でステレオ表示することが可能となる。
【図面の簡単な説明】
【図１】立体視の原理を説明するための図である。
【図２】本発明を適用した符号化システムの構成例を示す図である。
【図３】データストリームに多重化された各パラメータの位置を示す図である。
【図４】本発明を適用した復号システムの構成例を示す図である。
【図５】ステレオ動画像の符号化処理を説明するフローチャートである。
【図６】対象物までの距離を算出する処理を説明するための図である。
【図７】図６に示すマクロブロックの拡大図である。
【図８】ステレオ動画像の復号処理を説明するフローチャートである。
【図９】汎用のコンピュータの内部の構成例を示す図である。
【符号の説明】
１１符号化システム，２１，２２ビデオカメラ，２３ステレオ符号化部，２４レンズ間距離発生部，２５多重化部，３１復号システム，４１デマルチプレクサ，４２復号部，４３パラメータ分離部，４４表示制御部，４５立体表示装置

Claims

２つの撮像装置により対象物を撮像する撮像手段と、
前記撮像手段により撮像された画像を符号化する符号化手段と、
前記撮像手段により撮像された画像に基づいて、符号化時の前記画像に係るパラメータを算出する算出手段と、
前記符号化手段により符号化された符号化データ、および、前記算出手段により算出された前記パラメータを多重化する多重化手段と
を備えることを特徴とする符号化装置。
前記パラメータは、前記２つの撮像手段の間の距離に関する情報である
ことを特徴とする請求項１に記載の符号化装置。
前記パラメータは、前記対象物までの距離に関する情報である
ことを特徴とする請求項１に記載の符号化装置。
前記画像は、ステレオ動画像である
ことを特徴とする請求項１に記載の符号化装置。
２つの撮像装置により対象物を撮像する撮像ステップと、
前記撮像ステップの処理により撮像された画像を符号化する符号化ステップと、
前記撮像ステップの処理により撮像された画像に基づいて、符号化時の前記画像に係るパラメータを算出する算出ステップと、
前記符号化ステップの処理により符号化された符号化データ、および、前記算出ステップの処理により算出された前記パラメータを多重化する多重化ステップと
を含むことを特徴とする符号化方法。
符号化側から伝送されてきたデータを、符号化データ、およびパラメータに分離する分離手段と、
前記分離手段により分離された前記符号化データを復号する復号手段と、
前記復号手段により復号された画像を、前記分離手段により分離された前記パラメータに基づいて、画像変換する画像変換手段と、
前記画像変換手段により画像変換された画像を表示する表示手段と
を備えることを特徴とする復号装置。
前記パラメータは、符号化時の前記画像に係るパラメータである
ことを特徴とする請求項６に記載の復号装置。
前記画像は、ステレオ動画像である
ことを特徴とする請求項６に記載の復号装置。
符号化側から伝送されてきたデータを、符号化データ、およびパラメータに分離する分離ステップと、
前記分離ステップの処理により分離された前記符号化データを復号する復号ステップと、
前記復号ステップの処理により復号された画像を、前記分離ステップの処理により分離された前記パラメータに基づいて、画像変換する画像変換ステップと、
前記画像変換ステップの処理により画像変換された画像の表示を制御する表示制御ステップと
を含むことを特徴とする復号方法。