JP2012124653A - 符号化装置、符号化方法およびプログラム - Google Patents

Abstract

【課題】左右画像の符号化に係わるビットレートやバッファサイズを、記録開始時に適切に配分することで、画質の低下を防ぎ、かつ効率よく符号化を行うことができる符号化装置の提供
【解決手段】第１の画像信号および第１の画像信号の入力源とは異なる入力源からの第２の画像信号を入力してそれぞれを符号化するための符号化装置は、入力された第１の画像信号を符号化するための第１の符号化手段と入力された第２の画像信号を第１の画像信号に基づいて符号化するための第２の符号化手段それぞれに割り当てる第１のビットレートおよび第２のビットレートを、撮影モード情報または符号化手段による符号化の歪み率に基づいて適応的に決定する。
【選択図】図１

Description

本発明は符号化装置に関し、特に複数の画像を符号化し、符号化された複数の符号化ストリームを多重化するための符号化装置、符号化方法およびプログラムに関する。

近年、記憶媒体にディスク媒体やハードディスクまたはメモリを用いてハイビジョン記録を行うビデオカメラが製品化され始めた。これらのビデオカメラは、小型で持ち運びも容易であり、かつ高画質の画像を記録できるため、今後ますます普及していくと思われる。このような機器では、ハイビジョン記録を行うため、画像を例えばMPEG4 part-10:AVC(ISO/IEC 14496-10、別名H．２６４)により圧縮符号化されたビデオストリームとして記録媒体に保存する。この圧縮符号化方式では、画像間の相関を利用したフレーム間予測（インター予測）とフレーム内の相関を利用したフレーム内予測（イントラ予測）を用いるとともに、算術符号化を用いることで高効率な圧縮符号化を実現している。

また、左目および右目用の画像信号を入力し、３Ｄ画像を生成するビデオカメラも登場している。

また、特許文献１には、右目用画像と左目用画像をそれぞれ符号化して記録する装置が記載されている。特許文献１には、各画像の符号化の際に割り当てる符号量を左右の画像の相関に従ってピクチャ単位で適応的に設定することで、左右画像の符号化劣化程度を揃える装置が提案されている。

特開平９−６５３７２号公報

上記の従来技術のように、左目用画像と右目用画像を符号化する場合には、左右画像の画質を揃えるというのは重要な課題である。その上、左右画像の符号化劣化を極力抑え、高画質を維持することも重要である。そこで、限られたビットレート内でより効率的に符号化するために、従来のフレーム間予測や算術符号化に加え、３Ｄ画像特有の技術として、左右の画像のうち一方の画像から他方の画像への予測を可能にした視差予測を行うことがある。
ところで、左右の入力画像に対して記録開始時にビットレートやバッファサイズを単に設定して符号化すると、入力された画像の特徴に応じて視差予測の符号化効率が変わるために左右画像の符号化劣化が異なってしまう。従来の符号化装置では、このような場合、左右画像の符号化劣化程度を劣化の多いほうの画像に合わせることで３Ｄ画像としての不自然さを低減している。

しかしながら、上記従来技術の符号化装置においては、設定したビットレートが有効に使用されず、画質が低下してしまう問題がある。

本発明は上記問題点に鑑み、左右画像の符号化に係わるビットレートやバッファサイズを記録開始時に適切に配分することで、画質の低下を防ぎ、かつ効率よく符号化を行うことができる符号化装置の提供を目的とする。

上記本件発明の目的を達成するため、本件発明の符号化装置は、第１の画像および第１の画像の入力源とは異なる入力源からの第２の画像を入力してそれぞれを符号化するための符号化装置であり、入力された第１の画像を符号化するための第１の符号化手段と入力された第２の画像を第１の画像に基づいて符号化するための第２の符号化手段それぞれに割り当てる第１のビットレートおよび第２のビットレートを、撮影モード情報または符号化手段による符号化の歪み率に基づいて適応的に決定する。

本発明によれば、左右の入力画像の符号化に係わるビットレートやバッファサイズを、記録開始時に適切に配分することができ、３Ｄ画像の違和感の原因となる左右の画像の符号化劣化の差を減らして画質の低下を防ぐことができる符号化を可能とすることができる。

図１は、本件発明の第１の実施例に係わる符号化装置の構成図である。 図２は、撮影モードに係わる画像とフレーム間差分および視差差分との関係を示す図である。 図３は、図１の符号化装置で実行されるビットレート設定処理のフローチャートを示す図である。 図４は、第１の実施例に従って設定されるビットレートと撮影モードとの関係を示す図である。 図５は、本件発明の第２の実施例の符号化装置の構成図である。 図６は、図５の符号化装置で実行されるビットレート設定処理のフローチャートを示す図である。 図７は、図５のビットレート設定処理で設定されるビットレートの設定値の例を示す図である。 図８は、本件発明の第３の実施例におけるビットレート設定処理のフローチャートを示す図である。 図９は、図８のビットレート設定処理で設定されるビットレートの例を示す図である。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。なお、本件発明の符号化装置は，例えばビデオカメラなどにおいて撮影された３Ｄ画像を符号化するために使用可能な画像符号化装置であり、カメラ全体を制御する制御部によって制御可能である。その場合、本件発明の符号化装置はカメラの制御部の下で動作するハードウエアまたはソフトウエアあるいはそれらの組み合わせとして実現可能である。また、ビデオカメラに限らず、図１の画像入力部１０１と１０３に相当する３Ｄ画像の撮影機能を有する装置であれば、本件発明を適用できることは言うまでもない。

図１は、本実施例の符号化装置の構成図である。
本実施例の符号化装置は、左目用画像信号と右目用画像信号を入力し、各々を異なる複数の符号化手段によって符号化して一本の多重化ストリームを生成する構成を有する。
以下、図１を用いて本実施例の符号化装置の構成および動作を説明する。

＜符号化処理＞
画像入力部１０１は、図示されていない左目用の撮像素子からの画像信号（第１の画像信号）を入力し、符号化部１０２へと出力する。

符号化部１０２（第１の符号化部）は、入力された第１の画像信号に、符号化単位であるマクロブロックごとにフレーム間の動き予測および動き補償を行って直交変換、量子化を行う。符号化部１０２は、量子化された画像信号をエントロピー符号化して符号化ストリーム（第１の符号化ストリーム）を生成し、多重化部１０５へと出力する。画像入力部１０３は、図示しない右目用の撮像素子からの画像信号（第２の画像信号）を入力し、符号化部１０４へと出力する。

符号化部１０４（第２の符号化部）は、入力された第２の画像信号に対して、符号化単位であるマクロブロックごとに符号化部１０２が生成した符号化ストリームを復号した画像信号を用いて左右画像間の視差を用いた視差予測および視差補償を行う。次いで、直交変換、量子化を行った後、符号化部１０４は量子化された画像信号をエントロピー符号化して符号化ストリーム（第２の符号化ストリーム）を生成し、多重化部１０５へと出力する。 多重化部１０５は、符号化部１０２および１０４から出力された符号化ストリームを入力し、それらをMPEG2-TSやMOVなど既知のフォーマットで多重化し、生成された多重化ストリームを記録媒体１０８へと格納する。撮影モード選択部１０６は、複数の撮影モードから撮影モードを選択してその選択情報をビットレート設定部１０７に通知する。また、撮影モード選択部は、選択された撮影モードで想定される撮影画像に基づいて、撮像素子による撮像のシャッタースピードや絞り、露出などを画像入力部１０１および１０３に適切に設定する機能も有する。なお、撮影モード選択部１０６は、これとは別個に設けられた撮影モード選択部で選択された撮影モードの情報の取得手段(撮影モード情報取得手段)であってもよい。この場合、撮像素子による撮影の条件設定は、例えば本実施例の符号化装置が動作しているビデオカメラの制御部によって行われことになる。その場合、画像入力部１０１、１０３は撮像素子（画像信号の入力源）からの画像信号を入力する手段となり、撮像手段を有するカメラなどに限らず、ＰＣなどの画像処理装置において符号化装置として用いることが可能となる。ビットレート設定部１０７は、前記撮影モード選択部１０６から通知される撮影モードに応じて、符号化部１０２に第１のビットレート、符号化部１０４に第２のビットレートを適応的に設定する。本発明では、第１のビットレートと第２のビットレートの合計が一定(所定値)であるとし、本実施例ではその所定値を多重化部１０５で生成される多重化ストリームのビットレートを超えない値に予め設定してある。すなわち、本実施例は、一定の所定値内での第１のビットレートと第２のビットレートの配分（それぞれの符号化部へのビットレートの割り当て）を、撮影モードに従って適応的に設定する。

＜撮影モード＞
図２は、撮影モード選択部１０６からビットレート設定部１０７に通知される撮影モードと各撮影モードが想定している撮影シーンとフレーム間差分の大きさおよび視差差分の大きさとの対応関係を示す表である。２０１は、風景モードであり、例えば山など遠景の被写体を撮影するときに使用される撮影モードである。このような撮影シーンでは、フレーム間差分は小さく、左右の視差差分も小さくなる。２０２は、スポーツモードであり、例えばゴルフやテニスなど、動きの早い被写体を撮影するときに使用される。このような撮影シーンでは、フレーム間差分は大きくなるが、左右の視差差分は小さい。２０３は、マクロモードであり、例えば近景の被写体を撮影するときに使用される。このような撮影シーンでは、フレーム間差分は小さく、左右の視差差分は大きい。２０４は、ローライトモードであり、例えば室内で明かりを落としているためにノイズが多くなる被写体を撮影するときに使用される。このような撮影シーンでは、フレーム間差分が大きく、左右の視差差分も大きい。

＜ビットレート選択処理＞
図３は、ビットレート設定部１０７の処理を示すフローチャートである。この処理は、本実施例の符号化装置が使用される例えばビデオカメラ内に記憶されたプログラムをカメラの制御部の下で実行することによって達成可能である。

図３を用いて、撮影モードに応じたビットレートの設定方法について説明する。Ｓ３０１では、撮影モード選択部から通知された撮影モードから、フレーム間差分が小さく、かつ視差差分が小さい撮影シーン（風景モード）が想定されているかどうかを判定する。想定されていると判定された場合は、処理をＳ３０２へ進め、そうでなければＳ３０３へ処理を分岐する。

Ｓ３０２では、第１のビットレートが第２のビットレートよりも大きな値になるように、両者の合計値が上述した所定値である条件のもとでそれらの値の配分を設定する。Ｓ３０３では、通知された撮影モードから、フレーム間差分が大きく、かつ視差差分が小さい撮影シーン(スポーツモード)が想定されているかどうかを判定する。想定されていると判定された場合は、Ｓ３０４へ処理を進め、そうでなければＳ３０５へ処理を分岐する。

Ｓ３０４では、Ｓ３０２で設定した値と比較して、第１のビットレートがより小さな値となるように第１のビットレートと第２のビットレートの配分を設定する。Ｓ３０５では、通知された撮影モードから、フレーム間差分が大きく、かつ視差差分が小さい撮影シーン（マクロモード）が想定されているかどうかを判定する。想定されていると判定された場合は、処理をＳ３０６へ進め、そうでなければＳ３０７へ処理をする。

Ｓ３０６では、Ｓ３０４で設定した値と比較して、第１のビットレートがより小さな値となるように第１のビットレートと第２のビットレートの配分を設定する。

Ｓ３０７は、入力された撮影モードに基づくＳ３０１、Ｓ３０３、Ｓ３０５の判定から、フレーム間差分が大きく、かつ視差差分が大きい撮影シーン（ローライトモード）が想定されている時の設定処理となる。Ｓ３０７では、Ｓ３０６で設定した値と比較して、第１のビットレートがより小さな値となるように第１のビットレートと第２のビットレートの配分を設定する。図４は、各撮影モードと、図３のフローチャートで示す処理で設定される第１のビットレートと第２のビットレートの配分の例を示した表である。ビットレートの具体的配分値は図４に示される例に限られず、上述した図３の処理に従う限りにおいて、ビットレート設定手段などに適宜予め設定しておくことが可能である。

風景モード４０１では、第１のビットレートへの配分が最も多くなっている。

スポーツモード４０２では、風景モード４０１と比較して、第１のビットレートへの配分がさらに少なくなっている。

マクロモード４０３では、スポーツモード４０２と比較して、第１のビットレートへの配分がさらに少なくなっている。

ローライトモード４０４では、マクロモード４０３と比較して、第１のビットレートへの配分がさらに少なくなっている。

上述したように、本実施例によれば、撮影モードで想定されているシーンから、フレーム間予測と視差予測の符号化効率を想定し、第１のビットレートと第２のビットレートの配分決定を適切に行うことができる。その結果、左右の画像信号の符号化ストリームの符号化劣化を揃えることができ、なおかつ画質の良好な３Ｄ画像を得ることが可能となる。また、視差差分が小さいときは、符号化部１０２のビットレートを上限値(上記所定値)に近い値にすることができるので、符号化部１０２および１０４での符号化精度をより高くすることが可能となる。よって、画質が劣化することなく、３Ｄ画像として自然な符号化ストリームが生成可能となり、ユーザーに好適な３Ｄ画像の符号化装置を提供することが出来る。

図５は、第２の実施例の符号化装置の構成図である。
本符号化装置も第１の実施例と同様に、左目用画像信号と右目用画像信号を入力し、異なる複数の符号化手段によって符号化した後、一本の多重化ストリームを生成する装置であり、第１の実施例の符号化装置と同じ構成部分には同じ符号を付して示す。

第１の実施例は、選択された撮影モードに従って左目用の符号化部と右目用の符号化部それぞれのビットレートの配分を調整したが、本実施例はそれぞれの符号化部の符号化歪み率に基づいてビットレートの配分を調整する。

＜符号化処理＞
画像入力部１０１および１０３は、第１の実施例と同様の画像入力部である。

また、多重化部１０５も、第１の実施例と同様であり、MPEG2-TSやMOVなど既知のフォーマットの多重化ストリームを生成して記録媒体１０８に記録する。符号化部５０２は、第１の実施例の符号化部１０２と同様に画像入力部１０１で入力された入力画像信号をエントロピー符号化して符号化ストリームを生成するが、その結果を歪み率算出部５０３と多重化部１０５に選択的に出力する。すなわち、入力画像信号の符号化開始の指示から始まる符号化（本符号化）の前は、入力画像信号を符号化(仮符号化)した符号化ストリームを歪み率算出部５０３へのみ出力する。他方、本符号化においては、符号化部５０２は符号化ストリームを多重化部１０５に出力し、歪み率算出部５０３には出力しない。

歪み率算出部５０３は、画像入力部１０１で入力された画像信号と第１の符号化ストリームを復号した画像信号を用いて、例えばＰＳＮＲ（Peak Signal-to-Noise Ratio）のような第１の歪み率を算出する。そして、算出した第１の歪み率をビットレート設定部５０８に出力する。なお、第１の歪み率はＰＳＮＲに限るものではなく、他の周知の歪み率であってもよい。

符号化部５０５は、第１の実施例の符号化部１０４と同様に、画像入力部１０３で入力された画像信号を同様の方法でエントロピー符号化して符号化ストリームを生成するが、その結果は歪み率算出部５０６と多重化部１０５に選択的に出力する。すなわち、符号化部５０２と同様に、入力画像信号の仮符号化時には、生成した符号化ストリームを歪み率算出部５０６へのみ出力する。他方、本符号化においては、符号化ストリームを多重化部１０５に出力し、歪み率算出部５０６へは出力しない。

歪み率算出部５０６は、画像入力部１０３で入力された入力画像と第２の符号化ストリームを復号した画像信号を用いて、例えばＰＳＮＲ（Peak Signal-to-Noise Ratio）のような第２の歪み率を算出する。そして、算出した第２の歪み率をビットレート設定部５０８へと出力する。なお、第２の歪み率は、第１の歪み率と同様に、ＰＳＮＲに限るものではなく、他の周知の歪み率であってもよい。

ビットレート設定部５０８は、前記歪み率算出部５０３で算出された第１の歪み率と歪み率算出部５０６で算出された第２の歪み率の差の大きさを判定し、差がないと判定したときに符号化開始指示を符号化部５０２と５０５に出力する。この判定は、例えば予め適宜設定してある所定値と第１および第２の歪み率の差（絶対値）を比較し、差が所定理以下のときに差がないと判定する(みなす)ことで行うことが可能である。差があると判定されたときは、第１および第２の歪み率に基づいて、符号化部５０２に第１のビットレートおよび符号化部５０５に第２のビットレートを適応的に設定する。この設定は、第１のビットレートと第２のビットレートの合計が、多重化部１０５で生成される多重化ストリームに割り当て可能な最大割り当てビットレートとなるように行われる。すなわち、ビッレート設定部は、最大割り当てビットレートを算出された歪み率に基づいて第１のビットレートと第２のビットレートに適応的に分配する。ここで、最大割り当てビットレートは、多重化ストリームのビットレートよりも少ない、一定の値に設定する。

＜ビットレート設定処理＞
図６は、ビットレート設定部５０８の処理を示すフローチャートである。本処理は、入力される画像信号に対して、ピクチャ単位でビットレート設定部５０８により実行される。

図６を用いて、本実施例におけるビットレート設定方法について説明する。

Ｓ６０１では、符号化が開始されたかどうかを判定する。

符号化が開始されたと判定された場合は、処理を終了、そうでなければＳ６０２へと処理を分岐する。この場合の「符号化」は、上記「本符号化」であり、上記符号化開始指示で開始される。

Ｓ６０２では、前記歪み率算出部５０３で算出された第１の歪み率と、前記歪み率算出部５０６で算出された第２の歪み率を取得する。このとき取得される歪み率は、入力画像信号の現在のピクチャについて計算された値である。したがって、取得された歪み率を用いて決定されるビッとレートは、次のピクチャに適用される。この点は、以下で説明する式（１）から明らかである。なお、最初のピクチャ（ｉ＝１）については、デフォルトで設定されているビットレートＲ１（０）、Ｒ２（０）が適用されるものとする。

Ｓ６０３では、上述したように、取得した第１および第２の歪み率の差(絶対値)の有無を判定する。差が無いと判定されたときは、Ｓ６０５において符号化開始指示を生成した後処理をＳ６０１に戻す。他方、差があると判定されたときは、処理をＳ６０４に進める。Ｓ６０４では、第１の歪み率と第２の歪み率を用いて、第１のビットレートと第２のビットレートの配分を決定する。

ここでは、一例として下記の式（１）を用いて、第１のビットレートＲ１と第２のビットレートＲ２を決定する。

ここで、添字iは仮符号化したピクチャの番号（１、２、３、・・・）を示す引数、Ｒ１は第１のビットレート、Ｒ２は第２のビットレート、ＳＮ_1は第１の歪み率、ＳＮ_2は第２の歪み率、Ｋは歪み率のフィードバック係数である。フィードバック係数Ｋは、歪み率をビットレートに換算してビットレートＲ１またはＲ２との加算を可能にするための定数である。ビットレート設定部５０８は、上記式（１）に従って第１のビットレートと第２のビットレートの合計を一定に保ちながら、歪み率の高い方のビットレートを下げ、反対に歪み率の低い方のビットレートを上げるようにビットレートの配分を制御する。上記式（１）から明らかなように、制御の結果、第１の歪み率ＳＮ_1と第２の歪み率ＳＮ_2が同じになると、決定されるビットレートの設定値は前のピクチャと同じになる。本実施例の符号化装置では、上述した上記処理を入力画像のピクチャ単位で繰り返し、第１および第２の符号化部に対する最適なビットレートの配分を決定する。図７は、本実施例に従って各ピクチャの符号化時に設定されるビットレートの遷移の一例を示す図である。図において、縦軸はビットレートを表し、入力画像信号の時間経過を表す。

本実施例では、入力された画像信号のうち、最初のＩピクチャと後続の５枚のＰピクチャに対して仮符号化を行っている。

ビットレート設定部５０８は、６枚のピクチャに対して仮符号化を行い、７枚目のピクチャで第１の歪み率と第２の歪み率の差分が無くなることを達成している。

以上のように符号化装置を構成することで、記録媒体１０８への入力画像信号の記録を始める前に、符号化部５０２および５０５それぞれによる符号化の歪み率の差分を仮符号化開始時と比較して小さくすることが可能となる。よって、記録画質の劣化が押さえられた３Ｄ画像として自然な符号化ストリームの生成可能となり、ユーザーに好適な符号化装置を提供することが出来る。

なお、本実施例では、仮符号化をＩピクチャとＰピクチャで行ったが、Ｂピクチャを含めて仮符号化を行うようにしてもよい。この場合、ビットレート設定部５０８において適宜駆り符号化を行うピクチャの番号（引数ｉ）を設定する。

本実施例の符号化装置は、実施例２と同様の構成であるが、その動作が第２の実施例とは異なる。すなわち、本実施例では、仮符号化はせずに本番の符号化（本符号化）を開始し、その後で第１のビットレートと第２のビットレートの配分を調整するように符号化装置を動作させる。

以下に、本実施例の符号化装置の動作について説明する。

ビットレート設定部５０８は、歪み率算出部５０３で算出された第１の歪み率と歪み率算出部５０６で算出された第２の歪み率に基づいて、下記の方法で符号化部５０２に第１のビットレート、符号化部５０５に第２のビットレートを適応的に設定する。

概説すると、まず、符号化が開始されると、第１のビットレートと第２のビットレートの合計を前記最大割り当てビットレートよりも少なく設定する。このときのビットレート配分の初期値Ｒ１（０）、Ｒ２（０）は予め経験等を踏まえて設定しておく。その後、前記最大割り当てビットレートになるまで、第１のビットレートと第２のビットレートの合計を増やしながら、第１のビットレートと第２のビットレートの配分設定を入力画像信号のピクチャ単位で決定する。その他の構成部分は、実施例２と同様であるため、ここでの説明は省略する。

図８は、実施例３におけるビットレート設定部５０８の処理を示すフローチャートである。本処理は、入力された画像信号に対して、ピクチャ単位でビットレート設定部５０８により実行される。

図８を用いて、本実施例のビットレート設定方法について説明する。

Ｓ８０１では、設定されている第１のビットレートＲ１と第２のビットレートＲ２の合計が最大割り当てビットレートに等しいかどうかを判定する。

最大割り当てビットレートに等しいと判定された場合は、処理を終了し、そうでなければＳ８０２へと処理を分岐する。

Ｓ８０２では、歪み率算出部５０３で算出された第１の歪み率と、歪み率算出部５０６で算出された第２の歪み率を取得する。このとき取得される歪み率は、入力画像信号の現在のピクチャについて計算された値である。したがって、取得された歪み率を用いて決定されるビットレートは、次のピクチャに適用される。この点は、以下で説明する式（２）から明らかである。

Ｓ８０３では、取得した第１の歪み率と第２の歪み率を用いて、入力された画像信号のピクチャについて第１のビットレートと第２のビットレートを決定する。

ここでは、一例として下記の式（２）を用いて、第１のビットレートＲ１と第２のビットレートＲ２を決定する。

ここで、添字iは符号化したピクチャの番号（１、２、３、・・・）を示す引数である。Ｒｔは第１のビットレートと第２のビットレートの合計、Ｒｄはピクチャ単位に増加させるビットレート、ＳＮ_1は第１の歪み率、ＳＮ_2は第２の歪み率、Ｋは歪み率のフィードバック係数である。フィードバック係数Ｋは、歪み率を変換してビットレートＲ１またはＲ２との加算を可能にするための定数である。

式（２）からわかるように、ビットレート設定部５０８は、第１のビットレートと第２のビットレートの合計Ｒｔをピクチャごとに所定量単位（Ｒｄ）ずつ増加させながら、歪み率の低い方のビットレートをより増加するように制御する。これにより、第１の歪み率と第２の歪み率の差分が無くなるように、第１のビットレートと第２のビットレートを設定している。

上述した本実施例の制御の結果、設定されている第１のビットレートと第２のビットレートの合計が最大割り当てビットレートに等しくなったとき、またはそれを超えたときは、そのときのビットレートの配分がその後維持される。

図９は、各ピクチャの符号化時に設定されるビットレートの遷移の一例を示す図である。図において、縦軸はビットレートを表し、入力画像信号の時間経過を表す。

本実施例では、符号化開始指示後、６枚のピクチャを符号化する間に第１のビットレートおよび第２のビットレートの調整をした結果、両者の合計が最大割り当てビットレートに到達している。７枚目以降のピクチャにたいしては、６枚目のピクチャで調整されたビットレートの配分が適用されている。

以上説明した本実施例の構成によっても、符号化開始時と比較して、第１のビットレートおよび第２のビットレートを、第１の歪み率と第２の歪み率の差分を小さくするように、異なる符号化効率を反映した値に配分することができる。よって、記録画質の劣化が押さえられた３Ｄ画像として自然な符号化ストリームの生成可能となり、ユーザーに好適な符号化装置を提供することが出来る。第２の
上述した各実施例における図３、６および８に示した各処理は、各処理の機能を実現する為のコンピュータプログラムを本件発明の符号化装置が動作するシステムのメモリから読み出してシステムのＣＰＵが実行することによっても実現できる。この場合、メモリに記憶されたプログラムは本件発明を構成する。

上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、図３、６および８に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、図３、６および８に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

ここで、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置を含む。さらに、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
以上、本発明を好ましい実施例により説明したが、本発明は上述した実施例に限ることなくクレームに示した範囲で種々の変更が可能である。

Claims (20)

1. 第１の画像信号および第１の画像信号の入力源とは異なる入力源からの第２の画像信号を入力してそれぞれを符号化するための符号化装置において、
   前記入力された第１の画像信号を符号化するための第１の符号化手段、
   前記第１の画像信号に基づいて、前記入力された第２の画像信号を符号化するための第２の符号化手段、
   前記第１の符号化手段が出力する第１の符号化ストリームと前記第２の符号化手段が出力する第２の符号化ストリームを多重化する多重化手段、
   複数の撮影モードから選択された撮影モードを示す撮影モード情報を取得するための撮影モード情報取得手段と、
   前記第１の符号化手段および第２の符号化手段それぞれに割り当てる第１のビットレートおよび第２のビットレートを設定するためのビットレート設定手段を備え、
   前記ビットレート設定手段は、前記撮影モード情報取得手段により取得された前記撮影モード情報に従って、前記第１のビットレートおよび第２のビットレートの設定値を適応的に決定することを特徴とする符号化装置。
2. 前記ビットレート設定手段は、前記第１のビットレートの設定値と前記第２のビットレートの設定値の合計が、一定の所定値となるように前記撮影モード情報にしたがって前記第１および第２のビットレートの配分を設定することを特徴とする請求項１に記載の符号化装置。
3. 前記ビットレート設定手段は、前記撮影モード情報取得手段で取得された撮影モード情報が示す撮影モードが想定している画像のフレーム間差分および視差差分に基づいて設定値を決定することを特徴とする請求項１に記載の符号化装置。
4. 前記ビットレート設定手段は、前記撮影モード情報取得手段で取得された撮影モード情報が、フレーム間差分が小さく、視差差分が小さい画像の撮影を想定した撮影モードを示しているときは、前記第１のビットレートの値を最も大きな配分値に設定することを特徴とする請求項２に記載の符号化装置。
5. 前記ビットレート設定手段は、前記撮影モード情報取得手段で取得された撮影モード情報が、フレーム間差分が大きく、視差差分が小さい画像の撮影を想定した撮影モードを示しているときは、フレーム間差分が小さく、視差差分が小さい画像の撮影を想定した撮影モードよりも前記第１のビットレートの配分値を小さく設定することを特徴とする請求項２に記載の符号化装置。
6. 前記ビットレート設定手段は、前記撮影モード情報取得手段で取得された撮影モード情報が、フレーム間差分が小さく、視差差分が大きい画像の撮影を想定した撮影モードを示しているときは、フレーム間差分が大きく、視差差分が小さい画像の撮影を想定した撮影モードよりも前記第１のビットレートの配分値を小さく設定することを特徴とする請求項２に記載の符号化装置。
7. 前記ビットレート設定手段は、前記撮影モード情報取得手段で取得された撮影モード情報が、フレーム間差分が大きく、視差差分が大きい画像の撮影を想定した撮影モードを示すときは、フレーム間差分が小さく、視差差分が大きい画像の撮影を想定したモードよりも前記第１のビットレートの配分値を小さく設定することを特徴とする請求項２に記載の符号化装置。
8. 第１の画像信号および第１の画像信号の入力源とは異なる入力源からの第２の画像信号を入力してそれぞれを符号化するための符号化装置の制御方法において、
   前記入力された第１の画像信号を符号化するための第１の符号化ステップ、
   前記第１の画像信号に基づいて、前記入力された第２の画像信号を符号化するための第２の符号化ステップ、
   前記第１の符号化ステップが出力する第１の符号化ストリームと前記第２の符号化ステップが出力する第２の符号化ストリームを多重化する多重化ステップ、
   複数の撮影モードから選択された撮影モードを示す情報を取得するための撮影モード情報取得ステップと、
   前記第１の符号化手段および第２の符号化手段それぞれに割り当てる第１のビットレートおよび第２のビットレートを設定するためのビットレート設定ステップを備え、
   前記ビットレート設定ステップは、前記撮影モード情報取得ステップで取得された撮影モード情報に従って、前記第１のビットレートおよび第２のビットレートの設定値を適応的に決定することを特徴とする制御方法。
9. コンピュータを、請求項１乃至７のいずれか一項に記載された各手段として機能させるためのコンピュータプログラム。
10. 請求項９に記載されたコンピュータプログラムを記憶したコンピュータ読み取り可能な記録媒体。
11. 第１の画像信号および第１の画像信号の入力源とは異なる入力源からの第２の画像信号を入力してそれぞれを符号化するための符号化装置において、
    前記入力された第１の画像信号を符号化するための第１の符号化手段、
    前記第１の画像信号に基づいて、前記入力された第２の画像信号を符号化するための第２の符号化手段、
    前記第１の符号化手段が出力する第１の符号化ストリームと前記第２の符号化手段が出力する第２の符号化ストリームを多重化する多重化手段、
    前記第１の符号化部における符号化の歪み率である第１の歪み率を、前記入力された第１の画像信号と前記第１の符号化ストリームとから算出する第１の歪み率算出手段と、
    前記第２の符号化部における符号化の歪み率である第２の歪み率を、前記入力された第２の画像信号と前記第２の符号化ストリームとから算出する第２の歪み率算出手段と、
    前記第１の符号化手段および第２の符号化手段それぞれに割り当てる第１のビットレートおよび第２のビットレートを設定するビットレート設定手段を備え、前記ビットレート設定手段は、前記第１の歪み率と第２の歪み率とに基づいて前記第１のビットレートおよび前記第２のビットレートの設定値を適応的に決定することを特徴とする符号化装置。
12. 前記ビットレート設定手段は、前記第１のビットレートと前記第２のビットレートの設定値の合計が、前記多重化手段で多重化が可能な最大割り当てビットレートに等しいまたはそれ以下の一定の所定値となるように前記第１のビットレートと前記第２のビットレートの配分を決定することを特徴とする請求項１１に記載の符号化装置。
13. 前記ビットレート設定手段は、前記第１および第２の画像信号の入力の開始から前記第１の歪み率と第２の歪み率との差がなくなるまでは、前記第１のビットレートおよび前記第２のビットレートの配分を、入力画像信号のピクチャ単位で適応的に決定することを特徴とする請求項１１または１２に記載の符号化装置。
14. 前記第１の歪み率算出手段と前記第２の歪み率算出手段は、それぞれ前記第１の歪み率および前記第２の歪み率を、入力画像信号のピクチャ単位で算出することを特徴とする請求項１１ないし１３のいずれか一項に記載の符号化装置。
15. 前記ビットレート設定手段は、歪み率が高いほうの符号化手段に対するビットレートを減らし、歪み率が低いほうの符号化手段に対するビットレートを増加させながら、前記第１のビットレートと前記第２のビットレートの配分をピクチャ単位で決定することを特徴とする請求項１１ないし１４のいずれか一項に記載の符号化装置。
16. 前記ビットレート設定手段は、前記第１のビットレートと前記第２のビットレートの合計の初期値を前記多重化手段で多重化が可能な最大割り当てビットレートよりも少なく設定し、画像信号の入力の後は、前記第１のビットレートと前記第２のビットレートの合計を最大割り当てビットレートになるまで所定量単位で増加させながら、前記第１のビットレートと前記第２のビットレートの配分をピクチャ単位で適応的に決定することを特徴とする請求項１３ないし１５のいずれか一項に記載の符号化装置。
17. 前記ビットレート設定手段は、前記第１の歪み率と前記第２の歪み率の差分に応じて前記第１のビットレートおよび前記第２のビットレートの配分をピクチャ単位で決定することを特徴とする請求項１１ないし１６のいずれか一項に記載の符号化装置。
18. 第１の画像信号および第１の画像信号の入力源とは異なる入力源からの第２の画像信号を入力してそれぞれを符号化するための符号化装置の制御方法において、
    前記入力された第１の画像信号を符号化するための第１の符号化ステップ、
    前記第１の画像信号に基づいて、前記入力された第２の画像信号を符号化するための第２の符号化ステップ、
    前記第１の符号化ステップで出力される第１の符号化ストリームと前記第２の符号化ステップで出力される第２の符号化ストリームを多重化する多重化ステップ、
    前記第１の符号化ステップにおける符号化の歪み率である第１の歪み率を、前記入力された第１の画像信号と前記第１の符号化ストリームとから算出する第１の歪み率算出ステップと、
    前記第２の符号化ステップにおける符号化の歪み率である第２の歪み率を、前記入力された第２の画像信号と前記第２の符号化ストリームとから算出する第２の歪み率算出ステップと、
    前記第１の符号化手段および第２の符号化手段それぞれに割り当てる第１のビットレートおよび第２のビットレートを設定するビットレート設定ステップを備え、
    前記ビットレート設定ステップは、前記第１の歪み率と第２の歪み率とに基づいて前記第１のビットレートおよび前記第２のビットレートの設定値を適応的に決定することを特徴とする符号化装置の制御方法。
19. コンピュータを、請求項１１乃至１８のいずれか一項に記載された各手段として機能させるためのコンピュータプログラム。
20. 請求項１９に記載されたコンピュータプログラムを記憶したコンピュータ読み取り可能な記録媒体。

Images