JP2009071802A - 動画像符号化方法および装置、並びに撮像システム - Google Patents

Abstract

【課題】動画像符号化装置の消費電力や回路規模を増大させることなく、より多くの動画像信号に対応する符号化ストリームを生成することを目的とする。
【解決手段】動画像信号を符号化して、符号化ピクチャＤ０（１），Ｄ１（１），Ｄ２（１），Ｄ３（１），・・・・を生成し、４ＶＧＡ／３０ｆｐｓの動画像信号に対応する符号化ストリームＳＴＲ１ａとして出力する。また、生成された符号化ピクチャＤ０（１），Ｄ１（１），Ｄ２（１），Ｄ３（１），・・・・から符号化ストリームＤ１（１），Ｄ３（１）を間引きして、４ＶＧ／１５ｆｐｓの動画像信号に対応する符号化ストリームＳＴＲ１ｂを生成する。
【選択図】図５

Description

この発明は、動画像信号を符号化して符号化ストリームを生成する技術に関する。

近年、ＭＰＥＧ−２をはじめ、ＭＰＥＧ−４、Ｈ．２６４（ＭＰＥＧ−４ＡＶＣ）といった動画像の高能率符号化技術が盛んに研究され、コンピュータ、通信、民生用ＡＶ機器および放送などのさまざまな分野で応用されている。特に、ムービーやデジタルスチルカメラ等の民生用カメラを低価格で提供するためには、膨大な処理量の動画像符号化技術を小型かつ省電力で実現することが非常に重要であり、本技術の小型化、省電力化に関する研究も盛んに行われている。また、符号化ストリーム（動画像の圧縮データ）をインターネット等の通信回線を介して伝送するネットワークカメラのような伝送系カメラ機器においては、解像度やフレームレートがそれぞれ異なる複数の動画像信号を符号化して伝送する必要があり、本技術の小型化・省電力化に加えて高速化も同時に強く要求される。

このような要望に応えるために、従来、複数の動画像信号を時分割で符号化することができる動画像符号化装置が用いられている。この動画像符号化装置は、複数のチャネルを有しており、符号化対象となる複数の動画像信号を複数のチャネルに割り当て、これらの複数の動画像信号をチャネル毎に符号化し、符号化によって得られた複数の符号化ストリームをチャネル毎に制御する。

ここで、図１１を参照しつつ、従来の動画像符号化方法について説明する。図１１では、解像度がそれぞれ「４ＶＧＡ（１２８０×９６０）」，「ＶＧＡ（６４０×４８０）」，「ＱＶＧＡ（３２０×２４０）」である３つの動画像信号が、３つのチャネル（チャネル０，チャネル１，チャネル２）にそれぞれ割り当てられ、時分割で符号化される。

ピクチャＩ０（０），Ｐ１（０），・・・・，Ｐ３（０）は、解像度「４ＶＧＡ」の動画像信号のピクチャであり、ピクチャＩ０（１），Ｐ１（１），・・・・，Ｐ３（１）は、解像度「ＶＧＡ」の動画像信号のピクチャであり、ピクチャＩ０（２），Ｐ１（２），・・・・，Ｐ３（２）は、解像度「ＱＶＧＡ」の動画像信号のピクチャである。

まず、３つの動画像信号の各々の第１番目のピクチャＩ０（０），Ｉ０（１），Ｉ０（２）が、所定時間内（ここでは、１／３０［ｓ］）で順番にフレーム内予測符号化（イントラ符号化）され、符号化ピクチャＤ０（０），Ｄ０（１），Ｄ０（２）が生成される。次に、符号化ピクチャＤ０（０），Ｄ０（１），Ｄ０（２）は、チャネル０の符号化ストリームＳＴＲ０，チャネル１のストリームＳＴＲ１，チャネル２のストリームＳＴＲ２としてそれぞれ出力される。また、符号化ピクチャＤ０（０），Ｄ０（１），Ｄ０（２）からピクチャＩ０（０），Ｉ０（１），Ｉ０（２）が再構築され、再構築されたピクチャＩ０（０），Ｉ０（１），Ｉ０（２）が参照ピクチャとして動画像符号化装置の参照メモリに格納される。すなわち、参照メモリには、３つの動画像信号に対応する３つの参照ピクチャが格納される。

次に、３つの動画像信号の各々の第２番目のピクチャＰ１（０），Ｐ１（１），Ｐ１（２）は、それぞれに対応する参照ピクチャ（ピクチャＩ０（０），Ｉ０（１），Ｉ０（２））を用いて時分割でフレーム間予測符号化（インター符号化）され、符号化ピクチャＤ１（０），Ｄ１（１），Ｄ１（２）が生成され、チャネル０の符号化ストリームＳＴＲ０，チャネル１のストリームＳＴＲ１，チャネル２のストリームＳＴＲ２としてそれぞれ出力される。また、符号化ピクチャＤ１（０），Ｄ１（１），Ｄ１（２）および参照ピクチャＩ０（０），Ｉ０（１），Ｉ０（２）からピクチャＰ１（０），Ｐ１（１），Ｐ１（２）がそれぞれ再構築され、参照メモリに格納された参照ピクチャ（ピクチャＩ０（０），Ｉ０（１），Ｉ０（２））は、再構築されたピクチャＰ１（０），Ｐ１（１），Ｐ１（２）に書き換えられる。

このようにして、３つの動画像信号が時分割で符号化され、３つの動画像信号に対応する３つの符号化ストリームが出力される。また、２番目以降のピクチャが直前のピクチャを参照ピクチャとして用いてインター符号化できるように、ピクチャが符号化される毎にそのピクチャに対応する参照ピクチャが書き換えられる。
ISO/IEC 14496-10『Coding of audiovisual objects - Part10：Advanced Video Coding』

しかしながら、上述のような動画像符号化装置の処理性能には限界がある。そのため、動画像符号化装置の最大処理性能（例えば、最大チャネル数（処理可能な動画像信号の数）や最大処理速度（単位時間当たりに符号化できるデータ量）など）を超える符号化を実行するためには、その動画像符号化装置よりも高性能な動画像符号化装置を用いたり、複数の動画像符号化装置を並設する必要があった。また、符号化対象となる動画像信号の数（チャネル数）が増えれば増える程、参照ピクチャの数が多くなるので、参照ピクチャを格納するための参照メモリの容量を大きくする必要があった。このように、従来では、多くの動画像信号を符号化できるように最大チャネル数を増加したり、解像度やフレームレートの高い複数の動画像信号を符号化できるように最大処理速度を増加したりする必要があるため、動画像符号化装置の高機能化・高性能化により、動画像符号化装置の消費電力や回路規模が増大してしまうので、動画像符号化装置の小型化および省電力化を実現することが困難であった。

そこで、この発明は、動画像符号化装置の消費電力や回路規模を増大させることなく、より多くの動画像信号に対応する符号化ストリームを生成することを目的とする。

この発明の１つの局面に従うと、動画像符号化方法は、時系列順に並んだ複数のピクチャを含む動画像信号を符号化する方法であって、上記動画像信号をピクチャ単位で符号化し、符号化ストリームを生成するステップ（ａ）と、上記ステップ（ａ）によって符号化された動画像信号から符号化ピクチャを周期的に間引きし、上記動画像信号とはフレームレートが異なる別の動画像信号に対応する別の符号化ストリームを生成するステップ（ｂ）とを備える。

上記動画像符号化方法では、複数の動画像信号を個別に符号化することなく、１つの動画像信号から複数の動画像信号に対応する複数の符号化ストリームを生成することができる。これにより、動画像符号化装置の消費電力や回路規模を増大させることなく、従来よりも多くの動画像信号に対応する符号化ストリームを生成することができる。

好ましくは、上記ステップ（ａ）では、解像度が同一でありフレームレートがそれぞれ異なるｍ個（ｍは２以上の整数）の動画像信号のうち最大のフレームレートを有する第１の動画像信号を符号化し、その第１の動画像信号に対応する第１の符号化ストリームを生成し、上記ステップ（ｂ）では、上記ｍ個の動画像信号のうち上記第１の動画像信号を除く（ｍ−１）個の第２の動画像信号の各々のフレームレートに基づいて、上記ステップ（ａ）によって符号化された第１の動画像信号から符号化ピクチャを間引きし、その（ｍ−１）個の第２の動画像信号に対応する（ｍ−１）個の第２の符号化ストリームを生成する。

上記動画像符号化方法では、最大のフレームレートを有する動画像信号を符号化するだけで、ｍ個の符号化ストリームを生成することができる。

好ましくは、上記動画像符号化方法は、符号化対象となる動画像信号数ｍが予め定められた動画像信号数の最大値を超えているか否か判断するステップ（ｃ１）と、上記ステップ（ｃ１）によって上記動画像信号数ｍが上記最大値を超えていないと判断されると、上記ｍ個の動画像信号を時分割で符号化し、符号化されたｍ個の動画像信号をｍ個の符号化ストリームとして出力するステップ（ｄ）とをさらに備える。上記ステップ（ａ）および上記ステップ（ｂ）の各々は、上記ステップ（ｃ１）において上記動画像信号数ｍが上記最大値を超えていると判断されると、実行される。

上記動画像符号化方法では、例えば、符号化対象の動画像信号の数が動画像符号化装置が時分割で処理できる動画像信号の最大数を超えている場合には、１つの動画像信号を元に複数の符号化ストリームを生成する。これにより、従来よりも多くの動画像信号を処理することができる。

また、上記動画像符号化方法は、上記ｍ個の動画像信号を時分割で符号化するために必要な処理速度である必要処理速度が予め定められた最大処理速度を超えているか否か判断するステップ（ｃ２）と、上記ステップ（ｃ２）によって上記必要処理速度が上記最大処理速度を超えていないと判断されると、上記ｍ個の動画像信号を時分割で符号化し、符号化されたｍ個の動画像信号をｍ個の符号化ストリームとして出力するステップ（ｄ）とをさらに備える。上記ステップ（ａ）および上記ステップ（ｂ）の各々は、上記ステップ（ｃ２）において上記必要処理速度が上記最大処理速度を超えていると判断されると、実行される。

上記動画像符号化方法では、例えば、符号化対象の動画像信号を時分割で処理するために必要な処理速度が動画像符号化装置の最大処理速度を超えている場合には、１つの動画像信号を元に複数の符号化ストリームを生成する。これにより、従来よりも多くの動画像信号を処理することができる。

この発明の別の局面に従うと、動画像符号化装置は、時系列順に並んだ複数のピクチャを含む動画像信号を符号化する装置であって、上記動画像信号を符号化し、符号化ストリームを生成する符号化部と、上記符号化部によって符号化された動画像信号から符号化ピクチャを周期的に間引きし、上記動画像信号とはフレームレートが異なる別の動画像信号に対応する別の符号化ストリームを生成するストリーム生成部とを備える。

上記動画像符号化装置では、複数の動画像信号を個別に符号化することなく、１つの動画像信号から複数の動画像信号に対応する複数の符号化ストリームを生成することができる。これにより、動画像符号化装置の消費電力や回路規模を増大させることなく、従来よりも多くの動画像信号に対応する符号化ストリームを生成することができ、動画像符号化装置の小型化および省電力化を実現することが可能となる。

以上のように、動画像符号化装置の消費電力や回路規模を増大させることなく、従来よりも多くの動画像信号に対応する符号化ストリームを生成することができる。

以下、本発明の実施の形態について、図面を参照して説明する。

（実施形態１）
図１は、この発明の実施形態１による動画像符号化装置の構成を示す。この動画像符号化装置１は、複数の動画像信号（ここでは、５つの動画像信号ＳＳ０〜ＳＳ２ｂ）のそれぞれにチャネルを割り当て、ピクチャ単位で時分割で符号化処理し、複数の動画像信号にそれぞれ対応する複数の符号化ストリーム（ここでは、５つの符号化ストリームＳＴＲ０〜ＳＴＲ２ｂ）を生成する。動画像符号化装置１は、制御部１０１と、入力部１０２と、符号化部１０３と、ストリーム生成部１０４と、再構築部１０５と、記憶部１０６とを備える。

制御部１０１は、入力部１０２，符号化部１０３，ストリーム生成部１０４，再構築部１０５，および記憶部１０６の各々を制御する。また、制御部１０１は、符号化設定の判断，符号化対象となる動画像信号ＳＳ０〜ＳＳ２ｂに対するチャネルの割り当て，チャネルの指定（符号化すべき動画像信号の指定），ストリーム生成部１０４および再構築部１０５のモード設定等を実行する。

入力部１０２は、符号化対象となる動画像信号ＳＳ０〜ＳＳ２ｂを受け、制御部１０１によって指定されたチャネルに対応する動画像信号（符号化すべき動画像信号）のピクチャを符号化部１０３に供給する。

符号化部１０３は、入力部１０２から供給されたピクチャを符号化する。入力部１０２からのピクチャが「Ｉピクチャ」である場合には、符号化部１０３は、そのピクチャをフレーム内予測符号化（イントラ符号化）する。一方、入力部１０２からのピクチャが「Ｐピクチャ」である場合には、符号化部１０３は、記憶部１０６の中からそのピクチャに対応する参照ピクチャを読み出し、読み出した参照ピクチャを用いて入力部１０２からのピクチャをフレーム間予測符号化（インター符号化）する。

ストリーム生成部１０４は、通常モードと多ストリーム生成モードとを有する。通常モードに設定されると、ストリーム生成部１０４は、符号化部１０３によって符号化されたピクチャをそのピクチャに対応する符号化ストリームとして出力する。また、多ストリーム生成モードに設定されると、ストリーム生成部１０４は、別の符号化ストリームを生成するために符号化ピクチャの間引きを実行する。

再構築部１０５は、通常モードと多ストリーム生成モードとを有する。通常モードに設定されると、再構築部１０５は、符号化部１０３によって符号化されたピクチャから元のピクチャ（符号化前のピクチャ）を再構築し、再構築したピクチャを参照ピクチャとして記憶部１０６に書き込む。また、多ストリーム生成モードに設定されると、再構築部１０５は、ストリーム生成部１０４によって間引きされない符号化ピクチャのみから参照ピクチャを再構築する。

記憶部１０６は、動画像信号に対応する参照ピクチャを格納する。

次に、図２を参照しつつ、図１に示した動画像符号化装置１による動作について説明する。なお、ここでは、動画像符号化装置１の最大チャネル数（処理可能な動画像信号の数）は「５」であり，動画像符号化装置１の最大処理速度（単位時間当たりに符号化できるデータ量）は「49,152,000（＝1,280×1,280×30）［画素／ｓ］」であるものとする。すなわち、動画像符号化装置１は、５つの動画像信号を処理可能であり、１秒間に水平1,280［画素］×垂直1,280［画素］のピクチャを30フレーム分符号化できるものとする。

〔ステップＳＴ１０１〕
まず、符号化対象となる動画像信号ＳＳ０〜ＳＳ２ｂの各々について解像度およびフレームレートが設定される。例えば、次のように設定される。
《符号化設定例》
動画像信号ＳＳ０・・・解像度：４ＶＧＡ（1,280×960［画素］）
フレームレート：30［ｆ／ｓ］
動画像信号ＳＳ１ａ・・・解像度：ＶＧＡ（640×480［画素］）
フレームレート：30［ｆ／ｓ］
動画像信号ＳＳ１ｂ・・・解像度：ＶＧＡ（640×480［画素］）
フレームレート：15［ｆ／ｓ］
動画像信号ＳＳ２ａ・・・解像度：ＱＶＧＡ（320×240［画素］）
フレームレート：30［ｆ／ｓ］
動画像信号ＳＳ２ｂ・・・解像度：ＱＶＧＡ（320×240［画素］）
フレームレート：15［ｆ／ｓ］
制御部１０１は、この符号化設定についての情報を受け取る。

〔ステップＳＴ１０２〕
次に、制御部１０１は、符号化設定が動画像符号化装置１の最大処理性能（例えば、最大チャネル数や最大処理速度など）を超えているか否かを判断する。符号化設定が最大処理性能を超えていない場合には、ステップＳＴ１０３へ進み、そうでない場合には、ステップＳＴ１０４へ進む。詳しくは、制御部１０１は、符号化設定に示された動画像信号の数が動画像符号化装置１の最大チャネル数を超えているか否かを判断する。また、制御部１０１は、符号化設定に示された動画像信号を時分割で符号化するために必要な処理速度が動画像符号化装置１の最大処理速度を超えているか否かを判断する。符号化設定が最大チャネル数および最大処理速度のうち少なくとも一方を超えている場合には、ステップＳＴ１０４へ進む。

例えば、５つの動画像信号ＳＳ０〜ＳＳ２ｂのすべての解像度が「ＶＧＡ（640×480［画素］）」でありフレームレートが「30［ｆ／ｓ］」である場合、動画像信号ＳＳ０〜ＳＳ２ｂの時分割符号化処理に必要な処理速度（単位時間当たりに符号化すべきデータ量）は、46,080,000（＝640×480×30×5）［画素／ｓ］であるので、最大処理速度（49,152,000［画素／ｓ］）を超えていないことになる。

一方、上記の符号化設定例の場合、動画像信号ＳＳ０〜ＳＳ２ｂの各々について必要となる処理速度は、
動画像信号ＳＳ０：36,864,000（1,280×960×30）［画素／ｓ］
動画像信号ＳＳ１ａ： 9,216,000（640×480×30）［画素／ｓ］
動画像信号ＳＳ１ｂ： 4,608,000（640×480×15）［画素／ｓ］
動画像信号ＳＳ２ａ： 2,304,000（320×240×30）［画素／ｓ］
動画像信号ＳＳ２ｂ： 1,152,000（320×240×15）［画素／ｓ］
である。この場合、動画像信号ＳＳ０〜ＳＳ２ｂの時分割符号化処理に必要な処理速度は、36,864,000＋9,216,000＋4,608,000＋2,304,000＋1,152,000＝54,144,000［画素／ｓ］となるので、最大処理速度（49,152,000［画素／ｓ］）を超えることになる。

〔ステップＳＴ１０３〕
次に、通常符号化処理が実行される。この場合、動画像信号ＳＳ０〜ＳＳ２ｂは、ピクチャ単位で時分割で符号化され、動画像信号ＳＳ０〜ＳＳ２ｂに対応する符号化ストリームＳＴＲ０〜ＳＴＲ２ｂが生成される。詳しくは、制御部１０１は、動画像信号ＳＳ０〜ＳＳ２ｂの各々に対してチャネルを１つずつ割り当てるとともに、ストリーム生成部１０４および再構築部１０５を通常モードに設定する。次に、制御部１０１は、動画像信号ＳＳ０〜ＳＳ２ｂを１つずつ順番に指定する。入力部１０２は、制御部１０１によって指定された動画像信号のピクチャを符号化部１０３に供給する。符号化部１０３は、入力部１０２からのピクチャを符号化する。ストリーム生成部１０４は、符号化部１０３によって生成された符号化ピクチャを、制御部１０１によって指定された動画像信号に対応する符号化ストリームとして出力する。再構築部１０５は、符号化ピクチャから元のピクチャ（符号化前のピクチャ）を再構築し、再構築したピクチャを制御部１０１によって指定された動画像信号に対応する参照ピクチャとして記憶部１０６に書き込む。また、記憶部１０６には、５つの動画像信号ＳＳ０〜ＳＳ２ｂに対応する５つの参照ピクチャが格納される。

〔ステップＳＴ１０４〕
一方、ステップＳＴ１０３において符号化設定が最大処理性能を超えていると判断されると、制御部１０１は、符号化設定を参照して、ステップＳＴ１０１において解像度が同一でありフレームレートが互いに異なる複数の動画像信号が設定されたのかを判断する。そのような動画像信号が設定されている場合には、ステップＳＴ１０５へ進み、そのような動画像信号が設定されていない場合には、ステップＳＴ１０１へ進み、符号化設定が動画像符号化装置１の最大処理性能を超えないように符号化設定が見直される。

〔ステップＳＴ１０５〕
次に、制御部１０１は、符号化設定を参照して、ステップＳＴ１０１において設定された複数の動画像信号を解像度別にグループ分けする。次に、制御部１０１は、各グループの中から最大のフレームレートを有する動画像信号を選出する。例えば、上記の符号化設定例の場合、動画像信号ＳＳ０のみが属するグループ１と、動画像信号ＳＳ１ａ，ＳＳ１ｂが属するグループ２と、動画像信号ＳＳ２ａ，ＳＳ２ｂが属するグループ３とに分けられる。そして、グループ１から動画像信号ＳＳ０が選出され、グループ２から動画像信号ＳＳ１ａが選出され、グループ３から動画像信号ＳＳ２ａが選出される。

〔ステップＳＴ１０６〕
次に、制御部１０１は、各グループから選出された動画像信号の符号化が動画像符号化装置１の最大処理性能を超えているか否かを判断する。最大処理性能を超えていない場合には、ステップＳＴ１０７へ進み、そうでない場合にはステップＳＴ１０１へ進む。詳しくは、制御部１０１は、選出された動画像信号の数が動画像符号化装置１の最大チャネル数を超えているか否かを判断するとともに、選出された動画像信号を時分割で符号化するために必要な処理速度が動画像符号化装置１の最大処理速度を超えているか否かを判断する。選出された動画像信号の符号化が最大チャネル数および最大処理速度のうち少なくとも一方を超えている場合には、ステップＳＴ１０１へ進み、符号化設定が見直される。

例えば、上記の符号化設定例の場合、選出された動画像信号の数が「３」であるので、最大チャネル数「５」を超えていないことになる。

一方、上記の符号化設定例の場合、選出された動画像信号ＳＳ０，ＳＳ１ａ，ＳＳ２ａの各々について必要となる処理速度は、
動画像信号ＳＳ０：36,864,000（1,280×960×30）［画素／ｓ］
動画像信号ＳＳ１ａ： 9,216,000（640×480×30）［画素／ｓ］
動画像信号ＳＳ２ａ： 2,304,000（320×240×30）［画素／ｓ］
である。この場合、動画像信号ＳＳ０，ＳＳ１ａ，ＳＳ２ａの時分割符号化処理に必要な処理速度は、36,864,000＋9,216,000＋2,304,000＝48,384,000［画素／ｓ］となるので、最大処理速度（49,152,000［画素／ｓ］）を超えていないことになる。

〔ステップＳＴ１０７〕
次に、多ストリーム生成処理を実行する。この場合、動画像信号ＳＳ０〜ＳＳ２ｂのうちステップＳＴ１０５において選出された動画像信号のみ（上記の例では、動画像信号ＳＳ０，ＳＳ１ａ，ＳＳ１ｂ）が時分割で符号化される。また、動画像信号ＳＳ０〜ＳＳ２ｂのうち符号化されない動画像信号（例えば、動画像信号ＳＳ１ｂ）については、その動画像信号のフレームレートに基づいて、その動画像信号と同一の解像度を有する動画像信号（例えば、動画像信号ＳＳ１ａ）に対応する符号化ストリームから符号化ピクチャを間引きすることで、符号化されない動画像信号に対応する符号化ストリームを生成する。

ここで、図３を参照しつつ、図２に示した多ストリーム生成処理について説明する。なお、ここでは、上記の符号化設定例の場合を例に挙げて説明する。この場合、制御部１０１は、３つの動画像信号ＳＳ０，ＳＳ１ａ，ＳＳ２ａの各々にチャネルを１つずつ割り当てており、記憶部１０６には、３つの動画像信号ＳＳ０，ＳＳ１ａ，ＳＳ２ａに対応する３つの参照ピクチャが格納されている。

〔ステップＳＴ１１１〕
まず、制御部１０１は、ステップＳＴ１０５において選出された動画像信号ＳＳ０，ＳＳ１ａ，ＳＳ２ａにそれぞれ割り当てられた３つのチャネルのうちいずれか１つを選択する。これにより、ステップＳＴ１０５において選出された動画像信号ＳＳ０，ＳＳ１ａ，ＳＳ２ａのうちいずれか１つが、符号化すべき動画像信号として指定される。

〔ステップＳＴ１１２〕
次に、制御部１０１は、符号化設定を参照し、符号化対象となる動画像信号ＳＳ０〜ＳＳ２ｂの中からステップＳＴ１１１において指定された動画像信号と解像度が同一でありフレームレートが異なる動画像信号を検索する。そのような動画像信号が検出された場合には、ステップＳＴ１１３へ進む。一方、そのような動画像信号が検出されなかった場合には、ステップＳＴ１１８へ進む。例えば、ステップＳＴ１１１において動画像信号ＳＳ１ａが指定された場合、制御部１０１は、動画像信号ＳＳ１ａと同一のグループに属する動画像信号ＳＳ１ｂを検出する。

〔ステップＳＴ１１３〕
次に、制御部１０１は、ストリーム生成部１０４および再構築部１０５を多ストリーム生成モードに設定する。次に、入力部１０２は、ステップＳＴ１１１において指定された動画像信号のピクチャを符号化部１０３に供給する。符号化部１０３は、入力部１０２からのピクチャを符号化し、ストリーム生成部１０４は、符号化部１０３によって符号化されたピクチャを、ステップＳＴ１１１において指定された動画像信号に対応する符号化ストリームとして出力する。

〔ステップＳＴ１１４〕
また、制御部１０１は、ステップＳＴ１１２において検出された動画像信号（例えば、動画像信号ＳＳ１ｂ）のフレームレートに基づいて、その動画像信号に対応する符号化ストリーム（符号化ストリームＳＴＲ１ｂ）を生成するために、ステップＳＴ１１１において指定された動画像信号に対応する符号化ストリーム（符号化ストリームＳＴＲ１ａ）から間引きすべき符号化ピクチャを特定する。そして、ステップＳＴ１１３において得られた符号化ピクチャが「制御部１０１によって特定された間引きすべき符号化ピクチャ」ではない場合（すなわち、「間引きされない符号化ピクチャ」である場合）には、ストリーム生成部１０４は、符号化ピクチャをステップＳＴ１１２において検出された動画像信号に対応する符号化ストリーム（符号化ストリームＳＴＲ１ｂ）として出力する。一方、ステップＳＴ１１３において得られた符号化ピクチャが「制御部１０１によって特定された間引きすべき符号化ピクチャ」である場合（すなわち、「間引きされる符号化ピクチャ」である場合）には、符号化ピクチャを出力しない。このように、ステップＳＴ１１２において検出された動画像信号のフレームレートに基づいて、符号化ピクチャの出力が制御される。また、ステップＳＴ１１２において複数の動画像信号が検出された場合には、検出された動画像信号の各々について、このような処理が実行される。

〔ステップＳＴ１１５〕
次に、再構築部１０５は、ステップＳＴ１１３において得られた符号化ピクチャが、ステップＳＴ１１４において符号化ストリームから間引きされない符号化ピクチャであるか否かを判断する。間引きされない符号化ピクチャである場合には、ステップＳＴ１１６へ進み、間引きされる符号化ピクチャである場合には、ステップＳＴ１１７へ進む。

〔ステップＳＴ１１６〕
次に、再構築部１０５は、ステップＳＴ１１３において得られた符号化ピクチャから元のピクチャ（符号化前のピクチャ）を再構築し、ステップＳＴ１１１において指定された動画像信号に対応する参照ピクチャとして記憶部１０６に書き込む。

〔ステップＳＴ１１７〕
次に、符号化処理を継続する場合には、ステップＳＴ１１１へ進み、制御部１０１は、次のチャネルを選択する。

〔ステップＳＴ１１８〕
一方、ステップＳＴ１１２において他の動画像信号が検出されなかった場合（例えば、ステップＳＴ１１１において動画像信号ＳＳ０が指定された場合）、制御部１０１は、ストリーム生成部１０４および再構築部１０５を通常モードに設定する。次に、ステップＳＴ１１３と同様の処理が実行され、ステップＳＴ１１１において指定された動画像信号のピクチャが符号化され、符号化によって得られた符号化ピクチャがその動画像信号に対応する符号化ストリーム（ＳＴＲ０）として出力される。

〔ステップＳＴ１１９〕
次に、ステップＳＴ１１４と同様の処理が実行され、再構築部１０５によって符号化ピクチャから元のピクチャが再構築され、ステップＳＴ１１１において指定された動画像信号に対応する参照ピクチャとして記憶部１０６に書き込まれる。次に、ステップＳＴ１７へ進む。

次に、図４，図５を参照しつつ、動画像符号化装置１における符号化処理について具体的に説明する。なお、ピクチャＩ０（０），Ｐ１（０），Ｐ２（０），Ｐ３（０），・・・・は、動画像信号ＳＳ０に含まれ、ピクチャＩ０（１），Ｐ１（１），Ｐ２（１），Ｐ３（１），・・・・は、動画像信号ＳＳ１ａに含まれ、ピクチャＩ０（２），Ｐ１（２），Ｐ２（２），Ｐ３（２），・・・・は、動画像信号ＳＳ２ａに含まれるものとする。

ここでは、動画像信号ＳＳ１ｂのフレームレートは、動画像信号ＳＳ１ａのフレームレートの「１／２」である。換言すれば、動画像信号ＳＳ１ｂは、動画像信号ＳＳ１ａから符号化ピクチャが１枚ずつ間引きされた動画像信号である。よって、ピクチャＰ１（１），Ｐ３（１）に対応する符号化ピクチャＤ１（１），Ｄ１（３）が、「間引きされる符号化ピクチャ」となる。同様に、動画像信号ＳＳ２ｂは、動画像信号ＳＳ２ａから符号化ピクチャが１枚ずつ間引きされた動画像信号であるので、ピクチャＰ１（２），Ｐ３（２）に対応する符号化ピクチャＤ１（２），Ｄ３（２）が、「間引きされる符号化ピクチャ」となる。

〔ピクチャＩ０（０），Ｉ０（１），Ｉ０（２）〕
まず、符号化部１０３は、３つの動画像信号ＳＳ０，ＳＳ１ａ，ＳＳ２ａの各々の第１番目のピクチャＩ０（０），Ｉ０（１），Ｉ０（２）を、所定時間内（ここでは、１／３０［ｓ］）で順番にイントラ符号化し、符号化ピクチャＤ０（０），Ｄ０（１），Ｄ０（２）を生成する。また、再構築部１０５は、符号化ピクチャＤ０（０），Ｄ０（１），Ｄ０（２）からピクチャＩ０（０），Ｉ０（１），Ｉ０（２）をそれぞれ再構築し、動画像信号ＳＳ０，ＳＳ１ａ，ＳＳ２ａに対応する参照ピクチャとしてそれぞれを記憶部１０６に格納する。

また、ストリーム生成部１０４は、符号化ピクチャＤ０（０）を符号化ストリームＳＴＲ０として出力する。さらに、ストリーム生成部１０４は、符号化ピクチャＤ０（１）を符号化ストリームＳＴＲ１ａとして出力するとともに符号化ストリームＳＴＲ１ｂとしても出力する。同様に、ストリーム生成部１０４は、符号化ピクチャＤ０（２）を符号化ストリームＳＴＲ２ａとして出力するとともに符号化ストリームＳＴＲ２ｂとしても出力する。

〔ピクチャＰ１（０），Ｐ１（１），Ｐ１（２）〕
次に、符号化部１０３は、ピクチャＰ１（０），Ｐ１（１），Ｐ１（２）を時分割でインター符号化し、符号化ピクチャＤ１（０），Ｄ１（１），Ｄ１（２）を生成する。また、再構築部１０５は、符号化ピクチャＤ１（０）および参照ピクチャＩ０（０）からピクチャＰ１（０）を再構築し、動画像信号ＳＳ０に対応する参照ピクチャを「ピクチャＰ１（０）」に書き換える。一方、符号化ピクチャＤ１（１）は「間引きされる符号化ピクチャ」であるため、再構築部１０５は、ピクチャＰ１（１）を再構築しない。よって、動画像信号ＳＳ１ａに対応する参照ピクチャは、「ピクチャＩ０（１）」のままである。同様に、符号化ピクチャＤ１（２）は「間引きされる符号化ピクチャ」であるため、再構築部１０５は、ピクチャＰ１（２）を再構築しないので、動画像信号ＳＳ２ａに対応する参照ピクチャは、「ピクチャＩ０（２）」のままである。

また、ストリーム生成部１０４は、符号化ピクチャＤ１（０），Ｄ１（１），Ｄ１（２）を符号化ストリームＳＴＲ０，ＳＴＲ１ａ，ＳＴＲ２ａとして出力する。一方、符号化ピクチャＤ１（１）は「間引きされる符号化ピクチャ」であるため、ストリーム生成部１０４は、符号化ピクチャＤ１（１）を符号化ストリームＳＴＲ１ｂとして出力しない。同様に、符号化ピクチャＤ１（２）は「間引きされる符号化ピクチャ」であるため、ストリーム生成部１０４は、符号化ピクチャＤ１（２）を符号化ストリームＳＴＲ２ｂとして出力しない。

〔ピクチャＰ２（０），Ｐ２（１），Ｐ２（２）〕
次に、ピクチャＰ２（０），Ｐ２（１），Ｐ２（２）が時分割でインター符号化され、符号化ピクチャＤ２（０），Ｄ２（１），Ｄ２（２）が生成される。ここで、ピクチャＰ２（０）は、１つ前のピクチャＰ１（０）を参照ピクチャとしてインター符号化されるが、ピクチャＰ２（１），Ｐ２（２）は、２つ前のピクチャＩ０（１），Ｉ０（２）を参照ピクチャとしてインター符号化される。また、符号化ピクチャＤ２（０），Ｄ２（１），Ｄ２（２）のいずれも「間引きされないピクチャ」であるので、符号化ピクチャＤ２（０），Ｄ２（１），Ｄ２（２）および参照ピクチャＰ１（０），Ｉ０（１），Ｉ０（２）からピクチャＰ２（０），Ｐ２（１），Ｐ２（２）がそれぞれ再構築される。

また、ストリーム生成部１０４は、符号化ピクチャＤ２（０）を符号化ストリームＳＴＲ０として出力し、符号化ピクチャＤ２（１）を符号化ストリームＳＴＲ１ａ，ＳＴＲ１ｂとして出力し、符号化ピクチャＤ２（２）を符号化ストリームＳＴＲ２ａ，ＳＴＲ２ｂとして出力する。

以上のように、複数の動画像信号を個別に符号化することなく、１つの動画像信号から複数の動画像信号に対応する複数の符号化ストリームを生成することができる。これにより、動画像符号化装置の処理性能を向上させたり、複数の動画像符号化装置に並列処理させたりすることなく、符号化ストリームの数を増加させることができる。したがって、符号化対象となる動画像信号の数が増加しても、動画像符号化装置の小型化および省電力化を実現することが可能となる。

また、間引きされる符号化ピクチャについては参照ピクチャの再構築を実行しないので、その分、参照ピクチャを再構築する回数を少なくすることができる。これにより、例えば、参照ピクチャを格納する記憶部１０６への書き換えアクセス回数を少なくすることができるので、記憶部１０６のアクセス性能を向上させる必要がなく、システムレベルでの低コスト化および省電力化を実現することができる。

なお、符号化対象となる動画像信号の数や、動画像信号の解像度やフレームレートは上記の例に限定されないことは、云うまでもない。

（多ストリーム生成処理の変形例）
また、図６のように、１つの動画像信号から３つ以上の符号化ストリームを生成することも可能である。例えば、解像度が同一でありフレームレートがそれぞれ「３０ｆｐｓ」，「１５ｆｐｓ」，「７．５ｆｐｓ」である３つの動画像信号を符号化することができる。ここで、フレームレート「１５ｆｐｓ」の動画像信号は、フレームレート「３０ｆｐｓ」の動画像信号からピクチャを１枚ずつ間引きした信号に相当し、フレームレート「７．５ｆｐｓ」の動画像信号は、フレームレート「３０ｆｐｓ」の動画像信号からピクチャを３枚ずつ間引きした信号に相当すると云える。

この場合、符号化部１０３は、フレームレートが「３０ｆｐｓ」である動画像信号に含まれるピクチャＩ０，Ｐ１，Ｐ２，Ｐ３，・・・・，Ｐ６を符号化して、符号化ピクチャＤ０，Ｄ１，Ｄ２，Ｄ３，・・・・，Ｄ６を生成する。ストリーム生成部１０４は、符号化ピクチャＤ０，Ｄ１，Ｄ２，Ｄ３，・・・・，Ｄ６をフレームレート「３０ｆｐｓ」の動画像信号に対応する符号化ストリームとして出力する。

また、ストリーム生成部１０４は、符号化ピクチャＤ０，Ｄ２，Ｄ４，Ｄ６をフレームレート「１５ｆｐｓ」の動画像信号に対応する符号化ストリームとして出力するが、符号化ピクチャＤ１，Ｄ３，Ｄ５については、「１５ｆｐｓ」の動画像信号に対応する符号化ストリームを生成するために「間引きされるピクチャ」であるので、フレームレート「１５ｆｐｓ」の動画像信号に対応する符号化ストリームとして出力しない。

さらに、ストリーム生成部１０４は、符号化ピクチャＤ０，Ｄ４をフレームレート「７．５ｆｐｓ」の動画像信号に対応する符号化ストリームとして出力するが、符号化ピクチャＤ１，Ｄ２，Ｄ３，Ｄ５，Ｄ６については、「７．５ｆｐｓ」の動画像信号に対応する符号化ストリームを生成するために「間引きされるピクチャ」であるので、フレームレート「７．５ｆｐｓ」の動画像信号に対応する符号化ストリームとして出力しない。

このように、フレームレート「３０ｆｐｓ」の動画像信号を符号化するだけで、３つの符号化ストリームを生成することができる。

（実施形態１の変形例１）
符号化部１０３におけるインター符号化の際、符号化対象のピクチャと参照ピクチャとの時間差が大きくなる程、ピクチャ間の相関が低くなるため、符号化対象のピクチャと参照ピクチャとの差分が大きくなり易い。特に、符号化対象となるピクチャが示す動画像が動きの激しい動画像であるような場合には、ピクチャ間の相関が大幅に低下する。例えば、図４のピクチャＰ１（１）とピクチャＰ２（１）とを比較すると、ピクチャＰ１（１）のインター符号化よりもピクチャＰ２（１）のインター符号化の方が、符号化効率が低下する可能性が高い。

そこで、図７Ａのように、符号化対象となるピクチャと参照ピクチャとの時間差に基づいて、ピクチャの符号化の際に用いられる量子化パラメータの値を調整するように制御しても良い。詳しく述べると、制御部１０１は、入力部１０２から符号化部１０３へ供給されるピクチャとそのピクチャに対応する参照ピクチャとの時間差が所定値よりも大きいか否かを判断し（ステップＳＴ１２０）、所定値よりも大きいと判断すると、制御部１０１は、符号化部１０３に設定された量子化パラメータを低くする（ステップＳＴ１２１）。

このように制御することにより、画質の劣化を低減することができる。なお、量子化パラメータを低めに設定する手段としては、例えば、変更前の量子化パラメータに対して変数α（０＜α＜１）を乗算しても良いし、変更前の量子化パラメータから固定値β（βは自然数）を減算しても良い。

（実施形態１の変形例２）
また、図７Ｂのように、符号化対象となるピクチャと参照ピクチャとの時間差に基づいて、ピクチャのインター符号化の際に用いられる動き探索範囲を調整するように制御しても良い。詳しく述べると、制御部１０１は、入力部１０２から符号化部１０３へ供給されるピクチャとそのピクチャに対応する参照ピクチャとの時間差が所定値よりも大きいか否かを判断し（ステップＳＴ１２０）、所定値よりも大きいと判断すると、制御部１０１は、符号化部１０３に設定された動き探索範囲を広くする（ステップＳＴ１２２）。例えば、変更前の動き探索範囲が水平方向／垂直方向に−３２〜＋３２である場合、水平方向／垂直方向に−６４〜＋６４になるように動き探索範囲を広く設定する。

このように制御することにより、符号化対象となるピクチャの中からピクチャ間の相関が高い位置を検出し易くなり、画質の劣化を低減することができる。

（実施形態２）
図８は、この発明の実施形態２による撮像システムの構成を示す。この撮像システム２は、動画像符号化処理を担う動画像符号化部２０２の他に、カメラ部２１と、カメラＩ／Ｆ部２２と、画像復号化部２３と、メディア２４と、メディアＩ／Ｆ部２５と、表示部２６と、表示制御部２７と、伝送部２８と、伝送制御部２９と、これらの要素を制御する制御部２０１と、これらの要素に共有される外部記憶部２０３と、これらの要素と外部記憶部２０３とを接続するメモリバス２００とを備える。

動画像符号化部２０２は、図１に示した入力部１０２，符号化部１０３，ストリーム生成部１０４，および再構築部１０５を含む。制御部２０１は、撮像システム２を構成する各ブロックの制御に加えて、図１に示した制御部１０１と同様の処理を実行する。また、外部記憶部２０３の一部には、動画像符号化処理に用いられる参照ピクチャを格納するための領域が割り当てられている。

外部記憶部２０３は、動画像符号化部２０２だけでなく、制御部２０１，カメラＩ／Ｆ部２２，画像復号化部２３，メディアＩ／Ｆ部２５，表示制御部２７，伝送制御部２９の各々からもアクセスされる。特に、カメラＩ／Ｆ部２２に接続されるカメラ部２１には、ＣＣＤやＣＭＯＳセンサーなどの撮像デバイスが搭載され、この撮像デバイスが有する画素数は、撮像システムの種類（普及機、高級機など）によってさまざまである。そのため、カメラＩ／Ｆ部２２から外部記憶部２０３へのアクセス量は、カメラ部２１の仕様に応じて変動する。また、表示制御部２７に接続される表示部２６として、ＱＶＧＡ解像度の液晶モニタが用いられる場合もあれば、ＨＤＴＶ解像度のプラズマディスプレイなどが用いられる場合もある。そのため、表示制御部２７から外部記憶手段２０３へのアクセス量は、表示部２６の仕様によって変動する。このように、外部記憶部２０３へのアクセス量は、常に一定ではなく、撮像システムに備えられる各要素の仕様等に応じて変動する。

図８に示した動画像符号化部２０２では、メモリバス２００のトラフィック量（所定時間内に外部記憶部２０３へ伝送されるデータおよび外部記憶部２０３から伝送されるデータの総量）に基づいて通常符号化処理および多ストリーム生成処理が切り替えられる。

次に、図９を参照しつつ、図８に示した撮像システムによる動画像符号化処理について説明する。

まず、ステップＳＴ１０１と同様に、符号化対象となる動画像信号の各々について解像度とフレームレートが設定され、符号化設定についての情報が制御部２０１に与えられる（ステップＳＴ２０１）。次に、制御部２０１は、ステップＳＴ１０５と同様に、符号化設定を参照して、ステップＳＴ２０１において設定された複数の動画像信号を解像度別にグループ分けし、各グループの中から最大のフレームレートを有する動画像信号を選出する（ステップＳＴ２０２）。次に、制御部２０１は、メモリバス２００のトラフィック量が帯域内に収まっているか否かを判断し（ステップＳＴ２０３）、収まっている場合には、ステップＳＴ１０３と同様の処理（すなわち、通常符号化処理）が実行される（ステップＳＴ２０４）。一方、収まっていない場合には、ステップＳＴ１０７と同様の処理（すなわち、多ストリーム生成処理）が実行される（ステップＳＴ２０５）。次に、符号化を継続する場合には、上述の処理を再度実行する（ステップＳＴ２０６）。

以上のように、メモリバス２００のトラフィック量が多い場合に、多ストリーム生成処理が実行され、動画像符号化部２０２（再構築部１０５）が外部記憶部２０３に参照ピクチャを書き込む回数が減少する。これにより、動画像符号化部２０２以外のブロックが外部記憶部２０３にアクセスすることを妨げにくくなるので、撮像システムにとって最適な動画像符号化処理を実現することができる。

なお、実施形態１の変形例１および変形例２の各々に示した処理を、実施形態２における処理に適用することは、当然、可能である。

（第３の実施形態）
図１０のように、図１に示した動画像符号化装置１を、デジタルスチルカメラやネットワークカメラ等の撮像システムに搭載することも可能である。図１０において、撮像システム３は、動画像符号化装置１を含む画像処理回路３３と、レンズ（光学系）３０と、アナログ・デジタル変換回路３２と、記録回路３４と、再生回路３５と、タイミング制御回路３６と、システム制御回路３７とを備える。

この撮像システム３では、レンズ（光学系）３０を通って入射した画像光がセンサ３１上に結像され、光電変換される。光電変換によって得られた電気信号は、アナログ・デジタル変換回路３２によってデジタル信号に変換された後、画像処理回路３３に供給される。画像処理回路３３は、Ｙ／Ｃ処理，エッジ処理，画像の拡大縮小，ＪＰＥＧやＭＰＥＧ等の画像圧縮／伸張処理，画像圧縮されたストリームの制御等を実行する。画像処理回路３３によって処理された信号は、記録回路３４に記録される。記録回路３４に記録された信号は、再生回路３５により再生される。センサ３１および画像処理回路３３に含まれる動画像符号化装置１は、タイミング制御回路３６により制御され、レンズ３０，記録回路３４，再生回路３５，およびタイミング制御回路３６は、それぞれ、システム制御回路３７により制御される。

なお、記録回路３４に代えて、画像処理回路３３によって処理された信号をインターネット等を介して伝送する伝送回路が備えられていても良い。この場合、再生回路３５は、伝送回路によって伝送された信号を再生する。

なお、図１０に示した撮像システムでは、レンズ３０からの画像光をセンサ３１で光電変換してアナログ・デジタル変換回路３２に入力するカメラ機器等について説明したが、本発明はこれに限定されず、その他、テレビ等のＡＶ機器のアナログ映像入力を直接にアナログ・デジタル変換回路３２に接続しても良い。

この発明は、低消費電力な符号化が要求されるデジタルスチルカメラをはじめ、監視カメラやネットワークカメラなどに有用である。

この発明の実施形態１による動画像符号化装置の構成を示すブロック図。 図１に示した動画像符号化装置による動作について説明するためのフローチャート。 図１に示した動画像符号化装置による多ストリーム生成処理について説明するためのフローチャート。 多ストリーム生成処理によって符号化される動画像信号について説明するための図。 多ストリーム生成処理によって出力される符号化ストリームについて説明するための図。 多ストリーム生成処理の変形例について説明するための図。 （Ａ）実施形態１の変形例１について説明するためのフローチャート。（Ｂ）実施形態１の変形例２について説明するためのフローチャート。 この発明の実施形態２による撮像システムの構成を示すブロック図。 図８に示した撮像システムによる動画像符号化処理について説明するためのフローチャート。 本実施形態の動画像符号化装置を撮像装置に適用した例について説明するためのブロック図。 従来の動画像信号の符号化について説明するための図。

符号の説明

１ 動画像符号化装置
１０１ 制御部
１０２ 入力部
１０３ 符号化部
１０４ ストリーム生成部
１０５ 再構築部
１０６ 記憶部
２００ メモリバス
２０１ 制御部
２０２ 動画像符号化部
２０３ 外部記憶部
２１ カメラ部
２２ カメラＩ／Ｆ部
２３ 画像復号化部
２４ メディア
２５ メディアＩ／Ｆ部
２６ 表示部
２７ 表示制御部
２８ 伝送部
２９ 伝送制御部
３０ レンズ
３１ センサ
３２ アナログ・デジタル変換回路
３３ 画像処理回路
３４ 記録回路
３５ 再生回路
３６ タイミング制御部
３７ システム制御回路

Claims (14)

1. 時系列順に並んだ複数のピクチャを含む動画像信号を符号化する方法であって、
   前記動画像信号を符号化し、符号化ストリームを生成するステップ（ａ）と、
   前記ステップ（ａ）によって符号化された動画像信号から符号化ピクチャを周期的に間引きし、前記動画像信号とはフレームレートが異なる別の動画像信号に対応する別の符号化ストリームを生成するステップ（ｂ）とを備える
   ことを特徴とする動画像符号化方法。
2. 請求項１において、
   前記ステップ（ａ）では、解像度が同一でありフレームレートがそれぞれ異なるｍ個（ｍは２以上の整数）の動画像信号のうち最大のフレームレートを有する第１の動画像信号を符号化し、当該第１の動画像信号に対応する第１の符号化ストリームを生成し、
   前記ステップ（ｂ）では、前記ｍ個の動画像信号のうち前記第１の動画像信号を除く（ｍ−１）個の第２の動画像信号の各々のフレームレートに基づいて、前記ステップ（ａ）によって符号化された第１の動画像信号から符号化ピクチャを間引きし、当該（ｍ−１）個の第２の動画像信号に対応する（ｍ−１）個の第２の符号化ストリームを生成する
   ことを特徴とする動画像符号化方法。
3. 請求項２において、
   符号化対象となる動画像信号数ｍが予め定められた動画像信号数の最大値を超えているか否か判断するステップ（ｃ１）と、
   前記ステップ（ｃ１）によって前記動画像信号数ｍが前記最大値を超えていないと判断されると、前記ｍ個の動画像信号を時分割で符号化し、符号化されたｍ個の動画像信号をｍ個の符号化ストリームとして出力するステップ（ｄ）とをさらに備え、
   前記ステップ（ａ）および前記ステップ（ｂ）の各々は、前記ステップ（ｃ１）において前記動画像信号数ｍが前記最大値を超えていると判断されると、実行される
   ことを特徴とする動画像符号化方法。
4. 請求項２において、
   前記ｍ個の動画像信号を時分割で符号化するために必要な処理速度である必要処理速度が予め定められた最大処理速度を超えているか否か判断するステップ（ｃ２）と、
   前記ステップ（ｃ２）によって前記必要処理速度が前記最大処理速度を超えていないと判断されると、前記ｍ個の動画像信号を時分割で符号化し、符号化されたｍ個の動画像信号をｍ個の符号化ストリームとして出力するステップ（ｄ）とをさらに備え、
   前記ステップ（ａ）および前記ステップ（ｂ）の各々は、前記ステップ（ｃ２）において前記必要処理速度が前記最大処理速度を超えていると判断されると、実行される
   ことを特徴とする動画像符号化方法。
5. 請求項２において、
   前記ステップ（ａ）によって符号化された第１の動画像信号に含まれる複数の符号化ピクチャのうち前記ステップ（ｂ）において間引きされない符号化ピクチャのみから参照ピクチャを再構築するステップ（ａ１）をさらに備え、
   前記ステップ（ａ）では、前記参照ピクチャを用いて前記第１の動画像信号のピクチャをインター符号化する
   ことを特徴とする動画像符号化方法。
6. 請求項５において、
   前記ステップ（ａ）では、前記第１の動画像信号のピクチャと当該ピクチャに対応する参照ピクチャとの時間差に基づいて量子化パラメータを調整した後、当該ピクチャをインター符号化する
   ことを特徴とする動画像符号化方法。
7. 請求項５において、
   前記ステップ（ａ）では、前記第１の動画像信号のピクチャと当該ピクチャに対応する参照ピクチャとの時間差に基づいて動き探索範囲を調整した後、当該ピクチャをインター符号化する
   ことを特徴とする動画像符号化方法。
8. 請求項５〜７のいずれか１項において、
   所定時間内に記憶媒体へ伝送されるデータおよび当該記憶媒体から伝送されるデータの総量が所定帯域内に収まっているか否かを判断するステップ（ｅ）と、
   前記ステップ（ｅ）によって前記データの総量が前記所定帯域内に収まっていると判断されると、前記ｍ個の動画像信号を時分割で符号化し、符号化されたｍ個の動画像信号をｍ個のストリームとして出力するステップ（ｆ）とをさらに備え、
   前記記憶媒体には、前記参照ピクチャが格納されており、
   前記ステップ（ａ），前記ステップ（ｂ），前記ステップ（ａ１）の各々は、前記ステップ（ｅ）において前記データの総量が前記所定帯域内に収まっていないと判断されると、実行される
   ことを特徴とする動画像符号化方法。
9. 時系列順に並んだ複数のピクチャを含む動画像信号を符号化する装置であって、
   前記動画像信号を符号化し、符号化ストリームを生成する符号化部と、
   前記符号化部によって符号化された動画像信号から符号化ピクチャを周期的に間引きし、前記動画像信号とはフレームレートが異なる別の動画像信号に対応する別の符号化ストリームを生成するストリーム生成部とを備える
   ことを特徴とする動画像符号化装置。
10. 請求項９において、
    前記符号化部は、解像度が同一でありフレームレートがそれぞれ異なるｍ個（ｍは２以上の整数）の動画像信号のうち最大のフレームレートを有する第１の動画像信号を符号化し、当該第１の動画像信号に対応する第１の符号化ストリームを生成し、
    前記ストリーム生成部は、前記ｍ個の動画像信号のうち前記第１の動画像信号を除く（ｍ−１）個の第２の動画像信号の各々のフレームレートに基づいて、前記符号化部によって符号化された第１の動画像信号から符号化ピクチャを間引きし、当該（ｍ−１）個の第２の動画像信号に対応する（ｍ−１）個の第２の符号化ストリームを生成する
    ことを特徴とする動画像符号化装置。
11. 請求項１０において、
    符号化対象となる動画像信号数ｍが予め定められた動画像信号数の最大値を超えているか否か判断する制御部をさらに備え、
    前記符号化部は、前記制御部によって前記動画像信号数ｍが前記最大値を超えていないと判断されると、前記ｍ個の動画像信号を時分割で符号化し、当該ｍ個の動画像信号に対応するｍ個の符号化ストリームを生成する一方、前記制御部によって前記動画像信号数ｍが前記最大値を超えていると判断されると、前記ｍ個の動画像信号のうち前記第１の動画像信号を符号化し前記第１の符号化ストリームを生成し、
    前記ストリーム生成部は、前記制御部によって前記動画像信号数ｍが前記最大値を超えていると判断されると、前記符号化部によって符号化された第１の動画像信号から前記符号化ピクチャを間引きし、前記（ｍ−１）個の第２の符号化ストリームを生成する
    ことを特徴とする動画像符号化装置。
12. 請求項１０において、
    前記ｍ個の動画像信号を時分割で符号化するために必要な処理速度である必要処理速度が予め定められた最大処理速度を超えているか否か判断する制御部をさらに備え、
    前記符号化部は、前記制御部によって前記必要処理速度が前記最大処理速度を超えていないと判断されると、前記ｍ個の動画像信号を時分割で符号化し、当該ｍ個の動画像信号に対応するｍ個の符号化ストリームを生成する一方、前記制御部によって前記必要処理速度が前記最大処理速度を超えていると判断されると、前記ｍ個の動画像信号のうち前記第１の動画像信号を符号化し前記第１の符号化ストリームを生成し、
    前記ストリーム生成部は、前記制御部によって前記必要処理速度が前記最大処理速度を超えていると判断されると、前記符号化部によって符号化された第１の動画像信号から前記符号化ピクチャを間引きし、前記（ｍ−１）個の第２の符号化ストリームを生成する
    ことを特徴とする動画像符号化装置。
13. 請求項９〜１２のいずれか１項に記載の動画像符号化装置を含む画像処理回路と、
    外部からの電気信号をデジタル信号に変換し、前記動画像信号として前記画像処理回路に供給するアナログ・デジタル変換回路とを備える
    ことを特徴とする撮像システム。
14. 請求項１３において、
    被写体の映像を電気信号に変換する撮像回路をさらに備え、
    前記アナログ・デジタル変換回路は、前記撮像回路によって得られた電気信号を前記デジタル信号に変換する
    ことを特徴とする撮像システム。

Images