JP2012074844A - マルチストリーム符号化制御装置及びカメラシステム - Google Patents

Abstract

【課題】マルチストリーム符号化制御装置において、複数の互いに異なる符号化形式で符号化した符号データを同時に出力する場合に、画質劣化を抑制して、高精細な画像を配信する。
【解決手段】２種以上の互いに異なる符号化方式で各々映像データを符号化する場合に、符号化予測部２０４は、符号化部２０２における各符号化方式での符号化において、符号化後の符号量及び符号化パラメータと、その符号化よりも前の符号化時の符号量及び符号化パラメータと、符号化するフレームレートと、出力部２０３の出力レートの何れか１つ以上によって、次の符号化時の設定を決定する。従って、複数の符号化方式で各々符号化された符号量の単位時間当たりの総和を、出力部２０３の伝送速度に合わせて制御することが可能となる。
【選択図】図２

Description

本発明は、主にＷｅｂカメラとしてＴＶやＰＣなどへの画像配信やＴＶ会議システムにおいて、画像をリアルタイムにマルチストリーム配信する際に、限られた出力帯域で高画質な動画を提供するマルチストリーム符号化制御装置に関するものである。

近年、一般家庭でＡＤＳＬや光ファイバ、ＣＡＴＶ網などの専用線を使った広帯域で高速なデータ伝送が可能なＩＰ常時接続が当り前になってきた。これにより、家庭やオフィス端末に対してインターネットが常時接続されるようになり、静止画や動画、音声、その他のマルチメディア情報の伝送を行うテレビ電話システムやテレビ会議システムなどの通信手段の実現が可能となった。

上記のテレビ電話システム等での通信端末における映像入力機器として、カメラ撮影した映像信号をそのカメラ内部でデジタル信号として信号処理を実施し、デジタル映像信号を配信する技術が進んできた。

これにより、カメラで撮影した映像信号をインターネットなどを介して複数のユーザーへ配信することが可能となり、配信する映像信号のデータは配信先の出力伝送速度に応じて符号化を行い、撮影した映像をリアルタイムに提供する。

このとき、ユーザー側で扱う符号化された映像信号は、ユーザー環境に応じて異なっており、配信側で環境に応じた符号化を実施する必要性がある。

図１は、カメラからの映像信号を入力して所望の解像データを符号化し配信するシステムを示すブロック図である。

図１において、画像入力部１０１は、カメラからの映像画像を入力する。ＹＣ生成リサイズ処理部１０２は、入力された映像信号からＹＣ生成して所望の解像にリサイズする。符号化部１０３は、配信先の状態に応じた符号化処理部１０５にて符号化し、出力部１０４は、ＥｔｈｅｒやＵＳＢなど外部インタフェースを経由して外部の出力伝送速度に応じて前記符号化処理部１０５にて符号量を制御し且つ符号化した映像を配信している。

特開２００４−８８４８０号公報

しかしながら、上記のような構成は、出力部１０４からの出力データは１系統のみであるが、符号化部１０３が複数の符号化処理部１０５を持って２種以上の異なる符号化形式で符号化し、それ等の複数系統の符号データを出力部１０４から同時出力しようとする場合には、出力部１０４の符号データ出力レートを越えてしまうことが想定される。

そこで、例えば、複数の符号化処理部での符号結果の一部又は全部を再符号化により調整し、全符号量を抑制することが考えられるが、この場合には、再符号化する際にメモリアクセスが増加し、また出力部からの符号データの出力遅延を招き、更にはバッファリングによるメモリ増加が発生する課題が生じる。

更に、複数の符号化処理部での総符号量が出力部の出力レートに応じた最大総符号量を超えないように対処する場合に、複数の符号化処理部での各々の符号化処理での経時的な符号量変化を考慮すると、各符号化処理部で符号化する符号量は他の符号化処理部での最大符号量を考慮した少ない符号量に制限されて、複数の符号化処理部で符号化した符号量の総和は極めて少なくなってしまうことも想定される。そして、この場合には、出力部の出力レートに比して単位時間当たりの総和符号量が極めて少ない状況となって、画質劣化が発生する課題がある。

本発明の目的は、マルチストリーム符号化制御装置において、２種以上の異なる符号化形式で符号化する複数の符号化処理部を備えて、それ等の複数の符号化処理で符号化した符号データを出力部から同時出力する場合に、画質劣化を抑制して、高画質画像をリアルタイムで伝送できるようにすることにある。

前記目的を達成するため、本発明では、複数の符号化処理部で符号化した単位時間当たりの総和符号量が、出力部の符号データ出力レートを越えず、且つその符号データ出力レートに近いように制御する。

具体的に、請求項１記載の発明のマルチストリーム符号化制御装置は、映像信号を入力する画像入力部と、前記画像入力部に入力された前記映像信号を、２種以上の互いに異なる符号化方式に合わせて符号化する符号化部と、前記符号化部で符号化された２種以上の符号化データを出力する出力部と、前記符号化部での符号化結果に基づいて、前記符号化部での次の符号化設定を決定する符号化予測部とを備え、前記符号化予測部は、２種以上の異なる符号化方式での符号化結果と、それ等の符号化時に設定された符号化パラメータとに基づいて、前記２種以上の異なる符号化方式での総符号量を制御することを特徴とする。

請求項２記載の発明は、前記請求項１記載のマルチストリーム符号化制御装置において、前記２種以上の互いに異なる符号化方式は、２種以上の異なる動画符号化方式であり、前記符号化予測部は、前記２種以上の互いに異なる符号化方式の各々について、符号化後の符号量及び符号化パラメータと、前記符号化時よりも前回の符号化時での符号量及び符号化パラメータと、符号化するフレームレートと、前記出力部の出力レートとの何れか１つ以上によって、次の符号化パラメータを決定することを特徴とする。

請求項３記載の発明は、前記請求項１記載のマルチストリーム符号化制御装置において、前記２種以上の互いに異なる符号化方式は、１つ以上の静止画符号化方式と１つ以上の動画符号化方式であり、前記符号化予測部は、前記２種以上の互いに異なる符号化方式の各々について、符号化後の符号量及び符号化パラメータと、前記符号化時よりも前回の符号化時での符号量及び符号化パラメータと、符号化するフレームレートと、前記出力部の出力レートとの何れか１つ以上によって、次の符号化パラメータを決定することを特徴とする。

請求項４記載の発明は、前記請求項２記載のマルチストリーム符号化制御装置において、前記２つ以上の互いに異なる動画符号化方式は、各々、映像信号の各フレーム毎に符号化処理が異なり、前記符号化予測部は、前記各符号化方式において映像信号の各フレーム毎に符号化処理が異なって符号量が変動することを予測して、次に符号化する符号量を制御することを特徴とする。

請求項５記載の発明は、前記請求項３記載のマルチストリーム符号化制御装置において、静止画符号化方式での静止画の符号化結果を複数に分割して前記出力部へ渡す分割部を有し、前記出力部は、分割されたデータサイズを前記符号化予測部に通知し、前記符号化予測部は、前記出力部の出力レートと、前記分割されたデータサイズとに基づいて、動画符号化方式での動画符号化処理の符号量を制御をすることを特徴とする。

請求項６記載の発明は、請求項４記載のマルチストリーム符号化制御装置において、前記符号化予測部は、次に符号化する符号量の制御について、周期的に符号量が変動する情報を保持し、符号量が多いフレームが重ならないように制御することを特徴とする。

請求項７記載の発明のカメラシステムは、前記請求項１〜６の何れか１項に記載のマルチストリーム符号化制御装置を備えたことを特徴とする。

以上により、請求項１記載の発明では、２種以上の異なる符号化方式の映像信号を同時に出力する際に、それ等複数の符号化方式で各々符号化された符号量の単位時間当たりの総和を、出力部の符号データ出力速度に合わせて制御することが可能であるので、常に、その単位時間当たりの符号量の総和を出力部の伝送速度に応じた最大総和に制御でき、よって、符号化に伴う画質劣化を抑制して、高精細な画像を配信できる。

しかも、各符号化方式で符号化した符号量を再符号化する必要がないので、遅延なく高精細な画像を配信することが可能である。

また、請求項３記載の発明では、動画符号化方式の特徴に合わせて静止画像を出力できるので、動画像の画質劣化を抑制して高精細な画像を配信しつつ、静止画の出力が可能である。

更に、請求項４記載の発明では、複数の符号化方式で各々符号化する際に、符号量が大きくなるピクチャ同士が重ならないように制御できるので、単位時間当たりの符号量総和が出力部の符号データ出力速度に応じた符号量を越えることを防止でき、画質劣化を抑制することが可能である。

加えて、請求項５記載の発明では、動画符号化方式の特徴に合わせて静止画像を出力できるので、動画像の画質劣化を抑制して高精細な画像を配信しつつ、静止画の出力が可能である。

また、請求項６記載の発明では、Ｈ．２６４などの動画符号化方式において符号量が大きくなるピクチャが重ならないように制御できるので、単位時間当たりの符号量総和が出力部の符号データ出力速度に応じた符号量を越えることを防止でき、画質劣化を抑制することが可能である。

以上説明したように、請求項１〜７記載の発明によれば、２種以上の異なる符号化方式の映像信号を同時に出力する際に、それ等複数の符号化方式で各々符号化された符号量の単位時間当たりの総和を、出力部の伝送速度に合わせて制御することが可能であるので、常に、その単位時間当たりの符号量の総和を出力部の伝送速度に応じた最大総和に制御でき、高精細な画像を配信できる。

しかも、各符号化方式で符号化した符号量を再符号化する必要がないので、遅延なく高精細な画像を配信することができる。

従来の符号化配信システムのブロック構成図である。 本発明の第１の実施形態のマルチストリーム符号化制御装置の全体構成を示すブロック図である。 同マルチストリーム符号化制御装置の動作を示すフローチャート図である。 本発明の第２の実施形態のマルチストリーム符号化制御装置を搭載したＷｅｂカメラの全体構成を示すブロック図である。 （ａ）は同Ｗｅｂカメラの動作を示すフローチャート図、同図（ｂ）は同図（ａ）の動作フローチャートのステップＳ５０４及びＳ５０６の詳細を示すフローチャート図である。である。 本発明の第３の実施形態のマルチストリーム符号化制御装置を搭載したＷｅｂカメラの全体構成を示すブロック図である。 （ａ）は同Ｗｅｂカメラの動作を示すフローチャート図、同図（ｂ）は同図（ａ）の動作フローチャートのステップＳ５０４及びＳ５０６の詳細を示すフローチャート図である。

以下、本発明を実施形態について図面を参照しながら説明する
（実施形態１）
図２は、本発明の実施形態１に関わるマルチストリーム符号化制御装置の全体構成を示す。

図１に示したマルチストリーム符号化制御装置は、外部から符号化したい映像信号を入力する入力部２０１と、入力された映像信号を所定の符号化方式に合わせて符号化する符号化部２０２とを備える。前記符号化部２０２は、互いに異なる２つの符号化方式で入力映像信号を符号化する符号化処理部２０５、２０６を有する。

更に、図１に示したマルチストリーム符号化制御装置は、前記符号化部２０２で符号化された符号データを出力する出力部２０３と、符号化予測部２０４とを具備する。前記符号化予測部２０４は、前記出力部２０３の符号データ出力速度と、前記符号化部２０２の２つの各符号化処理部２０５、２０６での符号化結果とを入力して、次回符号化する場合の前記符号化処理部２０５、２０６での総符号量を制御する。

次に、映像信号が外部から入力された場合の動作について図２の構成図と図３のフローチャートに基づいて説明する。

図３のステップＳ３０１では、入力部２０１にて外部から入力された画像を取得する。次に、ステップＳ３０２では、符号化部２０２へ取得した映像信号を入力し、所望の符号化処理が一方の符号化処理部２０５での符号化か他方の符号化処理部２０６での符号化かを判断し、符号化処理部２０５での符号化の場合はステップＳ３０３に進み、符号化処理部２０６での符号化の場合はステップＳ３０５に進む。

ステップＳ３０３、Ｓ３０４及びステップＳ３０５、Ｓ３０６は、各々、前記符号化処理部２０５、２０６での処理を示しており、ステップＳ３０３、Ｓ３０５では、符号化予測部２０４にて、出力部２０３の符号データ出力速度と、単位時間当たりの各符号化処理部２０５、２０６で符号化処理した２つの符号量の総和と、その各符号化処理でのフレームレートと、その各符号化処理でのビットレートと、前回の符号化時に設定された符号化パラメータとに基づいて、各符号化処理部２０５、２０６にて次に符号化する場合の各符号化パラメータを決定する。

ステップＳ３０４、Ｓ３０６では、各符号化処理部２０５、２０６での符号化方式に則って入力映像信号を各々符号化する。その後、ステップＳ３０７では、各符号化処理部２０５、２０６で符号化した結果を前記符号化予測部２０４へ通知し、符号化予測部２０４はその保持している情報を前記通知情報に基づいて更新する。ステップＳ３０８では、各符号化処理部２０５、２０６で符号化された各符号データを出力部２０３から出力処理する。

（実施形態２）
図４は本発明の第２の実施形態を示す。

図４は、２つの異なる動画符号化形式がＨ．２６４とＭＰＥＧ４であるマルチストリーム符号化制御装置を搭載したＷｅｂカメラの構成を示す。

同図のＷｅｂカメラは、入力された映像光を電気信号に変換する撮像素子から読み出された映像信号を取得する画像入力部４０１と、ＹＣ生成と所望の画像サイズにリサイズするＹＣ生成・リサイズ部４０２と、得られたＹＣデータについてＨ．２６４符号化をする符号化処理部４０６及びＭＰＥＧ４符号化をする符号化処理部４０７からなる符号化部４０３と、その符号化した符号データをＵＳＢ出力する出力部４０４と、前記出力部４０４の符号データ出力速度及び前記各符号化処理部４０６、４０７の符号化結果を入力して次回に前記前記各符号化処理部４０６、４０７で符号化する場合の符号量の制御を行う符号化予測部４０５とを備え、前記出力部４０４から接続先のホストＰＣ４０８へＵＳＢケーブル経由で符号データの送信を行う構成である。

次に、映像信号が外部から入力された場合の動作について図４の構成図と図５のフローチャートより説明する。

図５（ａ）において、ステップＳ５０１では、画像入力部４０１にて外部から入力された映像光を電気信号に変換する撮像素子から読み出された映像信号を取得する。ステップＳ５０２では、ＹＣ生成・リサイズ部４０２において、前記取得された映像信号についてＹＣ生成及び所望の画像サイズにリサイズする。次のステップＳ５０３では、前記ＹＣ生成・リサイズされた画像を符号化部４０３へ入力して、所望の符号化処理対象の符号化処理部４０６又は４０７を選択する。

ステップＳ５０４、Ｓ５０５及びステップＳ５０６、Ｓ５０７は、各々、符号化処理部４０６、４０７での符号化処理を示している。ステップＳ５０４及びＳ５０６では、符号化予測部４０５にて、ＵＳＢ出力部４０４の符号データ出力速度と、各符号化処理部４０６、４０７での符号化処理結果とに基づいて、これ等符号化処理部４０６、４０７で各々次に符号化する場合の符号化パラメータを決定する。

ステップＳ５０５とＳ５０７では、各符号化処理部４０６、４０７において、各々、自己の符号化方式に則り、前記ＹＣ生成・リサイズ部４０２からの入力画像を符号化する。ステップＳ５０８では、前記各符号化処理部４０６、４０７で符号化した各々の結果を符号化予測部４０５へ通知し、符号化予測部４０５は保持している情報をその通知された情報に基づいて更新する。ステップＳ５０９では、前記符号化処理部４０６、４０７で符号化された各々の符号データをＵＳＢ出力部４０４からホストＰＣ４０８へ出力する。

図５（ｂ）は、前記図５（ａ）のステップＳ５０４とＳ５０５での符号化予測処理の詳細を示したフローチャートである。

同図（ｂ）のフローチャートにおいて、ステップＳ５１０では、前記図５（ａ）のステップＳ５０８で保持した例えば符号化処理部４０６での前回のＨ．２６４符号化結果であり、符号量、符号化パラメータであるＱｐ値（量子化パラメータ）、次のピクチャタイプを読み出す。

ステップＳ５１１とステップＳ５１２では、他の符号化形式であるＭＰＥＧ４符号化処理での符号処理部４０７の前回の符号化結果（符号量、Ｑｐ値、次のピクチャタイプ）を取得する。また、ステップＳ５１３では、ＵＳＢ出力部４０４の出力情報として出力ビットレートと、符号化処理部４０６、４０７での単位時間当たりの各出力符号量の総和を取得する。

そして、ステップＳ５１４では、各符号処理部４０６、４０７で次に符号化する符号化パラメータを決定するために、前記取得したＵＳＢ出力部４０４の出力ビットレートと、単位時間当たりの出力符号量総和とに基づいて、出力可能符号量を算出すると共に、例えば符号化処理部４０６で次にＨ．２６４符号化する１フレーム当たりの符号量を算出し、この次のピクチャタイプが符号量の大きいＩピクチャである場合に、符号化処理部４０７で次にＭＰＥＧ４符号化処理もＩピクチャであるときには、単位時間当たりの符号量が大きくなるため、符号化処理部４０７で次にＭＰＥＧ４符号化処理するピクチャタイプをＰ又はＢピクチャに選択し、その後、符号化処理部４０７での前回の符号量と次にＭＰＥＧ４符号化する１フレーム当たりの符号量とを比較し、同等の場合は前回の符号化時と同じＱｐ値、前回の符号量の方が小さい場合には前回の符号化時よりもＱｐ値を減らし、逆に前回の符号量の方が大きい場合には前回の符号化時よりもＱｐ値を増やす制御を行うように、次の符号化パラメータＱｐ値を決定する。

（実施形態３）
図６は本発明の第３の実施形態を示す。

同図は、動画符号化形式であるＨ．２６４と静止画符号化形式であるＪＰＥＧとを２種の異なる符号化形式とするマルチストリーム符号化制御装置を搭載したＷｅｂカメラ（カメラシステム）の構成を示す。

図６に示したＷｅｂカメラは、入力された映像光を電気信号に変換する撮像素子から読み出された映像信号を取得する画像入力部６０１と、ＹＣ生成と所望の画像サイズにリサイズするＹＣ生成・リサイズ部６０２と、得られたＹＣデータをＨ．２６４符号化する符号化処理部６０６と、ＪＰＥＧ符号化をする符号化処理部６０７とからなる符号化部６０３と、この符号化された符号データをＵＳＢ出力するＵＳＢ出力部６０４と、ＵＳＢ出力部６０４の符号データ出力速度及び各符号化処理部６０６、６０７の符号化結果を入力して各符号化処理部６０６、６０７で次回に符号化する場合の各々の符号量を制御する符号化予測部６０５と、静止画用のＪＰＥＧ符号化された符号データを固定長に分割して一定周期で出力部６０４へ出力する分割部６０８とを備え、前記ＵＳＢ出力部６０４から接続先のホストＰＣ６０９へＵＳＢケーブル経由でデータの送信を行う構成である。

次に、映像信号が外部から入力された場合の動作について、図６の構成図と図７のフローチャートより説明する。

図７（ａ）において、ステップＳ７０１では画像入力部６０１にて外部から入力された映像光を電気信号に変換する撮像素子から読み出された映像信号を取得する。ステップＳ７０２では、ＹＣ生成・リサイズ部６０２において、取得した映像信号をＹＣ生成及び所望の画像サイズにリサイズする。その後、ステップＳ７０３では、ＹＣ生成・リサイズした画像を符号化部６０３へ入力し、所望の符号化処理対象を選択する。

ステップＳ７０４、Ｓ７０５及びステップＳ７０６、Ｓ７０７は、各々、符号化処理部６０６、６０７での処理を示している。ステップＳ７０４とＳ７０６では、符号化予測部６０５にて、ＵＳＢ出力部６０４の符号データ出力速度と、各符号化処理部６０６、６０７での各符号化結果とに基づいて、次に各符号化処理部６０６、６０７で符号化する際の各々の符号化パラメータを決定する。

ステップＳ７０６とＳ７０７では、各符号化処理部６０６、６０７での符号化方式に則って入力画像信号を符号化する。ステップＳ７０８では、各符号化処理部６０６、６０７での符号化結果を符号化予測部６０５へ通知し、符号化予測部６０５は、保持している情報を前記通知された情報に基づいて更新する。また、ステップＳ７０７では、ＪＰＥＧ符号化されたデータを固定長に分割する情報を一定周期で分割部６０８へ通知する。

その後、ステップＳ７０９では、各符号化処理部６０６、６０７で符号化された各々の符号データをＵＳＢ出力部６０４からホストＰＣ６０９へ出力する。

このとき、符号化処理部６０７で符号化された静止画用符号データは、分割部６０８にて所望の時間内に転送できるように固定長に分割され、一定周期でＵＳＢ出力部６０４へ出力する。

図７（ｂ）は、前記図７（ａ）のフローチャートのステップＳ６０４とＳ６０５の詳細を示すフローチャートである。同図において、ステップＳ７１０では、図７（ａ）のステップＳ７０８で保持したＨ．２６４符合化処理の前回の符号化結果である符号量、Ｑｐ値、次のピクチャタイプを読み出す。

その後、ステップＳ７１１とステップＳ７１２では、符号化処理部６０７でのＪＰＥＧ符号化形式の前回の符号化結果（符号量、量子化テーブル、スケールファクタ）を取得する。続くステップＳ７１３では、ＵＳＢ出力部６０４の出力情報として出力ビットレート、両符号化処理部６０６、６０７の単位時間当たりの出力符号量総和を取得する。

ステップＳ７１４では、各符号化処理部６０６、６０７で次に符号化する各々の符号化パラメータを決定するために、前記取得した出力ビットレートと、単位時間当たりの出力符号量総和と、ＪＰＥＧの一定周期の出力符号量とに基づいて、出力可能符号量算出を算出すると共に、Ｈ．２６４符合化処理部６０６で次に符号化する１フレーム当たりの符号量を算出して、前回の１フレーム当たりの符号量と次に符号化する１フレーム当たりの符号量とを比較し、同等の場合は同じＱｐ値に、前回の符号量が小さい場合はＱｐ値を減らし、前回の符号量が大きい場合はＱｐ値を増やす制御を行うよう、次の符号化パラメータを決定する。ＪＰＥＧ符号化処理部６０７は、前回の符号量に基づいて、分割部６０８で使用する固定長の情報を算出する。

以上説明したように、本発明のマルチストリーム符号化制御装置は、出力部の出力転送速度を考慮してその出力帯域範囲一杯に使用しつつ、動画像の画質劣化を抑制して高画質の動画像をリアルタイムに出力できるので、例えば、監視カメラ、ＷＥＢカメラなどのネットワークカメラや、車載カメラ、ドライブレコーダなどの自動車搭載用カメラ、ＴＶやＰＣ接続によるＴＶ会議システムやＴＶ電話などに利用すると、好適である。

２０１ 入力部
２０２ 符号化部
２０３ 出力部
２０４ 符号化予測部
２０５、２０６ 符号化処理部
４０１、６０１ 画像入力部
４０２、６０２ ＹＣ生成・リサイズ部
４０３、６０３ 符号化部
４０４、６０４ ＵＳＢ出力部
４０５、６０５ 符号化予測部
４０６、６０６ Ｈ．２６４符号化処理部
４０７ ＭＰＥＧ４符号化処理部
４０８、６０９ ホストＰＣ
６０７ ＪＰＥＧ符号化処理部
６０８ 分割部

Claims (7)

1. 映像信号を入力する画像入力部と、
   前記画像入力部に入力された前記映像信号を、２種以上の互いに異なる符号化方式に合わせて符号化する符号化部と、
   前記符号化部で符号化された２種以上の符号化データを出力する出力部と、
   前記符号化部での符号化結果に基づいて、前記符号化部での次の符号化設定を決定する符号化予測部とを備え、
   前記符号化予測部は、
   ２種以上の異なる符号化方式での符号化結果と、それ等の符号化時に設定された符号化パラメータとに基づいて、前記２種以上の異なる符号化方式での総符号量を制御する
   ことを特徴とするマルチストリーム符号化制御装置。
2. 前記請求項１記載のマルチストリーム符号化制御装置において、
   前記２種以上の互いに異なる符号化方式は、２種以上の異なる動画符号化方式であり、
   前記符号化予測部は、
   前記２種以上の互いに異なる符号化方式の各々について、
   符号化後の符号量及び符号化パラメータと、
   前記符号化時よりも前回の符号化時での符号量及び符号化パラメータと、
   符号化するフレームレートと、
   前記出力部の出力レートとの何れか１つ以上によって、
   次の符号化パラメータを決定する
   ことを特徴とするマルチストリーム符号化制御装置。
3. 前記請求項１記載のマルチストリーム符号化制御装置において、
   前記２種以上の互いに異なる符号化方式は、１つ以上の静止画符号化方式と１つ以上の動画符号化方式であり、
   前記符号化予測部は、
   前記２種以上の互いに異なる符号化方式の各々について、
   符号化後の符号量及び符号化パラメータと、
   前記符号化時よりも前回の符号化時での符号量及び符号化パラメータと、
   符号化するフレームレートと、
   前記出力部の出力レートとの何れか１つ以上によって、
   次の符号化パラメータを決定する
   ことを特徴とするマルチストリーム符号化制御装置。
4. 前記請求項２記載のマルチストリーム符号化制御装置において、
   前記２つ以上の互いに異なる動画符号化方式は、各々、映像信号の各フレーム毎に符号化処理が異なり、
   前記符号化予測部は、
   前記各符号化方式において映像信号の各フレーム毎に符号化処理が異なって符号量が変動することを予測して、次に符号化する符号量を制御する
   ことを特徴とするマルチストリーム符号化制御装置。
5. 前記請求項３記載のマルチストリーム符号化制御装置において、
   静止画符号化方式での静止画の符号化結果を複数に分割して前記出力部へ渡す分割部を有し、
   前記出力部は、分割されたデータサイズを前記符号化予測部に通知し、
   前記符号化予測部は、
   前記出力部の出力レートと、前記分割されたデータサイズとに基づいて、動画符号化方式での動画符号化処理の符号量を制御をする
   ことを特徴とするマルチストリーム符号化制御装置。
6. 請求項４記載のマルチストリーム符号化制御装置において、
   前記符号化予測部は、
   次に符号化する符号量の制御について、周期的に符号量が変動する情報を保持し、符号量が多いフレームが重ならないように制御する
   ことを特徴とするマルチストリーム符号化制御装置。
7. 前記請求項１〜６の何れか１項に記載のマルチストリーム符号化制御装置を備えた
   ことを特徴とするカメラシステム。

Images