JP2006050491A - マルチチャネル画像コーデック装置 - Google Patents

Abstract

【課題】 複数のチャネルを扱う監視カメラシステムにおいて、画像入力から画像圧縮までの遅延を抑え、圧縮率を高めるマルチチャネル画像コーデック装置を提供する。
【解決手段】 複数チャネルから複数動画像を入力し合成して１枚の合成フレームを生成するフレーム合成部５２と、画像圧縮エンコーダ５４と、個別フレームの境界位置を検出するフレーム境界検出部６２と、ストリーム境界検出部７２と、前記チャネルごとのビットストリームに分割するフレーム分割部７３と、チャネルごとの画像を生成する画像伸張デコーダ７６とにより、複数チャネルの入力画像を合成してまとめて同時に画像符号化するので、画像入力から画像圧縮までの遅延を抑え、かつ、時間的に隣接した画面情報相互間の関連性が維持でき、フレーム間圧縮により圧縮率を高めることができるとともに、個別チャネル別に分割することができる。
【選択図】 図１

Description

本発明は、複数チャネルの入力画像の圧縮を行うマルチチャネル画像コーデック装置に関するものである。

ネットワークを用いた監視カメラシステムにおいて、画像情報は非常に情報量が多いので、大量の画像情報をリアルタイムに伝送することは、非常に困難である。そのため、画像情報を圧縮して送信し、受信側で伸張するという技術が用いられている。

動画像圧縮方式のひとつであるＭＰＥＧ方式では、ＤＣＴ（Discrete Cosine Transform：離散余弦変換）を用いて画像の空間的冗長性を除去しそのデータだけで１枚の画像が構成されるフレーム内圧縮符号化（Ｉフレーム）と、前画像に対する動きや差分を求めて時間的冗長性を除去し前画像を参照して１枚の画像を構成するフレーム間圧縮符号化（Ｐフレーム）の各技術を用いて画像データの圧縮を行う。ここで、通常はフレーム内圧縮符号化（Ｉフレーム）よりもフレーム間圧縮符号化（Ｐフレーム）の方が圧縮率が高くなる。

そこで、伝送するストリームは、できるだけビット数を抑えるため、フレーム内圧縮符号化したＩフレーム画像の後に、数フレーム分のフレーム間圧縮符号したＰフレーム画像を続けるが、フレーム間圧縮符号化を続けると画質劣化が進むので、定期的にフレーム内圧縮符号したＩフレーム画像を挿入するのが一般的である。

このような圧縮方式は、連続する画像相互間の類似性が高い時に高い圧縮率が得られる。例えば、１台のカメラから順次に入力される画像をＭＰＥＧ方式で符号化する場合、隣接したフレーム相互間の関連性が高く、フレーム間圧縮により圧縮率を高められる。

ところが、複数チャネルからの複数台のカメラ画像が交代に入力される場合は、隣接した画面情報相互間の類似性が低く、既存のＭＰＥＧ符号化方式を適用し難い問題点がある。

この問題に対するものとして、マルチチャネルから交代に入力される画像に対する圧縮率を高められ、既存のＭＰＥＧ符号化方式を適用することができるマルチチャネル画像符号化器が提供されている（例えば、特許文献１参照）。

このものは、図８に示すように、複数の入力チャネルを通して転送される画像信号を選択的に受信する第１マルチスイッチング部１１で切り替え、入力チャネル別にそれぞれ複数のフレームバッファ１２ａ〜１２ｄを有するフレームバッファ群で画像を保持し、該フレームバッファ群に受信されたデータを符号化できるタイミング、例えば、ＧＯＰ（Group of picture）単位など、になったら、第２マルチスイッチング部１５でチャネル別に選択して、符号化器２０で画像信号をＭＰＥＧ方式で符号化している。

このように、同一チャネルの画像信号を続けてＭＰＥＧ符号化を行うことにより、隣接したフレーム相互間の関連性が高くなり圧縮率を高めている。
特開２００３−６１１００号公報（要約、第１図）

しかしながら、このような従来の方式では、ＭＰＥＧ符号化器内部に直前のローカルデコード画像を保持しているため、チャネルの切り替え直後はローカルデコード画像を参照する必要のないフレーム内圧縮符号化（Ｉフレーム）を行わなければならない。

したがって、頻繁にチャネルを切り替えることができず、切り替えのタイミングは次のフレームをフレーム内符号化とするＧＯＰの単位となり、画像入力後から画像符号化するまでに遅延が発生するという問題があった。例えば、１ＧＯＰが１５フレームで、３０フレーム／秒のキャプチャーレートで２チャネルから画像入力する場合を例に取ると、１つのチャネルの１ＧＯＰのデータが溜まるまでには、１秒も時間を要し画像符号化するまでに遅延が大きく、監視システムの画像コーデックとしては問題がある。

本発明は、このような従来の問題を解決するためになされたもので、複数チャネルからの複数台のカメラ画像が交代に入力される画像コーデック装置において、画像入力から画像圧縮までの遅延を抑え、かつ、隣接した画面情報相互間の関連性を高めてフレーム間圧縮により圧縮率を高められるマルチチャネル画像コーデック装置を提供することを目的とする。

本発明のマルチチャネル画像コーデック装置は、複数チャネルからのフレーム画像を入力し、複数チャネルのフレーム画像を合成して１枚の合成フレームを生成するフレーム合成手段と、前記フレーム合成手段に合成された合成フレームを画像圧縮符号化してビットストリームを生成する画像符号化手段とを備えたことを特徴とした構成を有している。

この構成により、複数チャネルの入力画像を合成してまとめて同時に画像符号化するので、画像入力から画像圧縮までの遅延を抑え、かつ、時間的に隣接した画面情報相互間の関連性が維持でき、フレーム間圧縮により圧縮率を高めることができる。

また、本発明のマルチチャネル画像コーデック装置は、前記合成フレーム内の合成前のフレームの外郭境界位置を検出するフレーム境界検出手段と、前記フレーム境界検出手段に検出されたフレーム境界位置により、前記画像符号化手段の画像圧縮符号化における動き探索範囲を制限する動き探索制限手段とを備えたことを特徴とした構成を有している。

この構成により、フレーム境界で動き探索範囲を制限するので、動き探索が元の原画像の１フレーム内ででき、動き探索処理を効率よく行うことができるとともに、元の画像内に閉じた符号化圧縮情報となり、チャネルごとの情報分離を容易に行うことができる。

さらに、本発明のマルチチャネル画像コーデック装置は、前記画像符号化手段に生成されたビットストリームから前記フレーム境界位置を検出するストリーム境界検出手段と、前記ストリーム境界検出手段に検出されたフレーム境界位置にしたがって前記ビットストリームを前記チャネルごとのビットストリームに分割するフレーム分割手段と、前記フレーム分割手段に分割されたチャネルごとのビットストリームをそれぞれ復号して、チャネルごとの画像を生成する画像復号手段とを備えたことを特徴とした構成を有している。

この構成により、フレーム境界位置情報にしたがってビットストリームを分割し、それぞれを復号するので、チャネルごとの動画像を個別に生成でき、チャネルごとの動画像をそれぞれ独立に扱うことができる。

さらに、本発明のマルチチャネル画像コーデック装置は、前記フレーム合成手段に合成された合成フレームの前記チャネルごとのフレームの合成パターン画像を生成するフレームパターン生成手段を備え、前記画像符号化手段は、前記フレーム合成手段に生成された合成フレームの画像圧縮符号化に先立って、前記フレームパターン生成手段に生成されたフレームパターン画像を画像圧縮符号化し、前記フレーム境界検出手段は、前記フレームパターン画像の符号化情報により、前記フレーム境界位置を検出し、前記ストリーム境界検出手段は、前記フレームパターン画像のビットストリームから前記フレーム境界位置を検出し、前記フレーム分割手段は、前記ビットストリームから前記フレームパターン画像のビットストリームを取り除き、前記チャネルごとのビットストリームに分割することを特徴とした構成を有している。

この構成により、フレームパターン画像を生成し、このフレームパターン画像を挿入してこのフレームパターン画像の情報によりフレーム境界位置を検出するので、変更したフレームパターン情報を任意のタイミングで挿入することができ、合成フレーム内のフレームの組み合わせを自由に変更して、状況にあったチャネルの組み合わせで各動画像を符号化することができる。

さらに、本発明のマルチチャネル画像コーデック装置は、前記フレームパターン生成手段は、前記フレームパターン画像の各チャネルのフレーム境界位置のみを変更したフレームパターン画像も生成し、前記画像符号化手段は、前記フレームパターン生成手段に生成された境界位置のみが変更された２つ目のフレームパターン画像を、前記１つ目のフレームパターン画像とのフレーム間予測で画像圧縮符号化し、前記フレーム境界検出手段は、前記フレームパターン生成手段に生成された２つ目のフレームパターン画像の符号化情報にしたがって、前記フレーム境界位置を検出することを特徴とした構成を有している。

この構成により、フレーム境界位置以外はノットコーデッドとなるフレームパターン画像情報によってフレーム境界位置が確認できるので、確実にフレーム境界位置を認識した画像コーデックを行うことができる。

さらに、本発明のマルチチャネル画像コーデック装置は、前記フレーム合成手段に合成された合成フレームの前記チャネルごとのフレーム境界位置の画像に境界位置情報を埋め込むフレームパターン埋め込み手段を備え、前記画像符号化手段は、前記フレームパターン埋め込み手段に境界位置情報を埋め込まれた前記合成フレームを画像圧縮符号化し、前記フレーム境界検出手段は、前記フレームパターン埋め込み手段に埋め込まれた前記境界位置情報により、前記フレーム境界位置を検出し、前記ストリーム境界検出手段は、前記境界位置情報が埋め込まれた前記合成フレームのビットストリームから前記フレーム境界位置を検出することを特徴とした構成を有している。

この構成により、フレームパターン画像を元の画像そのものに埋め込み、このフレームパターン画像の情報によりフレーム境界位置を検出するので、特別な画像の挿入や削除を行うことなく、任意のタイミングでフレームの合成パターンを変更することができ、状況にあったチャネルの組み合わせで各動画像を符号化することができる。

さらに、本発明のマルチチャネル画像コーデック装置は、前記フレーム合成手段は、前記複数チャネルのキャプチャーレートにしたがって前記チャネルごとのフレームを更新した合成フレームを生成し、さらに、前記フレーム分割手段に分割されたチャネルごとのビットストリームから符号化不要情報のフレームのビットストリームを間引くフレーム間引き手段を備え、前記画像復号手段は、前記フレーム間引き手段によるフレーム間引き後のビットストリームをそれぞれ復号することを特徴とした構成を有している。

この構成により、各チャネルのフレームから構成される合成フレームは、各チャネルのキャプチャーレートにしたがってチャネルごとのフレームが更新されるとともに、復号時には不要な情報が間引かれるので、複数チャネルからの画像入力のキャプチャーレートが異なる場合でも、符号化を行うことができ、無駄なビットストリームの蓄積も抑えることができる。

本発明は、複数チャネルから各動画像を入力し合成して１枚の合成フレームを生成するフレーム合成手段と、前記合成フレームを画像圧縮符号化してビットストリームを生成する画像符号化手段とを設けることにより、複数チャネルの入力画像を合成してまとめて同時に画像符号化して、画像入力から画像圧縮までの遅延を抑え、かつ、時間的に隣接した画面情報相互間の関連性が維持でき、フレーム間圧縮により圧縮率を高めることができるという効果を有するマルチチャネル画像コーデック装置を提供することができるものである。

以下、本発明の実施の形態のマルチチャネル画像コーデック装置について、図面を用いて説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態におけるマルチチャネル画像コーデック装置のブロック図を図１に示し、説明する。

図１に示すように、マルチチャネル画像コーデック装置は、カメラ等の画像入力デバイスである画像入力部４１、画像入力部４１により複数チャネルから入力される画像を圧縮して圧縮したビットストリームを出力する画像圧縮部４２、画像圧縮部４２から出力されたビットストリームを蓄積するビットストリーム蓄積部４３、ビットストリーム蓄積部４３からビットストリームを入力して、個別チャネルのフレームごとに分割し、圧縮データの伸張を行う画像伸張部４４、画像伸張部４４に伸張された画像データを表示するモニタなどの画像表示デバイスである画像出力部４５を備えている。

次に、画像圧縮部４２の詳細構成について説明する。

フレーム合成部５２は、画像入力部４１により複数のチャネルから入力される画像をマクロブロック境界で合成してひとつの画像に合成する回路である。フレームメモリ５３は、フレーム合成部５２に合成された画像を記憶するものである。画像圧縮エンコーダ５４は、フレームメモリ５３に記憶された画像を圧縮符号化してビットストリームを出力するものである。

フレーム境界検出部６２は、フレーム合成の情報を元に、マクロブロック単位のフレームの境界を検出する回路である。探索範囲制限部６３は、フレーム境界検出部６２に検出されたフレーム境界に従い画像圧縮エンコーダ５４での動きベクトル探索範囲をフレーム合成前の各フレーム内に制限するものである。

続いて、画像伸張部４４の詳細構成について説明する。

ストリーム境界検出部７２は、ビットストリーム蓄積部４３に蓄積されたビットストリームを入力して、このビットストリームより上記フレームの境界を検出する回路である。フレーム分割部７３は、ストリーム境界検出部７２による検出結果に従いビットストリームを分割して、チャネルごとに個別チャネルビットストリームを出力するものである。個別チャネルビットストリーム蓄積部７４は、フレーム分割部７３に分割された個別チャネルビットストリームをチャネルごとに蓄積するものである。

個別チャネル切り替えスイッチ７５は、表示対象となる個別チャネルを選択的に切り替え、個別チャネルビットストリーム蓄積部７４から出力するビットストリームを切り替えるスイッチ回路である。画像伸張デコーダ７６は、個別チャネル切り替えスイッチ７５に選択されたビットストリームを入力して画像伸張するものである。フレームメモリ７７は、画像伸張デコーダ７６に伸張された画像データを蓄積するものである。

以上のように構成されたマルチチャネル画像コーデック装置について、以下にその動作を説明する。以下では、図２（ａ）に示すように、各チャネルの入力画像がＱＶＧＡサイズ（３２０×２４０画素）で４チャネルの入力がある場合について説明する。この画像サイズやチャネル数は一例で、図２（ｂ）のように異なる画像サイズ（４８０×３６０が１つ、３２０×２４０が２つ、１６０×１２０が１つ）やチャネルの数は任意であり、フレーム合成した画像の間に隙間があっても構わない。

まず、画像圧縮部４２では、画像入力部４１から複数の画像を、フレーム合成部５２に入力し、図２に示すように一枚の画像（合成フレーム）に合成し、出力する。フレーム合成部５２から出力された合成フレームは、フレームメモリ５３に蓄積される。

次に、画像圧縮エンコーダ５４が、フレームメモリ５３から合成フレームを取り込み、画像圧縮符号化を行い、ビットストリームに変換する。ここで、１枚目の合成フレーム取り込み時は、参照画像がないのでフレーム内圧縮符号化を行う。

フレーム境界検出部６２では、画像圧縮エンコーダ５４から出力されたビットストリームからフレーム内の境界、すなわち、チャネルごとの境目を検出する。探索範囲制限部６３では、フレーム境界検出部６２で検出したマクロブロック単位のフレーム境界の情報を元に、動きベクトルの探索範囲を画像圧縮エンコーダ５４に伝える。画像圧縮エンコーダ５４では、２枚目以降の合成フレームをフレーム間圧縮符号化する際に、探索範囲制限部６３から伝えられた情報により、動きベクトルの探索範囲をフレーム境界の内側となるように制限して探索を行う。この処理を次のフレーム内圧縮符号化を行うまで繰り返す。

このことにより、隣接チャネルの相関の無い画像に対して動きベクトルの探索を禁止すると同時に、隣接チャネルの画像参照を行わないので、チャネル内のフレーム画像に閉じた画像圧縮を行うことができる。

画像圧縮部４２で圧縮された合成フレームのビットストリームは、ビットストリーム蓄積部４３に蓄積され、ビットストリーム蓄積部４３から画像伸張部４４に送られる。

次に、画像伸張部４４は、ビットストリーム蓄積部４３から入力したビットストリームを、ストリーム境界検出部７２で解析することにより、フレーム境界検出部６２と同じ方法により、フレーム境界を検出する。フレーム分割部７３は、ストリーム境界検出部７２の結果によりフレーム画像を構成するマクロブロック番号を知ることができるので、マクロブロック単位にビットストリームを分割して、個別チャネルビットストリーム蓄積部７４に出力する。ここで、上記探索範囲制限部６３の処理においで、動きベクトルの探索範囲を各フレーム内に制限しているので、分割されたビットストリームは単独で再生可能なビットストリームとなる。

さらに、個別チャネル切り替えスイッチ７５により、個別チャネルビットストリーム蓄積部７４から出力するビットストリームを切り替えて、選択したチャネルのビットストリームを画像伸張デコーダ７６に出力する。画像伸張デコーダ７６では、選択されたビットストリームを入力し画像伸張して、フレームメモリ７７に画像を出力し、フレームメモリ７７では、伸張されたチャネルごとの画像データを蓄積する。

フレームメモリ７７に蓄積された画像データは、画像出力部４５によって、チャネルごとの映像を表示することができる。

このような本発明の第１の実施の形態のマルチチャネル画像コーデック装置によれば、フレーム合成部５２を設けて、複数チャネルの入力画像を合成してまとめて同時に画像符号化するので、画像入力から画像圧縮までの遅延を抑え、かつ、時間的に隣接した画面情報相互間の関連性が高くフレーム間圧縮により圧縮率を高められるとともに、フレーム境界検出部６２を設けて、探索範囲制限部６３により動きベクトルの探索範囲をフレーム境界の内側に制限するので、ストリーム境界検出部７２とフレーム分割部７３により、ビットストリームを分割し、個別チャネル別に独立したビットストリームを生成することができるマルチチャネル画像コーデック装置を提供することができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態におけるマルチチャネル画像コーデック装置のブロック図を図３に示し、説明する。

図３に示すように、本実施の形態におけるマルチチャネル画像コーデック装置は、画像圧縮部４２に、フレーム合成部５２での合成位置を伝えるためのフレーム合成のパターン画像を生成するフレームパターン生成部８１を備えている。その他の構成は、上記第１の実施の形態と同様であり、同様の構成要素には同一の番号を付与し、その説明は省略する。

以上のように構成されたマルチチャネル画像コーデック装置について、以下にその動作を説明する。

画像圧縮部４２において、フレームパターン生成部８１は、フレーム合成部５２で合成したフレーム合成の配置パターンで、それぞれ各フレーム内は一様で他のフレームとは異なる輝度または色差となるようなフレームパターンを生成する。例えば、図２（ａ）のフレームパターン１１２ａ、図２（ｂ）のフレームパターン１１２ｂのようなフレームパターン画像を生成する。

さらに、フレームパターン生成部８１は、今生成したフレームパターン画像の各々のフレームの角のマクロブロックのみの輝度または色差を変化させたフレームパターン画像を生成する。例えば、図２（ａ）のフレームパターン１１３ａ、図２（ｂ）のフレームパターン１１３ｂのようなフレームパターン画像を生成する。

画像圧縮エンコーダ５４は、これら２つのフレームパターン画像を圧縮符号化する。ここで、画像圧縮エンコーダ５４は、前記２つ目のフレームパターン画像を、前記１つ目のフレームパターン画像とのフレーム間予測で、画像圧縮符号化する。このようにすると、２つ目のフレームパターン画像は、変化をさせたフレームの角のマクロブロック以外は、直前の画像と同一であることをあらわすノットコーデッド（ＮＣ）として符号化される。

フレーム境界検出部６２は、前記１つ目のフレームパターン画像の輝度または色差の境界を検出するか、または、前記２つ目のフレームパターン画像のノットコーデッド（ＮＣ）以外の位置、すなわち、各フレームの角を検出することによりフレーム画像の境界を検出する。

また、フレームパターンの生成方法は、これ以外にも、フレームの縁取りを黒い帯状であらわしても良いし、また他の方法の画像であらわしても良い。

このようなフレーム合成のパターン画像を挿入した後、上記第１の実施の形態と同様に、画像入力部４１から入力した画像を画像圧縮部４２で圧縮符号化する。

画像伸張部４４では、ストリーム境界検出部７２が、上記フレームパターン画像が符号化されたビットストリームからフレーム境界位置を検出する。フレーム分割部７３は、上記フレームパターン画像の符号化ビットストリームを取り除く。以下、上記第１の実施の形態と同様に、ビットストリーム分割を行って、各フレームごとに画像が復号され、出力される。

このような本発明の第２の実施の形態のマルチチャネル画像コーデック装置によれば、フレーム合成部５２の合成位置などを画像として挿入するので、フレーム境界検出部６２と、ストリーム境界検出部７２の構成で、合成位置などを検出できるので、任意のタイミングでフレーム合成パターンを変化させることができるという、マルチチャネル画像コーデック装置を提供することができる。

（第３の実施の形態）
次に、本発明の第３の実施の形態におけるマルチチャネル画像コーデック装置のブロック図を図４に示し、説明する。

図４に示すように、本実施の形態におけるマルチチャネル画像コーデック装置は、画像圧縮部４２に、フレーム合成部５２での合成位置を伝えるためのフレーム合成のパターン情報を、画像自身の中に埋め込むフレームパターン埋め込み部８２を備えている。その他の構成は、上記第１の実施の形態と同様であり、同様の構成要素には同一の番号を付与し、その説明は省略する。

以上のように構成されたマルチチャネル画像コーデック装置について、以下にその動作を説明する。

画像圧縮部４２において、フレームパターン埋め込み部８２は、フレーム合成部５２で合成する各々のフレームの角のマクロブロックに対し、市松模様状に輝度または色差の反転を行う。また、次のフレーム画像では、逆の市松模様状に輝度または色差の反転を行う。この画像反転は、例えば、８×８のブロック単位に市松模様状に、個々の輝度の値をある決めた最大値から引き算することにより反転させる。具体的には、最初のフレームでは、図５のフレームパターン１１２ｃ、ブロック画像変化１２１に示すように、奇数のドット位置を反転させ、次のフレームでは、図５のフレームパターン１１３ｃ、ブロック画像変化１２２に示すように、偶数のドット位置を反転させる。この市松模様の変化のさせ方は、どんな方法であっても識別できれば構わない。

フレーム境界検出部６２、ストリーム境界検出部７２では、画像中における市松模様状の変化を検出することにより、フレーム境界を検出することができる。検出後は、逆演算を行うことにより、元の画像から市松模様を消すこともできる。

このような本発明の第３の実施の形態のマルチチャネル画像コーデック装置によれば、フレーム合成部５２の合成位置などを画像そのものに埋め込むので、フレーム境界検出部６２と、ストリーム境界検出部７２の構成で、合成位置などを検出できるので、任意のタイミングでフレーム合成パターンを変化させることができ、不用なパターン画像を挿入する必要なく、マルチチャネル画像コーデック装置を提供することができる。

（第４の実施の形態）
次に、本発明の第４の実施の形態におけるマルチチャネル画像コーデック装置のブロック図を図６に示し、説明する。

図６に示すように、本実施の形態におけるマルチチャネル画像コーデック装置は、画像伸張部４４に、フレーム分割部７３で個別チャネルに分割されたビットストリームの中から、画像入力部４１のキャプチャーレートの違いによる無効なフレームを間引くフレーム間引き部９１を備えている。その他の構成は、上記第１の実施の形態と同様であり、同様の構成要素には同一の番号を付与し、その説明は省略する。

以上のように構成されたマルチチャネル画像コーデック装置について、以下にその動作を説明する。ここでは、図７に示すように、２チャネルの画像入力部４１からの画像入力において、チャネル１とチャネル２のキャプチャーレートが異なる場合について説明する。

図７に示すように、キャプチャータイミング（ア）においてチャネル１とチャネル２をキャプチャーして画像Ａ１と画像Ｂ１を入力しフレーム合成して圧縮してビットストリーム「Ａ１」「Ｂ１」が生成される。次のキャプチャータイミング（イ）においては、チャネル１のみキャプチャーして画像Ａ２が入力されチャネル２側は直前の画像Ｂ１が残っておりフレーム合成して圧縮してビットストリーム「Ａ２」「ＮＣ」が生成される。「ＮＣ」は、直前の画像と同じことを示すノットコーデッドである。

次に、キャプチャータイミング（ウ）においてチャネル１とチャネル２をキャプチャーして画像Ａ３と画像Ｂ２を入力しフレーム合成して圧縮してビットストリーム「Ａ３」「Ｂ２」が生成される。以下同様に、ビットストリームが生成される。

フレーム分割部７３では、ビットストリームを個別チャネルに分割することにより、「Ａ１」「Ａ２」「Ａ３」「Ａ４」「Ａ５」・・・のチャネル１のビットストリームと、「Ｂ１」「ＮＣ」「Ｂ２」「ＮＣ」「Ｂ３」・・・のチャネル２のビットストリームに分割される。フレーム間引き部９１では、「ＮＣ」のノットコーデッドのストリーム部分を削除する。

このような本発明の第４の実施の形態のマルチチャネル画像コーデック装置によれば、フレーム間引き部９１を設けることにより、複数チャネルからの画像入力のキャプチャーレートが異なる場合でも、無駄なビットストリームの蓄積を抑えたマルチチャネル画像コーデック装置を提供することができる。

以上のように、本発明にかかるマルチチャネル画像コーデック装置は、画像入力から画像圧縮までの遅延を抑え、かつ、時間的に隣接した画面情報相互間の関連性が維持でき、フレーム間圧縮により圧縮率を高めることができるという効果を有し、複数チャネルの入力画像の圧縮を行うマルチチャネル画像コーデック装置等として有用である。

本発明の第１の実施の形態におけるマルチチャネル画像コーデック装置のブロック図 本発明の第１の実施の形態におけるフレーム合成例とフレームパターン生成例 本発明の第２の実施の形態におけるマルチチャネル画像コーデック装置のブロック図 本発明の第３の実施の形態におけるマルチチャネル画像コーデック装置のブロック図 本発明の第３の実施の形態におけるフレーム合成例とフレームパターン生成例 本発明の第４の実施の形態におけるマルチチャネル画像コーデック装置のブロック図 本発明の第４の実施の形態におけるフレーム間引き例 従来のマルチチャネル画像符号化器のブロック図

符号の説明

１０ チャネルデータ処理部
１１ 第１マルチスイッチング部
１２ａ、１２ｂ、１２ｃ、１２ｄ フレームバッファ
１５ 第２マルチスイッチング部
１７ チャネル制御部
１９ チャネル選択部
２０ 符号化器
２１ 減算器
２２ 離散余弦変換器（ＤＣＴ）
２３ 量子化器（Ｑ）
２４ 逆量子化器（Ｑ^−１）
２５ 逆離散余弦変換器（ＩＤＣＴ）
２６ 加算器
２７ 予測メモリ部
２８ 可変長符号化器（ＶＬＣ）
２９ パーサ
４１ 画像入力部
４２ 画像圧縮部
４３ ビットストリーム蓄積部
４４ 画像伸張部
４５ 画像出力部
５２ フレーム合成部
５３ フレームメモリ
５４ 画像圧縮エンコーダ
６２ フレーム境界検出部
６３ 探索範囲制限部
７２ ストリーム境界検出部
７３ フレーム分割部
７４ 個別チャネルビットストリーム蓄積部
７５ 個別チャネル切り替えスイッチ
７６ 画像伸張デコーダ
７７ フレームメモリ
８１ フレームパターン生成部
８２ フレームパターン埋め込み部
９１ フレーム間引き部

Claims (7)

1. 複数チャネルからのフレーム画像を入力し、複数チャネルのフレーム画像を合成して１枚の合成フレームを生成するフレーム合成手段と、
   前記フレーム合成手段に合成された合成フレームを画像圧縮符号化してビットストリームを生成する画像符号化手段とを備えたことを特徴とするマルチチャネル画像コーデック装置。
2. 請求項１に記載のマルチチャネル画像コーデック装置において、
   前記合成フレーム内の合成前のフレームの外郭境界位置を検出するフレーム境界検出手段と、
   前記フレーム境界検出手段に検出されたフレーム境界位置により、前記画像符号化手段の画像圧縮符号化における動き探索範囲を制限する動き探索制限手段とを備えたことを特徴とするマルチチャネル画像コーデック装置。
3. 請求項２に記載のマルチチャネル画像コーデック装置において、
   前記画像符号化手段に生成されたビットストリームから前記フレーム境界位置を検出するストリーム境界検出手段と、
   前記ストリーム境界検出手段に検出されたフレーム境界位置にしたがって前記ビットストリームを前記チャネルごとのビットストリームに分割するフレーム分割手段と、
   前記フレーム分割手段に分割されたチャネルごとのビットストリームをそれぞれ復号して、チャネルごとの画像を生成する画像復号手段とを備えたことを特徴とするマルチチャネル画像コーデック装置。
4. 請求項３に記載のマルチチャネル画像コーデック装置において、
   前記フレーム合成手段に合成された合成フレームの前記チャネルごとのフレームの合成パターン画像を生成するフレームパターン生成手段を備え、
   前記画像符号化手段は、前記フレーム合成手段に生成された合成フレームの画像圧縮符号化に先立って、前記フレームパターン生成手段に生成されたフレームパターン画像を画像圧縮符号化し、
   前記フレーム境界検出手段は、前記フレームパターン画像の符号化情報により、前記フレーム境界位置を検出し、
   前記ストリーム境界検出手段は、前記フレームパターン画像のビットストリームから前記フレーム境界位置を検出し、
   前記フレーム分割手段は、前記ビットストリームから前記フレームパターン画像のビットストリームを取り除き、前記チャネルごとのビットストリームに分割することを特徴とするマルチチャネル画像コーデック装置。
5. 請求項４に記載のマルチチャネル画像コーデック装置において、
   前記フレームパターン生成手段は、前記フレームパターン画像の各チャネルのフレーム境界位置のみを変更したフレームパターン画像も生成し、
   前記画像符号化手段は、前記フレームパターン生成手段に生成された境界位置のみが変更された２つ目のフレームパターン画像を、前記１つ目のフレームパターン画像とのフレーム間予測で画像圧縮符号化し、
   前記フレーム境界検出手段は、前記フレームパターン生成手段に生成された２つ目のフレームパターン画像の符号化情報にしたがって、前記フレーム境界位置を検出することを特徴とするマルチチャネル画像コーデック装置。
6. 請求項３に記載のマルチチャネル画像コーデック装置において、
   前記フレーム合成手段に合成された合成フレームの前記チャネルごとのフレーム境界位置の画像に境界位置情報を埋め込むフレームパターン埋め込み手段を備え、
   前記画像符号化手段は、前記フレームパターン埋め込み手段に境界位置情報を埋め込まれた前記合成フレームを画像圧縮符号化し、
   前記フレーム境界検出手段は、前記フレームパターン埋め込み手段に埋め込まれた前記境界位置情報により、前記フレーム境界位置を検出し、
   前記ストリーム境界検出手段は、前記境界位置情報が埋め込まれた前記合成フレームのビットストリームから前記フレーム境界位置を検出することを特徴とするマルチチャネル画像コーデック装置。
7. 請求項３に記載のマルチチャネル画像コーデック装置において、
   前記フレーム合成手段は、前記複数チャネルのキャプチャーレートにしたがって前記チャネルごとのフレームを更新した合成フレームを生成し、
   さらに、前記フレーム分割手段に分割されたチャネルごとのビットストリームから符号化不要情報のフレームのビットストリームを間引くフレーム間引き手段を備え、
   前記画像復号手段は、前記フレーム間引き手段によるフレーム間引き後のビットストリームをそれぞれ復号することを特徴とするマルチチャネル画像コーデック装置。

Images