JP2010239230A - 画像符号化装置 - Google Patents

Abstract

【課題】順次入力されるフレームレートの異なる画像を符号化する場合にも高画質な再生画像を取得可能にする。
【解決手段】カメラから入力される画像データから当該画像データのフレームレートを算出するフレームレート算出部４０と、カメラから入力された画像データを一旦バッファメモリに書き込み、算出されたフレームレートに基づいてバッファメモリから画像データを読み出して一定のフレームレートに変換し出力するフレームレート制御バッファ部２０と、算出されたフレームレートに基づいて、動き探索範囲とＧＯＰ構造を決定する符号化制御部５０と、決定された動き探索範囲およびＧＯＰ構造に基づいて、一定のフレームレートに変換された画像データの符号化を行い、可変長のビットストリームデータを生成する画像符号化部３０を備える。
【選択図】図１

Description

この発明は、例えば複数のカメラ画像を扱う監視カメラシステムに適用され、フレームレートの異なる画像データを符号化する画像符号化装置に関するものである。

近年、異なる監視エリアを撮影した複数のカメラからの画像を画像記録表示装置に配信して複数のカメラ画像を分割表示し、また画像データを順次圧縮して、記録媒体に記録しておく監視カメラシステム（デジタルＣＣＴＶ：Closed Circuit TeleVisionシステム）が広く普及し始めている。このようなシステムでは、複数カメラで撮影した画像を周期的に切り替え、一つの符号化部に入力して画像データの圧縮を行うシステム構成が想定されるが、画像データを圧縮する符号化技術としては、例えば国際標準規格であるＭＰＥＧ２（Moving Picture Experts Group Part2）や最近ではＨ．２６４／ＡＶＣ（Advanced Video Coding）等が用いられている。これらの技術は動き補償予測符号化、離散コサイン変換符号化および可変長符号化を組み合わせたハイブリッド符号化方式である。

一方、監視カメラシステムでは、複数のカメラに対応する場合、異なる画像が入力されるが、このとき監視するエリアの重要度に応じて高いフレームレートが必要であったり、ほとんど動きのないエリアでは低いフレームレートで十分であったり、また、動き検出などでカメラから何か異常が検出された場合にフレームレートを上げて記録する場合等がある。このため、複数カメラからの画像データを一つの符号化部で圧縮する場合は、異なるフレームレートの画像データをある所定の周期で切り替えて順番に符号化していく必要がある。

監視カメラシステムとして、複数の監視カメラが各々の設定に応じて、フレーム間引き処理を行ってフレームレートを制御し、全カメラの画像データがある所定のフレームレートで記録されるよう、伝送Ｉ／Ｆによってカメラ画像を切り替え、一つの符号化回路にて画像データを圧縮し記録媒体に記録する技術がある（例えば、特許文献１参照）。

特開２００８−１３１２６４号公報（第５頁〜１９頁、図 １）

上記従来の監視カメラシステムでは、複数のカメラからのフレームレートが異なる画像データを切り替えて、一つの符号化回路にて動き補償フレーム間予測を用いて符号化を行う場合に、フレームレートを考慮することなく符号化制御を行うと、フレームレートによっては動き補償予測による符号化効率が悪くなる場合があり、その結果、記録した画像を再生した際の画質が悪くなる。また、符号化したストリームの発生情報量が多くなり、限られた記録媒体への記録時間が短くなるという問題がある。

この発明は、上記のような問題点を解決するためになされたもので、順次入力されるフレームレートの異なる画像を符号化する場合にも高画質な再生画像を取得可能にする画像符号化装置を得ることを目的とする。

この発明に係る画像符号化装置は、カメラから入力される画像データから同期信号を検出し、当該同期信号に基づいて当該画像データのフレームレートを算出するフレームレート算出手段と、カメラから入力された画像データを一旦バッファメモリに書き込み、算出されたフレームレートに基づいてバッファメモリから画像データを読み出して一定のフレームレートに変換し出力するフレームレート制御バッファ手段と、算出されたフレームレートに基づいて、動き探索範囲とＧＯＰ（Group Of Pictures）構造を決定する符号化制御手段と、決定された動き探索範囲およびＧＯＰ構造に基づいて、一定のフレームレートに変換された画像データの符号化を行い、可変長のビットストリームデータを生成する画像符号化手段と、画像符号化手段からフレーム間予測を行うための局部復号データをフレームメモリに書き込み、参照面として必要なときに局部復号データを読み出すフレームメモリ手段とを備えたものである。

この発明によれば、フレームレートが異なる画像データが順次入力された場合にも、当該画像データのフレームレートを算出し、算出したフレームレートに応じて入力画像データを一定のフレームレートに変換して出力すると共に、フレームレートに応じた動き探索範囲とピクチャタイプを決定することにより、この動き探索範囲とピクチャタイプに従って、一定のフレームレートに変換した画像データを符号化している。したがって、効率的な動き補償予測を行い、高画質な再生画像を得ることを可能にする。また、符号化したビットストリームを記録媒体に記録するようなシステムの場合は、記録時間を伸ばす等の効率的な記録を行うことが可能となる。

この発明の実施の形態１による画像符号化装置の機能構成を示すブロック図である。 同実施の形態１に係るフレームレート制御バッファ部の出力動作を示す説明図である。 同実施の形態１に係る符号化制御部による動き探索範囲の決定方法について示す説明図である。 同実施の形態１に係る符号化制御部によるＧＯＰ構造の決定方法について示す説明図である。 この発明の実施の形態２による画像符号化装置の機能構成を示すブロック図である。 この発明の実施の形態２に係る各フレームレートにおける１マクロブロックの処理サイクル数のイメージを示す説明図である。 この発明の実施の形態３による画像符号化装置の機能構成を示すブロック図である。 この発明の実施の形態３に係るフレームレート制御バッファ部の入出力動作を示す説明図である。 この発明の実施の形態４による画像符号化装置の機能構成を示すブロック図である。 この発明の実施の形態４に係るフレーム間差分算出方法を示す説明図である。 この発明の実施の形態５による画像符号化装置の機能構成を示すブロック図である。 この発明の実施の形態７による画像符号化装置の機能構成を示すブロック図である。 この発明の実施の形態７に係るフレーム間差分算出時におけるカメラ動き情報による予測面補正の方法を示す説明図である。

実施の形態１．
図１は、この発明の実施の形態１による画像符号化装置の機能構成を表すブロック図である。
図１において、カメラ１０は、例えばＣＣＤイメージセンサ等の撮像素子を持ち、撮影した画像をデジタル信号に変換して様々なフレームレートの画像データ１０１を出力する手段である。フレームレート制御バッファ部２０は、様々なフレームレートで入力される画像データ１０１をバッファメモリに書き込み、一定のフレームレートで画像データ１０２を読み出して出力する手段である。画像符号化部３０は、一定のフレームレートで入力された画像データ１０２をＧＯＰ（Group Of Pictures）構造１０６に従って並び替えた後、動き補償予測を用いた符号化手段により符号化し、可変長のビットストリームデータ１０３を出力する手段である。フレームレート算出部４０は、画像データ１０１の入力同期信号を検出してフレームレートを算出し、フレームレート情報１０４にして出力する手段である。符号化制御部５０は、フレームレート情報１０４から、画像符号化部３０で動き補償予測を行う際の動き探索範囲およびピクチャタイプを決定する手段である。フレームメモリ部６０は、画像符号化部３０からフレーム間予測を行うための局部復号データ１０７をフレームメモリに書き込み、参照面として必要なときに局部復号データ１０８を読み出す手段である。

次に、動作について説明する。
まず、カメラ１０から、撮影した画像をデジタル信号に変換して画像データ１０１が出力される。カメラ１０は、通常、例えば１５フレーム／秒のフレームレートで画像データ１０１を出力しているが、ユーザからの変更設定があった場合あるいは撮像領域で何か異常が検出された場合などには、画像データ１０１のフレームレートを通常の２倍の３０フレーム／秒に切り替え、または通常の半分の７．５フレーム／秒に切り替えて出力する。出力された画像データ１０１はフレームレート制御バッファ部２０およびフレームレート算出部４０に与えられる。
フレームレート算出部４０では、カメラ１０から入力される画像データ１０１について、その入力同期信号を検出してフレーム間隔を測定し、フレームレートを算出してフレームレート情報１０４としてフレームレート制御バッファ部２０および符号化制御部５０へ出力する。

フレームレート制御バッファ部２０では、入力される画像データ１０１をバッファメモリに一旦書き込み、フレームレート算出部４０から与えられるフレームレート情報１０４を参照しながら、一定のフレームレートで画像データ１０２が出力されるようバッファメモリからの読み出しデータを制御する。図２に示すように、入力される画像データ１０１として、フレームレートが、例えば３０フレーム／秒、１５フレーム／秒、７．５フレーム／秒の３種類存在する場合、出力させる画像データ１０２は一定のフレームレートを３０フレーム／秒として動作させる。すなわち、図２（ａ）に示すように、フレームレートが３０フレーム／秒で入力された場合は、バッファメモリから１フレーム時間遅延させて読み出すときに１フレームのデータを１回ずつ読み出す。また、図２（ｂ）に示すように、フレームレートが１５フレーム／秒で入力された場合は、同じフレームデータを２回ずつ繰り返して読み出す。また、図２（ｃ）に示すように、フレームレートが７．５フレーム／秒で入力された場合は、同じフレームデータを４回ずつ繰り返して読み出すようにする。出力された画像データ１０２は画像符号化部３０に与えられる。

符号化制御部５０では、フレームレート情報１０４に基づいて符号化に最適な符号化パラメータを決定し画像符号化部３０に対して指示する。ここで言う符号化パラメータは、動き探索範囲１０５およびＧＯＰ構造１０６である。なお、画像符号化部３０に動き探索範囲１０５およびＧＯＰ構造１０６を出力する際には、フレームレート制御バッファ部２０で画像データ１０２が遅延する時間と同じ分だけ遅らせて出力する。
ここで、符号化制御部５０がフレームレート情報１０４に応じて動き探索範囲１０５を決定する方法について説明する。例えば動き探索を行う単位を１６画素×１６ラインとした場合を図３に示す。フレームレート情報１０４に応じて動き探索範囲を決定する際に、例えば探索する所定のサイズの画像データのサンプル数を変更すると同時に、探索範囲を切り替えることによって、同じ動き探索回路を用いた探索範囲の変更が可能となる。例えばフレームレートが高い場合（ここでは３０フレーム／秒）は、フレーム間の相関が高いため探索範囲を狭くする代わりに、図３（ａ）に示すように、予測面および参照面のフルサンプル画像で動き探索を行う。また、フレームレートが下がった場合（ここでは１５フレーム／秒）は、３０フレーム／秒の場合に比べてフレーム間隔が１フレーム時間延びてしまうため、水平方向の探索範囲を２倍にするために、図３（ｂ）に示すように、水平方向を１／２サブサンプルした予測面および参照面の画像データを作成して動き探索に使用する。フレームレートがさらに低い場合（ここでは７．５フレーム／秒）は、図３（ｃ）に示すように、水平方向を１／４サブサンプルした予測面および参照面の画像データを作成し、水平方向の探索範囲を３０フレーム／秒の場合に比べて４倍にして、動き探索を行う。なお、カメラ１０で撮影されるエリアの画像に水平方向よりも垂直方向の動きが発生しやすい場合は、同様に垂直方向のサブサンプル比率を変更して、垂直方向の探索範囲を切り替えてもよい。

このとき、サブサンプル画像データを作成する方法としては、例えば１／２サブサンプルの場合は、サンプル点および両側１画素ずつを含めた計３画素を用いて３タップのフィルタを使用し、画素間引きを行う。１／４サブサンプルの場合は、サンプル点および両側２画素ずつを含めた計５画素を用いて５タップのフィルタを使用し、画素間引きを行う。

次に、符号化制御部５０において、フレームレート情報１０４に応じて符号化を行うＧＯＰ構造１０６を決定する方法について説明する。例えば図２で示した３種のフレームレートに応じたピクチャタイプの例を図４に示す。ここでは、図２における読み出した後の画像データ１０２が符号化データとなる。画像符号化部３０で符号化するフレームレートが３０フレーム／秒の場合、画像データ１０１のフレームレートが３０フレーム／秒に満たないときは、同じフレームデータを繰り返して符号化することになる（ここでは、１５フレーム／秒の場合は２フレーム繰り返し、７．５フレーム／秒の場合は４フレーム繰り返しとなる）。このとき、フレームレートが３０フレーム／秒の場合は、図４（ａ）に示すように、例えばＭ値（ＩまたはＰピクチャの間隔）＝３、Ｎ値（Ｉピクチャの間隔）＝１５のＢピクチャを用いたＧＯＰ構造で符号化を行う。フレームレートが１５フレーム／秒の場合は、実際に入力される画像データのフレーム間隔が３０フレーム／秒に比べて２倍に伸びるため、図４（ｂ）に示すように、例えば入力画像をＩまたはＰピクチャのみで符号化するようＭ値＝２、Ｎ値＝１４のＧＯＰ構造で符号化を行う。図中のハッチングのフレームは、前フレームの繰り返しフレームとなるためＢピクチャを１枚挿入して符号化を行う。フレームレートが７．５フレーム／秒の場合は、さらにフレーム間隔が２倍に伸びるため、図４（ｃ）に示すように、例えば入力画像をＩまたはＰピクチャのみで符号化するようにし、さらにフレーム間隔が伸びることにより動き補償予測が当たりにくくなるため、実際の入力画像におけるＩピクチャの間隔も短くなるようにＭ値＝１、Ｎ値＝１２のＧＯＰ構造とする。ここでは、ハッチングの３フレームは前フレームの繰り返しフレームとなるためＰピクチャにしているが、Ｍ値＝４としてＢピクチャにしてもよい。

画像符号化部３０では、符号化制御部５０で決定された動き探索範囲１０５およびＧＯＰ構造１０６に従って画像データ１０２の並び替えおよび符号化を行い、可変長のビットストリームデータ１０３を生成する。このとき、動き補償予測を行うために、符号化および局部復号したＩまたはＰピクチャのデータ（局部復号データ）１０７をフレームメモリ部６０に書き込み、ＰまたはＢピクチャ時に参照面の画像データ（局部復号データ）１０８としてフレームメモリ部６０から読み出して動き探索に使用する。

以上のように、この実施の形態１によれば、フレームレートが切り替る入力画像データに対して、そのフレームレートを算出し、算出したフレームレートに応じて入力画像データを一定のフレームレートに変換して出力すると共に、算出したフレームレートに応じた動き探索範囲およびピクチャタイプを決定し、この動き探索範囲およびピクチャタイプに従って、一定のフレームレートに変換された画像データを符号化している。したがって、効率的な動き補償予測を行い、高画質な符号化画像を得ることができる。また、符号化したビットストリームを記録媒体に記録するようなシステムの場合は、記録時間を伸ばす等の効率的な記録を行うことが可能となる。

実施の形態２．
上記実施の形態１では、フレームレートが異なる入力画像データを一旦フレームレート制御バッファ部２０に書き込み、一定のフレームレートになるようにバッファから読み出し、画像符号化部３０にて符号化を行うことについて述べたが、この実施の形態２では、フレームレートが異なる入力画像を、そのままのフレーム間隔で符号化する場合について説明する。
図５は、この発明の実施の形態２による画像符号化装置の機能構成を示すブロック図である。図において、図１に相当する部分には同一符号を付し、原則としてその説明は省略する。この実施の形態２は、実施の形態１の構成からフレームレート制御バッファ部２０を取り除いた構成である。
この実施の形態２の場合の符号化制御部５０は、画像符号化部３０に指示する符号化パラメータとして量子化幅１０９も出力する。さらに画像符号化部３０に対して、符号化におけるある所定の処理単位（例えばマクロブロック）の許容サイクル数１１０も出力するものとする。

次に動作について説明する。
カメラ１０から出力される画像データ１０１が、ある所定のタイミングでフレームレートが変化し、画像符号化部３０に直接入力されたとする。よって、画像符号化部３０が１フレーム分のデータを符号化するために許容される時間は、画像データ１０１のフレームレートに従って変化する。例えば、画像データ１０１が、３０フレーム／秒で入力された場合は１フレームの符号化処理時間は１／３０秒となり、１５フレーム／秒で入力された場合は１フレームの符号化処理時間は１／１５秒、また、７．５フレーム／秒で入力された場合は１フレームの符号化処理時間は１／７．５秒となる。符号化制御部５０では、フレームレート算出部４０からフレームレート情報１０４が通知されるが、そのフレームレートからある所定の処理単位（ここではマクロブロック）の許容サイクル数１１０を算出して画像符号化部３０に出力する。また、符号化制御部５０では、そのマクロブロックサイクル数の時間内でマクロブロック単位の量子化幅１０９を算出し、画像符号化部３０に出力する。画像符号化部３０では、指示された許容サイクル数１１０の周期でマクロブロックの符号化処理を行い、量子化幅１０９を使用して量子化を行う。

このとき、画像データ１０１のフレームレートに応じて、マクロブロックの許容サイクル数１１０が変化するため、符号化制御部５０で量子化幅１０９を算出するサイクル数も変化する。図６に、各フレームレートにおける１マクロブロック（ＭＢ）の処理サイクル数のイメージを示す。フレームレートが下がるほど、１ＭＢの処理サイクル数が長くなるため、符号化制御はより複雑な処理を行うことが可能となる。ここでは、３０フレーム／秒の場合はＭＢ処理（１）しか実行できないが、１５フレーム／秒の場合はＭＢ処理（１）および（２）が、７．５フレーム／秒の場合はＭＢ処理（１）〜（４）が実行できることになり、例えばＭＢ単位の情報発生量のフィードバック制御処理に加えて、画質を向上させるための特徴検出、適応量子化等の処理をきめ細かく行うことが可能となる。

以上のように、この実施の形態２によれば、フレームレートが切り替る入力画像データに対して、そのフレームレートを算出し、算出したフレームレートに応じた動き探索範囲およびピクチャタイプを決定し、さらにフレームレートに応じたマクロブロックの許容サイクル数およびマクロブロック単位の量子化幅を算出し、動き探索範囲、ピクチャタイプ、マクロブロックの許容サイクル数および量子化幅に基づいて上記フレームレートが切り替る入力画像データを符号化している。したがって、フレームレートが低い入力画像に対して細かい制御を施した量子化幅を決定することが可能となり、高画質化な符号化画像を得ることが可能となる。

実施の形態３．
上記実施の形態１および実施の形態２では、一台のカメラ１０からの画像データがフレームレートが切り替えられて入力されるケースであったが、この実施の形態３では、複数台のカメラからの異なるフレームレート（同じフレームレートのものもありえる）の画像データが一定周期で切り替えられて入力されるケースについて説明する。
図７は、この発明の実施の形態３による画像符号化装置の機能構成を示すブロック図である。図において、図１に相当する部分には同一符号を付し、原則としてその説明は省略する。この実施の形態３は、実施の形態１の構成の一台のカメラ１０に代えて複数台のカメラ１０_１〜１０_Ｎとカメラ切り替え制御部７０を有した構成となっている。
カメラ切り替え制御部７０は、カメラ１０_１〜１０_Ｎから出力される異なるフレームレートの画像データ１１１_１〜１１１_Ｎを一定周期で切り替えて一つの画像データ１０１を選択すると共に、カメラ切り替え情報１１２を出力する手段である。この実施の形態３のフレームレート制御バッファ部２０は、バッファメモリに書き込んだ画像データ１０１をカメラ毎の画像データに並べ換えて連続したＧＯＰの固まりとして、一定のフレームレートで画像データ１０２として出力すると共に、画像に対応するカメラ番号１１３を出力する。また、この実施の形態３のフレームレート算出部４０は、フレームレート情報１０４に加え、その情報に対応するカメラ番号１１４を出力する。

次に動作について説明する。
複数台のカメラ１０_１〜１０_Ｎから異なるフレームレートの画像データ１１１_１〜１１１_Ｎが入力される。例えば、図８にＮ＝４とした場合のフレームレート制御バッファ部２０の入出力動作を示す。ここでは、４台のカメラからの出力画像データ１１１_１〜１１１_４のフレームレートが、１５フレーム／秒、７．５フレーム／秒、３．７５フレーム／秒、３．７５フレーム／秒の例を示す。カメラ切り替え制御部７０では、４台のカメラからの入力画像を一定周期（ここでは１／３０秒）で切り替えて、順次選択されたカメラ画像をフレームレート制御バッファ部２０のバッファメモリに書き込む。フレームレート制御バッファ部２０は、フレームレート算出部４０から与えられるフレームレート情報１０４を参照しながら、一定のフレームレートで出力可能なフレーム分だけ画像データ１０１を書き込んだら、ここでは３０フレーム／秒の一定周期で画像データ１０２を読み出して画像符号化部３０に出力する。このとき、カメラ毎の画像データをＧＯＰの固まりで連続して出力し、同時に対応するカメラ番号１１３を通知することによって、画像符号化部３０は同じカメラの画像データをＧＯＰ内で連続して符号化することが可能となる。

フレームレート算出部４０では、カメラ切り替え制御部７０から出力される画像データ１０１とカメラ切り替え情報１１２を用いて、カメラ毎の入力同期信号を検出してフレーム間隔を測定し、フレームレート情報１０４および対応するカメラ番号１１４を出力する。符号化制御部５０では、フレームレート情報１０４およびカメラ番号１１４からＧＯＰ毎の動き探索範囲１０５およびＧＯＰ構造１０６を決定し、画像符号化部３０に指示する。

以上のように、この実施の形態３によれば、複数台のカメラから異なるフレームレートの画像データが出力される場合に、カメラ毎のフレームレートを算出し、算出したフレームレートに応じた動き探索範囲およびピクチャタイプ（ＧＯＰ構造）を決定すると同時に、カメラ毎にＧＯＰ単位で符号化を行うように制御している。したがって、符号化効率を落とすことなく、高画質な符号化画像を得ることができる。また、符号化したビットストリームを記録媒体に記録するようなシステムの場合は、記録時間を伸ばす等の効率的な記録を行うことが可能となる。

実施の形態４．
上記実施の形態１では、入力画像のフレームレートに応じて動き探索範囲を決定していたが、この実施の形態４では、さらにフレーム内における動領域を検出して、フレーム内のエリアによって動き探索範囲を変化させる例について説明する。
図９は、この発明の実施の形態４による画像符号化装置の機能構成を示すブロック図である。図において、図１に相当する部分には同一符号を付し、原則としてその説明は省略する。この実施の形態４は、実施の形態１の構成に対してフレーム間差分算出部８０およびローカルエリア動き探索制御部９０を加えた構成を有する。
フレーム間差分算出部８０は、フレーム間予測の参照面に使用する局部復号データ１０８と、予測面である、画像符号化部３０で入力画像１０２を符号化順に並び替えた後の画像データ１１５のフレームを、ある所定のサイズのローカルエリア単位に分割し、対応するローカルエリア毎にフレーム間差分値１１６を算出する手段である。ローカルエリア動き探索制御部９０は、ローカルエリア単位のフレーム間差分値１１６と、符号化制御部５０でフレームレートに応じて決定した動き探索範囲１０５とからローカルエリア毎の動き探索範囲１１７および動き探索精度１１８を算出する手段である。

次に動作について説明する。
フレーム間差分算出部８０では、１フレームをある所定のサイズのローカルエリアに分割し、予測面である画像データ１１５とフレームメモリ部６０から読み出した参照面に使用する局部復号データ１０８とのフレーム間差分値１１６をローカルエリア単位で算出し、ローカルエリア動き探索制御部９０に出力する。ここでは、例えば図１０に示すように、対応する予測面と参照面のそれぞれのフレームを水平方向に８分割、垂直方向に６分割して４８個のローカルエリアをそれぞれ作成し、対応するローカルエリア間の差分をとる。したがって、１フレーム当たり４８個のフレーム間差分値１１６を算出することになる。

ローカルエリア動き探索制御部９０では、まず、フレーム間差分算出部８０で算出されたローカルエリア毎のフレーム間差分値１１６を所定の閾値と比較し、フレーム間差分値が閾値以上であるエリアを動領域、閾値より小さいエリアを静止領域と判定する。図１０の例の場合、移動物体があるフレーム内の右下部分の６つのエリア（縦２×横３の灰色のエリア）を動領域、それ以外を静止領域と判定することになる。
次に、ローカルエリア動き探索制御部９０では、この判定結果と符号化制御部５０から指示されるフレーム単位の動き探索範囲１０５とからローカルエリア毎の動き探索範囲１１７および動き探索精度１１８を求める。
そのため、フレーム内の動領域と静止領域の割合を求める。例えば、動領域の割合がフレーム全体の５０％以下の場合は、フレーム内のローカルエリア毎に動き探索範囲および動き探索精度を変更するが、５０％より大きい場合はフレーム単位の動き探索範囲１０５をそのまま用いる。

ここで、ローカルエリア毎に動き探索範囲および動き探索精度を変更する方法を説明する。フレーム単位の動き探索範囲１０５より、水平方向のサンプル位置がフルサンプルの場合は、動領域の水平方向の探索範囲を２倍とし、静止領域の水平方向の探索範囲を１／２とする。水平方向が１／２サブサンプルの場合は、動領域の水平方向をフルサンプルにして、静止領域の水平方向を１／４サブサンプルにする。または、サンプル位置は変更せずに、探索範囲をそれぞれ２倍および１／２としてもよい。水平方向が１／４サブサンプルの場合は、動領域の水平方向を１／２サブサンプルにして、静止領域の水平方向の探索範囲を１／２とする。なお、サンプル位置は変更せずに、探索範囲をそれぞれ２倍および１／２としてもよい。また、カメラ１０で撮影されるエリアの画像に水平方向よりも垂直方向の動きが発生しやすい場合は、同様にローカルエリア毎の垂直方向のサブサンプル数または探索範囲を変更してもよい。

なお、フレーム内の動領域と静止領域を判定する方法において、上述した例では一つの閾値を用いて判定を行ったが、複数個の閾値を使用し、動領域と静止領域を複数の段階に分類してもよい。例えば２つの閾値を使用して判定を行い、領域を３段階に分けた場合に、一番静止に近い領域は動き探索を行わず、真ん中の領域および一番動きの大きい領域のみの動き探索範囲１１７および動き探索精度１１８を変更するようにしてもよい。判定する領域の数や閾値の大きさに応じて、フレーム全体の動き探索回路を増大させることなく、領域毎に動き探索範囲１１７および動き探索精度１１８を変更するように制御を行う。

以上のように、この実施の形態４によれば、異なるフレームレートに応じた動き探索範囲について、さらにフレーム内を所定のサイズのローカルエリアに分割し、ローカルエリア毎に動きの大きさに応じて複数の領域に分類し、動き探索回路を増大させることなく、ローカルエリア毎に異なる動き探索範囲および動き探索精度を決定するように制御し、ＧＯＰ構造に加え、ローカルエリア毎の動き探索範囲と動き探索精度に基づいて符号化を行うようにしている。したがって、カメラがほとんど動かないような撮影画像を符号化するシステムにおいて、高画質な符号化画像を得ることができる。また、符号化したビットストリームを記録媒体に記録するようなシステムの場合は、記録時間を伸ばす等の効率的な記録を行うことが可能となる。

実施の形態５．
上記実施の形態４では、フレーム内における動領域を検出して、フレーム内のエリアによって動き探索範囲を変化させるために、ローカルエリア単位のフレーム間差分値を算出するのに、並び替え後の画像データ１１５およびフレーム間予測の参照面に使用する局部復号データ１０８を用いる構成としているが、この実施の形態５では、画像データ１１５および局部復号データ１０８以外のデータを用いる方法について説明する。
図１１は、この発明の実施の形態５による画像符号化装置の機能構成を示すブロック図である。図において、図９に相当する部分には同一符号を付し、原則としてその説明は省略する。
この実施の形態５の場合、フレーム間差分算出部８０は、１フレーム分のメモリを持っており、フレームレート制御バッファ部２０から一定のフレームレートで出力される画像データ１０２の１フレーム分を書き込む。そして、次の画像データ１０２が入力されると、この画像データとメモリに書き込んでおいた１フレーム前の画像データのフレームを所定のサイズのローカルエリア単位に分割し、対応するローカルエリア毎にフレーム間差分値を算出し、ローカルエリア動き探索制御部９０へ出力する。ローカルエリア動き探索制御部９０および画像符号化部３の動作は、実施の形態４と同じである。
したがって、実施の形態４と同様の効果を奏することができる。

実施の形態６．
上記実施の形態４および実施の形態５では、ある所定のタイミングでフレームレートが切り替る入力画像データ１０１に対して、フレームレートに応じた動き探索範囲１０５を基に、フレーム内の動き領域に応じてローカルエリア毎の動き探索範囲１１７および動き探索精度１１８を決定するように制御しているが、フレームレートが固定の入力画像データ１０１に対しても、同様にフレーム内の動き領域に応じてローカルエリア毎の動き探索範囲１１７および動き探索精度１１８を決定してもよい。この場合の構成としては、図９において、フレームレート算出部４０を不要としてよく、符号化制御部５０はＧＯＰ構造１０６に対応した固定の動き探索範囲１０５を出力するようにすればよい。この場合も、実施の形態４と同様の効果を奏することができる。

実施の形態７．
上記実施の形態４では、並び替え後の画像データ１１５およびフレーム間予測の参照面に使用する局部復号データ１０８とのフレーム間差分値をローカルエリア単位に算出しているが、この実施の形態７では、さらにカメラ動き情報を利用してフレーム間差分値を算出するようにしている。
図１２は、この発明の実施の形態７による画像符号化装置の機能構成を示すブロック図である。図において、図９に相当する部分には同一符号を付し、原則としてその説明は省略する。この実施の形態７では、実施の形態４の構成に対して新たにカメラ１０から出力されるカメラ動き情報１１９がフレームレート制御バッファ部２０に与えられ、フレームレート制御バッファ部２０からは一定のフレームレートで読み出される画像データ１０２に対応してカメラ動き情報１２０も読みだされフレーム間差分算出部８０に与えられるようになっている。また、符号化制御部５０が出力するＧＯＰ構造１０６もフレーム間差分算出部８０に入力され、フレーム間差分算出部８０からは、並べ替え後の画像データ１１５と参照面の局部復号データ１０８とのフレーム間隔分だけカメラ動き情報１２０を累算したカメラ動き累計情報１２１が画像符号化部３０に出力される配置となっている。

次に動作について説明する。
例えば、監視システムに旋回カメラが適用されている場合、カメラ１０は特定の場所に固定されて水平または垂直方向に旋回して撮影を行うようになる。このようなシステムでは、カメラ１０が、撮影した画像データ１０１と共に、旋回した場合の水平および垂直方向の前フレームからのカメラ動き情報１１９を出力できる手段を備えている。フレームレート制御バッファ部２０では、画像データ１０１と共にカメラ動き情報１１９をバッファメモリに書き込み、一定のフレームレートで読み出す画像データ１０２と共に、対応するフレームのカメラ動き情報１２０をフレーム間差分算出部８０に出力する。このとき、フレームレートが低くて読み出す画像データ１０２が前フレームの繰り返しの場合は、カメラ動き情報１２０は０を出力する。

フレーム間差分算出部８０では、上記実施の形態４で述べたように、予測面である、画像符号化部３０で入力画像１０２の符号化順に並び替えた後の画像データ１１５とフレーム間予測の参照面に使用する局部復号データ１０８とのフレーム間差分をローカルエリア単位に算出するが、このときカメラ動き情報１２０を用いて参照面に使用する局部復号データ１０８の画素位置を補正してからフレーム間差分を算出する。この補正方法について図１３に示す。並び替え後の画像データ（予測面）１１５に対応したカメラ動き情報が水平方向＝＋Ｎ、垂直方向＝０の場合、局部復号データ１０８を、同じ画素位置から水平方向に−Ｎ（垂直方向に０）移動したデータに補正する。この補正した画像データと上記並び替え後の画像データ（予測面）１１５のフレーム間差分を算出する。また、このとき、フレーム間差分算出部８０は、符号化制御部５０から与えられるＧＯＰ構造１０６を参照し、並び替え後の画像データ１１５と参照面の局部復号データ１０８のフレーム間隔を算出して、そのフレーム間隔分のカメラ動き情報１２０を累算したカメラ動き累計情報１２１分だけ画素位置を移動させ算出したフレーム間差分値１１６をローカルエリア動き探索制御部９０に出力する。また、フレーム間差分算出部８０から、画像符号化部３０にもカメラ動き累計情報１２１が与えられており、画像符号化部３０では、カメラ動き累計情報１２１分だけ移動させた局部復号データ１０８を用いて動き探索を行い、動きベクトルの移動分を反映させて符号化を行う。

以上のように、この実施の形態７によれば、カメラの動き情報を利用して、フレーム内をある所定のサイズのローカルエリアに分割し、ローカルエリア毎に動きの大きさに応じて複数の領域に分類し、動き探索回路を増大させることなく、ローカルエリア毎に異なる動き探索範囲および動き探索精度を決定するように制御し、ＧＯＰ構造に加え、ローカルエリア毎の動き探索範囲と動き探索精度に基づいて符号化を行うようにしている。したがって、旋回動作を行うカメラで撮影した画像を符号化するシステムにおいて、高画質な符号化画像を得ることができる。また、符号化したビットストリームを記録媒体に記録するようなシステムの場合は、記録時間を伸ばす等の効率的な記録を行うことが可能となる。

１０，１０_１〜１０_Ｎ カメラ、２０ フレームレート制御バッファ部、３０ 画像符号化部、４０ フレームレート算出部、５０ 符号化制御部、６０ フレームメモリ部、７０ カメラ切り替え制御部、８０ フレーム間差分算出部、９０ ローカルエリア動き探索制御部。

Claims (12)

1. カメラから入力される画像データから同期信号を検出し、当該同期信号に基づいて当該画像データのフレームレートを算出するフレームレート算出手段と、
   前記カメラから入力された画像データを一旦バッファメモリに書き込み、前記算出されたフレームレートに基づいて前記バッファメモリから画像データを読み出して一定のフレームレートに変換し出力するフレームレート制御バッファ手段と、
   前記算出されたフレームレートに基づいて、動き探索範囲とＧＯＰ構造を決定する符号化制御手段と、
   前記決定された動き探索範囲およびＧＯＰ構造に基づいて、前記一定のフレームレートに変換された画像データの符号化を行い、可変長のビットストリームデータを生成する画像符号化手段と、
   前記画像符号化手段からフレーム間予測を行うための局部復号データをフレームメモリに書き込み、参照面として必要なときに局部復号データを読み出すフレームメモリ手段とを備えたことを特徴とする画像符号化装置。
2. 符号化制御手段は、フレームレート算出手段で算出された入力画像データのフレームレートに応じて動き探索における水平方向のサブサンプル比率および動き探索範囲を変更することを特徴とする請求項１記載の画像符号化装置。
3. 符号化制御手段は、フレームレート算出手段で算出された入力画像データのフレームレートに応じて動き探索における垂直方向のサブサンプル比率および動き探索範囲を変更することを特徴とする請求項１記載の画像符号化装置。
4. 符号化制御手段は、フレームレート算出手段で算出された入力画像データのフレームレートに応じて、符号化におけるＩまたはＰピクチャの間隔、およびＩピクチャの間隔を制御することを特徴とする請求項１記載の画像符号化装置。
5. カメラから入力される画像データから検出した同期信号に基づいて当該画像データのフレームレートを算出するフレームレート算出手段と、
   前記算出されたフレームレートに基づいて動き探索範囲とＧＯＰ構造を決定すると共に、前記算出されたフレームレートに応じたマクロブロックの許容サイクル数およびマクロブロック単位の量子化幅を算出する符号化制御手段と、
   前記動き探索範囲、ＧＯＰ構造、マクロブロックの許容サイクル数およびマクロブロック単位の量子化幅に基づいて前記カメラから入力された画像データの符号化を行い、可変長のビットストリームデータを生成する画像符号化手段と、
   前記画像符号化手段からフレーム間予測を行うための局部復号データをフレームメモリに書き込み、参照面として必要なときに局部復号データを読み出すフレームメモリ手段とを備えたことを特徴とする画像符号化装置。
6. 入力される複数のカメラで撮影された画像データを周期的に切り替えて一つの画像データを選択し、選択した画像データと共にカメラ切り替え情報を出力するカメラ切り替え制御手段と、
   前記選択された画像データから同期信号を検出し、当該同期信号に基づいて当該画像データのフレームレートを算出すると共に、前記カメラ切り替え情報からカメラ番号を取り出すフレームレート算出手段と、
   前記選択された画像データをバッファメモリに書き込み、前記カメラ番号と前記フレームレートに基づいて、前記バッファメモリからカメラ毎に並べ換えた連続したＧＯＰの固まりの画像データを読み出して一定のフレームレートに変換し出力すると共に、対応するカメラ番号を出力するフレームレート制御バッファ手段と、
   前記フレームレート算出手段で算出されたフレームレートとカメラ番号に基づいてＧＯＰ毎の動き探索範囲とＧＯＰ構造を決定する符号化制御手段と、
   前記決定された動き探索範囲およびＧＯＰ構造に基づいて前記一定のフレームレートに変換された画像データの符号化を行い、その際同じカメラの画像データを連続して符号化して可変長のビットストリームデータを生成する画像符号化手段と、
   前記画像符号化手段からフレーム間予測を行うための局部復号データをフレームメモリに書き込み、参照面として必要なときに局部復号データを読み出すフレームメモリ手段とを備えたことを特徴とする画像符号化装置。
7. 動き探索におけるフレーム間予測の参照面に使用する局部復号データと、予測面である、画像符号化手段で入力画像を符号化順に並び替えた後の画像データのフレームを所定のサイズのローカルエリア単位に分割し、対応するローカルエリア毎にフレーム間差分値を算出するフレーム間差分算出手段と、
   ローカルエリア単位のフレーム間差分値と符号化制御手段でフレームレートに応じて決定した動き探索範囲に基づいてローカルエリア毎の動き探索範囲と動き探索精度を算出するローカルエリア動き探索制御手段とを備え、
   前記画像符号化手段は、前記符号化制御手段によって決定されたＧＯＰ構造に加え、前記ローカルエリア動き探索制御手段によって算出されたローカルエリア毎の動き探索範囲と動き探索精度に基づいて符号化を行い可変長のビットストリームデータを出力することを特徴とする請求項１または請求項６記載の画像符号化装置。
8. ローカルエリア動き探索制御手段は、動き探索における予測面と参照面の所定のサイズのローカルエリア毎のフレーム間差分値を複数の閾値と比較することによってフレーム内を複数の領域に分類し、分類した領域毎に水平方向または垂直方向の動き探索範囲と動き探索精度を決定することを特徴とする請求項７記載の画像符号化装置。
9. フレームレート制御バッファ手段から一定のフレームレートで出力される画像データを１フレーム分保持し、次のフレームの画像データが入力されると、当該次の画像データと前記保持していた１フレーム前の画像データのフレームを所定のサイズのローカルエリア単位に分割し、対応するローカルエリア毎にフレーム間差分値を算出するフレーム間差分算出手段と、
   ローカルエリア単位のフレーム間差分値と符号化制御手段でフレームレートに応じて決定した動き探索範囲に基づいてローカルエリア毎の動き探索範囲と動き探索精度を算出するローカルエリア動き探索制御手段とを備え、
   画像符号化手段は、前記符号化制御手段で決定されたＧＯＰ構造に加え、前記ローカルエリア動き探索制御手段で算出されたローカルエリア毎の動き探索範囲と動き探索精度に基づいて符号化を行い可変長のビットストリームデータを出力することを特徴とする請求項１または請求項６記載の画像符号化装置。
10. フレームレート制御バッファ手段は、カメラからの画像データと共に前のフレームに対するカメラ動き情報が入力される場合、画像データと共にカメラ動き情報をバッファメモリに書き込み、画像データを一定のフレームレートに変換して出力する際に、対応するフレームのカメラ動き情報をフレーム間差分算出手段に出力し、
    前記フレーム間差分算出手段は、動き探索における予測面である符号化順に並び替え後の画像データとフレーム間予測の参照面の局部復号データとのフレーム間差分値をローカルエリア単位に算出する際に、前記カメラ動き情報に基づいて前記参照面に使用する局部復号データの画素位置を補正してからフレーム間差分値を算出し、算出したフレーム間差分値をローカルエリア動き探索制御手段に出力することを特徴とする請求項７または請求項９記載の画像符号化装置。
11. フレーム間差分算出手段は、符号化制御手段で決定されたＧＯＰ構造に基づいて動き探索における予測面と参照面のフレーム間隔を算出し、カメラ動き情報を当該フレーム間隔分累算したカメラ動き累計情報を得、当該カメラ動き累計情報分だけ参照面の画素位置を補正した後、フレーム間差分値を算出することを特徴とする請求項１０記載の画像符号化装置。
12. 画像符号化手段は、ＧＯＰ構造、およびローカルエリア毎の動き探索範囲と動き探索精度に基づいて符号化を行うと共に、フレーム間差分算出手段で生成したカメラ動き累計情報分だけ移動させた局部復号データを用いて動き探索を行い、動きベクトルの移動分を反映させて符号化を行うことを特徴とする請求項１１記載の画像符号化装置。

Images