JP2009302947A - 画像符号化装置、画像符号化方法および撮像システム - Google Patents

Abstract

【課題】画像符号化において、符号化データのデータ量をより速やかに低減し、符号化処理の高速化を実現する。
【解決手段】画像処理部２は映像デジタル信号に対して画像信号処理を行い、画像信号を生成する。画像符号化部１００は画像信号を符号化して、符号データを生成する。一方、データ記憶部３は画像信号を記憶し、データ比較部４は現フレームの画像信号とデータ記憶部３に記憶されている前フレームの画像信号とを比較する。制御部６は、データ比較部４による比較結果に基づいて、画像符号化部１００において生成される符号データの符号量を制御する。
【選択図】図１

Description

本発明は、画像符号化レート制御方式に関するものであり、特には、画像データを圧縮する画像符号化装置、およびこれを有する撮像システムに関する。

デジタルカメラやデジタルビデオカメラの普及、通信技術の発達等に伴って、少ない情報量でデータ転送を行うことができる技術として、画像データの一般的な圧縮技術であるＪＰＥＧ(Joint Photographic Experts Group)やＭＰＥＧ(Moving Picture Experts Group)が広く普及している。特に、インターネット等のネットワークが急速に普及しており、監視カメラを含むネットワークカメラやテレビ電話などが大きい広がりを見せている。しかしながら、ネットワーク帯域が広がるにつれ一度に接続されるユーザも増えるため、送受信可能なデータ量が限られるため、データ量を削減するための様々な制御方法が検討されている。

従来の制御方法の一つとして、特許文献１で開示されたものがある。図８は従来の画像符号化装置の構成図である。図８において、入力手段５０１から入力された画像信号を画像処理部５０２によって、輝度信号と色差信号とに変換する。変換された画像信号を画像符号化部５００にて符号化する。画像符号化部５００では、画像処理部５０２から予め１ブロック（８×８）個に分割されて順次入力されてきた画像信号をＤＣＴ部５０３によって周波数変換する。一般に自然画像においては、大部分が色の変化は滑らかである。したがって、周波数変換によって生成される図９に示すようなＤＣＴ係数分布においては、低周波領域ｍに大きな値を有するＤＣＴ係数が集中し、高周波領域ｎには小さな値を有するＤＣＴ係数が分布するようになる。

次に、生成されたＤＣＴ係数に対して、量子化部５０４において、予め量子化テーブル生成部５０５によって設定された量子化値で除算することによって量子化係数を生成する。かかる処理を行うことによって、画質的に影響を与えない高周波領域ｎについては、値が０（ゼロ）となるように量子化係数を集中させることが可能となる。

次に、符号化部５０７において、値が０（ゼロ）であるデータの個数と量子化係数の値との組み合わせの出現率に合わせて長さの異なる符号語を割り当てることによって、データ全体の容量を小さくすることになる。生成された符号データは出力手段５０９から出力される。

さらに動画像の符号化装置として用いられるＭＰＥＧにおける構成図を図１０に示す。ＭＰＥＧでは、画面（フレーム）をブロック毎にフレーム内相関を利用した符号化、またはフレーム間相関を利用した符号化を実施することを特徴としている。このフレーム内相関のみを使用し構成されるフレームをＩピクチャ、また、フレーム内相関及びフレーム間相関が混載するフレームをＰピクチャまたはＢピクチャと呼ばれる。

Ｉピクチャの場合は、代表的な画像符号化と同様である。

量子化部５０４からの出力は逆量子化部５１０にも入力され、その後、逆ＤＣＴ部５１１を通り再構成画像生成部５１２に送られる。この再構成画像生成部５１２には、同時に動き補償部５１５の結果も入力される。もし、フレーム間相関のブロックであれば、両入力データが足し合わされその結果が、フレームメモリ５１３に書き込まれるのだが、Ｉピクチャではフレーム内相関のみであるため、動き補償部５１５の結果は入力されない。このため、逆ＤＣＴ処理部５１１から送られてくるデータがそのままフレームメモリ５１３に書き込まれる。このフレームメモリ５１３に送られる画像データを再構成画像と呼び、ＰピクチャまたはＢピクチャ時の参照画像として使用される。

次にＰピクチャの符号化手順について説明する。画像処理部５０２からブロック単位で入力され、予測誤差生成部５１６および動き検出部５１４に送られる。動き検出部５１４は、入力画像を受け、入力画像と同一空間位置の近傍画素をフレームメモリ５１３から読み出し、入力画像と最も相関の高い位置を求める動き探索を行う。動き検出部５１４は、最も相関の高い画像を探索された参照画像として動き補償部５１５に送るのと同時に、その位置を示す動きベクトルを動きベクトル符号化部５１７に送る。

いま、フレーム内相関符号化が選択された場合、以後の符号化処理はＩピクチャ時と同様となる。フレーム間相関符号化が選択された場合、動き補償部５１５を経由して参照画像が予測誤差生成部５１６に送られ、入力画像との差分がＤＣＴ部５０３に出力される。符号化部５０７は量子化された画像データを符号化し、この符号化データは、動きベクトル符号化部５１７において符号化されたデータとともに、ビットストリーム５１８として出力される。

従来の画像符号化装置では、符号化部５０７によって生成された符号化データのデータ量を、符号化データ量検出部５０８によって検出する。検出されたデータ量は、制御部５０６において予め設定された符号化データ量Ａと比較される。そして制御部５０６は、データ量が符号化データ量Ａを超えた場合は、量子化テーブル生成部５０５に対して、量子化係数が小さくなる、または０と評価される係数が増えるような量子化テーブルを設定するよう、制御する。そして、改めて設定された量子化テーブルを用いて量子化されたデータを符号化し、このデータ量を符号化データ量Ａと比較し、量子化テーブルを再設定する、といった処理を繰り返す。これによって、符号データのデータ量低減を行っていた。
特開２００３−２５０１５６号公報

しかしながら、特許文献１に開示された従来技術では、生成された符号化データのデータ量が所定のサイズより小さくなるまで、量子化テーブルの変換、量子化、符号化が繰り返されることになり、このため、符号化データのデータ量低減に時間を要することになり、データ転送の遅延や、動画像のフレームレート悪化が生じるという問題があった。例えば、ネットワークカメラなどにおいて急な画像変化(人物進入)などにより、符号対象データが増えることで、急激に符号が増え、目標符号量を超えた場合、コマ落ちなどが発生していた。

本発明は、前記の問題に鑑み、画像符号化において、符号化データのデータ量をより速やかに低減し、符号化処理の高速化を実現することを目的とする。

本発明は、動画像符号化を行う画像符号化として、被写体を撮像する撮像手段から出力される映像デジタル信号に対して画像信号処理を行い画像信号を生成し、前記画像信号を符号化して符号データを生成する一方、前記画像信号を記憶し、現フレームの画像信号と記憶されている前フレームの画像信号とを比較し、画像符号化において、前記比較結果に基づいて、生成する符号データの符号量を制御するものである。

これによると、現フレームと前フレームとの比較結果において、差が大きいと判断された場合、例えば量子化テーブルを制御することによって、量子化および符号化を行う前に、生成する符号データの符号量を低減することが可能である。

また、前記本発明に係る画像符号化において、フレーム内において１つまたは複数の領域を指定し、前記画像信号から、指定された領域における画像信号を抽出して、この抽出された画像信号を記憶し、比較を行うようにしてもよい。

これによると、記憶するデータ量が小さくなるとともに、比較のための処理量が少なくなることによって、高速化を図ることが可能になる。

また、前記本発明に係る画像符号化において、指定された領域と指定されていない領域とで、個別の量子化テーブルを生成するようにしてもよい。

これによると、指定された領域、例えば動きのある部分の量子化テーブルについては、符号量が小さくならないようにし、それ以外の量子化テーブルについては符号量をより小さくするように設定することができ、注目する部分のみ画像精度を保つことで画質劣化を防ぐことが可能になる。

本発明によれば、符号データの符号量の制御を、量子化および符号化の前に実行できるので、処理回数を削減することができ、動画像符号化を高速化することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は本発明の実施の形態１に係る画像符号化装置の概略構成を示すブロック図である。図１の画像符号化装置は、被写体を撮像する撮像手段から出力される映像デジタル信号を入力とする入力手段１と、入力手段１に入力された映像デジタル信号に対して画像信号処理を行い、画像信号を生成する画像処理部２と、画像処理部２から出力された画像信号を記憶する記憶部としてのデータ記憶部３と、現フレームの画像信号とデータ記憶部３に記憶されている前フレームの画像信号とを比較し、その比較結果を出力する比較部としてのデータ比較部４と、画像処理部２から出力された画像信号を符号化し、符号データを生成する画像符号化部１００と、画像符号化部１００から出力された符号データを出力する出力手段７とを備えている。画像符号化部１００は、符号化処理部５と制御部６とを備えている。制御部６は、データ比較部４から出力された比較結果に基づいて、画像符号化部１００が生成する符号データの符号量を制御する。

図２は画像符号化部１００の概略構成を示すブロック図である。なお、本実施形態では、画像信号として、１ブロックのデータが（ｍ×ｎ）個（ｍ，ｎは正の整数）、例えば（８×８）個の画像データが順次入力されるものとする。

図２に示す画像符号化部１００は、画像データを直交変換する直交変換部としてのＤＣＴ部１０３と、ＤＣＴ部１０３から出力された直交変換データを、後述の量子化テーブル生成部１０５によって生成された量子化テーブルを用いて量子化する量子化部１０４と、制御部６の制御に応じて量子化テーブルを生成する量子化テーブル生成部１０５と、量子化部１０４から出力された量子化データを符号化する符号化部１０７と、符号化部１０７によって生成された符号量を検出する符号化データ量検出部１０８と、出力手段１０９と、量子化部１０４から出力された量子化データを逆量子化する逆量子化部１１０と、逆量子化部１１０から出力された逆量子化データを逆直交変換する逆直交変換部としての逆ＤＣＴ部１１１と、再構成画像生成部１１２と、再構成画像生成部１１２から出力された再構成画像データを記憶するフレームメモリ１１３と、フレームメモリ１１３に記憶されたデータと現フレームの画像信号とから動き検出を行う動き検出部１１４と、動き検出部１１４から出力された動き検出結果に基づいて、参照画像を生成する動き補償部１１５と、入力画像と動き補償部１１５から出力された参照画像との差分を生成する差分生成部としての予測誤差生成部１１６と、動きベクトル符号化部１１７とを備えている。

符号化部１０７から動きベクトル符号化部１１７までについては、構成および動作が従来と同様なため、ここでは詳細な説明を省略する。

図１において、入力手段１に入力された画像デジタル信号に対して、画像処理部２は、これを輝度信号と色差信号とに変換する。光の明暗を示す輝度信号は、画像符号化部１００に入力されるのと同時に、データ記憶部３に記憶される。この一方で、輝度信号はさらにデータ比較部４に入力され、データ比較部４は、データ記憶部３に記憶されている前フレームの輝度信号との比較を行い、例えばその差を比較結果として制御部６に出力する。

比較結果の差が大きい場合、予測誤差生成部１１６から出力されるデータ値も大きいと予想されるため、ＤＣＴ部１０３から出力される直交変換データとしてのＤＣＴ係数において、図９に示す高周波領域ｎ側にも大きな値が分布すると予想される。このため、量子化部１０４によって情報量を削減するため、制御部６は、量子化テーブル生成部１０５を、生成する量子化テーブルを大きくするように制御する。

以上のように構成された本実施形態によると、画像符号化部１００に画像信号が入力される前に、データ比較部４によってデータの大小が把握できるので、量子化および符号化の前に、生成される符号量を低減することが可能である。

なお、この例では、輝度信号を用いるものとしたが、その他の信号を用いてもよい。

また、図２の構成では、制御部６に、符号化データ量検出部１０８の結果が与えられている。すなわち、制御部６は、データ比較部４による比較結果に加えて、符号化部１０７によって生成された前フレームの符号量に応じて、量子化テーブル生成部１０５における量子化テーブル生成を制御するようにしてもよい。

〔領域指定〕
また、図３に示すように、フレーム内において、１つまたは複数の領域を指定する領域指定部８と、画像処理部２から出力された画像信号から、領域指定部８によって指定された領域における画像信号を抽出する抽出部９とを備えた構成としてもよい。この構成では、データ記憶部３は、抽出部９によって抽出された画像信号を記憶するものであり、データ比較部４は、抽出部９によって抽出された現フレームの画像信号と、データ記憶部３に記憶されている前フレームの、当該領域における画像信号との比較を行う。

図４に領域指定の一例を示す。図４（ａ）に示すように、例えば人物進入が両端から発生するシーンにおいて、画像の両端に領域を指定する。これにより、例えば図４（ｂ）に示すように、指定された領域において人の進入による画像信号の変化を抽出することによって、画像全体における平均的な変化度合に比べて、より明確な変化を確認することができる。

そして、抽出部９によって抽出されたデータを用いて、データ記憶部３およびデータ比較部４が処理を行うことによって、取り扱う情報量を削除できる。これにより、データ記憶部３の容量が削減でき、小規模化の実現が可能となり、データ比較部４における処理削減により高速化が実現できる。

〔フレーム内量子化テーブル制御〕
さらに、図５に示すように、領域指定部８によって指定された領域情報を制御部６に入力する構成としてもよい。この構成では、制御部６は、領域指定部８から領域情報を受け、量子化テーブル生成部１０５に対して、領域指定部８によって指定された領域と指定されていない領域とで個別の量子化テーブルを生成するよう、制御する。

例えば、指定された領域については、重要な領域として扱い、符号量を多く割り当てるような量子化テーブルを生成する一方、指定された領域以外については、それほど重要でないとして、符号量が小さくなるように量子化テーブル値を大きくする。このような制御によって、全体として符号量データの調整が可能である。

これにより、監視カメラ用途などにおいて、注視したい部分の符号量を多く割り当てることが可能である。

〔動的領域指定〕
さらに、図６に示すように、動き検出部１１４から出力された動き検出結果を領域指定部８に入力するようにしてもよい。この場合、領域指定部８は、動き検出結果に基づいて、領域の決定を行う。すなわち、動き検出結果から、動きが激しい領域を追随することができ、重要な領域を判定することができる。

これにより、監視カメラ用途などで、注視したい部分を動的に変更することが可能であり、注視したい部分の符号量を多く割り当てることが可能である。

（実施の形態２）
図７は本発明の実施の形態２に係る撮像システム２０（例えばデジタルスチルカメラ（ＤＳＣ））の構成を示す図である。図７において、２１は光学系、２２はイメージセンサ、２３はアナログ・デジタル変換器（ＡＤＣ）、２４は実施の形態１で示したような画像符号化装置２５を有する画像処理回路、２６は記録転送回路、２７はシステム制御回路、２８はタイミング制御回路、２９はネットワークインターフェース回路、３０は受信システムである。この撮像システム２０の全体は、システム制御回路２７によって制御されている。

この撮像システム２０では、光学系２１を通って入射した被写体像はイメージセンサ２２上に結像される。イメージセンサ２２はタイミング制御回路２８によって駆動されることにより、結像された被写体像の光学データを蓄積し、電気信号へと光電変換する。イメージセンサ２２から読み出された電気信号は、アナログ・デジタル変換器２３によってデジタル信号へと変換された後、画像処理回路２４に入力される。この画像処理回路２４においては、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小、および本発明を用いた画像符号化処理などの画像処理が行われる。画像処理された信号は、記録転送回路２６においてメディアへの記録あるいはネットワークインターフェース回路２９によってネットワークへの転送が行われる。記録あるいは転送された信号は、受信システム３０により再生される。

なお、画像処理回路２４における画像処理は、必ずしも光学系２１を介してイメージセンサ２２に結像された被写体像に基づく信号に適用されるものではなく、例えば外部装置から電気信号として入力される画像信号にも適用可能であることはいうまでもない。

以上説明したように、本発明は、量子化を行う画像符号化を高速化することができるので、一定の符号量制御が必要となる画像符号化装置等について有用であり、例えば、監視カメラを含むネットワークカメラやテレビ電話等に有用である。

本発明の実施の形態１に係る画像符号化装置の概略構成を示すブロック図である。 図１の画像符号化部の概略構成を示すブロック図である。 本発明の実施の形態１に係る画像符号化装置の他の例の概略構成を示すブロック図である。 領域指定の一例である。 本発明の実施の形態１に係る画像符号化装置の他の例の概略構成を示すブロック図である。 本発明の実施の形態１に係る画像符号化装置の他の例の概略構成を示すブロック図である。 本発明の実施の形態２に係る撮像システムの構成を示す図である。 従来の画像符号化装置の構成を示す図である。 ＤＣＴ係数の一例の説明図である。 従来の動画像符号化装置の構成を示す図である。

符号の説明

２ 画像処理部
３ データ記憶部（記憶部）
４ データ比較部（比較部）
６ 制御部
８ 領域指定部
９ 抽出部
２１ 光学系
２２ センサ
２３ ＡＤＣ（変換器）
２４ 画像処理回路
２５ 画像符号化装置
１００ 画像符号化部
１０３ ＤＣＴ部（直交変換部）
１０４ 量子化部
１０５ 量子化テーブル生成部
１０７ 符号化部
１１０ 逆量子化部
１１１ 逆ＤＣＴ部（逆直交変換部）
１１３ フレームメモリ
１１４ 動き検出部
１１５ 動き補償部
１１６ 予測誤差生成部（差分生成部）

Claims (10)

1. 動画像符号化を行う画像符号化装置であって、
   被写体を撮像する撮像手段から出力される映像デジタル信号に対して画像信号処理を行い、画像信号を生成する画像処理部と、
   前記画像処理部から出力された画像信号を符号化し、符号データを生成する画像符号化部と、
   前記画像処理部から出力された画像信号を記憶する記憶部と、
   現フレームの画像信号と前記記憶部に記憶されている前フレームの画像信号とを比較し、その比較結果を出力する比較部とを備え、
   前記画像符号化部は、前記比較部から出力された前記比較結果に基づいて、生成する符号データの符号量を制御する制御部を備えている
   ことを特徴とする画像符号化装置。
2. 請求項１記載の画像符号化装置において、
   フレーム内において、１つまたは複数の領域を指定する領域指定部と、
   前記画像処理部から出力された画像信号から、前記領域指定部によって指定された領域における画像信号を抽出する抽出部とを備え、
   前記記憶部は、前記抽出部によって抽出された画像信号を記憶するものであり、
   前記比較部は、前記抽出部によって抽出された現フレームの画像信号と、前記記憶部に記憶されている前フレームの当該領域における画像信号との比較を行うものである
   ことを特徴とする画像符号化装置。
3. 請求項１記載の画像符号化装置において、
   前記画像符号化部は、
   前記画像信号として、１ブロック（ｍ×ｎ）個（ｍ，ｎは正の整数）のデータからなる画像データが順次入力され、かつ、
   前記画像データを直交変換する直交変換部と、
   前記制御部の制御に応じて、量子化テーブルを生成する量子化テーブル生成部と、
   前記直交変換部から出力された直交変換データを、前記量子化テーブル生成部によって生成された量子化テーブルを用いて量子化する量子化部と、
   前記量子化部から出力された量子化データを符号化する符号化部とを備えたものである
   ことを特徴とする画像符号化装置。
4. 請求項３記載の画像符号化装置において、
   前記制御部は、前記比較結果に加え、前記符号化部によって生成された前フレームの符号量に応じて、前記量子化テーブル生成部における量子化テーブル生成を制御する
   ことを特徴とする画像符号化装置。
5. 請求項２記載の画像符号化装置において、
   前記画像符号化部は、
   前記画像信号として、１ブロック（ｍ×ｎ）個（ｍ，ｎは正の整数）のデータからなる画像データが順次入力され、かつ、
   前記画像データを直交変換する直交変換部と、
   前記制御部の制御に応じて、量子化テーブルを生成する量子化テーブル生成部と、
   前記直交変換部から出力された直交変換データを、前記量子化テーブル生成部によって生成された量子化テーブルを用いて量子化する量子化部と、
   前記量子化部から出力された量子化データを符号化する符号化部とを備えたものであり、
   前記制御部は、前記領域指定部から領域情報を受け、前記量子化テーブル生成部に対して、前記領域指定部によって指定された領域と指定されていない領域とで個別の量子化テーブルを生成するよう、制御する
   ことを特徴とする画像符号化装置。
6. 請求項２記載の画像符号化装置において、
   前記画像符号化部は、
   前記画像信号として、１ブロック（ｍ×ｎ）個（ｍ，ｎは正の整数）のデータからなる画像データが順次入力され、かつ、
   前記画像データを直交変換する直交変換部と、
   前記制御部の制御に応じて、量子化テーブルを生成する量子化テーブル生成部と、
   前記直交変換部から出力された直交変換データを、前記量子化テーブル生成部によって生成された量子化テーブルを用いて量子化する量子化部と、
   前記量子化部から出力された量子化データを符号化する符号化部と、
   前記量子化部から出力された量子化データを逆量子化する逆量子化部と、
   前記逆量子化部から出力された逆量子化データを逆直交変換する逆直交変換部と、
   前記逆直交変換部から出力された逆直交変換データを記憶するフレームメモリと、
   前記フレームメモリに記憶されたデータと現フレームの画像信号とから動き検出を行う動き検出部と、
   前記動き検出部から出力された動き検出結果に基づいて、参照画像を生成する動き補償部と、
   入力画像と前記動き補償部から出力された参照画像との差分を生成する差分生成部とを備え、
   前記領域指定部は、前記動き検出部から出力された動き検出結果に基づいて、領域の決定を行う
   ことを特徴とする画像符号化装置。
7. 請求項１記載の画像符号化装置において、
   生成した符号データを、ネットワークへ送出する
   ことを特徴とする画像符号化装置。
8. 動画像符号化を行う画像符号化方法であって、
   被写体を撮像する撮像手段から出力される映像デジタル信号に対して、画像信号処理を行い、画像信号を生成するステップと、
   生成された画像信号を符号化し、符号データを生成するステップと、
   前記生成された画像信号を記憶するステップと、
   現フレームの画像信号と、記憶されている前フレームの画像信号とを比較するステップとを備え、
   前記符号化ステップにおいて、前記比較ステップにおいて得られた比較結果に基づいて、生成される符号データの符号量を制御する
   ことを特徴とする画像符号化方法。
9. 請求項１〜７のいずれか１項記載の画像符号化装置を有し、画像処理を行う画像処理回路と、
   前記画像処理回路へ画像信号を出力するセンサと、
   前記センサへ光を結像する光学系とを備えた
   撮像システム。
10. 請求項９記載の撮像システムにおいて、
    前記センサから得た画像信号をデジタル信号に変換して、前記画像処理回路へ供給する変換器をさらに備えた
    ことを特徴とする撮像システム。

Images