JP2012147073A - 画像符号化装置、画像符号化方法、及び撮像システム - Google Patents

Abstract

【課題】画像符号化の際の消費電力を削減する。
【解決手段】画像符号化装置であって、参照画像を参照して、第１及び第２符号化対象画像についての動きベクトルを、前記第１又は第２符号化対象画像に含まれる複数のブロックのそれぞれに対して検出し、前記検出された動きベクトル、及び前記第１符号化対象画像についての前記動きベクトルを検出する際に参照された前記参照画像と前記第１符号化対象画像との間の関係を示す参照画像インデックスを出力する動きベクトル検出部と、前記動きベクトル検出部で使用される前記参照画像を選択する参照画像選択部とを有する。前記参照画像選択部は、前記第１符号化対象画像についての動きベクトルを検出する際に参照された前記参照画像の数より少ない数の前記参照画像を、前記第２符号化対象画像についての動きベクトルを検出する際に参照すべき参照画像として、前記参照画像インデックスに基づいて選択する。
【選択図】図１

Description

本開示は、参照画像を参照して動画像の符号化を行う画像符号化技術に関する。

動画像データを符号化する標準技術として、ＩＳＯ／ＩＥＣ ＪＴＣ１のＭＰＥＧ（moving picture experts group）が策定した、ＭＰＥＧ−４ Ｐａｒｔ１０：Advanced Video Coding（ＭＰＥＧ−４ ＡＶＣと略称される）がある。このＭＰＥＧ−４ ＡＶＣでは、参照画像メモリに格納された複数の参照画像を参照し、ブロック単位で適切な参照画像を選択してフレーム間予測を行うことにより、符号化効率が向上し、画像符号化による画質劣化を抑えることができる。

前方向及び後方向への参照を行うＢピクチャの場合には、例えば前方向２枚／後方向１枚の参照画像を参照してフレーム間予測が行われる。符号化の際に参照できる参照画像を増やすことにより、符号化対象画像との間の差がより小さい参照画像を選択することができるようになる。その結果、符号化効率や画質を改善することができる。しかし、参照画像は、ＤＲＡＭ（dynamic random-access memory）のような外部メモリに格納されることが多い。参照画像を増やすことにより参照画像を読み出すためのメモリアクセスが増加するので、広帯域なメモリバンド幅を有するメモリを用いる必要がある。

広帯域なメモリバンド幅を確保するためには、例えば３２bit以上のデータビット幅を有する複数のＤＲＡＭを用いたり、ＬＰＤＤＲ２（Low Power Double Data Rate 2）−ＳＤＲＡＭ（synchronous dynamic random-access memory）のような高い動作周波数でも動作可能な高性能なＤＲＡＭを用いたりする必要がある。いずれの場合も実装コストが高くなったり、消費電力が大きくなったりするので、低コスト化や省電力化が困難である。内部メモリを用いる場合にも、同様の問題がある。特にデジタルビデオカメラやデジタルスチルカメラ等の携帯型撮像機器では、低コスト化・低消費電力化が求められるので、符号化時のメモリアクセスを削減する必要がある。

特許文献１には、複数の動き検出器を有する画像符号化装置が記載されている。各動き検出器は、異なる符号化対象画像についての動きベクトルを、同一の参照画像を参照して検出する。同一の参照画像を参照するので、参照画像メモリへのメモリアクセスを削減することができる。

特開２００６−３３３１００号公報

しかしながら、特許文献１の画像符号化装置は、符号化装置の中でも回路規模が比較的大きな動き検出器を複数有する必要があるので、実装コストが大きい。また、動き検出器を複数有するので、消費電力も大きい。

本発明は、参照画像を読み出すためのメモリアクセスを削減することにより、画像符号化の際の消費電力を削減することを目的とする。

本発明の実施形態による画像符号化装置は、参照画像を参照して、第１符号化対象画像及び第２符号化対象画像についての動きベクトルを、前記第１符号化対象画像又は前記第２符号化対象画像に含まれる複数のブロックのそれぞれに対して検出し、前記検出された動きベクトル、及び前記第１符号化対象画像についての前記動きベクトルを検出する際に参照された前記参照画像と前記第１符号化対象画像との間の関係を示す参照画像インデックスを出力する動きベクトル検出部と、前記参照画像インデックスを格納するインデックスメモリと、前記動きベクトル検出部で使用される前記参照画像を選択する参照画像選択部とを有する。前記参照画像選択部は、前記第１符号化対象画像についての動きベクトルを検出する際に参照された前記参照画像の数より少ない数の前記参照画像を、前記第２符号化対象画像についての動きベクトルを検出する際に参照すべき参照画像として、前記インデックスメモリに格納された前記参照画像インデックスに基づいて選択する。

これによると、第２符号化対象画像についての動きベクトルを検出する際に参照すべき参照画像の数を、参照画像インデックスに基づいて、第１符号化対象画像についての動きベクトルを検出する際より少なくするので、メモリアクセスを削減し、消費電力を削減することができる。

本発明の実施形態による撮像システムは、各画素に入力された光を電気信号である画像信号に変換して出力するイメージセンサと、前記画像信号に対して信号処理を行う画像処理部とを有する。前記画像処理部は、参照画像を参照して、第１符号化対象画像及び第２符号化対象画像についての動きベクトルを、前記第１符号化対象画像又は前記第２符号化対象画像に含まれる複数のブロックのそれぞれに対して検出し、前記検出された動きベクトル、及び前記第１符号化対象画像についての前記動きベクトルを検出する際に参照された前記参照画像と前記第１符号化対象画像との間の関係を示す参照画像インデックスを出力する動きベクトル検出部と、前記参照画像インデックスを格納するインデックスメモリと、前記動きベクトル検出部で使用される前記参照画像を選択する参照画像選択部とを有する。前記参照画像選択部は、前記第１符号化対象画像についての動きベクトルを検出する際に参照された前記参照画像の数より少ない数の前記参照画像を、前記第２符号化対象画像についての動きベクトルを検出する際に参照すべき参照画像として、前記インデックスメモリに格納された前記参照画像インデックスに基づいて選択する。

本発明の実施形態による画像符号化方法は、参照画像を参照して、第１符号化対象画像及び第２符号化対象画像についての動きベクトルを、前記第１符号化対象画像又は前記第２符号化対象画像に含まれる複数のブロックのそれぞれに対して検出し、前記検出された動きベクトル、及び前記第１符号化対象画像についての前記動きベクトルを検出する際に参照された前記参照画像と前記第１符号化対象画像との間の関係を示す参照画像インデックスを生成し、前記第１符号化対象画像についての動きベクトルを検出する際に参照された前記参照画像の数より少ない数の前記参照画像を、前記第２符号化対象画像についての動きベクトルを検出する際に参照すべき参照画像として、前記インデックスメモリに格納された前記参照画像インデックスに基づいて選択する。

本発明の実施形態によれば、画像の符号化を行う際に、適切な参照画像を選択して実際に参照される画像の枚数を減らすことができる。参照画像を読み出すためのメモリアクセスを削減することができるので、画像符号化の際の消費電力を削減することができる。

本発明の実施形態に係る画像符号化装置の構成例を示すブロック図である。 図１の画像符号化装置における処理の例を示すフローチャートである。 インターレース画像の動きベクトルを求める場合に、符号化対象画像と参照される参照画像との間の関係の例を示す説明図である。 ステレオ画像の動きベクトルを求める場合に、符号化対象画像と参照される参照画像との間の関係の例を示す説明図である。 本発明の実施形態に係る画像符号化装置の他の構成例を示すブロック図である。 図１の画像符号化装置を有する撮像システムの構成例を示すブロック図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。図面において下２桁が同じ参照番号で示された構成要素は、互いに対応しており、同一の又は類似の構成要素である。

図１は、本発明の実施形態に係る画像符号化装置の構成例を示すブロック図である。図１の画像符号化装置１００は、符号化対象画像メモリ１１２と、参照画像メモリ１１４と、動きベクトル検出部１１６と、符号化部１１８と、インデックスメモリ１２２と、参照画像選択部１２４と、制御部１２６とを有する。特に図示しないが、制御部１２６は、画像符号化装置１００の各要素の制御を行う。

図２は、図１の画像符号化装置における処理の例を示すフローチャートである。図３は、インターレース画像の動きベクトルを求める場合に、符号化対象画像と参照される参照画像との間の関係の例を示す説明図である。図３には、トップフィールド画像ＴＡ，ＴＢ，ＴＣ，及びＴＤ、並びにこれらの画像にそれぞれ対応するボトムフィールド画像ＢＡ，ＢＢ，ＢＣ，及びＢＤが示されている。図３では、トップフィールド画像ＴＣから前方に２方向（Ｌ０Ｒ０及びＬ０Ｒ１）、後方に１方向（Ｌ１Ｒ０）の参照を行う場合を示している。

図１〜図３を参照して図１の画像符号化装置の動作を説明する。図１の画像符号化装置１００に入力される各画像はインターレース画像であり、各画像には複数のブロックが含まれ、各ブロックのサイズは、特に限定されないが例えば８ピクセル×８ピクセルである。トップフィールド画像ＴＡとボトムフィールド画像ＢＡとは、同一のフレーム画像に含まれる。トップフィールド画像ＴＢとボトムフィールド画像ＢＢとは、同一のフレーム画像に含まれる。トップフィールド画像ＴＣとボトムフィールド画像ＢＣとは、同一のフレーム画像に含まれる。トップフィールド画像ＴＤとボトムフィールド画像ＢＤとは、同一のフレーム画像に含まれる。いま、トップフィールド画像ＴＣが符号化対象画像であり、画像ＴＣに含まれる複数のブロックの１つが符号化対象ブロックであるとする。

Ｓ１２では、符号化対象画像メモリ１１２には符号化対象画像ＰＡとして符号化対象ブロックが入力され、符号化対象画像メモリ１１２は、入力されたブロックを格納する。Ｓ１４では、参照画像メモリ１１４には参照画像として画像ＴＢ，ＴＤ，及びＢＢが入力され、参照画像メモリ１１４はこれらの画像を格納する。

Ｓ１６では、動きベクトル検出部１１６は、参照画像メモリ１１４に格納された参照画像を参照して、符号対象画像メモリ１１２に格納された符号化対象ブロックの動きベクトルを検出し、動きベクトルを検出する際に参照された参照画像と符号化対象画像との間の関係を示す参照画像インデックスを生成する。動きベクトル検出部１１６は、検出された動きベクトルと、生成された参照画像インデックスとを出力する。動きベクトル検出の方法としては、例えば、符号化対象ブロックに類似した部分を参照画像から見つけるブロックマッチングが用いられる。

参照画像インデックスは、例えば参照方向を示す値であり、図３では、符号化対象画像であるトップフィールド画像ＴＣから見て、１つ前の同じフィールド（トップフィールド）の画像、１つ前の異なるフィールド（ボトムフィールド）の画像、１つ後の同じフィールド（トップフィールド）の画像に対応する参照画像インデックス（それぞれ、Ｌ０Ｒ０、Ｌ０Ｒ１及びＬ１Ｒ０）を示している。また、Ｓ１６では、符号化部１１８は、符号化対象画像メモリ１１２に格納された符号化対象画像と、参照画像メモリ１１４に格納された参照画像と、動きベクトル検出部１１６で検出された動きベクトルと、動きベクトル検出の際に参照された参照画像を示す参照画像インデックスとを用いて、例えばＭＰＥＧ−４ ＡＶＣに準拠した符号化処理を行い、得られた符号化結果ＰＤを画像符号化装置１００の外部に出力する。

Ｓ１８では、動きベクトル検出部１１６は、インデックスメモリ１２２に参照画像インデックスをブロック毎に格納させる。Ｓ２０では、動きベクトル検出部１１６は、処理中の符号化対象画像についての動きベクトル検出処理が終了したか否かを判定する。終了している場合にはＳ２２に進み、終了していない場合にはＳ１２に戻り、次のブロックについての処理が行われる。このように、動きベクトル検出部は、符号化対象画像についての動きベクトルを、符号化対象画像に含まれる複数のブロックのそれぞれに対して検出する。

Ｓ２２では、参照画像選択部１２４は、インデックスメモリ１２２にブロック毎に格納された参照画像インデックスを読み出し、符号化対象画像であるトップフィールド画像ＴＣについての動きベクトルを検出する際に参照された参照画像に対応する参照画像インデックスの頻度を、参照画像インデックスの種類毎に求める。言い換えると、参照画像選択部１２４は、参照画像インデックスの個数を参照方向毎に分類してカウントする。ここで、例えば参照画像インデックスＬ０Ｒ０の個数が最も大きいという結果が得られたとする。この場合、参照画像選択部１２４は、参照画像インデックスＬ０Ｒ０を選択する。

次に符号化されるべき符号化対象画像は、ボトムフィールド画像ＢＣである。参照画像選択部１２４は、トップフィールド画像ＴＣについての動きベクトルを検出する際に参照された参照画像の数より少ない数の参照画像を、ボトムフィールド画像ＢＣについての動きベクトルを検出する際に参照すべき参照画像として、インデックスメモリ１２２に格納された参照画像インデックスに基づいて選択する。

具体的には、参照画像選択部１２４は、選択された参照画像インデックスＬ０Ｒ０に対応する参照画像（ここではボトムフィールド画像ＢＢ）を選択する。参照画像選択部１２４は、この画像を動きベクトル検出部１１６に出力するように、制御部１２６を介して符号化対象画像メモリ１１２と参照画像メモリ１１４とを制御する。符号化対象画像メモリ１１２及び参照画像メモリ１１４は、制御部１２６の制御に従って、符号化対象画像及び参照画像を動きベクトル検出部１１６に出力する。このように、ボトムフィールド画像ＢＣの動きベクトル検出処理においては、参照画像インデックスＬ０Ｒ０に従って、ボトムフィールドの画像ＢＢが参照画像として用いられる。他の参照方向にある画像ＴＢ及びＢＤは参照されない。

Ｓ２４では、制御部１２６は、符号化すべき画像の符号化が全て終了したか否かを判定する。終了している場合には図２のフローを終了し、終了していない場合にはＳ１２に戻り、ボトムフィールド画像ＢＣ等を符号化対象画像として、同様の処理が行われる。以下、同様に、参照画像インデックスに基づいて、参照画像が選択され、次の符号化対象画像の符号化処理が行われる。

自然画像などの通常の画像が入力される場合には、１枚のフレーム画像に含まれるトップフィールド画像とボトムフィールド画像とにおいて、適切な参照方向は同じであると考えられる。例えば、静止している領域が多い画像では、垂直方向のずれがない同じフィールドの画像を参照することが、トップフィールド画像においても、ボトムフィールド画像においても適切であると考えられる。また、カメラの向きを変えながらの撮影（パン）のように画像全体が動いているような場合には、時間的に近い異なるフィールドを参照することが、トップフィールド画像においても、ボトムフィールド画像においても適切であると考えられる。

このように、トップフィールド画像の符号化において頻度が最も高い参照画像インデックスが、ボトムフィールド画像の符号化において最も適切な参照画像インデックスであることが多いと言える。このため、ボトムフィールド画像の符号化の際に参照画像の枚数を削減しても、削減による画質劣化や符号量の増加は小さい。ボトムフィールド画像の符号化の際に参照される画像の数を減らすことができるので、参照画像メモリ１１４へのアクセスを削減することができ、画像符号化の際のメモリアクセスによる消費電力を削減することができる。

ボトムフィールド画像の符号化の際に参照画像を１枚選択する例を挙げたが、これには限られない。参照画像選択部１２４は、トップフィールド画像についての動きベクトルを検出する際に参照された参照画像の数（図３では３枚）より少ない数（例えば２枚）の参照画像を、ボトムフィールド画像についての動きベクトルを検出する際に参照すべき参照画像として、インデックスメモリ１２２に格納された参照画像インデックスに基づいて選択してもよい。この場合には、例えば、参照画像選択部１２４は、参照画像インデックスの種類を頻度が大きい順に選択し、選択された参照画像インデックスの種類に対応する参照画像を選択する。

ここでは、説明のためにトップフィールド画像の符号化で得られた参照画像インデックスに基づいて、ボトムフィールド画像の参照画像を選択する例を挙げたが、これには限られない。例えば、ボトムフィールド画像の符号化で得られた参照画像インデックスに基づいて、トップフィールド画像の参照画像を選択してもよい。

参照画像選択部１２４が、参照画像インデックスの頻度に基づいて参照画像を選択する方法について説明したが、これは限られず、参照画像インデックスと、動きベクトル検出の信頼度とに基づいて参照画像の選択を行ってもよい。この場合、動きベクトル検出部１１６は、動きベクトル検出の信頼度も参照画像インデックスとともにインデックスメモリ１２２に格納しておく。

例えば、動きベクトル検出処理の際に使用される動きベクトルのコストを信頼度に対応する値として使用してもよい。コストが小さいほど信頼度は大きいと考えることができる。参照画像選択部１２４は、参照画像インデックスの種類毎に、信頼度が所定値より大きい頻度、すなわち、コストが所定値より小さい頻度を、符号化対象画像について求める。言い換えると、参照画像選択部１２４は、参照画像インデックスの種類毎に、コストが所定値より小さいブロックの数を求める。参照画像選択部１２４は、参照画像インデックスの種類を頻度が大きい順に選択し、選択された参照画像インデックスの種類に対応する参照画像を選択する。

つまり、参照画像選択部１２４は、求められたブロックの数が最も多い参照画像インデックスが示す参照画像から順に、所定の数の参照画像を選択する。動きベクトルのコストが所定値以上の場合は、適切な動きベクトル検出ができていない可能性があり、そのようなブロックの参照画像インデックスは信頼度が低い。このため、コストが所定値より小さいブロックの参照画像インデックスの個数を求める。

このように、参照画像インデックスと信頼度とに基づいて選択を行うことにより、信頼度の低い参照画像インデックスの影響を減らすことができ、より適切な参照画像の選択を行うことができる。

信頼度が所定値より大きいブロックの参照画像インデックスを利用して参照画像を選択する方法について説明したが、これには限られない。例えば、参照画像選択部１２４は、信頼度に対応する重みの和を、参照画像インデックスの種類毎に求め、求められた和が大きい順に参照画像インデックスの種類を選択してもよい。参照画像選択部１２４は、選択された参照画像インデックスの種類に対応する参照画像を選択する。このように信頼度による重み付けをすると、より適切な参照画像を選択することができる。

インターレース画像を符号化する場合について説明したが、図１の画像符号化装置１００がステレオ画像を符号化する場合に、ほぼ同様に参照画像の選択を行ってもよい。図４は、ステレオ画像の動きベクトルを求める場合に、符号化対象画像と参照される参照画像との間の関係の例を示す説明図である。図４には、主カメラの画像ＭＡ，ＭＢ，ＭＣ，及びＭＤ、並びにこれらの画像にそれぞれ対応する従カメラの画像ＳＡ，ＳＢ，ＳＣ，及びＳＤが示されている。主カメラと従カメラとは、ステレオ画像を撮像する。図４では、画像ＭＣから前方に２方向（Ｌ０Ｒ０及びＬ０Ｒ１）、後方に１方向（Ｌ１Ｒ０）の参照を行う場合を示している。

主カメラの画像ＭＡ〜ＭＤは、例えば左目用の画像、従カメラの画像ＳＡ〜ＳＤは、例えば右目用の画像である。主カメラの画像ＭＡと従カメラの画像ＳＡとは、一組のステレオ画像である。主カメラの画像ＭＢと従カメラの画像ＳＢとは、一組のステレオ画像である。主カメラの画像ＭＣと従カメラの画像ＳＣとは、一組のステレオ画像である。主カメラの画像ＭＤと従カメラの画像ＳＤとは、一組のステレオ画像である。

図１、図２、及び図４を参照して図１の画像符号化装置の動作を説明する。図１の画像符号化装置１００に入力される各画像はプログレッシブ画像であり、各画像には複数のブロックが含まれ、各ブロックのサイズは、特に限定されないが例えば８ピクセル×８ピクセルである。いま、画像ＭＣが符号化対象画像であり、画像ＭＣの１つのブロックが符号化対象ブロックであるとする。

Ｓ１２では、符号化対象画像メモリ１１２には符号化対象画像ＰＡとして符号化対象ブロックが入力され、符号化対象画像メモリ１１２は、入力されたブロックを格納する。Ｓ１４では、参照画像メモリ１１４には参照画像として画像ＭＢ，ＭＤ，及びＭＡが入力され、参照画像メモリ１１４は入力された画像ＭＢ，ＭＤ，及びＭＡを格納する。

参照画像インデックスは、例えば参照方向を示す値であり、図４では、符号化対象画像から見て、１つ前の主カメラ画像、２つ前の主カメラ画像、１つ後の主カメラ画像の参照画像インデックス（それぞれ、Ｌ０Ｒ０、Ｌ０Ｒ１及びＬ１Ｒ０）を示している。Ｓ１６，Ｓ１８，Ｓ２０，Ｓ２２，Ｓ２４における処理は、図３を参照して説明した処理とほぼ同様であるので、その説明を省略する。

Ｓ２２において、例えば参照画像インデックスＬ０Ｒ０の個数が最も大きいという結果が得られたとする。参照画像選択部１２４は、参照画像インデックスＬ０Ｒ０を選択し、選択された参照画像インデックスＬ０Ｒ０に対応する参照画像（ここでは従カメラの画像ＳＢ）を選択する。このように、次の符号化対象画像である従カメラの画像ＳＣの動きベクトル検出処理においては、参照画像インデックスＬ０Ｒ０に従って、従カメラの画像ＳＢが参照画像として用いられる。他の参照方向にある画像ＳＡ及びＳＤは参照されない。

一組のステレオ画像に含まれる主カメラの画像と従カメラの画像とにおいては、ほぼ同じ被写体が含まれるので、適切な参照方向は同じであると考えられる。これは、トップフィールド画像とボトムフィールド画像との間の関係と同様である。言い換えると、主カメラの画像の符号化において頻度が最も高い参照画像インデックスが、従カメラの画像の符号化において最も適切な参照画像インデックスであることが多いと考えられる。このため、従カメラの画像の符号化の際に参照画像の枚数を削減しても、削減による画質劣化や符号量の増加は小さい。従カメラの画像の符号化の際に参照される画像の数を減らすことができるので、参照画像メモリ１１４へのアクセスを削減することができ、画像符号化の際のメモリアクセスによる消費電力を削減することができる。

従カメラの画像の符号化の際に参照画像を１枚選択する例を挙げたが、これには限られない。参照画像選択部１２４は、主カメラの画像についての動きベクトルを検出する際に参照された参照画像の数より少ない数の参照画像を、従カメラの画像についての動きベクトルを検出する際に参照すべき参照画像として、インデックスメモリ１２２に格納された参照画像インデックスに基づいて選択してもよい。この場合には、例えば、参照画像選択部１２４は、参照画像インデックスの種類を頻度が大きい順に選択し、選択された参照画像インデックスの種類に対応する参照画像を選択する。

ここでは、主カメラの画像の符号化で得られた参照画像インデックスに基づいて、従カメラの画像の参照画像を選択する例を挙げたが、これには限られない。例えば、従カメラの画像の符号化で得られた参照画像インデックスに基づいて、主カメラの画像の参照画像を選択してもよい。

ステレオ画像の処理に関しては、図１の画像符号化装置１００に入力される各画像はプログレッシブ画像であるとして説明したが、インターレース画像であってもよい。図３を参照して説明したインターレース画像の符号化の場合と同様に、参照画像インデックスと、動きベクトル検出の信頼度とに基づいて参照画像の選択を行ってもよい。

図５は、本発明の実施形態に係る画像符号化装置の他の構成例を示すブロック図である。図５の画像符号化装置２００は、制御部１２６に代えて制御部２２６を有し、符号化対象画像メモリ１１２及び参照画像メモリ１１４を有しない点の他は、図１の画像符号化装置１００とほぼ同様に構成されている。

外部メモリ２０２には、符号化対象画像ＰＴ及び参照画像ＰＲが格納される。動きベクトル検出部１１６は、符号対象画像メモリ１１２及び参照画像メモリ１１４からではなく、外部メモリ２０２から符号化対象画像ＰＴ及び参照画像ＰＲを読み出す。制御部２２６は、選択された参照画像インデックス（例えばＬ０Ｒ０）に対応する参照画像を動きベクトル検出部１１６に出力するように、外部メモリ２０２を制御する。このような点以外は、図５の画像符号化装置２００は、図１の画像符号化装置１００とほぼ同様に動作する。特に図示しないが、制御部２２６は、画像符号化装置２００の各構成要素の制御を行う。

図５の画像符号化装置２００によると、外部メモリ２０２を用いる場合においても、外部メモリ２０２へのアクセスを削減することができ、画像符号化の際のメモリアクセスによる消費電力を削減することができる。

図６は、図１の画像符号化装置１００を有する撮像システムの構成例を示すブロック図である。図６の撮像システムは、例えばデジタルカメラやテレビ会議システム用カメラであって、カメラ部３４０と、画像処理部３５０と、記録／転送部３６２と、再生部３６４と、システム制御部３６６と、タイミング制御部３６８とを有する。カメラ部３４０は、レンズ等の光学系３４２と、イメージセンサ３４４と、Ａ／Ｄ変換回路３４６とを有する。画像処理部３５０は、図１の画像符号化装置１００を有する。

光学系３４２は、入射光を通過させ、イメージセンサ３４４上に結像させる。イメージセンサ３４４は、その各画素に入力された光を電気信号である画像信号に光電変換し、Ａ／Ｄ変換回路３４６に出力する。Ａ／Ｄ変換回路３４６は、イメージセンサ３４４からの出力信号をデジタル画像信号に変換し、画像処理部３５０に出力する。画像処理部３５０は、デジタル画像信号に対して信号処理を行い、処理後の信号を記録／転送部３６２に出力する。信号処理には、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小、及びＪＰＥＧ（joint photographic experts group）やＭＰＥＧ等の画像圧縮／伸張処理等の画像処理や、画像圧縮されたストリームの制御等が含まれる。画像処理部３５０内の画像符号化装置１００は、例えば、前述のようにＭＰＥＧ−４ ＡＶＣに準拠した符号化処理を行う。

記録／転送部３６２は、画像処理部３５０で処理後の映像信号に対して、メディアへの記録又はインターネット等を介した伝送を行う。再生部３６４は、記録又は転送された信号を再生する。イメージセンサ３４４及び画像処理部３５０はタイミング制御部３６８によって制御され、光学系３４２、記録／転送部３６２、再生部３６４及びタイミング制御部３６８は、システム制御部３６６によって制御される。

このように、図１の画像符号化装置１００を撮像システムに用いて、消費電力の削減を図るようにしてもよい。画像符号化装置１００に代えて図５の画像符号化装置２００を用いてもよい。

図１及び図５の画像符号化装置１００及び２００は、典型的にはＩＣ（integrated circuit）として実現される。それぞれは、１チップ化されていてもよいし、複数のチップに跨っていてもよい。

本明細書における各機能ブロックは、典型的にはハードウェアで実現され得る。例えば各機能ブロックは、ＩＣ（integrated circuit）の一部として半導体基板上に形成され得る。図１及び図５の画像符号化装置１００及び２００のそれぞれは、１チップ化されていてもよいし、複数のチップに跨っていてもよい。ここでＩＣは、ＬＳＩ（large-scale integrated circuit）、システムＬＳＩ、スーパーＬＳＩ（ＳＬＳＩ）、ウルトラＬＳＩ（ＵＬＳＩ）、ＡＳＩＣ（application-specific integrated circuit）、ゲートアレイ、ＦＰＧＡ（field programmable gate array）、内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサ等を含む。代替としては各機能ブロックの一部又は全ては、ソフトウェアで実現され得る。例えばそのような機能ブロックは、プロセッサ及びプロセッサ上で実行されるプログラムによって実現され得る。換言すれば、本明細書で説明される各機能ブロックは、ハードウェアで実現されてもよいし、ソフトウェアで実現されてもよいし、ハードウェアとソフトウェアとの任意の組合せで実現され得る。

更には、半導体技術の進歩又は派生する別技術によりＩＣに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えばバイオ技術の適用等が可能性としてあり得る。

本発明の多くの特徴及び優位性は、記載された説明から明らかであり、よって添付の特許請求の範囲によって、本発明のそのような特徴及び優位性の全てをカバーすることが意図される。更に、多くの変更及び改変が当業者には容易に可能であるので、本発明は、図示され記載されたものと全く同じ構成及び動作に限定されるべきではない。したがって、全ての適切な改変物及び等価物は本発明の範囲に入るものとされる。

以上説明したように、本発明の実施形態によれば、消費電力の削減を図ることができるので、本発明は、画像符号化装置及び撮像システム等について有用である。

１００，２００ 画像符号化装置
１１２ 符号化対象画像メモリ
１１４ 参照画像メモリ
１１６ 動きベクトル検出部
１１８ 符号化部
１２２ インデックスメモリ
１２４ 参照画像選択部
３４２ 光学系
３４４ イメージセンサ
３５０ 画像処理部

Claims (12)

1. 参照画像を参照して、第１符号化対象画像及び第２符号化対象画像についての動きベクトルを、前記第１符号化対象画像又は前記第２符号化対象画像に含まれる複数のブロックのそれぞれに対して検出し、前記検出された動きベクトル、及び前記第１符号化対象画像についての前記動きベクトルを検出する際に参照された前記参照画像と前記第１符号化対象画像との間の関係を示す参照画像インデックスを出力する動きベクトル検出部と、
   前記参照画像インデックスを格納するインデックスメモリと、
   前記動きベクトル検出部で使用される前記参照画像を選択する参照画像選択部とを備え、
   前記参照画像選択部は、前記第１符号化対象画像についての動きベクトルを検出する際に参照された前記参照画像の数より少ない数の前記参照画像を、前記第２符号化対象画像についての動きベクトルを検出する際に参照すべき参照画像として、前記インデックスメモリに格納された前記参照画像インデックスに基づいて選択する
   画像符号化装置。
2. 請求項１に記載の画像符号化装置において、
   前記第１符号化対象画像は、既に符号化された符号化対象画像であり、
   前記第２符号化対象画像は、次に符号化されるべき符号化対象画像である
   画像符号化装置。
3. 請求項１に記載の画像符号化装置において、
   前記第１符号化対象画像及び第２符号化対象画像は、同一のフレーム画像に含まれる異なるフィールドの画像である
   画像符号化装置。
4. 請求項１に記載の画像符号化装置において、
   前記第１符号化対象画像は、主カメラによって撮像された画像であり、
   前記第２符号化対象画像は、従カメラによって撮像された画像である
   画像符号化装置。
5. 請求項１に記載の画像符号化装置において、
   前記参照画像選択部は、前記参照画像インデックスの種類毎に頻度を求め、前記参照画像インデックスの種類を前記頻度が大きい順に選択し、前記選択された参照画像インデックスの種類に対応する前記参照画像を選択する
   画像符号化装置。
6. 請求項１に記載の画像符号化装置において、
   前記参照画像選択部は、前記動きベクトル検出の信頼度にも基づいて、前記参照画像を選択する
   画像符号化装置。
7. 請求項６に記載の画像符号化装置において、
   前記信頼度は、前記信頼度に対応する前記動きベクトルのコストである
   画像符号化装置。
8. 請求項６に記載の画像符号化装置において、
   前記参照画像選択部は、前記参照画像インデックスの種類毎に、前記信頼度が所定値より大きい頻度を求め、前記参照画像インデックスの種類を前記頻度が大きい順に選択し、前記選択された参照画像インデックスの種類に対応する前記参照画像を選択する
   画像符号化装置。
9. 請求項６に記載の画像符号化装置において、
   前記参照画像選択部は、前記信頼度に対応する重みの和を、前記参照画像インデックスの種類毎に求め、前記参照画像インデックスの種類を前記和が大きい順に選択し、前記選択された参照画像インデックスの種類に対応する前記参照画像を選択する
   画像符号化装置。
10. 請求項１に記載の画像符号化装置において、
    前記符号化対象画像を格納する符号化対象画像メモリと、
    前記参照画像を格納する参照画像メモリとを更に備える
    画像符号化装置。
11. 各画素に入力された光を電気信号である画像信号に変換して出力するイメージセンサと、
    前記画像信号に対して信号処理を行う画像処理部とを備え、
    前記画像処理部は、
    参照画像を参照して、第１符号化対象画像及び第２符号化対象画像についての動きベクトルを、前記第１符号化対象画像又は前記第２符号化対象画像に含まれる複数のブロックのそれぞれに対して検出し、前記検出された動きベクトル、及び前記第１符号化対象画像についての前記動きベクトルを検出する際に参照された前記参照画像と前記第１符号化対象画像との間の関係を示す参照画像インデックスを出力する動きベクトル検出部と、
    前記参照画像インデックスを格納するインデックスメモリと、
    前記動きベクトル検出部で使用される前記参照画像を選択する参照画像選択部とを有し、
    前記参照画像選択部は、前記第１符号化対象画像についての動きベクトルを検出する際に参照された前記参照画像の数より少ない数の前記参照画像を、前記第２符号化対象画像についての動きベクトルを検出する際に参照すべき参照画像として、前記インデックスメモリに格納された前記参照画像インデックスに基づいて選択する
    撮像システム。
12. 参照画像を参照して、第１符号化対象画像及び第２符号化対象画像についての動きベクトルを、前記第１符号化対象画像又は前記第２符号化対象画像に含まれる複数のブロックのそれぞれに対して検出し、前記検出された動きベクトル、及び前記第１符号化対象画像についての前記動きベクトルを検出する際に参照された前記参照画像と前記第１符号化対象画像との間の関係を示す参照画像インデックスを生成し、
    前記第１符号化対象画像についての動きベクトルを検出する際に参照された前記参照画像の数より少ない数の前記参照画像を、前記第２符号化対象画像についての動きベクトルを検出する際に参照すべき参照画像として、前記インデックスメモリに格納された前記参照画像インデックスに基づいて選択する
    画像符号化方法。

Images