JP2011135230A - 画像符号化方法、画像符号化装置及び撮像システム - Google Patents

Abstract

【課題】動き検出に必要なデータ転送量及びメモリ容量を削減する。
【解決手段】本発明に係る画像符号化方法は、複数のマクロブロック動きベクトルを取得する動きベクトル取得ステップＳ１０１と、マクロブロックより大きなサイズの注目ローカルブロック２２０を指定する指定ステップＳ１０２と、注目ローカルブロック２２０の動きを示す注目ローカルベクトル２１４を算出するローカルベクトル算出ステップＳ１０３と、過去の画像の全体の動きを示す全体ベクトル２１６を算出する全体ベクトル算出ステップＳ１０４と、注目ローカルベクトル２１４及び全体ベクトル２１６の一方を代表ベクトル２１７に決定する代表ベクトル決定ステップＳ１０５と、代表ベクトル２１７を用いて探索範囲２４１を決定し、決定した探索範囲２４１を用いて処理対象のマクロブロックの動きベクトル１３０を算出する動きベクトル算出ステップＳ１０６とを含む。
【選択図】図２

Description

本発明は、画像符号化方法、画像符号化装置及び撮像システムに関し、特に、動きベクトルを検出する画像符号化方法及び画像符号化装置に関する。

動画像データを符号化する方法として、フレーム内符号化とフレーム間符号化とがある。フレーム内符号化は１つのフレーム内のデータの空間的冗長性を取り除いて圧縮を行うものであり、イントラ符号化とも呼ばれる。フレーム間符号化は２つの又は複数のフレーム間の時間的冗長性を取り除いて圧縮を行うものであり、インター符号化とも呼ばれる。本発明ではフレーム内符号化については取り扱わないため、説明は割愛する。

インター符号化は、通常マクロブロック単位で実施される。具体的には、符号化対象のマクロブロックと少なくとも１フィールド以上離れた画像である参照画像との間でマクロブロック毎のブロックマッチングが行われる。次に、符号化対象のマクロブロックと差分が少ない参照画像のマクロブロックを探索し、この差分を符号化する。これにより、インター符号化は、時間的冗長性を取り除くことができる。

しかし、この探索処理は、マクロブロックごとに行われるので、非常に多くの演算処理が必要である。この演算処理を削減するために、さまざまな提案が行われてきた。

例えば、画面全体の動きを示すグローバルな動きベクトルを用いる技術が特許文献１に示されている。

ここで、撮像しているカメラを右にパン動作させるようなカメラワークを行った場合には、全てのマクロブロックの動きベクトルが似たような値を示す。しかしながら、このような場合にも、マクロブロック全てに対して個別に探索処理を行った場合、探索処理の演算に無駄が生じるという課題がある。

この課題に対して、特許文献１の符号化方法は、画面全体の動きを示すグローバルな動きベクトルを用いることで、探索処理の演算量を低減できる。以下、特許文献１の符号化方法を説明する。

特許文献１の符号化方法では、現フレームの縮小画像と参照フレームの縮小画像との間で画面全体の動きを検出し、検出した画面全体の動きをグローバルな動きベクトルとして出力する。また、特許文献１の符号化方法は、グローバルな動きベクトルに基づきその周辺の狭い探索範囲で動き検出を行い、動き補償予測を用いた画像の符号化処理を行う。

これによって、特許文献１の符号化方法は、探索範囲を小さくすることができるので、動き探索に必要な演算量、転送データ量及びメモリ容量を削減することができる。

さらに、特許文献１では、グローバルな動きベクトルに加え、指定された領域のローカルな動きベクトルを算出することが開示されている。このように、特許文献１の符号化方法は、グローバルな動きベクトルと、ローカルな動きベクトルとを用いることにより、例えば、被写体付近ではローカルな動きベクトルを探索開始点とし、その他の領域ではグローバルな動きベクトルを探索開始点とすることで、それぞれに適したマクロブロック動きベクトルを検出できる。

国際公開第００／００５８９９号

近年では取り扱う動画像のサイズはＨＤＴＶサイズが標準となり、画像符号化装置は、膨大なデータ量を扱う必要が出てきている。また、反対に商品の価格下落も急速に進んでいることから、商品に搭載できるメモリも限られてきており、使用メモリ領域とデータ帯域を削減することが求められている。

しかしながら、特許文献１に示された上記符号化方法では、参照画像中のグローバルな動きベクトルで指定された領域のデータ転送と、ローカルな動きベクトルで指定された領域のデータ転送とが発生してしまう。これにより、特許文献１の符号化方法は、動き検出に必要なデータ転送量及びメモリ容量が多いという課題がある。

本発明では、上記課題を解決するものであり、動き検出に必要なデータ転送量及びメモリ容量を削減できる画像符号化装置及び画像符号化方法を提供することを目的とする。

上記目的を達成するために、本発明の一形態に係る画像符号化方法は、画像信号に含まれる複数のマクロブロック毎に動きベクトルを検出し、検出した動きベクトルを用いて前記画像信号を符号化する画像符号化方法であって、過去の画像に含まれる複数のマクロブロックの各々の動きを示す複数のマクロブロック動きベクトルを取得する動きベクトル取得ステップと、マクロブロックより大きなサイズの複数のローカルブロックのうち、第１ローカルブロックを指定する指定ステップと、前記第１ローカルブロックに含まれる前記マクロブロックの前記マクロブロック動きベクトルを用いて当該第１ローカルブロックの動きを示す第１ローカルベクトルを算出するローカルベクトル算出ステップと、前記過去の画像の全体の動きを示す全体ベクトルを算出する全体ベクトル算出ステップと、処理対象画像毎に、前記第１ローカルベクトル及び前記全体ベクトルの一方を代表ベクトルに決定する代表ベクトル決定ステップと、前記処理対象画像に含まれる複数のマクロブロックの各々に対して、処理対象のマクロブロックから前記代表ベクトルで示される位置を用いて動き探索範囲を決定し、決定した前記探索範囲を用いて前記処理対象のマクロブロックの動きベクトルを算出する動きベクトル算出ステップとを含む。

この構成によれば、本発明の一形態に係る画像符号化方法は、第１ローカルベクトル及び全体ベクトルの一方を代表ベクトルに決定し、決定した代表ベクトルを用いて、符号化対象の画像の動き検出を行う。よって、本発明の一形態に係る画像符号化方法は、動き検出の際に、第１ローカルベクトルで指定される領域のデータ転送と、全体ベクトルで指定される領域のデータ転送との一方のみを行えばよい。これにより、本発明の一形態に係る画像符号化方法は、動き検出に必要なデータ転送量及びメモリ容量を削減できる。

さらに、本発明の一形態に係る画像符号化方法は、第１ローカルベクトルを用いるか、全体ベクトルを用いるかを適応的に切り替えることにより、第１ローカルブロックの画質の低下を抑制できるとともに、演算量の増加を抑制できる。

また、前記代表ベクトル決定ステップでは、前記複数のローカルブロックのうちの前記第１ローカルブロック以外のローカルブロックである複数の第２ローカルブロック全体の動きを示す全体第２ローカルベクトルを算出し、前記第１ローカルベクトルと、前記全体第２ローカルベクトルとの差分を算出し、前記差分が予め定められた閾値以上の場合、前記第１ローカルベクトルを代表ベクトルに決定してもよい。

この構成によれば、本発明の一形態に係る画像符号化方法は、第１ローカルブロック（例えば、被写体周辺）と、第２ローカルブロック（例えば、背景）とで動きが大きく異なる場合には、第１ローカルベクトルを用いて動き検出を行う。これにより、本発明の一形態に係る画像符号化方法は、例えば、被写体周辺と背景とで大きく動きが異なる場合においても、被写体周辺の画質の低下を抑制できる。

また、前記代表ベクトル決定ステップでは、前記差分が前記閾値未満の場合、前記全体ベクトルを前記代表ベクトルに決定してもよい。

この構成によれば、本発明の一形態に係る画像符号化方法は、第１ローカルブロック（例えば、被写体周辺）と、第２ローカルブロック（例えば、背景）とが同様の動きである場合には、全体ベクトルを用いて動き検出を行う。これにより、本発明の一形態に係る画像符号化方法は、動き検出処理の演算量を低減できるとともに、画面全体の画質の低下を抑制できる。

また、前記代表ベクトル決定ステップでは、前記差分が予め定められた閾値以上の場合、かつ、符号化対象のマクロブロック位置から、前記全体ベクトルと前記第１ローカルベクトルとの和で示される位置が、前記全体ベクトルを前記代表ベクトルとして用いた場合の探索範囲内に含まれない場合、前記第１ローカルベクトルを前記代表ベクトルに決定し、前記差分が前記閾値未満の場合、及び、符号化対象のマクロブロック位置から、前記全体ベクトルと前記第１ローカルベクトルとの和で示される位置が、前記全体ベクトルを前記代表ベクトルとして用いた場合の探索範囲内に含まれる場合の少なくとも一方を満たす場合、前記全体ベクトルを前記代表ベクトルに決定してもよい。

この構成によれば、本発明の一形態に係る画像符号化方法は、第１ローカルブロック（例えば、被写体周辺）と、第２ローカルブロック（例えば、背景）とで動きが大きく異なる場合であっても、全体ベクトルを用いて、第１ローカルブロックの動き検出を行えるばあいには、全体ベクトルを用いて動き検出を行う。これにより、本発明の一形態に係る画像符号化方法は、第２ローカルブロックの画質の低下を抑制できる。

また、前記指定ステップでは、前記複数のローカルブロックのうち画面の中央に位置するローカルブロックを前記第１ローカルブロックに指定してもよい。

この構成によれば、本発明の一形態に係る画像符号化方法は、画面中央の画質の低下を抑制できる。

また、前記指定ステップでは、前記複数のローカルブロックのうち、被写体の顔の位置を含むローカルブロックを前記第１ローカルブロックに指定してもよい。

この構成によれば、本発明の一形態に係る画像符号化方法は、被写体の顔周辺の画質の低下を抑制できる。

また、前記ローカルベクトル算出ステップでは、さらに、前記第２ローカルブロックの各々に対して、当該第２ローカルブロックに含まれる前記マクロブロックの前記マクロブロック動きベクトルを用いて当該第２ローカルブロックの動きを示す第２ローカルベクトルを算出し、前記代表ベクトル決定ステップでは、前記複数の第２ローカルベクトルの平均値を前記全体第２ローカルベクトルとして算出してもよい。

また、前記全体ベクトル算出ステップでは、前記ローカルベクトル算出ステップで算出された前記第１ローカルベクトル及び前記複数の第２ローカルベクトルの平均値を前記全体ベクトルとして算出してもよい。

なお、本発明は、このような画像符号化方法として実現できるだけでなく、画像符号化方法に含まれる特徴的なステップを手段とする画像符号化装置として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

さらに、本発明は、このような画像符号化装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像符号化装置を備える撮像装置として実現したり、このような撮像装置を含む撮像システムとして実現したりできる。

以上より、本発明は、動き検出に必要なデータ転送量及びメモリ容量を削減できる画像符号化装置及び画像符号化方法を提供できる。

本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。 本発明の実施の形態１に係る動き検出部の構成を示すブロック図である。 本発明の実施の形態１に係る動き検出処理のフローチャートである。 本発明の実施の形態１に係る注目ローカルブロックと周辺ローカルブロックとの配置例を示す図である。 本発明の実施の形態１に係るローカルベクトルの一例を示す図である。 本発明の実施の形態１に係る代表ベクトル決定処理のフローチャートである。 本発明の実施の形態１に係る大きく右方向にカメラをパン動作させた場合の画面例を示す図である。 本発明の実施の形態１に係る大きく右方向にカメラをパン動作させた場合のローカルベクトルの一例を示す図である。 本発明の実施の形態１に係るカメラを右にパン動作させた場合の画面例を示す図である。 本発明の実施の形態１の比較例に係るカメラを右にパン動作させた場合の対象マクロブロックの一例を示す図である。 本発明の実施の形態１の比較例に係るカメラを右にパン動作させた場合の動き補償マクロブロック及び探索範囲の一例を示す図である。 本発明の実施の形態１の比較例に係るカメラを右にパン動作させた場合の動きベクトルの一例を示す図である。 本発明の実施の形態１の比較例に係るカメラを右にパン動作させた場合の動きベクトルの一例を示す図である。 本発明の実施の形態１の比較例に係る、動きが少ない場合の探索範囲の一例を示す図である。 本発明の実施の形態１の比較例に係る、動きが大きい場合の探索範囲の一例を示す図である。 本発明の実施の形態１に係る、代表ベクトルと探索範囲との関係を示す図である。 本発明の実施の形態１に係る、全体ベクトルの一例を示す図である。 本発明の実施の形態２に係る代表ベクトル決定処理のフローチャートである。 本発明の実施の形態２に係る小さく右方向にカメラをパン動作させた場合の画面例を示す図である。 本発明の実施の形態２に係る小さく右方向にカメラをパン動作させた場合のローカルベクトルの一例を示す図である。 本発明の実施の形態３に係る画像符号化装置の構成を示すブロック図である。 本発明の実施の形態４の撮像システムを示すブロック図である。

以下に本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
本発明の実施の形態１に係る画像符号化装置は、注目ローカルベクトル及び全体ベクトルの一方を代表ベクトルに決定し、決定した代表ベクトルを用いて、符号化対象の画像の動き検出を行う。よって、本発明の実施の形態１に係る画像符号化装置は、動き検出の際に、注目ローカルベクトルで指定される領域のデータ転送と、全体ベクトルで指定される領域のデータ転送との一方のみを行えばよい。これにより、本発明の実施の形態１に係る画像符号化装置は、動き検出に必要なデータ転送量及びメモリ容量を削減できる。

まず、本発明の実施の形態１に係る画像符号化装置１００の構成を説明する。
図１は、本発明の実施の形態１に係る画像符号化装置１００の構成を示す図である。

図１に示す画像符号化装置１００は、入力画像信号１２０を符号化することにより符号化信号１２５を生成する。具体的には、画像符号化装置１００は、入力画像信号１２０に含まれる複数のマクロブロック毎に動きベクトルを検出し、検出した動きベクトルを用いて入力画像信号１２０を符号化する。

この画像符号化装置１００は、ブロック化部１０１と、減算器１０２と、直交変換部１０３と、量子化部１０４と、可変長符号化部１０５と、逆量子化部１０６と、逆直交変換部１０７と、加算器１０８と、メモリ１０９と、動き検出部１１０と、動き補償部１１１とを備える。

ブロック化部１０１は、入力画像信号１２０に含まれる１つの画像（１画面）を複数のマクロブロックに分割することにより、分割画像信号１２１を生成する。

減算器１０２は、動き補償部１１１で生成された動き補償画像１３１と、ブロック化部１０１で生成された分割画像信号１２１との差分を算出することにより予測誤差信号１２２を生成する。

直交変換部１０３は、減算器１０２で生成された予測誤差信号１２２を直交変換することにより変換係数１２３を生成する。

量子化部１０４は、直交変換部１０３で生成された変換係数１２３を量子化することにより量子化係数１２４を生成する。

可変長符号化部１０５は、量子化部１０４で生成された量子化係数１２４と動き検出部１１０により生成された動きベクトル１３０とを可変長符号化することにより符号化信号１２５を生成する。

逆量子化部１０６は、量子化部１０４で生成された量子化係数１２４を逆量子化することにより変換係数１２６を生成する。

逆直交変換部１０７は、逆量子化部１０６で生成された変換係数１２６を逆直交変換することにより予測誤差信号１２７を生成する。

加算器１０８は、逆直交変換部１０７で生成された予測誤差信号１２７と動き補償部１１１で生成された動き補償画像１３１とを加算することによりローカルデコード画像１２８を生成する。

メモリ１０９は、加算器１０８により生成されたローカルデコード画像１２８を記憶する。

動き検出部１１０は、ブロック化部１０１で生成された分割画像信号１２１の動き検出を、メモリ１０９に記憶されたローカルデコード画像１２８を用いて行うことにより、動きベクトル１３０を生成する。

動き補償部１１１は、動き検出部１１０で生成された動きベクトル１３０を用いて動き補償画像１３１を生成する。

以下、動き検出部１１０の構成を詳細に説明する。
図２は、動き検出部１１０の構成を示すブロック図である。

図２に示すように、動き検出部１１０は、動きベクトル取得部２０１と、領域指定部２０２と、ローカルベクトル算出部２０３と、全体ベクトル算出部２０４と、代表ベクトル決定部２０５と、動きベクトル算出部２０６とを備える。

動きベクトル取得部２０１は、過去の画像に含まれる複数のマクロブロックの各々の動きを示す複数のマクロブロック動きベクトル２１１を取得する。

領域指定部２０２は、マクロブロックより大きなサイズの複数のローカルブロックのうち、注目するローカルブロックである注目ローカルブロックと、注目ローカルブロック以外のローカルブロックである周辺ローカルブロックとを指定する。例えば、領域指定部２０２は、複数のローカルブロックのうち画面の中央に位置するローカルブロックを注目ローカルブロックに指定する。

ローカルベクトル算出部２０３は、複数のローカルブロックごとに、当該ローカルブロックの動きを示すローカルベクトル２１３を算出する。具体的には、ローカルベクトル算出部２０３は、動きベクトル取得部２０１により取得された、ローカルブロックに含まれる複数のマクロブロックのマクロブロック動きベクトル２１１の平均値をローカルベクトル２１３として算出する。また、複数のローカルベクトル２１３は、注目ローカルブロックのローカルベクトル２１３である注目ローカルベクトル２１４と、周辺ローカルブロックのローカルベクトル２１３である周辺ローカルベクトル２１５とを含む。

全体ベクトル算出部２０４は、過去の画像の全体の動きを示す全体ベクトル２１６を算出する。具体的には、全体ベクトル算出部２０４は、ローカルベクトル算出部２０３により算出された、１つの画像に含まれる全てのローカルブロックのローカルベクトル２１３の平均値を全体ベクトル２１６として算出する。

代表ベクトル決定部２０５は、注目ローカルベクトル２１４及び全体ベクトル２１６の一方を代表ベクトル２１７に決定する。具体的には、代表ベクトル決定部２０５は、複数の周辺ローカルベクトル２１５の平均値である平均周辺ベクトルを算出する。次に、代表ベクトル決定部２０５は、注目ローカルベクトル２１４と平均周辺ベクトルとの差分を算出する。次に、代表ベクトル決定部２０５は、算出した差分が予め定められた第１閾値以上の場合、注目ローカルベクトル２１４を代表ベクトル２１７に決定する。また、代表ベクトル決定部２０５は、算出した差分が第１閾値未満の場合、全体ベクトル２１６を代表ベクトル２１７に決定する。

動きベクトル算出部２０６は、代表ベクトル２１７を用いて、処理対象の画像（以下、対象画像）に含まれる複数のマクロブロックの各々の動き探索範囲を決定する。具体的には、動きベクトル算出部２０６は、対象画像に含まれる複数のマクロブロックの各々に対して、処理対象のマクロブロック（以下、対象マクロブロック）から代表ベクトル２１７で示される位置を用いて動き探索範囲を決定する。次に、動きベクトル算出部２０６は、決定した探索範囲を用いて対象画像に含まれる複数のマクロブロックの各々の動きベクトル１３０を算出する。

以下、動き検出部１１０の動作を説明する。
図３は、動き検出部１１０による動き検出処理のフローチャートである。

まず、動きベクトル取得部２０１は、対象マクロブロックの動き検出処理の前に算出された、過去の画像のマクロブロック動きベクトル２１１を取得する（Ｓ１０１）。例えば、動きベクトル取得部２０１は、１フレーム前に算出されたマクロブロック動きベクトル２１１を保持する、図示しない動きベクトルメモリからマクロブロック動きベクトル２１１を読み出す。ここで、動きベクトル取得部２０１が取得するマクロブロック動きベクトル２１１は、例えば、過去の画像に含まれる全てのマクロブロックのマクロブロック動きベクトル２１１である。なお、動きベクトル取得部２０１は、過去の画像に含まれる一部のマクロブロックのマクロブロック動きベクトル２１１を取得してもよい。例えば、動きベクトル取得部２０１は、少なくとも対象マクロブロックの位置と同一位置のマクロブロック動きベクトル２１１を含む１以上のマクロブロック動きベクトル２１１を取得してもよい。

次に、領域指定部２０２は、複数のローカルブロックのうち少なくとも１つ以上の注目ローカルブロックと、１つ以上の周辺ローカルブロックとを指定する（Ｓ１０２）。

図４は、画像の一例を示す図である。図４に示す例では、１画面は９個のローカルブロックに分割される。領域指定部２０２は、例えば、１画面の中央部に位置するローカルブロックを注目ローカルブロック２２０に指定する。また、領域指定部２０２は、注目ローカルブロック２２０以外の８個のローカルブロックを周辺ローカルブロック２２１に指定する。

次に、ローカルベクトル算出部２０３は、各ローカルブロックに属するマクロブロックのマクロブロック動きベクトル２１１から各ローカルブロックの動きを示すローカルベクトル２１３を算出する（Ｓ１０３）。

例えば、ローカルベクトル算出部２０３は、ローカルブロックに含まれるマクロブロックのマクロブロック動きベクトル２１１の平均値をローカルベクトル２１３として算出する。具体的には、マクロブロック動きベクトル２１１の水平成分をｘ０、ｘ１、…、ｘｎとし、垂直成分をｙ０、ｙ１、…、ｙｎとするとローカルベクトルＬＭＶ（ｘ、ｙ）は、下記（式１）で求められる。

ＬＭＶ（ｘ、ｙ）
＝（（ｘ０＋ｘ１＋…＋ｘｎ）／（ｎ＋１）、（ｙ０＋ｙ１＋…ｙｎ）／（ｎ＋１））
・・・（式１）

図５は、ローカルベクトル２１３の一例を示す図である。
図５では、注目ローカルベクトル２１４をＬＭＶｃとし、周辺ローカルベクトル２１５をＬＭＶ０、ＬＭＶ１、…ＬＭＶｎとする。

次に、全体ベクトル算出部２０４は、全てのローカルベクトル２１３の平均値を全体ベクトル２１６として算出する（Ｓ１０４）。

次に、代表ベクトル決定部２０５は、注目ローカルベクトル２１４と周辺ローカルベクトル２１５とを比較し、代表ベクトル２１７を決定する（Ｓ１０５）。

以下、代表ベクトル決定部２０５による代表ベクトルを決定する処理について詳細に説明する。

図６は、代表ベクトル決定部２０５による代表ベクトル２１７を決定する処理のフローチャートである。

また、図７Ａに示すように、真ん中の被写体２３０を追いかけながら、カメラを右にパン動作した場合の処理を例に説明する。また、図７Ｂは、この場合のローカルベクトル２１３を示す図である。

各ローカルベクトル２１３は図７Ｂに示されるように、注目ローカルベクトルＬＭＶｃとその下に位置する周辺ローカルベクトルＬＭＶ６のみが小さい。また、その他の周辺ローカルベクトルＬＭＶ０〜ＬＭＶ５及びＬＭＶ７は左方向に大きい動きベクトルである。

まず、代表ベクトル決定部２０５は、周辺ローカルベクトル２１５の平均値である平均周辺ベクトルを算出する（Ｓ２０１）。

次に、代表ベクトル決定部２０５は、平均周辺ベクトルと注目ローカルベクトル２１４との差分の絶対値である差分値Δを算出する（Ｓ２０２）。次に、代表ベクトル決定部２０５は、差分値Δと、別途定義される閾値Ｔｈｒとを比較する（Ｓ２０３）。

差分値Δ≧Ｔｈｒの場合（Ｓ２０３でＹｅｓ）、代表ベクトル決定部２０５は、被写体付近があまり動かず、周辺の背景が大きく動いているため、被写体付近と背景との動きの差が大きいと判断する。よって、代表ベクトル決定部２０５は、注目ローカルベクトルＬＭＶｃを代表ベクトル２１７に決定する（Ｓ２０４）。

また、差分値Δ＜Ｔｈｒの場合（Ｓ２０３でＮｏ）、代表ベクトル決定部２０５は、周辺の背景はあまり大きく動いていないため、被写体付近と背景との動きの差が小さいと判断する。よって、代表ベクトル決定部２０５は、全てのローカルベクトル２１３の平均値、つまり、全体ベクトル２１６を代表ベクトル２１７に決定する（Ｓ２０５）。

図７Ａ及び図７Ｂの例では、差分値Δ≧Ｔｈｒなので（Ｓ２０３でＹｅｓ）、代表ベクトル決定部２０５は、注目ローカルベクトルＬＭＶｃを代表ベクトル２１７として出力する。

ステップＳ１０５で代表ベクトル２１７が決定された後、次に、動きベクトル算出部２０６は、決定された代表ベクトル２１７分だけ探索窓を移動し、移動した探索範囲内で動き探索を行う。これにより、動きベクトル算出部２０６は、マクロブロック毎の動きベクトルを算出する。つまり、動きベクトル算出部２０６は、ステップＳ１０５で決定された代表ベクトル２１７を用いて、対処画像に含まれる全てのマクロブロックの動きベクトル１３０を算出する（Ｓ１０６）。

ここで、図３に示すステップＳ１０１〜Ｓ１０６の処理は、例えば、画像毎に行われる。なお、領域指定部２０２は、領域指定処理（Ｓ１０２）を、画像毎に行なってもよいし、複数の画像に対して同一の注目ローカルブロック２２０を指定してもよい。

次に、画像全体が同様の動きをする場合の動き検出部１１０の動作例を説明する。
まず、比較例として、代表ベクトル２１７を用いない場合の動作を説明する。

図８Ａは、撮像しているカメラを右にパン動作させた場合の画像例を示す図である。また、図８Ｂに示す対象マクロブロック２４０を符号化する場合の例を説明する。この場合、図８Ｃに示すように、動き検出部は、対象マクロブロック２４０と、参照画像中の点線で示された探索範囲２４１内にある複数の参照マクロブロックとに対してブロックマッチング法等を行う。動き検出部は、探索範囲２４１に含まれるマクロブロックのうち、対象マクロブロック２４０と参照マクロブロックとの差分の評価値が最小の動き補償マクロブロック２４２の位置を確定する。

そして、動き検出部は、対象マクロブロック２４０の位置と、動き補償マクロブロック２４２の位置とを示すマクロブロック動きベクトルを検出する。例えば、図８Ｄに示すマクロブロック動きベクトルが検出される。

このように、動き検出部は、全てのマクロブロックに対して、同様に探索を行うことにより、１画面内の全てのマクロブロックに対する動きベクトルを算出する。例えば、図８Ｅに示す複数のマクロブロック動きベクトルが算出される。このとき、１画面全体が動いていることから、算出されたマクロブロック動きベクトルは全て類似するベクトルとなる。

このように、図８Ａに示すようなカメラワークを行った場合には全てのマクロブロック動きベクトルが似たような値を示すが、マクロブロック全てに対して探索を行う必要があり、探索の演算に無駄が生じることがある。

また、図９Ａは、画像が小さく動いている場合の探索範囲２４１を示す図である。また、図９Ｂは、画像が大きく動いている場合の探索範囲２４１を示す図である。

図９Ｂに示すように、大きくカメラワークをした画像において、正確な動きベクトルを検出するためには、探索範囲２４１を大きく取る必要が生じる。このため、探索に必要な演算量も大きくなる。また、探索範囲２４１内の画像データを参照画像から読み込む際のデータ転送量と、当該画像データを保持するメモリの容量とが大きくなるという課題があった。

この課題に対して、本発明の実施の形態１に係る動き検出部１１０は、代表ベクトル２１７を決定し、決定した代表ベクトル２１７を用いて探索範囲２４１を決定する。

これにより、動き検出部１１０は、探索処理の演算量を削減できる。また、動き検出部１１０は、探索範囲２４１内の画像データのデータ転送量と、当該画像データを保持するメモリの容量との増加を低減できる。

図１０は、代表ベクトル２１７と探索範囲２４１との関係を示す図である。
図１０に示すように動きベクトル算出部２０６は、対象マクロブロック２４０の位置から代表ベクトル２１７分移動した位置を探索開始点２４３とする。動きベクトル算出部２０６は、探索開始点２４３を中心とする小さな探索範囲２４１でマクロブロックの動き探索を行う。これにより、探索開始点２４３から動き補償マクロブロック２４２への動きベクトル２４４を算出する。次に、動きベクトル算出部２０６は、算出した動きベクトル２４４と、代表ベクトル２１７とを加算することにより、対象マクロブロック２４０から動き補償マクロブロック２４２までの動きベクトル１３０を算出する。

このように、本発明の実施の形態１に係る動き検出部１１０は、代表ベクトル２１７を用いることにより、探索範囲２４１を小さくすることができる。これにより、動き検出部１１０は、動き探索に必要な演算量、転送データ量及びメモリ容量を削減できる。

しかしながら、つねに、代表ベクトル２１７として全体ベクトル２１６を用いた場合には、以下の課題が生じる。

図７Ａに示すような、被写体を追いかけながらのカメラワークを行った場合、図７Ｂに示すように被写体付近のマクロブロック動きベクトルは小さく検出され、背景のマクロブロック動きベクトルは大きく検出されることになる。

この場合に、代表ベクトル２１７として全体ベクトル２１６を用いると、全体ベクトル２１６は背景の動きに影響されてしまい、図１１に示すように大きなベクトルが算出されてしまう。このため、背景の動きは正しく検出されるが、肝心の被写体付近の動きが正しく検出されにくくなる。これにより、被写体付近の画像が乱れてしまう恐れがある。

これに対して、本発明の実施の形態１に係る画像符号化装置１００は、注目ローカルベクトル２１４と平均周辺ベクトルとの差分値が予め定められた閾値より大きい場合には、代表ベクトル２１７として注目ローカルベクトル２１４を用いる。これにより、画像符号化装置１００は、被写体付近の画像が乱れてしまうことを防止できる。

なお、特許文献１記載の符号化方法は、例えば、全体ベクトルとローカルベクトルとを共に算出し、１枚の画像内の領域毎に、いずれのベクトルを使用するかを切り替えることで、被写体付近の画像が乱れてしまうことを防止している。

しかしながら、特許文献１に示された符号化方法は、現画像と参照画像の縮小画像が別途必要であるという問題がある。また、指定領域数分のローカル動き検出部が必要となっている。さらに、マクロブロック動きベクトル算出時にグローバルベクトル又はローカルベクトルがそれぞれ入力されることになり、それに従って動き探索を行うため、グローバルベクトルとローカルベクトルがまったく異なった場合には、それぞれの領域で正しい動きベクトルを算出することは可能であるが、参照画像中の、全体ベクトルで指定された領域のデータ転送とローカルベクトルで転送された領域のデータ転送が発生してしまうという問題もある。

これは、特許文献１では、被写体などの注目領域も動いている背景も、どちらの領域とも画像乱れなく符号化を行うことに注目しているためである。しかしながら、人間は注目領域の画像乱れには敏感で動いている背景の画像乱れには鈍感であるため、動いている背景領域に対しては、多少の画質劣化を起こしても問題はない。

一方、本発明の実施の形態１に係る画像符号化装置１００では、被写体などの注目領域の画質に重きを置くことで、動き検出に必要な演算量、メモリ容量、及びデータ転送量を削減できる。

また、本発明の実施の形態１に係る画像符号化装置１００は、過去の画像のマクロブロック動きベクトル２１１を用いてローカルベクトル２１３及び全体ベクトル２１６を算出する。これにより、画像符号化装置１００は、特許文献１のような縮小画像の生成を行う必要がないので、演算量を低減できる。

なお、実施の形態１において、代表ベクトル決定部２０５は、各周辺ローカルベクトル２１５の平均値である平均周辺ベクトルを算出し、算出した平均周辺ベクトルと注目ローカルベクトル２１４との差分値Δに従い、代表ベクトル２１７を決定したが、代表ベクトル決定部２０５は、平均周辺ベクトルの代わりに評価値を用いてもよい。例えば、代表ベクトル決定部２０５は、平均周辺ベクトルの代わりに、マクロブロックの動きベクトルを加算した加算値を用いてもよい。この場合でも、代表ベクトル決定部２０５は、注目ローカルブロック２２０と周辺ローカルブロック２２１との動きの差を判定できる。

（実施の形態２）
本発明の実施の形態２に係る画像符号化装置１００は、代表ベクトル決定処理（図５のステップＳ１０５）の処理内容が、実施の形態１と異なる。

なお、本発明の実施の形態２に係る画像符号化装置１００の構成、及び代表ベクトル決定処理以外の処理内容は、実施の形態１と同様であり、説明は省略する。

図１２は、本発明の実施の形態２に係る、代表ベクトル２１７の決定処理のフローチャートである。

なお、図１２に示す処理は、図６に示す処理に対して、ステップＳ２０６が追加されている点が異なる。

また、図１３Ａは、被写体を追いかけながら右に少しパン動作をさせた場合の画像例を示す図である。また、図１３Ｂは、この場合に算出されるローカルベクトル２１３を示す図である。

図１３Ｂに示す周辺ローカルベクトル２１５は、図７Ｂに示す周辺ローカルベクトル２１５ほどは大きくない。しかし、差分値Δ≧Ｔｈｒの条件を満たす（Ｓ２０３でＹｅｓ）。

この場合、次に、代表ベクトル決定部２０５は、対象マクロブロック２４０の位置から、全体ベクトル２１６と注目ローカルベクトル２１４との和で示される位置が探索範囲２４１外であるか否かを判定する（Ｓ２０６）。

ここで、探索範囲２４１とは、対象マクロブロック２４０から全体ベクトル２１６で示される位置を探索開始点２４３とした場合の探索範囲２４１である。

全体ベクトル２１６と注目ローカルベクトル２１４との和で示される位置が探索範囲２４１内である場合（Ｓ２０６でＮｏ）、代表ベクトル決定部２０５は、注目ローカルブロック２２０に含まれるマクロブロックにおいても、正確な動き探索が可能と判断する。よって、代表ベクトル決定部２０５は、全体ベクトル２１６を代表ベクトル２１７に決定する（Ｓ２０５）。

一方、全体ベクトル２１６と注目ローカルベクトル２１４との和で示される位置が探索範囲２４１外である場合（Ｓ２０６でＹｅｓ）、代表ベクトル決定部２０５は、注目ローカルベクトル２１４を代表ベクトル２１７に決定する（Ｓ２０４）。

このようにすることで、本発明の実施の形態２に係る画像符号化装置１００は、周辺ローカルブロック２２１において探索範囲２４１をより正しく設定できるため、周辺ローカルブロック２２１において動きベクトル１３０を正しく探索できる。これにより、本発明の実施の形態２に係る画像符号化装置１００は、背景の画像乱れを抑えることができる。

（実施の形態３）
図１４は、本発明の実施の形態３に係る画像符号化装置１００Ａの構成を示す図である。なお、図１と同様の要素には同一の符号を付しており、重複する説明は省略する。

図１４に示す画像符号化装置１００Ａは、図１に示す画像符号化装置１００の構成に加え、さらに、顔検出部１１２を備える。

顔検出部１１２は、画像内の被写体の顔の位置を検出する。
領域指定部２０２は、顔検出部１１２により検出された顔の位置が含まれるローカルブロックを注目ローカルブロック２２０に指定する。

なお、上記以外の処理は、実施の形態１、又は実施の形態２と同様であり、説明は省略する。

なお、ここでは、注目ローカルブロック２２０は、顔検出部１１２により検出された顔の位置に基づき指定されたが、領域指定部２０２は、ユーザの操作により指定された領域を含むローカルブロックを注目ローカルブロック２２０に指定してもよい。例えば、領域指定部２０２は、タッチパネルからの画像位置情報で指定される位置を含むローカルブロックを注目ローカルブロック２２０に指定してもよい。

なお、このようなユーザ操作を取得するユーザ操作取得部、又は顔検出部１１２は、画像符号化装置１００Ａ内に含まれてもよいし、ユーザ操作に基づく画像位置情報、又は顔の位置を示す情報が、画像符号化装置１００Ａの外部から、当該画像符号化装置１００Ａに入力され、当該情報に基づき領域指定部２０２が注目ローカルブロック２２０を指定してもよい。

（実施の形態４）
本発明の実施の形態４では、上で説明した画像符号化装置１００又は１００Ａを備える、例えばデジタルスチルカメラ又はネットワークカメラ等の撮像システム（映像システム）の一例を示す。

図１５は、実施の形態４に係る撮像システム３００の構成を示す図である。
図１５の撮像システム３００は、光学系３０１と、センサ３０２と、Ａ／Ｄ変換部３０３と、画像処理部３０４と、記録転送部３０５と、再生部３０６と、タイミング制御部３０７と、システム制御部３０８とを備える。

センサ３０２は、光学系３０１を通って入射した画像光を光電変換することによりアナログ信号を生成する。

Ａ／Ｄ変換部３０３は、センサ３０２により生成されたアナログ信号をデジタル信号に変換する。

画像処理部３０４は、例えば図１に示した画像符号化装置１００を含む。この画像処理部３０４は、Ａ／Ｄ変換部３０３により変換されたデジタル信号に、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小、ＪＰＥＧ又はＭＰＥＧ等の画像圧縮／伸張処理、及び画像圧縮されたストリームの制御等を行う。画像符号化装置１００は、例えば、ＭＰＥＧ等の画像圧縮処理を行う。

記録転送部３０５は、画像処理部３０４により画像処理された信号をメディアへ記録、又はインターネット等を介して伝送する。

再生部３０６は、記録転送部３０５により記録又は転送された信号を再生する。
タイミング制御部３０７は、センサ３０２及び画像符号化装置１００を制御する。

システム制御部３０８は、光学系３０１、記録転送部３０５、再生部３０６及びタイミング制御部３０７を制御する。

なお、本発明に係る画像符号化装置１００は、テレビ等のＡＶ機器に使用してもよい。この場合、例えば、アナログ映像入力信号がＡ／Ｄ変換部３０３に入力されればよい。

また、上記実施の形態１〜４に係る画像符号化装置１００、１００Ａ及び撮像システム３００は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。

また、本発明の実施の形態１〜４に係る、画像符号化装置１００、１００Ａ及び撮像システム３００の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。

さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、上記実施の形態１〜４に係る、画像符号化装置１００、１００Ａ、撮像システム３００、及びこれらの変形例の機能のうち少なくとも一部を組み合わせてもよい。

また、上記画像符号化装置の構成は、本発明を具体的に説明するために例示するためのものであり、本発明に係る画像符号化装置は、上記構成の全てを必ずしも備える必要はない。言い換えると、本発明に係る画像符号化装置は、本発明の効果を実現できる最小限の構成のみを備えればよい。

例えば、本発明は、図２に示す動き検出部１１０のみを備える動き検出装置として実現してもよい。

同様に、上記の画像符号化装置による画像符号化方法は、本発明を具体的に説明するために例示するためのものであり、本発明に係る画像符号化装置による画像符号化方法は、上記ステップの全てを必ずしも含む必要はない。言い換えると、本発明に係る画像符号化方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。

例えば、本発明は、動き検出部１１０による動き検出方法として実現してもよい。
また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

例えば、図３に示す処理において、領域指定処理（Ｓ１０１）は、代表ベクトル決定処理（Ｓ１０５）の前であれば、任意のタイミングで行なってよい。全体ベクトル算出処理（Ｓ１０４）は、図６に示す平均値算出処理（Ｓ２０１）又は差分値算出処理（Ｓ２０２）の後に行なってもよい。また、図１２に示す差分値が閾値以上であるか否かの判定処理（Ｓ２０３）の前に、全体ベクトルと注目ローカルベクトルとの和が探索範囲外であるか否かの判定処理（Ｓ２０６）を行なってもよい。

更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。

本発明は、画像符号化装置及び画像符号化方法に適用できる。また、本発明は、デジタルスチルカメラ、デジタルビデオカメラ、及びネットワークカメラなどのコンシューマーカメラシステムに有用である。

１００、１００Ａ 画像符号化装置
１０１ ブロック化部
１０２ 減算器
１０３ 直交変換部
１０４ 量子化部
１０５ 可変長符号化部
１０６ 逆量子化部
１０７ 逆直交変換部
１０８ 加算器
１０９ メモリ
１１０ 動き検出部
１１１ 動き補償部
１１２ 顔検出部
１２０ 入力画像信号
１２１ 分割画像信号
１２２、１２７ 予測誤差信号
１２３、１２６ 変換係数
１２４ 量子化係数
１２５ 符号化信号
１２８ ローカルデコード画像
１３０ 動きベクトル
１３１ 動き補償画像
２０１ 動きベクトル取得部
２０２ 領域指定部
２０３ ローカルベクトル算出部
２０４ 全体ベクトル算出部
２０５ 代表ベクトル決定部
２０６ 動きベクトル算出部
２１１ マクロブロック動きベクトル
２１３ ローカルベクトル
２１４、ＬＭＶｃ 注目ローカルベクトル
２１５、ＬＭＶ０、ＬＭＶ１、ＬＭＶ２、ＬＭＶ３、ＬＭＶ４、ＬＭＶ５、ＬＭＶ６、ＬＭＶ７ 周辺ローカルベクトル
２１６ 全体ベクトル
２１７ 代表ベクトル
２２０ 注目ローカルブロック
２２１ 周辺ローカルブロック
２３０ 被写体
２４０ 対象マクロブロック
２４１ 探索範囲
２４２ 動き補償マクロブロック
２４３ 探索開始点
２４４ 動きベクトル
３００ 撮像システム
３０１ 光学系
３０２ センサ
３０３ Ａ／Ｄ変換部
３０４ 画像処理部
３０５ 記録転送部
３０６ 再生部
３０７ タイミング制御部
３０８ システム制御部

Claims (11)

1. 画像信号に含まれる複数のマクロブロック毎に動きベクトルを検出し、検出した動きベクトルを用いて前記画像信号を符号化する画像符号化方法であって、
   過去の画像に含まれる複数のマクロブロックの各々の動きを示す複数のマクロブロック動きベクトルを取得する動きベクトル取得ステップと、
   マクロブロックより大きなサイズの複数のローカルブロックのうち、第１ローカルブロックを指定する指定ステップと、
   前記第１ローカルブロックに含まれる前記マクロブロックの前記マクロブロック動きベクトルを用いて当該第１ローカルブロックの動きを示す第１ローカルベクトルを算出するローカルベクトル算出ステップと、
   前記過去の画像の全体の動きを示す全体ベクトルを算出する全体ベクトル算出ステップと、
   処理対象画像毎に、前記第１ローカルベクトル及び前記全体ベクトルの一方を代表ベクトルに決定する代表ベクトル決定ステップと、
   前記処理対象画像に含まれる複数のマクロブロックの各々に対して、処理対象のマクロブロックから前記代表ベクトルで示される位置を用いて動き探索範囲を決定し、決定した前記探索範囲を用いて前記処理対象のマクロブロックの動きベクトルを算出する動きベクトル算出ステップとを含む
   画像符号化方法。
2. 前記代表ベクトル決定ステップでは、
   前記複数のローカルブロックのうちの前記第１ローカルブロック以外のローカルブロックである複数の第２ローカルブロック全体の動きを示す全体第２ローカルベクトルを算出し、
   前記第１ローカルベクトルと、前記全体第２ローカルベクトルとの差分を算出し、
   前記差分が予め定められた閾値以上の場合、前記第１ローカルベクトルを代表ベクトルに決定する
   請求項１記載の画像符号化方法。
3. 前記代表ベクトル決定ステップでは、
   前記差分が前記閾値未満の場合、前記全体ベクトルを前記代表ベクトルに決定する
   請求項２記載の画像符号化方法。
4. 前記代表ベクトル決定ステップでは、
   前記差分が予め定められた閾値以上の場合、かつ、符号化対象のマクロブロック位置から、前記全体ベクトルと前記第１ローカルベクトルとの和で示される位置が、前記全体ベクトルを前記代表ベクトルとして用いた場合の探索範囲内に含まれない場合、前記第１ローカルベクトルを前記代表ベクトルに決定し、
   前記差分が前記閾値未満の場合、及び、符号化対象のマクロブロック位置から、前記全体ベクトルと前記第１ローカルベクトルとの和で示される位置が、前記全体ベクトルを前記代表ベクトルとして用いた場合の探索範囲内に含まれる場合の少なくとも一方を満たす場合、前記全体ベクトルを前記代表ベクトルに決定する
   請求項２又は３記載の画像符号化方法。
5. 前記指定ステップでは、前記複数のローカルブロックのうち画面の中央に位置するローカルブロックを前記第１ローカルブロックに指定する
   請求項１〜４のいずれか１項に記載の画像符号化方法。
6. 前記指定ステップでは、前記複数のローカルブロックのうち、被写体の顔の位置を含むローカルブロックを前記第１ローカルブロックに指定する
   請求項１〜４のいずれか１項に記載の画像符号化方法。
7. 前記ローカルベクトル算出ステップでは、さらに、前記第２ローカルブロックの各々に対して、当該第２ローカルブロックに含まれる前記マクロブロックの前記マクロブロック動きベクトルを用いて当該第２ローカルブロックの動きを示す第２ローカルベクトルを算出し、
   前記代表ベクトル決定ステップでは、前記複数の第２ローカルベクトルの平均値を前記全体第２ローカルベクトルとして算出する
   請求項２又は３記載の画像符号化方法。
8. 前記全体ベクトル算出ステップでは、前記ローカルベクトル算出ステップで算出された前記第１ローカルベクトル及び前記複数の第２ローカルベクトルの平均値を前記全体ベクトルとして算出する
   請求項１〜７のいずれか１項に記載の画像符号化方法。
9. 請求項１〜８のいずれか１項に記載の画像符号化方法をコンピュータに実行させるプログラムが記録された
   記録媒体。
10. 画像信号に含まれる複数のマクロブロック毎に動きベクトルを検出し、検出した動きベクトルを用いて前記画像信号を符号化する画像符号化装置であって、
    過去の画像に含まれる複数のマクロブロックの各々の動きを示す複数のマクロブロック動きベクトルを取得する動きベクトル取得部と、
    マクロブロックより大きなサイズの複数のローカルブロックのうち、第１ローカルブロックを指定する指定部と、
    前記第１ローカルブロックに含まれる前記マクロブロックの前記マクロブロック動きベクトルを用いて当該第１ローカルブロックの動きを示す第１ローカルベクトルを算出するローカルベクトル算出部と、
    前記過去の画像の全体の動きを示す全体ベクトルを算出する全体ベクトル算出部と、
    処理対象画像毎に、前記第１ローカルベクトル及び前記全体ベクトルの一方を代表ベクトルに決定する代表ベクトル決定部と、
    前記処理対象画像に含まれる複数のマクロブロックの各々に対して、処理対象のマクロブロックから前記代表ベクトルで示される位置を用いて動き探索範囲を決定し、決定した前記探索範囲を用いて前記処理対象のマクロブロックの動きベクトルを算出する動きベクトル算出部とを備える
    画像符号化装置。
11. 光学系と、
    前記光学系により集光された光を画像信号に変換するセンサと、
    前記画像信号を符号化する、請求項１０記載の画像符号化装置とを備える
    撮像システム。

Images