JP2021005808A - 動きベクトル検出装置、撮像装置、動きベクトル検出方法、及びプログラム - Google Patents

Abstract

【課題】参照画像格納用のラインバッファの容量の増大を抑制しうる動きベクトル検出装置を提供する。【解決手段】動きベクトル検出装置は、対象画像を水平方向及び垂直方向に分割した複数のブロックそれぞれを順に対象ブロックとして選択して、格納手段に部分的に格納されている参照画像において対象ブロックと類似する領域を探索することにより対象ブロックの動きベクトルを検出する検出手段と、検出手段による動きベクトルの検出中に、参照画像のうちの対象ブロックのための探索範囲が格納手段に格納された状態となるように、参照画像を部分的に格納手段に格納する制御を行う制御手段を有する。さらに検出手段は、対象画像を水平方向に分割したＮの領域（Ｎは自然数）ごとにラスタスキャンの順序で複数のブロックそれぞれを対象ブロックとして選択し、対象画像と参照画像との間の時間的な距離に基づいてＮの値を制御する。【選択図】図１１

Description

本発明は、動きベクトル検出装置、撮像装置、動きベクトル検出方法、及びプログラムに関する。

動画像の国際標準符号化規格である、Ｈ．２６４やその後継規格であるＨＥＶＣ(High Efficiency Video Coding)符号化方式においては、動きベクトル検出という技術が用いられている。これは、これから符号化を行う画像（符号化対象画像）と、それとは時間的に異なる符号化済みの参照画像との間で、符号化を行うブロック（符号化対象ブロック）ごとの動きを検出し、その動き情報を加味して動画像圧縮を行う技術である。これにより、符号化効率を高めることができる（非特許文献１参照）。

この動きベクトル検出は、ある決められた探索範囲で符号化対象ブロックごとに動きの検出を行う。探索範囲が広い方が動きベクトル検出の精度は向上するが、回路規模や処理量が増大してしまう。また、本来の動きよりも狭い範囲の探索範囲を設定した場合、動きを追跡することができないため、動きベクトル検出の精度が低下し、画質劣化を招くことになる。

ＨＥＶＣ符号化方式においては、８枚の参照フレームを持つ参照画像セットの予測構造と呼ばれるものを標準的に採用している。

図２に、参照画像セットの予測構造を示す。表示順で画像２０１、２０２、２０３、２０４、２０５、２０６、２０７、２０８、２０９があり、各画像の参照先が矢印で示してある。この参照画像セットの予測構造の特徴の１つとして、参照画像への時間的な距離が長いものがあることが挙げられる。例えば、画像２０５は４枚前の画像２０１、及び４枚後の画像２０９を参照している。また、画像２０９は８枚前の画像２０１を参照している。このように参照画像への時間的な距離が長いと、その分被写体の動きも大きくなり、動きベクトル検出の探索範囲を広くする必要がある。

動きベクトル検出をハードウェア処理で行う場合、外部メモリに置かれている参照画像のうち探索範囲部分を読み出して内部メモリに保持しておき、動きベクトル検出を行うことになる。この参照画像を格納する内部メモリの構成として、水平方向に画像の水平解像度分を保持しておくラインバッファが用いられることが多い。これは、外部メモリから参照画像を読み出す際に、ラインバッファを用いずに符号化ブロックごとに必要な参照画像を読み出すと、同一画素を何度も重複して読み出す必要があり、外部メモリからの画像データ読み出しのバス帯域を増大させてしまうためである。

参照画像格納用のラインバッファは、水平方向サイズが参照画像の水平解像度サイズ、垂直方向サイズが垂直方向の探索を行うのに必要となるサイズとなる構成を持つ。ラインバッファの容量は解像度に比例して大きくなるため、解像度が大きいほど回路規模が増大してしまう。この問題に対応するため、符号化対象画像において領域分割を行って符号化順を変更することで、参照画像格納用のラインバッファの容量を小さくするという技術がある（特許文献１）。

特開２０１８−３２９４９号公報

Ｈ．２６５／ＨＥＶＣ教科書、大久保 榮［監修］、鈴木 輝彦、▲高▼村 誠之、中条 健［共編］、２０１３年１０月２１日初版第１刷発行

ＨＥＶＣ符号化方式においては予測構造が８枚の参照フレームを持つ参照画像セットとなり、符号化対象画像と参照画像との時間的な距離が最大で８枚と長くなる。そのため、特に符号化対象画像と参照画像との時間的な距離が長くなる場合において、動きベクトル検出においてより広い領域を探索する必要がある。探索範囲を広くするためには参照画像格納用のラインバッファの容量を増やす必要があり、回路規模が増大してしまうという問題があった。

本発明はこのような状況に鑑みてなされたものである。本発明は、参照画像格納用のラインバッファの容量の増大を抑制しつつ、対象画像と参照画像との間の時間的な距離に応じた広さの探索範囲で動きベクトルを検出することを可能とする技術を提供することを目的とする。

上記課題を解決するために、本発明は、対象画像を水平方向及び垂直方向に分割した複数のブロックそれぞれを順に対象ブロックとして選択して、格納手段に部分的に格納されている参照画像において前記対象ブロックと類似する領域を探索することにより前記対象ブロックの動きベクトルを検出する検出手段と、前記検出手段による動きベクトルの検出中に、前記参照画像のうちの前記対象ブロックのための探索範囲が前記格納手段に格納された状態となるように、前記参照画像を部分的に前記格納手段に格納する制御を行う制御手段と、を備え、前記検出手段は、前記対象画像を水平方向に分割したＮの領域（Ｎは自然数）ごとにラスタスキャンの順序で前記複数のブロックそれぞれを前記対象ブロックとして選択し、前記対象画像と前記参照画像との間の時間的な距離が第１の距離よりも大きい第２の距離の場合、Ｎの値は、前記時間的な距離が前記第１の距離の場合よりも大きいことを特徴とする動きベクトル検出装置を提供する。

本発明によれば、参照画像格納用のラインバッファの容量の増大を抑制しつつ、対象画像と参照画像との間の時間的な距離に応じた広さの探索範囲で動きベクトルを検出することが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

撮像装置１００の構成を示すブロック図。 参照ピクチャセットの予測構造を示す図。 タイル分割を行わない場合の符号化順を示す図。 符号化対象画像を水平方向（左右）に２分割するようにタイル分割を行った場合の符号化順を示す図。 タイル分割なしの場合の、符号化対象画像及び参照ラインバッファ１０７の水平サイズ及び垂直サイズを説明する図。 符号化対象画像を水平方向（左右）に２分割するタイル分割を行った場合の、符号化対象画像及び参照ラインバッファ１０７の水平サイズ及び垂直サイズを説明する図。 符号化対象画像を水平方向（左右）に４分割するタイル分割を行った場合の、符号化対象画像及び参照ラインバッファ１０７の水平サイズ及び垂直サイズを説明する図。 分割なしの場合の参照画像の総読み出し量を説明する図。 左右２分割の場合の参照画像の総読み出し量を説明する図。 左右４分割の場合の参照画像の総読み出し量を説明する図。 動きベクトル検出処理のフローチャート。 ＴｅｍｐｏｒａｌＩＤによる階層構造を持つ参照ピクチャセットの予測構造の例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、撮像装置１００の構成を示すブロック図である。撮像装置１００は符号化装置を含み、符号化装置は動きベクトル検出装置を含む。以下の説明では、符号化装置はＨＥＶＣ符号化方式に従う符号化を行うものとするが、本実施形態の符号化方式はＨＥＶＣ符号化方式に限定されない。

図１において、撮影される被写体像は、レンズ１０１を通して撮像部１０２に入力される。撮像部１０２は、被写体像をデジタル画素データに変換し、現像処理部１０３に送る。現像処理部１０３では、ディベイヤー処理、キズ補正、ノイズ除去、ＹＣｂＣｒ形式への色変換などの画像処理が行われる。画像処理後の、圧縮符号化を行うことができる形式になった画像が、符号化対象画像として符号化フレームバッファ１０４に入力される。

符号化対象画像を格納している符号化フレームバッファ１０４、及び参照画像を格納している参照フレームバッファ１０５としては、それぞれ外部メモリであるＤＲＡＭ(Dynamic Random Access Memory)を用いるものとする。

符号化対象ブロックバッファ１０６は、符号化フレームバッファ１０４に格納されている符号化対象画像をブロック単位で取得し、格納しておく。この符号化対象ブロックバッファ１０６は、内部メモリであるＳＲＡＭ(Static Random Access Memory)で構成されているものとする。

参照ラインバッファ１０７は、動きベクトル検出に必要な参照画像を参照フレームバッファ１０５から取得し、格納しておく。参照ラインバッファ１０７は、内部メモリであるＳＲＡＭで構成されているものとする。

動き予測部１０８は、符号化対象ブロックバッファ１０６に格納されている符号化対象画像と、参照ラインバッファ１０７に格納されている参照画像との間でブロックマッチングをとり、動きベクトル検出を行う。そして、動き予測部１０８は、符号化対象ブロックと、検出された動きベクトル位置に対応する参照ブロック（予測画像）との間で画素の差分をとり、その差分（差分画像）を直交変換部１０９に出力する。また、動き予測部１０８は、ローカルデコード画像作成用に、予測画像を動き補償部１１６に出力する。

直交変換部１０９は、送られてきた差分画像に対して離散コサイン変換を行い、変換係数を生成し、量子化部１１０に出力する。量子化部１１０は、直交変換部１０９から送られてきた変換係数に対して、量子化制御部１１１が出力する量子化ステップサイズに従い、量子化を行う。量子化された変換係数は、符号化ストリーム作成のために可変長符号化部１１２に出力される。また、量子化された変換係数は、ローカルデコード画像作成のために逆量子化部１１４に出力される。

可変長符号化部１１２は、量子化後の変換係数に対してジグザグスキャン、オルタネートスキャン等を行い、可変長符号化を行う。また、可変長符号化部１１２は、符号化対象画像の符号データに対して、動きベクトルや量子化ステップサイズ、ブロック分割情報、適応オフセット処理用パラメータなどの符号化方式情報を可変長符号化したものを付加し、符号化ストリームを生成する。生成された符号化ストリームは、記録メディア１１３に記録される。また、可変長符号化部１１２は、符号化の際にブロックごとの発生符号量を算出し、量子化制御部１１１に出力する。

量子化制御部１１１は、可変長符号化部１１２から送られてくる発生符号量を用いて、目標とする符号量になるように量子化ステップサイズを決定し、量子化部１１０に出力する。

逆量子化部１１４は、量子化部１１０から送られてきた量子化後の変換係数に対して逆量子化を行い、ローカルデコード用の変換係数を生成する。この変換係数は、逆直交変換部１１５に出力される。

逆直交変換部１１５は、送られてきた変換係数に対して逆離散コサイン変換を行い、差分画像を生成する。生成された差分画像は、動き補償部１１６に出力される。動き補償部１１６は、動き予測部１０８から送られてきた予測画像と、逆直交変換部１１５から送られてきた差分画像とを加算することにより、ローカルデコード用の画像データを生成する。生成された画像データは、デブロッキングフィルタ部１１７に出力される。

デブロッキングフィルタ部１１７は、送られてきた画像データに対してデブロッキングフィルタをかける。デブロッキングフィルタ後の画像は、適応オフセット処理部１１８に出力される。

適応オフセット処理部１１８は、バンドオフセット処理、エッジオフセット処理、もしくは何も処理をしない、のいずれかの選択を行い、適応オフセット処理を行うバンド位置、エッジ方向、オフセット値などを決定する。適応オフセット処理が行われた（又は行われていない）画像は、ローカルデコード画像として参照フレームバッファ１０５に格納される。また、適応オフセット処理部１１８は、適応オフセット処理としてどの処理を選択したか、バンド位置、エッジ方向、オフセット値などの適応オフセット処理用のパラメータを、符号化ストリームとして生成するために可変長符号化部１１２に出力する。このような動作により、符号化ストリーム及びローカルデコード画像が作成される。

システム制御部１２０は、制御プログラムを格納したＲＯＭ及びワークメモリとして使用されるＲＡＭを備え、制御プログラムを実行することにより撮像装置１００全体を制御する。

ＨＥＶＣ規格では、タイル分割という技術が導入されている。これは、画像を複数のタイルに分割するもので、分割の形式に応じて、符号化対象ブロックであるＣＴＵ(Coding Tree Unit)の符号化を行う順番が変わる。タイル分割を行う場合は、領域分割制御部１１９から符号化対象ブロックバッファ１０６と参照ラインバッファ１０７にタイル分割の指示がなされ、符号化対象画像及び参照画像において取得対象となる部分の順番が変わる。

図３に、タイル分割を行わない場合の符号化順を示す。符号化対象画像３０１に対して、左上のＣＴＵ３０２からラスタ順（ラスタスキャンの順序）で処理が行われる。即ち、左上のＣＴＵから右方向に順番に処理が行われ、右端のＣＴＵの処理が終わったら左端で１つ下のＣＴＵの処理が行われる。このような順で、画像の右下のＣＴＵ３０３まで処理が行われる。

図４に、符号化対象画像を水平方向（左右）に２分割するようにタイル分割を行った場合の符号化順を示す。まず、左タイル４０１の中でラスタ順に処理が行われる。即ち、左タイル４０１の左上のＣＴＵ４０３から処理が開始し、左タイルの右下のＣＴＵ４０４まで順に処理が行われる。その後、右タイル４０２の左上のＣＴＵ４０５に処理が移り、右タイル４０２の中でラスタ順に処理が行われ、右下ＣＴＵ４０６まで順に処理が行われる。このように、水平方向にタイル分割を行うと符号化処理の順番が変わることになる。

次に、参照ラインバッファ１０７の使用方法について説明する。図５は、タイル分割なしの場合の、符号化対象画像及び参照ラインバッファ１０７の水平サイズ及び垂直サイズを示す図である。図５の例では、符号化対象画像５０１の解像度を３８４０×２１６０とし、タイル分割なしの場合の動きベクトル検出の水平方向の探索範囲を±２５６画素、垂直方向の探索範囲を±１２８ラインとして説明を行う。

タイル分割なしの場合、参照ラインバッファ１０７の水平サイズは水平解像度となるので、３８４０画素となる。参照ラインバッファ１０７の垂直サイズは、垂直方向探索範囲＋垂直方向ＣＴＵサイズ（ここでは６４ラインとする）であるので、３２０ラインとなる。従って、参照ラインバッファ１０７の画素サイズは、３８４０×３２０＝１２２８８００画素となる。

次に、図６を参照して、符号化対象画像を水平方向（左右）に２分割するタイル分割を行った場合の、符号化対象画像及び参照ラインバッファ１０７の水平サイズ及び垂直サイズを説明する。

左右２分割のタイル分割を行った場合、動きベクトル検出の水平方向の探索範囲は分割なしの場合と同様に±２５６画素とするが、垂直方向の探索範囲は分割なしの場合より広く取ることができる。左右２分割のタイル分割を行った場合、分割なしの場合とはＣＴＵの符号化順が変わるため、参照ラインバッファ１０７の水平サイズは、水平タイルサイズ＋探索範囲となる。水平タイルサイズは、左タイル６０１及び右タイル６０２共に３８４０画素の２分割なので、１９２０画素となる。水平方向の探索範囲は２５６画素なので、参照ラインバッファ１０７の水平サイズは、１９２０＋２５６＝２１７６画素となる。

参照ラインバッファ１０７の画素サイズは１２２８８００画素であり、水平サイズは２１７６画素なので、垂直サイズは１２２８８００／２１７６＝５６４ラインにすることができる。垂直ＣＴＵサイズが６４ラインであることから、（５６４−６４）／２＝２５０となるので、垂直探索範囲を±２５０ラインにすることができる。このように、水平方向にタイル分割を行うことで、垂直探索範囲を広くすることができる。

次に、図７を参照して、符号化対象画像を水平方向（左右）に４分割するタイル分割を行った場合の、符号化対象画像及び参照ラインバッファ１０７の水平サイズ及び垂直サイズを説明する。

水平タイルサイズは、タイル７０１、タイル７０２、タイル７０３、タイル７０４のそれぞれについて、３８４０画素の４分割なので９６０画素となる。水平方向の探索範囲は２５６画素であり、タイル７０２、タイル７０３は左右方向の両方に探索範囲分だけ画素が必要となるので、参照ラインバッファ１０７の水平サイズは９６０＋２５６＋２５６＝１４７２画素となる。

参照ラインバッファ１０７の画素サイズは１２２８８００画素であり、水平サイズは１４７２画素なので、垂直サイズは１２２８８００／１４７２＝８３４ラインにすることができる。垂直ＣＴＵサイズが６４ラインであることから、（８３４−６４）／２＝３８５となるので、垂直探索範囲を±３８５ラインにすることができる。このように、水平方向の分割数を増やすことにより、垂直探索範囲を更に広げることができる。

図８〜図１０を参照して、分割なしの場合、左右２分割の場合、及び左右４分割の場合の、参照画像の総読み出し量について説明する。図８は、分割なしの場合の参照画像の総読み出し量を説明する図である。分割なしの場合、参照画像８０１に対して、上の画素から順番に参照ラインバッファ１０７にラインごとに読み出しを行い、不必要になったラインを入れ替えていくことにより、各画素を１回だけ読むことになる。従って、総読み出し量は画像サイズと同じになり、水平３８４０画素×垂直２１６０ラインで、８２９４４００画素となる。

図９は、左右２分割の場合の参照画像の総読み出し量を説明する図である。符号化処理の際には、まず左タイル９０１の参照画像の読み出しが行われる。左タイル９０１の上の画素から順番に参照ラインバッファ１０７にラインごとに読み出しが行われる。ここで、水平方向のラインバッファサイズは左タイルの水平サイズ＋右方向の水平方向探索範囲となる。水平タイルサイズが１９２０画素、水平探索範囲が２５６画素のため、水平方向のラインバッファサイズは２１７６画素となる。分割なしの場合と同様にラインごとに読み出しを行い、不必要になったラインを入れ替えていく。その結果、左タイル９０１用の参照画像の読み出し範囲９０２の読み出し量は、水平２１７６画素×垂直２１６０ラインとなり、４７００１６０画素となる。

右タイル９０３についても左タイル９０１と同様に、水平方向のラインバッファサイズは右タイルサイズ＋左方向の水平方向探索範囲で２１７６画素となる。従って、左タイル９０１の場合と同じく、右タイル９０３用の参照画像の読み出し範囲９０４の読み出し量は、４７００１６０画素となる。

従って、左右２分割の場合の参照画像の総読み出し量は、４７００１６０×２＝９４００３２０画素となる。これは、分割なしの場合の総読み出し量（８２９４４００画素）に対して、１１０５９２０画素の増加となる。

図１０は、左右４分割の場合の参照画像の総読み出し量を説明する図である。左端のタイル１００１の水平方向のラインバッファサイズは、水平タイルサイズ＋右方向の水平探索範囲であり、９６０＋２５６＝１２１６画素となる。タイル１００１の参照画像の読み出し範囲１００２の読み出し量は、１２１６画素×２１６０ライン＝２６２６５６０画素となる。

左から２番目のタイル１００３の水平方向のラインバッファサイズは、水平タイルサイズ＋左右方向の水平探索範囲であり、９６０＋２５６＋２５６＝１４７２画素となる。タイル１００３の参照画像の読み出し範囲１００４の読み出し量は、１４７２画素×２１６０ライン＝３１７９５２０画素となる。

左から３番目のタイル１００５については、タイル１００３の場合と同様の計算により、参照画像の読み出し範囲１００６の読み出し量は、３１７９５２０画素となる。

右端のタイル１００７については、タイル１００１の場合と同様の計算により、参照画像の読み出し範囲１００８の読み出し量は、２６２６５６０画素となる。

読み出し範囲１００２、１００４、１００６、１００８の読み出し量を合計することにより、左右４分割の場合の参照画像の総読み出し量として、２６２６５６０＋３１７９５２０＋３１７９５２０＋２６２６５６０＝１１６１２１６０画素が得られる。これは、分割なしの場合の総読み出し量（８２９４４００画素）に対して３３１７７６０画素の増加であり、左右２分割の場合の総読み出し量（９４００３２０画素）に対して２２１１８４０画素の増加となる。

このように、水平方向（左右方向）の分割数が多くなるほど参照画像の総読み出し量は増えてしまう。従って、水平方向の分割数が多くなるほどＤＲＡＭ読み出しのバス帯域の消費量が増大しまうことになる。

なるべくバス帯域を消費せずに適切な探索範囲を設定するため、撮像装置１００は、参照ピクチャセットの予測構造内の符号化対象画像の位置（参照画像との時間的な距離）に応じてタイル分割数を変更する。

図２を参照して、参照ピクチャセットの予測構造内の符号化対象画像の位置とタイル分割数の関係を説明する。符号化対象画像が画像２０２、２０４、２０６、２０８である場合、参照画像との時間的な距離は、画像１枚分である。符号化対象画像が画像２０３、２０７である場合、参照画像との時間的な距離は、画像２枚分である。同様に、符号化対象画像が画像２０５である場合、参照画像との時間的な距離は画像４枚分であり、符号化対象画像が画像２０９である場合、参照画像との時間的な距離は画像８枚分である。

符号化対象画像と参照画像との時間的な距離が長いほど、被写体の動きが相対的に大きくなるので、動きベクトル検出の探索範囲を広くした方がよい。このことに鑑みて、符号化対象画像が画像２０２、２０３、２０４、２０６、２０７、２０８である場合、参照画像との時間的な距離が画像２枚分以内と短いので、分割なしとする。符号化対象画像が画像２０５である場合、参照画像との時間的な距離が画像４枚分なので、左右２分割のタイル分割を行う。符号化対象画像が画像２０９である場合、参照画像との時間的な距離が画像８枚分なので、左右４分割のタイル分割を行う。

このように、符号化対象画像と参照画像との時間的な距離の関係を考慮し、参照ピクチャセットの予測構造内の位置に応じて水平方向のタイル分割数を変更する。これにより、符号化対象画像と参照画像との時間的な距離が長い場合に、回路規模を増大させることなく動きベクトル検出の探索範囲を広くすることができる。また、符号化対象画像と参照画像との時間的な距離が短い場合には水平方向のタイル分割数が小さく抑えられるので、ＤＲＡＭ読み出しのバス帯域の増加を抑制することができる。

なお、参照ピクチャセットの予測構造内の符号化対象画像の位置とタイル分割数との関係は、上述の関係に限ったものではなく、どのような関係であってもよい。例えば、参照画像との時間的な距離が最も長い画像２０９については左右２分割のタイル分割を行い、他の画像についてはタイル分割を行わない構成を採用することも可能である。

図１１は、動きベクトル検出処理のフローチャートである。本フローチャートの説明においては、撮像装置１００が実行する動きベクトル検出処理に注目し、符号化処理などの他の処理については説明を省略する。そのため、本フローチャートの説明においては、符号化対象画像のことを単に「対象画像」と呼び、符号化対象ブロックのことを単に「対象ブロック」と呼ぶ。

Ｓ１１０１で、システム制御部１２０は、対象画像と参照画像との間の時間的な距離に基づいてタイル分割数Ｎ（Ｎは自然数）を決定する。決定方法の詳細は、図５乃至図７を参照して説明した通りであり、時間的な距離が大きいほどＮの値は大きくなる。システム制御部１２０は、決定したＮの値を領域分割制御部１１９に通知し、領域分割制御部１１９は、Ｎの値に基づいて符号化対象ブロックバッファ１０６及び参照ラインバッファ１０７を制御する。

Ｓ１１０２で、システム制御部１２０は、Ｎのタイルごとにラスタ順で複数のＣＴＵそれぞれを対象ブロックとして選択し、対象ブロックが符号化フレームバッファ１０４から符号化対象ブロックバッファ１０６へと入力されるように制御する。ここでのラスタ順の選択の詳細については、図３及び図４を参照して説明した通りである。そして、システム制御部１２０は、各対象ブロックの動きベクトルを検出するように、動き予測部１０８を制御する。動き予測部１０８は、参照ラインバッファ１０７に部分的に格納されている参照画像において対象ブロックと類似する領域を探索することにより、対象ブロックの動きベクトルを検出する。

Ｓ１１０２の処理と並行して（即ち、動きベクトルの検出中に）、Ｓ１１０３で、システム制御部１２０は、参照フレームバッファ１０５の参照画像を部分的に参照ラインバッファ１０７に格納する制御を行う。この時、システム制御部１２０は、対象ブロックのための探索範囲が参照ラインバッファ１０７に格納された状態となるように制御する。

なお、図５の場合、実際にはタイル分割は行われていないが、便宜上「分割」という文言を使用して、図５の状態をタイル分割数１と表現することにする。従って、本願においては、例えば「対象画像を水平方向に分割したＮのタイル（Ｎの領域）」という表現は、Ｎ＝１の場合に、図５に示すようにタイル分割が行われていない状態を含む。同様に、「Ｎのタイル（Ｎの領域）ごとにラスタ順で複数のＣＴＵそれぞれを対象ブロックとして選択」という表現は、Ｎ＝１の場合に、図３に示すようにタイル分割されていない対象画像におけるラスタ順での選択を含む。

また、図１１の本フローチャートの説明において言及した対象画像及び参照画像は、撮像部１０２により生成される。対象画像は、ＨＥＶＣ規格の参照ピクチャセットの予測構造を構成する複数の画像のうちの１つであり、参照画像は、参照ピクチャセットの予測構造内での対象画像の位置に基づいて選択される、参照ピクチャセットの予測構造内の他の画像である。図２から理解できるように、参照ピクチャセットの予測構造内での対象画像の位置が決まれば、対象画像と参照画像との間の時間的な距離が決まる。従って、Ｓ１１０１におけるタイル分割数Ｎの決定は、参照ピクチャセットの予測構造内での対象画像の位置に基づいて行ってもよい。

以上説明したように、第１の実施形態によれば、撮像装置１００は、動きベクトルの検出を行う際に、対象画像を水平方向に分割したＮの領域（タイル）ごとにラスタスキャンの順序で対象ブロックの選択を行う。Ｎの値は、対象画像と参照画像との間の時間的な距離に基づいて決定される。例えば、時間的な距離が画像１枚分（第１の距離）の場合、Ｎの値は１であり、時間的な距離が画像４枚分（第２の距離）の場合、Ｎの値は２であり、時間的な距離が画像８枚分（第３の距離）の場合、Ｎの値は４である。

このような構成により、参照ラインバッファ１０７の容量の増大を抑制しつつ、対象画像と参照画像との間の時間的な距離に応じた広さの探索範囲で動きベクトルを検出することが可能となる。加えて、対象画像と参照画像との間の時間的な距離が小さい場合にはタイル分割数が小さいため、参照画像の総読み出し量の増大を抑制することも可能である。

なお、本実施形態ではＨＥＶＣ符号化方式を例に説明を行ったが、領域分割を用いるものであれば、どのような符号化方式にも本実施形態を適用することができる。

［第２の実施形態］
第２の実施形態では、ＴｅｍｐｏｒａｌＩＤに応じて水平方向のタイル分割数を変更する構成について説明する。第２の実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。

ＨＥＶＣ符号化方式では、ＴｅｍｐｏｒａｌＩＤというフラグがあり、同じ符号化ストリームから異なるフレームレートでの復号が可能となっている。

ＴｅｍｐｏｒａｌＩＤの例を図１２に示す。画像１２０１、１２０９は、ＴｅｍｐｏｒａｌＩＤ＝０である。画像１２０５は、ＴｅｍｐｏｒａｌＩＤ＝１である。同様に、画像１２０３、１２０７は、ＴｅｍｐｏｒａｌＩＤ＝２であり、画像１２０２、１２０４、１２０６、１２０８は、ＴｅｍｐｏｒａｌＩＤ＝３である。

ＨＥＶＣ符号化方式においては、参照画像として用いることができるのはＴｅｍｐｏｒａｌＩＤが符号化対象画像に対して同じか小さいもの、という決まりがある。この決まりにより、符号化ストリームに複数のＴｅｍｐｏｒａｌＩＤが付けられている場合、ＴｅｍｐｏｒａｌＩＤが小さいもののセットだけで復号が可能となる。

例えば、図１２においてＴｅｍｐｏｒａｌＩＤ＝２以下の復号を行う場合、参照画像としては全てＴｅｍｐｏｒａｌＩＤ＝０、１のいずれかになっている。そのため、ＴｅｍｐｏｒａｌＩＤ＝３の符号化ストリームを復号することなくＴｅｍｐｏｒａｌＩＤ＝２以下の符号化ストリームの復号のみで復号動作が完結する。

この場合、全ての符号化ストリームを復号して再生した場合に比べて、復号される画像の数が１／２となるので、フレームレートが半分の再生を行うことができる。

上記のような関係から、ＴｅｍｐｏｒａｌＩＤが小さいものほど先に符号化される。即ち、実際の再生時の符号化対象画像と参照画像の時間的な距離が長くなる傾向がある。

このことに鑑み、撮像装置１００は、ＴｅｍｐｏｒａｌＩＤに応じて符号化対象画像の水平方向の分割数を変更して探索範囲の変更を行う。

例えば、ＴｅｍｐｏｒａｌＩＤ＝０、１である画像１２０１、１２０５、１２０９が符号化対象画像である場合、符号化対象画像と参照画像との時間的な距離が比較的長くなるので、撮像装置１００は、左右２分割のタイル分割を行う。また、ＴｅｍｐｏｒａｌＩＤ＝２、３である画像１２０２、１２０３、１２０４、１２０６、１２０７、１２０８が符号化対象画像である場合、符号化対象画像と参照画像との時間的な距離が比較的短くなるので、撮像装置１００は、タイル分割を行わない。

このように、撮像装置１００は、ＴｅｍｐｏｒａｌＩＤに応じて符号化対象画像の水平方向のタイル分割数を変更し、動きベクトル検出の探索範囲を変更する。これにより、回路規模を増大させることなく、適切な動きベクトル検出の探索範囲が得られ、良好な画像を得ることができる。その際に、水平方向の領域分割数を最低限に抑えられるので、ＤＲＡＭ読み出しのバス帯域の増加を最小限に抑えることができる。

第２の実施形態における動きベクトル検出処理は、第１の実施形態とほぼ同じである（図１１参照）。但し、Ｓ１１０１におけるタイル分割数Ｎの決定は、対象画像のＴｅｍｐｏｒａｌＩＤの値に基づいて行われる。対象画像は、ＨＥＶＣ規格のＴｅｍｐｏｒａｌＩＤによる階層構造を持つ参照ピクチャセットの予測構造を構成する複数の画像のうちの１つであり、参照画像は、参照ピクチャセットの予測構造内での対象画像の位置に基づいて選択される、参照ピクチャセットの予測構造内の他の画像である。図１２から理解できるように、対象画像のＴｅｍｐｏｒａｌＩＤの値が決まれば、対象画像と参照画像との間の時間的な距離が決まる。従って、対象画像と参照画像との間の時間的な距離に基づいてタイル分割数Ｎを決定する処理を、ＴｅｍｐｏｒａｌＩＤの値に基づいてタイル分割数Ｎを決定することにより実現することができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…撮像装置、１０２…撮像部、１０４…符号化フレームバッファ、１０５…参照フレームバッファ、１０６…符号化対象ブロックバッファ、１０７…参照ラインバッファ、１０８…動き予測部、１１９…領域分割制御部、１２０…システム制御部

Claims (10)

1. 対象画像を水平方向及び垂直方向に分割した複数のブロックそれぞれを順に対象ブロックとして選択して、格納手段に部分的に格納されている参照画像において前記対象ブロックと類似する領域を探索することにより前記対象ブロックの動きベクトルを検出する検出手段と、
   前記検出手段による動きベクトルの検出中に、前記参照画像のうちの前記対象ブロックのための探索範囲が前記格納手段に格納された状態となるように、前記参照画像を部分的に前記格納手段に格納する制御を行う制御手段と、
   を備え、
   前記検出手段は、前記対象画像を水平方向に分割したＮの領域（Ｎは自然数）ごとにラスタスキャンの順序で前記複数のブロックそれぞれを前記対象ブロックとして選択し、
   前記対象画像と前記参照画像との間の時間的な距離が第１の距離よりも大きい第２の距離の場合、Ｎの値は、前記時間的な距離が前記第１の距離の場合よりも大きい
   ことを特徴とする動きベクトル検出装置。
2. 前記時間的な距離が前記第２の距離よりも大きい第３の距離の場合、Ｎの値は、前記時間的な距離が前記第２の距離の場合よりも大きい
   ことを特徴とする請求項１に記載の動きベクトル検出装置。
3. 前記時間的な距離が前記第１の距離の場合、Ｎの値は１である
   ことを特徴とする請求項１又は２に記載の動きベクトル検出装置。
4. 前記対象画像は、ＨＥＶＣ規格の参照ピクチャセットの予測構造を構成する複数の画像のうちの１つであり、
   前記参照画像は、前記参照ピクチャセットの予測構造内での前記対象画像の位置に基づいて選択される、前記参照ピクチャセットの予測構造内の他の画像であり、
   前記検出手段は、前記参照ピクチャセットの予測構造内での前記対象画像の位置に基づいてＮの値を決定する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の動きベクトル検出装置。
5. 前記対象画像は、ＨＥＶＣ規格のＴｅｍｐｏｒａｌＩＤによる階層構造を持つ参照ピクチャセットの予測構造を構成する複数の画像のうちの１つであり、
   前記参照画像は、前記参照ピクチャセットの予測構造内での前記対象画像の位置に基づいて選択される、前記参照ピクチャセットの予測構造内の他の画像であり、
   前記検出手段は、前記対象画像のＴｅｍｐｏｒａｌＩＤの値に基づいてＮの値を決定する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の動きベクトル検出装置。
6. 請求項１乃至５のいずれか１項に記載の動きベクトル検出装置と、
   前記対象画像及び前記参照画像を生成する撮像手段と、
   を備えることを特徴とする撮像装置。
7. 対象画像を水平方向及び垂直方向に分割した複数のブロックそれぞれを順に対象ブロックとして選択して、格納手段に部分的に格納されている参照画像において前記対象ブロックと類似する領域を探索することにより前記対象ブロックの動きベクトルを検出する検出手段と、
   前記検出手段による動きベクトルの検出中に、前記参照画像のうちの前記対象ブロックのための探索範囲が前記格納手段に格納された状態となるように、前記参照画像を部分的に前記格納手段に格納する制御を行う制御手段と、
   を備え、
   前記対象画像と前記参照画像との間の時間的な距離が第１の距離の場合、前記検出手段は、前記対象画像におけるラスタスキャンの順序で前記複数のブロックそれぞれを前記対象ブロックとして選択し、
   前記対象画像と前記参照画像との間の前記時間的な距離が前記第１の距離よりも大きい第２の距離の場合、前記検出手段は、前記対象画像を水平方向に分割した複数の領域ごとにラスタスキャンの順序で前記複数のブロックそれぞれを前記対象ブロックとして選択する
   ことを特徴とする動きベクトル検出装置。
8. 動きベクトル検出装置が実行する動きベクトル検出方法であって、
   対象画像を水平方向及び垂直方向に分割した複数のブロックそれぞれを順に対象ブロックとして選択して、格納手段に部分的に格納されている参照画像において前記対象ブロックと類似する領域を探索することにより前記対象ブロックの動きベクトルを検出する検出工程と、
   前記検出工程による動きベクトルの検出中に、前記参照画像のうちの前記対象ブロックのための探索範囲が前記格納手段に格納された状態となるように、前記参照画像を部分的に前記格納手段に格納する制御を行う制御工程と、
   を備え、
   前記検出工程では、前記対象画像を水平方向に分割したＮの領域（Ｎは自然数）ごとにラスタスキャンの順序で前記複数のブロックそれぞれを前記対象ブロックとして選択し、
   前記対象画像と前記参照画像との間の時間的な距離が第１の距離よりも大きい第２の距離の場合、Ｎの値は、前記時間的な距離が前記第１の距離の場合よりも大きい
   ことを特徴とする動きベクトル検出方法。
9. 動きベクトル検出装置が実行する動きベクトル検出方法であって、
   対象画像を水平方向及び垂直方向に分割した複数のブロックそれぞれを順に対象ブロックとして選択して、格納手段に部分的に格納されている参照画像において前記対象ブロックと類似する領域を探索することにより前記対象ブロックの動きベクトルを検出する検出工程と、
   前記検出工程による動きベクトルの検出中に、前記参照画像のうちの前記対象ブロックのための探索範囲が前記格納手段に格納された状態となるように、前記参照画像を部分的に前記格納手段に格納する制御を行う制御工程と、
   を備え、
   前記対象画像と前記参照画像との間の時間的な距離が第１の距離の場合、前記検出工程では、前記対象画像におけるラスタスキャンの順序で前記複数のブロックそれぞれを前記対象ブロックとして選択し、
   前記対象画像と前記参照画像との間の前記時間的な距離が前記第１の距離よりも大きい第２の距離の場合、前記検出工程では、前記対象画像を水平方向に分割した複数の領域ごとにラスタスキャンの順序で前記複数のブロックそれぞれを前記対象ブロックとして選択する
   ことを特徴とする動きベクトル検出方法。
10. コンピュータを、請求項１乃至５及び７のいずれか１項に記載の動きベクトル検出装置の各手段として機能させるためのプログラム。

Images