JP2008278091A - 動画像記録方法及びその装置 - Google Patents

Abstract

【課題】より圧縮効率の良い動画像記録方法及びその装置を実現する。
【解決手段】ブロックの動きベクトルを算出するブロック単位動き探索ステップと、ブロック単位動き探索ステップにて算出した動きベクトルのうち、類似する動きベクトルを有するブロックを類似動き領域として設定する類似動き領域設定ステップと、類似動き領域設定ステップにおいて設定した類似動き領域に含まれる各ブロックの有する動きベクトルを用いて、代表動きベクトルを算出する代表動きベクトル算出ステップと、類似動き領域の各ブロックについて、代表動きベクトル算出ステップで算出した代表動きベクトルまたは各ブロックの有する動きベクトルのいずれのベクトルを用いるかを選択する選択ステップと、類似動き領域の各ブロックについて、選択ステップの選択結果に基づいて選択した動きベクトルと動きベクトルを用いて生成した各ブロックの予測画像とを、符号化データとして生成する。
【選択図】 図６

Description

本発明は、動画像を記録する動画像記録方法及びその装置に関する。

特許文献１には、動画像の符号化対象フレームをブロック単位で分割し、参照画像からそれぞれのブロックについての予測画像と、各ブロックのおのおの参照画像への動きベクトルとを生成する動画像符号化技術において、動きベクトルの類似性に基づいて複数のブロックを複数の領域に分割し、各領域においてそれぞれの領域内のブロックが有する動きベクトルから予測ベクトルを生成し、各ブロックについて予測ベクトルとの差分ベクトルを生成して出力する技術が開示されている。

特開２００５−１２４００１ また、非特許文献１には、動画像データを高能率に符号化して記録あるいは伝送する方式として、Ｈ．２６４／ＡＶＣ（Ａｄｂａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格等が定められている。ここで、非特許文献１の第147頁、第148頁（式8-208、式8-209）には、予測ベクトルの算出方法が規定されている。

ITU-T Rec. H.264"Advanced Video Coding for generic audiovisual services" pp.147-148 (03/2005)

上記特許文献１に示す動画符号化技術は、動きベクトルの類似性に基づいて複数のブロックを複数の領域に分割し、それぞれの領域内のブロックが有する動きベクトルから予測ベクトルを生成し、その差分を符号化することにより、符号化データ量の低減を試みている。

しかし、このような予測ベクトルの生成方法は、非特許文献１に示すような既存の符号化規格に規定されていない。

したがって、上記特許文献１に示す動画符号化技術により符号化されたデータは、既存の符号化規格に対応する復号化装置では復号化することができないという課題があった。

本発明は、上記課題を鑑みてなされたものであり、本発明の目的は、動きベクトルの類似性を用いて圧縮効率を向上しながら、既存の符号化規格に対応する復号化装置でも復号化を行うことができる符号化データを生成する動画像記録方法及びその装置を実現することにある。

上記目的を達成するために、本発明の一実施の態様は、例えば特許請求の範囲に記載されたように構成すればよい。

本発明によれば、より圧縮効率が良く、かつ既存の符号化規格に対応する復号化装置でも復号化を行うことができる符号化データを生成する動画像記録方法及びその装置を実現することが可能になる。

以下、本発明の実施例を、図面を参照して説明する。

また、各図面において同一の符号が付されている構成要素は同一の機能を有することとする。

本明細書の各記載及び各図面において示されるフローチャートにおける「ステップ」という表現は、適宜「Ｓ」という表記で省略して記載する。

また、本明細書の各記載及び各図面において示される「発生符号量」とは、本発明の各実施例における方法及び装置において画像符号化後のデータ量を示す。

また、本明細書の各記載及び各図面において示される「従来の符号化処理」、「従来の動き探索」もしくは「従来の動きベクトル」とは、代表ベクトルによる動きベクトルの置換を行わない符号化処理に係るものを意味する。

図１２は、本発明の実施例１に係る動画像記録装置の構成ブロック図である。図１２の動画像記録装置（１２００）は、例えば、チューナ部（１２０２）、デマルチプレクサ部（１２０３）、映像デコーダ部（１２０４）、音声デコーダ部（１２０５）、映像出力部（１２０６）、音声出力部（１２０７）、エンコーダ（１５０）、録画再生制御部（１２０９）、蓄積部（１２１０）、外部入力部（１２１１）、制御部（１２１２）、記憶部（１２１３）とを備える。

以下に、動画像記録装置（１２００）の動作について説明する。

なお、動画像記録装置（１２００）の各構成要素の動作は、例えば、以下の記載の通り各構成要素の自律的な動作としても良い。また、動画像記録装置（１２００）の備える制御部（１２１２）が、記憶部（１２１３）が記憶するソフトウェアと協働することにより実現しても構わない。

まず、動画像記録装置（１２００）における再生動作について説明する。まず、再生対象信号が放送信号である場合は、例えば、テレビジョン信号などを含む放送波などを受信するアンテナ（１２０１）からの信号がチューナ部（１２０２）に入力される。次に、チューナ部（１２０２）は当該信号の復調等を行う。また、再生対象信号が外部入力信号の場合は、例えば、動画像記録装置（１２００）に接続される外部機器等から外部入力部（１２１１）に入力される。

次に、デマルチプレクサ部（１２０３）は、チューナ部（１２０２）が復調した信号、または外部入力部（１２１１）に入力された信号から、必要な符号化ストリームを分離する。ここで、デマルチプレクサ部（１２０３）が分離した符号化ストリームのうち、映像についての符号化ストリームは映像デコーダ（１２０４）が復号化し、再生する。また、映像デコーダ（１２０４）が再生した映像信号は、画像出力部（１２０６）が、外部に接続される映像再生機器等に出力する。また、デマルチプレクサ部（１２０３）が分離した符号化ストリームのうち、音声についての符号化ストリームは音声デコーダ（１２０５）が復号化し、再生する。また、音声デコーダ（１２０５）が再生した音声信号は、音声出力部（１２０７）が、外部に接続される音声再生機器等に出力する。

次に、動画像記録装置（１２００）の記録動作について説明する。動画像記録装置（１２００）の記録動作は、例えば、以下の処理方法が考えられる。

第１の処理方法は、デマルチプレクサ部（１２０３）から分離された符号化ストリームを録画再生制御部（１２０９）が蓄積部（１２１０）に蓄積する方法である。この場合は、符号化ストリームは復号されることなく、蓄積部（１２１０）に蓄積される。

第２の処理方法は、デマルチプレクサ部（１２０３）から分離された符号化ストリームを、一度、映像デコーダ（１２０４）または音声デコーダ（１２０５）が復号化し、その後エンコーダ（１５０）が再度符号化し、当該符号化した信号を録画再生制御部（１２０９）が蓄積部（１２１０）に蓄積する方法である。

第３の処理方法は、外部入力部（１２１１）から非圧縮の映像信号または音声信号が入力された場合に、エンコーダ（１５０）が符号化し、当該符号化した信号を録画再生制御部（１２０９）が蓄積部（１２１０）に蓄積する方法である。

なお、エンコーダ（１５０）の処理の詳細については後述する。

蓄積部（１２１０）に記録したデータの再生処理は、例えば、録画再生制御部（１２０９）が蓄積部（１２１０）からデマルチプレクサ（１２０３）に出力させたのち、映像デコーダ（１２０４）、音声デコーダ（１２０５）などで再生する。

また、図示は省略するが、録画再生制御部（１２０９）から、直接映像デコーダ（１２０４）、音声デコーダ（１２０５）に出力してもよい。この場合は、デマルチプレクサ（１２０３）における処理を省略でき、処理量を低減するという効果がある。

なお、実施例に係る画像出力部（１２０６）と音声出力部（１２０７）は一体として構成しても構わない。この場合は、映像信号と音声信号を一本のケーブルで出力するコネクタなどを備えることにより、ユーザーがより簡便に機器の接続を行うことができる。

次に、本発明の実施例１に係る動画像記録装置（１２００）のエンコーダ（１５０）について説明する。図１は、本発明の実施例１に係るエンコーダ（１５０）の構成ブロック図である。

図１に示すエンコーダ（１５０）は入力部（１３０）、減算器（１００）、ＤＣＴ部（１０１）、量子化部（１０２）、逆量子化部（１０４）、ＩＤＣＴ部（１０５）、加算部（１０６）、フレームメモリ（１０７）、ブロック単位動き探索部（１０８）、予測画像生成部（１０９）、類似動き領域設定部（１１０）、代表動きベクトル算出部（１１１）、予測画像生成部（１１２）、選択部（１１３）、可変長符号化部（１０３）、出力部（１４０）、制御部（１６０）、記憶部（１７０）を備える。また、ここでブロック単位動き探索部（１０８）、予測画像生成部（１０９）、類似動き領域設定部（１１０）、代表動きベクトル算出部（１１１）、予測画像生成部（１１２）、選択部（１１３）は、動き補償部（１２０）を構成する。上記の各部はハードウェアによって構成されてもよいし、ソフトウェアによって構成されていてもよい。また、ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。以下の説明では、ハードウェアとして説明する。

以下に、図１に示したエンコーダの動作について説明する。

なお、エンコーダ（１５０）の各構成要素の動作は、例えば、以下の記載の通り各構成要素の自律的な動作としても良い。また、エンコーダ（１５０）の備える制御部（１６０）が、記憶部（１７０）が記憶するソフトウェアと協働することにより実現しても構わない。

まず、エンコーダ（１５０）の入力部（１３０）に映像信号が入力される。ここで、当該入力映像信号は、符号化されてない映像信号である。例えば、非圧縮映像や、符号化された映像を再度復号化した映像などである。次に、減算器（１００）は、入力映像の画像ブロックから予測画像ブロックを減算する減算処理を行う。ここで、当該予測画像ブロックは、後述する選択部（１１３）から出力される。次に、減算器（１００）は、当該減算処理によって生成された差分画像信号を出力する。次に、ＤＣＴ部（１０１）は、減算器（１００）から出力される差分画像信号を画像ブロック毎に直交変換し、量子化部（１０２）に出力する。量子化部（１０２）は入力されたＤＣＴ変換データを量子化する。量子化部（１０２）は、量子化したデータを可変長符号化部（１０３）に出力する。可変長符号化部（１０３）は当該量子化されたデータを可変長符号化する。次に、出力部（１４０）が、当該可変長符号化されたデータを伝送回線にあわせて出力する。

一方、量子化部（１０２）は、量子化したデータを逆量子化部（１０４）にも出力する。ここで、逆量子化部（１０４）は量子化データを逆量子化し、ＩＤＣＴ部（１０５）に出力する。ＩＤＣＴ部（１０５）は当該逆量子化したデータを逆直交変換して差分画像ブロックとして復元し、加算器（１０６）に出力する。ここで、加算器（１０６）は、当該復元された差分画像ブロックに、選択部（１１３）から出力される予測画像ブロックを加算して、復号画像ブロックを生成する。次に、フレームメモリ（１０７）は、当該復号画像ブロックを格納する。当該復号画像ブロックは、次に符号化する入力画像に対する参照画像として用いる。

次に、入力画像を画面間予測符号化する際に、フレームメモリ（１０７）は、当該復号画像ブロックを、参照画像としてブロック単位動き探索部（１０８）に出力する。ここで、ブロック単位動き探索部（１０８）は、入力部（１３０）から取得する入力画像と、フレームメモリ（１０７）から取得する当該復号画像ブロックをもちいて、入力画像に対して動き探索を行う。当該ブロック単位動き探索部（１０８）の動き探索処理の詳細は後述する。ブロック単位動き探索部（１０８）は、当該動き探索を行うことにより、動きベクトル（ＭＶ＿ｂｌｏｃｋ）をブロック単位で求める。以下、これをブロック単位動きベクトルと呼ぶ。予測画像生成部（１０９）はブロック単位動き探索部（１０８）で求めたブロック単位動きベクトルから予測画像を生成する。類似動き領域設定部（１１０）はブロック単位動き探索部（１０８）で求めたブロック単位動きベクトルの中から動きベクトルが類似した領域を類似動き領域として設定する。当該類似動き領域設定部（１１０）の設定処理の詳細は後述する。

次に、代表動きベクトル算出部（１１１）は類似動き領域設定部（１１０）に含まれる複数ブロックに共通に使用する代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）を算出する。当該代表動きベクトル算出部（１１１）の代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）の選択処理の詳細は後述する。予測画像生成部（１１２）は、代表動きベクトル算出部（１１１）で求めた代表動きベクトルを用いて、当該類似動き領域についての予測画像を生成する。選択部（１１３）は、予測画像生成部（１０９）で生成される予測画像と予測画像生成部（１１２）で生成される予測画像のいずれか片方を選択して減算器（１００）に出力する。また、あわせてブロック単位動き探索部（１０８）で選択したブロック単位動きベクトル（ＭＶ＿ｂｌｋ）と代表動きベクトル算出部（１１１）で求めた代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）のうち、いずれか上記で選択された動きベクトルと後述する予測ベクトルとの差分動きベクトルの情報を、可変長符号化部（１０３）に出力する。可変長符号化部（１０３）は上記差分動きベクトル情報を量子化部（１０２）から出力される残差データとともに可変長符号化して出力する。

次に、ブロック単位動き探索部（１０８）の動き探索処理について説明する。ブロック単位動き探索部（１０８）では、符号化対象画像を同一画面内の符号化済み画像を参照画像として利用する画面内予測符号化モードと、時間軸上で前後の画面を参照画像として利用する動き補償画面間予測符号化モードの２つの符号化モードとを適応的に用いる。

本実施例においては、このうちブロック単位動き探索部（１０８）が動き補償画面間予測符号化モードを用いる場合の動作について説明する。

図２は、本発明の実施例1に係るブロック単位動き探索部（１０８）の動き探索処理の一例を示した図である。ブロック単位動き探索部（１０８）は、図２(a)に示すように、符号化対象画像２０１の符号化対象ブロック２０３について参照画像２０２からの動き量（動きベクトル２０４）を推定して予測画像２０５を生成し、符号化対象ブロック２０３と予測画像２０５との予測誤差を算出する。次に、ブロック単位動き探索部（１０８）は、所定の探索範囲２０６において動き探索を動きベクトルを変更しながら、当該予測誤差が小さくなる動きベクトルを算出する。

このとき、動きベクトルは周囲のブロックの動きベクトルと強い相関がある。これを利用して、ブロック単位動き探索部（１０８）では、図２(ｂ)に示すように周囲のブロックの動きベクトルから予測ベクトルを生成し、当該予測ベクトルを動き探索処理に使用する。また、算出した各符号化対象ブロックの動きベクトルを符号化する際に、当該予測ベクトルとの差分値のみを符号化することで符号化する情報量の削減を行うことができる。

ここで、図２(ｂ)に示す予測ベクトルの生成処理は、以下に示すＨ．２６４／ＡＶＣ規格などの従来の方式を用いる。ここで、従来の方式と同じ予測ベクトルの生成処理を用いることにより、生成した符号化ストリームが、既存の復号化装置においても復号化することができる。

まず、図２(b)に示すように、ブロック単位動き探索部（１０８）は、ブロック単位動きベクトルを求める前に、隣接ブロックでの動きベクトルを用いて予測ベクトル（ｍｖ＿ｐｒｅｄ）を求める。具体的には、例えば、符号化対象ブロックに対して左に隣接するブロックＡ、上に隣接するブロックＢ、右上に隣接するブロックＣでの動きベクトルを各々ｍｖＡ、ｍｖＢ、ｍｖＣとした時、予測ベクトル（ｍｖ＿ｐｒｅｄ）を数式１のように求める。

次に、ブロック単位動き探索部（１０８）は、予測ベクトル（ｍｖ＿ｐｒｅｄ）をもとに、図２(a)に示すような動き探索を行う。

例えば、数式２のようなコスト関数で算出されるコスト値（Ｊ_MOTION）が最小となる動きベクトルを符号化対象ブロックの動きベクトル（ＭＶ＿ｂｌｏｃｋ）として選択する。

ここで、Ｄ_DFDは符号化対象画像と予測画像の絶対値誤差和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ：ＳＡＤ）または符号化対象画像と予測画像の２乗誤差和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ：ＳＳＤ）を、Ｒ_MOTIONは動きベクトル情報の符号量を示す。また、λ_MOTIONは上記Ｒ_MOTIONに対する重み付け係数であり、一例として量子化パラメータ（ＱＰ）を変数として以下の数式３で算出される値が用いられる。

上記、数式３は、動き補償画面間予測符号化手法において、参照画像の中から最適な動きベクトルを選択する手法として、例えば、ＪＭ（Ｊｏｉｎｔ Ｍｏｄｅｌ）と呼ばれる標準化委員会の提供するリファレンスソフトウェアにて定義されているものである。

当該コスト関数による動きベクトルの選択の処理の詳細については、例えば、以下の参考文献に開示されている技術を用いればよい。
（参考文献１）「Rate-Distortion Optimization for Video Compression", IEEE Signal Processing Magazine, vol. 15, no. 6, pp.74-90, (November, 1998).
上記の数式２、数式３を用いたコスト関数による動きベクトルの選択処理については一例であり、当該方法を用いなくとも、他の方法で評価しても構わない。

上記のように動き探索を行うことにより、ブロック単位動き探索部（１０８）では、符号化による画像圧縮効率がより良くなる動きベクトルを算出することが可能である。

次に、類似動き領域設定部（１１０）の設定処理の詳細の一例を、図３のフローチャートに沿って説明する。

まず最初に、類似動き領域設定部（１１０）は、現在のブロックから見て左隣接ブロックの有無を判定する（Ｓ３０１）。左隣接ブロックがない場合（Ｓ３０１の判定結果が“ＮＯ”の時）は後述のステップ３０５（Ｓ３０５）に移行する。左隣接ブロックがある場合（Ｓ３０１の判定結果が“ＹＥＳ”の時）、類似動き領域設定部（１１０）は、左隣接ブロックのブロック単位動きベクトル（ＭＶ＿ｂｌｏｃｋ＿ｌｅｆｔ）と現ブロックのブロック単位動きベクトル（ＭＶ＿ｂｌｏｃｋ＿ｃｕｒｒ）の差分値（ＭＶ＿ｄｉｆｆ）を算出する（Ｓ３０２）。差分値を算出する一例として、上記の各ブロック単位動きベクトルを以下の数式４、数式５に示すようにｘ成分とｙ成分に分離し、数式６に示すように各成分どうしの絶対値和として求めることで算出可能である。また絶対値和の代わりに２乗和を用いてもよい。

ここで、類似動き領域設定部（１１０）は、数式６で算出したベクトル差分値（ＭＶ＿ｄｉｆｆ）をあらかじめ定めておいた閾値と比較する（Ｓ３０３）。差分値が閾値以下であれば（Ｓ３０３の判定結果が“ＹＥＳ”の時）現ブロックを左隣接ブロックの類似領域であると判定する（Ｓ３０４）。

一方、差分値が閾値より大きい場合は（Ｓ３０３の判定結果が“ＮＯ”の時）、ステップ３０５（Ｓ３０５）に移行する。類似動き領域設定部（１１０）は、ステップ３０５（Ｓ３０５）において、現ブロックから見て上隣接ブロックの有無を判定する。上隣接ブロックがない場合（Ｓ３０５の判定結果が“ＮＯ”の時）はステップ３０９（Ｓ３０９）に移行する。類似動き領域設定部（１１０）は、上隣接ブロックがある場合（Ｓ３０５の判定結果が“ＹＥＳ”の時）は、上隣接ブロックのブロック単位動きベクトル（ＭＶ＿ｂｌｏｃｋ＿ｕｐｐｅｒ）と現ブロックのブロック単位動きベクトル（ＭＶ＿ｂｌｏｃｋ＿ｃｕｒｒ）の差分値（ＭＶ＿ｄｉｆｆ）を算出する（Ｓ３０６）。当該差分値の算出は上述の数式４〜数式６において（ＭＶ＿ｂｌｏｃｋ＿ｌｅｆｔ）を（ＭＶ＿ｂｌｏｃｋ＿ｕｐｐｅｒ）で置き換えることにより可能である。ここで、類似動き領域設定部（１１０）は、算出したベクトル差分値（ＭＶ＿ｄｉｆｆ）をあらかじめ定めておいた閾値と比較する（Ｓ３０７）。差分値が閾値以下であれば（Ｓ３０７の判定結果が“ＹＥＳ”の時）現ブロックを上隣接ブロックの類似領域であると判定する（Ｓ３０８）。一方、差分値が閾値より大きい場合は（Ｓ３０７の判定結果が“ＮＯ”の時）、ステップ３０９（Ｓ３０９）に移行する。

次に、類似動き領域設定部（１１０）は、現ブロックが画面内の最後のブロックであるかを判定する（Ｓ３０９）。現ブロックが画面内の最後のブロックでなければ（Ｓ３０９の判定結果が“ＮＯ”の時）、次のブロックに移行し（Ｓ３１０）、再び（Ｓ３０１）からの処理を実施する。一方、現ブロックが画面内の最後のブロックの時（Ｓ３０９の判定結果が“ＹＥＳ”の時）は処理を終了する。

上記のように類似動き領域の設定処理を行うことにより、動きベクトルの類似する複数のブロックを一の類似動き領域として設定することが可能となる。

次に、代表動きベクトル算出部（１１１）による、類似動き領域についての代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）の選択処理の詳細の一例を、図４、図５を用いて説明する。

図４は、１画面分の各ブロックについてブロック単位動き探索を行った際のブロック単位動きベクトルを示したものである。図４において、点線で囲まれた領域（４０）は類似動き領域設定部（１１０）により類似動き領域として選択された領域であることを示す。図４では、ｂｌｏｃｋ＿Ａ〜ｂｌｏｃｋ＿Ｅの５つのブロックが類似領域として選択されている。

この５つのブロックのブロック単位動きベクトルをそれぞれＭＶｂｌｏｃｋＡ〜ＭＶｂｌｏｃｋＥとした時、例えば、代表動きベクトル算出部（１１１）各ブロックの動きベクトルのｘ成分、ｙ成分についての平均値を算出し、これを代表動きベクトルとすることで算出する。平均値をもちいる場合は、より簡便な方法で代表動きベクトルを定めることができる。また、平均値の代わりにｘ成分、ｙ成分についての中央値を代表動きベクトルとしてもよい。中央値を用いる場合は、類似動き領域について、統計的な分布を考慮することが可能となる。

いずれの場合も、類似領域に含まれる複数のブロックの動きベクトルを変数とした関数による出力ベクトルを当該類似の代表動きベクトルとすればよい。これにより、類似領域に含まれる複数のブロックのそれぞれの動きベクトルに類似したベクトルを代表動きベクトルとすることが可能となる。

また代表動きベクトルの別の算出方法の例として、代表動きベクトル算出部（１１１）は、類似動き領域内の一のブロックについてのブロック単位動きベクトルを、当該類似動き領域の代表動きベクトルとした場合の当該類似動き領域コスト(各ブロックについてのコストの合計)を算出し、当該コストを各ブロックのブロック単位動きベクトルについて算出して比較することにより、一のブロック単位動きベクトルを代表動きベクトルとして算出しても良い。

この場合、図４の例においては、代表動きベクトル算出部（１１１）は、ＭＶｂｌｏｃｋＡ〜ＭＶｂｌｏｃｋＥのそれぞれを、ｂｌｏｃｋ＿Ａ〜ｂｌｏｃｋ＿Ｅにあてはめた時のコスト値をそれぞれ算出し、コスト値が最小となるベクトルを代表動きベクトルとすればよい。このように、既存の動きベクトルからコスト値が最も最小となる動きベクトルを選択することにより、発生符号量(画像符号化後のデータ量)を抑制することが可能な代表動きベクトルを比較的簡便に算出することができる。

図５は代表動きベクトル算出部（１１１）が、上記いずれかの処理により算出した代表動きベクトルを当該類似動き領域（４０）内の各ブロックの（ｂｌｏｃｋ＿Ａ〜ｂｌｏｃｋ＿Ｅ）動きベクトルに設定した状態を示す。なお、図４、図５では類似動き領域が画面内に１つのみ存在する場合の動作例を示したものであるが、画面内に類似動き領域が複数存在する場合も、各類似動き領域ごとに同様の処理を行い、代表動きベクトルを算出すればよい。

上記のように代表動きベクトル算出処理を行うことにより、類似動き領域について一の代表動きベクトルを設定することが可能となる。

次に、図１に示すエンコーダ（１５０）における動き補償部（１２０）における処理のフローチャートの一例を図６に示す。

まず最初に、ブロック単位動き探索部（１０８）は入力画像に対してブロック単位での動き探索を行う。ここで、コスト値が最小となるブロック単位動きベクトル（ＭＶ＿ｂｌｏｃｋ）を算出する（Ｓ６０１）。また、この時のコスト値をブロック単位コスト値（Ｃｏｓｔ＿ｂｌｏｃｋ）として算出する。次に、予測画像生成部（１０９）はブロック単位動き探索部（１０８）で求めたブロック単位動きベクトルから予測画像（ｐｒｅｄ＿ｐｉｃ＿ｂｌｏｃｋ）を生成する（Ｓ６０２）。ここで、ステップ６０１およびステップ６０２に関して画面内の全てのブロックについて処理が終了したか判定し（Ｓ６０３）、処理が終了していないブロックがあれば次のブロックに移行して（Ｓ６０４）、再びステップ６０１およびステップ６０２の処理を行う。当該ステップ６０３の判定処理は、例えばブロック単位動き探索部（１０８）または制御部（１６０）が行えばよい。

次に、ステップ６０３で画面内の全てのブロックについて処理が終了していれば、類似動き領域設定部（１１０）による類似動き領域設定処理（Ｓ６０５）に移る。ステップ６０５の詳細な処理は、図３のフローチャートに示したとおりである。次に、ステップ６０５により設定された類似動き領域について、代表動きベクトル算出部（１１１）が代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）を算出する（Ｓ６０６）。また、代表動きベクトル算出部（１１１）は、さらに、算出された代表動きベクトルを用いて動き予測をした際のコスト値（Ｃｏｓｔ＿ｇｌｏｂａｌ）を求める（Ｓ６０６）。当該ステップ６０６の処理の詳細は、前述の図４、図５の説明にて示したとおりである。次に、予測画像生成部（１１２）が、ステップ６０６で算出された代表動きベクトルに基づいて予測画像（ｐｒｅｄ＿ｐｉｃ＿ｇｌｏｂａｌ）を生成する（Ｓ６０７）。

ここで、ステップ６０６およびステップ６０７に関して画面内の全ての類似動き領域について処理が終了したか判定し（Ｓ６０８）、処理が終了していない類似動き領域があれば次の類似動き領域に移行して（Ｓ６０９）、再びステップ６０６およびステップ６０７の処理を行う。

次に、ステップ６１０において、選択部（１１３）が、類似動き領域毎に、またはブロック毎に、ステップ６０１〜ステップ６０４におけるブロック単位の動き補償処理（動き探索処理および予測画像生成処理）の方式を採用するか、ステップ６０６〜ステップ６０９における類似動き領域単位の動き補償処理（動き探索処理および予測画像生成処理）の方式を採用するかを選択する(Ｓ６１０)。また、ステップ６１０においては、さらに選択部（１１３）は、選択した動き補償方式により算出した予測画像を減算器（１００）へ出力し、選択した動き補償方式により算出した動きベクトルについての情報を可変長符号化部１０３に出力する(Ｓ６１０)。なお、当該ステップ６１０の詳細については後述する。

以上の選択部（１１３）によるステップ６１０の処理が終了すると、動き補償部（１２０）の処理が終了する。

次に、上述の図６のステップ６１０についての詳細を図７を用いて説明する。ここで、図７はステップ６１０における動き補償方式の選択を類似動き領域毎に行う場合の一例を示している。

図７に示されるステップは、いずれも選択部（１１３）が行う。まずステップ７０１では、画面内の一の類似動き領域を構成するブロックの数が１であるか否かを判定する（Ｓ７０１）。当該類似動き領域を構成するブロックの数が１である場合（Ｓ７０１の判定結果が“ＹＥＳ”の時）はステップ７０４に移行し、予測画像生成部（１０９）で生成された類似動き領域に含まれる各ブロックの予測画像（ｐｒｅｄ＿ｐｉｃ＿ｂｌｏｃｋ）を類似動き領域に含まれる各ブロックの出力予測画像(ｐｒｅｄ＿ｐｉｃ)に設定し、また類似動き領域に含まれる各ブロックのブロック単位動きベクトル（ＭＶ＿ｂｌｏｃｋ）を、各ブロックの出力動きベクトル(ＭＶ)に設定する（Ｓ７０４）。

一方、ステップ７０１において当該類似動き領域を構成するブロックの数が１でない場合（Ｓ７０１の判定結果が“ＮＯ”の時）は、ステップ７０２に移行し、ブロック単位動きベクトルを用いて算出（Ｓ６０１）したブロック単位コスト値（Ｃｏｓｔ＿ｂｌｏｃｋ）の当該類似動き領域に含まれるブロックについての合計（Ｓｕｍ＿Ｃｏｓｔ＿ｂｌｏｃｋ）と、代表動きベクトルを用いて算出（Ｓ６０６）した類似動き領域のコスト値（Ｃｏｓｔ＿ｇｌｏｂａｌ）との大小比較を行う（Ｓ７０２）。ここで、類似動き領域のコスト値（Ｃｏｓｔ＿ｇｌｏｂａｌ）がブロック単位コスト値の合計（Ｓｕｍ＿Ｃｏｓｔ＿ｂｌｏｃｋ）より小さい場合（Ｓ７０２の判定条件が“ＹＥＳ”の時）ステップ７０３に移行する。このとき、予測画像生成部（１１２）で生成された類似動き領域に含まれる各ブロックの予測画像（ｐｒｅｄ＿ｐｉｃ＿ｇｌｏｂａｌ）を類似動き領域に含まれる各ブロックの出力予測画像(ｐｒｅｄ＿ｐｉｃ)に設定し、また代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）を類似動き領域に含まれる各ブロックに共通の出力動きベクトル(ＭＶ)に設定する（Ｓ７０３）。逆に類似動き領域のコスト値（Ｃｏｓｔ＿ｇｌｏｂａｌ）がブロック単位コスト値の合計（Ｓｕｍ＿Ｃｏｓｔ＿ｂｌｏｃｋ）以上の場合（Ｓ７０２の判定条件が“ＮＯ”の時）はステップ７０４に移行する。なお、ステップ７０４の内容は上述の通りである。

次に、ステップ７０５においては、ステップ７０３もしくはステップ７０４により設定した出力予測画像を減算器（１００）へ出力する（Ｓ７０５）。また、図２の説明に示した予測ベクトル（ＭＶ＿ｐｒｅｄ）と、ステップ７０３もしくはステップ７０４により設定した各ブロックの出力動きベクトルとの差分動きベクトル（ＭＶ＿ｄｉｆｆ）を可変長符号化部（１０３）へ出力する（Ｓ７０５）。

次に、画面内の全ての類似動き領域について処理が終了したか判定する（Ｓ７０６）。処理が終了していない類似動き領域があれば次の類似動き領域に移行し（Ｓ７０７）、再びステップ７０１〜ステップ７０５までの処理を行う。ステップ７０６において画面内の全ての類似動き領域について処理が終了していれば処理を終了する。

なお、図７のフローチャートにおいて、選択部（１１３）がステップ７０３を選択した類似動き領域については、当該類似動き領域に含まれる動きベクトルがすべて共通の代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）となる。このとき、数式１に示した予測ベクトルの算出方法の性質により、同一の動きベクトルを有するブロックの領域においては、右下に位置するブロックが有する予測ベクトルほど、当該同一の動きベクトルに近づき、当該領域の大きさによっては予測ベクトルは当該同一の動きベクトルに収束することになる。

したがって、本実施例に係る当該類似動き領域のブロックのうち、右下方向のブロックほど、予測ベクトル（ＭＶ＿ｐｒｅｄ）が代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）に近づいていくことになる。

これにより、各ブロックの出力動きベクトル（ＭＶ）と予測ベクトルとの差分動きベクトル（ＭＶ＿ｄｉｆｆ）を小さくすることが可能である。すなわち、一の類似動き領域において、一のブロックについて代表動きベクトルを出力すれば、前記一の類似動き領域に含まれる他のブロックについては、前記一のブロックの動きベクトルを基準とした０差分ベクトルを出力すればよく、送信する動きベクトルのデータ量が非常に小さくなる。よって、可変長符号化部（１０３）より出力される動きベクトルに関する発生符号量を低減することができる。さらに、ステップ７０２においてコスト比較を行った結果に基づいて動き補償方式を選択しているため、可変長符号化部（１０３）より出力される発生符号量のうち、量子化部（１０２）から出力される入力画像と予測画像との残差データに係る発生符号量と動きベクトルに関する発生符号量の合計についても、より低い発生符号量を選択して出力することが可能となる。

以上説明した、本発明の実施例１に係る動画像記録装置（１２００）の動作の具体例の一例を、図１３を用いて説明する
図１３の情報処理装置（１３０５）において、画像信号データ（例えば、バイナリファイルからなる。）を生成し、プログラマブル信号発生器（１３０８）により、動画像記録装置（１３０３）に適した信号に変換する。これを動画像記録装置（１３０３）に入力し、動画像記録装置（１３０３）により、画像符号化処理を行う。次に動画像記録装置（１３０３）から出力される符号化ストリームを情報処理装置（１３０６）に入力する。もしくは、動画像記録装置（１３０３）により、リムーバブルメディア（１３０９）に記録した符号化ストリームを情報処理装置（１３０６）において読み取り処理を行う。このとき、情報処理装置（１３０６）では、読み取った符号化ストリーム内の動きベクトルデータ、データ量などを解析できる。

ここで説明する入力画像の具体例は、例えば、異なる速度で落下する物体の輪郭が重なるシーンの映像における両物体の輪郭部の映像である。このときの入力画像と出力結果の一例を、以下に説明する。

まず、情報処理装置（１３０５）で生成する画像信号データについて図１４を用いて説明する（以下、図１４の画像信号データは「入力画像１」と表記する。）。図１４は、入力画像１に含まれる２つのフレーム（またはフィールド）の画像について、重畳して記載している。波線よりも上の部分（１４０１）が前フレームの部分を示し、波線よりも下の部分（１４０２）が現フレームの部分を示している。以下、本図の右方向がｘ方向、上方向がｙ方向として説明する。

図に示される各四角は画像ブロックであり、当該画像ブロックに記載されるＡ〜Ｊの記号は、それぞれ固有のブロック画像であることを示している。例えば、輝度信号や色度信号から構成されている。また、現フレーム（１４０２）の画像ブロックＥ、Ｊの右側にも、それぞれのブロックに固有の画像がＭ個のブロック分だけ格納されている。当該画像ブロックに対応する画像ブロックが前フレーム（１４０１）の画像ブロックＥ、Ｊの右側にも格納されている。以下、当該右側のブロックおよび画像ブロックＡ〜Ｊをブロック群（１４０６）と示す。

ここで、ブロックサイズは、本図においては、例として４×４であるとして説明する。その他１６×１６、８×８のブロックでも構わない。これは、符号化処理のシンタックスにあわせて設定すればよい。

ここで、ブロック画像Ｂ’はブロック画像Ｂとに対して差分画像の差分データ量が非常に小さい画像である。同じくブロック画像Ｃ’はブロック画像Ｃに対して、差分画像が非常に小さい画像であり、ブロック画像Ｄ’はブロック画像Ｄに対して、差分画像が非常に小さい画像である。ここで、Ａ〜Ｊの記号が記載されていないブロックは輝度信号や色度信号が０の状態である。

また、入力画像１において、現フレームも前フレームもブロック画像Ｆ〜Ｊは一列に整列しているが、両フレーム間における当該ブロック画像Ｆ〜Ｊ間の距離はＮブロックである。

したがって、画像ブロックＡ〜ＪのうちＢ、Ｃ、Ｄ以外の画像ブロックが、前フレームにおいては、現フレームに対してＮブロック分ｙ方向の位置に存在している。画像ブロックＢ、Ｃ、Ｄは、他のブロックと異なり、前フレームにおいては、現フレームに対してＮ＋２ブロック分ｙ方向の位置に存在している。また、前フレームにおいて、現フレームの画像ブロックＢ、Ｃ、ＤのそれぞれＮブロック分ｙ方向の位置には画像ブロックＢ’、Ｃ’、Ｄ’が存在している。

ここで、入力画像１の現フレームについて、前フレームを参照画像として、従来の動き探索を行うと、図の矢印１４０３〜１４０５に示すような動きベクトルが算出される。すなわち、従来の動きベクトル探索では、画像ブロックの差分値が小さくなるように予測画像ブロックを決定するため、前フレームに現フレームと同一の画像ブロックがあれば、前フレームにおける同一画像のブロックが予測画像として選択される。

したがって、本図においては、現フレームの画像ブロックＡを始点とする動きベクトル１４０３は、前フレームの画像ブロックＡを終点とする動きベクトルであり、ｙ方向の大きさＮブロック分のベクトルである。また、現フレームの画像ブロックＦを始点とする動きベクトル１４０４は、前フレームの画像ブロックＦを終点とする動きベクトルであり、ｙ方向の大きさＮブロック分のベクトルである。図示は省略するが、現フレームの画像ブロックＥ、Ｇ、Ｈ、Ｉ、Ｊについても、ｙ方向の大きさがＮブロック分のベクトルが算出される。また、現フレームの画像ブロックＥ、Ｊの右側の各ブロックについても、ｙ方向の大きさがＮブロック分のベクトルが算出される。

これに対し、画像ブロックＢについては、現フレームの画像ブロックＢを始点とし、前フレームの画像ブロックＢを終点とするｙ方向の大きさＮ＋２ブロック分の動きベクトル１４０５が算出される。図示は省略するが、同様に、画像ブロックＣについては、現フレームの画像ブロックＣを始点とし、前フレームの画像ブロックＣを終点とする、ｙ方向の大きさＮ＋２ブロック分の動きベクトルが算出される。同様に、画像ブロックＤについては、現フレームの画像ブロックＤを始点とし、前フレームの画像ブロックＤを終点とする、ｙ方向の大きさＮ＋２ブロック分の動きベクトルが算出される。

すなわち、図１４の入力画像１の現フレームは、第１の動きベクトルを有する複数のブロックからなる第１のブロック群（Ｂ、Ｃ、Ｄ）と、第２の動きベクトルを有する複数のブロックからなる第２のブロック群（Ａ、Ｄ，Ｅ、Ｇ、Ｈ、Ｉ、Ｊ他）から構成される矩形のブロック群（１４０６）が存在する。

また、図１４の入力画像１の前フレームには、現フレームにおける第２のブロック群の各ブロックから第２の動きベクトル分だけ移動した位置に前記第２のブロック群の各ブロックと同一の画像が存在し、現フレームにおける第１のブロック群の各ブロックから第１の動きベクトル分だけ移動した位置に前記第１のブロック群の各ブロックと同一の画像が存在する。

また、図１４の入力画像１の前フレームには、現フレームにおける第１のブロック群の各ブロックから第２の動きベクトル分だけ移動した位置に前記第１のブロック群の各ブロックとの差分の小さい画像（Ｂ’、Ｃ’、Ｄ’）が存在することとなる。

以上説明した入力画像１について従来の符号化処理を行った場合に、出力される符号化ストリームが有する際の動きベクトルデータ、予測ベクトル（mv_pred）データ、差分動きベクトルデータ、差分画像データについて、図１５を用いて説明する。

図１５には、入力画像１の現フレームのブロック群（１４０６）について、従来の符号化処理を行った場合の(a)動きベクトルデータ、(b)予測ベクトル（mv_pred）データ、(c)差分動きベクトルデータ、(d)差分画像データを示している（以下、図１５のデータは「出力結果１」と表記する）。

ここで、本図におけるベクトルの値の表記について説明する。入力画像１では、探索により取得される各動きベクトルがｙ方向のみであるので、出力結果１の(a)動きベクトルデータ、(b)予測ベクトル（mv_pred）データ、(c)差分動きベクトルデータの各値は、動きベクトル(x,y)のうち、yの値のみを記載したものである。ここで、(b)予測ベクトル（mv_pred）データは、上記の数式１を用いて算出したデータである。また、(c)差分動きベクトルデータは、(a)動きベクトルデータから、(b)予測ベクトル（mv_pred）データを減算したものであり、出力される符号化データに含まれるものである。さらに、(d)差分画像データは、符号化対象画像ブロック（現フレームのブロック）と予測画像（前フレームのブロックで動きベクトルが指すブロック）との差分のデータ量である。本図においては、動きベクトル１ブロック分のデータ量に相当する差分画像データ量を１として表記している。

図１５に示す従来の符号化処理の出力結果（出力結果１）においては、(c)差分動きベクトルデータのデータ量の合計（絶対値の和）は、（５＋Ｍ）×Ｎ＋１０となり、(d)差分画像データのデータ量の合計（絶対値の和）は０となる。したがって、符号化処理により発生する差分データの合計は、（５＋Ｍ）×Ｎ＋１０となる。

これに対し、入力画像１に実施例１に係る符号化処理を行った場合の(a)〜(d)の結果（以下、図１５のデータは「出力結果２」と表記する）は図１６に示すとおりとなる。

まず、本発明の実施例１においては、類似動き領域を算出する。ここで、類似動き領域の算出において用いる閾値は、各装置の実施の形態により異なるものであるが、本画像信号データにおいては、現フレームのブロック群（１４０６）を一つの類似動きブロックと判定させる必要がある。

したがって、入力画像１における画像ブロックＢ〜Ｄの動きベクトルは、できるだけブロック群（１４０６）の他の画像ブロックの有する動きベクトルＮとの差が少ないように設定する必要がある。図１５の例では、一例として画像ブロックＢ〜Ｄの動きベクトルのＮ＋２としているが、Ｎ＋１としても構わない。

このように、画像ブロックＢ〜Ｄを、他の画像ブロックの動きベクトルと異ならせ、かつ、その差を小さくすることにより、実施例１の符号化処理において、現フレームのブロック群（１４０６）を一の類似動き領域とすることができる。

さらに実施例１の符号化処理では、図１５の従来の(a)動きベクトルデータから、代表動きベクトルを算出する。ここで、図４、図５の説明にて記載したように、代表動きベクトルは、同一類似動き領域内の各動きベクトルの中央値、平均値などから算出する。ここで、図１５の(a)の場合では、Ｍ＝２の場合、同一類似動き領域内の動きベクトルは、Ｎ＋２が３個、Ｎが１１個となる。このとき、中央値はＮ、平均値は、Ｎ＋0.4となり、小数点以下四捨五入するとＮとなる。また、小数点以下四捨五入を行わなくとも、Ｍの値を大きくすることにより平均値をＮに近似することが可能である。

以上のような場合、図１５の(a)の動きベクトルデータを用いて、本実施例による代表動きベクトル算出方法により代表動きベクトルを算出すると、ｙ方向の大きさＮの動きベクトルが代表動きベクトルとして算出される。

ここで、本実施例の符号化処理おいては、図１６の(a)に示すように、同一類似動き領域内のすべての動きベクトルを代表動きベクトルに置換する。具体的には、現フレームの画像ブロックＢ，Ｃ，Ｄの動きベクトルについて、図１５(a)では大きさＮ＋２であるところ、図１６の（a）では、いずれも大きさＮに置換している。この結果、出力結果２では、ブロック群（１４０６）（同一類似動きベクトル）内の(a)動きベクトルデータはいずれもＮとなり、(b)予測ベクトル（mv_pred）データ、(c)差分動きベクトルデータ、(d)差分画像データは、それぞれ図１６に示すとおりとなる。

この結果、図１６に示す本実施例に係る符号化処理の出力結果（出力結果２）においては、(c)差分動きベクトルデータのデータ量の合計（絶対値の和）は、（５＋Ｍ）×Ｎとなり、(d)差分画像データのデータ量の合計（絶対値の和）は３となる。したがって、符号化処理により発生する差分データの合計は、（５＋Ｍ）×Ｎ＋３となり、従来の符号化処理による差分データの合計である（５＋Ｍ）×Ｎ＋１０よりも、データ量が低減されている。

以上において一例を説明した図１４の画像信号データの前フレームおよび現フレームを図１３の情報処理装置（１３０５）で生成し、動画像記録装置（１３０３）に入力し、本実施例の動画像記録装置（１３０３）から出力される符号化ストリームを情報処理装置（１３０６）で解析する。このとき、例えば従来の動画像記録装置による結果である図１５の出力結果１に比べて、本図１６に示す実施例の出力結果２では、データ量が低減される。

またこのとき、図１６に示す結果を示した場合に、当該動画像記録装置（１３０３）において、さらに別の信号を入力した場合の動作例を以下に説明する。

図１７において、図１４と同じ符号が付されているものは、同一のものである。よって、図１７に示す入力画像２では、前フレームのブロック（１７０１）が図１４の画像ブロックＢ’ではなく、画像ブロックＸに替わっている。ここで、画像ブロックＸは画像ブロックＢ’と異なり、画像ブロックＢとの差分画像の差分データ量が非常に大きい画像である。

すなわち、図１７の入力画像２の現フレームは、入力画像１と同じく、第１の動きベクトルを有する複数のブロックからなる第１のブロック群（Ｂ、Ｃ、Ｄ）と、第２の動きベクトルを有する複数のブロックからなる第２のブロック群（Ａ、Ｄ，Ｅ、Ｇ、Ｈ、Ｉ、Ｊ他）から構成される矩形のブロック群（１４０６）の存在する。

また、図１７の入力画像２の前フレームには、入力画像１と同じく、現フレームにおける第２のブロック群の各ブロックから第２の動きベクトル分だけ移動した位置に前記第２のブロック群の各ブロックと同一の画像が存在し、現フレームにおける第１のブロック群の各ブロックから第１の動きベクトル分だけ移動した位置に前記第１のブロック群の各ブロックと同一の画像が存在する。

また、図１７の入力画像２の前フレームには、入力画像１と異なり、現フレームにおける第１のブロック群の一部のブロック（Ｃ、Ｄ）については、各ブロックから第２の動きベクトル分だけ移動した位置に前記一部のブロック（Ｃ、Ｄ）との差分の小さい画像（Ｃ’、Ｄ’）が存在し、現フレームにおける第１のブロック群の他のブロック（Ｂ）から第２の動きベクトル分だけ移動した位置には、前記他のブロック（Ｂ）との差分が大きい画像（Ｘ）が存在する。

ここで、図１７の入力画像２に対して図１６の(a)に示す代表ベクトルの置換を行った場合の、(a)動きベクトルデータ、(b)予測ベクトル（mv_pred）データ、(c)差分動きベクトルデータ（d）差分画像データは図１８に示す通りとなる。

図１８のデータ（以下、「出力結果３」と表記する）のうち、(a)動きベクトルデータ、(b)予測ベクトル（mv_pred）データ、(c)差分動きベクトルデータは、図１６と変らないが、（d）差分画像データは、現フレームのブロック（１８０１）すなわち画像ブロックＢについての差分画像データ量が大きくなっている。本図の例では、画像ブロックＢについての差分画像データ量が２０の場合を示している。

ここで、このデータ量が大きくなった理由は、図１８(a)に示すように、現フレームの画像ブロックＢについて大きさＮ＋２のベクトルを、大きさＮの代表ベクトルに置換したことにより、現フレームの画像ブロックＢについての予測画像が、前フレームの画像ブロックＸとなったことに起因する。

このとき、図１８に示す出力結果３においては、(c)差分動きベクトルデータのデータ量の合計（絶対値の和）は、（５＋Ｍ）×Ｎとなり、(d)差分画像データのデータ量の合計（絶対値の和）は２２となる。したがって、符号化処理により発生する差分データの合計は、（５＋Ｍ）×Ｎ＋２２となる。したがって、このままでは従来の符号化処理による差分データの合計である（５＋Ｍ）×Ｎ＋１０よりも、差分データの合計が大きくなってしまうはずである。

ここで、動画像記録装置（１３０３）が本実施例に係る動画像記録装置（１２００）である場合は、類似動き領域の各動きベクトルについて代表動きベクトルによる置換を行うと、従来の符号化処理よりも、差分データの合計が大きくなってしまう入力信号に対しては、図７に示す類似動き領域単位の選択処理を行うことにより、当該類似動き領域については、従来の符号化処理に変更する。したがって、図１７に示す入力画像２を動画像記録装置（１３０３）に入力した場合、情報処理装置（１３０６）が解析した結果は、図１８に示す出力結果３ではなく、図１５に示す出力結果１となる。

以上説明した選択処理により、本実施例の動画像記録装置（１２００）は、代表ベクトルへの置換により、差分データが大きくなってしまう画像が入力された場合にも、その差分データの増加を防止することが可能である。

以上説明した入力画像と出力結果の関係を図２０のフローチャートで説明する。

まず、ステップ２００１にて、フローチャートをスタートし、ステップ２００２にて、図１４に示す入力画像１を動画像記録装置（１３０３）に入力する。動画像記録装置（１３０３）が従来の符号化処理を行うものであれば、図１５に係る出力結果１が出力される。（Ｓ２００４）。

ここで、動画像記録装置（１３０３）が本実施例の動画像記録装置（１２００）である場合には、図１５に係る出力結果１が出力される。（Ｓ２００４）。

なお、以上の動作の説明は、本発明の実施例１に係る動画像記録装置（１２００）について行ったが、当該動画像記録装置（１２００）の有するエンコーダ（１５０）のみの動作についても入力画像と出力結果の関係は、上記の説明と同じである。

但し、本発明の実施例１に係るエンコーダ（１５０）は図１に示される各部を有するハードウェアにでもよく、また図１に示す制御部（１６０）が、記憶部（１７０）が記憶するソフトウェアと協働することによりによっても実現することが可能である。したがって、実施例１に係るエンコーダ（１５０）は、ソフトウェアエンコーダ（１３０１）の場合と、ハードウェアエンコーダ（１３０２）の場合がある。

よって、図１３においては以下の場合においても、上記の動画像記録装置（１２００）の入力画像と出力結果の関係と同様の結果となる。

すなわち、ソフトウェアエンコーダ（１３０１）の場合は、情報処理装置（１３０５）において、ソフトウェアエンコーダ（１３０１）に適応する画像信号データ（例えば、バイナリファイルからなる。）を生成し、ソフトウェアエンコーダ（１３０１）により、画像符号化処理を行う。次にソフトウェアエンコーダ（１３０１）から出力される符号化ストリームを情報処理装置（１３０６）入力する。最後に情報処理装置（１３０６）が、入力された符号化ストリーム内の動きベクトルデータ、データ量などを解析する。この場合も、上記の動画像記録装置（１２００）の入力画像と出力結果の関係と同様の結果となる。

また、ハードウェアエンコーダ（１３０２）の場合は、情報処理装置（１３０５）において、画像信号データ（例えば、バイナリファイルからなる。）を生成し、再生装置（１３０７）により、ハードウェアエンコーダ（１３０２）に適した信号に変換する。これをハードウェアエンコーダ（１３０２）に入力し、ハードウェアエンコーダ（１３０２）により、画像符号化処理を行う。次にハードウェアエンコーダ（１３０２）から出力される符号化ストリームを情報処理装置（１３０６）入力する。最後に情報処理装置（１３０６）が、入力された符号化ストリーム内の動きベクトルデータ、データ量などを解析する。の場合も、上記の動画像記録装置（１２００）の入力画像と出力結果の関係と同様の結果となる。

以上説明した本発明の実施例１に係る動画像記録装置の有するエンコーダによれば、従来の予測ベクトルの生成方法を用いながら、符号化対象ブロックについて、動きベクトルが類似する度合いに基づいて領域を設定し、当該領域ごとに動きベクトルを共通化する。

これにより、動きベクトルに関する発生符号量を低減して、より圧縮効率が良く、かつ既存の符号化規格に対応する復号化装置でも復号化を行うことができる符号化データを生成するエンコーダを実現することが可能になる。

また、動きベクトルが類似する領域ごとに動きベクトルを共通化する方式と、従来の動き補償方式とを比較して選択することにより、全体の発生符号量(画像符号化後のデータ量)を従来の方式と比べて低減することが可能となる。

また、本発明の実施例１に係る動画像記録装置の有するエンコーダは、従来の予測ベクトルの生成方法を用いながら、符号化対象ブロックについて、動きベクトルが類似する度合いに基づいて領域を設定し、当該領域ごとに動きベクトルを共通化する。

これにより、動きベクトルに関する発生符号量を低減して、より圧縮効率が良く、かつ既存の符号化規格に対応する復号化装置でも復号化を行うことができる符号化データを生成できる。

また、以上説明した本発明の実施例１に係る動画像記録装置（１２００）は、入力した符号化ストリームに圧縮効率の高い画像符号化処理を行う。これにより、デマルチプレクサ部（１２０３）で分離された符号化ストリームよりも、よりデータ量の小さい符号化ストリームを生成することができ、蓄積部（１２１０）に蓄積するデータ量を低減できる。これにより、従来例と同一画質で記録する場合あっても、デマルチプレクサ部（１２０３）分離された符号化ストリームをそのまま蓄積する従来例の場合よりも、本発明の実施例１に係る動画像記録装置（１２００）は、録画時間をより長くすることが可能となる。

また、本発明の実施例１に係る動画像記録装置（１２００）は、蓄積部（１２１０）をハードディスクドライブ（磁気ディスク）やフラッシュメモリー（半導体記録媒体）とし、動画像記録装置（１２００）をレコーダとして構成しても良い。この場合は、ハードディスクドライブ（磁気ディスク）やフラッシュメモリー（半導体記録媒体）に、圧縮効率の良い録画処理を行うことができる。これにより同一容量のハードディスクドライブ（磁気ディスク）やフラッシュメモリー（半導体記録媒体）であってもより長時間の録画が可能なレコーダを実現できる。

また、本発明の実施例１に係る動画像記録装置（１２００）は、例えば、蓄積部（１２１０）に替えて、図１２に示すリムーバルメディア（１２１５）に対して、符号化した画像データを書きこみ処理、読み取り処理を行うリムーバルメディア読みとり／書きこみ部（１２１４）を備えても良い。なお、リムーバルメディア読みとり／書きこみ部（１２１４）の記録・再生動作は、録画再生制御部（１２０９）を介して行われる。この場合は、リムーバルメディア（１２１５）に圧縮効率の良い録画を行うことが可能となり、リムーバルメディア（１２１５）の容量をより好適に利用する動画像記録装置が実現できる。

また、復号化後のデータを出力する画像出力部（１２０６）や音声出力部（１２０７）のほかに、例えば、図１２に示す出力部（１２１６）を設けてもよい。このとき、エンコーダ（１５０）が符号化し、蓄積部（１２１０）が蓄積している符号化ストリームを、録画再生制御部（１２０９）が取得して出力部（１２１６）から外部機器に出力させてもよい。この場合、動画像記録装置（１２００）は、画像圧縮装置となり、同画質でも、従来の符号化技術よりもデータ量の小さい符号化ストリームを出力することが可能となる。これにより、外部機器に出力する通信帯域の節約などが可能となる。

また、本発明の実施例１に係る動画像記録装置は、従来の予測ベクトルの生成方法を用いながら、符号化対象ブロックについて、動きベクトルが類似する度合いに基づいて領域を設定し、当該領域ごとに動きベクトルを共通化する。これにより、動きベクトルに関する発生符号量を低減して、より圧縮効率が良く、かつ既存の符号化規格に対応する復号化装置でも復号化を行うことができる符号化データを生成する動画像記録装置を実現することが可能になる。

以上説明した本発明の実施例１に係る動画像記録装置によれば、入力された画像信号を蓄積部に記録する際に、画像符号化後のデータ量をより低減し、圧縮効率をより良くすることができる。例えば、これにより、より長時間の録画を可能とする動画像記録装置が実現できる。

また、本発明の実施例１に係る動画像記録装置よれば、既存の符号化規格に対応する復号化装置でも復号化を行うことができ、かつデータ量の小さい符号化データを出力することが可能な動画像記録装置を実現できる。

次に、本発明の実施例２について説明する。

本発明の実施例２は、実施例１の動画像記録装置（１２００）のうち、エンコーダ（１５０）が、構成及び動作が異なるエンコーダ（８５０）に換わったものである。その他の構成及び動作は実施例１と同じである。

図８は、本発明の実施例２に係るエンコーダ（８５０）の構成ブロック図である。

なお、以下の説明において、実施例１にて説明した構成要素と同一の符号が付されている構成要素は同一の機能を有するので、説明は省略する。

図８に示すエンコーダ（８５０）は、図１に示すエンコーダ（１５０）にはない動き再探索部（８１４）を有する動き補償部（８２０）を備える。

以下に、動き再探索部（８１４）の動作について説明する。動き再探索部（８１４）は代表動きベクトル算出部（１１１）で求めた代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）を中心として、類似動き領域設定部（１１０）に含まれる複数ブロックについて再度動き探索を行い、コスト値が最小となる動きベクトル（ｒｅ＿ＭＶ＿ｇｌｏｂａｌ）を求める。以下、これを再探索動きベクトル（ｒｅ＿ＭＶ＿ｇｌｏｂａｌ）と呼ぶ。実施例２に係るエンコーダ（８５０）においては、動き再探索部（８１４）以降の処理においては、実施例１に係るエンコーダ（１５０）における代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）をすべて再探索動きベクトル（ｒｅ＿ＭＶ＿ｇｌｏｂａｌ）に置き換えて処理を行う。

ここで、動き再探索部（８１４）の選択処理の詳細の一例を、図９を用いて説明する。図９は、図２（ａ）に示される参照画像２０２と符号化対象画像２０１を重ねて示した図である。ここで、動き再探索部（８１４）は類似動き領域単位で動き探索を行う点が図２と異なる。よって図９においては、符号化対象画像２０１上で類似動き領域を構成するｂｌｏｃｋ＿Ａ〜ｂｌｏｃｋ＿Ｅについて、参照画像２０２上で代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）が示す位置を中心に動き探索を行う。例えば、代表動きベクトルが指す参照画像２０２上の予測画像領域（９１）である場合、探索範囲（９２）ついて動き探索を行う。このとき、動き再探索部（８１４）は、探索範囲（９２）に示す領域内において当該再度探索を行い、符号化コストが最小となる動きベクトルを再探索動きベクトル（ｒｅ＿ＭＶ＿ｇｌｏｂａｌ）として算出する。

ここで、実施例１において用いる代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）は、類似領域に含まれる複数のブロックの動きベクトルもとに求めたものである。これに対し、実施例２において用いる再探索動きベクトル（ｒｅ＿ＭＶ＿ｇｌｏｂａｌ）は符号化コストの観点から、再度最適なベクトルを選択するものである。よって、再探索動きベクトル（ｒｅ＿ＭＶ＿ｇｌｏｂａｌ）を用いて生成された予測画像は、代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）を用いて生成された予測画像よりもさらに高精度となり、量子化部（１０２）から出力される入力画像と予測画像との残差データの残差量は、実施例１に比べ、実施例２の方が小さくなる。これにより可変長符号化部（１０３）における発生符号量(画像符号化後のデータ量)は低減される。

次に、図８に示すエンコーダ（８５０）における動き補償部（８２０）における処理のフローチャートの一例を図１０に示す。

ここで、図１０のステップ１００１〜１００５は、図６のステップ６０１〜６０５と同様のステップであるため、説明を省略する。

次に、ステップ１００６の代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）の算出処理についても、ステップ６０６と同様であるが、ステップ１００６では、ステップ６０６と異なり、代表動きベクトル算出部（１１１）は、類似動き領域のコスト値（Ｃｏｓｔ＿ｇｌｏｂａｌ）の算出は行わない（Ｓ１００６）。次に、ステップ１００７進む。

ステップ１００７では、動き再探索部（８１４）が上記代表動きベクトルを中心として動き再探索を行い、類似動き領域のコスト値（Ｃｏｓｔ＿ｇｌｏｂａｌ）が最小となる動きベクトル（ｒｅ＿ＭＶ＿ｇｌｏｂａｌ）を算出する（Ｓ１００７）。次に、ステップ１００８では、予測画像生成部（１１２）が、ステップ１００７で算出された再探索動きベクトル（ｒｅ＿ＭＶ＿ｇｌｏｂａｌ）に基づいて予測画像（ｐｒｅｄ＿ｐｉｃ＿ｇｌｏｂａｌ）を生成する（Ｓ１００８）。

以降の図１０のステップ１００９〜１０１１については、図６のステップ６０８〜６１０と同様のステップであるが、いずれも代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）については、再探索動きベクトル（ｒｅ＿ＭＶ＿ｇｌｏｂａｌ）に置き換えて処理する。

また、ステップ１０１１の詳細の処理についても、図７に示されるフローチャートの処理を行えばよい。この場合も、代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）については、再探索動きベクトル（ｒｅ＿ＭＶ＿ｇｌｏｂａｌ）に置き換えて処理する。

以上説明した、本発明の実施例２に係る動画像記録装置の動作について、例えば、図１３において実施例１と同様の入力信号を入力した場合の出力結果は、図１５で算出される代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）が、再探索動きベクトル（ｒｅ＿ＭＶ＿ｇｌｏｂａｌ）に置換されて異なるものとなり、その結果として、例えば図１６に示される出力結果２の合計差分データ量が、実施例1の合計差分データ量よりも低減される。入力画像と出力結果の関係のその他の点については、実施例１と同様である。

なお、本発明の実施例２に係る動画像記録装置の有するエンコーダのみの動作についても、図１３における入力画像と出力結果の関係は、上記実施例２に係る動画像記録装置の説明と同じである。

以上説明した本発明の実施例２の動画像記録装置の有するエンコーダによれば、再探索によって求めた再探索動きベクトル（ｒｅ＿ＭＶ＿ｇｌｏｂａｌ）を代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）に代えて用いる。これにより、実施例１で用いる動きベクトルよりも差分データ量が小さくなる動きベクトルを用いることが可能となり、実施例１の動画像記録装置の有するエンコーダよりも、画像符号化後のデータ量を低減し、画像符号化の圧縮効率をより良くすることができる。

また、本発明の実施例２に係る動画像記録装置は、再探索によって求めた再探索動きベクトル（ｒｅ＿ＭＶ＿ｇｌｏｂａｌ）を代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）に代えて用いる。これにより、実施例１で用いる動きベクトルよりも差分データ量が小さくなる動きベクトルを用いることが可能となり、
実施例１の動画像記録装置よりも、画像符号化後のデータ量を低減し、画像符号化の圧縮効率をより良く記録することが可能となる。したがって、実施例２に係る動画像記録装置では、実施例１の動画像記録装置よりも長時間の録画を可能とし、かつ既存の符号化規格に対応する復号化装置でも復号化を行うことができる符号化データを生成する動画像記録装置が実現できる。

次に、本発明の実施例３について説明する。

本発明の実施例３は、実施例１または実施例２の動画像記録装置（１２００）のうち、エンコーダの選択部（１１３）の動作が異なるものである。その他の構成及び動作は実施例１または実施例２と同じである。

ここで、本発明の実施例３の選択部（１１３）は、実施例１または実施例２の選択部（１１３）において、類似動き領域単位のループ処理で行われていた処理フローチャートを、ブロック単位のループ処理に変更したものである。以下、図１１を用いて説明する。

図１１に本発明の実施例３に係る選択部（１１３）におけるフローチャートの一例を示す。まず、実施例１におけるエンコーダの選択部（１１３）の処理を、ブロック単位のループ処理に変更した場合を説明する。

まずステップ１１０１では、画面内の一のブロックが、ブロックを２以上含む類似動き領域に含まれるか否かを判定する（Ｓ１１０１）。当該ブロックがブロックを２以上含む類似動き領域に含まれない場合（Ｓ１１０１の判定結果が“ＮＯ”の時）はステップ１１０４に移行し、予測画像生成部（１０９）で生成された当該ブロックの予測画像（ｐｒｅｄ＿ｐｉｃ＿ｂｌｏｃｋ）を当該ブロックの出力予測画像(ｐｒｅｄ＿ｐｉｃ)に設定し、また当該ブロックのブロック単位動きベクトル（ＭＶ＿ｂｌｏｃｋ）を、当該ブロックの出力動きベクトル(ＭＶ)に設定する（Ｓ１１０４）。

一方、ステップ１１０１において当該ブロックがブロックを２以上含む類似動き領域に含まれる場合（Ｓ１１０１の判定結果が“ＹＥＳ”の時）は、ステップ１１０２に移行し、ブロック単位コスト値（Ｃｏｓｔ＿ｂｌｏｃｋ）の当該類似動き領域に含まれるブロックのコスト値（Ｃｏｓｔ＿ｂｌｏｃｋ）と、類似動き領域のコスト値（Ｃｏｓｔ＿ｇｌｏｂａｌ）のうちの当該ブロック位置におけるブロック単位のコスト値（Ｃｏｓｔ＿ｇｌｏｂａｌ＿ｐｅｒ＿ｂｌｏｃｋ）との大小比較を行う（Ｓ１１０２）。ここで、類似動き領域のコスト値（Ｃｏｓｔ＿ｇｌｏｂａｌ）のうち当該ブロック位置におけるブロック単位のコスト値（Ｃｏｓｔ＿ｇｌｏｂａｌ＿ｐｅｒ＿ｂｌｏｃｋ）がブロック単位のコスト値（Ｃｏｓｔ＿ｂｌｏｃｋ）より小さい場合（Ｓ１１０２の判定条件が“ＹＥＳ”の時）ステップ１１０３に移行する。このとき、予測画像生成部（１１２）で生成された予測画像（ｐｒｅｄ＿ｐｉｃ＿ｇｌｏｂａｌ）を当該ブロックの出力予測画像(ｐｒｅｄ＿ｐｉｃ)に設定し、また代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）を当該ブロックの出力動きベクトル(ＭＶ)に設定する（Ｓ１１０３）。

逆に類似動き領域のコスト値（Ｃｏｓｔ＿ｇｌｏｂａｌ）のうち当該ブロック位置におけるブロック単位のコスト値（Ｃｏｓｔ＿ｇｌｏｂａｌ＿ｐｅｒ＿ｂｌｏｃｋ）がブロック単位のコスト値（Ｃｏｓｔ＿ｂｌｏｃｋ）以上の場合（Ｓ１１０２の判定条件が“ＮＯ”の時）はステップ１１０４に移行する。なお、ステップ１１０４の内容は上述の通りである。

次に、ステップ１１０５においては、ステップ１１０３もしくはステップ１１０４により設定した出力予測画像を減算器（１００）へ出力する（Ｓ１１０５）。また、図２の説明に示した予測ベクトル（ＭＶ＿ｐｒｅｄ）と、ステップ１１０３もしくはステップ１１０４により設定した各ブロックの出力動きベクトルとの差分動きベクトル（ＭＶ＿ｄｉｆｆ）を可変長符号化部（１０３）へ出力する（Ｓ１１０５）。

次に、画面内の全ての類似動き領域について処理が終了したか判定する（Ｓ１１０６）。処理が終了していない類似動き領域があれば次の類似動き領域に移行し（Ｓ１１０７）、再びステップ１１０１〜ステップ１１０５までの処理を行う。またステップ１１０６で画面内の全てのブロックについて処理が終了していれば処理を終了する。

なお、図１１のフローチャートにおいては、実施例１とは異なり、選択部（１１３）はブロックごとに、動き補償方式を選択している。よって、同一の類似動き領域内でも代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）を有するブロックと、ブロック単位動きベクトル（ＭＶ＿ｂｌｏｃｋ）とを有するブロックが存在することになる。しかし、この場合においても、ステップ１１０２においてコスト比較を行った結果に基づき、より発生符号量が低くなる動き補償方式を選択しているため、可変長符号化部（１０３）から出力される発生符号量(画像符号化後のデータ量)を低減することが可能となる。これにより、圧縮効率をより良くすることができる。

なお、図１１に示したフローチャートは、実施例１におけるエンコーダの選択部（１１３）の処理を、ブロック単位のループ処理に変更した場合を説明した。これに対し、実施例２におけるエンコーダの選択部（１１３）の処理を、ブロック単位のループ処理に変更した場合については、ステップ１１０３において、設定する代表動きベクトル（ＭＶ＿ｇｌｏｂａｌ）を、実施例２において用いる再探索動きベクトル（ｒｅ＿ＭＶ＿ｇｌｏｂａｌ）に置き換えることにより実現できる。

以上説明した本発明の実施例３に係る動画像記録装置（１２００）の動作の具体例について、上記の実施例と同様に、入力画像と出力結果を用いて説明する。

まず、図１３において、本実施例に係る動画像記録装置（１３０３）に、例えば図１４の入力画像１を入力すると、例えば図１６の出力結果２が出力される。これは、実施例１と同じである。

しかし、図１３において本実施例に係る動画像記録装置（１３０３）に、例えば図１７の入力画像２を入力すると、例えば図１９に示す出力結果４が得られる。この点が実施例１と相違する。以下にこれを説明する。

まず、既に説明したとおり、実施例１もしくは、実施例２に係る動画像記録装置では、図１７の入力画像２を入力した場合は、図１５に示す出力結果１が選択されて出力される。この出力結果１において、動きベクトルの大きさがＮ＋２となる各ブロック（Ｂ、Ｃ、Ｄ）についての差分データ量（差分ベクトルデータ量と差分画像データ量の合計）は、図１５に示すように、いずれもＮ＋２である。

次に、図１７の入力画像２を入力した際に、ブロック（Ｂ、Ｃ、Ｄ）をすべて代表ベクトルに置換したと仮定したときの出力結果である図１８の出力結果３においては、すべてのブロックにおける動きベクトルを代表ベクトルに置換しており、この場合は、図１８に示すとおり、ブロックＢについての差分データ量はＮ＋２０、ブロックＣ、Ｄについての差分データ量はＮ＋１となる。

ここで、本実施例に係る符号化処理においては、図１１に示すブロック単位の選択処理を行っているため、ブロックＢ、Ｃ、Ｄにのそれぞれについて、図１５に示す出力結果１と図１８に示す出力結果３との差分データ量を比較し、差分データ量が少ないほうの結果の動きベクトルを選択する。

ブロックＢについては、出力結果１の差分データ量はＮ＋２、出力結果３の差分データ量はＮ＋２０であり、出力結果１の動きベクトル（従来方法の動きベクトル）の方が、出力結果３の動きベクトル（代表動きベクトル）よりも差分データ量が小さいため、出力結果１の動きベクトルが選択される。

また、ブロックＣ、Ｄについては、出力結果１の差分データ量はＮ＋２、出力結果３の差分データ量はＮ＋１であり、出力結果３の動きベクトル（代表動きベクトル）の方が、出力結果１の動きベクトル（従来方法の動きベクトル）よりも差分データ量が小さいため、出力結果３の動きベクトルが選択される。

以上の選択の結果から、本実施例に係る符号化処理による結果は、図１９に示す出力結果４ようになものとなる。

この結果、図１９に示す本実施例に係る符号化処理の出力結果（出力結果４）では、においては、(c)差分動きベクトルデータのデータ量の合計（絶対値の和）は、（５＋Ｍ）×Ｎ＋２となり、(d)差分画像データのデータ量の合計（絶対値の和）は２となる。したがって、符号化処理により発生する差分データの合計は、（５＋Ｍ）×Ｎ＋４となり、従来の符号化処理による差分データの合計である（５＋Ｍ）×Ｎ＋１０よりも、データ量が低減されている。

以上説明した入力画像と出力結果の関係を図２０のフローチャートで説明する。

ステップ２００５より前のフローは、実施例１もしくは実施例２と同じである。本実施例の動画像記録装置に、入力画像２が入力された場合（Ｓ２００５）には、図１９に出力結果４が出力される（Ｓ２００８）。

なお、以上の動作の説明は、本実施例に係る動画像記録装置について行ったが、当該動画像記録装置の有するエンコーダのみの動作についても、図１３における入力画像と出力結果の関係は、上記本実施例に係る動画像記録装置の説明と同じである。

以上説明した本発明の実施例３の動画像記録装置の有するエンコーダによれば、各類似動き領域において用いる代表動きベクトルを、領域単位での動き探索により取得する動きベクトルに置き換えることにより、実施例１に係るエンコーダに比べて、各類似動き領域についてより発生符号量の低い動きベクトルを用いることが可能となる。これにより、実施例１に係るエンコーダに比べて、画像符号化後のデータ量をより低減することができる。

また、本発明の実施例３に係る動画像記録装置は、各類似動き領域において用いる代表動きベクトルを、領域単位での動き探索により取得する動きベクトルに置き換えることにより、実施例１に係る動画像記録装置に比べて、各類似動き領域についてより発生符号量の低い動きベクトルを用いることが可能となる。これにより、実施例１の動画像記録装置よりも、画像符号化後のデータ量を低減し、画像符号化の圧縮効率をより良く記録することが可能となる。これにより、実施例１の動画像記録装置よりも長時間の録画を可能とし、かつ既存の符号化規格に対応する復号化装置でも復号化を行うことができる符号化データを生成する動画像記録装置が実現できる。

本発明の実施例に係るエンコーダの構成の一例を示すブロック図である。 本発明の実施例に係る動き探索動作の一例の説明図である。 本発明の実施例に係る動き補償部の処理フローチャートの一例を示す図である。 本発明の実施例に係る動き探索結果の一例を示す図である。 本発明の実施例に係る代表動きベクトルの設定結果の一例を示す図である。 本発明の実施例に係る動き補償部の処理フローチャートの一例を示す図である。 本発明の実施例に係る選択部の処理フローチャートの一例を示す図である。 本発明の実施例に係るエンコーダの構成の一例を示すブロック図である。 本発明の実施例に係る動き探索動作の一例の説明図である。 本発明の実施例に係る動き補償部の処理フローチャートの一例を示す図である。 本発明の実施例に係る動き補償部の処理フローチャートの一例を示す図である。 本発明の実施例に係る動画像記録装置の構成の一例を示すブロック図である。 本発明の実施例に係る画像符号化処理の確認方法の一例を示す図である。 本発明の実施例に係る入力画像の一例を示す図である。 従来の動画像記録装置に係る出力結果の一例を示す図である。 本発明の実施例に係る出力結果の一例を示す図である。 本発明の実施例に係る入力画像の一例を示す図である。 本発明の実施例に係る出力結果の一例を示す図である。 本発明の実施例に係る出力結果の一例を示す図である。 本発明の実施例に係る画像符号化処理の確認方法のフローチャートの一例を示す図である。

符号の説明

１００…減算器、１０１…ＤＣＴ部、１０２…量子化部、１０３…可変長符号化部、１０４…逆量子化部、１０５…ＩＤＣＴ部、１０５…加算器、１０７…フレームメモリ、１０８…ブロック単位動き探索部、１０９…予測画像生成部、１１０…類似動き領域設定部、１１１…代表動きベクトル算出部、１１２…予測画像生成部、１１３…選択部、１２０…動き補償部、１３０…入力部、１４０…出力部、１５０…エンコーダ、１６０…制御部、１７０…記憶部、８１４…動き再探索部、８２０…動き補償部
８５０…エンコーダ、１２００…動画像記録装置、１２０１…アンテナ、１２０２…チューナ、１２０３…デマルチプレクサ部、１２０４…映像デコーダ、１２０５…音声デコーダ、１２０６…画像映像出力部、１２０７…音声出力部、１２０８…エンコーダ、１２０９…録画再生制御部、１２１０…蓄積部、１２１１…外部入力部、１２１２…制御部、１２１３…記憶部、１３０１…ソフトウェアエンコーダ、１３０２…ハードウェアエンコーダ、１３０３…動画像記録装置、１３０５…情報処理装置、１３０６…情報処理装置、１３０７…再生装置、１３０８…プログラマブル信号発生器、１３０９…リムーバブルメディア

Claims (20)

1. 入力画像に対して画面間予測を用いた符号化処理を行い動画像を記録する動画像記録方法であって、
   前記入力画像に対してブロック単位で動き探索を行い、各ブロックの動きベクトルを算出するブロック単位動き探索ステップと、
   前記ブロック単位動き探索ステップにて算出した動きベクトルのうち、類似する動きベクトルを有するブロックを類似動き領域として設定する類似動き領域設定ステップと、
   前記類似動き領域設定ステップにおいて設定した類似動き領域に含まれる各ブロックの有する動きベクトルを用いて、代表動きベクトルを算出する代表動きベクトル算出ステップと、
   前記類似動き領域の各ブロックについて、前記代表動きベクトル算出ステップで算出した前記代表動きベクトルまたは前記各ブロックの有する動きベクトルのいずれのベクトルを用いるかを選択する選択ステップと、
   前記類似動き領域の各ブロックについて、前記選択ステップの選択結果に基づいて選択した動きベクトルと、前記動きベクトルを用いて生成した各ブロックの予測画像とを用いて、符号化データを生成する符号化データ生成ステップとを備えることを特徴とする動画像記録方法。
2. 請求項１に記載される動画像記録方法であって、
   前記選択ステップは、前記類似動き領域の各ブロックについて前記代表動きベクトルを用いることを選択した場合に、前記類似動き領域の各ブロックの動きベクトルを前記代表動きベクトルに置換することを特徴とする動画像記録方法。
3. 請求項１に記載される動画像記録方法であって、
   前記ブロック単位動き探索ステップで算出した動きベクトルを用いた場合の、各ブロックの符号化コストを算出するブロック単位コスト算出ステップと、
   前記代表動きベクトルを用いたときの、各類似動き領域の符号化コストを算出する類似動き領域コスト算出ステップとをさらに備え、
   前記選択ステップは、前記類似動き領域の有する複数のブロックについて、前記ブロック単位コスト算出ステップで算出した前記複数のブロックの符号化コストの合計と、前記類似動き領域コスト算出ステップで算出した前記類似動き領域の符号化コストとを比較した結果に基づいて、
   前記類似動き領域の各ブロックについて、前記代表動きベクトル算出ステップで算出した前記代表動きベクトルまたは前記各ブロックの有する動きベクトルのいずれのベクトルを用いるかを選択することを特徴とする動画像記録方法。
4. 請求項３に記載される画像符号化方法であって、
   前記選択ステップは、前記類似動き領域の符号化コストが前記複数のブロックの符号化コストの合計よりも小さい場合に、前記類似動き領域の各ブロックの動きベクトルを前記代表動きベクトルに置換することを特徴とする動画像記録方法。
5. 請求項１に記載される動画像記録方法であって、
   前記類似動き領域設定ステップは、入力画像のブロックの動きベクトルと、前記ブロックの隣接ブロックの動きベクトルとの差分値をもちいて、前記ブロックを前記隣接ブロックと同一の類似動き領域に含めるか否かを決定することを特徴とする動画像記録方法。
6. 請求項１に記載される動画像記録方法であって、
   前記代表動きベクトル算出ステップは、前記類似動き領域に含まれる複数のブロックの有する動きベクトルを変数とする関数による出力ベクトルを、前記類似動き領域についての代表動きベクトルとすることを特徴とする動画像記録方法。
7. 請求項６に記載される動画像記録方法であって、
   前記類似動き領域に含まれる複数のブロックの有する動きベクトルを変数とする関数による出力ベクトルは、前記類似動き領域に含まれる複数のブロックの有する動きベクトルのｘ成分、ｙ成分についての平均値または中央値により生成したベクトルであることを特徴とする動画像記録方法。
8. 請求項１に記載される動画像記録方法であって、
   前記代表動きベクトル算出ステップのあとに、前記代表動きベクトル算出ステップで求めた動きベクトルを用いて、前記類似動き領域について類似動き領域単位での動き探索を行う領域動き探索ステップをさらに備え、
   前記領域動き探索ステップで算出した動きベクトルを用いて前記代表動きベクトルを更新し、
   前記選択ステップでは、該更新した代表動きベクトルを用いることを特徴とする動画像記録方法。
9. 入力画像を符号化して記録する動画像記録装置であって、
   前記入力画像を入力する入力部と、
   前記入力部から入力された入力画像を符号化するエンコーダと、
   前記エンコーダにより符号化された映像信号を蓄積する蓄積部とを備え、
   前記エンコーダは、前記入力画像に対してブロック単位で動き探索を行い、各ブロックの動きベクトルを算出するブロック単位動き探索部と、前記ブロック単位動き探索部が算出した動きベクトルのうち、類似する動きベクトルを有するブロックを類似動き領域として設定する類似動き領域設定部と、前記類似動き領域設定部が設定した類似動き領域について、前記類似動き領域に含まれる各ブロックの有する動きベクトルを用いて、代表動きベクトルを算出する代表動きベクトル算出部と、前記類似動き領域について、前記代表動きベクトル算出部が算出した前記代表動きベクトルまたは前記各ブロックの有する動きベクトルのいずれのベクトルを用いるかを選択する選択部とを有し、前記類似動き領域の各ブロックについて、前記選択部の選択結果に基づいて選択した動きベクトルと前記選択した動きベクトルを用いて生成した各ブロックの予測画像とを出力し、前記選択した動きベクトルと前記予測画像とを用いて符号化処理を行うことを特徴とする動画像記録装置。
10. 請求項９に記載される動画像記録装置であって、
    前記選択部は、前記類似動き領域について前記代表動きベクトルを用いることを選択した場合に、前記類似動き領域の各ブロックの動きベクトルを前記代表動きベクトルに置換することを特徴とする動画像記録装置。
11. 請求項９に記載される動画像記録装置であって、
    前記ブロック単位動き探索部は、さらに算出した動きベクトルを用いた場合の各ブロックの符号化コストを算出し、
    前記代表動きベクトル算出部は、前記代表動きベクトルを用いたときの、各類似動き領域の符号化コストを算出し、
    前記選択部は、類似動き領域の有する複数のブロックについて、前記ブロック単位動き探索部が算出した各ブロックの前記符号化コストの合計と、前記代表動きベクトル算出部が算出した前記類似動き領域の符号化コストとを比較した結果に基づいて、前記代表動きベクトル算出部が算出した前記代表動きベクトルを用いるか用いないかを選択することを特徴とする動画像記録装置。
12. 請求項１１に記載される動画像記録装置であって、
    前記選択部は、前記類似動き領域の符号化コストよりも前記複数のブロックの符号化コストの合計が小さい場合に、前記類似動き領域の各ブロックの動きベクトルを前記代表動きベクトルに置換することを特徴とする動画像記録装置。
13. 請求項９に記載される動画像記録装置であって、
    前記類似動き領域設定部は、入力画像のブロックの動きベクトルと、前記ブロックの隣接ブロックの動きベクトルとの差分値をもちいて、前記ブロックを前記隣接ブロックと同類似動き領域に含めるか否かを決定することを特徴とする動画像記録装置。
14. 請求項９に記載される動画像記録装置であって、
    前記代表動きベクトル算出部は、前記類似動き領域に含まれる複数のブロックの有する動きベクトルを変数とする関数による出力ベクトルを、前記類似動き領域についての代表動きベクトルとすることを特徴とする動画像記録装置。
15. 請求項１４に記載される動画像記録装置であって、
    前記類似動き領域に含まれる複数のブロックの有する動きベクトルを変数とする関数による出力ベクトルは、前記類似動き領域に含まれる複数のブロックの有する動きベクトルのｘ成分、ｙ成分についての平均値または中央値からなるベクトルであることを特徴とする動画像記録装置。
16. 請求項９に記載される動画像記録装置であって、
    前記代表動きベクトル算出部が求めた、前記類似動き領域についての動きベクトルを用いて、前記類似動き領域について類似動き領域単位での動き探索を行う動き再探索部をさらに備え、
    前記動き再探索部は算出した動きベクトルを用いて前記代表動きベクトルを更新し、
    前記選択部は、該更新された代表動きベクトルを用いることを特徴とする動画像記録装置。
17. 入力画像を符号化して出力する動画像記録装置であって、
    前記入力画像を入力する入力部と、
    前記入力部から入力された入力画像を符号化するエンコーダと、
    前記エンコーダにより符号化された符号化データを出力する出力部と備え、
    前記入力部に、それぞれ固有の画像を有する複数の画像ブロックからなる第１の画像ブロック群と、それぞれ固有の画像を有する複数の画像ブロックからなり、前記第１の画像ブロック群に隣接する第２の画像ブロック群とからなる現フレームと、前記現フレームにおける前記第１の画像ブロック群の各画像ブロックから第１の動きベクトル分だけ移動した位置に前記第１の画像ブロック群の各画像ブロックと同一の画像が配置され、前記現フレームにおける前記第２の画像ブロック群の各画像ブロックから第２の動きベクトル分だけ移動した位置に前記第２の画像ブロック群の各画像ブロックと同一の画像が配置される前フレームとからなる第１の入力画像を入力した場合に、
    前記出力部から出力される符号化データは、各画像ブロックについての動きベクトルのデータを含み、
    前記符号化データにおける前記現フレームの第１の画像ブロック群と第２の画像ブロック群とが有する各画像ブロックについての動きベクトルは、共通の動きベクトルであることを特徴とする動画像記録装置。
18. 請求項１７に示す動画像記録装置であって、
    前記共通の動きベクトルは、前記第１の動きベクトルもしくは前記第２の動きベクトルのいずれか一のベクトルであることを特徴とする動画像記録装置。
19. 請求項１７に示す動画像記録装置であって、
    前記共通の動きベクトルは、前記第２の動きベクトルであって、
    前記第１の入力画像は、前記現フレームに第１の画像ブロック群のうちひとつの画像ブロックである第1の画像ブロックと、前記前フレームに前記第1の画像ブロックの位置から第２の動きベクトル分だけ移動した位置に配置される第２の画像ブロックとを有し、
    前記入力部に、前記第１の入力画像の前記前フレームにおいて、前記第２の画像ブロックを、前記第２の画像ブロックよりも前記第１の画像ブロックとの差分画像データ量が大きい第３の画像ブロックに置換した前フレームと、前記第１の入力画像と同じ現フレームとからなる第２の入力画像を入力した場合に、
    前記出力部から出力される符号化データおける前記現フレームの前記第１の画像ブロック群が有する各画像ブロックについての動きベクトルは、いずれも前記第１の動きベクトルであり、
    前記符号化データにおける前記現フレームの前記第２の画像ブロック群が有する各画像ブロックについての動きベクトルは、いずれも前記第２の動きベクトルであることを特徴とする動画像記録装置。
20. 請求項１７に示す動画像記録装置であって、
    前記共通の動きベクトルは、前記第２の動きベクトルであって、
    前記第１の入力画像は、前記現フレームに第１の画像ブロック群のうちひとつの画像ブロックである第1の画像ブロックと、前記前フレームに前記第1の画像ブロックの位置から第２の動きベクトル分だけ移動した位置に配置される第２の画像ブロックとを有し、
    前記入力部に、前記第１の入力画像の前記前フレームにおいて、前記第２の画像ブロックを、前記第２の画像ブロックよりも前記第１の画像ブロックとの差分画像データ量が大きい第３の画像ブロックに置換した前フレームと、前記第１の入力画像と同じ現フレームとからなる第２の入力画像を入力した場合に、
    前記出力部から出力される符号化データにおける前記現フレームの第1の画像ブロックについての動きベクトルは、前記第１の動きベクトルであり、
    前記符号化データにおける前記現フレームの第１の画像ブロック群が有するブロックのうち、第1の画像ブロック以外の各ブロック及び第２の画像ブロック群が有する各画像ブロックについての動きベクトルは、いずれも前記第２の動きベクトルであることを特徴とする動画像記録装置。

Images