JP4536325B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents
画像処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP4536325B2 JP4536325B2 JP2003026702A JP2003026702A JP4536325B2 JP 4536325 B2 JP4536325 B2 JP 4536325B2 JP 2003026702 A JP2003026702 A JP 2003026702A JP 2003026702 A JP2003026702 A JP 2003026702A JP 4536325 B2 JP4536325 B2 JP 4536325B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- pixel block
- image
- detected
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、例えば、MPEG４方式に従って動画像データを圧縮符号化する場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
ディジタル動画像データを圧縮符号化する技術として、MPEG(Moving Picture Experts Group)方式が広く用いられている。特に昨今、携帯電話機等のいわゆるモバイル機器に供給することを目的とした動画像データを得る方式として、従来よりも高い圧縮率（例えば、１０kbps乃至２Mbps）で符号化を行うことができるMPEG４方式が注目されている。
【０００３】
MPEG４方式では、MPEG２方式等と同様に、圧縮符号化の過程において、画像を所定のサイズのマクロブロックに分割し、各マクロブロックの動きベクトルを検出している。
【０００４】
マクロブロックの動きベクトルを検出するための全動き探索法では、図１に示すように、圧縮符号化するフレーム画像（以下、カレントフレームと記述する）に所定のサイズ（例えば、１６×１６画素）のマクロブロック（ＭＢ）が設定され、参照フレームに設けられる探索範囲との間でブロックマッチングが行われる。具体的には、探索範囲内でマクロブロックと同じサイズの参照ブロックが移動され、次式（１）のように、マクロブロックの画素ｃ（ｉ，ｊ）と探索範囲内の各参照ブロックの対応する画素ｒ（ｉ，ｊ）の差分の絶対値和ＡＤ（以下、単にＡＤと記述する）が演算される。そして、ＡＤが最小となるときの参照ブロックの位置に応じて動きベクトル（ＭＶ）として検出される。
ＡＤ＝Σ｜ｃ（ｉ，ｊ）−ｒ（ｉ，ｊ）｜ …（１）
【０００５】
しかしながら、各マクロブロックに対して、上述したような全動き探索法により動きベクトルを検出することは、ＡＤの演算量が膨大であるので、リアルタイムエンコードには適用できないことがあり得る。
【０００６】
そこで、従来においては、各マクロブロックの動きベクトルを検出する方法として、以下に説明する階層的動き探索法が提案されている。階層的動き探索法では、第１階層の処理として、図２に示されるように、カレントフレームに設けられた複数（例えば、４）のマクロブロックを所定の倍率（１／４）だけ縮小してスーパブロック（ＳＢ）が生成され、スーパブロックに対してブロックマッチングが実行されて、スーパブロックに対する動きベクトルが検出される。
【０００７】
そして、第２階層の処理として、スーパブロックに対する動きベクトルが前記所定の倍率だけ伸長され、伸長された動きベクトルを基準とする比較的狭い探索範囲で、スーパブロックの元になったマクロブロックの動きベクトルが全動き探索法等により探索される（例えば、特許文献１参照）。階層的動き探索法では、第２階層の処理における全動き探索法の探索範囲を比較的狭く設定することができるので、ＡＤの演算量を削減することができる。
【０００８】
【特許文献１】
特表２００２−５１８８９７号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、階層的動き探索法の第２階層の処理では、第１階層の処理で求められたスーパブロックの動きベクトルを伸長したベクトルを基準とする比較的狭い範囲しか探索しないので、場合によってはマクロブロックの真の動きベクトルを検出できないことがある課題があった。
【００１０】
例えば、図３Ａに示すように、スーパブロックの元となる複数（いまの場合、４）のマクロブロックの真の動きベクトルが図示するとおりであるとする。第１の階層処理により、スーパブロックの動きベクトルが、図３Ｂに示されるとおりに検出される。そして、第２の階層処理において、図３Ｃに示すようなスーパブロックの動きベクトルを伸長したベクトルが基準となる比較的狭い範囲で探索が行われる。この場合、図の右下以外のマクロブロックについては真の動きベクトルが検出されると思われるが、右下のマクロブロックについては真の動きベクトルが正確に検出されないことになる。
【００１１】
なお、第２の階層処理における探索範囲を広げれば、図３における右下のマクロブロックについても真の動きベクトルを正確に検出することができる。しかしながら、そのようにした場合、ＡＤの演算量が増加するので、階層的動き探索法の当初の目的（ＡＤの演算量を減少させること）に反することになる。
【００１２】
本発明はこのような状況に鑑みてなされたものであり、MPEG４等に基づいて動画像データを圧縮符号化する過程の動きベクトル検出処理を、少ない演算量で、且つ、正確に行えるようにすることを目的とする。
【００１３】
【課題を解決するための手段】
本発明の画像処理装置は、第１の画素ブロックから構成される画像を縮小して、第１の画素ブロックよりも小さい第２の画素ブロックから構成される縮小画像を生成する縮小画像生成手段と、縮小画像の動きベクトルを第２の画素ブロック単位で検出する第１の検出手段と、第１の検出手段によって検出された第２の画素ブロックに対応する動きベクトルを伸長して、第２の画素ブロックの元となった複数の第１の画素ブロックの動きベクトル候補に設定する設定手段と、動きベクトルを検出するべき画像の注目する第１の画素ブロックに対し、近傍の第１の画素ブロックに対して既に検出されている動きベクトルまたは動きベクトル候補を抽出する抽出手段と、抽出手段によって抽出された動きベクトルおよび動きベクトル候補の中から、画像の注目する第１の画素ブロックの画素と、画像と時間的に前後する画像の対応する位置から動きベクトルまたは動きベクトル候補の分だけ移動させた位置に設ける参照ブロックの対応する画素との差分が最小となる基準ベクトルを選択する選択手段と、選択手段によって選択された基準ベクトルを中心とする所定の探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルを検出する第２の検出手段とを含み、第２の検出手段は、選択手段によって近傍の第１の画素ブロックに対応して既に検出されている動きベクトルが基準ベクトルに選択された場合、選択手段によって近傍の第１の画素ブロックに対応して既に検出されている動きベクトル候補が基準ベクトルに選択された場合よりも狭い探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルを検出することを特徴とする。
【００１４】
本発明の画像処理装置は、第２の検出手段によって検出された注目する第１の画素ブロックに対する動きベクトルを、第１の画素ブロックの近傍の第１の画素ブロックに対する動きベクトルを平均して得られる予測ベクトルとの差分を用いて可変長符号化する符号化手段をさらに含むことができる。
【００１５】
前記抽出手段は、動きベクトルを検出するべき画像の注目する第１の画素ブロックに対し、符号化手段による可変長符号化の処理において画像の注目する第１の画素ブロックが利用する関係にある近傍の第１の画素ブロックに対して既に検出されている動きベクトルと、符号化手段による可変長符号化の処理において画像の注目する第１の画素ブロックが利用される関係にある近傍の第１の画素ブロックに対して既に検出されている動きベクトル候補を抽出するようにすることができる。
【００１７】
前記第１の検出手段、選択手段、または第２の検出手段のうちの少なくとも１つは、ブロックマッチング法を用いるようにすることができる。
【００１８】
本発明の画像処理方法は、第１の画素ブロックから構成される画像を縮小して、第１の画素ブロックよりも小さい第２の画素ブロックから構成される縮小画像を生成する縮小画像生成ステップと、縮小画像の動きベクトルを第２の画素ブロック単位で検出する第１の検出ステップと、第１の検出ステップの処理で検出された第２の画素ブロックに対応する動きベクトルを伸長して、第２の画素ブロックの元となった複数の第１の画素ブロックの動きベクトル候補に設定する設定ステップと、動きベクトルを検出するべき画像の注目する第１の画素ブロックに対し、近傍の第１の画素ブロックに対して既に検出されている動きベクトルまたは動きベクトル候補を抽出する抽出ステップと、抽出ステップの処理で抽出された動きベクトルおよび動きベクトル候補の中から、画像の注目する第１の画素ブロックの画素と、画像と時間的に前後する参照画像の対応する位置から動きベクトルまたは動きベクトル候補の分だけ移動させた位置に設ける参照ブロックの対応する画素との差分が最小となる基準ベクトルを選択する選択ステップと、選択ステップの処理で選択された基準ベクトルを中心とする所定の探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルを検出する第２の検出ステップとを含み、第２の検出ステップは、選択ステップの処理で近傍の第１の画素ブロックに対応して既に検出されている動きベクトルが基準ベクトルに選択された場合、選択ステップの処理で近傍の第１の画素ブロックに対応して既に検出されている動きベクトル候補が基準ベクトルに選択された場合よりも狭い探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルを検出することを特徴とする。
【００１９】
本発明の記録媒体のプログラムは、第１の画素ブロックから構成される画像を縮小して、第１の画素ブロックよりも小さい第２の画素ブロックから構成される縮小画像を生成する縮小画像生成ステップと、縮小画像の動きベクトルを第２の画素ブロック単位で検出する第１の検出ステップと、第１の検出ステップの処理で検出された第２の画素ブロックに対応する動きベクトルを伸長して、第２の画素ブロックの元となった複数の第１の画素ブロックの動きベクトル候補に設定する設定ステップと、動きベクトルを検出するべき画像の注目する第１の画素ブロックに対し、近傍の第１の画素ブロックに対して既に検出されている動きベクトルまたは動きベクトル候補を抽出する抽出ステップと、抽出ステップの処理で抽出された動きベクトルおよび動きベクトル候補の中から、画像の注目する第１の画素ブロックの画素と、画像と時間的に前後する参照画像の対応する位置から動きベクトルまたは動きベクトル候補の分だけ移動させた位置に設ける参照ブロックの対応する画素との差分が最小となる基準ベクトルを選択する選択ステップと、選択ステップの処理で選択された基準ベクトルを中心とする所定の探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルを検出する第２の検出ステップとを含む処理を画像処理装置のコンピュータに実行させ、第２の検出ステップは、選択ステップの処理で近傍の第１の画素ブロックに対応して既に検出されている動きベクトルが基準ベクトルに選択された場合、選択ステップの処理で近傍の第１の画素ブロックに対応して既に検出されている動きベクトル候補が基準ベクトルに選択された場合よりも狭い探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルを検出することを特徴とする。
【００２０】
本発明のプログラムは、第１の画素ブロックから構成される画像を縮小して、第１の画素ブロックよりも小さい第２の画素ブロックから構成される縮小画像を生成する縮小画像生成ステップと、縮小画像の動きベクトルを第２の画素ブロック単位で検出する第１の検出ステップと、第１の検出ステップの処理で検出された第２の画素ブロックに対応する動きベクトルを伸長して、第２の画素ブロックの元となった複数の第１の画素ブロックの動きベクトル候補に設定する設定ステップと、動きベクトルを検出するべき画像の注目する第１の画素ブロックに対し、近傍の第１の画素ブロックに対して既に検出されている動きベクトルまたは動きベクトル候補を抽出する抽出ステップと、抽出ステップの処理で抽出された動きベクトルおよび動きベクトル候補の中から、画像の注目する第１の画素ブロックの画素と、画像と時間的に前後する参照画像の対応する位置から動きベクトルまたは動きベクトル候補の分だけ移動させた位置に設ける参照ブロックの対応する画素との差分が最小となる基準ベクトルを選択する選択ステップと、選択ステップの処理で選択された基準ベクトルを中心とする所定の探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルを検出する第２の検出ステップとを含む処理を画像処理装置のコンピュータに実行させ、第２の検出ステップは、選択ステップの処理で近傍の第１の画素ブロックに対応して既に検出されている動きベクトルが基準ベクトルに選択された場合、選択ステップの処理で近傍の第１の画素ブロックに対応して既に検出されている動きベクトル候補が基準ベクトルに選択された場合よりも狭い探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルを検出することを特徴とする。
【００２１】
本発明の画像処理装置および方法、並びにプログラムにおいては、第１の画素ブロックから構成される画像が縮小されて、第１の画素ブロックよりも小さい第２の画素ブロックから構成される縮小画像が生成され、縮小画像の動きベクトルが第２の画素ブロック単位で検出され、検出された第２の画素ブロックに対応する動きベクトルが伸長されて、第２の画素ブロックの元となった複数の第１の画素ブロックの動きベクトル候補に設定される。さらに、動きベクトルを検出するべき画像の注目する第１の画素ブロックに対し、近傍の第１の画素ブロックに対して既に検出されている動きベクトルまたは動きベクトル候補が抽出され、抽出された動きベクトルおよび動きベクトル候補の中から、画像の注目する第１の画素ブロックの画素と、画像と時間的に前後する参照画像の対応する位置から動きベクトルまたは動きベクトル候補の分だけ移動させた位置に設ける参照ブロックの対応する画素との差分が最小となる基準ベクトルが選択され、選択された基準ベクトルを中心とする所定の探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルが検出される。なお、この検出の処理では、選択の処理で近傍の第１の画素ブロックに対応して既に検出されている動きベクトルが基準ベクトルに選択された場合、選択の処理で近傍の第１の画素ブロックに対応して既に検出されている動きベクトル候補が基準ベクトルに選択された場合よりも狭い探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルが検出される。
【００２２】
【発明の実施の形態】
図４は、本発明を適用したエンコーダの構成例を示している。このエンコーダ１０は、入力される動画像データをMPEG４方式に従って圧縮符号化し、符号化データを生成するものである。
【００２３】
フレームメモリ１１は、入力された符号化すべき動画像データを一時的に記憶する。差分演算部１２は、フレームメモリ１１に記憶されているカレントフレームを読み出し、スイッチ２１を介して動き補償部２０から供給される予測フレームとの差分を演算してDCT(Discrete Cosine Transform)部１３に出力する。DCT部１３は、差分演算部１２の出力に対してDCT（離散コサイン変換）処理を施し、その結果得られるDCT係数を量子化部１４に出力する。
【００２４】
量子化部１４は、DCT部１３から入力されたDCT係数を量子化してVLC(Variable Length Code)部１５および逆量子化部１６に出力する。VLC部１５は、量子化部１４から入力される量子化されたDCT係数（以下、量子化係数とも記述する）、並びに動きベクトル検出部２３から入力される動きベクトルＭＶを、注目しているマクロブロックの真上、右上、左横のマクロブロックの動きベクトルを平均した予測ベクトルとの差分を用いてハフマン符号等の可変長符号に変換し、その結果得られる符号化データを後段に出力する。
【００２５】
逆量子化部１６は、量子化部１４から入力される量子化係数を逆量子化することにより、DCT係数を復元して逆DCT部１７に出力する。逆DCT部１７は、逆量子化部１６から入力されるDCT係数に逆DCT変換処理を施し、その結果得られる差分データを加算部１８に出力する。加算部１８は、逆DCT部１７から入力される差分データと、スイッチ２２を介して動き補償部２０から供給される予測フレームとを加算することにより、復元フレームを生成してフレームメモリ１９に出力する。
【００２６】
フレームメモリ１９は、加算部１８からの復元フレームを一時的に記録する。動き補償部２０は、動きベクトル検出部２３から入力されるカレントフレームの各マクロブロックに対する動きベクトルＭＶおよび予測モードに基づき、フレームメモリ１９に記憶されている復元フレームを読み出し、予測フレームとしてスイッチ２１を介して差分演算部１２に、また、スイッチ２２を介して加算部１８に出力する。スイッチ２１，２２は、動きベクトル検出部２３から入力される予測モードに従ってオン／オフを切り替える。
【００２７】
動きベクトル検出部２３は、フレームメモリ１１に保持された動画像データを１フレーム分ずつ読み出し、各フレームに所定のサイズのマクロブロックを設定し、フレーム上の左上のマクロブロックを先頭に右下のマクロブロックまで順に動きベクトルＭＶを検出する。また、動きベクトル検出部２３は、検出した各マクロブロックに対する動きベクトルＭＶに基づき、予測モードとしてイントラ予測モードまたはインター予測モードのいずれかを選択する。さらに、動きベクトル検出部２３は、検出した各マクロブロックに対する動きベクトルＭＶと選択した予測モードを、動き補償部２０およびVLC部１５および動き補償部２０に供給する。さらに、動きベクトル検出部２３は、選択した予測モードを、スイッチ２１，２２に供給する。
【００２８】
図５は、動きベクトル検出部２３の動きベクトルＭＶを検出する部分の構成例を示している。
【００２９】
縮小画像生成部３１は、フレームメモリ１１から１フレーム分毎に読み出した動画像データの画像を縮小して縮小画像を生成する。具体的には、例えば、図２に示されたように、動画像データの１フレームの３２×３２画素（４個のマクロブロック）を元にして縮小画像の８×８画素（１個のスーパブロック）を生成するように、縦横のサイズをそれぞれ１／４に縮小する。
【００３０】
スーパブロックマッチング部３２は、縮小画像生成部３１により生成されたカレントフレームに対応する縮小画像と、参照フレームに対応する縮小画像とのスーパブロック単位のブロックマッチングを実行して、カレントフレームに対応する縮小画像を構成する各スーパブロックの動きベクトルを算出する。動きベクトル変換部３３は、各スーパブロックの動きベクトルを所定の倍率（図２に対応させる場合、４倍）に伸長し、各スーパブロックの元となった４個のマクロブロックに共通する動きベクトル候補ＭＶＳを生成する。
【００３１】
候補ベクトル選択部３４は、カレントフレームの注目するマクロブロックＸの動きベクトルＭＶXを探索する範囲の基準となる基準ベクトルＭＶＢの候補（以下、候補ベクトルと記述する）を選択する。具体的には、図６Ａに示すように、マクロブロックＸに対し、既に検出済の真上のマクロブロックＡの動きベクトルＭＶA、右上のマクロブロックＢの動きベクトルＭＶB、および左横のマクロブロックＣの動きベクトルＭＶC、並びに注目するマクロブロックＸの動きベクトル候補ＭＶＳX、右横のマクロブロックＤの動きベクトル候補ＭＶＳD、左下のマクロブロックＥの動きベクトル候補ＭＶＳE、および真下のマクロブロックＦの動きベクトル候補ＭＶＳFを候補ベクトルに選択する。
【００３２】
ここで、マクロブロックＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆに着目する理由は、動きベクトルＭＶA，ＭＶB，ＭＶCが、注目するマクロブロックＸの動きベクトルＭＶXがVLC部１５により可変長符号化されるときに用いられるものであり、また、注目するマクロブロックＸの動きベクトルＭＶXが、動きベクトルＭＶD，ＭＶE，ＭＶFがVLC部１５により可変長符号化されるときに用いられるものであるので、VLC部１５により発生される符号量の削減が期待できるからである。
【００３３】
なお、候補ベクトル選択部３４は、候補ベクトルに、図６Ｂに示すカレントフレームの１フレーム前の同じ位置のマクロブロックＧの動きベクトルＭＶGを追加して選択するようにしてもよい。
【００３４】
重複ベクトル削減部３５は、候補ベクトル選択部３４により選択された候補ベクトルのうちの重複するものを削除する。これにより、重複ベクトル削減部３５の後段における演算量を削減することができる。
【００３５】
基準ベクトル決定部３６は、カレントフレームの注目しているマクロブロックＸについて、参照フレームの対応する位置から各候補ベクトルの分だけ移動させた位置に設ける参照ブロックの対応する画素との差分の絶対値和ＡＤを演算し、ＡＤが最小となるときの候補ベクトルを基準ベクトルＭＶＢに決定する。
【００３６】
マクロブロックマッチング部３７は、カレントフレームの注目しているマクロブロックＸについて、基準ベクトルＭＶＢを中心とする所定の探索範囲内でブロックマッチングを実行する。動きベクトル算出部３８は、マクロブロックマッチング部３７の処理結果に従い、カレントフレームの注目しているマクロブロックＸの動きベクトルＭＶXを算出する。ここで決定された注目しているマクロブロックＸの動きベクトルＭＶXは、動き補償部２０等に出力される他、動きベクトルＭＶD，ＭＶE，ＭＶFのそれぞれの候補ベクトルとして、候補ベクトル選択部３４に供給される。
【００３７】
なお、基準ベクトルが動きベクトルＭＶA，ＭＶB，ＭＶCのうちのいずれかである場合、これらは既に確定された値であって信頼性が高いので、マクロブロックマッチング部３７によりブロックマッチングを実行するときの探索範囲を、例えば、基準ベクトルを中心に±２画素程度に設定することができる。一方、基準ベクトルが動きベクトル候補ＭＶＳX，ＭＶＳD，ＭＶＳE，ＭＶＳFのうちのいずれかである場合、上述した場合よりも探索範囲を広く、例えば、基準ベクトルを中心に±４画素程度に設定することになる。
【００３８】
いずれの場合においても、ブロックマッチングを実行するときの探索範囲を従来よりも比較的狭く設定することができるので、ブロックマッチングに要する演算量を削減することができる。
【００３９】
次に、動きベクトル検出部２３による動きベクトル検出処理について、図７のフローチャートを参照して説明する。
【００４０】
ステップＳ１において、動きベクトル検出部２３のスーパブロックマッチング部３２は、縮小画像生成部３１により生成されたカレントフレームに対応する縮小画像と、参照フレームに対応する縮小画像とのスーパブロック単位のブロックマッチングを実行して、カレントフレームに対応する縮小画像を構成する各スーパブロックの動きベクトルを算出する。動きベクトル変換部３３は、各スーパブロックの動きベクトルを所定の倍率に伸長し、各スーパブロックの元となった４個のマクロブロックに共通する動きベクトル候補ＭＶＳを生成する。
【００４１】
この段階において、カレントフレームを構成する全てのマクロブロックに対し、動きベクトル候補ＭＶＳが生成されたことになる。
【００４２】
ステップＳ２において、動きベクトル検出部２３は、カレントフレームを構成する各マクロブロックに対し、ステップＳ１の処理で生成した動きベクトル候補ＭＶＳ等に基づいて基準ベクトルを決定し、基準ベクトルに基づいて動きベクトルＭＶを検出する。
【００４３】
ステップＳ２の詳細について、カレントフレームの注目しているマクロブロックＸの動きベクトルＭＶXを検出する場合を例に、図８のフローチャートを参照して説明する。
【００４４】
ステップＳ１１において、候補ベクトル選択部３４は、カレントフレームの注目するマクロブロックＸの動きベクトルＭＶXを探索する範囲の基準である基準ベクトルＭＶＢの候補となる候補ベクトルを選択する。具体的には、図６Ａに示すように、注目するマクロブロックＸに対し、真上のマクロブロックＡの動きベクトルＭＶA、右上のマクロブロックＢの動きベクトルＭＶB、左横のマクロブロックＣの動きベクトルＭＶC、および１フレーム前の同じ位置のマクロブロックＧの動きベクトルＭＶG、並びに注目するマクロブロックＸの動きベクトル候補ＭＶＳX、右横のマクロブロックＤの動きベクトル候補ＭＶＳD、左下のマクロブロックＥの動きベクトル候補ＭＶＳE、および真下のマクロブロックＦの動きベクトル候補ＭＶＳFを候補ベクトルに選択する。
【００４５】
ステップＳ１２において、重複ベクトル削減部３５は、候補ベクトル選択部３４により選択された候補ベクトルのうちの重複するものを削除する。ステップＳ１３において、基準ベクトル決定部３６は、カレントフレームの注目しているマクロブロックＸについて、参照フレームの対応する位置から各候補ベクトルの分だけ移動させた位置に設ける参照ブロックの対応する画素との差分の絶対値和ＡＤを演算し、ＡＤが最小となるときの候補ベクトルを基準ベクトルＭＶＢに決定する。
【００４６】
ステップＳ１４において、マクロブロックマッチング部３７は、基準ベクトルＭＶＢに決定された候補ベクトルが動きベクトルＭＶA，ＭＶB，ＭＶC、および動きベクトルＭＶGのうちのいずれかであるか否かを判定する。基準ベクトルＭＶＢに決定された候補ベクトルが動きベクトルＭＶA，ＭＶB，ＭＶC、および動きベクトルＭＶGのうちのいずれかであると判定された場合、処理はステップＳ１５に進む。
【００４７】
ステップＳ１５において、マクロブロックマッチング部３７は、カレントフレームの注目しているマクロブロックＸについて、基準ベクトルＭＶＢを中心とする±２画素程度の比較的狭い探索範囲内でブロックマッチングを実行する。ステップＳ１６において、動きベクトル算出部３８は、マクロブロックマッチング部３７によるブロックマッチングの結果に従い、カレントフレームの注目しているマクロブロックＸの動きベクトルＭＶXを算出する。
【００４８】
ステップＳ１４において、基準ベクトルＭＶＢに決定された候補ベクトルが動きベクトルＭＶA，ＭＶB，ＭＶC、および動きベクトルＭＶGのうちのいずれかではない、すなわち、基準ベクトルＭＶＢに決定された候補ベクトルが動きベクトル候補ＭＶＳX，ＭＶＳD，ＭＶＳE、およびＭＶＳFのうちのいずれかであると判定された場合、処理はステップＳ１７に進む。
【００４９】
一方、ステップＳ１７において、マクロブロックマッチング部３７は、カレントフレームの注目しているマクロブロックＸについて、基準ベクトルＭＶＢを中心とする±４画素程度の比較的広い探索範囲内でブロックマッチングを実行する。以上、動きベクトル検出部２３による動きベクトル検出処理の説明を終了する。
【００５０】
以上説明した動きベクトル検出部２３による動きベクトル検出処理によれば、図３を参照して上述したような動きベクトルの検出の失敗を抑止することができる。また、動きベクトルを可変長符号化するときの符号量が減少するように候補ベクトルを選択しているので、従来のようにブロックマッチングだけで動きベクトルを探索していた場合よりも、いわゆるベクトル暴れ現象の発生を比較的抑止することができる。さらに、動きベクトルの探索範囲が狭くなったことによって演算量が減少したので、画像内容にもよるが、例えば、CIFサイズのシーケンスにおいては、処理時間を１５％乃至２０％程度削減できることなる。
【００５１】
なお、上述した動きベクトル検出処理では、基準ベクトル決定部３６において、候補ベクトルの中から１つだけ基準ベクトルＭＶＢを決めていたが、ステップＳ１３において演算されたＡＤの小さい方から複数の基準ベクトルＭＶＢ１，…を決定するようにし、複数の基準ベクトルＭＶＢ１，…をそれぞれ基準として注目しているマクロブロックの動きベクトルＭＶXを探索するようにすれば、ＡＤの極小値に対応して誤った動きベクトルＭＶXが検出されることを抑止することができる。
【００５２】
また、本発明は、MPEG４方式のエンコーダに限らず、MPEG１方式、MPEG２方式、JVT(Joint Video Team)方式等のエンコーダに適用することが可能である。また、本発明は、画像内の動きを検出する処理を実行する画像処理装置に適用することができる。
【００５３】
ところで、上述した動きベクトル検出装置２３は、図５に示されたように構成されるハードウェアにより実現することもできるが、ソフトウェアにより実行させることもできる。すなわち、動きベクトル検出装置２３による動きベクトル検出処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００５４】
図９は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)５１を内蔵している。CPU５１にはバス５４を介して、入出力インタフェース５５が接続されている。バス５４には、ROM(Read Only Memory)５２およびRAM(Random Access Memory)５３が接続されている。
【００５５】
入出力インタフェース５５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部５６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部５７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部５８、LAN（Local Area Network）アダプタなどよりなりネットワークを介した通信処理を実行する通信部５９が接続されている。また、磁気ディスク６１（フレキシブルディスクを含む）、光ディスク６２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク６３（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ６４などの記録媒体に対してデータを読み書きするドライブ６０が接続されている。
【００５６】
CPU５１は、ROM５２に記憶されているプログラム、または磁気ディスク６１乃至半導体メモリ６４から読み出されて記憶部５８にインストールされ、記憶部５８からRAM５３にロードされたプログラムに従って動きベクトル検出処理を実行する。
【００５７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００５８】
【発明の効果】
以上のように、本発明によれば、画像内の動きベクトルを、少ない演算量で、且つ、正確に検出することが可能となる。
【図面の簡単な説明】
【図１】ブロックマッチングについて説明するための図である。
【図２】マクロブロックとスーパブロックの関係を示す図である。
【図３】スーパブロックの動きベクトルに基づいてマクロブロックの動きベクトルを探索した場合の問題点を説明する図である。
【図４】本発明の一実施の形態であるエンコーダの構成例を示すブロック図である。
【図５】図４の動きベクトル検出部の構成例を示すブロック図である。
【図６】候補ベクトルに対するマクロブロックの位置を示す図である。
【図７】動きベクトル検出部による動きベクトル検出処理を説明するフローチャートである。
【図８】図７のステップＳ２の処理を説明するフローチャートである。
【図９】汎用パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
２０ 動きベクトル検出部， ３１ 縮小画像生成部， ３２ スーパブロックマッチング部， ３３ 動きベクトル変換部， ３４ 候補ベクトル選択部，３５ 重複ベクトル削除部， ３６ 基準ベクトル決定部， ３７ マクロブロックマッチング部， ３８ 動きベクトル算出部
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、例えば、MPEG４方式に従って動画像データを圧縮符号化する場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
ディジタル動画像データを圧縮符号化する技術として、MPEG(Moving Picture Experts Group)方式が広く用いられている。特に昨今、携帯電話機等のいわゆるモバイル機器に供給することを目的とした動画像データを得る方式として、従来よりも高い圧縮率（例えば、１０kbps乃至２Mbps）で符号化を行うことができるMPEG４方式が注目されている。
【０００３】
MPEG４方式では、MPEG２方式等と同様に、圧縮符号化の過程において、画像を所定のサイズのマクロブロックに分割し、各マクロブロックの動きベクトルを検出している。
【０００４】
マクロブロックの動きベクトルを検出するための全動き探索法では、図１に示すように、圧縮符号化するフレーム画像（以下、カレントフレームと記述する）に所定のサイズ（例えば、１６×１６画素）のマクロブロック（ＭＢ）が設定され、参照フレームに設けられる探索範囲との間でブロックマッチングが行われる。具体的には、探索範囲内でマクロブロックと同じサイズの参照ブロックが移動され、次式（１）のように、マクロブロックの画素ｃ（ｉ，ｊ）と探索範囲内の各参照ブロックの対応する画素ｒ（ｉ，ｊ）の差分の絶対値和ＡＤ（以下、単にＡＤと記述する）が演算される。そして、ＡＤが最小となるときの参照ブロックの位置に応じて動きベクトル（ＭＶ）として検出される。
ＡＤ＝Σ｜ｃ（ｉ，ｊ）−ｒ（ｉ，ｊ）｜ …（１）
【０００５】
しかしながら、各マクロブロックに対して、上述したような全動き探索法により動きベクトルを検出することは、ＡＤの演算量が膨大であるので、リアルタイムエンコードには適用できないことがあり得る。
【０００６】
そこで、従来においては、各マクロブロックの動きベクトルを検出する方法として、以下に説明する階層的動き探索法が提案されている。階層的動き探索法では、第１階層の処理として、図２に示されるように、カレントフレームに設けられた複数（例えば、４）のマクロブロックを所定の倍率（１／４）だけ縮小してスーパブロック（ＳＢ）が生成され、スーパブロックに対してブロックマッチングが実行されて、スーパブロックに対する動きベクトルが検出される。
【０００７】
そして、第２階層の処理として、スーパブロックに対する動きベクトルが前記所定の倍率だけ伸長され、伸長された動きベクトルを基準とする比較的狭い探索範囲で、スーパブロックの元になったマクロブロックの動きベクトルが全動き探索法等により探索される（例えば、特許文献１参照）。階層的動き探索法では、第２階層の処理における全動き探索法の探索範囲を比較的狭く設定することができるので、ＡＤの演算量を削減することができる。
【０００８】
【特許文献１】
特表２００２−５１８８９７号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、階層的動き探索法の第２階層の処理では、第１階層の処理で求められたスーパブロックの動きベクトルを伸長したベクトルを基準とする比較的狭い範囲しか探索しないので、場合によってはマクロブロックの真の動きベクトルを検出できないことがある課題があった。
【００１０】
例えば、図３Ａに示すように、スーパブロックの元となる複数（いまの場合、４）のマクロブロックの真の動きベクトルが図示するとおりであるとする。第１の階層処理により、スーパブロックの動きベクトルが、図３Ｂに示されるとおりに検出される。そして、第２の階層処理において、図３Ｃに示すようなスーパブロックの動きベクトルを伸長したベクトルが基準となる比較的狭い範囲で探索が行われる。この場合、図の右下以外のマクロブロックについては真の動きベクトルが検出されると思われるが、右下のマクロブロックについては真の動きベクトルが正確に検出されないことになる。
【００１１】
なお、第２の階層処理における探索範囲を広げれば、図３における右下のマクロブロックについても真の動きベクトルを正確に検出することができる。しかしながら、そのようにした場合、ＡＤの演算量が増加するので、階層的動き探索法の当初の目的（ＡＤの演算量を減少させること）に反することになる。
【００１２】
本発明はこのような状況に鑑みてなされたものであり、MPEG４等に基づいて動画像データを圧縮符号化する過程の動きベクトル検出処理を、少ない演算量で、且つ、正確に行えるようにすることを目的とする。
【００１３】
【課題を解決するための手段】
本発明の画像処理装置は、第１の画素ブロックから構成される画像を縮小して、第１の画素ブロックよりも小さい第２の画素ブロックから構成される縮小画像を生成する縮小画像生成手段と、縮小画像の動きベクトルを第２の画素ブロック単位で検出する第１の検出手段と、第１の検出手段によって検出された第２の画素ブロックに対応する動きベクトルを伸長して、第２の画素ブロックの元となった複数の第１の画素ブロックの動きベクトル候補に設定する設定手段と、動きベクトルを検出するべき画像の注目する第１の画素ブロックに対し、近傍の第１の画素ブロックに対して既に検出されている動きベクトルまたは動きベクトル候補を抽出する抽出手段と、抽出手段によって抽出された動きベクトルおよび動きベクトル候補の中から、画像の注目する第１の画素ブロックの画素と、画像と時間的に前後する画像の対応する位置から動きベクトルまたは動きベクトル候補の分だけ移動させた位置に設ける参照ブロックの対応する画素との差分が最小となる基準ベクトルを選択する選択手段と、選択手段によって選択された基準ベクトルを中心とする所定の探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルを検出する第２の検出手段とを含み、第２の検出手段は、選択手段によって近傍の第１の画素ブロックに対応して既に検出されている動きベクトルが基準ベクトルに選択された場合、選択手段によって近傍の第１の画素ブロックに対応して既に検出されている動きベクトル候補が基準ベクトルに選択された場合よりも狭い探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルを検出することを特徴とする。
【００１４】
本発明の画像処理装置は、第２の検出手段によって検出された注目する第１の画素ブロックに対する動きベクトルを、第１の画素ブロックの近傍の第１の画素ブロックに対する動きベクトルを平均して得られる予測ベクトルとの差分を用いて可変長符号化する符号化手段をさらに含むことができる。
【００１５】
前記抽出手段は、動きベクトルを検出するべき画像の注目する第１の画素ブロックに対し、符号化手段による可変長符号化の処理において画像の注目する第１の画素ブロックが利用する関係にある近傍の第１の画素ブロックに対して既に検出されている動きベクトルと、符号化手段による可変長符号化の処理において画像の注目する第１の画素ブロックが利用される関係にある近傍の第１の画素ブロックに対して既に検出されている動きベクトル候補を抽出するようにすることができる。
【００１７】
前記第１の検出手段、選択手段、または第２の検出手段のうちの少なくとも１つは、ブロックマッチング法を用いるようにすることができる。
【００１８】
本発明の画像処理方法は、第１の画素ブロックから構成される画像を縮小して、第１の画素ブロックよりも小さい第２の画素ブロックから構成される縮小画像を生成する縮小画像生成ステップと、縮小画像の動きベクトルを第２の画素ブロック単位で検出する第１の検出ステップと、第１の検出ステップの処理で検出された第２の画素ブロックに対応する動きベクトルを伸長して、第２の画素ブロックの元となった複数の第１の画素ブロックの動きベクトル候補に設定する設定ステップと、動きベクトルを検出するべき画像の注目する第１の画素ブロックに対し、近傍の第１の画素ブロックに対して既に検出されている動きベクトルまたは動きベクトル候補を抽出する抽出ステップと、抽出ステップの処理で抽出された動きベクトルおよび動きベクトル候補の中から、画像の注目する第１の画素ブロックの画素と、画像と時間的に前後する参照画像の対応する位置から動きベクトルまたは動きベクトル候補の分だけ移動させた位置に設ける参照ブロックの対応する画素との差分が最小となる基準ベクトルを選択する選択ステップと、選択ステップの処理で選択された基準ベクトルを中心とする所定の探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルを検出する第２の検出ステップとを含み、第２の検出ステップは、選択ステップの処理で近傍の第１の画素ブロックに対応して既に検出されている動きベクトルが基準ベクトルに選択された場合、選択ステップの処理で近傍の第１の画素ブロックに対応して既に検出されている動きベクトル候補が基準ベクトルに選択された場合よりも狭い探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルを検出することを特徴とする。
【００１９】
本発明の記録媒体のプログラムは、第１の画素ブロックから構成される画像を縮小して、第１の画素ブロックよりも小さい第２の画素ブロックから構成される縮小画像を生成する縮小画像生成ステップと、縮小画像の動きベクトルを第２の画素ブロック単位で検出する第１の検出ステップと、第１の検出ステップの処理で検出された第２の画素ブロックに対応する動きベクトルを伸長して、第２の画素ブロックの元となった複数の第１の画素ブロックの動きベクトル候補に設定する設定ステップと、動きベクトルを検出するべき画像の注目する第１の画素ブロックに対し、近傍の第１の画素ブロックに対して既に検出されている動きベクトルまたは動きベクトル候補を抽出する抽出ステップと、抽出ステップの処理で抽出された動きベクトルおよび動きベクトル候補の中から、画像の注目する第１の画素ブロックの画素と、画像と時間的に前後する参照画像の対応する位置から動きベクトルまたは動きベクトル候補の分だけ移動させた位置に設ける参照ブロックの対応する画素との差分が最小となる基準ベクトルを選択する選択ステップと、選択ステップの処理で選択された基準ベクトルを中心とする所定の探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルを検出する第２の検出ステップとを含む処理を画像処理装置のコンピュータに実行させ、第２の検出ステップは、選択ステップの処理で近傍の第１の画素ブロックに対応して既に検出されている動きベクトルが基準ベクトルに選択された場合、選択ステップの処理で近傍の第１の画素ブロックに対応して既に検出されている動きベクトル候補が基準ベクトルに選択された場合よりも狭い探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルを検出することを特徴とする。
【００２０】
本発明のプログラムは、第１の画素ブロックから構成される画像を縮小して、第１の画素ブロックよりも小さい第２の画素ブロックから構成される縮小画像を生成する縮小画像生成ステップと、縮小画像の動きベクトルを第２の画素ブロック単位で検出する第１の検出ステップと、第１の検出ステップの処理で検出された第２の画素ブロックに対応する動きベクトルを伸長して、第２の画素ブロックの元となった複数の第１の画素ブロックの動きベクトル候補に設定する設定ステップと、動きベクトルを検出するべき画像の注目する第１の画素ブロックに対し、近傍の第１の画素ブロックに対して既に検出されている動きベクトルまたは動きベクトル候補を抽出する抽出ステップと、抽出ステップの処理で抽出された動きベクトルおよび動きベクトル候補の中から、画像の注目する第１の画素ブロックの画素と、画像と時間的に前後する参照画像の対応する位置から動きベクトルまたは動きベクトル候補の分だけ移動させた位置に設ける参照ブロックの対応する画素との差分が最小となる基準ベクトルを選択する選択ステップと、選択ステップの処理で選択された基準ベクトルを中心とする所定の探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルを検出する第２の検出ステップとを含む処理を画像処理装置のコンピュータに実行させ、第２の検出ステップは、選択ステップの処理で近傍の第１の画素ブロックに対応して既に検出されている動きベクトルが基準ベクトルに選択された場合、選択ステップの処理で近傍の第１の画素ブロックに対応して既に検出されている動きベクトル候補が基準ベクトルに選択された場合よりも狭い探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルを検出することを特徴とする。
【００２１】
本発明の画像処理装置および方法、並びにプログラムにおいては、第１の画素ブロックから構成される画像が縮小されて、第１の画素ブロックよりも小さい第２の画素ブロックから構成される縮小画像が生成され、縮小画像の動きベクトルが第２の画素ブロック単位で検出され、検出された第２の画素ブロックに対応する動きベクトルが伸長されて、第２の画素ブロックの元となった複数の第１の画素ブロックの動きベクトル候補に設定される。さらに、動きベクトルを検出するべき画像の注目する第１の画素ブロックに対し、近傍の第１の画素ブロックに対して既に検出されている動きベクトルまたは動きベクトル候補が抽出され、抽出された動きベクトルおよび動きベクトル候補の中から、画像の注目する第１の画素ブロックの画素と、画像と時間的に前後する参照画像の対応する位置から動きベクトルまたは動きベクトル候補の分だけ移動させた位置に設ける参照ブロックの対応する画素との差分が最小となる基準ベクトルが選択され、選択された基準ベクトルを中心とする所定の探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルが検出される。なお、この検出の処理では、選択の処理で近傍の第１の画素ブロックに対応して既に検出されている動きベクトルが基準ベクトルに選択された場合、選択の処理で近傍の第１の画素ブロックに対応して既に検出されている動きベクトル候補が基準ベクトルに選択された場合よりも狭い探索範囲で、画像の注目する第１の画素ブロックに対する動きベクトルが検出される。
【００２２】
【発明の実施の形態】
図４は、本発明を適用したエンコーダの構成例を示している。このエンコーダ１０は、入力される動画像データをMPEG４方式に従って圧縮符号化し、符号化データを生成するものである。
【００２３】
フレームメモリ１１は、入力された符号化すべき動画像データを一時的に記憶する。差分演算部１２は、フレームメモリ１１に記憶されているカレントフレームを読み出し、スイッチ２１を介して動き補償部２０から供給される予測フレームとの差分を演算してDCT(Discrete Cosine Transform)部１３に出力する。DCT部１３は、差分演算部１２の出力に対してDCT（離散コサイン変換）処理を施し、その結果得られるDCT係数を量子化部１４に出力する。
【００２４】
量子化部１４は、DCT部１３から入力されたDCT係数を量子化してVLC(Variable Length Code)部１５および逆量子化部１６に出力する。VLC部１５は、量子化部１４から入力される量子化されたDCT係数（以下、量子化係数とも記述する）、並びに動きベクトル検出部２３から入力される動きベクトルＭＶを、注目しているマクロブロックの真上、右上、左横のマクロブロックの動きベクトルを平均した予測ベクトルとの差分を用いてハフマン符号等の可変長符号に変換し、その結果得られる符号化データを後段に出力する。
【００２５】
逆量子化部１６は、量子化部１４から入力される量子化係数を逆量子化することにより、DCT係数を復元して逆DCT部１７に出力する。逆DCT部１７は、逆量子化部１６から入力されるDCT係数に逆DCT変換処理を施し、その結果得られる差分データを加算部１８に出力する。加算部１８は、逆DCT部１７から入力される差分データと、スイッチ２２を介して動き補償部２０から供給される予測フレームとを加算することにより、復元フレームを生成してフレームメモリ１９に出力する。
【００２６】
フレームメモリ１９は、加算部１８からの復元フレームを一時的に記録する。動き補償部２０は、動きベクトル検出部２３から入力されるカレントフレームの各マクロブロックに対する動きベクトルＭＶおよび予測モードに基づき、フレームメモリ１９に記憶されている復元フレームを読み出し、予測フレームとしてスイッチ２１を介して差分演算部１２に、また、スイッチ２２を介して加算部１８に出力する。スイッチ２１，２２は、動きベクトル検出部２３から入力される予測モードに従ってオン／オフを切り替える。
【００２７】
動きベクトル検出部２３は、フレームメモリ１１に保持された動画像データを１フレーム分ずつ読み出し、各フレームに所定のサイズのマクロブロックを設定し、フレーム上の左上のマクロブロックを先頭に右下のマクロブロックまで順に動きベクトルＭＶを検出する。また、動きベクトル検出部２３は、検出した各マクロブロックに対する動きベクトルＭＶに基づき、予測モードとしてイントラ予測モードまたはインター予測モードのいずれかを選択する。さらに、動きベクトル検出部２３は、検出した各マクロブロックに対する動きベクトルＭＶと選択した予測モードを、動き補償部２０およびVLC部１５および動き補償部２０に供給する。さらに、動きベクトル検出部２３は、選択した予測モードを、スイッチ２１，２２に供給する。
【００２８】
図５は、動きベクトル検出部２３の動きベクトルＭＶを検出する部分の構成例を示している。
【００２９】
縮小画像生成部３１は、フレームメモリ１１から１フレーム分毎に読み出した動画像データの画像を縮小して縮小画像を生成する。具体的には、例えば、図２に示されたように、動画像データの１フレームの３２×３２画素（４個のマクロブロック）を元にして縮小画像の８×８画素（１個のスーパブロック）を生成するように、縦横のサイズをそれぞれ１／４に縮小する。
【００３０】
スーパブロックマッチング部３２は、縮小画像生成部３１により生成されたカレントフレームに対応する縮小画像と、参照フレームに対応する縮小画像とのスーパブロック単位のブロックマッチングを実行して、カレントフレームに対応する縮小画像を構成する各スーパブロックの動きベクトルを算出する。動きベクトル変換部３３は、各スーパブロックの動きベクトルを所定の倍率（図２に対応させる場合、４倍）に伸長し、各スーパブロックの元となった４個のマクロブロックに共通する動きベクトル候補ＭＶＳを生成する。
【００３１】
候補ベクトル選択部３４は、カレントフレームの注目するマクロブロックＸの動きベクトルＭＶXを探索する範囲の基準となる基準ベクトルＭＶＢの候補（以下、候補ベクトルと記述する）を選択する。具体的には、図６Ａに示すように、マクロブロックＸに対し、既に検出済の真上のマクロブロックＡの動きベクトルＭＶA、右上のマクロブロックＢの動きベクトルＭＶB、および左横のマクロブロックＣの動きベクトルＭＶC、並びに注目するマクロブロックＸの動きベクトル候補ＭＶＳX、右横のマクロブロックＤの動きベクトル候補ＭＶＳD、左下のマクロブロックＥの動きベクトル候補ＭＶＳE、および真下のマクロブロックＦの動きベクトル候補ＭＶＳFを候補ベクトルに選択する。
【００３２】
ここで、マクロブロックＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆに着目する理由は、動きベクトルＭＶA，ＭＶB，ＭＶCが、注目するマクロブロックＸの動きベクトルＭＶXがVLC部１５により可変長符号化されるときに用いられるものであり、また、注目するマクロブロックＸの動きベクトルＭＶXが、動きベクトルＭＶD，ＭＶE，ＭＶFがVLC部１５により可変長符号化されるときに用いられるものであるので、VLC部１５により発生される符号量の削減が期待できるからである。
【００３３】
なお、候補ベクトル選択部３４は、候補ベクトルに、図６Ｂに示すカレントフレームの１フレーム前の同じ位置のマクロブロックＧの動きベクトルＭＶGを追加して選択するようにしてもよい。
【００３４】
重複ベクトル削減部３５は、候補ベクトル選択部３４により選択された候補ベクトルのうちの重複するものを削除する。これにより、重複ベクトル削減部３５の後段における演算量を削減することができる。
【００３５】
基準ベクトル決定部３６は、カレントフレームの注目しているマクロブロックＸについて、参照フレームの対応する位置から各候補ベクトルの分だけ移動させた位置に設ける参照ブロックの対応する画素との差分の絶対値和ＡＤを演算し、ＡＤが最小となるときの候補ベクトルを基準ベクトルＭＶＢに決定する。
【００３６】
マクロブロックマッチング部３７は、カレントフレームの注目しているマクロブロックＸについて、基準ベクトルＭＶＢを中心とする所定の探索範囲内でブロックマッチングを実行する。動きベクトル算出部３８は、マクロブロックマッチング部３７の処理結果に従い、カレントフレームの注目しているマクロブロックＸの動きベクトルＭＶXを算出する。ここで決定された注目しているマクロブロックＸの動きベクトルＭＶXは、動き補償部２０等に出力される他、動きベクトルＭＶD，ＭＶE，ＭＶFのそれぞれの候補ベクトルとして、候補ベクトル選択部３４に供給される。
【００３７】
なお、基準ベクトルが動きベクトルＭＶA，ＭＶB，ＭＶCのうちのいずれかである場合、これらは既に確定された値であって信頼性が高いので、マクロブロックマッチング部３７によりブロックマッチングを実行するときの探索範囲を、例えば、基準ベクトルを中心に±２画素程度に設定することができる。一方、基準ベクトルが動きベクトル候補ＭＶＳX，ＭＶＳD，ＭＶＳE，ＭＶＳFのうちのいずれかである場合、上述した場合よりも探索範囲を広く、例えば、基準ベクトルを中心に±４画素程度に設定することになる。
【００３８】
いずれの場合においても、ブロックマッチングを実行するときの探索範囲を従来よりも比較的狭く設定することができるので、ブロックマッチングに要する演算量を削減することができる。
【００３９】
次に、動きベクトル検出部２３による動きベクトル検出処理について、図７のフローチャートを参照して説明する。
【００４０】
ステップＳ１において、動きベクトル検出部２３のスーパブロックマッチング部３２は、縮小画像生成部３１により生成されたカレントフレームに対応する縮小画像と、参照フレームに対応する縮小画像とのスーパブロック単位のブロックマッチングを実行して、カレントフレームに対応する縮小画像を構成する各スーパブロックの動きベクトルを算出する。動きベクトル変換部３３は、各スーパブロックの動きベクトルを所定の倍率に伸長し、各スーパブロックの元となった４個のマクロブロックに共通する動きベクトル候補ＭＶＳを生成する。
【００４１】
この段階において、カレントフレームを構成する全てのマクロブロックに対し、動きベクトル候補ＭＶＳが生成されたことになる。
【００４２】
ステップＳ２において、動きベクトル検出部２３は、カレントフレームを構成する各マクロブロックに対し、ステップＳ１の処理で生成した動きベクトル候補ＭＶＳ等に基づいて基準ベクトルを決定し、基準ベクトルに基づいて動きベクトルＭＶを検出する。
【００４３】
ステップＳ２の詳細について、カレントフレームの注目しているマクロブロックＸの動きベクトルＭＶXを検出する場合を例に、図８のフローチャートを参照して説明する。
【００４４】
ステップＳ１１において、候補ベクトル選択部３４は、カレントフレームの注目するマクロブロックＸの動きベクトルＭＶXを探索する範囲の基準である基準ベクトルＭＶＢの候補となる候補ベクトルを選択する。具体的には、図６Ａに示すように、注目するマクロブロックＸに対し、真上のマクロブロックＡの動きベクトルＭＶA、右上のマクロブロックＢの動きベクトルＭＶB、左横のマクロブロックＣの動きベクトルＭＶC、および１フレーム前の同じ位置のマクロブロックＧの動きベクトルＭＶG、並びに注目するマクロブロックＸの動きベクトル候補ＭＶＳX、右横のマクロブロックＤの動きベクトル候補ＭＶＳD、左下のマクロブロックＥの動きベクトル候補ＭＶＳE、および真下のマクロブロックＦの動きベクトル候補ＭＶＳFを候補ベクトルに選択する。
【００４５】
ステップＳ１２において、重複ベクトル削減部３５は、候補ベクトル選択部３４により選択された候補ベクトルのうちの重複するものを削除する。ステップＳ１３において、基準ベクトル決定部３６は、カレントフレームの注目しているマクロブロックＸについて、参照フレームの対応する位置から各候補ベクトルの分だけ移動させた位置に設ける参照ブロックの対応する画素との差分の絶対値和ＡＤを演算し、ＡＤが最小となるときの候補ベクトルを基準ベクトルＭＶＢに決定する。
【００４６】
ステップＳ１４において、マクロブロックマッチング部３７は、基準ベクトルＭＶＢに決定された候補ベクトルが動きベクトルＭＶA，ＭＶB，ＭＶC、および動きベクトルＭＶGのうちのいずれかであるか否かを判定する。基準ベクトルＭＶＢに決定された候補ベクトルが動きベクトルＭＶA，ＭＶB，ＭＶC、および動きベクトルＭＶGのうちのいずれかであると判定された場合、処理はステップＳ１５に進む。
【００４７】
ステップＳ１５において、マクロブロックマッチング部３７は、カレントフレームの注目しているマクロブロックＸについて、基準ベクトルＭＶＢを中心とする±２画素程度の比較的狭い探索範囲内でブロックマッチングを実行する。ステップＳ１６において、動きベクトル算出部３８は、マクロブロックマッチング部３７によるブロックマッチングの結果に従い、カレントフレームの注目しているマクロブロックＸの動きベクトルＭＶXを算出する。
【００４８】
ステップＳ１４において、基準ベクトルＭＶＢに決定された候補ベクトルが動きベクトルＭＶA，ＭＶB，ＭＶC、および動きベクトルＭＶGのうちのいずれかではない、すなわち、基準ベクトルＭＶＢに決定された候補ベクトルが動きベクトル候補ＭＶＳX，ＭＶＳD，ＭＶＳE、およびＭＶＳFのうちのいずれかであると判定された場合、処理はステップＳ１７に進む。
【００４９】
一方、ステップＳ１７において、マクロブロックマッチング部３７は、カレントフレームの注目しているマクロブロックＸについて、基準ベクトルＭＶＢを中心とする±４画素程度の比較的広い探索範囲内でブロックマッチングを実行する。以上、動きベクトル検出部２３による動きベクトル検出処理の説明を終了する。
【００５０】
以上説明した動きベクトル検出部２３による動きベクトル検出処理によれば、図３を参照して上述したような動きベクトルの検出の失敗を抑止することができる。また、動きベクトルを可変長符号化するときの符号量が減少するように候補ベクトルを選択しているので、従来のようにブロックマッチングだけで動きベクトルを探索していた場合よりも、いわゆるベクトル暴れ現象の発生を比較的抑止することができる。さらに、動きベクトルの探索範囲が狭くなったことによって演算量が減少したので、画像内容にもよるが、例えば、CIFサイズのシーケンスにおいては、処理時間を１５％乃至２０％程度削減できることなる。
【００５１】
なお、上述した動きベクトル検出処理では、基準ベクトル決定部３６において、候補ベクトルの中から１つだけ基準ベクトルＭＶＢを決めていたが、ステップＳ１３において演算されたＡＤの小さい方から複数の基準ベクトルＭＶＢ１，…を決定するようにし、複数の基準ベクトルＭＶＢ１，…をそれぞれ基準として注目しているマクロブロックの動きベクトルＭＶXを探索するようにすれば、ＡＤの極小値に対応して誤った動きベクトルＭＶXが検出されることを抑止することができる。
【００５２】
また、本発明は、MPEG４方式のエンコーダに限らず、MPEG１方式、MPEG２方式、JVT(Joint Video Team)方式等のエンコーダに適用することが可能である。また、本発明は、画像内の動きを検出する処理を実行する画像処理装置に適用することができる。
【００５３】
ところで、上述した動きベクトル検出装置２３は、図５に示されたように構成されるハードウェアにより実現することもできるが、ソフトウェアにより実行させることもできる。すなわち、動きベクトル検出装置２３による動きベクトル検出処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００５４】
図９は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)５１を内蔵している。CPU５１にはバス５４を介して、入出力インタフェース５５が接続されている。バス５４には、ROM(Read Only Memory)５２およびRAM(Random Access Memory)５３が接続されている。
【００５５】
入出力インタフェース５５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部５６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部５７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部５８、LAN（Local Area Network）アダプタなどよりなりネットワークを介した通信処理を実行する通信部５９が接続されている。また、磁気ディスク６１（フレキシブルディスクを含む）、光ディスク６２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク６３（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ６４などの記録媒体に対してデータを読み書きするドライブ６０が接続されている。
【００５６】
CPU５１は、ROM５２に記憶されているプログラム、または磁気ディスク６１乃至半導体メモリ６４から読み出されて記憶部５８にインストールされ、記憶部５８からRAM５３にロードされたプログラムに従って動きベクトル検出処理を実行する。
【００５７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００５８】
【発明の効果】
以上のように、本発明によれば、画像内の動きベクトルを、少ない演算量で、且つ、正確に検出することが可能となる。
【図面の簡単な説明】
【図１】ブロックマッチングについて説明するための図である。
【図２】マクロブロックとスーパブロックの関係を示す図である。
【図３】スーパブロックの動きベクトルに基づいてマクロブロックの動きベクトルを探索した場合の問題点を説明する図である。
【図４】本発明の一実施の形態であるエンコーダの構成例を示すブロック図である。
【図５】図４の動きベクトル検出部の構成例を示すブロック図である。
【図６】候補ベクトルに対するマクロブロックの位置を示す図である。
【図７】動きベクトル検出部による動きベクトル検出処理を説明するフローチャートである。
【図８】図７のステップＳ２の処理を説明するフローチャートである。
【図９】汎用パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
２０ 動きベクトル検出部， ３１ 縮小画像生成部， ３２ スーパブロックマッチング部， ３３ 動きベクトル変換部， ３４ 候補ベクトル選択部，３５ 重複ベクトル削除部， ３６ 基準ベクトル決定部， ３７ マクロブロックマッチング部， ３８ 動きベクトル算出部
Claims (7)
- 動画像データの画像の動きベクトルを検出する画像処理装置において、
第１の画素ブロックから構成される前記画像を縮小して、前記第１の画素ブロックよりも小さい第２の画素ブロックから構成される縮小画像を生成する縮小画像生成手段と、
前記縮小画像の動きベクトルを前記第２の画素ブロック単位で検出する第１の検出手段と、
前記第１の検出手段によって検出された前記第２の画素ブロックに対応する前記動きベクトルを伸長して、前記第２の画素ブロックの元となった複数の前記第１の画素ブロックの動きベクトル候補に設定する設定手段と、
動きベクトルを検出するべき前記画像の注目する第１の画素ブロックに対し、近傍の第１の画素ブロックに対して既に検出されている動きベクトルまたは前記動きベクトル候補を抽出する抽出手段と、
前記抽出手段によって抽出された前記動きベクトルおよび前記動きベクトル候補の中から、前記画像の注目する第１の画素ブロックの画素と、前記画像と時間的に前後する参照画像の対応する位置から前記動きベクトルまたは前記動きベクトル候補の分だけ移動させた位置に設ける参照ブロックの対応する画素との差分が最小となる基準ベクトルを選択する選択手段と、
前記選択手段によって選択された前記基準ベクトルを中心とする所定の探索範囲で、前記画像の注目する第１の画素ブロックに対する前記動きベクトルを検出する第２の検出手段とを含み、
前記第２の検出手段は、前記選択手段によって前記近傍の第１の画素ブロックに対応して既に検出されている動きベクトルが前記基準ベクトルに選択された場合、前記選択手段によって前記近傍の第１の画素ブロックに対応して既に検出されている動きベクトル候補が前記基準ベクトルに選択された場合よりも狭い探索範囲で、前記画像の注目する第１の画素ブロックに対する前記動きベクトルを検出する
ことを特徴とする画像処理装置。 - 前記第２の検出手段によって検出された注目する第１の画素ブロックに対する前記動きベクトルを、前記第１の画素ブロックの近傍の第１の画素ブロックに対する動きベクトルを平均して得られる予測ベクトルとの差分を用いて可変長符号化する符号化手段を
さらに含むことを特徴とする請求項１に記載の画像処理装置。 - 前記抽出手段は、動きベクトルを検出するべき前記画像の注目する第１の画素ブロックに対し、前記符号化手段による可変長符号化の処理において前記画像の注目する第１の画素ブロックが利用する関係にある近傍の第１の画素ブロックに対して既に検出されている動きベクトルと、前記符号化手段による可変長符号化の処理において前記画像の注目する第１の画素ブロックが利用される関係にある近傍の第１の画素ブロックに対して既に検出されている動きベクトル候補を抽出する
ことを特徴とする請求項２に記載の画像処理装置。 - 前記第１の検出手段、前記選択手段、または前記第２の検出手段のうちの少なくとも１つは、ブロックマッチング法を用いる
ことを特徴とする請求項１に記載の画像処理装置。 - 動画像データの画像の動きベクトルを検出する画像処理装置の画像処理方法において、
第１の画素ブロックから構成される前記画像を縮小して、前記第１の画素ブロックよりも小さい第２の画素ブロックから構成される縮小画像を生成する縮小画像生成ステップと、
前記縮小画像の動きベクトルを前記第２の画素ブロック単位で検出する第１の検出ステップと、
前記第１の検出ステップの処理で検出された前記第２の画素ブロックに対応する前記動きベクトルを伸長して、前記第２の画素ブロックの元となった複数の前記第１の画素ブロックの動きベクトル候補に設定する設定ステップと、
動きベクトルを検出するべき前記画像の注目する第１の画素ブロックに対し、近傍の第１の画素ブロックに対して既に検出されている動きベクトルまたは前記動きベクトル候補を抽出する抽出ステップと、
前記抽出ステップの処理で抽出された前記動きベクトルおよび前記動きベクトル候補の中から、前記画像の注目する第１の画素ブロックの画素と、前記画像と時間的に前後する参照画像の対応する位置から前記動きベクトルまたは前記動きベクトル候補の分だけ移動させた位置に設ける参照ブロックの対応する画素との差分が最小となる基準ベクトルを選択する選択ステップと、
前記選択ステップの処理で選択された前記基準ベクトルを中心とする所定の探索範囲で、前記画像の注目する第１の画素ブロックに対する前記動きベクトルを検出する第２の検出ステップとを含み、
前記第２の検出ステップは、前記選択ステップの処理で前記近傍の第１の画素ブロックに対応して既に検出されている動きベクトルが前記基準ベクトルに選択された場合、前記選択ステップの処理で前記近傍の第１の画素ブロックに対応して既に検出されている動きベクトル候補が前記基準ベクトルに選択された場合よりも狭い探索範囲で、前記画像の注目する第１の画素ブロックに対する前記動きベクトルを検出する
ことを特徴とする画像処理方法。 - 動画像データの画像の動きベクトルを検出する画像処理装置の制御用のプログラムが記録されている記録媒体であって、
第１の画素ブロックから構成される前記画像を縮小して、前記第１の画素ブロックよりも小さい第２の画素ブロックから構成される縮小画像を生成する縮小画像生成ステップと、
前記縮小画像の動きベクトルを前記第２の画素ブロック単位で検出する第１の検出ステップと、
前記第１の検出ステップの処理で検出された前記第２の画素ブロックに対応する前記動きベクトルを伸長して、前記第２の画素ブロックの元となった複数の前記第１の画素ブロックの動きベクトル候補に設定する設定ステップと、
動きベクトルを検出するべき前記画像の注目する第１の画素ブロックに対し、近傍の第１の画素ブロックに対して既に検出されている動きベクトルまたは前記動きベクトル候補を抽出する抽出ステップと、
前記抽出ステップの処理で抽出された前記動きベクトルおよび前記動きベクトル候補の中から、前記画像の注目する第１の画素ブロックの画素と、前記画像と時間的に前後する参照画像の対応する位置から前記動きベクトルまたは前記動きベクトル候補の分だけ移動させた位置に設ける参照ブロックの対応する画素との差分が最小となる基準ベクトルを選択する選択ステップと、
前記選択ステップの処理で選択された前記基準ベクトルを中心とする所定の探索範囲で、前記画像の注目する第１の画素ブロックに対する前記動きベクトルを検出する第２の検出ステップとを含む処理を画像処理装置のコンピュータに実行させ、
前記第２の検出ステップは、前記選択ステップの処理で前記近傍の第１の画素ブロックに対応して既に検出されている動きベクトルが前記基準ベクトルに選択された場合、前記選択ステップの処理で前記近傍の第１の画素ブロックに対応して既に検出されている動きベクトル候補が前記基準ベクトルに選択された場合よりも狭い探索範囲で、前記画像の注目する第１の画素ブロックに対する前記動きベクトルを検出する
プログラムが記録されていることを特徴とする記録媒体。 - 動画像データの画像の動きベクトルを検出する画像処理装置の制御用のプログラムであって、
第１の画素ブロックから構成される前記画像を縮小して、前記第１の画素ブロックよりも小さい第２の画素ブロックから構成される縮小画像を生成する縮小画像生成ステップと、
前記縮小画像の動きベクトルを前記第２の画素ブロック単位で検出する第１の検出ステップと、
前記第１の検出ステップの処理で検出された前記第２の画素ブロックに対応する前記動きベクトルを伸長して、前記第２の画素ブロックの元となった複数の前記第１の画素ブロックの動きベクトル候補に設定する設定ステップと、
動きベクトルを検出するべき前記画像の注目する第１の画素ブロックに対し、近傍の第１の画素ブロックに対して既に検出されている動きベクトルまたは前記動きベクトル候補を抽出する抽出ステップと、
前記抽出ステップの処理で抽出された前記動きベクトルおよび前記動きベクトル候補の中から、前記画像の注目する第１の画素ブロックの画素と、前記画像と時間的に前後する参照画像の対応する位置から前記動きベクトルまたは前記動きベクトル候補の分だけ移動させた位置に設ける参照ブロックの対応する画素との差分が最小となる基準ベクトルを選択する選択ステップと、
前記選択ステップの処理で選択された前記基準ベクトルを中心とする所定の探索範囲で、前記画像の注目する第１の画素ブロックに対する前記動きベクトルを検出する第２の検出ステップとを含む処理を画像処理装置のコンピュータに実行させ、
前記第２の検出ステップは、前記選択ステップの処理で前記近傍の第１の画素ブロックに対応して既に検出されている動きベクトルが前記基準ベクトルに選択された場合、前記選択ステップの処理で前記近傍の第１の画素ブロックに対応して既に検出されている動きベクトル候補が前記基準ベクトルに選択された場合よりも狭い探索範囲で、前記画像の注目する第１の画素ブロックに対する前記動きベクトルを検出する
ことを特徴とするプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003026702A JP4536325B2 (ja) | 2003-02-04 | 2003-02-04 | 画像処理装置および方法、記録媒体、並びにプログラム |
| US10/770,034 US7444026B2 (en) | 2003-02-04 | 2004-02-02 | Image processing apparatus and method of motion vector detection in a moving picture, and recording medium used therewith |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003026702A JP4536325B2 (ja) | 2003-02-04 | 2003-02-04 | 画像処理装置および方法、記録媒体、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004241880A JP2004241880A (ja) | 2004-08-26 |
| JP4536325B2 true JP4536325B2 (ja) | 2010-09-01 |
Family
ID=32954620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003026702A Expired - Fee Related JP4536325B2 (ja) | 2003-02-04 | 2003-02-04 | 画像処理装置および方法、記録媒体、並びにプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7444026B2 (ja) |
| JP (1) | JP4536325B2 (ja) |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004038110B3 (de) * | 2004-08-05 | 2005-12-29 | Siemens Ag | Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung |
| US20060230428A1 (en) * | 2005-04-11 | 2006-10-12 | Rob Craig | Multi-player video game system |
| US8118676B2 (en) * | 2005-07-08 | 2012-02-21 | Activevideo Networks, Inc. | Video game system using pre-encoded macro-blocks |
| US8270439B2 (en) * | 2005-07-08 | 2012-09-18 | Activevideo Networks, Inc. | Video game system using pre-encoded digital audio mixing |
| US9061206B2 (en) * | 2005-07-08 | 2015-06-23 | Activevideo Networks, Inc. | Video game system using pre-generated motion vectors |
| US8284842B2 (en) * | 2005-07-08 | 2012-10-09 | Activevideo Networks, Inc. | Video game system using pre-encoded macro-blocks and a reference grid |
| US8074248B2 (en) | 2005-07-26 | 2011-12-06 | Activevideo Networks, Inc. | System and method for providing video content associated with a source image to a television in a communication network |
| JP4862372B2 (ja) * | 2005-11-30 | 2012-01-25 | ブラザー工業株式会社 | 画像処理プログラムおよび画像処理装置 |
| JP4304528B2 (ja) | 2005-12-01 | 2009-07-29 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| JP4166781B2 (ja) * | 2005-12-09 | 2008-10-15 | 松下電器産業株式会社 | 動きベクトル検出装置および動きベクトル検出方法 |
| KR100766085B1 (ko) * | 2006-02-28 | 2007-10-11 | 삼성전자주식회사 | 프레임레이트 변환기능을 구비한 영상표시장치 및프레임레이트 변환방법 |
| US8009923B2 (en) * | 2006-03-14 | 2011-08-30 | Celestial Semiconductor, Inc. | Method and system for motion estimation with multiple vector candidates |
| US7916141B2 (en) * | 2006-04-10 | 2011-03-29 | Choi Kum-Young | Image processing system using vector pixel |
| JP4904925B2 (ja) * | 2006-05-29 | 2012-03-28 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| US9826197B2 (en) | 2007-01-12 | 2017-11-21 | Activevideo Networks, Inc. | Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device |
| US9042454B2 (en) | 2007-01-12 | 2015-05-26 | Activevideo Networks, Inc. | Interactive encoded content system including object models for viewing on a remote device |
| US20100013992A1 (en) * | 2008-07-18 | 2010-01-21 | Zhi Zhou | Method and system for detecting motion at an intermediate position between image fields |
| FR2940736B1 (fr) * | 2008-12-30 | 2011-04-08 | Sagem Comm | Systeme et procede de codage video |
| US8194862B2 (en) * | 2009-07-31 | 2012-06-05 | Activevideo Networks, Inc. | Video game system with mixing of independent pre-encoded digital audio bitstreams |
| KR101452859B1 (ko) * | 2009-08-13 | 2014-10-23 | 삼성전자주식회사 | 움직임 벡터를 부호화 및 복호화하는 방법 및 장치 |
| JP5492223B2 (ja) * | 2009-12-18 | 2014-05-14 | 株式会社東芝 | 動きベクトル検出装置及び方法 |
| KR101522850B1 (ko) | 2010-01-14 | 2015-05-26 | 삼성전자주식회사 | 움직임 벡터를 부호화, 복호화하는 방법 및 장치 |
| JP2011244210A (ja) * | 2010-05-18 | 2011-12-01 | Sony Corp | 画像処理装置および方法 |
| US10104391B2 (en) | 2010-10-01 | 2018-10-16 | Dolby International Ab | System for nested entropy encoding |
| US20120082228A1 (en) | 2010-10-01 | 2012-04-05 | Yeping Su | Nested entropy encoding |
| AU2011315950B2 (en) | 2010-10-14 | 2015-09-03 | Activevideo Networks, Inc. | Streaming digital video between video devices using a cable television system |
| WO2012090397A1 (ja) * | 2010-12-28 | 2012-07-05 | 株式会社Ｊｖｃケンウッド | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム |
| WO2012138660A2 (en) | 2011-04-07 | 2012-10-11 | Activevideo Networks, Inc. | Reduction of latency in video distribution networks using adaptive bit rates |
| JP5867687B2 (ja) * | 2011-09-21 | 2016-02-24 | 富士ゼロックス株式会社 | 画像処理装置および画像処理プログラム |
| JP5289540B2 (ja) * | 2011-11-14 | 2013-09-11 | 株式会社東芝 | 画像処理装置、及び画像処理方法 |
| US10409445B2 (en) | 2012-01-09 | 2019-09-10 | Activevideo Networks, Inc. | Rendering of an interactive lean-backward user interface on a television |
| US9800945B2 (en) | 2012-04-03 | 2017-10-24 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
| US9123084B2 (en) | 2012-04-12 | 2015-09-01 | Activevideo Networks, Inc. | Graphical application integration with MPEG objects |
| WO2014145921A1 (en) | 2013-03-15 | 2014-09-18 | Activevideo Networks, Inc. | A multiple-mode system and method for providing user selectable video content |
| US9294785B2 (en) | 2013-06-06 | 2016-03-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
| US9219922B2 (en) | 2013-06-06 | 2015-12-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
| EP3005712A1 (en) | 2013-06-06 | 2016-04-13 | ActiveVideo Networks, Inc. | Overlay rendering of user interface onto source video |
| US9788029B2 (en) | 2014-04-25 | 2017-10-10 | Activevideo Networks, Inc. | Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks |
| JP7242811B2 (ja) * | 2019-10-21 | 2023-03-20 | 株式会社東芝 | 画像符号化方法及び画像復号化方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5878746A (en) * | 1993-08-25 | 1999-03-09 | Lemelson; Jerome H. | Computerized medical diagnostic system |
| US5542003A (en) * | 1993-09-13 | 1996-07-30 | Eastman Kodak | Method for maximizing fidelity and dynamic range for a region of interest within digitized medical image display |
| JP3089165B2 (ja) * | 1994-11-10 | 2000-09-18 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | 動きベクトル探索装置 |
| JP2853973B2 (ja) | 1995-03-24 | 1999-02-03 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | 階層型動きベクトル検出方法及びその装置 |
| US5873824A (en) * | 1996-11-29 | 1999-02-23 | Arch Development Corporation | Apparatus and method for computerized analysis of interstitial infiltrates in chest images using artificial neural networks |
| KR100325253B1 (ko) * | 1998-05-19 | 2002-03-04 | 미야즈 준이치롯 | 움직임벡터 검색방법 및 장치 |
| US6795578B1 (en) * | 1999-09-29 | 2004-09-21 | Canon Kabushiki Kaisha | Image processing apparatus and method, and storage medium |
| DE10206397B4 (de) * | 2002-02-15 | 2005-10-06 | Siemens Ag | Verfahren zur Darstellung von Projektions- oder Schnittbildern aus 3D-Volumendaten eines Untersuchungsvolumens |
| KR100580194B1 (ko) * | 2004-06-11 | 2006-05-16 | 삼성전자주식회사 | 비트 정밀도를 낮춘 부화소 움직임 추정방법 및 장치 |
-
2003
- 2003-02-04 JP JP2003026702A patent/JP4536325B2/ja not_active Expired - Fee Related
-
2004
- 2004-02-02 US US10/770,034 patent/US7444026B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7444026B2 (en) | 2008-10-28 |
| US20040184542A1 (en) | 2004-09-23 |
| JP2004241880A (ja) | 2004-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4536325B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| KR101918012B1 (ko) | 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램 | |
| JP4373702B2 (ja) | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム | |
| KR101473278B1 (ko) | 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램 | |
| RU2720702C1 (ru) | Устройство прогнозирующего декодирования изображений, способ прогнозирующего декодирования изображений | |
| JP4763422B2 (ja) | イントラ予測装置 | |
| KR20100086864A (ko) | 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법 | |
| JP2007523525A (ja) | 回転マッチングを使用して動きを予測する映像符号化装置及び方法 | |
| KR100560843B1 (ko) | 비디오 부호기에서 적응 움직임 벡터의 탐색 영역을결정하는 방법 및 장치 | |
| JP2011029863A (ja) | 復号化処理方法 | |
| US20070133689A1 (en) | Low-cost motion estimation apparatus and method thereof | |
| JP4494803B2 (ja) | 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置 | |
| US20090028241A1 (en) | Device and method of coding moving image and device and method of decoding moving image | |
| TW200301655A (en) | Method of detecting motion vector | |
| JP5760950B2 (ja) | 動画像再符号化装置、動画像再符号化方法及び動画像再符号化用コンピュータプログラム | |
| KR100508975B1 (ko) | 다층 레벨 연속 제거 알고리즘을 이용한 동영상 움직임추정 방법 | |
| JP2009290889A (ja) | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム | |
| JPH11346368A (ja) | 画像処理方法，画像処理装置，及びデ―タ記憶媒体 | |
| KR100613732B1 (ko) | 디지털 영상압축 시스템 및 그 방법 | |
| JP2005323315A (ja) | 予測情報・量子化値制御圧縮符号化装置、予測情報・量子化値制御圧縮符号化プログラムおよび予測情報・量子化値制御圧縮符号化方法 | |
| KR101693284B1 (ko) | 전역움직임을 기반하여 결정된 부호화구조를 이용한 영상 부호화/복호화 방법 및 장치 | |
| KR200309401Y1 (ko) | 디지털 영상압축 시스템 | |
| JP2009153227A (ja) | 画像処理装置およびそれを用いた撮像装置 | |
| KR20120126047A (ko) | 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법 | |
| JP2003259373A (ja) | 動画像圧縮符号化装置、及び動きベクトル検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070409 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070606 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071107 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100616 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130625 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |