JP2010109917A - Motion vector detecting apparatus and motion vector detecting method - Google Patents

Motion vector detecting apparatus and motion vector detecting method Download PDF

Info

Publication number
JP2010109917A
JP2010109917A JP2008282279A JP2008282279A JP2010109917A JP 2010109917 A JP2010109917 A JP 2010109917A JP 2008282279 A JP2008282279 A JP 2008282279A JP 2008282279 A JP2008282279 A JP 2008282279A JP 2010109917 A JP2010109917 A JP 2010109917A
Authority
JP
Japan
Prior art keywords
motion
important
amount
important region
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008282279A
Other languages
Japanese (ja)
Other versions
JP5517436B2 (en
Inventor
Jun Otsuki
純 大槻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008282279A priority Critical patent/JP5517436B2/en
Publication of JP2010109917A publication Critical patent/JP2010109917A/en
Application granted granted Critical
Publication of JP5517436B2 publication Critical patent/JP5517436B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To improve accuracy of a motion vector search range in motion vector detection. <P>SOLUTION: A motion vector detecting apparatus includes: an important region detecting means for sequentially detecting an important region of an image for each of an input image to be encoded and a reference image; an important region moving amount detecting means for detecting the moving amount of the important region detected by the important region detecting means; a global vector detecting means for calculating a global vector as an overall moving amount of the image from the image to be encoded and the reference image; and a search area determining means for determining a motion vector search area in the reference image on the basis of predetermined conditions in a block to be encoded that is obtained by dividing the image to be encoded into a plurality of pixels on the basis of the moving amount of the important region calculated by the important region moving amount detecting means and the overall moving amount of the image calculated by the global vector detecting means. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は動きベクトル検出装置及び動きベクトル検出方法に関し、特に、映像データの符号化処理において動きベクトルを検出するために用いて好適な技術に関する。   The present invention relates to a motion vector detection apparatus and a motion vector detection method, and more particularly to a technique suitable for use in detecting a motion vector in video data encoding processing.

動画像信号を高能率で符号化する方法として、符号化対象画像と時間軸上で前後する画像を参照画像として画像間の動き量(動きベクトル)を利用することにより、冗長な情報を除いて伝送符号量を低減する方法が知られている。   As a method of encoding a moving image signal with high efficiency, redundant information is removed by using a motion amount (motion vector) between images using an image to be encoded and an image that precedes and follows on the time axis as a reference image. A method for reducing the transmission code amount is known.

例えば、MPEG2やH.264といった符号化方式では、画像を複数の画素からなるブロックに分割して、これらのブロック毎に画像の動きベクトルを検出する方法が用いられている。   For example, in an encoding method such as MPEG2 or H.264, a method is used in which an image is divided into blocks each composed of a plurality of pixels, and a motion vector of the image is detected for each block.

前述した動きベクトルを検出する方法として、ブロックマッチング方法が知られている。図8に示すように、ブロックマッチング方法は、符号化対象画像801を複数画素単位に分割した符号化対象ブロック802と、参照画像803において、符号化対象ブロック802と同一座標となるブロック804を決定する。   A block matching method is known as a method for detecting the motion vector described above. As shown in FIG. 8, in the block matching method, an encoding target block 802 obtained by dividing the encoding target image 801 into a plurality of pixels and a block 804 having the same coordinates as the encoding target block 802 in the reference image 803 are determined. To do.

さらに、符号化対象ブロック802と最も類似度の高いブロック806を、参照画像803内の所定の動きベクトル探索エリア805から探索する。最後に、前述したブロック804と前述したブロック806との間の動き量807を動きベクトルとして検出する方法である。   Further, the block 806 having the highest similarity with the encoding target block 802 is searched from a predetermined motion vector search area 805 in the reference image 803. Finally, the motion amount 807 between the block 804 and the block 806 is detected as a motion vector.

ここで、前述した所定の動きベクトル探索エリア805として、参照画像803全体を指定することが、符号量の観点から見た場合には最良である。しかしながら、近年の画像サイズの増加により参照画像全体を探索することは演算量が莫大になり、処理時間及び消費電力の面から見て現実的ではない。   Here, it is best to designate the entire reference image 803 as the predetermined motion vector search area 805 described above from the viewpoint of the code amount. However, searching for the entire reference image due to the recent increase in image size increases the amount of computation and is not realistic from the viewpoint of processing time and power consumption.

そこで、演算量を削減する方法として、初めに粗く探索を行い、その探索結果に基づき、次段の探索を行う手法が知られている(例えば、特許文献1参照)。特許文献1に記載の手法では、演算量の削減を見込むことが可能であるが、始めの探索における探索エリアの設定を誤った場合には、後段にも結果が影響する。このために、最終的に誤った動きベクトルを検出してしまい、高い圧縮効果を見込めない場合が生じるという問題もある。   Therefore, as a method for reducing the amount of calculation, a method is known in which a rough search is first performed, and a subsequent search is performed based on the search result (see, for example, Patent Document 1). With the method described in Patent Document 1, it is possible to expect a reduction in the amount of calculation, but if the search area is set incorrectly in the initial search, the result also affects the subsequent stage. For this reason, there is a problem that an erroneous motion vector is finally detected, and a high compression effect cannot be expected.

前述の動きベクトル探索エリア決定方法として、画像全体もしくは、複数に分割したエリアごとに動き量(グローバルベクトル)を算出して、グローバルベクトルの結果を基に探索エリアを決定する方法が知られている。   As the above-described motion vector search area determination method, a method is known in which a motion amount (global vector) is calculated for the entire image or for each divided area, and the search area is determined based on the result of the global vector. .

特開平10−164586号公報Japanese Patent Laid-Open No. 10-164586

しかしながら、前記のようにグローバルベクトルを用いた探索エリア決定方法においては、被写体の動き方向と背景の動き方向とが異なる場合に、所望の値と異なるという問題が生じる。前記問題が発生する場合の例を、図5を用いて説明する。   However, in the search area determination method using the global vector as described above, there is a problem that when the movement direction of the subject and the movement direction of the background are different, the desired value is different. An example where the above problem occurs will be described with reference to FIG.

図5(A)は、符号化対象画像501と符号化対象画像の直前の画像である参照画像502を示す。さらに、図5(B)は、符号化対象画像501と参照画像502の画像全体における移動量であるグローバルベクトル503を示す図である。   FIG. 5A shows an encoding target image 501 and a reference image 502 that is an image immediately before the encoding target image. Further, FIG. 5B is a diagram showing a global vector 503 that is a movement amount of the entire image to be encoded 501 and the reference image 502.

図5のように、参照画像502と符号化対象画像501との間において、被写体(人物)は画面内の左から右へ移動しているが、背景は右から左へ移動している。このような場合に探索エリアを誤る可能性が生じる。   As shown in FIG. 5, the subject (person) moves from left to right in the screen between the reference image 502 and the encoding target image 501, but the background moves from right to left. In such a case, there is a possibility that the search area is wrong.

図5で示すような場合には、画面全体の中で右から左へ移動する背景の占める割合が、背景とは逆方向の左から右へ移動する人物の領域より大きいために、画面全体の動き量であるグローバルベクトルは、矢印503のようになる。   In the case shown in FIG. 5, the ratio of the background moving from right to left in the entire screen is larger than the area of the person moving from left to right in the opposite direction to the background. The global vector that is the amount of motion is as indicated by an arrow 503.

ここで、図5(C)で示すように、符号化対象画像内の人物を示す領域のブロック504を符号化対象ブロックとした場合に、符号化対象ブロック504の位置を原点とする。そして、グローバルベクトル503が指し示す位置を中心に水平・垂直方向にそれぞれ所定画素分の位置を示す領域を動きベクトルの探索エリアとする。   Here, as shown in FIG. 5C, when the block 504 in the region indicating the person in the encoding target image is the encoding target block, the position of the encoding target block 504 is set as the origin. Then, an area indicating the position of a predetermined pixel in the horizontal and vertical directions around the position indicated by the global vector 503 is set as a motion vector search area.

図5(C)の場合には、本来の人物の移動方向とは逆を示すことにより、誤った位置を探索することとなる。したがって、前記探索エリア内において最も誤差の小さいブロックを算出したとしても、本来の探索エリアとは異なるために、動きベクトルの誤検出となり、高い圧縮効果を見込むことができないという問題が生じる。   In the case of FIG. 5C, an incorrect position is searched by showing the opposite direction of the original person's movement. Therefore, even if the block with the smallest error in the search area is calculated, it is different from the original search area, so that a motion vector is erroneously detected and a high compression effect cannot be expected.

本発明は前述の問題点に鑑み、目的とする探索エリア動きベクトル検出における動きベクトル探索範囲の精度を向上できるようにすることを目的としている。   The present invention has been made in view of the above-described problems, and an object of the present invention is to improve the accuracy of a motion vector search range in target search area motion vector detection.

本発明の動きベクトル検出装置は、入力された符号化対象画像及び参照画像のそれぞれにおいて、画像の重要領域を順次検出する重要領域検出手段と、前記重要領域検出手段により検出された前記重要領域の動き量を検出する重要領域動き量検出手段と、前記符号化対象画像と参照画像より画像間の全体的な動き量を示すグローバルベクトルを算出するグローバルベクトル検出手段と、前記重要領域動き量検出手段により算出された前記重要領域の動き量と、前記グローバルベクトル検出手段により算出されたグローバルベクトルとを基に、前記符号化対象画像を複数画素に分割した符号化対象ブロックにおける、参照画像内の動きベクトル探索エリアを所定の条件に基いて決定する探索エリア決定手段とを有することを特徴とする。   The motion vector detection apparatus of the present invention includes an important area detection unit that sequentially detects an important area of an image in each of an input encoding target image and a reference image, and the important area detected by the important area detection unit. An important region motion amount detection unit for detecting a motion amount, a global vector detection unit for calculating a global vector indicating an overall motion amount between the encoding target image and a reference image, and the important region motion amount detection unit The motion in the reference image in the encoding target block obtained by dividing the encoding target image into a plurality of pixels based on the amount of motion of the important region calculated by the global vector calculated by the global vector detecting unit. Search area determining means for determining a vector search area based on a predetermined condition.

本発明の動きベクトル検出方法は、入力された符号化対象画像及び参照画像のそれぞれにおいて、画像の重要領域を順次検出する重要領域検出工程と、前記重要領域検出工程において検出された前記重要領域の動き量を検出する重要領域動き量検出工程と、前記符号化対象画像と参照画像より画像間の全体的な動き量を示すグローバルベクトルを算出するグローバルベクトル検出工程と、前記重要領域動き量検出工程において算出された前記重要領域の動き量と、前記グローバルベクトル検出工程において算出されたグローバルベクトルとを基に、前記符号化対象画像を複数画素に分割した符号化対象ブロックにおける、参照画像内の動きベクトル探索エリアを所定の条件に基いて決定する探索エリア決定工程とを有することを特徴とする。   In the motion vector detection method of the present invention, an important region detection step of sequentially detecting an important region of an image in each of an input encoding target image and a reference image, and the important region detected in the important region detection step An important region motion amount detecting step for detecting a motion amount; a global vector detecting step for calculating a global vector indicating an overall motion amount between the encoding target image and the reference image; and the important region motion amount detecting step. The motion in the reference image in the encoding target block obtained by dividing the encoding target image into a plurality of pixels based on the amount of motion of the important region calculated in step 1 and the global vector calculated in the global vector detection step And a search area determining step for determining a vector search area based on a predetermined condition.

本発明のプログラムは、入力された符号化対象画像及び参照画像のそれぞれにおいて、画像の重要領域を順次検出する重要領域検出工程と、前記重要領域検出工程において検出された前記重要領域の動き量を検出する重要領域動き量検出工程と、
前記符号化対象画像と参照画像より画像間の全体的な動き量を示すグローバルベクトルを算出するグローバルベクトル検出工程と、前記重要領域動き量検出工程において算出された前記重要領域の動き量と、前記グローバルベクトル検出工程において算出されたグローバルベクトルとを基に、前記符号化対象画像を複数画素に分割した符号化対象ブロックにおける、参照画像内の動きベクトル探索エリアを所定の条件に基いて決定する探索エリア決定工程とをコンピュータに実行させることを特徴とする。
The program according to the present invention includes an important area detection step of sequentially detecting an important area of an image in each of an input encoding target image and a reference image, and an amount of motion of the important area detected in the important area detection step. An important area motion detection process to detect;
A global vector detecting step for calculating a global vector indicating an overall amount of motion between images from the encoding target image and a reference image; a motion amount of the important region calculated in the important region motion amount detecting step; A search for determining a motion vector search area in a reference image based on a predetermined condition in an encoding target block obtained by dividing the encoding target image into a plurality of pixels based on a global vector calculated in a global vector detection step The area determining step is executed by a computer.

本発明によれば、重要領域の動きベクトル検出における動きベクトル探索範囲の精度を向上させることにより予測精度の向上を実現することができ、これにより、画質向上を実現することができる。   According to the present invention, it is possible to improve the prediction accuracy by improving the accuracy of the motion vector search range in the motion vector detection of the important region, and thereby to improve the image quality.

(第1の実施形態)
以下に、本発明の好適な実施形態を用いる映像符号化装置の構成について、図1のブロック図を参照しながら説明する。
図1に示すように、本実施形態の映像符号化装置100は、差分計算部101において、入力画像と、予測画像生成部109により生成された予測画像との差分値を算出する。なお、予測画像生成部109における予測画像生成方法については後述する。
(First embodiment)
Hereinafter, the configuration of a video encoding device using a preferred embodiment of the present invention will be described with reference to the block diagram of FIG.
As illustrated in FIG. 1, in the video encoding device 100 according to the present embodiment, a difference calculation unit 101 calculates a difference value between an input image and a predicted image generated by the predicted image generation unit 109. The predicted image generation method in the predicted image generation unit 109 will be described later.

次に、直交変換部量子化部102において、差分計算部101から出力された入力画像と予測画像との差分値データを、画素ブロック単位に整数精度離散コサイン変換、及び離散アダマール変換による直交変換処理を行う。さらに、直交変換後のデータに対して量子化処理を行う。画素ブロック単位として、8×8画素、または4×4画素ブロック単位とする。   Next, in the orthogonal transform unit quantization unit 102, the orthogonal value conversion processing by the integer precision discrete cosine transform and the discrete Hadamard transform is performed on the difference value data between the input image output from the difference calculation unit 101 and the predicted image in units of pixel blocks. I do. Further, quantization processing is performed on the data after orthogonal transformation. The pixel block unit is 8 × 8 pixel or 4 × 4 pixel block unit.

次に、エントロピー符号化部103において、入力された量子化後のデータに対して、CAVLC、もしくはCABACなどのエントロピー符号化処理を行い、符号化データを出力する。CAVLCは、Context−based Adaptive Variable Length Codingである。また、CABACは、Context−based Adaptive Binary Arithmetic Codingである。   Next, the entropy encoding unit 103 performs entropy encoding processing such as CAVLC or CABAC on the input quantized data, and outputs encoded data. CAVLC is Context-based Adaptive Variable Length Coding. CABAC is Context-based Adaptive Binary Arithmetic Coding.

次に、予測画像生成に係る処理について説明する。
直交変換部量子化部102から出力された量子化後のデータに対して、逆量子化部逆直交変換部104において、逆量子化処理、逆直交変換処理を行う。さらに、予測画像生成部109から出力される予測画像を加算部110で加算したデータをデブロッキングフィルタ(Deblocking Filter)処理部105及びメモリA106へ出力する。
Next, processing related to prediction image generation will be described.
The inverse quantization unit inverse orthogonal transform unit 104 performs inverse quantization processing and inverse orthogonal transform processing on the quantized data output from the orthogonal transform unit quantization unit 102. Furthermore, the data obtained by adding the prediction image output from the prediction image generation unit 109 by the addition unit 110 is output to the deblocking filter processing unit 105 and the memory A106.

また、デブロッキングフィルタ処理部105においてデブロッキングフィルタ処理を施したデータをメモリB107へ格納する。ここで、メモリA106にはデブロッキング処理前のデータが格納され、メモリB107にはデブロッキングフィルタ後のデータが格納されることとなる。デブロッキングフィルタ処理部105は、整数変換のブロック境界のみを平滑化してブロックノイズの発生を抑制する。   Further, the data subjected to the deblocking filter processing in the deblocking filter processing unit 105 is stored in the memory B107. Here, the data before the deblocking process is stored in the memory A106, and the data after the deblocking filter is stored in the memory B107. The deblocking filter processing unit 105 smoothes only the block boundary of integer conversion and suppresses the occurrence of block noise.

次に、予測方法決定部108において、入力画像とメモリA106及びメモリB107に格納されているデータを用いて、予測画像の予測方法を決定する。画面内符号化については、メモリA106に格納されているデブロッキングフィルタ処理前のデータを用いて、所定の画素ブロック単位(例えば、16×16画素ブロック単位、8×8画素ブロック単位、4×4画素ブロック単位)で行う。さらに、所定の予測モードごとに、符号化効率を求める。   Next, the prediction method determination unit 108 determines the prediction method of the prediction image using the input image and the data stored in the memory A 106 and the memory B 107. For in-screen coding, data before deblocking filter processing stored in the memory A 106 is used to make a predetermined pixel block unit (for example, 16 × 16 pixel block unit, 8 × 8 pixel block unit, 4 × 4 unit). In pixel block units). Furthermore, encoding efficiency is calculated | required for every predetermined prediction mode.

一方、画面間符号化については、入力画像とメモリB107に格納されているデブロッキングフィルタ処理後のデータを用いて、符号化効率を求め、符号化効率の最適となる予測方法を決定する。本実施形態においては、入力画像がIスライスの場合には画面内符号化のみを採用し、Pスライス及びBスライスの場合には、画面内符号化及び画面間符号化より最適な符号化効率となる予測方法を選択する。   On the other hand, for inter-screen coding, the coding efficiency is obtained using the input image and the data after the deblocking filter processing stored in the memory B 107, and the prediction method that optimizes the coding efficiency is determined. In the present embodiment, when the input image is an I slice, only intra-frame coding is employed, and when the input image is a P slice and B slice, the coding efficiency is more optimal than intra-frame coding and inter-frame coding. Select a prediction method.

前述のような処理を行うことにより、最適な符号化効率が得られる予測方式及び符号化パラメータを出力することができる。予測画像生成部109では、予測方法決定部108により決定した予測方法に従って予測画像を生成する。そして、予測画像生成部109で生成した予測画像を加算部110に出力する。   By performing the processing as described above, it is possible to output a prediction method and encoding parameters that can obtain optimal encoding efficiency. The predicted image generation unit 109 generates a predicted image according to the prediction method determined by the prediction method determination unit 108. Then, the prediction image generated by the prediction image generation unit 109 is output to the addition unit 110.

次に、図2を用いて、図1の予測方法決定部108の構成例についてより詳細な説明を行う。
図2において、201は図1に示す予測方法決定部108と等しい。また、図1のメモリA106及びメモリB107と図2のメモリA207とメモリB200は同等であるものとする。
Next, the configuration example of the prediction method determination unit 108 in FIG. 1 will be described in more detail with reference to FIG.
2, 201 is equal to the prediction method determination unit 108 shown in FIG. Further, it is assumed that the memory A 106 and the memory B 107 in FIG. 1 are the same as the memory A 207 and the memory B 200 in FIG.

まず、図2の画面間予測探索エリア決定部202について説明する。
画面間予測探索エリア決定部202においては、画面間予測における参照画像内の探索エリア(動きベクトル探索領域)を決定する。
First, the inter-screen prediction search area determination unit 202 in FIG. 2 will be described.
The inter-screen prediction search area determination unit 202 determines a search area (motion vector search region) in the reference image in inter-screen prediction.

重要部検出部203では、現画像である入力画像とメモリB200から読み出した参照画像のそれぞれにおいて、所望の重要部を検出する。入力画像及び参照画像のそれぞれにおいて重要部を検出した場合には、その重要部の画面内における座標位置の情報についても重要部動き量検出部204へ送る。さらに、重要部が検出された場合には、検出した重要部の検出精度、または信頼度検出を行い、これらの情報についても重要部動き量検出部204へ送る。   The important part detection unit 203 detects a desired important part in each of the input image which is the current image and the reference image read from the memory B200. When an important part is detected in each of the input image and the reference image, information on the coordinate position in the screen of the important part is also sent to the important part motion amount detection unit 204. Further, when an important part is detected, detection accuracy or reliability of the detected important part is detected, and these pieces of information are also sent to the important part motion amount detection unit 204.

次に、重要部動き量検出部204において、重要部検出部203より重要部未検出信号を受けた場合には、同様に重要部未検出信号を探索エリア決定部205へ送る。また、重要部検出信号を受信した場合には、同信号と同様に重要部検出部203より受信した入力画像及び参照画像の重要部の座標位置情報を用いて、画像間の差分値より重要部の動き量を算出する。前述した重要部の動き量及び重要部検出信号を探索エリア決定部205へ送る。   Next, when the important part motion amount detection unit 204 receives an important part undetected signal from the important part detection unit 203, the important part undetected signal is similarly sent to the search area determination unit 205. Further, when the important part detection signal is received, the important part is detected from the difference value between the images using the coordinate position information of the important part of the input image and the reference image received from the important part detection unit 203 in the same manner as the signal. Is calculated. The important part motion amount and the important part detection signal described above are sent to the search area determining unit 205.

次に、グローバルベクトル検出部206においては、入力画像とメモリB200より読み出した参照画像より、画像全体の動き量を算出して、結果を探索エリア決定部205へ送る。なお、画像全体に限らず、画像を数個の領域に分割したときの分割領域ごとにグローバルベクトルを算出してもよい。グローバルベクトルとは、符号化対象画像と参照画像との画像間の全体的な動き量を示す値であって、画像の全体又は広範囲部分の比較によって算出される。   Next, the global vector detection unit 206 calculates the motion amount of the entire image from the input image and the reference image read from the memory B 200, and sends the result to the search area determination unit 205. Note that the global vector may be calculated for each divided region when the image is divided into several regions, not limited to the entire image. The global vector is a value indicating the overall amount of motion between the encoding target image and the reference image, and is calculated by comparing the entire image or a wide range portion.

探索エリア決定部205においては、重要部動き量検出部204より受信した重要部の有無を示す信号により、重要部がないと判断された場合には、グローバルベクトル検出部206より受信したグローバルベクトルを基に探索エリアを決定する。そして、決定した探索エリア情報を予測方法決定部209へ送る。また、重要部動き量検出部204より受信した重要部の有無を示す信号において、重要部があると判断された場合には、予測方法決定部201へ入力された入力画像が重要部検出エリア内であるか否かを判定する。   In the search area determination unit 205, when it is determined that there is no important part based on the signal indicating the presence / absence of the important part received from the important part motion amount detection unit 204, the global vector received from the global vector detection unit 206 is obtained. The search area is determined based on this. Then, the determined search area information is sent to the prediction method determination unit 209. Also, in the signal indicating the presence / absence of an important part received from the important part motion amount detection unit 204, when it is determined that there is an important part, the input image input to the prediction method determination unit 201 is within the important part detection area. It is determined whether or not.

ここで、入力された入力画像が重要部検出エリア外である場合には、グローバルベクトル検出部206より受信したグローバルベクトルを基に、探索エリアを決定する。また、入力された入力画像が重要部検出エリア内である場合には、重要部動き量検出部204より受信した重要部動き量情報を基に探索エリアを決定し、決定した探索エリア情報を予測方法決定部209へ送る。   Here, when the input image that has been input is outside the important part detection area, the search area is determined based on the global vector received from the global vector detection unit 206. If the input image is within the important part detection area, the search area is determined based on the important part motion amount information received from the important part motion amount detection unit 204, and the determined search area information is predicted. The data is sent to the method determination unit 209.

次に、画面内予測符号化モード決定部208において、入力画像とメモリA207から読み出した参照画像より画面内符号化の予測モードを決定し、予測方法決定部209へ送る。画面内予測符号化モード決定部208の詳細な構成については、本実施形態の映像符号化装置100で対象としている技術とは直接関連しないために、詳細な説明は省略する。予測方法決定部209では、画面内予測の情報と、画面間予測の情報を基に、最適な予測方法を選択して出力する。   Next, the intra prediction encoding mode determination unit 208 determines an intra encoding prediction mode from the input image and the reference image read from the memory A 207, and sends it to the prediction method determination unit 209. The detailed configuration of the intra prediction encoding mode determination unit 208 is not directly related to the technology targeted by the video encoding device 100 of the present embodiment, and thus detailed description thereof is omitted. The prediction method determination unit 209 selects and outputs an optimal prediction method based on the intra prediction information and the inter prediction information.

前述した実施形態では、グローバルベクトルを用いた動きベクトル探索エリア(動きベクトル探索エリア)決定方法より動きベクトルを検出する方法について説明した。例えば、符号化対象ブロック周辺の符号化済みブロックの動きベクトルより、該符号化対象ブロックの動きベクトルを予測して、該予測動きベクトルを用いて動きベクトル探索エリアを決定する方法を用いてもよい。   In the above-described embodiment, the method of detecting a motion vector using the motion vector search area (motion vector search area) determination method using the global vector has been described. For example, a method may be used in which the motion vector of the encoding target block is predicted from the motion vectors of the encoded blocks around the encoding target block, and the motion vector search area is determined using the predicted motion vector. .

(第2の実施形態)
以下に、図3のブロック図を参照しながら本発明の動きベクトル検出装置の構成例について説明する。
まず、顔領域検出部301において、画像の重要領域を順次検出する重要領域検出を行う。本実施形態においては、符号化対象画像及び参照画像における重要領域(重要部)として顔検出を行う。そして、検出結果として、顔検出有無信号、顔検出領域の画像内における座標位置情報及び顔検出における信頼度を示す情報を、重要領域動き量検出部として設けられている顔領域動き量検出部302へ送る。
(Second Embodiment)
Hereinafter, a configuration example of the motion vector detection device of the present invention will be described with reference to the block diagram of FIG.
First, the face area detection unit 301 performs important area detection that sequentially detects the important areas of the image. In the present embodiment, face detection is performed as an important region (important part) in the encoding target image and the reference image. Then, as a detection result, a face area motion amount detection unit 302 provided as an important region motion amount detection unit includes a face detection presence / absence signal, coordinate position information in the image of the face detection region, and information indicating reliability in face detection. Send to.

顔領域動き量検出部302では、顔領域検出部301より受信した顔検出有無信号より、符号化対象画像及び参照画像において顔が検出された場合に、それぞれの座標位置情報により、画像間の顔領域の動き量を算出する。この顔領域の動き量は座標位置の差分により算出する。そして、顔領域の動き量と、顔検出有無信号及び顔検出における信頼度を示す情報を探索エリア決定部304へ送る。また、グローバルベクトル検出部303では、符号化対象画像と参照画像より画像全体の動き量であるグローバルベクトルを算出して探索エリア決定部304へ出力する。   When the face area motion amount detection unit 302 detects a face in the encoding target image and the reference image from the face detection presence / absence signal received from the face area detection unit 301, the face area motion amount detection unit 302 uses the respective coordinate position information to determine the face between the images. The amount of movement of the area is calculated. The amount of movement of the face area is calculated from the difference in coordinate position. Then, the amount of movement of the face area, the face detection presence / absence signal, and information indicating the reliability in face detection are sent to the search area determination unit 304. In addition, the global vector detection unit 303 calculates a global vector that is the motion amount of the entire image from the encoding target image and the reference image, and outputs the global vector to the search area determination unit 304.

次に、探索エリア決定部304にて、符号化対象画像を複数画素に分割した符号化対象ブロックにおける、参照画像内の動きベクトル探索エリアを決定する。探索エリア決定部304の詳細な処理については後述する。   Next, the search area determination unit 304 determines a motion vector search area in the reference image in the encoding target block obtained by dividing the encoding target image into a plurality of pixels. Detailed processing of the search area determination unit 304 will be described later.

次に、参照ブロック生成部305では、参照画像を複数画素単位に分割した参照ブロックを生成する。ここで、探索エリア決定部304にて決定した探索エリア内より参照ブロックを生成する。   Next, the reference block generation unit 305 generates a reference block obtained by dividing the reference image into a plurality of pixels. Here, a reference block is generated from the search area determined by the search area determination unit 304.

次に、差分算出部306では、符号化対象ブロックと、参照ブロック生成部305において生成した参照ブロックとの画素単位の差分値を算出する。最後に、動きベクトル算出部307において、探索エリア内の参照ブロック毎に差分値を算出した結果を用いて、差分値が最小となる参照ブロックを決定して、該参照ブロックとの差分値を動きベクトルとして決定して出力する。   Next, the difference calculation unit 306 calculates a difference value in pixel units between the encoding target block and the reference block generated by the reference block generation unit 305. Finally, the motion vector calculation unit 307 uses the result of calculating the difference value for each reference block in the search area to determine the reference block having the smallest difference value, and moves the difference value with the reference block to the motion. Determine and output as a vector.

次に、図4のフローチャートを用いて、前述した探索エリア決定部304で行われる処理を詳細に説明する。
図4に示すように、先ず、ステップS401において、図3の顔領域動き量検出部302により入力される顔検出の有無を示す信号が、符号化対象画像及び参照画像において、顔が検出されたことを示す信号が入力されたか否かを判断する。この判断の結果、顔検出信号が入力された場合には、処理をステップS402へ移行する。また、顔検出信号が入力されなかった場合には、処理をステップS403へ移行する。
Next, the process performed by the search area determination unit 304 described above will be described in detail using the flowchart of FIG.
As shown in FIG. 4, first, in step S401, a signal indicating presence / absence of face detection input by the face area motion amount detection unit 302 in FIG. 3 is detected in the encoding target image and the reference image. It is determined whether or not a signal indicating this is input. If a face detection signal is input as a result of this determination, the process proceeds to step S402. If no face detection signal is input, the process proceeds to step S403.

ステップS402では、符号化対象ブロックの全部または一部が顔検出領域内にあるか否かを判定する。この判定の結果、符号化対象ブロックの全部または一部が顔検出領域内にあると判定された場合には、処理をステップS404へ移行する。また、前述した判定において、顔検出領域内にはないと判定された場合、つまり、符号化対象ブロックが顔検出領域内に含まれない場合には、処理をステップS403へ移行する。   In step S402, it is determined whether all or part of the encoding target block is within the face detection area. As a result of this determination, if it is determined that all or part of the encoding target block is within the face detection area, the process proceeds to step S404. If it is determined in the above-described determination that it is not within the face detection area, that is, if the encoding target block is not included in the face detection area, the process proceeds to step S403.

ステップS403では、図3のグローバルベクトル検出部303より入力されるグローバルベクトルを用いて、動きベクトルの探索エリアを決定する。また、ステップS404では、図3で示す顔検出動き量検出部302より入力される顔検出領域の動き量を用いて、動きベクトルの探索エリアを決定して出力する。   In step S403, a motion vector search area is determined using the global vector input from the global vector detection unit 303 in FIG. In step S404, a motion vector search area is determined and output using the motion amount of the face detection area input from the face detection motion amount detection unit 302 shown in FIG.

次に、図4のフローチャートにおけるステップS403及びステップS404の探索エリアの決定処理について、図6及び図7を用いて説明する。
まず、図6を参照しながら、図4のフローチャートにおけるステップS403で行われる処理である、グローバルベクトルを用いた動きベクトル探索エリアの決定処理について説明する。
Next, the search area determination processing in step S403 and step S404 in the flowchart of FIG. 4 will be described with reference to FIGS.
First, with reference to FIG. 6, a description will be given of a motion vector search area determination process using a global vector, which is a process performed in step S403 in the flowchart of FIG.

図6(A)では、符号化対象画像601と参照画像602において、画像全体の移動量であるグローバルベクトル603を示す図である。さらに、図6(B)では、符号化対象ブロック604を原点として、グローバルベクトル603が指し示す位置を中心とした動きベクトル探索エリア605を示す図である。   FIG. 6A is a diagram illustrating a global vector 603 that is a movement amount of the entire image in the encoding target image 601 and the reference image 602. Further, FIG. 6B is a diagram showing a motion vector search area 605 centered on the position indicated by the global vector 603 with the encoding target block 604 as the origin.

図6(A)、(B)で示すように、顔検出領域外の符号化対象ブロックの動きベクトル探索エリア決定方法については、グローバルベクトルを用いた方法により決定する。   As shown in FIGS. 6A and 6B, the motion vector search area determination method for the encoding target block outside the face detection region is determined by a method using a global vector.

次に、図4のフローチャートにおけるステップS404で行われる、顔検出領域の動き量を用いた動きベクトル探索エリアの決定処理について、図7を参照しながら説明する。
図7(A)では、符号化対象画像701と参照画像702について、顔検出領域703、704をそれぞれで示す。
Next, the motion vector search area determination process using the motion amount of the face detection area performed in step S404 in the flowchart of FIG. 4 will be described with reference to FIG.
In FIG. 7A, face detection areas 703 and 704 are shown for the encoding target image 701 and the reference image 702, respectively.

さらに、図7(B)では、符号化対象画像701と参照画像702における顔検出領域動き量705を示す。この顔検出領域動き量705は、各画像における顔検出領域703、704の座標の差分値により算出する。   Further, FIG. 7B shows the face detection area motion amount 705 in the encoding target image 701 and the reference image 702. The face detection area motion amount 705 is calculated from the difference value of the coordinates of the face detection areas 703 and 704 in each image.

次に、図7(C)では、顔検出領域内の符号化対象ブロック706において、符号化対象ブロック706を原点にして、顔検出領域動き量705が指し示す位置707を中心とした動きベクトル探索エリア704を示す。前述したように、顔検出領域内の符号化対象ブロックについては、顔検出領域動き量705を用いて動きベクトル探索エリア704を決定する。   Next, in FIG. 7C, in the encoding target block 706 in the face detection area, the motion vector search area centering on the position 707 indicated by the face detection area motion amount 705 with the encoding target block 706 as the origin. 704 is shown. As described above, the motion vector search area 704 is determined using the face detection area motion amount 705 for the encoding target block in the face detection area.

次に、顔検出における信頼度を用いた動きベクトル探索エリア決定方法の制御について、図9のフローチャートを用いて説明する。
図9のステップS901において、図3の顔領域動き量検出部302により入力される顔検出の有無を示す信号が、符号化対象画像及び参照画像において、顔が検出されたことを示す信号が入力されたか否かを判定する。この判定の結果、入力された場合には、処理をステップS902へ移行する。また、符号化対象画像または参照画像において、顔検出を行った結果、顔が検出されなかった場合には、処理をステップS904へ移行する。
Next, control of a motion vector search area determination method using reliability in face detection will be described with reference to the flowchart of FIG.
In step S901 in FIG. 9, a signal indicating the presence or absence of face detection input by the face region motion amount detection unit 302 in FIG. 3 is input as a signal indicating that a face has been detected in the encoding target image and the reference image. It is determined whether or not it has been done. As a result of this determination, if it is input, the process proceeds to step S902. If no face is detected as a result of face detection in the encoding target image or the reference image, the process proceeds to step S904.

ステップS902では、符号化対象ブロックの全部または一部が顔検出領域内にあるか否かを判定する。この判定の結果、符号化対象ブロックの全部または一部が顔検出領域内にあると判定された場合には、処理をステップS903へ移行する。また、ステップS902の判定において否と判定された場合、つまり符号化対象ブロックが顔検出領域内に含まれない場合には、処理をステップS904へ移行する。   In step S902, it is determined whether all or part of the encoding target block is within the face detection area. As a result of this determination, if it is determined that all or part of the encoding target block is within the face detection area, the process proceeds to step S903. If NO in step S902, that is, if the encoding target block is not included in the face detection area, the process proceeds to step S904.

ステップS903では、入力される顔検出における信頼度が予め設定された所定の閾値以上であるか否かを判定する。この判定の結果、顔検出の信頼度が予め設定された所定の閾値以上であれば、処理をステップS905へ移行する。また、顔検出の信頼度が予め設定された所定の閾値未満の場合には、処理をステップS904へ移行する。   In step S903, it is determined whether or not the input face detection reliability is equal to or higher than a predetermined threshold. As a result of the determination, if the reliability of face detection is equal to or greater than a predetermined threshold value, the process proceeds to step S905. If the face detection reliability is less than a predetermined threshold value, the process proceeds to step S904.

次に、ステップS904では、図3のグローバルベクトル検出部303より入力されるグローバルベクトルを用いて、動きベクトルの探索エリアを決定する。また、ステップS905では、図3で示す顔検出動き量検出部302より入力される顔検出領域の動き量を用いて、動きベクトルの探索エリアを決定して出力する。   Next, in step S904, a motion vector search area is determined using the global vector input from the global vector detection unit 303 in FIG. In step S905, a motion vector search area is determined and output using the motion amount of the face detection area input from the face detection motion amount detection unit 302 shown in FIG.

次に、顔検出領域の動き量とグローバルベクトルとの比較結果を用いた動きベクトル探索エリア決定方法の制御について、図10のフローチャートを用いて説明する。
図10に示すように、ステップS1001において、図3の顔領域動き量検出部302により入力される顔検出の有無を示す信号が、符号化対象画像及び参照画像において、顔が検出されたことを示す信号が入力されたか否かを判定する。この判定の結果、入力された場合には、処理をステップS1002へ移行する。また、符号化対象画像または参照画像において、顔検出を行った結果、顔が検出されなかった場合には、処理をステップS1004へ移行する。
Next, control of the motion vector search area determination method using the comparison result between the motion amount of the face detection area and the global vector will be described with reference to the flowchart of FIG.
As shown in FIG. 10, in step S1001, a signal indicating presence / absence of face detection input by the face area motion amount detection unit 302 in FIG. 3 indicates that a face is detected in the encoding target image and the reference image. It is determined whether or not the indicated signal is input. As a result of this determination, if it is input, the process proceeds to step S1002. If no face is detected as a result of face detection in the encoding target image or the reference image, the process proceeds to step S1004.

ステップS1002においては、符号化対象ブロックの全部または一部が顔検出領域内にあるか否かを判定する。この判定の結果、符号化対象ブロックの全部または一部が顔検出領域内にあると判定された場合には、処理をステップS1003へ移行する。また、前記判定において否と判定された場合、つまり、符号化対象ブロックが顔検出領域内に含まれない場合には、処理をステップS1004へ移行する。   In step S1002, it is determined whether all or part of the encoding target block is within the face detection area. As a result of this determination, if it is determined that all or part of the encoding target block is within the face detection area, the process proceeds to step S1003. If the determination is negative, that is, if the encoding target block is not included in the face detection area, the process proceeds to step S1004.

ステップS1003においては、顔検出領域の動き量とグローバルベクトルの差分値を算出し、差分値が予め設定された所定の閾値以上であるか否かを判定する。この判定の結果、差分値が予め設定された所定の閾値以上であれば、処理をステップS1005へ移行する。また、該差分値が予め設定された所定の閾値未満の場合には、処理をステップS1004へ移行する。   In step S1003, a difference value between the motion amount of the face detection area and the global vector is calculated, and it is determined whether or not the difference value is equal to or greater than a predetermined threshold value. If the result of this determination is that the difference value is greater than or equal to a predetermined threshold value, the process moves to step S1005. If the difference value is less than a predetermined threshold value set in advance, the process proceeds to step S1004.

次に、ステップS1004においては、図3のグローバルベクトル検出部303より入力されるグローバルベクトルを用いて、動きベクトルの探索エリアを決定する。また、ステップS1005では、図3で示す顔検出動き量検出部302より入力される顔検出領域の動き量を用いて、動きベクトルの探索エリアを決定して出力する。   Next, in step S1004, a motion vector search area is determined using the global vector input from the global vector detection unit 303 in FIG. In step S1005, a motion vector search area is determined and output using the motion amount of the face detection area input from the face detection motion amount detection unit 302 shown in FIG.

次に、符号化対象画像を所定数に分割し、分割した画像毎に動きベクトルの探索エリアを決定する際の制御方法について説明する。
本実施形態においては、顔検出領域の占める割合を分割エリア毎(分割ブロック毎)に判定し、顔検出領域の占める割合が予め設定された所定の閾値以上であれば、その分割エリアについては、顔検出領域の動き量を用いた動きベクトル探索エリア決定方法を用いる。
Next, a control method for dividing the encoding target image into a predetermined number and determining a motion vector search area for each divided image will be described.
In the present embodiment, the ratio of the face detection area is determined for each divided area (each divided block), and if the ratio of the face detection area is equal to or greater than a predetermined threshold value, A motion vector search area determination method using the amount of motion of the face detection area is used.

また、該分割エリアにおいて、顔検出領域の占める割合が予め設定された所定の閾値未満の場合には、該分割エリアについては、グローバルベクトルを用いた動きベクトル探索エリア決定方法を用いる。エリア毎に、前記動きベクトル探索エリア決定方法より求めた探索エリアについて、最適な参照ブロックを選定して動きベクトルを検出する。   If the ratio of the face detection area in the divided area is less than a predetermined threshold value, a motion vector search area determination method using a global vector is used for the divided area. For each area, an optimal reference block is selected for the search area obtained by the motion vector search area determination method, and a motion vector is detected.

次に、図3の顔領域検出部301において、複数の顔領域を検出した場合の処理について説明する。
前記のように複数の顔領域を検出した場合には、図3の顔領域動き量検出部302において、符号化対象画像内の顔検出領域毎に、複数ある参照画像内の顔検出領域毎に顔検出領域の動き量を算出する。そして、算出した複数の顔検出領域の動き量の中で、最小値のみを割り当てる。
Next, processing when a plurality of face areas are detected in the face area detection unit 301 of FIG. 3 will be described.
When a plurality of face areas are detected as described above, the face area motion amount detection unit 302 in FIG. 3 detects each face detection area in the encoding target image and each face detection area in a plurality of reference images. The amount of motion in the face detection area is calculated. Then, only the minimum value among the calculated motion amounts of the plurality of face detection areas is assigned.

次に、図3の探索エリア決定部304において、符号化対象ブロックが、顔検出領域内に全部または一部が含まれる場合には、該顔検出領域に割り当てられた顔検出領域の動き量を用いて、動きベクトル探索エリアを求めるものとする。前記手段により、顔領域検出において、複数の顔が検出された場合においても、効果的な動きベクトル検出を実現する。   Next, in the search area determination unit 304 in FIG. 3, when the encoding target block is entirely or partially included in the face detection area, the motion amount of the face detection area assigned to the face detection area is calculated. And a motion vector search area is obtained. The above means realizes effective motion vector detection even when a plurality of faces are detected in face area detection.

(本発明に係る他の実施の形態)
前述した本発明の実施の形態における動きベクトル検出装置を構成する各手段は、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
(Another embodiment according to the present invention)
Each means constituting the motion vector detection device in the above-described embodiment of the present invention can be realized by operating a program stored in a RAM or ROM of a computer. This program and a computer-readable recording medium recording the program are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。   In addition, the present invention can be implemented as a system, apparatus, method, program, storage medium, or the like, and can be applied to a system composed of a plurality of devices. Moreover, you may apply to the apparatus which consists of one apparatus.

なお、本発明は、前述した動きベクトル検出方法における各工程を実行するソフトウェアのプログラム(実施の形態では図4、図9及び図10に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。   In the present invention, a software program (in the embodiment, a program corresponding to the flowcharts shown in FIGS. 4, 9, and 10) that executes each step in the motion vector detection method described above is directly transferred to a system or apparatus. Alternatively, it is supplied from a remote location. In addition, this includes a case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。   Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。   In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.

プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などがある。   Various recording media can be used as a recording medium for supplying the program. For example, floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD- R).

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。   As another program supply method, a browser on a client computer is used to connect to an Internet home page. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。   It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.

また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。   In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. Let It is also possible to execute the encrypted program by using the key information and install the program on a computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行うことによっても前述した実施の形態の機能が実現され得る。   In addition to the functions of the above-described embodiments being realized by the computer executing the read program, the OS running on the computer performs part or all of the actual processing. Also, the functions of the above-described embodiments can be realized.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。   Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.

第1の実施形態を示し、映像符号化装置のブロック図である。1 is a block diagram of a video encoding device according to a first embodiment. FIG. 第1の実施形態を示し、予測方法決定部の構成例を説明するブロック図である。It is a block diagram which shows 1st Embodiment and demonstrates the structural example of a prediction method determination part. 第2の実施形態を示し、顔検出を用いた動きベクトル検出部の構成例を示すブロック図である。It is a block diagram which shows 2nd Embodiment and shows the structural example of the motion vector detection part using face detection. 第2の実施形態を示し、動きベクトル探索エリア決定処理の手順を説明するフローチャートである。It is a flowchart which shows 2nd Embodiment and demonstrates the procedure of a motion vector search area determination process. 従来例を示し、被写体と背景の動き方向とが異なる場合を説明する図である。It is a figure which shows a prior art example and demonstrates the case where a to-be-photographed object and the movement direction of a background differ. 第2の実施形態を示し、グローバルベクトルを用いた動きベクトル探索エリアの決定処理について説明する図である。It is a figure which shows 2nd Embodiment and demonstrates the determination process of the motion vector search area using a global vector. 第2の実施形態を示し、動きベクトル探索エリア決定処理について説明する図である。It is a figure which shows 2nd Embodiment and demonstrates a motion vector search area determination process. 動きベクトルを検出する方法として用いられるブロックマッチング方法を説明する図である。It is a figure explaining the block matching method used as a method of detecting a motion vector. 第2の実施形態を示し、顔検出における信頼度を用いた動きベクトル探索エリア決定方法の制御手順を説明するフローチャートである。It is a flowchart which shows 2nd Embodiment and demonstrates the control procedure of the motion vector search area determination method using the reliability in face detection. 第2の実施形態を示し、顔検出領域の動き量とグローバルベクトルとの比較結果を用いた動きベクトル探索エリア決定方法の制御手順を説明するフローチャートである。10 is a flowchart illustrating a control procedure of a motion vector search area determination method using a comparison result between a motion amount of a face detection region and a global vector according to the second embodiment.

符号の説明Explanation of symbols

100 映像符号化装置
101 差分計算部
102 直交変換部量子化部
103 エントロピー符号化部
104 逆量子化部逆直交変換部
105 デブロッキングフィルタ処理部
106 メモリA
107 メモリB
108 予測方法決定部
109 予測画像生成部
110 加算部
200 メモリB
201 予測方法決定部
202 画面間予測探索エリア決定部
203 重要部検出部
204 重要部動き量検出部
205 探索エリア決定部
206 グローバルベクトル検出部
207 メモリA
208 画面内予測符号化モード決定部
209 予測方法決定部
301 顔領域検出部
302 顔領域動き量検出部
303 グローバルベクトル検出部
304 探索エリア決定部
305 参照ブロック生成部
306 差分算出部
307 動きベクトル算出部
DESCRIPTION OF SYMBOLS 100 Video coding apparatus 101 Difference calculation part 102 Orthogonal transformation part Quantization part 103 Entropy coding part 104 Inverse quantization part Inverse orthogonal transformation part 105 Deblocking filter process part 106 Memory A
107 Memory B
108 Prediction method determination unit 109 Prediction image generation unit 110 Addition unit 200 Memory B
201 prediction method determining unit 202 inter-screen prediction search area determining unit 203 important part detecting unit 204 important part motion amount detecting unit 205 search area determining unit 206 global vector detecting unit 207 memory A
208 Intra-screen predictive coding mode determination unit 209 Prediction method determination unit 301 Face region detection unit 302 Face region motion amount detection unit 303 Global vector detection unit 304 Search area determination unit 305 Reference block generation unit 306 Difference calculation unit 307 Motion vector calculation unit

Claims (12)

入力された符号化対象画像及び参照画像のそれぞれにおいて、画像の重要領域を順次検出する重要領域検出手段と、
前記重要領域検出手段により検出された前記重要領域の動き量を検出する重要領域動き量検出手段と、
前記符号化対象画像と参照画像より画像間の全体的な動き量を示すグローバルベクトルを算出するグローバルベクトル検出手段と、
前記重要領域動き量検出手段により算出された前記重要領域の動き量と、前記グローバルベクトル検出手段により算出されたグローバルベクトルとを基に、前記符号化対象画像を複数画素に分割した符号化対象ブロックにおける、参照画像内の動きベクトル探索エリアを所定の条件に基いて決定する探索エリア決定手段とを有することを特徴とする動きベクトル検出装置。
An important area detecting means for sequentially detecting an important area of the image in each of the input encoding target image and the reference image;
An important region motion amount detection means for detecting a motion amount of the important region detected by the important region detection means;
Global vector detecting means for calculating a global vector indicating an overall motion amount between images from the encoding target image and a reference image;
An encoding target block obtained by dividing the encoding target image into a plurality of pixels based on the amount of motion of the important region calculated by the important region motion amount detection unit and the global vector calculated by the global vector detection unit. And a search area determining means for determining a motion vector search area in the reference image based on a predetermined condition.
前記探索エリア決定手段は、前記符号化対象ブロックの全部もしくは一部が前記重要領域に含まれる場合に、前記重要領域動き量検出手段により算出された前記重要領域の動き量により動きベクトル探索領域を決定することを特徴とする請求項1に記載の動きベクトル検出装置。   The search area determining means determines a motion vector search area based on the amount of motion of the important area calculated by the important area motion amount detecting means when all or part of the encoding target block is included in the important area. The motion vector detection device according to claim 1, wherein the motion vector detection device is determined. 前記重要領域検出手段における検出結果の精度または信頼度を検出する信頼度検出手段を有し、
前記探索エリア決定手段は、前記重要領域検出手段により検出された精度または信頼度が予め設定された閾値以上である場合に、前記重要領域動き量検出手段により算出された前記重要領域の動き量により動きベクトル探索領域を決定することを特徴とする請求項1に記載の動きベクトル検出装置。
Having reliability detection means for detecting the accuracy or reliability of the detection result in the important area detection means,
The search area determining unit is configured to calculate the amount of motion of the important region calculated by the important region motion amount detecting unit when the accuracy or reliability detected by the important region detecting unit is equal to or higher than a preset threshold. The motion vector detection device according to claim 1, wherein a motion vector search region is determined.
前記重要領域の動き量と前記グローバルベクトルの差分値を算出する差分算出手段を有し、
前記探索エリア決定手段は、前記重要領域の動き量と前記グローバルベクトルの差分値が予め設定された閾値以上である場合に、前記重要領域動き量検出手段により算出された前記重要領域の動き量により動きベクトル探索領域を決定することを特徴とする請求項1に記載の動きベクトル検出装置。
A difference calculating means for calculating a difference value between the amount of motion of the important region and the global vector;
The search area determining means determines the amount of motion of the important area calculated by the important area motion amount detecting means when the difference value between the amount of motion of the important area and the global vector is equal to or greater than a preset threshold value. The motion vector detection device according to claim 1, wherein a motion vector search region is determined.
前記重要領域の占める割合を分割エリア毎に判定する判定手段を有し、
前記探索エリア決定手段は、前記重要領域の占める割合が予め設定された所定の閾値以上である場合に、前記重要領域動き量検出手段により算出された前記重要領域の動き量により動きベクトル探索領域を決定することを特徴とする請求項1に記載の動きベクトル検出装置。
A determination means for determining a ratio of the important area for each divided area;
The search area determining means determines a motion vector search area based on the amount of motion of the important area calculated by the important area motion amount detecting means when the proportion of the important area is equal to or greater than a predetermined threshold. The motion vector detection device according to claim 1, wherein the motion vector detection device is determined.
入力された符号化対象画像及び参照画像のそれぞれにおいて、画像の重要領域を順次検出する重要領域検出工程と、
前記重要領域検出工程において検出された前記重要領域の動き量を検出する重要領域動き量検出工程と、
前記符号化対象画像と参照画像より画像間の全体的な動き量を示すグローバルベクトルを算出するグローバルベクトル検出工程と、
前記重要領域動き量検出工程において算出された前記重要領域の動き量と、前記グローバルベクトル検出工程において算出されたグローバルベクトルとを基に、前記符号化対象画像を複数画素に分割した符号化対象ブロックにおける、参照画像内の動きベクトル探索エリアを所定の条件に基いて決定する探索エリア決定工程とを有することを特徴とする動きベクトル検出方法。
In each of the input encoding target image and the reference image, an important region detection step of sequentially detecting an important region of the image,
An important region motion amount detection step for detecting a motion amount of the important region detected in the important region detection step;
A global vector detection step of calculating a global vector indicating an overall motion amount between images from the encoding target image and a reference image;
An encoding target block obtained by dividing the encoding target image into a plurality of pixels based on the amount of motion of the important region calculated in the important region motion amount detection step and the global vector calculated in the global vector detection step. And a search area determining step of determining a motion vector search area in the reference image based on a predetermined condition.
前記探索エリア決定工程は、前記符号化対象ブロックの全部もしくは一部が前記重要領域に含まれる場合に、前記重要領域動き量検出工程において算出された前記重要領域の動き量により動きベクトル探索領域を決定することを特徴とする請求項6に記載の動きベクトル検出方法。   In the search area determination step, when all or a part of the encoding target block is included in the important region, a motion vector search region is determined based on the amount of motion of the important region calculated in the important region motion amount detection step. The motion vector detection method according to claim 6, wherein the motion vector detection method is determined. 前記重要領域検出工程における検出結果の精度または信頼度を検出する信頼度検出工程を有し、
前記探索エリア決定工程は、前記重要領域検出工程において検出された精度または信頼度が予め設定された閾値以上である場合に、前記重要領域動き量検出工程において算出された前記重要領域の動き量により動きベクトル探索領域を決定することを特徴とする請求項6に記載の動きベクトル検出方法。
A reliability detection step of detecting the accuracy or reliability of the detection result in the important region detection step;
In the search area determination step, when the accuracy or reliability detected in the important region detection step is greater than or equal to a preset threshold value, the search area determination step uses the motion amount of the important region calculated in the important region motion amount detection step. The motion vector detection method according to claim 6, wherein a motion vector search region is determined.
前記重要領域の動き量と前記グローバルベクトルの差分値を算出する差分算出工程を有し、
前記探索エリア決定工程は、前記重要領域の動き量と前記グローバルベクトルの差分値が予め設定された閾値以上である場合に、前記重要領域動き量検出工程において算出された前記重要領域の動き量により動きベクトル探索領域を決定することを特徴とする請求項6に記載の動きベクトル検出方法。
A difference calculating step of calculating a difference value between the amount of motion of the important region and the global vector,
In the search area determination step, when the difference value between the motion amount of the important region and the global vector is equal to or larger than a preset threshold value, the search area determination step uses the motion amount of the important region calculated in the important region motion amount detection step. The motion vector detection method according to claim 6, wherein a motion vector search region is determined.
前記重要領域の占める割合を分割エリア毎に判定する判定工程を有し、
前記探索エリア決定工程は、前記重要領域の占める割合が予め設定された所定の閾値以上である場合に、前記重要領域動き量検出工程において算出された前記重要領域の動き量により動きベクトル探索領域を決定することを特徴とする請求項6に記載の動きベクトル検出方法。
A determination step of determining the proportion of the important area for each divided area;
The search area determination step determines a motion vector search region based on a motion amount of the important region calculated in the important region motion amount detection step when a ratio of the important region is equal to or more than a predetermined threshold value set in advance. The motion vector detection method according to claim 6, wherein the motion vector detection method is determined.
入力された符号化対象画像及び参照画像のそれぞれにおいて、画像の重要領域を順次検出する重要領域検出工程と、
前記重要領域検出工程において検出された前記重要領域の動き量を検出する重要領域動き量検出工程と、
前記符号化対象画像と参照画像より画像間の全体的な動き量を示すグローバルベクトルを算出するグローバルベクトル検出工程と、
前記重要領域動き量検出工程において算出された前記重要領域の動き量と、前記グローバルベクトル検出工程において算出されたグローバルベクトルとを基に、前記符号化対象画像を複数画素に分割した符号化対象ブロックにおける、参照画像内の動きベクトル探索エリアを所定の条件に基いて決定する探索エリア決定工程とをコンピュータに実行させることを特徴とするプログラム。
In each of the input encoding target image and the reference image, an important region detection step of sequentially detecting an important region of the image,
An important region motion amount detection step for detecting a motion amount of the important region detected in the important region detection step;
A global vector detection step of calculating a global vector indicating an overall motion amount between images from the encoding target image and a reference image;
An encoding target block obtained by dividing the encoding target image into a plurality of pixels based on the amount of motion of the important region calculated in the important region motion amount detection step and the global vector calculated in the global vector detection step. And a search area determining step for determining a motion vector search area in a reference image based on a predetermined condition.
請求項11に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。   A computer-readable storage medium storing the program according to claim 11.
JP2008282279A 2008-10-31 2008-10-31 Motion vector detection apparatus and program Active JP5517436B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008282279A JP5517436B2 (en) 2008-10-31 2008-10-31 Motion vector detection apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008282279A JP5517436B2 (en) 2008-10-31 2008-10-31 Motion vector detection apparatus and program

Publications (2)

Publication Number Publication Date
JP2010109917A true JP2010109917A (en) 2010-05-13
JP5517436B2 JP5517436B2 (en) 2014-06-11

Family

ID=42298867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008282279A Active JP5517436B2 (en) 2008-10-31 2008-10-31 Motion vector detection apparatus and program

Country Status (1)

Country Link
JP (1) JP5517436B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10893290B2 (en) 2016-12-27 2021-01-12 Fujitsu Limited Apparatus for moving image coding, apparatus for moving image decoding, and non-transitory computer-readable storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000278694A (en) * 1999-03-19 2000-10-06 Canon Inc Encoding device, image processor, image processing system, encoding method and storage medium
JP2005523541A (en) * 2002-06-11 2005-08-04 株式会社ソニー・コンピュータエンタテインメント System and method for compressing 3D computer graphics
JP2005354528A (en) * 2004-06-11 2005-12-22 Canon Inc Device and method for detecting motion vector
JP2007036889A (en) * 2005-07-28 2007-02-08 Sanyo Electric Co Ltd Coding method
JP2007067796A (en) * 2005-08-31 2007-03-15 Sanyo Electric Co Ltd Coding method
JP2007074031A (en) * 2005-09-02 2007-03-22 Canon Inc Imaging device, and image processing apparatus and method therefor
JP2008158790A (en) * 2006-12-22 2008-07-10 Matsushita Electric Works Ltd Human body detecting device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000278694A (en) * 1999-03-19 2000-10-06 Canon Inc Encoding device, image processor, image processing system, encoding method and storage medium
JP2005523541A (en) * 2002-06-11 2005-08-04 株式会社ソニー・コンピュータエンタテインメント System and method for compressing 3D computer graphics
JP2005354528A (en) * 2004-06-11 2005-12-22 Canon Inc Device and method for detecting motion vector
JP2007036889A (en) * 2005-07-28 2007-02-08 Sanyo Electric Co Ltd Coding method
JP2007067796A (en) * 2005-08-31 2007-03-15 Sanyo Electric Co Ltd Coding method
JP2007074031A (en) * 2005-09-02 2007-03-22 Canon Inc Imaging device, and image processing apparatus and method therefor
JP2008158790A (en) * 2006-12-22 2008-07-10 Matsushita Electric Works Ltd Human body detecting device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10893290B2 (en) 2016-12-27 2021-01-12 Fujitsu Limited Apparatus for moving image coding, apparatus for moving image decoding, and non-transitory computer-readable storage medium

Also Published As

Publication number Publication date
JP5517436B2 (en) 2014-06-11

Similar Documents

Publication Publication Date Title
RU2731026C1 (en) Predictive coding method, predictive coding device and predictive coding method of motion vector and predictive decoding method, predictive decoding device and motion vector prediction decoding program
JP6535780B2 (en) Image prediction decoding device and image prediction decoding method
JP5422168B2 (en) Video encoding method and video decoding method
EP2664142B1 (en) Video encoding and decoding with improved error resilience
US8761254B2 (en) Image prediction encoding device, image prediction decoding device, image prediction encoding method, image prediction decoding method, image prediction encoding program, and image prediction decoding program
US20150110183A1 (en) Image predictive encoding and decoding device
JP2011511541A (en) Method, apparatus, and system for interframe predictive coding
JP2011514773A (en) Video coding and decoding method and apparatus using continuous motion estimation
KR102267770B1 (en) Method and device for determining a set of modifiable elements in a group of pictures
CN109862365B (en) Image data processing method and device
JP2005354528A (en) Device and method for detecting motion vector
JP2011029863A (en) Decoding processing method
JP4445463B2 (en) Video re-encoding method and apparatus
KR102231969B1 (en) Spatial prediction with increased number of possible modes
JP2009509415A (en) Adaptive influence area filter
JP2009272702A (en) Motion vector searching apparatus and control method thereof
JP5517436B2 (en) Motion vector detection apparatus and program
JP2007110409A (en) Image processing device and program for making computer perform image processing method
JP4429996B2 (en) Moving picture coding program, moving picture coding method, and moving picture coding apparatus
JP2007174202A (en) Motion vector detecting device and method therefor
JP5281597B2 (en) Motion vector prediction method, motion vector prediction apparatus, and motion vector prediction program
JP4685825B2 (en) Moving picture decoding apparatus, method and program, and moving picture encoding apparatus, method and program
Mohamed et al. Real-time motion estimation based video steganography with preserved consistency and local optimality
US9521417B2 (en) Video encoding device using predicted motion vector for blocks of different size
JP2009272701A (en) Motion vector searching apparatus and control method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120731

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130521

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140401

R151 Written notification of patent or utility model registration

Ref document number: 5517436

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151