JP2006186504A - Apparatus and method of image processing, recording medium, and program - Google Patents

Apparatus and method of image processing, recording medium, and program Download PDF

Info

Publication number
JP2006186504A
JP2006186504A JP2004375916A JP2004375916A JP2006186504A JP 2006186504 A JP2006186504 A JP 2006186504A JP 2004375916 A JP2004375916 A JP 2004375916A JP 2004375916 A JP2004375916 A JP 2004375916A JP 2006186504 A JP2006186504 A JP 2006186504A
Authority
JP
Japan
Prior art keywords
pixel
motion vector
vector
highest correlation
correlation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004375916A
Other languages
Japanese (ja)
Inventor
Takanori Ishikawa
貴規 石川
Tetsujiro Kondo
哲二郎 近藤
Kenji Takahashi
健治 高橋
Kazuyuki Yoshikawa
和志 吉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004375916A priority Critical patent/JP2006186504A/en
Publication of JP2006186504A publication Critical patent/JP2006186504A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To correct a motion vector with the small amount of operations to a more nearly actual movement at the nearer motion vector. <P>SOLUTION: In an image processing apparatus, in order to evaluate the motion vector v<SB>0V</SB>of a notice pixel 111, the motion vector v<SB>1V</SB>of a pixel 112 adjacent to the upper side of the notice pixel 111, the motion vector v<SB>2V</SB>of the pixel 113 adjacent to a left-hand side, and the motion vector v<SB>3V</SB>of the pixel 122 obtained by applying an inverse vector v<SB>0V</SB>of the motion vector v<SB>0V</SB>to the notice pixel 111, are used. The evaluated value is calculated based on the difference absolute value of the motion vector v<SB>0V</SB>and the motion vectors v<SB>1V</SB>to v<SB>3V</SB>. Consequently, it can be utilized for the image processing apparatus which corrects the motion vector corresponding to the more nearly actual movement. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、少ない演算量で実際の動きにより正確に対応した動きベクトルを得ることができるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。   The present invention relates to an image processing apparatus and method, a recording medium, and a program, and more particularly, to an image processing apparatus and method, a recording medium, and a recording medium that can obtain a motion vector that accurately corresponds to an actual motion with a small amount of calculation. And the program.

インターレース方式の映像信号をプログレッシブ方式の映像信号に変換するＩＰ変換においては、画素データに動きベクトルを適用して新たな画素データが補間、生成される。動きベクトルを検出する方法として、ブロックマッチング法が知られている。   In IP conversion for converting an interlace video signal into a progressive video signal, new pixel data is interpolated and generated by applying a motion vector to the pixel data. A block matching method is known as a method for detecting a motion vector.

このブロックマッチング法においては、基準フレーム（例えば、現フレームＦ(t)）内におけるｍ画素×ｎラインで構成される基準ブロックＢ(t)を用いて、参照フレーム（例えば、現フレームより１フレーム前のフレームＦ(t-1)）内のあるサーチエリア内で、最も相関の高い検査ブロックＢ(t-1)を検出することで、動きベクトルが検出される。   In this block matching method, a reference frame (for example, one frame from the current frame is used) by using a standard block B (t) composed of m pixels × n lines in a reference frame (for example, the current frame F (t)). A motion vector is detected by detecting a test block B (t−1) having the highest correlation within a certain search area in the previous frame F (t−1)).

相関の高さは、基準ブロックＢ(t)内の複数の画素と検査ブロックＢ(t-1)内の複数の画素であって、ブロック内で空間的に同位相の画素同士の値の差分絶対値が求められ、この差分絶対値のブロック内での総和がより小さい値のブロックが、より相関が高いものと判定される。   The level of correlation is the difference between the values of the pixels in the reference block B (t) and the pixels in the inspection block B (t-1) that are spatially in phase within the block. An absolute value is obtained, and a block having a smaller sum of the absolute differences in the block is determined to have a higher correlation.

しかしながら、このようなブロックマッチング法により求められた動きベクトルは、基準ブロックと検査ブロックの相関性の評価しか行っていないため、実際の画像の動きとは必ずしも正確に対応していないことがある。   However, since the motion vector obtained by such a block matching method only evaluates the correlation between the reference block and the check block, it may not always correspond to the actual image motion.

このように、実際の動きに正確に対応していない動きベクトルに基づいてＩＰ変換を行なうと、生成された画素は周囲の画素とマッチしない画素となり、より正確な画像を補間、生成することができないことになる。   As described above, when the IP conversion is performed based on the motion vector that does not accurately correspond to the actual motion, the generated pixel becomes a pixel that does not match the surrounding pixels, and a more accurate image can be interpolated and generated. It will not be possible.

そこで、時空間メディアンフィルタや時空間フィルタリングにより動きベクトルを補正することが、例えば、特許文献１に開示されている。   Therefore, for example, Patent Document 1 discloses that a motion vector is corrected by a spatiotemporal median filter or spatiotemporal filtering.

特開平６−１７８２８５号公報JP-A-6-178285

しかしながら、フィルタリング処理を行なうには、多数の画素の動きベクトルを演算対象にする必要があり、演算処理量が多くなるばかりでなく、ハードウェア構成が複雑となり、コスト高となる課題があった。   However, in order to perform filtering processing, it is necessary to make motion vectors of a large number of pixels subject to computation, which not only increases the amount of computation processing, but also complicates the hardware configuration, resulting in high costs.

本発明はこのような状況に鑑みてなされたものであり、より少ない演算量で、動きベクトルを実際の動きにより正確に対応するように補正することができるようにし、以って簡単なハードウェア構成で、低コストの装置を実現することができるようにするものである。   The present invention has been made in view of such a situation, and it is possible to correct a motion vector so as to more accurately correspond to an actual motion with a smaller amount of calculation, and thus simple hardware. With the configuration, a low-cost device can be realized.

請求項１の画像処理装置は、画素毎の動きベクトルを補正する画像処理装置において、基準フレーム上の着目画素に対する空間的な位置に基づき規定される第１の画素の動きベクトルと、前記基準フレームより時間的に前の参照フレーム上の画素であって、前記着目画素に基づき規定される第２の画素の動きベクトルに基づいて、前記着目画素の動きベクトルである着目ベクトルの相関値を演算する相関値演算手段と、前記基準フレームの前記着目画素を含む第１の領域内の複数の前記画素の前記相関値の中で前記着目ベクトルとの相関が最も高い値である第１の最高相関値を有する前記画素の動きベクトルである第１の最高相関動きベクトルを検出する第１の相関検出手段と、前記第１の最高相関動きベクトルにより前記着目ベクトルを修正する修正手段とを備えることを特徴とする。   The image processing device according to claim 1, wherein the motion vector of each pixel is corrected, the motion vector of the first pixel defined based on a spatial position with respect to the pixel of interest on the reference frame, and the reference frame A correlation value of a target vector that is a motion vector of the pixel of interest is calculated based on a motion vector of a second pixel that is a pixel on the reference frame earlier in time and defined based on the pixel of interest. A first highest correlation value that is a value having the highest correlation with the vector of interest among the correlation values of the plurality of pixels in the first region including the pixel of interest of the reference frame and the correlation value calculation means First correlation detecting means for detecting a first highest correlation motion vector that is a motion vector of the pixel having the first and second highest correlation motion vectors, and correcting the vector of interest by the first highest correlation motion vector. Characterized in that it comprises a correction means for.

前記第１の画素は、着目画素の上側に隣接する画素と左側に隣接する画素であり、第２の画素は、着目画素を基準として、着目ベクトルの逆ベクトルにより規定される画素であるようにすることができる。   The first pixel is a pixel adjacent to the upper side and the pixel adjacent to the left side of the target pixel, and the second pixel is a pixel defined by an inverse vector of the target vector with respect to the target pixel. can do.

前記相関値演算手段は、着目ベクトルの、第１の画素および第２の画素の動きベクトルとの差の絶対値和または２乗和に基づいて相関値を演算するようにすることができる。   The correlation value calculating means can calculate a correlation value based on a sum of absolute values or a sum of squares of a difference between a vector of interest and a motion vector of the first pixel and the second pixel.

前記修正手段は、着目ベクトルを第１の最高相関動きベクトルにより置換することで修正を行なうようにすることができる。   The correction means may perform correction by replacing the vector of interest with a first highest correlation motion vector.

前記修正手段は、さらに、着目画素の相関値を第１の最高相関値で置換し、第１の最高相関値の信頼度を判定する信頼度判定手段と、第１の最高相関値の信頼度が低い場合、基準フレームの第２の領域内の補正済みの画素の第１の最高相関値の中で最も相関が高い値である第２の最高相関値と、第２の最高相関値を有する画素の動きベクトルである第２の最高相関動きベクトルを検出する第２の相関検出手段と、第１の最高相関値を第２の最高相関値と比較する相関値比較手段と、第２の最高相関値が第１の最高相関値より相関が高い場合、第１の最高相関動きベクトルを第２の最高相関動きベクトルで置換する置換手段とをさらに備えるようにすることができる。   The correction means further replaces the correlation value of the pixel of interest with a first highest correlation value, determines reliability of the first highest correlation value, and reliability of the first highest correlation value. Is low, the second highest correlation value, which is the highest correlation value among the first highest correlation values of the corrected pixels in the second region of the reference frame, and the second highest correlation value. Second correlation detection means for detecting a second highest correlation motion vector that is a pixel motion vector, correlation value comparison means for comparing the first highest correlation value with the second highest correlation value, and a second highest correlation value In the case where the correlation value is higher than the first highest correlation value, a replacement means for replacing the first highest correlation motion vector with the second highest correlation motion vector may be further provided.

前記信頼度判定手段は、第１の最高相関値を基準値と比較し、第１の最高相関値が基準値より低い相関を表すとき、第１の最高相関値の信頼度が低いと判定するようにすることができる。   The reliability determination means compares the first highest correlation value with a reference value, and determines that the reliability of the first highest correlation value is low when the first highest correlation value represents a correlation lower than the reference value. Can be.

前記相関値演算手段が、第２の最高相関動きベクトルを第１の画素および第２の画素の動きベクトルとして、着目画素の動きベクトルの相関値を演算することができるように、第２の最高相関動きベクトルをフィードバックするフィードバック手段をさらに備えるようにすることができる。   The correlation value calculation means uses the second highest correlation motion vector as the motion vector of the first pixel and the second pixel, so that the correlation value of the motion vector of the pixel of interest can be calculated. Feedback means for feeding back the correlation motion vector can be further provided.

前記相関値演算手段が、第１の最高相関動きベクトルを第１の画素および第２の画素の動きベクトルとして、着目画素の動きベクトルの相関値を演算することができるように、第１の最高相関動きベクトルをフィードバックするフィードバック手段をさらに備えるようにすることができる。   The first highest correlation motion calculating means can calculate the correlation value of the motion vector of the pixel of interest using the first highest correlation motion vector as the motion vector of the first pixel and the second pixel. Feedback means for feeding back the correlation motion vector can be further provided.

請求項１０の画像処理方法は、画素毎の動きベクトルを補正する画像処理装置の画像処理方法において、基準フレーム上の着目画素に対する空間的な位置に基づき規定される第１の画素の動きベクトルと、前記基準フレームより時間的に前の参照フレーム上の画素であって、前記着目画素に基づき規定される第２の画素の動きベクトルに基づいて、前記着目画素の動きベクトルである着目ベクトルの相関値を演算する相関値演算ステップと、前記基準フレームの前記着目画素を含む領域内の複数の前記画素の前記相関値の中で前記着目画素との相関が最も高い値である最高相関値を有する前記画素の動きベクトルである最高相関動きベクトルを検出する相関検出ステップと、前記最高相関動きベクトルにより前記着目ベクトルを修正する修正ステップとを含むことを特徴とする。   The image processing method according to claim 10 is an image processing method of an image processing apparatus that corrects a motion vector for each pixel, and a motion vector of a first pixel that is defined based on a spatial position with respect to a pixel of interest on a reference frame. Correlation of the vector of interest that is the motion vector of the pixel of interest based on the motion vector of the second pixel that is a pixel on the reference frame temporally prior to the base frame and that is defined based on the pixel of interest A correlation value calculating step for calculating a value, and a highest correlation value that is the highest correlation value with the target pixel among the correlation values of the plurality of pixels in the region including the target pixel of the reference frame A correlation detecting step for detecting a highest correlation motion vector, which is a motion vector of the pixel, and a correction for correcting the vector of interest by the highest correlation motion vector Characterized in that it comprises a step.

請求項１１の記録媒体のプログラムは、画素毎の動きベクトルを補正する画像処理装置のプログラムにおいて、基準フレーム上の着目画素に対する空間的な位置に基づき規定される第１の画素の動きベクトルと、前記基準フレームより時間的に前の参照フレーム上の画素であって、前記着目画素に基づき規定される第２の画素の動きベクトルに基づいて、前記着目画素の動きベクトルである着目ベクトルの相関値を演算する相関値演算ステップと、前記基準フレームの前記着目画素を含む領域内の複数の前記画素の前記相関値の中で前記着目画素との相関が最も高い値である最高相関値を有する前記画素の動きベクトルである最高相関動きベクトルを検出する相関検出ステップと、前記最高相関動きベクトルにより前記着目ベクトルを修正する修正ステップとを含むことを特徴とする。   The program of the recording medium according to claim 11 is a program of an image processing apparatus that corrects a motion vector for each pixel, and a motion vector of a first pixel that is defined based on a spatial position with respect to a pixel of interest on a reference frame; A correlation value of a vector of interest that is a motion vector of the pixel of interest based on a motion vector of a second pixel that is a pixel on the reference frame temporally prior to the reference frame and is defined based on the pixel of interest A correlation value calculating step of calculating the highest correlation value that is the highest correlation value with the target pixel among the correlation values of the plurality of pixels in the region including the target pixel of the reference frame. A correlation detecting step for detecting a highest correlation motion vector that is a motion vector of a pixel; and correcting the vector of interest by the highest correlation motion vector Characterized in that it comprises a correction step.

請求項１２のプログラムは、画素毎の動きベクトルを補正する画像処理装置のプログラムにおいて、基準フレーム上の着目画素に対する空間的な位置に基づき規定される第１の画素の動きベクトルと、前記基準フレームより時間的に前の参照フレーム上の画素であって、前記着目画素に基づき規定される第２の画素の動きベクトルに基づいて、前記着目画素の動きベクトルである着目ベクトルの相関値を演算する相関値演算ステップと、前記基準フレームの前記着目画素を含む領域内の複数の前記画素の前記相関値の中で前記着目画素との相関が最も高い値である最高相関値を有する前記画素の動きベクトルである最高相関動きベクトルを検出する相関検出ステップと、前記最高相関動きベクトルにより前記着目ベクトルを修正する修正ステップとをコンピュータに実行させることを特徴とする。   The program according to claim 12 is a program for an image processing apparatus that corrects a motion vector for each pixel, and a motion vector of a first pixel defined based on a spatial position with respect to a pixel of interest on a reference frame, and the reference frame A correlation value of a target vector that is a motion vector of the pixel of interest is calculated based on a motion vector of a second pixel that is a pixel on the reference frame earlier in time and defined based on the pixel of interest. Correlation value calculating step and movement of the pixel having the highest correlation value that has the highest correlation with the target pixel among the correlation values of the plurality of pixels in the region including the target pixel of the reference frame A correlation detecting step for detecting the highest correlation motion vector as a vector; and a correction step for correcting the vector of interest by the highest correlation motion vector. Characterized in that to execute the up to the computer.

本発明においては、基準フレームの第１の画素の動きベクトルと参照フレームの第２の画素の動きベクトルに基づいて、着目画素の動きベクトルの相関値が演算される。着目画素を含む領域内の複数の画素の相関値の中で、着目画素との相関が最も高い値である最高相関値を有する画素の動きベクトルである最高相関値動きベクトルにより着目ベクトルが修正される。   In the present invention, the correlation value of the motion vector of the pixel of interest is calculated based on the motion vector of the first pixel in the base frame and the motion vector of the second pixel in the reference frame. Of the correlation values of a plurality of pixels in the region including the target pixel, the target vector is corrected by the highest correlation value motion vector that is the motion vector of the pixel having the highest correlation value that has the highest correlation with the target pixel. .

本発明によれば、動きベクトルを修正することができる。特に、少ない演算量で実際の動きにより正確に対応した動きベクトルに修正することができる。その結果、構成を簡略化し、低コストの装置を実現することが可能となる。   According to the present invention, a motion vector can be corrected. In particular, it can be corrected to a motion vector that accurately corresponds to the actual motion with a small amount of calculation. As a result, the configuration can be simplified and a low-cost device can be realized.

以下に本発明の最良の形態を説明するが、開示される発明と実施の形態との対応関係を例示すると、次のようになる。明細書中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。   BEST MODE FOR CARRYING OUT THE INVENTION The best mode of the present invention will be described below. The correspondence relationship between the disclosed invention and the embodiments is exemplified as follows. Although there is an embodiment which is described in the specification but is not described here as corresponding to the invention, it means that the embodiment corresponds to the invention. It doesn't mean not. Conversely, even if an embodiment is described herein as corresponding to an invention, that means that the embodiment does not correspond to an invention other than the invention. Absent.

さらに、この記載は、明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現し、追加される発明の存在を否定するものではない。   Further, this description does not mean all the inventions described in the specification. In other words, this description is for the invention described in the specification and not claimed in this application, i.e., for the invention that will be applied for in the future or that will appear as a result of amendment and added. It does not deny existence.

請求項１の画像処理装置は、画素毎の動きベクトルを補正する画像処理装置（例えば、図１の画像処理装置1）において、基準フレーム（例えば、図５のフレームF(t)）上の着目画素（例えば、図５の着目画素111）に対する空間的な位置に基づき規定される第１の画素（例えば、図５の画素112,113）の動きベクトル（例えば、図５の動きベクトルv1V,v2V）と、前記基準フレームより時間的に前の参照フレーム（例えば、図５のフレームF(t-1)）上の画素であって、前記着目画素に基づき規定される第２の画素（例えば、図５の画素122）の動きベクトル（例えば、図５の動きベクトルv3V）に基づいて、前記着目画素の動きベクトルである着目ベクトル（例えば、図５の動きベクトルv0V）の相関値（例えば、式（１））を演算する相関値演算手段（例えば、図２の動きベクトル評価値演算部34）と、前記基準フレームの前記着目画素を含む第１の領域（例えば、図７のサーチエリア151）内の複数の前記画素の前記相関値の中で前記着目ベクトルとの相関が最も高い値である第１の最高相関値を有する前記画素の動きベクトルである第１の最高相関動きベクトルを検出する第１の相関検出手段（例えば、図２の検出部101）と、前記第１の最高相関動きベクトルにより前記着目ベクトルを修正する修正手段（例えば、図２の置換部102）とを備えることを特徴とする。 The image processing apparatus according to claim 1 is an image processing apparatus that corrects a motion vector for each pixel (for example, the image processing apparatus 1 in FIG. 1) and focuses on a reference frame (for example, frame F (t) in FIG. 5). A motion vector (for example, motion vectors v 1V and v 2V in FIG. 5) of the first pixel (for example, pixels 112 and 113 in FIG. 5) defined based on a spatial position with respect to the pixel (for example, the target pixel 111 in FIG. 5). ) And a second pixel (for example, a pixel defined on the basis of the pixel of interest, for example, a pixel on a reference frame temporally prior to the base frame (for example, frame F (t-1) in FIG. 5)) Based on the motion vector (for example, the motion vector v 3V in FIG. 5) of the pixel 122 in FIG. 5, the correlation value (for example, the motion vector v 0V in FIG. 5) that is the motion vector of the pixel of interest. , Expression (1)) for calculating the correlation value ( For example, the motion vector evaluation value calculation unit 34 in FIG. 2 and the correlation value of the plurality of pixels in the first region (for example, the search area 151 in FIG. 7) including the target pixel in the reference frame. The first correlation detection means (for example, in FIG. 2) detects the first highest correlation motion vector that is the motion vector of the pixel having the first highest correlation value that has the highest correlation with the vector of interest. The detection unit 101) and correction means (for example, the replacement unit 102 in FIG. 2) for correcting the vector of interest with the first highest correlation motion vector.

前記第１の画素は、前記着目画素（例えば、図５の着目画素111）の上側に隣接する画素（例えば、図５の画素112）と左側に隣接する画素（例えば、図５の画素113）であり、前記第２の画素は、前記着目画素を基準として、前記着目ベクトルの逆ベクトル（例えば、図５の動きベクトル-v0V）により規定される画素（例えば、図５の画素122）である。 The first pixel includes a pixel (for example, the pixel 112 in FIG. 5) adjacent to the upper side of the target pixel (for example, the target pixel 111 in FIG. 5) and a pixel (for example, the pixel 113 in FIG. 5) adjacent to the left side. The second pixel is a pixel (for example, the pixel 122 in FIG. 5) defined by the inverse vector of the target vector (for example, the motion vector −v 0V in FIG. 5) with the target pixel as a reference. is there.

前記相関値演算手段は、前記着目ベクトルの、前記第１の画素および前記第２の画素の動きベクトルとの差の絶対値和（例えば、式（１））または２乗和に基づいて前記相関値を演算する。   The correlation value calculating means is configured to calculate the correlation based on a sum of absolute values (for example, Expression (1)) or a sum of squares of a difference between the vector of interest and a motion vector of the first pixel and the second pixel. Calculate the value.

前記修正手段は、さらに、前記着目画素の相関値を前記第１の最高相関値で置換し、前記第１の最高相関値の信頼度を判定する信頼度判定手段（例えば、図２の信頼度判定部71）と、前記第１の最高相関値の信頼度が低い場合、前記基準フレームの第２の領域（例えば、図８の修正済みベクトル探索範囲162）内の補正済みの前記画素の前記第１の最高相関値の中で最も相関が高い値である第２の最高相関値と、前記第２の最高相関値を有する前記画素の動きベクトルである第２の最高相関動きベクトルを検出する第２の相関検出手段（例えば、図２の最小値検出部74）と、前記第１の最高相関値を前記第２の最高相関値と比較する相関値比較手段（例えば、図２の比較部91）と、前記第２の最高相関値が前記第１の最高相関値より相関が高い場合、前記第１の最高相関動きベクトルを前記第２の最高相関動きベクトルで置換する置換手段（例えば、図２の置換部92）とをさらに備える。   The correction means further replaces the correlation value of the pixel of interest with the first highest correlation value, and determines a reliability of the first highest correlation value (for example, the reliability shown in FIG. 2). When the reliability of the determination unit 71) and the first highest correlation value is low, the corrected pixels in the second region of the reference frame (for example, the corrected vector search range 162 in FIG. 8) A second highest correlation value that is the highest correlation value among the first highest correlation values and a second highest correlation motion vector that is a motion vector of the pixel having the second highest correlation value are detected. Second correlation detecting means (for example, the minimum value detecting section 74 in FIG. 2) and correlation value comparing means for comparing the first highest correlation value with the second highest correlation value (for example, the comparing section in FIG. 2) 91) and the second highest correlation value is higher than the first highest correlation value. Further comprising a replacement means for replacing the first highest correlation motion vector at the second highest correlation motion vector (e.g., replacing portions 92 of FIG. 2).

前記信頼度判定手段は、前記第１の最高相関値を基準値（例えば、図２の基準値記憶部81に記憶されている基準値TH）と比較し、前記第１の最高相関値が前記基準値より低い相関を表すとき、前記第１の最高相関値の前記信頼度が低いと判定する。   The reliability determination unit compares the first highest correlation value with a reference value (for example, a reference value TH stored in the reference value storage unit 81 in FIG. 2), and the first highest correlation value is When the correlation is lower than the reference value, it is determined that the reliability of the first highest correlation value is low.

前記相関値演算手段が、前記第２の最高相関動きベクトルを前記第１の画素および前記第２の画素の動きベクトルとして、前記着目画素の動きベクトルの相関値を演算することができるように、前記第２の最高相関動きベクトルをフィードバックするフィードバック手段（例えば、図９の修正ベクトル蓄積メモリ38）をさらに備える。   The correlation value calculation means can calculate the correlation value of the motion vector of the pixel of interest using the second highest correlation motion vector as the motion vector of the first pixel and the second pixel. It further includes feedback means for feeding back the second highest correlation motion vector (for example, the correction vector storage memory 38 of FIG. 9).

前記相関値演算手段が、前記第１の最高相関動きベクトルを前記第１の画素および前記第２の画素の動きベクトルとして、前記着目画素の動きベクトルの相関値を演算することができるように、前記第１の最高相関動きベクトルをフィードバックするフィードバック手段（例えば、図９の修正ベクトル蓄積メモリ38）をさらに備える。   The correlation value calculation means can calculate the correlation value of the motion vector of the pixel of interest using the first highest correlation motion vector as the motion vector of the first pixel and the second pixel. It further includes feedback means for feeding back the first highest correlation motion vector (for example, the correction vector storage memory 38 of FIG. 9).

請求項１０の画像処理方法は、画素毎の動きベクトルを補正する画像処理装置（例えば、図１の画像処理装置1）の画像処理方法において、基準フレーム（例えば、図５のフレームF(t)）上の着目画素（例えば、図５の着目画素111）に対する空間的な位置に基づき規定される第１の画素（例えば、図５の画素112,113）の動きベクトル（例えば、図５の動きベクトルv1V,v2V）と、前記基準フレームより時間的に前の参照フレーム（例えば、図５のフレームF(t-1)）上の画素であって、前記着目画素に基づき規定される第２の画素（例えば、図５の画素122）の動きベクトル（例えば、図５の動きベクトルv3V）に基づいて、前記着目画素の動きベクトルである着目ベクトル（例えば、図５の動きベクトルv0V）の相関値（例えば、式（１））を演算する相関値演算ステップ（例えば、図４のステップS21）と、前記基準フレームの前記着目画素を含む領域（例えば、図７のサーチエリア151）内の複数の前記画素の前記相関値の中で前記着目ベクトルとの相関が最も高い値である最高相関値と、前記最高相関値を有する前記画素の動きベクトルである最高相関動きベクトルを検出する相関検出ステップ（例えば、図４のステップS22）と、前記最高相関動きベクトルにより前記着目ベクトルを修正する修正ステップ（例えば、図４のステップS23）とを含むことを特徴とする。 The image processing method according to claim 10 is an image processing method of an image processing apparatus (for example, the image processing apparatus 1 in FIG. 1) that corrects a motion vector for each pixel, and a reference frame (for example, a frame F (t) in FIG. 5). ) The motion vector (for example, the motion vector v in FIG. 5) of the first pixel (for example, the pixels 112 and 113 in FIG. 5) defined based on the spatial position with respect to the target pixel (for example, the target pixel 111 in FIG. 5). 1V , v2V ) and a pixel on a reference frame temporally prior to the base frame (for example, frame F (t-1) in FIG. 5), which is a second defined based on the pixel of interest Based on a motion vector (for example, motion vector v 3V in FIG. 5) of a pixel (for example, pixel 122 in FIG. 5), a target vector (for example, motion vector v 0V in FIG. 5) that is a motion vector of the target pixel. Calculate the correlation value (eg, equation (1)) Among the correlation values of a plurality of the pixels in a region including the target pixel of the reference frame (for example, the search area 151 in FIG. 7) in the function value calculation step (for example, step S21 in FIG. 4). A correlation detecting step (for example, step S22 in FIG. 4) for detecting a highest correlation value that is the highest correlation with the vector and a highest correlation motion vector that is a motion vector of the pixel having the highest correlation value; A correction step (for example, step S23 in FIG. 4) for correcting the vector of interest with the highest correlation motion vector.

請求項１１の記録媒体のプログラムは、画素毎の動きベクトルを補正する画像処理装置（例えば、図１の画像処理装置1）のプログラムにおいて、基準フレーム（例えば、図５のフレームF(t)）上の着目画素（例えば、図５の着目画素111）に対する空間的な位置に基づき規定される第１の画素（例えば、図５の画素112,113）の動きベクトル（例えば、図５の動きベクトルv1V,v2V）と、前記基準フレームより時間的に前の参照フレーム（例えば、図５のフレームF(t-1)）上の画素であって、前記着目画素に基づき規定される第２の画素（例えば、図５の画素122）の動きベクトル（例えば、図５の動きベクトルv3V）に基づいて、前記着目画素の動きベクトルである着目ベクトル（例えば、図５の動きベクトルv0V）の相関値（例えば、式（１））を演算する相関値演算ステップ（例えば、図４のステップS21）と、前記基準フレームの前記着目画素を含む領域（例えば、図７のサーチエリア151）内の複数の前記画素の前記相関値の中で前記着目ベクトルとの相関が最も高い値である最高相関値を有する前記画素の動きベクトルである最高相関動きベクトルを検出する相関検出ステップ（例えば、図４のステップS22）と、前記最高相関動きベクトルにより前記着目ベクトルを修正する修正ステップ（例えば、図４のステップS23）とを含むことを特徴とする。 The program of the recording medium according to claim 11 is a program of an image processing apparatus (for example, the image processing apparatus 1 of FIG. 1) for correcting a motion vector for each pixel, and is a reference frame (for example, frame F (t) of FIG. 5). A motion vector (for example, motion vector v 1V in FIG. 5) of the first pixel (for example, pixels 112 and 113 in FIG. 5) defined based on a spatial position with respect to the above target pixel (for example, the target pixel 111 in FIG. 5). , v 2V ) and a second pixel defined on the basis of the pixel of interest, which is a pixel on a reference frame temporally prior to the base frame (for example, frame F (t-1) in FIG. 5) Based on the motion vector (for example, motion vector v 3V in FIG. 5) of (for example, the pixel 122 in FIG. 5), the correlation of the target vector (for example, the motion vector v 0V in FIG. 5) that is the motion vector of the target pixel. Value (eg, equation (1)) A correlation value calculating step (for example, step S21 in FIG. 4), and among the correlation values of the plurality of pixels in a region (for example, the search area 151 in FIG. 7) including the target pixel in the reference frame. A correlation detecting step (for example, step S22 in FIG. 4) for detecting the highest correlation motion vector that is the motion vector of the pixel having the highest correlation value that is the highest correlation with the vector of interest, and the highest correlation motion vector. A correction step of correcting the vector of interest (for example, step S23 in FIG. 4).

請求項１２のプログラムは、画素毎の動きベクトルを補正する画像処理装置（例えば、図１の画像処理装置1）のプログラムにおいて、基準フレーム（例えば、図５のフレームF(t)）上の着目画素（例えば、図５の着目画素111）に対する空間的な位置に基づき規定される第１の画素（例えば、図５の画素112,113）の動きベクトル（例えば、図５の動きベクトルv1V,v2V）と、前記基準フレームより時間的に前の参照フレーム（例えば、図５のフレームF(t-1)）上の画素であって、前記着目画素に基づき規定される第２の画素（例えば、図５の画素122）の動きベクトル（例えば、図５の動きベクトルv3V）に基づいて、前記着目画素の動きベクトルである着目ベクトル（例えば、図５の動きベクトルv0V）の相関値（例えば、式（１））を演算する相関値演算ステップ（例えば、図４のステップS21）と、前記基準フレームの前記着目画素を含む領域（例えば、図７のサーチエリア151）内の複数の前記画素の前記相関値の中で前記着目ベクトルとの相関が最も高い値である最高相関値を有する前記画素の動きベクトルである最高相関動きベクトルを検出する相関検出ステップ（例えば、図４のステップS22）と、前記最高相関動きベクトルにより前記着目ベクトルを修正する修正ステップ（例えば、図４のステップS23）とをコンピュータに実行させることを特徴とする。 The program of claim 12 is a program of an image processing apparatus (for example, the image processing apparatus 1 in FIG. 1) for correcting a motion vector for each pixel, and focuses on a reference frame (for example, a frame F (t) in FIG. 5). A motion vector (for example, motion vectors v 1V and v 2V in FIG. 5) of the first pixel (for example, pixels 112 and 113 in FIG. 5) defined based on a spatial position with respect to the pixel (for example, the target pixel 111 in FIG. 5). ) And a second pixel (for example, a pixel defined on the basis of the pixel of interest, for example, a pixel on a reference frame temporally prior to the base frame (for example, frame F (t-1) in FIG. 5)) Based on the motion vector (for example, the motion vector v 3V in FIG. 5) of the pixel 122 in FIG. 5, the correlation value (for example, the motion vector v 0V in FIG. 5) that is the motion vector of the pixel of interest. , The correlation for calculating formula (1)) The calculation vector (for example, step S21 in FIG. 4) and the vector of interest among the correlation values of the plurality of pixels in the region (for example, the search area 151 in FIG. 7) including the pixel of interest in the reference frame. A correlation detecting step (for example, step S22 in FIG. 4) for detecting the highest correlation motion vector that is the motion vector of the pixel having the highest correlation value that is the highest correlation value, and the vector of interest by the highest correlation motion vector And a correction step (for example, step S23 in FIG. 4) for correcting the computer is executed.

以下、図面を参照して本発明の実施の形態について説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図１は、本発明を適用した画像処理装置の構成を表している。この画像処理装置１は、動きベクトル検出部１１、ベクトル修正部１２、および補間データ生成部１３により構成されている。   FIG. 1 shows the configuration of an image processing apparatus to which the present invention is applied. The image processing apparatus 1 includes a motion vector detection unit 11, a vector correction unit 12, and an interpolation data generation unit 13.

動きベクトル検出部１１は、入力されたインターレース方式の映像信号から動きベクトルを検出し、その検出された動きベクトルをベクトル修正部１２に供給する。動きベクトル検出部１１は、ブロックマッチング法、勾配法、代表点マッチング法といった方法により、画素単位で動きベクトルを検出する。ベクトル修正部１２は、動きベクトル検出部１１により検出された動きベクトルを修正する。補間データ生成部１３は、ベクトル修正部１２により修正された動きベクトルに基づいて、入力画像を補間し、プログレッシブ方式の映像信号を生成し、出力する。   The motion vector detection unit 11 detects a motion vector from the input interlace video signal and supplies the detected motion vector to the vector correction unit 12. The motion vector detection unit 11 detects a motion vector in units of pixels by a method such as a block matching method, a gradient method, or a representative point matching method. The vector correction unit 12 corrects the motion vector detected by the motion vector detection unit 11. The interpolation data generation unit 13 interpolates the input image based on the motion vector corrected by the vector correction unit 12 to generate and output a progressive video signal.

図２は、ベクトル修正部１２のより詳細な構成を表している。このベクトル修正部１２は、バッファメモリ３１，３２、レジスタ３３、動きベクトル評価値演算部３４、バッファメモリ３５、修正ベクトル生成部３６、最小評価値蓄積メモリ３７、および修正ベクトル蓄積メモリ３８により構成されている。   FIG. 2 shows a more detailed configuration of the vector correction unit 12. The vector correction unit 12 includes buffer memories 31 and 32, a register 33, a motion vector evaluation value calculation unit 34, a buffer memory 35, a correction vector generation unit 36, a minimum evaluation value storage memory 37, and a correction vector storage memory 38. ing.

バッファメモリ３２は、動きベクトル検出部１１より入力された画素単位の動きベクトルを、例えば１フレーム分を蓄積し、バッファメモリ３１に順次出力する。バッファメモリ３１は、バッファメモリ３２より供給された１フレーム分の動きベクトルを蓄積する。その結果、バファメモリ３２には、現在のフレームの動きベクトルが記憶され、バッファメモリ３１には、時間的に１フレーム前の動きベクトルが記憶される。   The buffer memory 32 accumulates, for example, one frame of pixel-based motion vectors input from the motion vector detection unit 11 and sequentially outputs them to the buffer memory 31. The buffer memory 31 accumulates the motion vector for one frame supplied from the buffer memory 32. As a result, the buffer memory 32 stores the motion vector of the current frame, and the buffer memory 31 stores the motion vector one frame before in time.

レジスタ３３は、バッファメモリ３２より供給された着目画素の動きベクトルを保持し、動きベクトル評価値演算部３４の差分器５１に供給する。差分器５１は、レジスタ３３に記憶されている着目画素の動きベクトルから、バッファメモリ３２から供給される着目画素の上側または左側に隣接する画素の動きベクトルを減算する。また、差分器５１は、着目画素の動きベクトルからバッファメモリ３１から供給される参照フレームの画素が有する動きベクトルを減算する。   The register 33 holds the motion vector of the pixel of interest supplied from the buffer memory 32 and supplies it to the differentiator 51 of the motion vector evaluation value calculation unit 34. The subtractor 51 subtracts the motion vector of the pixel adjacent to the upper side or the left side of the target pixel supplied from the buffer memory 32 from the motion vector of the target pixel stored in the register 33. The subtractor 51 subtracts the motion vector of the pixel of the reference frame supplied from the buffer memory 31 from the motion vector of the pixel of interest.

動きベクトル評価値演算部３４は、差分器５１の他、絶対値演算部５２、加算器５３、およびレジスタ５４により構成されている。絶対値演算部５２は、差分器５１より入力される差分値の絶対値を演算し、加算器５３を介して、レジスタ５４に供給し、保持させる。レジスタ５４は、そこから読み出された値と絶対値演算部５２より供給された値の加算器５３による加算値を順次蓄積することで、差分絶対値の積和を保持する。   The motion vector evaluation value calculation unit 34 includes an absolute value calculation unit 52, an adder 53, and a register 54 in addition to the difference unit 51. The absolute value calculation unit 52 calculates the absolute value of the difference value input from the differentiator 51, supplies it to the register 54 via the adder 53, and holds it. The register 54 stores the sum of products of the absolute difference values by sequentially accumulating the value read from the value and the addition value by the adder 53 of the value supplied from the absolute value calculation unit 52.

修正ベクトル生成部３６は、信頼度判定部７１、評価値判定部７２、および最小値検出部７３，７４により構成されている。   The correction vector generation unit 36 includes a reliability determination unit 71, an evaluation value determination unit 72, and minimum value detection units 73 and 74.

信頼度判定部７１は、基準値記憶部８１と比較部８２により構成されている。評価値判定部７２は、比較部９１と置換部９２により構成されている。最小値検出部７３は、検出部１０１と置換部１０２により構成されている。   The reliability determination unit 71 includes a reference value storage unit 81 and a comparison unit 82. The evaluation value determination unit 72 includes a comparison unit 91 and a replacement unit 92. The minimum value detection unit 73 includes a detection unit 101 and a replacement unit 102.

バッファメモリ３５は、レジスタ５４より供給される、サーチエリア内の着目画素を中心とする３×３個の画素の評価値を記憶する。最小値検出部７３の検出部１０１は、バッファメモリ３５に記憶されているサーチエリア（図７を参照して後述する）内の３×３個の画素の評価値から、最小値を検出する。置換部１０２は、検出部１０１により検出された最小評価値Ｅminを有する画素の動きベクトルｖ1Vで、着目画素の動きベクトル（注目ベクトル）を置換する。 The buffer memory 35 stores evaluation values of 3 × 3 pixels centered on the pixel of interest in the search area supplied from the register 54. The detection unit 101 of the minimum value detection unit 73 detects a minimum value from the evaluation values of 3 × 3 pixels in a search area (described later with reference to FIG. 7) stored in the buffer memory 35. The replacement unit 102 replaces the motion vector (target vector) of the pixel of interest with the motion vector v 1V of the pixel having the minimum evaluation value Emin detected by the detection unit 101.

信頼度判定部７１の基準値記憶部８１には、最小評価値Ｅminの信頼度を判定するための基準値ＴＨがあらかじめ記憶されている。比較部８２は、最小値検出部７３より供給された最小評価値Ｅminを、基準値記憶部８１に記憶されている基準値ＴＨと比較し、その比較結果（１ビット）を評価値判定部７２に出力する。   The reference value storage unit 81 of the reliability determination unit 71 stores a reference value TH for determining the reliability of the minimum evaluation value Emin in advance. The comparison unit 82 compares the minimum evaluation value Emin supplied from the minimum value detection unit 73 with the reference value TH stored in the reference value storage unit 81, and the comparison result (1 bit) is the evaluation value determination unit 72. Output to.

最小評価値蓄積メモリ３７は、最小値検出部７３により検出された最小評価値Ｅminのうち、修正済みベクトル探索範囲（図８を参照して後述する）内の値を蓄積する。   The minimum evaluation value accumulation memory 37 accumulates values in the corrected vector search range (described later with reference to FIG. 8) among the minimum evaluation values Emin detected by the minimum value detection unit 73.

最小値検出部７４は、最小評価値蓄積メモリ３７に記憶されている修正済みベクトル探索範囲内の最小評価値Ｅminの中の最小値を修正最小評価値MINとしてさらに検出し、評価値判定部７２に供給する。   The minimum value detection unit 74 further detects the minimum value among the minimum evaluation values Emin within the corrected vector search range stored in the minimum evaluation value accumulation memory 37 as the corrected minimum evaluation value MIN, and the evaluation value determination unit 72 To supply.

最小評価値Ｅminが基準値ＴＨより大きい場合、評価値判定部７２の比較部９１は、最小値検出部７３より供給される最小評価値Ｅminと、最小検出部７４より供給される修正最小評価値MINとを比較する。最小評価値Ｅminが修正最小評価値MINより大きい場合、置換部９２は、着目画素の動きベクトルを、修正最小評価値MINを有する画素の動きベクトルＶ2で置換する。 When the minimum evaluation value Emin is larger than the reference value TH, the comparison unit 91 of the evaluation value determination unit 72 uses the minimum evaluation value Emin supplied from the minimum value detection unit 73 and the corrected minimum evaluation value supplied from the minimum detection unit 74. Compare with MIN. Minimum evaluation value when Emin is larger than corrected minimum evaluation value MIN, replacing section 92, the motion vector of the target pixel is replaced with the motion vector V 2 pixels with modified minimum evaluation value MIN.

修正ベクトル蓄積メモリ３８は、最小値検出部７３より供給される最小評価値Ｅminに対応する動きベクトルｖ1Vと、評価値判定部７２により置換された修正最小評価値MINに対応する動きベクトルｖ2Vとを蓄積する。 The correction vector storage memory 38 has a motion vector v 1V corresponding to the minimum evaluation value Emin supplied from the minimum value detection unit 73 and a motion vector v 2V corresponding to the corrected minimum evaluation value MIN replaced by the evaluation value determination unit 72. And accumulate.

なお、バファメモリ３１，３２、差分器５１、レジスタ５４、最小評価値蓄積メモリ３７、修正ベクトル蓄積メモリ３８などには、それぞれ制御信号が供給されている。   Control signals are supplied to the buffer memories 31 and 32, the subtractor 51, the register 54, the minimum evaluation value storage memory 37, the correction vector storage memory 38, and the like.

次に、図３のフローチャートを参照して、図１の画像処理装置１のＩＰ変換処理について説明する。   Next, the IP conversion process of the image processing apparatus 1 of FIG. 1 will be described with reference to the flowchart of FIG.

ステップＳ１において、動きベクトル検出部１１は、入力されたインターレース方式の映像信号から動きベクトルを検出する。この動きベクトルは、画素単位で検出される。ブロック単位で検出された場合には、各画素にその動きベクトルが割り付けられる。ステップＳ２において、ベクトル修正部１２は、ステップＳ１で動きベクトル検出部１１により検出された画素単位の動きベクトルを修正する。この修正処理の詳細については、図４のフローチャートを参照して後述する。   In step S1, the motion vector detection unit 11 detects a motion vector from the input interlaced video signal. This motion vector is detected in units of pixels. When detected in block units, the motion vector is assigned to each pixel. In step S2, the vector correction unit 12 corrects the pixel-based motion vector detected by the motion vector detection unit 11 in step S1. Details of this correction processing will be described later with reference to the flowchart of FIG.

次に、ステップＳ３において、補間データ生成部１３は補間データを生成する。すなわち、補間データ生成部１３は、入力されたインターレース方式の映像信号を、ベクトル修正部１２より入力された修正された動きベクトルに基づいて補間し、プログレッシブ方式の映像信号を生成する。   Next, in step S3, the interpolation data generation unit 13 generates interpolation data. That is, the interpolation data generation unit 13 interpolates the input interlaced video signal based on the corrected motion vector input from the vector correction unit 12 to generate a progressive video signal.

補間データ生成部１３が補間に使用する動きベクトルは、ベクトル修正部１２により実際の画像の動きに対応するように修正されている。したがって、補間データ生成部１３により補間生成されるデータは、周囲の画素にマッチした適正なデータとなる。その結果、補間データ生成部１３における補間データ生成処理が破たんすることが防止され、より自然な画像が生成される。   The motion vector used for interpolation by the interpolation data generation unit 13 is corrected by the vector correction unit 12 so as to correspond to the actual image motion. Therefore, the data generated by interpolation by the interpolation data generation unit 13 is appropriate data that matches the surrounding pixels. As a result, the interpolation data generation processing in the interpolation data generation unit 13 is prevented from being broken, and a more natural image is generated.

次に、図４のフローチャートを参照して、ベクトル修正部１２における動きベクトル修正処理について説明する。   Next, the motion vector correction process in the vector correction unit 12 will be described with reference to the flowchart of FIG.

ステップＳ２１において、動きベクトル評価値演算部３４は、サーチエリア内の各画素の動きベクトルの評価値Ｅを、式（１）に基づいて演算する。   In step S21, the motion vector evaluation value calculation unit 34 calculates the evaluation value E of the motion vector of each pixel in the search area based on Expression (1).

Figure 2006186504
Figure 2006186504

すなわち、バッファメモリ３２には、動きベクトル検出部１１より供給された１フレーム分の動きベクトルが記憶されている。このバッファメモリ３２に記憶された動きベクトルは、さらにそこから読み出され、バッファメモリ３１に供給され、記憶される。その結果、バッファメモリ３１には１フレーム前の動きベクトルが記憶され、バッファメモリ３２には現在のフレームの動きベクトルが記憶される。   That is, the buffer memory 32 stores a motion vector for one frame supplied from the motion vector detection unit 11. The motion vector stored in the buffer memory 32 is further read from the motion vector, supplied to the buffer memory 31, and stored. As a result, the motion vector of the previous frame is stored in the buffer memory 31, and the motion vector of the current frame is stored in the buffer memory 32.

レジスタ３３は、図５に示されるように、現在フレームＦ(t)の着目画素１１１の動きベクトルｖ0Vを記憶する。差分器５１は、レジスタ３３より供給される着目画素１１１の動きベクトルｖ0Vから、バッファメモリ３２より供給される注目画素１１１の上側に隣接する画素１１２の動きベクトルｖ1Vを減算し、絶対値演算部５２に出力する。絶対値演算部５２により演算された絶対値は、加算器５３を介して、レジスタ５４に供給され、記憶される。 As shown in FIG. 5, the register 33 stores the motion vector v 0V of the pixel of interest 111 in the current frame F (t). The subtractor 51 subtracts the motion vector v 1V of the pixel 112 adjacent to the upper side of the pixel of interest 111 supplied from the buffer memory 32 from the motion vector v 0V of the pixel of interest 111 supplied from the register 33 to calculate the absolute value. To the unit 52. The absolute value calculated by the absolute value calculation unit 52 is supplied to the register 54 via the adder 53 and stored.

差分器５１はまた、レジスタ３３に記憶されている着目画素１１１の左側に隣接する画素１１３の動きベクトルｖ2Vを、着目画素１１１の動きベクトルｖ0Vから減算し、その差分値を絶対値演算部５２に出力する。絶対値演算部５２は、入力された差分値の絶対値を演算し、その演算結果を加算器５３に記憶する。加算器５３は、レジスタ５４にすでに記憶されている絶対値を、今、絶対値演算部５２より入力された絶対値に加算して、レジスタ５４に供給し、記憶させる。 The subtractor 51 also subtracts the motion vector v 2V of the pixel 113 adjacent to the left side of the pixel of interest 111 stored in the register 33 from the motion vector v 0V of the pixel of interest 111 and calculates the difference value as an absolute value calculation unit. To 52. The absolute value calculator 52 calculates the absolute value of the input difference value and stores the calculation result in the adder 53. The adder 53 adds the absolute value already stored in the register 54 to the absolute value input from the absolute value calculation unit 52 and supplies the absolute value to the register 54 for storage.

さらに、差分器５１は、レジスタ３３より入力された着目画素１１１の動きベクトルｖ0Vからバッファメモリ３１より供給された参照フレームＦ(t-1)の画素１２２の動きベクトルｖ3Vを減算し、絶対値演算部５２に出力する。 Further, the subtractor 51 subtracts the motion vector v 3V of the pixel 122 of the reference frame F (t−1) supplied from the buffer memory 31 from the motion vector v 0V of the pixel of interest 111 input from the register 33 to The value is output to the value calculation unit 52.

図５に示されるように、画素１１２と画素１１３は、着目画素１１１と同一の基準フレームＦ(t)上に位置する。これに対して、画素１２２は基準フレームＦ(t)より時間的に１フレーム前の参照フレームＦ(t-1)上に位置する。この画素１２２は、次のようにして求められる。すなわち、基準フレームＦ(t)上の着目画素１１１に対応する参照フレームＦ(t-1)上の画素１２１が想定される。そして、この画素１２１から着目画素１１１の動きベクトルｖ0Vの逆ベクトル−ｖ0Vを適用して得られる画素である。画素１２２は、着目画素１１１に逆ベクトル−ｖ0Vを適用して得られる画素とも称しうる。 As shown in FIG. 5, the pixel 112 and the pixel 113 are located on the same reference frame F (t) as the pixel of interest 111. On the other hand, the pixel 122 is positioned on the reference frame F (t−1) that is one frame before the base frame F (t) in terms of time. The pixel 122 is obtained as follows. That is, the pixel 121 on the reference frame F (t−1) corresponding to the target pixel 111 on the base frame F (t) is assumed. The pixel 121 is obtained by applying an inverse vector −v 0V of the motion vector v 0V of the pixel of interest 111 from the pixel 121. The pixel 122 can also be referred to as a pixel obtained by applying the inverse vector −v 0V to the pixel of interest 111.

すなわち、図６に示されるように、着目画素１１１の動きベクトルｖ0Vは、着目画素１１１に動きベクトルｖ0Vを適用して規定される基準フレームＦ(t)の次のフレームＦ（ｔ＋１）上の画素１３２に高い時間的相関性を有している。同様に、着目画素１１１に対して、逆ベクトル−ｖ0Vを適用して得られる参照フレームＦ(t-1)上の画素１２２も、着目画素１１１に対して高い時間的相関性を有していると考えられる。 That is, as shown in FIG. 6, the motion vector v 0V of the pixel of interest 111 is on the frame F (t + 1) next to the reference frame F (t) defined by applying the motion vector v 0V to the pixel of interest 111. This pixel 132 has a high temporal correlation. Similarly, the pixel 122 on the reference frame F (t−1) obtained by applying the inverse vector −v 0V to the target pixel 111 also has a high temporal correlation with the target pixel 111. It is thought that there is.

なお、図５と図６において、フレームＦ(t+1)の画素１３１と参照フレームＦ(t-1)上の画素１２１は、それぞれ、基準フレームＦ(t)上の着目画素１１１に対応する画素を表している。   5 and 6, the pixel 131 in the frame F (t + 1) and the pixel 121 on the reference frame F (t−1) correspond to the pixel of interest 111 on the base frame F (t), respectively. Represents a pixel.

差分器５１は、着目画素１１１の動きベクトルｖ0Vから画素１２２の動きベクトルｖ3を減算し、その差分値を絶対値演算部５２に供給する。絶対値演算部５２は、この差分値の絶対値を演算し、加算器５３に出力する。加算器５３は、レジスタ５４に保持されている今までの差分絶対値の加算値に、今、絶対値演算部５２より入力された差分の絶対値を加算し、レジスタ５４に供給し、記憶させる。 The subtractor 51 subtracts the motion vector v 3 of the pixel 122 from the motion vector v 0V of the pixel of interest 111 and supplies the difference value to the absolute value calculation unit 52. The absolute value calculator 52 calculates the absolute value of the difference value and outputs it to the adder 53. The adder 53 adds the absolute value of the difference currently input from the absolute value calculation unit 52 to the added value of the absolute difference value held so far held in the register 54, and supplies it to the register 54 for storage. .

以上のようにして、式（１）の差分絶対値の積和が、レジスタ５４に記憶されることになる。なお、式（１）における動きベクトルｖの添え字としてのＶは、ｖがベクトルであることを表す。図５の実施の形態の場合、式（１）のＮは３である。   As described above, the sum of products of the absolute difference values of Expression (1) is stored in the register 54. Note that V as a subscript of the motion vector v in Equation (1) indicates that v is a vector. In the embodiment of FIG. 5, N in formula (1) is 3.

物体は一般的に剛性を有するから、着目画素１１１に隣接する画素１１２と画素１１３の動きベクトルｖ1V，ｖ2Vは、着目画素１１１の動きベクトルｖ0Vと高い空間的相関性を有している。また、画素１２２は、着目画素１１１の動きベクトルｖ0Vの逆ベクトルを適用して得られる画素であるから、画素１２２の動きベクトルｖ3Vは、着目画素１１１の動きベクトルｖ0Vと高い時間相関性を有している。 Since the object generally has rigidity, the motion vectors v 1V and v 2V of the pixel 112 and the pixel 113 adjacent to the pixel of interest 111 have a high spatial correlation with the motion vector v 0V of the pixel of interest 111. . In addition, since the pixel 122 is a pixel obtained by applying an inverse vector of the motion vector v 0V of the pixel of interest 111, the motion vector v 3V of the pixel 122 is highly temporally correlated with the motion vector v 0V of the pixel of interest 111. have.

したがって、式（１）により演算される評価値は、空間相関性と時間相関性の両方が考慮された評価値となる。その結果、この評価値が高い相関性を表しているとき（その値が充分小さいとき）、それらの動きベクトルは、実際の動きに対応した動きベクトルとなる。また、この評価値の演算には、多くの画素が用いられないので（この実施の形態の場合、３個の画素しか用いられないので）、その演算はきわめて簡単に行なうことができ、ハードウェアの構成は簡単となる。したがって、低コストの装置を実現することが可能となる。   Therefore, the evaluation value calculated by Expression (1) is an evaluation value that takes into account both spatial correlation and temporal correlation. As a result, when the evaluation value indicates high correlation (when the value is sufficiently small), these motion vectors become motion vectors corresponding to actual motion. In addition, since many pixels are not used for the calculation of the evaluation value (in this embodiment, only three pixels are used), the calculation can be performed very easily, and the hardware The configuration is simple. Therefore, a low-cost device can be realized.

評価値は、サーチエリア内の各画素について演算される。そして、ステップＳ２２において、最小値検出部７３の検出部１０１は、サーチエリア内の最小評価値Ｅminとその動きベクトルＶ1を検出する。 The evaluation value is calculated for each pixel in the search area. Then, in step S22, the detection unit 101 of the minimum value detector 73 detects the minimum evaluation value Emin of the search area and the motion vector V 1.

すなわち、図７に示されるように、着目画素１１１を含むｍ×ｎ個（この実施の形態の場合、３×３個）の画素の範囲がサーチエリア１５１とされる。バッファメモリ３５は、レジスタ５４より供給された評価値を、それに対応する動きベクトルとともに記憶する。バッファメモリ３５は、図７に示されるサーチエリア１５１内の、少なくとも９個の画素の評価値と動きベクトルを記憶する。   That is, as shown in FIG. 7, a search area 151 is a range of m × n pixels (3 × 3 pixels in this embodiment) including the target pixel 111. The buffer memory 35 stores the evaluation value supplied from the register 54 together with the corresponding motion vector. The buffer memory 35 stores evaluation values and motion vectors of at least nine pixels in the search area 151 shown in FIG.

検出部１０１は、サーチエリア１５１内の９個の画素の評価値Ｅをそれぞれ比較し、そのうちの最小値をＥminとして検出する。また、検出部１０１は、その最小評価値Ｅminに対応する動きベクトルを動きベクトルＶ1として検出する。 The detection unit 101 compares the evaluation values E of the nine pixels in the search area 151, and detects the minimum value as Emin. The detecting unit 101 detects a motion vector corresponding to the minimum evaluation value Emin as the motion vector V 1 .

次に、ステップＳ２３において、置換部１０２は、着目ベクトルを動きベクトルＶ1で置換する。すなわち、着目画素１１１の動きベクトルｖ0Vが、検出部１０１により検出された動きベクトルＶ1により置換される。誤って割り当てられた動きベクトルは、近傍の動きベクトルと比較して評価値が低い可能性が高い（関連性が薄い可能性が高い）。さらに、物体は面積をもって動くので、着目画素の動きベクトルが暴れていても、近傍に実際の動きに近い動きベクトルが存在する可能性がある。そこで、この実施の形態においては、着目画素１１１を含む３×３個のサーチエリア１５１内の画素の動きベクトルの中から、最も評価値の小さい（相関性の高い）動きベクトルにより、着目画素１１１の動きベクトルｖ0Vが置換される。 Next, in step S23, the replacement unit 102 replaces the vector V 1 motion interest vector. That is, the motion vector v 0V of the pixel of interest 111 is replaced with the motion vector V 1 detected by the detection unit 101. An erroneously assigned motion vector is likely to have a lower evaluation value than a nearby motion vector (highly likely to be less relevant). Furthermore, since the object moves with an area, there is a possibility that a motion vector close to the actual motion exists in the vicinity even if the motion vector of the pixel of interest is rampant. Therefore, in this embodiment, the target pixel 111 is selected from the motion vectors having the smallest evaluation value (highly correlated) among the motion vectors of the pixels in the 3 × 3 search areas 151 including the target pixel 111. Motion vector v 0V is replaced.

なお、着目画素１１１の動きベクトルｖ0Vの評価値が最も小さい場合には、着目画素１０１の動きベクトルｖ0Vが、そのまま動きベクトルＶ1とされる。 Incidentally, if the evaluation value of the motion vector v 0V of the target pixel 111 is the smallest, the motion vector v 0V of the target pixel 101 is directly the motion vector V 1.

以上のようにして着目画素１１１の修正された動きベクトルは、修正ベクトルメモリ３８に供給され、記憶される。また、その最小評価値は、最小評価値蓄積メモリ３７に供給され、記憶される。   The motion vector corrected for the target pixel 111 as described above is supplied to the correction vector memory 38 and stored therein. The minimum evaluation value is supplied to and stored in the minimum evaluation value accumulation memory 37.

以上の処理によっても動きベクトルを実際の動きに対応した動きベクトルに修正することができるが、本実施の形態においては、さらに修正が行われる。   Although the motion vector can be corrected to a motion vector corresponding to the actual motion by the above processing, further correction is performed in the present embodiment.

すなわち、ステップＳ２４において、比較部８２は、最小値検出部７３より供給された最小評価値Ｅminと、基準値記憶部８１に予め記憶されている基準値ＴＨとを比較する。このように、最小評価値Ｅminを、あらかじめ用意した基準値ＴＨと比較することで、信頼度判定が行われる。最小評価値Ｅminが基準値ＴＨより小さい場合には、最小評価値Ｅminの信頼度があると判定される。これに対して、最小評価値Ｅminが基準値ＴＨと等しいかそれより大きい場合には、信頼度が低いと判定される。信頼度が低い場合には、近傍の画素の動きベクトルの中からさらに評価値が小さい（相関が高い）動きベクトルが抽出され、その動きベクトルで置換する処理が行われる。   That is, in step S <b> 24, the comparison unit 82 compares the minimum evaluation value Emin supplied from the minimum value detection unit 73 with the reference value TH stored in advance in the reference value storage unit 81. Thus, the reliability determination is performed by comparing the minimum evaluation value Emin with the reference value TH prepared in advance. When the minimum evaluation value Emin is smaller than the reference value TH, it is determined that there is a reliability of the minimum evaluation value Emin. On the other hand, when the minimum evaluation value Emin is equal to or larger than the reference value TH, it is determined that the reliability is low. When the reliability is low, a motion vector having a smaller evaluation value (high correlation) is extracted from the motion vectors of neighboring pixels, and a process of replacing with the motion vector is performed.

このため、ステップＳ２５において、最小値検出部７４は、近傍の修正済みベクトルの中から修正最小評価値MINと修正済みベクトルＶ2を検出する。すなわち、図８に示されるように、着目画素１１１を含むＭ×Ｎ個（この実施の形態の場合、７×５個）の画素の修正エリア１６１が想定される。そして、そのうちの着目画素１１１の左側かつ上部に位置する、すなわち、直線１６３より左上方に位置する修正済みベクトル探索範囲１６２内の１７個の画素の最小評価値Ｅminの中の最小値が、修正最小評価値MINとして検出される。また、最小値検出部７４は、その画素に対応する動きベクトルＶ2を検出する。最小値検出部７４は、修正最小評価値MINと動きベクトルＶ2を評価値判定部７２に供給する。 Therefore, in step S25, the minimum value detecting section 74 detects the modified minimum evaluation value MIN and modified vector V 2 from the modified vectors near. That is, as shown in FIG. 8, a correction area 161 of M × N pixels (7 × 5 pixels in this embodiment) including the target pixel 111 is assumed. Then, the minimum value among the minimum evaluation values Emin of 17 pixels in the corrected vector search range 162 located on the left side and the upper side of the target pixel 111, that is, located on the upper left side of the straight line 163, is corrected. It is detected as the minimum evaluation value MIN. Further, the minimum value detection unit 74 detects a motion vector V 2 corresponding to the pixel. The minimum value detection unit 74 supplies the corrected minimum evaluation value MIN and the motion vector V 2 to the evaluation value determination unit 72.

図８の修正済みベクトル探索範囲１６２は、各画素の処理がラスタ順に（左上から右下方向に）実行される結果、直線１６３より左上方に位置する画素のすべてが、処理済みの画素となる。したがって、この範囲に、より相関の高い動きベクトルが存在する確率が高いので、この範囲において検索が行われるのである。   In the corrected vector search range 162 in FIG. 8, as a result of the processing of each pixel being executed in raster order (from the upper left to the lower right), all of the pixels located on the upper left side of the straight line 163 become processed pixels. . Accordingly, since there is a high probability that a motion vector having a higher correlation exists in this range, the search is performed in this range.

ステップＳ２６において、評価値判定部７２の比較部９１は、最小値検出部７４より供給された修正最小評価値MINと、最小値検出部７３より供給されたサーチエリア１５１内の最小評価値Ｅminとを比較する。修正最小評価値MINの方が最小評価値Ｅminより小さい場合には、最小評価値MINに対応する動きベクトルＶ2の方が、実際の動きに対応する確率が高い。そこで、この場合には、ステップＳ２７において、置換部９２は、動きベクトルＶ1を動きベクトルＶ2で置換する。 In step S <b> 26, the comparison unit 91 of the evaluation value determination unit 72 determines the corrected minimum evaluation value MIN supplied from the minimum value detection unit 74 and the minimum evaluation value Emin in the search area 151 supplied from the minimum value detection unit 73. Compare When the corrected minimum evaluation value MIN is smaller than the minimum evaluation value Emin, the motion vector V 2 corresponding to the minimum evaluation value MIN has a higher probability of corresponding to the actual motion. In this case, the replacement unit 92 replaces the motion vector V 1 with the motion vector V 2 in step S27.

このようにして、着目画素１１１の置換された動きベクトルＶ2は、修正ベクトル蓄積メモリ３８に供給され、記憶される。 In this way, the replaced motion vector V 2 of the pixel of interest 111 is supplied to the correction vector accumulation memory 38 and stored therein.

以上のようにして、着目画素１１１の動きベクトルｖ0Vが、より小さい最小評価値Ｅminに対応する動きベクトルＶ1に置換され、さらに、修正最小評価値MINに対応する動きベクトルＶ2に置換される。これにより、より実際の動きに対応するように動きベクトルが修正されることになる。 As described above, the motion vector v 0V of the target pixel 111 is replaced with the motion vector V 1 corresponding to the smaller minimum evaluation value Emin, and further replaced with the motion vector V 2 corresponding to the corrected minimum evaluation value MIN. The As a result, the motion vector is corrected so as to correspond to the actual motion.

ステップＳ２４において、最小評価値Ｅminが基準値ＴＨと等しいかそれより小さいと判定された場合、最小評価値Ｅminは、充分信頼性を有する。ステップＳ２６において、修正最小評価値MINが最小評価値Ｅminと等しいかそれより大きいと判定された場合には、最小評価値Ｅminの方が信頼できるので、動きベクトルＶ1を動きベクトルＶ2で置換する意味がない。そこで、これらの場合には、ステップＳ２７の処理はスキップされる。 When it is determined in step S24 that the minimum evaluation value Emin is equal to or smaller than the reference value TH, the minimum evaluation value Emin has sufficient reliability. In step S26, when the corrected minimum evaluation value MIN is determined to be greater than or equal to the minimum estimated value Emin, since direction of the minimum estimated value Emin is reliable, substituted vector V 2 motion the motion vector V 1 There is no meaning to do. Therefore, in these cases, the process of step S27 is skipped.

ステップＳ２８において、動きベクトル評価値演算部３４は、画素を１フレーム分処理したかを判定し、まだ１フレーム分処理していない場合には、処理はステップＳ２１に戻り、それ以降の処理が繰り返し実行される。１フレーム分の処理が完了したと判定された場合には、ステップＳ２９において、動きベクトル評価値演算部３４は、まだ処理するフレームがあるかを判定し、まだ処理するフレームがある場合には、同様に処理はステップＳ２１戻り、それ以降の処理が繰り返し実行される。ステップＳ２９において、すべてのフレームが処理されたと判定された場合、動きベクトル修正処理は終了される。   In step S28, the motion vector evaluation value calculation unit 34 determines whether the pixel has been processed for one frame. If the pixel has not been processed for one frame, the process returns to step S21, and the subsequent processing is repeated. Executed. When it is determined that the processing for one frame has been completed, in step S29, the motion vector evaluation value calculation unit 34 determines whether there is still a frame to be processed. Similarly, the process returns to step S21, and the subsequent processes are repeatedly executed. If it is determined in step S29 that all frames have been processed, the motion vector correction process is terminated.

以上においては、サーチエリアを３×３画素とし、また、修正エリア１６１を７×５画素としたが、より小さい或いは大きい範囲とすることも可能である。また、評価値を差分絶対値和により求めるようにしたが、差分２乗和により求めるようにしてもよい。   In the above description, the search area is 3 × 3 pixels and the correction area 161 is 7 × 5 pixels. However, the search area 161 may be smaller or larger. Further, although the evaluation value is obtained by the sum of absolute differences, it may be obtained by the sum of squared differences.

図２の実施の形態においては、式（１）の評価値Ｅを演算するのに、動きベクトル検出部１１により検出された動きベクトルがそのまま用いられる。しかしながら、本発明の実施の形態においては、処理がラスタ順に、すなわち左上から右下方向に順番に行われるため、すでに修正済みの動きベクトルを評価値の演算に用いることが可能である。この場合、ベクトル修正部１２は、図９に示されるように構成される。   In the embodiment of FIG. 2, the motion vector detected by the motion vector detection unit 11 is used as it is to calculate the evaluation value E of Equation (1). However, in the embodiment of the present invention, since the processing is performed in raster order, that is, in order from the upper left to the lower right, it is possible to use the already corrected motion vector for the calculation of the evaluation value. In this case, the vector correction unit 12 is configured as shown in FIG.

すなわち、この実施の形態においては、バッファメモリ３１に蓄積される動きベクトルは、バッファメモリ３２から供給されるのではなく、修正ベクトル蓄積メモリ３８に蓄積された修正済みの動きベクトルが供給される。また、差分器５１に着目画素１１１の動きベクトルｖ0Vと比較される画素の動きベクトルを供給するために、セレクタ２０１が設けられている。セレクタ２０１は、バッファメモリ３２から供給される動きベクトル、または修正ベクトル蓄積メモリ３８から供給される修正済みの動きベクトルのいずれかを選択して、差分器５１に供給する。すなわち、セレクタ２０１は、修正ベクトル蓄積メモリ３８に、修正済みの動きベクトルがまだ蓄積されていない場合には、バッファメモリ３２から供給される動きベクトルを差分器５１に、比較対象の動きベクトルとして供給する。 That is, in this embodiment, the motion vector stored in the buffer memory 31 is not supplied from the buffer memory 32 but the corrected motion vector stored in the correction vector storage memory 38 is supplied. In addition, a selector 201 is provided to supply the difference unit 51 with a motion vector of a pixel to be compared with the motion vector v 0V of the target pixel 111. The selector 201 selects either the motion vector supplied from the buffer memory 32 or the corrected motion vector supplied from the correction vector accumulation memory 38 and supplies the selected difference to the subtractor 51. That is, the selector 201 supplies the motion vector supplied from the buffer memory 32 to the difference unit 51 as a motion vector to be compared when the corrected motion vector is not yet stored in the correction vector storage memory 38. To do.

図１０は、図９のベクトル修正部１２の処理を表している。図１０のステップＳ６１乃至ステップＳ７０の処理は、図４のステップＳ２１乃至ステップＳ２９の処理と同様であるが、図４のステップＳ２７とステップＳ２８に対応する図１０のステップＳ６７とステップＳ６９の間に、画素毎の動きベクトル修正結果をフィードバックするというステップＳ６８の処理が挿入されている点が異なっている。その他の処理は、図４における場合と同様である。   FIG. 10 shows processing of the vector correction unit 12 of FIG. The processing from step S61 to step S70 in FIG. 10 is the same as the processing from step S21 to step S29 in FIG. 4, but between step S67 and step S69 in FIG. 10 corresponding to step S27 and step S28 in FIG. The difference is that the process of step S68 for feeding back the motion vector correction result for each pixel is inserted. Other processes are the same as those in FIG.

すなわち、図１０の修正処理の場合、ステップＳ６１乃至ステップＳ６７において、図４のステップＳ２１乃至ステップＳ２７における場合と同様に動きベクトルが修正され、修正された動きベクトルＶ1，Ｖ2が修正ベクトル蓄積メモリ３８に記憶される。そして、ステップＳ６８において、修正ベクトル蓄積メモリ３８が画素毎の動きベクトル修正結果をフィードバックする処理を実行する。具体的には、修正ベクトル蓄積メモリ３８は、過去のフレームの修正動きベクトル（図５の参照フレームＦ(t-1)の画素１２２の動きベクトルｖ3Vを修正した動きベクトル）をバッファメモリ３１に供給し、蓄積させる。また、修正ベクトル蓄積メモリ３８は、現在フレーム内の近傍修正動きベクトル（図５の基準フレームＦ(t)の画素１１２，１１３の動きベクトルｖ1V，ｖ2Vを修正した動きベクトル）をセレクタ２０１に供給する。セレクタ２０１は、バッファメモリ３２に、修正ベクトル蓄積メモリ３８から修正ベクトルが供給されていない場合には、バッファメモリ３２から動きベクトルを選択し、差分器５１に供給するが、修正ベクトル蓄積メモリ３８から修正動きベクトルが供給されている場合には、これを選択して差分器５１に供給する。 That is, in the correction process of FIG. 10, the motion vectors are corrected in steps S61 to S67 in the same manner as in steps S21 to S27 of FIG. 4, and the corrected motion vectors V 1 and V 2 are stored in the correction vector. Stored in the memory 38. In step S68, the correction vector accumulation memory 38 executes a process of feeding back the motion vector correction result for each pixel. Specifically, the modified vector accumulation memory 38 stores the modified motion vector of the past frame (the motion vector obtained by modifying the motion vector v 3V of the pixel 122 of the reference frame F (t−1) in FIG. 5) in the buffer memory 31. Supply and accumulate. Further, the correction vector accumulation memory 38 sends the neighborhood correction motion vector in the current frame (the motion vector obtained by correcting the motion vectors v 1V and v 2V of the pixels 112 and 113 of the reference frame F (t) in FIG. 5) to the selector 201. Supply. When the correction vector is not supplied from the correction vector accumulation memory 38 to the buffer memory 32, the selector 201 selects a motion vector from the buffer memory 32 and supplies it to the subtractor 51, but from the correction vector accumulation memory 38. If a corrected motion vector is supplied, it is selected and supplied to the differentiator 51.

その結果、差分器５１は、図５における画素１１２，１１３として、その動きベクトルｖ1V，ｖ2Vが修正済みのものが存在しない場合には、バッファメモリ３２から供給されたものを差分器５１に供給するが、修正済みの動きベクトルが存在する場合には、その修正済みの動きベクトルが、差分器５１に供給される。同様に、画素１２２の動きベクトルｖ3として修正済みの動きベクトルが、バッファメモリ３１から差分器５１に供給される。その結果、式（１）の演算が、修正済みの動きベクトルを基にして行われることになる。 As a result, if the motion vectors v 1V and v 2V are not corrected as the pixels 112 and 113 in FIG. 5, the difference unit 51 supplies to the difference unit 51 what is supplied from the buffer memory 32. If there is a corrected motion vector, the corrected motion vector is supplied to the subtractor 51. Similarly, a corrected motion vector is supplied from the buffer memory 31 to the differentiator 51 as the motion vector v 3 of the pixel 122. As a result, the calculation of Expression (1) is performed based on the corrected motion vector.

これにより、より信頼度の高い動きベクトル修正が可能となる。   Thereby, motion vector correction with higher reliability is possible.

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、画像処理装置は、図１１に示されるようなパーソナルコンピュータにより構成される。   The series of processes described above can be executed by hardware or can be executed by software. In this case, for example, the image processing apparatus is configured by a personal computer as shown in FIG.

図１１において、CPU（Central Processing Unit）２２１は、ROM（Read Only Memory）２２２に記憶されているプログラム、または記憶部２２８からRAM（Random Access Memory）２２３にロードされたプログラムに従って各種の処理を実行する。RAM２２３にはまた、CPU２２１が各種の処理を実行する上において必要なデータなども適宜記憶される。   In FIG. 11, a CPU (Central Processing Unit) 221 executes various processes according to a program stored in a ROM (Read Only Memory) 222 or a program loaded from a storage unit 228 to a RAM (Random Access Memory) 223. To do. The RAM 223 also appropriately stores data necessary for the CPU 221 to execute various processes.

CPU２２１、ROM２２２、およびRAM２２３は、バス２２４を介して相互に接続されている。このバス２２４にはまた、入出力インタフェース２２５も接続されている。   The CPU 221, ROM 222, and RAM 223 are connected to each other via a bus 224. An input / output interface 225 is also connected to the bus 224.

入出力インタフェース２２５には、キーボード、マウスなどよりなる入力部２２６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部２２７、ハードディスクなどより構成される記憶部２２８、モデムなどより構成される通信部２２９が接続されている。通信部２２９は、インターネットを含むネットワークを介しての通信処理を行なう。   The input / output interface 225 includes an input unit 226 including a keyboard and a mouse, a display including a CRT (Cathode Ray Tube) and an LCD (Liquid Crystal display), an output unit 227 including a speaker, and a hard disk. A communication unit 229 including a storage unit 228 and a modem is connected. The communication unit 229 performs communication processing via a network including the Internet.

入出力インタフェース２２５にはまた、必要に応じてドライブ２３０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２３１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２２８にインストールされる。   A drive 230 is connected to the input / output interface 225 as necessary, and a removable medium 231 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted, and a computer program read from them is It is installed in the storage unit 228 as necessary.

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。   When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, a general-purpose personal computer is installed from a network or a recording medium.

この記録媒体は、図１１に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピ（登録商標）ディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory)，DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア２３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２２２や、記憶部２２８に含まれるハードディスクなどで構成される。   As shown in FIG. 11, the recording medium is distributed to provide a program to the user separately from the apparatus main body, and includes a magnetic disk (including a floppy (registered trademark) disk) on which the program is recorded. It is composed of a removable medium 231 made of an optical disk (including compact disk-read only memory (CD-ROM), DVD (digital versatile disk)), magneto-optical disk (including MD (mini-disk)), or semiconductor memory. In addition, the program is configured by a ROM 222 in which a program is recorded, a hard disk included in the storage unit 228, and the like provided to the user in a state of being incorporated in the apparatus main body in advance.

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。   In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。   Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.

本発明は、動きベクトルをより実際の動きに対応した動きベクトルに修正する画像処理装置に利用することが可能である。   The present invention can be used in an image processing apparatus that corrects a motion vector to a motion vector corresponding to an actual motion.

本発明を適用した画像処理装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image processing apparatus to which this invention is applied. 図１のベクトル修正部の構成を示すブロック図である。It is a block diagram which shows the structure of the vector correction part of FIG. 図１の画像処理装置のＩＰ変換処理を説明するフローチャートである。3 is a flowchart illustrating IP conversion processing of the image processing apparatus in FIG. 1. 図３のステップＳ２の動きベクトル修正処理の詳細を説明するフローチャートである。It is a flowchart explaining the detail of the motion vector correction process of step S2 of FIG. 着目画素と評価対象の画素を説明する図である。It is a figure explaining a pixel of interest and a pixel to be evaluated. 着目画素と評価対象の画素を説明する図である。It is a figure explaining a pixel of interest and a pixel to be evaluated. サーチエリアを説明する図である。It is a figure explaining a search area. 修正済みベクトル探索範囲を説明する図である。It is a figure explaining the corrected vector search range. ベクトル修正部の他の構成を示すブロック図である。It is a block diagram which shows the other structure of a vector correction part. 図９のベクトル修正部の動きベクトル修正処理を説明するフローチャートである。It is a flowchart explaining the motion vector correction process of the vector correction part of FIG. パーソナルコンピュータの構成を示すブロック図である。It is a block diagram which shows the structure of a personal computer.

符号の説明Explanation of symbols

１ 画像処理装置， １１ 動きベクトル検出部， １２ ベクトル修正部， １３ 補間データ生成部， ３４ 動きベクトル評価値演算部， ３６ 修正ベクトル生成部， ３７ 最小評価値蓄積メモリ， ３８ 修正ベクトル蓄積メモリ   DESCRIPTION OF SYMBOLS 1 Image processing apparatus, 11 Motion vector detection part, 12 Vector correction part, 13 Interpolation data generation part, 34 Motion vector evaluation value calculation part, 36 Correction vector generation part, 37 Minimum evaluation value storage memory, 38 Correction vector storage memory

Claims (11)

画素毎の動きベクトルを補正する画像処理装置において、
基準フレーム上の着目画素に対する空間的な位置に基づき規定される第１の画素の動きベクトルと、前記基準フレームより時間的に前の参照フレーム上の画素であって、前記着目画素に基づき規定される第２の画素の動きベクトルに基づいて、前記着目画素の動きベクトルである着目ベクトルの相関値を演算する相関値演算手段と、
前記基準フレームの前記着目画素を含む第１の領域内の複数の前記画素の前記相関値の中で前記着目ベクトルとの相関が最も高い値である第１の最高相関値を有する前記画素の動きベクトルである第１の最高相関動きベクトルを検出する第１の相関検出手段と、
前記第１の最高相関動きベクトルにより前記着目ベクトルを修正する修正手段と
を備えることを特徴とする画像処理装置。 In an image processing apparatus that corrects a motion vector for each pixel,
A motion vector of a first pixel defined based on a spatial position with respect to a pixel of interest on a reference frame, and a pixel on a reference frame temporally prior to the reference frame, the pixel being defined based on the pixel of interest Correlation value calculating means for calculating a correlation value of a target vector that is a motion vector of the target pixel based on a second pixel motion vector;
The movement of the pixel having the first highest correlation value that has the highest correlation with the target vector among the correlation values of the plurality of pixels in the first region including the target pixel of the reference frame. First correlation detection means for detecting a first highest correlation motion vector that is a vector;
An image processing apparatus comprising: correction means for correcting the vector of interest with the first highest correlation motion vector. 前記第１の画素は、前記着目画素の上側に隣接する画素と左側に隣接する画素であり、
前記第２の画素は、前記着目画素を基準として、前記着目ベクトルの逆ベクトルにより規定される画素である
ことを特徴とする請求項１に記載の画像処理装置。 The first pixel is a pixel adjacent to the upper side of the pixel of interest and a pixel adjacent to the left side,
The image processing apparatus according to claim 1, wherein the second pixel is a pixel defined by an inverse vector of the target vector with respect to the target pixel. 前記相関値演算手段は、前記着目ベクトルの、前記第１の画素および前記第２の画素の動きベクトルとの差の絶対値和または２乗和に基づいて前記相関値を演算する
ことを特徴とする請求項１に記載の画像処理装置。 The correlation value calculating means calculates the correlation value based on an absolute value sum or a square sum of a difference between the vector of interest and a motion vector of the first pixel and the second pixel. The image processing apparatus according to claim 1. 前記修正手段は、前記着目ベクトルを前記第１の最高相関動きベクトルにより置換することで修正を行なう
ことを特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the correction unit performs correction by replacing the vector of interest with the first highest correlation motion vector. 前記修正手段は、さらに、前記着目画素の相関値を前記第１の最高相関値で置換し、
前記第１の最高相関値の信頼度を判定する信頼度判定手段と、
前記第１の最高相関値の信頼度が低い場合、前記基準フレームの第２の領域内の補正済みの前記画素の前記第１の最高相関値の中で最も相関が高い値である第２の最高相関値と、前記第２の最高相関値を有する前記画素の動きベクトルである第２の最高相関動きベクトルを検出する第２の相関検出手段と、
前記第１の最高相関値を前記第２の最高相関値と比較する相関値比較手段と、
前記第２の最高相関値が前記第１の最高相関値より相関が高い場合、前記第１の最高相関動きベクトルを前記第２の最高相関動きベクトルで置換する置換手段と
をさらに備えることを特徴とする請求項４に記載の画像処理装置。 The correcting means further replaces the correlation value of the target pixel with the first highest correlation value,
Reliability determination means for determining the reliability of the first highest correlation value;
When the reliability of the first highest correlation value is low, the second highest correlation value among the first highest correlation values of the corrected pixels in the second region of the reference frame is the second highest correlation value. Second correlation detection means for detecting a highest correlation value and a second highest correlation motion vector that is a motion vector of the pixel having the second highest correlation value;
Correlation value comparison means for comparing the first highest correlation value with the second highest correlation value;
When the second highest correlation value has a higher correlation than the first highest correlation value, replacement means is further provided for replacing the first highest correlation motion vector with the second highest correlation motion vector. The image processing apparatus according to claim 4. 前記信頼度判定手段は、前記第１の最高相関値を基準値と比較し、前記第１の最高相関値が前記基準値より低い相関を表すとき、前記第１の最高相関値の前記信頼度が低いと判定する
ことを特徴とする請求項５に記載の画像処理装置。 The reliability determination means compares the first highest correlation value with a reference value, and when the first highest correlation value represents a correlation lower than the reference value, the reliability of the first highest correlation value The image processing device according to claim 5, wherein the image processing device is determined to be low. 前記相関値演算手段が、前記第２の最高相関動きベクトルを前記第１の画素および前記第２の画素の動きベクトルとして、前記着目画素の動きベクトルの相関値を演算することができるように、前記第２の最高相関動きベクトルをフィードバックするフィードバック手段をさらに備える
ことを特徴とする請求項５に記載の画像処理装置。 The correlation value calculation means can calculate the correlation value of the motion vector of the pixel of interest using the second highest correlation motion vector as the motion vector of the first pixel and the second pixel. The image processing apparatus according to claim 5, further comprising feedback means for feeding back the second highest correlation motion vector. 前記相関値演算手段が、前記第１の最高相関動きベクトルを前記第１の画素および前記第２の画素の動きベクトルとして、前記着目画素の動きベクトルの相関値を演算することができるように、前記第１の最高相関動きベクトルをフィードバックするフィードバック手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。 The correlation value calculation means can calculate the correlation value of the motion vector of the pixel of interest using the first highest correlation motion vector as the motion vector of the first pixel and the second pixel. The image processing apparatus according to claim 1, further comprising feedback means for feeding back the first highest correlation motion vector. 画素毎の動きベクトルを補正する画像処理装置の画像処理方法において、
基準フレーム上の着目画素に対する空間的な位置に基づき規定される第１の画素の動きベクトルと、前記基準フレームより時間的に前の参照フレーム上の画素であって、前記着目画素に基づき規定される第２の画素の動きベクトルに基づいて、前記着目画素の動きベクトルである着目ベクトルの相関値を演算する相関値演算ステップと、
前記基準フレームの前記着目画素を含む領域内の複数の前記画素の前記相関値の中で前記着目画素との相関が最も高い値である最高相関値を有する前記画素の動きベクトルである最高相関動きベクトルを検出する相関検出ステップと、
前記最高相関動きベクトルにより前記着目ベクトルを修正する修正ステップと
を含むことを特徴とする画像処理方法。 In an image processing method of an image processing apparatus for correcting a motion vector for each pixel,
A motion vector of a first pixel defined based on a spatial position with respect to a pixel of interest on a reference frame, and a pixel on a reference frame temporally prior to the reference frame, the pixel being defined based on the pixel of interest A correlation value calculating step of calculating a correlation value of a target vector that is a motion vector of the target pixel based on a second pixel motion vector;
The highest correlation motion that is a motion vector of the pixel having the highest correlation value that is the highest correlation value with the target pixel among the correlation values of the plurality of pixels in the region including the target pixel of the reference frame. A correlation detection step for detecting a vector;
And a correction step of correcting the vector of interest with the highest correlation motion vector. 画素毎の動きベクトルを補正する画像処理装置のプログラムにおいて、
基準フレーム上の着目画素に対する空間的な位置に基づき規定される第１の画素の動きベクトルと、前記基準フレームより時間的に前の参照フレーム上の画素であって、前記着目画素に基づき規定される第２の画素の動きベクトルに基づいて、前記着目画素の動きベクトルである着目ベクトルの相関値を演算する相関値演算ステップと、
前記基準フレームの前記着目画素を含む領域内の複数の前記画素の前記相関値の中で前記着目画素との相関が最も高い値である最高相関値を有する前記画素の動きベクトルである最高相関動きベクトルを検出する相関検出ステップと、
前記最高相関動きベクトルにより前記着目ベクトルを修正する修正ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 In a program of an image processing apparatus that corrects a motion vector for each pixel,
A motion vector of a first pixel defined based on a spatial position with respect to a pixel of interest on a reference frame, and a pixel on a reference frame temporally prior to the reference frame, the pixel being defined based on the pixel of interest A correlation value calculating step of calculating a correlation value of a target vector that is a motion vector of the target pixel based on a second pixel motion vector;
The highest correlation motion that is a motion vector of the pixel having the highest correlation value that is the highest correlation value with the target pixel among the correlation values of the plurality of pixels in the region including the target pixel of the reference frame. A correlation detection step for detecting a vector;
And a correction step of correcting the vector of interest with the highest correlation motion vector. A recording medium on which a computer-readable program is recorded. 画素毎の動きベクトルを補正する画像処理装置のプログラムにおいて、
基準フレーム上の着目画素に対する空間的な位置に基づき規定される第１の画素の動きベクトルと、前記基準フレームより時間的に前の参照フレーム上の画素であって、前記着目画素に基づき規定される第２の画素の動きベクトルに基づいて、前記着目画素の動きベクトルである着目ベクトルの相関値を演算する相関値演算ステップと、
前記基準フレームの前記着目画素を含む領域内の複数の前記画素の前記相関値の中で前記着目画素との相関が最も高い値である最高相関値を有する前記画素の動きベクトルである最高相関動きベクトルを検出する相関検出ステップと、
前記最高相関動きベクトルにより前記着目ベクトルを修正する修正ステップと
をコンピュータに実行させることを特徴とするプログラム。 In a program of an image processing apparatus that corrects a motion vector for each pixel,
A motion vector of a first pixel defined based on a spatial position with respect to a pixel of interest on a reference frame, and a pixel on a reference frame temporally prior to the reference frame, the pixel being defined based on the pixel of interest A correlation value calculating step of calculating a correlation value of a target vector that is a motion vector of the target pixel based on a second pixel motion vector;
The highest correlation motion that is a motion vector of the pixel having the highest correlation value that is the highest correlation value with the target pixel among the correlation values of the plurality of pixels in the region including the target pixel of the reference frame. A correlation detection step for detecting a vector;
And a correction step of correcting the vector of interest with the highest correlation motion vector.
JP2004375916A 2004-12-27 2004-12-27 Apparatus and method of image processing, recording medium, and program Pending JP2006186504A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004375916A JP2006186504A (en) 2004-12-27 2004-12-27 Apparatus and method of image processing, recording medium, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004375916A JP2006186504A (en) 2004-12-27 2004-12-27 Apparatus and method of image processing, recording medium, and program

Publications (1)

Publication Number Publication Date
JP2006186504A true JP2006186504A (en) 2006-07-13

Family

ID=36739303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004375916A Pending JP2006186504A (en) 2004-12-27 2004-12-27 Apparatus and method of image processing, recording medium, and program

Country Status (1)

Country Link
JP (1) JP2006186504A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008067222A (en) * 2006-09-08 2008-03-21 Toshiba Corp Frame interpolating circuit, frame interpolating method, and display apparatus
JP2009141878A (en) * 2007-12-10 2009-06-25 Toshiba Corp Frame interpolation circuit, frame interpolation method, and display device
JP2009303108A (en) * 2008-06-17 2009-12-24 Sony Corp Image processing apparatus and image processing method, and program
WO2010023982A1 (en) * 2008-08-27 2010-03-04 三菱電機株式会社 Motion vector detection device and image processing device
JP2010239268A (en) * 2009-03-30 2010-10-21 Toshiba Corp Image processing apparatus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0520036B2 (en) * 1985-03-04 1993-03-18 Kokusai Denshin Denwa Co Ltd
JPH07231446A (en) * 1994-02-21 1995-08-29 Fujitsu Ltd Motion vector correction control system
JP2897669B2 (en) * 1994-12-28 1999-05-31 日本ビクター株式会社 Motion vector detection device
JP2003224854A (en) * 2002-01-29 2003-08-08 Hitachi Ltd Motion vector detecting apparatus, image processing apparatus, and computer software
JP2003304507A (en) * 2002-04-10 2003-10-24 Sony Corp Motion vector detecting apparatus and method
JP2004274628A (en) * 2003-03-11 2004-09-30 Sony Corp Apparatus, method, and program for detecting motion

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0520036B2 (en) * 1985-03-04 1993-03-18 Kokusai Denshin Denwa Co Ltd
JPH07231446A (en) * 1994-02-21 1995-08-29 Fujitsu Ltd Motion vector correction control system
JP2897669B2 (en) * 1994-12-28 1999-05-31 日本ビクター株式会社 Motion vector detection device
JP2003224854A (en) * 2002-01-29 2003-08-08 Hitachi Ltd Motion vector detecting apparatus, image processing apparatus, and computer software
JP2003304507A (en) * 2002-04-10 2003-10-24 Sony Corp Motion vector detecting apparatus and method
JP2004274628A (en) * 2003-03-11 2004-09-30 Sony Corp Apparatus, method, and program for detecting motion

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008067222A (en) * 2006-09-08 2008-03-21 Toshiba Corp Frame interpolating circuit, frame interpolating method, and display apparatus
JP2009141878A (en) * 2007-12-10 2009-06-25 Toshiba Corp Frame interpolation circuit, frame interpolation method, and display device
JP2009303108A (en) * 2008-06-17 2009-12-24 Sony Corp Image processing apparatus and image processing method, and program
JP4600530B2 (en) * 2008-06-17 2010-12-15 ソニー株式会社 Image processing apparatus, image processing method, and program
WO2010023982A1 (en) * 2008-08-27 2010-03-04 三菱電機株式会社 Motion vector detection device and image processing device
JP2010239268A (en) * 2009-03-30 2010-10-21 Toshiba Corp Image processing apparatus

Similar Documents

Publication Publication Date Title
JP4997281B2 (en) Method for determining estimated motion vector in image, computer program, and display device
JP5106203B2 (en) Interpolated image generating apparatus, method and program
US7663695B2 (en) Method and system for de-interlacing digital images, and computer program product therefor
US8644387B2 (en) Motion estimation method
US8274602B2 (en) Image processing apparatus and image processing method with redundant frame detection
KR101756842B1 (en) Method and apparatus for image frame interpolation
US20060285596A1 (en) Motion-vector detecting device, motion-vector detecting method, and computer program
EP1587032A1 (en) Image processing apparatus and method, recording medium, and program
KR20070055212A (en) Frame interpolator, frame interpolation method and motion credibility evaluator
US8610826B2 (en) Method and apparatus for integrated motion compensated noise reduction and frame rate conversion
US8264600B2 (en) Image processing apparatus for converting a lower resolution image into a higher resolution image using cyclic coefficients
JP3960258B2 (en) Signal processing apparatus and signal processing method
US20070040935A1 (en) Apparatus for converting image signal and a method thereof
US20170270675A1 (en) Device and method for motion estimation and compensation
US20100080299A1 (en) Frame frequency conversion apparatus, frame frequency conversion method, program for achieving the method, computer readable recording medium recording the program, motion vector detection apparatus, and prediction coefficient generation apparatus
KR100855976B1 (en) Frame interpolate device for estimating motion by separating static object and moving object and frame interpolate method using the device
US20090310679A1 (en) Video processing apparatus and methods
US8111325B2 (en) Image processing apparatus and method and program
JP4407015B2 (en) Noise removing apparatus and noise removing method
EP2136548B1 (en) Image processing apparatus, image processing method, and program
JP2006186504A (en) Apparatus and method of image processing, recording medium, and program
US9106926B1 (en) Using double confirmation of motion vectors to determine occluded regions in images
WO2001097510A1 (en) Image processing system, image processing method, program, and recording medium
JP2009295029A (en) Moving quantity detection device and moving quantity detection method
JP4250598B2 (en) Motion compensation IP conversion processing apparatus and motion compensation IP conversion processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101005