JP2003179886A - Image processing apparatus and method, recording medium, and program - Google Patents

Image processing apparatus and method, recording medium, and program

Info

Publication number
JP2003179886A
JP2003179886A JP2001379798A JP2001379798A JP2003179886A JP 2003179886 A JP2003179886 A JP 2003179886A JP 2001379798 A JP2001379798 A JP 2001379798A JP 2001379798 A JP2001379798 A JP 2001379798A JP 2003179886 A JP2003179886 A JP 2003179886A
Authority
JP
Japan
Prior art keywords
pixel
field
motion vector
field image
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001379798A
Other languages
Japanese (ja)
Inventor
Masami Tomita
真巳 冨田
Kyoko Fukuda
京子 福田
Masanari Miyata
勝成 宮田
Masashi Ota
正志 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001379798A priority Critical patent/JP2003179886A/en
Publication of JP2003179886A publication Critical patent/JP2003179886A/en
Pending legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing apparatus that can discriminate whether a pixel of a field image belongs to a stationary part or a moving part with high accuracy. <P>SOLUTION: A motion detection confirmation section 38 determines an evaluation value of a pixel of a motion detection object on the basis of an inter-frame difference received from an inter-frame difference calculation section 31 and an inter-field difference received from an inter-field difference calculation section 32. Further, the motion detection confirmation section 38 adjusts a threshold value used for motion detection on the basis of a detection result of an edge detection section 34, a discrimination result of a full image still discrimination section 35, a detection result of a repetitive pattern detection section 36, and a discrimination result of the still discrimination section 37. Moreover, the motion detection confirmation section 8 adjusts a threshold value used for motion detection on the basis of motion vector detection information received from a motion vector detection section 13. <P>COPYRIGHT: (C)2003,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、画像処理装置およ
び方法、記録媒体、並びにプログラムに関し、例えば、
インタレース方式の映像信号をプログレッシブ方式の映
像信号に変換する一連の処理のうち、フィールド画像内
の各画素の動きを検出する場合に用いて好適な画像処理
装置および方法、記録媒体、並びにプログラムに関す
る。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus and method, a recording medium, and a program, for example,
The present invention relates to an image processing apparatus and method, a recording medium, and a program suitable for use in detecting the movement of each pixel in a field image in a series of processes for converting an interlaced video signal into a progressive video signal. .

【0002】[0002]

【従来の技術】テレビジョン放送による映像信号、ビデ
オカセットやDVD(Digital VersatileDisc)などの記録メ
ディアに録画されている映像信号などは、ODDフィール
ド画像とEVENフィールド画像が交互に配置されたインタ
レース方式である。
2. Description of the Related Art A video signal from a television broadcast or a video signal recorded on a recording medium such as a video cassette or a DVD (Digital Versatile Disc) is an interlaced system in which ODD field images and EVEN field images are alternately arranged. Is.

【0003】インタレース方式に対し、フィールド画像
の2倍の垂直解像度を有するフレーム画像が連続的に配
置された映像信号は、プログレッシブ方式と称される。
In contrast to the interlace system, a video signal in which frame images having a vertical resolution twice as high as a field image are continuously arranged is called a progressive system.

【0004】従来、より垂直解像度が高い高画質な映像
を表示することを目的として、インタレース方式の映像
信号(以下、インタレース映像信号と記述する)をプロ
グレッシブ方式の映像信号(以下、プログレッシブ映像
信号と記述する)に変換してから表示させるテレビジョ
ン受像機、DVDプレーヤなどが存在する。
Conventionally, an interlaced video signal (hereinafter referred to as an interlaced video signal) is a progressive video signal (hereinafter referred to as a progressive video) for the purpose of displaying a high-quality video having a higher vertical resolution. There is a television receiver, a DVD player, etc. that can be displayed after being converted to a signal).

【0005】インタレース映像信号をプログレッシブ映
像信号に変換する場合、画像内の静止している部分は前
後する2枚のフィールド画像が用いられ、動きのある部
分は1枚のフィールド画像が用いられる。このような処
理の前処理として、フィールド画像内の動きある部分を
検出する(すなわち、フィールド画像内の静止している
部分と動きのある部分とを判別する)動き検出処理が行
われる。
When converting an interlaced video signal into a progressive video signal, two field images are used for a still part in the image and one field image is used for a moving part. As a pre-process of such a process, a motion detection process is performed to detect a moving part in the field image (that is, to determine a stationary part and a moving part in the field image).

【0006】[0006]

【発明が解決しようとする課題】ところで、従来の動き
検出処理では、その検出精度が十分ではないので、実際
には動きのある部分を、静止している部分であると誤判
別してしまうことがある。
By the way, in the conventional motion detection processing, since the detection accuracy is not sufficient, there is a case where a portion which actually moves is erroneously determined as a stationary portion. .

【0007】このような場合、プログレッシブ映像信号
に変換する処理において、静止している部分と誤判定さ
れた部分に対して、実際には動きのある2枚のフィール
ド画像(すなわち、同一の物体の位置がずれてしまって
いる2枚の画像)が用いられてしまうので、変換された
プログレッシブ映像信号の対応する部分が、ぶれが生じ
た不自然な映像となってしまう課題があった。
In such a case, in the process of converting into a progressive video signal, two field images that actually move (that is, a same object Therefore, there is a problem in that the corresponding portion of the converted progressive video signal becomes an unnatural video with blurring because two images whose positions are displaced) are used.

【0008】逆に、実際には静止している部分を動きの
ある部分と誤判別することもある。このような場合、プ
ログレッシブ映像信号に変換する処理において、実際に
は静止している部分に対して、1枚のフィールド画像だ
けしか用いられてないので情報量が不足し、変換された
プログレッシブ映像信号の対応する部分の解像度が低下
した映像となってしまう課題があった。
On the contrary, there is a case where a portion which is actually stationary is erroneously determined as a moving portion. In such a case, in the process of converting into the progressive video signal, the amount of information is insufficient because only one field image is actually used for the still portion, and the converted progressive video signal However, there was a problem that the resolution of the corresponding part of the image was reduced.

【0009】本発明はこのような状況に鑑みてなされた
ものであり、フィールド画像の画素が、静止している部
分の属するのか、または動きのある部分に属するのかを
高い精度で判別できるようにすることを目的とする。
The present invention has been made in view of such a situation, and it is possible to determine with high accuracy whether a pixel of a field image belongs to a stationary portion or a moving portion. The purpose is to do.

【0010】[0010]

【課題を解決するための手段】本発明の画像処理装置
は、インタレース方式の映像信号を構成する複数のフィ
ールド画像を用いて、フィールド画像上の画素に対応す
る動きベクトルを算出する算出手段と、フィールド画像
上の画素に対して、動きのある部分に属するか否かを判
定する判定手段とを含み、判定手段は、算出手段から供
給される動きベクトル検出情報に基づき、フィールド画
像上の画素に対して、動きのある部分に属するか否かを
判定するための閾値を調整することを特徴とする。
An image processing apparatus according to the present invention comprises a calculating means for calculating a motion vector corresponding to a pixel on a field image using a plurality of field images forming an interlaced video signal. A determination unit that determines whether or not the pixel on the field image belongs to a moving portion, and the determination unit determines the pixel on the field image based on the motion vector detection information supplied from the calculation unit. On the other hand, it is characterized in that the threshold value for determining whether or not it belongs to a moving portion is adjusted.

【0011】本発明の画像処理装置は、判定手段の判定
結果に対応し、インタレース方式の映像信号を構成する
1または2枚のフィールド画像を用いて、プログレッシ
ブ方式の映像信号を構成するフレーム画像を生成する生
成手段をさらに含むことができる。
The image processing apparatus of the present invention uses the one or two field images corresponding to the judgment result of the judgment means and forming the interlace type video signal, and the frame image forming the progressive type video signal. It may further include generation means for generating.

【0012】本発明の画像処理装置は、フィールド画像
上のエッジを検出するエッジ検出手段をさらに含むこと
ができ、前記判定手段は、エッジ検出手段の検出結果に
も基づき、フィールド画像上の画素に対して、動きのあ
る部分に属するか否かを判定するための閾値を調整する
ようにすることができる。
The image processing apparatus of the present invention may further include edge detecting means for detecting an edge on the field image, and the judging means determines the pixel on the field image based on the detection result of the edge detecting means. On the other hand, it is possible to adjust the threshold value for determining whether or not the moving portion belongs.

【0013】本発明の画像処理装置は、フィールド画像
の全画面が静止しているか否かを判定する全画面静止判
定手段をさらに含むことができ、前記判定手段は、全画
面静止判定手段の判定結果にも基づき、フィールド画像
上の画素に対して、動きのある部分に属するか否かを判
定するための閾値を調整するようにすることができる。
The image processing apparatus of the present invention may further include full-screen stillness determining means for determining whether or not the entire screen of the field image is still, and the determining means may determine the full-screen stillness determining means. Based on the result as well, it is possible to adjust the threshold for determining whether or not the pixel on the field image belongs to a moving portion.

【0014】本発明の画像処理装置は、フィールド画像
上に繰り返し模様が存在するか否かを検出する繰り返し
模様検出手段をさらに含むことができ、前記判定手段
は、繰り返し模様検出手段の検出結果にも基づき、フィ
ールド画像上の画素に対して、動きのある部分に属する
か否かを判定するための閾値を調整するようにすること
ができる。
The image processing apparatus of the present invention may further include repetitive pattern detecting means for detecting whether or not a repetitive pattern is present on the field image, and the determining means determines the detection result of the repetitive pattern detecting means. Based on the above, it is possible to adjust the threshold for determining whether or not the pixel on the field image belongs to a moving portion.

【0015】本発明の画像処理方法は、インタレース方
式の映像信号を構成する複数のフィールド画像を用い
て、フィールド画像上の画素に対応する動きベクトルを
算出する算出ステップと、フィールド画像上の画素に対
して、動きのある部分に属するか否かを判定する判定ス
テップとを含み、判定ステップの処理は、算出ステップ
の処理から供給される動きベクトル検出情報に基づき、
フィールド画像上の画素に対して、動きのある部分に属
するか否かを判定するための閾値を調整することを特徴
とする。
The image processing method of the present invention uses a plurality of field images forming an interlaced video signal to calculate a motion vector corresponding to a pixel on the field image, and a pixel on the field image. On the other hand, including a determination step of determining whether or not it belongs to a moving portion, the processing of the determination step, based on the motion vector detection information supplied from the calculation step,
A feature is that a threshold for determining whether or not a pixel on the field image belongs to a moving portion is adjusted.

【0016】本発明の記録媒体のプログラムは、インタ
レース方式の映像信号を構成する複数のフィールド画像
を用いて、フィールド画像上の画素に対応する動きベク
トルを算出する算出ステップと、フィールド画像上の画
素に対して、動きのある部分に属するか否かを判定する
判定ステップとを含み、判定ステップの処理は、算出ス
テップの処理から供給される動きベクトル検出情報に基
づき、フィールド画像上の画素に対して、動きのある部
分に属するか否かを判定するための閾値を調整すること
を特徴とする。
The recording medium program of the present invention uses a plurality of field images forming an interlaced video signal to calculate a motion vector corresponding to a pixel on the field image, and a calculation step on the field image. A determination step of determining whether or not the pixel belongs to a moving part, and the processing of the determination step is performed on the pixel on the field image based on the motion vector detection information supplied from the calculation step. On the other hand, it is characterized in that the threshold value for determining whether or not it belongs to a moving portion is adjusted.

【0017】本発明のプログラムは、インタレース方式
の映像信号を構成する複数のフィールド画像を用いて、
フィールド画像上の画素に対応する動きベクトルを算出
する算出ステップと、フィールド画像上の画素に対し
て、動きのある部分に属するか否かを判定する判定ステ
ップとをコンピュータに実行させ、判定ステップの処理
は、算出ステップの処理から供給される動きベクトル検
出情報に基づき、フィールド画像上の画素に対して、動
きのある部分に属するか否かを判定するための閾値を調
整することを特徴とする。
The program of the present invention uses a plurality of field images that form an interlaced video signal,
The computer is caused to execute a calculation step of calculating a motion vector corresponding to a pixel on the field image, and a determination step of determining whether or not the pixel on the field image belongs to a moving portion. The processing is characterized by adjusting a threshold value for determining whether or not a pixel on the field image belongs to a moving portion based on the motion vector detection information supplied from the calculation step. .

【0018】本発明の画像処理装置および方法、並びに
プログラムにおいては、インタレース方式の映像信号を
構成する複数のフィールド画像を用いて、フィールド画
像上の画素に対応する動きベクトルが算出され、フィー
ルド画像上の画素に対して、動きのある部分に属するか
否かが判定される。なお、判定の処理では、算出の処理
から供給される動きベクトル検出情報に基づき、フィー
ルド画像上の画素に対して、動きのある部分に属するか
否かを判定するための閾値が調整される。
In the image processing apparatus and method and the program of the present invention, a motion vector corresponding to a pixel on a field image is calculated using a plurality of field images forming an interlaced video signal, and the field image is calculated. It is determined whether or not the upper pixel belongs to a moving portion. In the determination processing, the threshold for determining whether or not the pixel on the field image belongs to a moving portion is adjusted based on the motion vector detection information supplied from the calculation processing.

【0019】[0019]

【発明の実施の形態】本発明を適用したDVDプレーヤの
構成例について、図1を参照して説明する。このDVDプ
レーヤ1は、DVD2に記録されているインタレース映像
信号を読み出し、プログレッシブ映像信号に変換して、
ディスプレイ3に出力するものである。なお、以下にお
いては、DVD2に記録されている音声に関するデータに
ついては言及せず、映像に関するデータにだけ言及す
る。
BEST MODE FOR CARRYING OUT THE INVENTION A configuration example of a DVD player to which the present invention is applied will be described with reference to FIG. This DVD player 1 reads out an interlaced video signal recorded on a DVD 2 and converts it into a progressive video signal,
It is output to the display 3. In the following, data relating to audio recorded on the DVD 2 will not be referred to, and only data relating to video will be referred to.

【0020】DVDプレーヤ1は、DVD2に記録されてい
る、例えばMPEG2方式で符号化された符号化データを読
み出す読み出し部11、読み出された符号化データをデ
コードしてインタレース映像信号を生成するMPEGデコー
ド部12、例えばブロックマッチング法を適用して、イ
ンタレース映像信号のフィールド画像を構成する各画素
のフィールド間動きベクトルを検出する動きベクトル検
出部13、検出されたフィールド間動きベクトルを含む
動きベクトル検出情報を用いてフィールド画像内の各画
素の動きを検出し、動きのある部分の画素は1枚のフィ
ールド画像を用いて補間する動き検出部14、画像内の
静止している部分の画素を、前後する2枚のフィールド
画像を用いて補間し、動き検出部14が出力する動きの
ある部分が補間された画像と組み合わせてフレーム画像
を生成するプログレッシブ変換部15、および生成され
たフレーム画像からなるプログレッシブ映像信号をディ
スプレイ3に出力する信号出力部16から構成される。
The DVD player 1 reads a coded data recorded on the DVD 2, for example, coded by the MPEG2 system, and a read unit 11 that decodes the read coded data to generate an interlaced video signal. An MPEG decoding unit 12, for example, a block matching method is applied, a motion vector detecting unit 13 for detecting an inter-field motion vector of each pixel forming a field image of an interlaced video signal, and a motion including the detected inter-field motion vector. The motion detection unit 14 detects the motion of each pixel in the field image using the vector detection information, and interpolates the pixel in the motion part using one field image, the pixel in the stationary part in the image Is interpolated using two front and back field images, and a moving part output from the motion detection unit 14 is interpolated. It generates a frame image in combination with the configured progressive conversion unit 15, and a progressive video signal comprising a generated frame image from the signal output unit 16 for outputting to the display 3.

【0021】動きベクトル検出部13が動き検出部14
に対して出力する動きベクトル検出情報には、フィール
ド間動きベクトルの他、フレーム間動きベクトル、動き
ベクトルを検出した時の評価値、前記評価値の平均値、
前記評価値を算出したときの画素の差分演算結果などが
含まれる。
The motion vector detecting unit 13 is replaced by the motion detecting unit 14.
The motion vector detection information to be output to, in addition to the inter-field motion vector, the inter-frame motion vector, the evaluation value when the motion vector is detected, the average value of the evaluation value,
It includes a pixel difference calculation result when the evaluation value is calculated.

【0022】なお、動きベクトル検出部13には、本出
願人が特願2001−378884号として先に提案し
た発明を適用することができる。
The invention previously proposed by the present applicant as Japanese Patent Application No. 2001-378884 can be applied to the motion vector detecting section 13.

【0023】ディスプレイ3は、入力されるプログレッ
シブ映像信号に対応する映像を表示する。
The display 3 displays an image corresponding to the input progressive image signal.

【0024】次に、動きベクトル検出部13乃至プログ
レッシブ変換部15に入力されるインタレース映像信号
について、図2を参照して説明する。以下、インタレー
ス映像信号を構成する連続する3枚のフィールド画像の
うち、基準とするフィールド画像をFtと記述し、フィ
ールド画像Ftの1フィールド前のフィールド画像をF
t-1と記述し、フィールド画像Ft-1の1フィールド前の
フィールド画像をFt-2と記述する。フィールド画像Ft
とフィールド画像Ft-2は同位相であり、フィールド画
像Ft-1とフィールド画像Ft-2は異位相である。
Next, the motion vector detecting section 13 through the program.
Interlaced video signal input to the recessive conversion unit 15
Will be described with reference to FIG. Below, the interlace
Of three consecutive field images that make up the video signal
Of these, the reference field image is FtAnd write
Image FtThe field image one field before is F
t-1Field image Ft-1One field before
Field image is Ft-2Write. Field image Ft
And field image Ft-2Are in phase and the field image
Statue Ft-1And field image Ft-2Are out of phase.

【0025】MPEGデコード部12から順次出力されるフ
ィールド画像Ftは、動きベクトル検出部13、動き検
出部14、およびフィールドメモリ21に入力される。
フィールドメモリ21は、入力されるフィールド画像F
tを1フィールド周期だけ遅延し、フィールド画像Ft-1
として、動きベクトル検出部13、動き判定部14、プ
ログレッシブ変換部15、およびフィールドメモリ22
に出力する。フィールドメモリ22は、入力されるフィ
ールド画像Ft-1を1フィールド周期だけ遅延し、フィ
ールド画像Ft-2として、動きベクトル検出部13、お
よび動き判定部14に出力する。
The field images F t sequentially output from the MPEG decoding unit 12 are input to the motion vector detecting unit 13, the motion detecting unit 14, and the field memory 21.
The field memory 21 stores the input field image F.
The field image F t-1 is delayed by delaying t by one field period.
As the motion vector detection unit 13, the motion determination unit 14, the progressive conversion unit 15, and the field memory 22.
Output to. The field memory 22 delays the input field image F t-1 by one field period and outputs it as a field image F t-2 to the motion vector detection unit 13 and the motion determination unit 14.

【0026】したがって、動きベクトル検出部13およ
び動き検出部14には、連続する3枚のフィールド画像
t乃至Ft-2の全てが供給されことになる。プログレッ
シブ変換部15には、連続する3枚のフィールド画像F
t乃至Ft-2のうちのフィールド画像Ft-2と動き検出部
14の出力が供給されることになる。
Therefore, the motion vector detecting unit 13 and the motion detecting unit 14 are supplied with all three continuous field images F t to F t-2 . The progressive converter 15 has three consecutive field images F.
Output of t to F field image of the t-2 F t-2 and the motion detector 14 will be supplied.

【0027】なお、図2のフィールドメモリ21,22
は、MPEGデコード部12と動きベクトル検出部13の間
に設けてもよいし、MPEGデコード部12に内蔵するよう
にしてもよい。
The field memories 21 and 22 shown in FIG.
May be provided between the MPEG decoding unit 12 and the motion vector detecting unit 13 or may be built in the MPEG decoding unit 12.

【0028】図3は、動き検出部14の構成例を示して
いる。フレーム間差分算出部31は、上段から入力され
る1フィールドだけ間隔が空いた同位相のフィールド画
像F tとフィールド画像Ft-2の対応する画素同士の差分
を演算し、全画面静止判定部35、および動き検出確定
部38に出力する。また、フレーム間差分算出部31
は、算出した画素の差分をメモリ33に記録し、1フィ
ールド周期後に読み出して、全画面静止判定部35、お
よび動き検出確定部38に出力する。さらに、フレーム
間差分算出部31は、フィールド画像Ftとフィールド
画像Ft-2の画素をエッジ検出部34に出力する。
FIG. 3 shows an example of the structure of the motion detector 14.
There is. The inter-frame difference calculation unit 31 is input from the upper stage.
In-phase field image with an interval of 1 field
Statue F tAnd field image Ft-2Difference between corresponding pixels of
To determine the full screen stillness determination unit 35 and the motion detection
It is output to the unit 38. In addition, the inter-frame difference calculation unit 31
Records the calculated pixel difference in the memory 33, and
Read after the field cycle, the full-screen stillness determination unit 35,
And output to the motion detection determining unit 38. In addition, the frame
The inter-difference calculation unit 31 uses the field image FtAnd field
Image Ft-2The pixels of are output to the edge detection unit 34.

【0029】フィールド間差分算出部32は、上段から
入力される、連続した異位相のフィールド画像Ft-1
フィールド画像Ft-2の一方または両方に垂直方向の補
正フィルタなどを用いた補間処理を施した後、対応する
画素同士の差分を演算し、繰り返し模様検出部36、お
よび動き検出確定部38に出力する。さらに、フィール
ド間差分算出部32は、フィールド画像Ft-1とフィー
ルド画像Ft-2の画素をエッジ検出部34に出力する。
なお、フィールド画像に対する補間処理には、垂直方向
の補正フィルタの他、線形補間、キュービック補間等を
用いてもよい。
The inter-field difference calculating section 32 uses a vertical correction filter or the like for one or both of the continuous field images F t-1 and F t-2 having different phases, which are input from the upper stage. After performing the interpolation process, the difference between the corresponding pixels is calculated and output to the repetitive pattern detection unit 36 and the motion detection determination unit 38. Further, the inter-field difference calculation unit 32 outputs the pixels of the field image F t-1 and the field image F t-2 to the edge detection unit 34.
Note that the interpolation processing for the field image may use linear interpolation, cubic interpolation, or the like, in addition to the vertical correction filter.

【0030】以下、1フィールド間隔が空いた同位相の
フィールド画像Ftとフィールド画像Ft-2との関係をフ
レーム間とも記述する。また、連続した異位相のフィー
ルド画像Ft-1とフィールド画像Ft-2との関係をフィー
ルド間とも記述する。
Hereinafter, the relationship between the field image F t and the field image F t-2 having the same phase with one field interval left is also described between frames. Further, the relationship between the continuous field images F t-1 and F t-2 having different phases is also described between fields.

【0031】エッジ検出部34は、フレーム間差分算出
部31およびフィールド間差分算出部32から入力され
るフィールド画像の画素に基づき、動き検出の対象とな
る画素の近傍(例えば、当該画素と、上下する画素との
間)に、画像内の物体のエッジが存在するか否かを判定
し、判定結果を動き検出確定部38に出力する。図4を
参照して、具体的に説明する。
The edge detection unit 34 is based on the pixels of the field image input from the inter-frame difference calculation unit 31 and the inter-field difference calculation unit 32, and the vicinity of the pixel to be subjected to the motion detection (for example, the pixel and the vertical direction). It is determined whether or not an edge of the object in the image exists between the pixel) and the motion detection determination unit 38. This will be specifically described with reference to FIG.

【0032】フィールド画像Ft上の実際には存在して
いない、補間される画素P’7が動き検出の対象となる
場合、フィールド画像Ftの画素P6とフィールド画像F
t-1の画素P4との差分と、フィールド画像Ftの画素P8
とフィールド画像Ft-1の画素P4との差分とを比較し、
大きい方の差分が十分に大きい場合、エッジが存在する
と判定する。
The field image F not exist in practice on t, when the pixel P '7 to be interpolated is subject to motion detection, field image F t pixel P 6 and the field image F of
The difference from the pixel P 4 of t−1 and the pixel P 8 of the field image F t
And the difference between the pixel P 4 of the field image F t-1 and
If the larger difference is sufficiently large, it is determined that an edge exists.

【0033】なお、フィールド画像Ftの画素P6とフィ
ールド画像Ft-1の画素P4との差分と、フィールド画像
t-1の画素P3,P4の差分との小さい方と、フィール
ド画像Ftの画素P8とフィールド画像Ft-1の画素P4
の差分とを比較し、大きい方の差分が十分に大きい場
合、エッジが存在すると判定するようにしてもよい。こ
のようにした場合、より高精度にエッジを検出すること
が可能である。
It should be noted, and the difference between the pixel P 6 of the field image F t field image F t-1 of the pixel P 4, field image F t-1 of the pixel P 3, the smaller the difference of P 4, field compared with the difference between the image F t pixel P 8 and the field image F t-1 of the pixel P 4 in the case the difference between the larger is large enough, it may be determined that an edge is present. In this case, the edge can be detected with higher accuracy.

【0034】さらに、画素P3,P4,P6それぞれの水
平方向に隣接する画素に対して同様の処理を行い、エッ
ジ判定に用いるようにしてもよい。
Further, similar processing may be performed on pixels adjacent to each of the pixels P 3 , P 4 and P 6 in the horizontal direction and used for edge determination.

【0035】図3に戻る。全画面静止判定部35は、動
きベクトル検出部13から入力されるフィールド画像内
の動きベクトル、およびフレーム間差分算出部31から
入力されるフレーム間の対応する画素同士の差分を、所
定数のフレーム間に亘って比較することにより、画面全
体が静止しているか否かを判定し、判定結果を動き検出
確定部38に出力する。
Returning to FIG. The full-screen stillness determination unit 35 determines the motion vector in the field image input from the motion vector detection unit 13 and the difference between corresponding pixels between the frames input from the inter-frame difference calculation unit 31 by a predetermined number of frames. By comparing over time, it is determined whether or not the entire screen is stationary, and the determination result is output to the motion detection confirming unit 38.

【0036】具体的には、例えば、動きベクトル検出部
13から入力されるフィールド画像内の動きベクトルが
0である画素の数や、フレーム間差分算出部31から入
力されるフレーム間の対応する画素同士の差分が所定の
大きさを下回っている画素の数をカウントし、そのカウ
ント値が所定の数以下であった場合、画面全体が静止し
ていると判定するようにする。
Specifically, for example, the number of pixels having a motion vector of 0 in the field image input from the motion vector detection unit 13 and the corresponding pixel between frames input from the interframe difference calculation unit 31. The number of pixels in which the difference between them is smaller than a predetermined size is counted, and if the count value is equal to or smaller than the predetermined number, it is determined that the entire screen is stationary.

【0037】なお、全画面静止判定部35は、全画面内
のうちの所定の領域が静止しているか否かを判定し、判
定結果を動き検出確定部38に出力することもできる。
The full-screen stillness determination unit 35 can also determine whether or not a predetermined area within the entire screen is still, and output the determination result to the motion detection determination unit 38.

【0038】繰り返し模様検出部36は、フィールド間
差分算出部32から入力されるフィールド間の対応する
画素同士の差分に基づき、動き検出の対象となる画素の
周囲に繰り返し模様(例えば、縞模様など)が存在する
か否かを判定し、判定結果を動き検出確定部38に出力
する。
The repetitive pattern detecting section 36 is based on the difference between corresponding pixels between the fields input from the inter-field difference calculating section 32, and the repetitive pattern (for example, a striped pattern or the like) around the pixel to be subjected to the motion detection. ) Is present, and the determination result is output to the motion detection confirming unit 38.

【0039】なお、繰り返し模様検出部36では、例え
ば、フィールド画像中に、その水平走査線と等間隔であ
る静止している横線の画像が含まれている場合、それを
動きがある部分の繰り返し模様であると誤判定してしま
うことがある。この誤判定を補償するために、上述した
全画面静止判定部35が設けられている。
In addition, in the repetitive pattern detecting section 36, for example, when the field image includes an image of a horizontal line which is stationary at the same interval as the horizontal scanning line, the repetitive pattern detecting unit 36 repeats it in a moving part. It may be erroneously determined to be a pattern. In order to compensate for this erroneous determination, the full-screen stillness determination unit 35 described above is provided.

【0040】静止判定部37は、動きベクトル検出部1
3から入力されるフィールド画像内の動きベクトルに基
づき、動き検出の対象となる画素が静止画素であるか否
かを判定し、判定結果を動き検出確定部38に出力す
る。
The stillness judging unit 37 is a motion vector detecting unit 1.
Based on the motion vector in the field image input from 3, it is determined whether or not the pixel for which the motion is to be detected is a still pixel, and the determination result is output to the motion detection determination unit 38.

【0041】動き検出確定部38は、フレーム間差分算
出部31から入力されるフレーム間の対応する画素同士
の差分、およびフィールド間差分算出部32から入力さ
れるフィールド間の対応する画素同士の差分に基づき、
動き検出の対象となる画素の評価値を決定する。
The motion detection determining section 38 is a difference between corresponding pixels between frames input from the inter-frame difference calculating section 31 and a difference between corresponding pixels between fields input from the inter-field difference calculating section 32. Based on
The evaluation value of the pixel that is the target of motion detection is determined.

【0042】図4を参照して、具体的に説明する。フィ
ールド画像Ft上の実際には存在しておらず、インタレ
ース映像信号をプログレッシブ映像信号に変換するとき
に補間される画素P’7の評価値を決定する場合、フレ
ーム間差分算出部31から供給されるフィールド画像F
t+1の画素P9とフィールド画像Ft-1の画素P4との差
分、フィールド画像Ftの画素P6とフィールド画像F
t-2の画素P1との差分、および、フィールド画像Ft
画素P8とフィールド画像Ft-2の画素P2の差分に注目
する。
A specific description will be given with reference to FIG. When determining the evaluation value of the pixel P ′ 7 which does not actually exist on the field image F t and is interpolated when the interlaced video signal is converted into the progressive video signal, the inter-frame difference calculation unit 31 determines Field image F supplied
The difference between the pixel P 9 of t + 1 and the pixel P 4 of the field image F t−1 , the pixel P 6 of the field image F t and the field image F
the difference between the pixel P 1 of t-2, and is focused on pixel P 8 and the field difference image F t-2 of the pixel P 2 field images F t.

【0043】なお、フレーム間差分算出部31におい
て、フィールド画像Ft+1の画素P9とフィールド画像F
t-1の画素P4との差分(以下、フレーム間差分P94
記述する。他も同様である)が算出されたとき、既にメ
モリ33には1フィールド周期前に算出されたフレーム
間差分P61とフレーム間差分P82が記録されている
のでそれを利用する。
In the inter-frame difference calculation unit 31, the pixel P 9 of the field image F t + 1 and the field image F t
When the difference between the pixel t 4 of t−1 and the pixel P 4 (hereinafter referred to as the inter-frame difference P 9 P 4 and the like) is calculated, the frame already calculated in the memory 33 one field period before is calculated. Since the inter-difference P 6 P 1 and the inter-frame difference P 8 P 2 are recorded, they are used.

【0044】続いて、フレーム間差分P94とフレーム
間差分P61の大きい方と、フレーム間差分P94とフ
レーム間差分P82の大きい方とを比較し、その小さい
方をフレーム間差分評価値に決定する。
Next, the larger one of the inter-frame difference P 9 P 4 and the inter-frame difference P 6 P 1 and the larger one of the inter-frame difference P 9 P 4 and the inter-frame difference P 8 P 2 are compared. The smaller one is determined as the inter-frame difference evaluation value.

【0045】また、フィールド間差分算出部32から供
給されるフィールド画像Ftの補間された画素P’7とフ
ィールド画像Ft-1の画素P4との差分(以下、フィール
ド間差分P’74と記述する。)に注目し、フィールド
間差分評価値に決定する。
Further, the inter-field difference calculation unit 32 pixel P interpolated field image F t supplied from 'the difference between the 7 and the field image F t-1 of the pixel P 4 (hereinafter, field difference P' 7 attention to P 4 and describing.), to determine the inter-field difference evaluation value.

【0046】さらに、フレーム間差分評価値とフィール
ド間差分評価値を比較し、大きい方を動き検出の評価値
に決定する。
Further, the inter-frame difference evaluation value is compared with the inter-field difference evaluation value, and the larger one is determined as the motion detection evaluation value.

【0047】図3に戻る。また、動き検出確定部38
は、エッジ検出部34の検出結果、全画面静止判定部3
5の判定結果、繰り返し模様検出部36の検出結果、お
よび静止判定部37の判定結果に基づき、動き検出に用
いる閾値を調整する。
Returning to FIG. In addition, the motion detection confirmation unit 38
Is the detection result of the edge detection unit 34, the full-screen stillness determination unit 3
Based on the determination result of No. 5, the detection result of the repeated pattern detection unit 36, and the determination result of the stillness determination unit 37, the threshold used for motion detection is adjusted.

【0048】すなわち、エッジの付近では、実際には静
止している部分を、動きのある部分と誤判別することが
多いので、エッジが検出された場合、および、全画面が
静止であると判定された場合、動き検出用の閾値を、静
止している部分と判定し易い方向に調整する。また、さ
らに、静止判定部37の判定結果が静止である場合に
も、動き検出用の閾値を、静止している部分と判定し易
い方向に調整する。
That is, in the vicinity of the edge, a portion which is actually stationary is often erroneously determined as a moving portion. Therefore, when the edge is detected and it is determined that the entire screen is stationary. If so, the threshold value for motion detection is adjusted in a direction in which it is easy to determine that the portion is stationary. Further, even when the determination result of the stillness determination unit 37 is still, the threshold value for motion detection is adjusted to a direction in which it is easy to determine that the portion is still.

【0049】反対に、繰り返し模様の物体が移動してい
ても静止していると誤判定されることが多いので、繰り
返し模様が検出された場合には、動き検出用の閾値を、
動きのある部分と判定し易い方向に調整する。ただし、
全画面が静止であると判定され、かつ、繰り返し模様が
検出された場合には、全画面が静止であると判定された
ことを優先して、動き検出用の閾値を、動きのある部分
と判定し易い方向に調整することは行わない。
On the other hand, it is often mistakenly determined that the object having the repeating pattern is stationary even if it is moving. Therefore, when the repeating pattern is detected, the threshold for motion detection is set to
Adjust so that it is easy to determine that there is a moving part. However,
When it is determined that the entire screen is still and the repeated pattern is detected, the determination that the entire screen is still is given priority, and the threshold for motion detection is set as a moving portion. No adjustment is made in the direction that is easy to judge.

【0050】さらに、動き検出確定部38は、動きベク
トル検出部13から入力される動きベクトル検出情報に
基づき、動き検出に用いる閾値を調整する。
Further, the motion detection determining section 38 adjusts the threshold value used for motion detection based on the motion vector detection information input from the motion vector detecting section 13.

【0051】例えば、動きベクトル検出情報に基づき、
動きベクトル検出用の評価値の平均値、探索範囲内での
分布、検出された動きベクトルの周辺の評価値との差分
を算出し、それらに基づき、動き検出の対象となる画素
の動きベクトルの評価値が他のものよりも突出してお
り、かつ、得られた動きベクトルが静止でないことを示
している場合、動き検出に用いる閾値を、動きのある部
分と判定し易い方向に調整する。
For example, based on the motion vector detection information,
The average value of the evaluation values for motion vector detection, the distribution within the search range, and the difference between the detected motion vector and the surrounding evaluation values are calculated, and based on them, the motion vector of the pixel to be the target of motion detection is calculated. When the evaluation value is more prominent than the others and the obtained motion vector indicates that the motion vector is not stationary, the threshold value used for motion detection is adjusted in a direction in which it is easy to determine that there is a motion portion.

【0052】また、フィールド画像内の他の動きベクト
ルに対応する動きベクトル検出情報、並びに以前の数フ
ィールド分の動きベクトルに対応する動きベクトル検出
情報に基づき、画像内に含まれるノイズ量を判定し、こ
のノイズ量が多い場合には動きのある部分と誤判定する
ことが多いので、動き検出に用いる閾値を、静止してい
る部分であると判定し易い方向に調整する。
Further, the amount of noise included in the image is determined based on the motion vector detection information corresponding to other motion vectors in the field image and the motion vector detection information corresponding to the motion vectors of several previous fields. When the amount of noise is large, it is erroneously determined that there is a moving portion, so the threshold value used for motion detection is adjusted so that it is easy to determine that it is a stationary portion.

【0053】またフィールド間動きベクトルだけでな
く、フレーム間動きベクトルも0である場合、動き検出
に用いる閾値を、静止している部分であると判定し易い
方向に調整する。
When not only the inter-field motion vector but also the inter-frame motion vector is 0, the threshold value used for the motion detection is adjusted to a direction in which it is easy to determine that it is a stationary portion.

【0054】動き検出確定部38は、さらに、決定した
画素の評価値を設定した閾値と比較することによって、
動き検出の対象となる画素が動きのある部分に属するの
か、静止している部分に属するのかを判定し、判定結果
を補間処理部39に出力する。
The motion detection determining section 38 further compares the determined evaluation value of the pixel with the set threshold value,
It is determined whether the pixel for which the motion is to be detected belongs to a moving portion or a stationary portion, and the determination result is output to the interpolation processing unit 39.

【0055】図3に戻る。補間処理部39は、動き検出
確定部38から入力される、各画素の動き検出の結果に
基づき、動きのある部分に属する画素を1枚のフィール
ド画像を用いて補間して、プログレッシブ変換部15に
出力する。
Returning to FIG. The interpolation processing unit 39 interpolates pixels belonging to a moving portion using one field image based on the result of the motion detection of each pixel input from the motion detection determining unit 38, and the progressive conversion unit 15 Output to.

【0056】制御部40は、磁気ディスク、光ディス
ク、光磁気ディスク、または半導体メモリなどからなる
記録媒体41に記録されている制御用プログラムを読み
出し、読み出した制御用プログラムに基づいて、動き検
出部14の各部を制御する。なお、図3においては、制
御部40から各部に対する制御線の図示を省略してい
る。
The control unit 40 reads the control program recorded on the recording medium 41 composed of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like, and based on the read control program, the motion detection unit 14 Control each part of. In FIG. 3, the control lines from the control unit 40 to each unit are omitted.

【0057】次に、動き検出部14による動き検出処理
について、図5のフローチャートを参照して説明する。
この動き検出処理は、後段のプログレッシブ変換部15
で生成されるフレーム画像上の画素に対応する、フィー
ルド画像Ft-2上の画素(図4の画素P’7のような補間
される画素も含む)に対して実行される。
Next, the motion detection processing by the motion detection unit 14 will be described with reference to the flowchart of FIG.
This motion detection processing is performed by the progressive conversion unit 15 in the subsequent stage.
The pixel on the field image F t−2 (including the pixel to be interpolated like the pixel P ′ 7 in FIG. 4) corresponding to the pixel on the frame image generated in (4).

【0058】ステップS1において、フィールド間差分
算出部32は、上段から入力されたフィールド画像F
t-1とフィールド画像Ft-2の一方または両方に垂直方向
の補正フィルタなどを用いた補間処理を施した後、対応
する画素同士の差分を演算し、繰り返し模様検出部3
6、および動き検出確定部38に出力する。また、フィ
ールド間差分算出部32は、フィールド画像Ft-1とフ
ィールド画像Ft-2の画素をエッジ検出部34に出力す
る。
In step S1, the inter-field difference calculating section 32 determines the field image F input from the upper stage.
After one or both of t-1 and the field image F t-2 are subjected to interpolation processing using a vertical correction filter or the like, the difference between corresponding pixels is calculated, and the repeated pattern detection unit 3
6 and the motion detection determination unit 38. In addition, the inter-field difference calculation unit 32 outputs the pixels of the field image F t-1 and the field image F t-2 to the edge detection unit 34.

【0059】ステップS2において、フレーム間差分算
出部31は、上段から入力されたフィールド画像Ft
フィールド画像Ft-2の対応する画素同士の差分を演算
し、全画面静止判定部35、および動き検出確定部38
に出力する。また、さらに、フレーム間差分算出部31
は、フィールド画像Ftとフィールド画像Ft-2の画素を
エッジ検出部34に出力する。
In step S2, the inter-frame difference calculation unit 31 calculates the difference between the corresponding pixels of the field image F t and the field image F t-2 input from the upper stage, and the full screen stillness determination unit 35, and Motion detection confirmation unit 38
Output to. In addition, the inter-frame difference calculation unit 31
Outputs the pixels of the field image F t and the field image F t-2 to the edge detection unit 34.

【0060】なお、ステップS1の処理と、ステップS
2の処理は、実際には平行して同時に実行するようにし
てもよい。
The process of step S1 and the step S
The processing of 2 may be actually executed in parallel at the same time.

【0061】ステップS3において、エッジ検出部34
は、フレーム間差分算出部31およびフィールド間差分
算出部32から入力されたフィールド画像の画素に基づ
き、処理対象の画素の近傍にエッジが存在するか否かを
判定し、判定結果を動き検出確定部38に出力する。全
画面静止判定部35は、動きベクトル検出部13から入
力されたフィールド画像内の動きベクトル、およびフレ
ーム間差分算出部31から入力されたフレーム間の対応
する画素同士の差分に基づき、画面全体が静止している
か否かを判定し、判定結果を動き検出確定部38に出力
する。繰り返し模様検出部36は、フィールド間差分算
出部32から入力されたフィールド間の対応する画素同
士の差分に基づき、処理対象の画素の周囲に繰り返し模
様が存在するか否かを判定し、判定結果を動き検出確定
部38に出力する。
In step S3, the edge detector 34
Determines whether an edge exists in the vicinity of the pixel to be processed based on the pixels of the field image input from the inter-frame difference calculation unit 31 and the inter-field difference calculation unit 32, and the determination result is the motion detection confirmation. It is output to the unit 38. The full-screen stillness determination unit 35 determines the entire screen based on the motion vector in the field image input from the motion vector detection unit 13 and the difference between corresponding pixels between frames input from the inter-frame difference calculation unit 31. It is determined whether or not it is stationary, and the determination result is output to the motion detection confirming unit 38. The repetitive pattern detection unit 36 determines whether or not a repetitive pattern exists around the pixel to be processed based on the difference between the corresponding pixels between the fields input from the inter-field difference calculation unit 32, and the determination result Is output to the motion detection determining unit 38.

【0062】ステップS4において、動き検出確定部3
8は、エッジ検出部34の検出結果が、「エッジが存在
する」を示すか否かを判定する。「エッジが存在する」
を示すと判定された場合、処理はステップS5に進む。
ステップS5において、動き検出確定部38は、全画面
静止判定部35の判定結果が、「全画面が静止である」
を示すか否かを判定する。「全画面が静止である」を示
すと判定された場合、処理はステップS6に進む。ステ
ップS6において、動き検出確定部38は、動き検出用
の閾値を、静止している部分と判定し易い方向に調整す
る。
In step S4, the motion detection determining section 3
8 determines whether the detection result of the edge detection unit 34 indicates “there is an edge”. "There is an edge"
If it is determined to indicate, the process proceeds to step S5.
In step S5, the motion detection confirming unit 38 determines that the determination result of the full-screen stillness determining unit 35 is “full-screen still”.
Is determined. If it is determined that "all screens are still", the process proceeds to step S6. In step S6, the motion detection determination unit 38 adjusts the threshold value for motion detection in a direction in which it is easy to determine that the part is stationary.

【0063】なお、ステップS5において、全画面静止
判定部35の判定結果が、「全画面が静止である」を示
すと判定されない場合、処理はステップS7に進む。ス
テップS7において、動き検出確定部38は、繰り返し
模様検出部36の検出結果が、「繰り返し模様である」
を示すか否かを判定する。「繰り返し模様である」を示
すと判定された場合、処理はステップS8に進む。ステ
ップS8において、動き検出確定部38は、動き検出用
の閾値を、動きのある部分と判定し易い方向に調整す
る。
If it is not determined in step S5 that the determination result of the full screen stillness determination section 35 indicates "the entire screen is still", the process proceeds to step S7. In step S7, the motion detection confirming unit 38 determines that the detection result of the repetitive pattern detection unit 36 is “repetitive pattern”.
Is determined. When it is determined that the "repeated pattern" is indicated, the process proceeds to step S8. In step S8, the motion detection determination unit 38 adjusts the threshold value for motion detection in a direction in which it is easy to determine that there is a motion portion.

【0064】なお、ステップS4において、エッジ検出
部34の検出結果が、「エッジが存在する」を示さない
と判定された場合、ステップS5乃至ステップS8の処
理はスキップされる。また、ステップS7において、繰
り返し模様検出部36の検出結果が、「繰り返し模様で
ある」を示さないと判定された場合、ステップS8の処
理はスキップされる。
If it is determined in step S4 that the detection result of the edge detector 34 does not indicate "there is an edge", the processes of steps S5 to S8 are skipped. Further, when it is determined in step S7 that the detection result of the repeated pattern detection unit 36 does not indicate "it is a repeated pattern", the process of step S8 is skipped.

【0065】ステップS9において、動き検出確定部3
8は、フレーム間差分算出部31から入力されたフレー
ム間の対応する画素同士の差分、およびフィールド間差
分算出部32から入力されたフィールド間の対応する画
素同士の差分に基づき、処理対象の画素の評価値を算出
する。
In step S9, the motion detection determining section 3
8 is a pixel to be processed based on the difference between corresponding pixels between frames input from the inter-frame difference calculating unit 31 and the difference between corresponding pixels between fields input from the inter-field difference calculating unit 32. The evaluation value of is calculated.

【0066】ステップS10においては、静止判定部3
7は、動きベクトル検出部13から入力されたフィール
ド画像内の動きベクトルに基づき、処理対象の画素が静
止しているか否かを判定し、判定結果を動き検出確定部
38に出力する。動き検出確定部38は、静止判定部3
7の判定結果が、「静止画素である」を示すか否かを判
定する。「静止画素である」を示すと判定された場合、
処理はステップS11に進む。
In step S10, the stillness determination unit 3
7 determines whether or not the pixel to be processed is still based on the motion vector in the field image input from the motion vector detection unit 13, and outputs the determination result to the motion detection determination unit 38. The motion detection confirming unit 38 uses the stillness determining unit 3
It is determined whether or not the determination result of 7 indicates “still pixel”. When it is determined that the pixel is “still pixel”,
The process proceeds to step S11.

【0067】ステップS11において、動き検出確定部
38は、動き検出用の閾値を、静止している部分と判定
し易い方向に調整する。また、動き検出確定部38は、
動きベクトル検出部13から入力された動きベクトル検
出情報に基づき、動き検出に用いる閾値を調整する。な
お、ステップS10において、静止判定部37の判定結
果が、「静止画素である」を示さないと判定された場
合、ステップS11の処理はスキップされる。
In step S11, the motion detection confirming section 38 adjusts the motion detection threshold value in a direction in which it is easy to determine that the part is stationary. In addition, the motion detection confirming unit 38
The threshold used for motion detection is adjusted based on the motion vector detection information input from the motion vector detection unit 13. When it is determined in step S10 that the determination result of the stillness determination unit 37 does not indicate "still pixel", the process of step S11 is skipped.

【0068】ステップS12において、動き検出確定部
38は、上述したステップS6,S8,S11などの処
理による調整を反映して、動き検出に用いる閾値を決定
する。ステップS13において、動き検出確定部38
は、ステップS9で算出した処理対象の画素の評価値
が、ステップS12で決定した閾値を上回るか否かを判
定し、評価値が閾値を上回ると判定した場合、処理対象
の画素を動きのある部分に属すると判定する。反対に、
評価値が閾値を上回らないと判定した場合、処理対象の
画素を静止している部分に属すると判定する。さらに、
動き検出確定部38は、処理対象の画素が動きのある部
分に属するか否かの判定結果と、その評価値を補間処理
部39に出力する。
In step S12, the motion detection confirming section 38 determines the threshold value used for motion detection, reflecting the adjustments made by the processing in steps S6, S8, S11 and the like. In step S13, the motion detection confirming unit 38
Determines whether or not the evaluation value of the pixel to be processed calculated in step S9 exceeds the threshold value determined in step S12. If it is determined that the evaluation value exceeds the threshold value, the pixel to be processed is moving. Determined to belong to the part. Conversely,
When it is determined that the evaluation value does not exceed the threshold value, it is determined that the pixel to be processed belongs to the stationary portion. further,
The motion detection confirming unit 38 outputs the determination result of whether or not the processing target pixel belongs to a moving portion and its evaluation value to the interpolation processing unit 39.

【0069】ステップS14において、補間処理部39
は、動きのある部分に属すると判定されたフィールド画
像Ft-2上の画素を、同じフィールド画像Ft-2上の近傍
の画素を用いて補間し、プログレッシブ変換部15に出
力する。
In step S14, the interpolation processing unit 39
Is a pixel on the field image F t-2, which are determined to belong to the part of the motion, and interpolated using pixels in the vicinity on the same field image F t-2, and outputs the progressive conversion unit 15.

【0070】以上、現在処理対象とされている画素に対
する動き検出処理は終了される。なお、次に処理対象と
されている画素に対する動き検出処理においては、ステ
ップS1の処理、ステップS2の処理、およびステップ
S3のうちの全画面静止判定処理は、既に実行されてい
るので、その結果を流用すればよい。以上、動き検出部
14による動き検出処理の説明を終了する。
As described above, the motion detection process for the pixel currently being processed is completed. Note that, in the motion detection process for the pixel to be processed next, the process of step S1, the process of step S2, and the full-screen stillness determination process of step S3 have already been executed. Can be diverted. This is the end of the description of the motion detection process performed by the motion detection unit 14.

【0071】以上説明したように、動き検出部14にお
いては、検出されたフィールド間動きベクトルを含む動
きベクトル検出情報も用いるので、フィールド画像内の
各画素の動きを高い精度で検出することができる。
As described above, since the motion detecting section 14 also uses the motion vector detection information including the detected inter-field motion vector, the motion of each pixel in the field image can be detected with high accuracy. .

【0072】なお、本発明は、DVDプレーヤに限らず、
例えば、テレビジョン受像機、ビデオテープレコーダ、
ハードディスクレコーダなどの、インタレース方式の映
像信号をプログレッシブ方式の映像信号に変換する映像
関連機器に適用することが可能である。
The present invention is not limited to the DVD player,
For example, a television receiver, a video tape recorder,
It can be applied to a video-related device such as a hard disk recorder that converts an interlaced video signal into a progressive video signal.

【0073】ところで、上述した一連の処理は、ハード
ウェアにより実行させることもできるが、ソフトウェア
により実行させることもできる。一連の処理をソフトウ
ェアにより実行させる場合には、そのソフトウェアを構
成するプログラムが、専用のハードウェアに組み込まれ
ているコンピュータ、または、各種のプログラムをイン
ストールすることで、各種の機能を実行することが可能
な、例えば汎用のパーソナルコンピュータなどに、図3
の記録媒体41などからインストールされる。
By the way, the series of processes described above can be executed by hardware, but can also be executed by software. When a series of processes is executed by software, a program that constitutes the software can execute various functions by installing a computer in which dedicated hardware is installed or various programs. If possible, for example in a general-purpose personal computer,
It is installed from the recording medium 41 or the like.

【0074】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
In the present specification, the steps for describing the program recorded on the recording medium are not limited to the processing performed in time series according to the order described, but may be performed in parallel even if the processing is not necessarily performed in time series. Alternatively, it also includes processes that are individually executed.

【0075】[0075]

【発明の効果】以上のように、本発明の画像処理装置お
よび方法、並びにプログラムによれば、インタレース方
式の映像信号を構成する複数のフィールド画像を用い
て、フィールド画像上の画素に対応する動きベクトルを
算出し、フィールド画像上の画素に対して、動きのある
部分に属するか否かを判定し、判定の処理では、算出の
処理から供給される動きベクトル検出情報に基づき、フ
ィールド画像上の画素に対して、動きのある部分に属す
るか否かを判定するための閾値を調整するようにしたの
で、フィールド画像の画素が、静止している部分の属す
るのか、または動きのある部分に属するのかを高い精度
で判別することが可能となる。
As described above, according to the image processing apparatus and method and the program of the present invention, a plurality of field images forming an interlaced video signal are used to correspond to pixels on the field image. The motion vector is calculated, and it is determined whether or not the pixel on the field image belongs to a moving part. In the determination process, based on the motion vector detection information supplied from the calculation process, the field image on the field image is determined. Since the threshold for judging whether or not the pixel of belongs to a moving part is adjusted, the pixel of the field image belongs to a still part or a moving part. It is possible to determine with high accuracy whether it belongs.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明を適用したDVDプレーヤの構成例を示す
ブロック図である。
FIG. 1 is a block diagram showing a configuration example of a DVD player to which the present invention is applied.

【図2】図1の動きベクトル検出部13乃至プログレッ
シブ変換部15に入力されるインタレース映像信号につ
いて説明するためのブロック図である。
2 is a block diagram for explaining an interlaced video signal input to a motion vector detection unit 13 to a progressive conversion unit 15 in FIG.

【図3】動きベクトル検出部13の構成例を示すブロッ
ク図である。
FIG. 3 is a block diagram showing a configuration example of a motion vector detection unit 13.

【図4】フィールド画像Ft+1乃至Ft-2の対応する画素
を示す図である。
FIG. 4 is a diagram showing corresponding pixels of field images F t + 1 to F t-2 .

【図5】動きベクトル検出部13による動きベクトル検
出処理を説明するフローチャートである。
5 is a flowchart illustrating a motion vector detection process by the motion vector detection unit 13. FIG.

【符号の説明】[Explanation of symbols]

1 DVDプレーヤ, 13 動きベクトル検出部, 1
4 動き検出部, 15 プログレッシブ変換部, 3
1 フレーム間差分算出部, 32 フィールド間差分
算出部, 34 エッジ検出部, 35 全画面静止判
定部, 36繰り返し模様検出部, 37 静止判定
部, 38 動き検出確定部, 39補間処理部, 4
0 制御部, 41 記録媒体
1 DVD player, 13 motion vector detector, 1
4 motion detector, 15 progressive converter, 3
1 frame difference calculation unit, 32 field difference calculation unit, 34 edge detection unit, 35 full screen stillness determination unit, 36 repeated pattern detection unit, 37 stillness determination unit, 38 motion detection confirmation unit, 39 interpolation processing unit, 4
0 control unit, 41 recording medium

───────────────────────────────────────────────────── フロントページの続き (72)発明者 宮田 勝成 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 太田 正志 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5C063 AB03 AC01 BA04 BA12 CA07 CA09 CA34 CA38 5C082 AA02 BA12 BA41 BB03 BB22 BC03 BC05 CA81 CA84 CB01 DA86 MM10    ─────────────────────────────────────────────────── ─── Continued front page    (72) Inventor Katsunari Miyata             6-735 Kita-Shinagawa, Shinagawa-ku, Tokyo Soni             -Inside the corporation (72) Inventor Masashi Ota             6-735 Kita-Shinagawa, Shinagawa-ku, Tokyo Soni             -Inside the corporation F-term (reference) 5C063 AB03 AC01 BA04 BA12 CA07                       CA09 CA34 CA38                 5C082 AA02 BA12 BA41 BB03 BB22                       BC03 BC05 CA81 CA84 CB01                       DA86 MM10

Claims (10)

【特許請求の範囲】[Claims] 【請求項1】 インタレース方式の映像信号をプログレ
ッシブ方式の映像信号に変換する画像処理装置におい
て、 前記インタレース方式の映像信号を構成する複数のフィ
ールド画像を用いて、前記フィールド画像上の画素に対
応する動きベクトルを算出する算出手段と、 前記フィールド画像上の画素に対して、動きのある部分
に属するか否かを判定する判定手段とを含み、 前記判定手段は、前記算出手段から供給される動きベク
トル検出情報に基づき、前記フィールド画像上の画素に
対して、動きのある部分に属するか否かを判定するため
の閾値を調整することを特徴とする画像処理装置。
1. An image processing device for converting an interlaced video signal into a progressive video signal, wherein a plurality of field images forming the interlaced video signal are used to display pixels on the field image. It includes a calculating means for calculating a corresponding motion vector and a judging means for judging whether or not the pixel on the field image belongs to a moving portion, and the judging means is supplied from the calculating means. An image processing apparatus, which adjusts a threshold value for determining whether or not a pixel on the field image belongs to a moving portion based on the motion vector detection information.
【請求項2】 前記判定手段の判定結果に対応し、前記
インタレース方式の映像信号を構成する1または2枚の
フィールド画像を用いて、前記プログレッシブ方式の映
像信号を構成するフレーム画像を生成する生成手段をさ
らに含むことを特徴とする請求項1に記載の画像処理装
置。
2. A frame image forming the progressive video signal is generated using one or two field images corresponding to the judgment result of the judging means and forming the interlace video signal. The image processing apparatus according to claim 1, further comprising a generation unit.
【請求項3】 前記動きベクトル検出情報には、画素に
対応するフィールド間動きベクトルが含まれることを特
徴とする請求項1に記載の画像処理装置。
3. The image processing apparatus according to claim 1, wherein the motion vector detection information includes an inter-field motion vector corresponding to a pixel.
【請求項4】 前記動きベクトル検出情報には、前記フ
ィールド間動きベクトルに対応する評価値、前記評価値
を算出したときの画素の差分演算結果、前記フィールド
間動きベクトルの候補に対応する評価値、およびフレー
ム間動きベクトルのうちの少なくとも1つがさらに含ま
れることを特徴とする請求項3に記載の画像処理装置。
4. The motion vector detection information includes an evaluation value corresponding to the inter-field motion vector, a pixel difference calculation result when the evaluation value is calculated, and an evaluation value corresponding to the inter-field motion vector candidate. The image processing apparatus according to claim 3, further comprising at least one of an inter-frame motion vector and an inter-frame motion vector.
【請求項5】 前記フィールド画像上のエッジを検出す
るエッジ検出手段をさらに含み、 前記判定手段は、前記エッジ検出手段の検出結果にも基
づき、前記フィールド画像上の画素に対して、動きのあ
る部分に属するか否かを判定するための閾値を調整する
ことを特徴とする請求項1に記載の画像処理装置。
5. An edge detecting unit for detecting an edge on the field image is further included, and the judging unit has a motion on a pixel on the field image based on a detection result of the edge detecting unit. The image processing apparatus according to claim 1, wherein a threshold value for determining whether or not the portion belongs is adjusted.
【請求項6】 前記フィールド画像の全画面が静止して
いるか否かを判定する全画面静止判定手段をさらに含
み、 前記判定手段は、前記全画面静止判定手段の判定結果に
も基づき、前記フィールド画像上の画素に対して、動き
のある部分に属するか否かを判定するための閾値を調整
することを特徴とする請求項5に記載の画像処理装置。
6. A full-screen stillness determining unit that determines whether or not the entire screen of the field image is still, the determining unit including the full-screen stillness determining unit based on the determination result of the full-screen stillness determining unit. The image processing apparatus according to claim 5, wherein a threshold for determining whether or not a pixel on the image belongs to a moving portion is adjusted.
【請求項7】 前記フィールド画像上に繰り返し模様が
存在するか否かを検出する繰り返し模様検出手段をさら
に含み、 前記判定手段は、前記繰り返し模様検出手段の検出結果
にも基づき、前記フィールド画像上の画素に対して、動
きのある部分に属するか否かを判定するための閾値を調
整することを特徴とする請求項5に記載の画像処理装
置。
7. The repeating pattern detecting means for detecting whether or not a repeating pattern exists on the field image, wherein the judging means is arranged on the field image based on a detection result of the repeating pattern detecting means. The image processing apparatus according to claim 5, wherein a threshold value for determining whether or not the pixel of (3) belongs to a moving portion is adjusted.
【請求項8】 インタレース方式の映像信号をプログレ
ッシブ方式の映像信号に変換する画像処理装置の画像処
理方法において、 前記インタレース方式の映像信号を構成する複数のフィ
ールド画像を用いて、前記フィールド画像上の画素に対
応する動きベクトルを算出する算出ステップと、 前記フィールド画像上の画素に対して、動きのある部分
に属するか否かを判定する判定ステップとを含み、 前記判定ステップの処理は、前記算出ステップの処理か
ら供給される動きベクトル検出情報に基づき、前記フィ
ールド画像上の画素に対して、動きのある部分に属する
か否かを判定するための閾値を調整することを特徴とす
る画像処理方法。
8. An image processing method of an image processing apparatus for converting an interlaced video signal into a progressive video signal, wherein a plurality of field images constituting the interlaced video signal are used for the field image. A calculation step of calculating a motion vector corresponding to the upper pixel, and a determination step of determining whether or not the pixel on the field image belongs to a moving portion, the process of the determination step, An image characterized by adjusting a threshold for determining whether or not a pixel on the field image belongs to a moving part based on the motion vector detection information supplied from the process of the calculating step. Processing method.
【請求項9】 インタレース方式の映像信号をプログレ
ッシブ方式の映像信号に変換するためのプログラムであ
って、 前記インタレース方式の映像信号を構成する複数のフィ
ールド画像を用いて、前記フィールド画像上の画素に対
応する動きベクトルを算出する算出ステップと、 前記フィールド画像上の画素に対して、動きのある部分
に属するか否かを判定する判定ステップとを含み、 前記判定ステップの処理は、前記算出ステップの処理か
ら供給される動きベクトル検出情報に基づき、前記フィ
ールド画像上の画素に対して、動きのある部分に属する
か否かを判定するための閾値を調整することを特徴とす
るコンピュータが読み取り可能なプログラムが記録され
ている記録媒体。
9. A program for converting an interlaced video signal into a progressive video signal, wherein a plurality of field images constituting the interlaced video signal are used to display on the field image. A calculation step of calculating a motion vector corresponding to the pixel; and a judgment step of judging whether or not the pixel on the field image belongs to a moving part, wherein the processing of the judgment step includes the calculation Based on the motion vector detection information supplied from the process of step, the computer adjusts a threshold for determining whether or not the pixel on the field image belongs to a moving part. A recording medium in which possible programs are recorded.
【請求項10】 インタレース方式の映像信号をプログ
レッシブ方式の映像信号に変換するコンピュータに、 前記インタレース方式の映像信号を構成する複数のフィ
ールド画像を用いて、前記フィールド画像上の画素に対
応する動きベクトルを算出する算出ステップと、 前記フィールド画像上の画素に対して、動きのある部分
に属するか否かを判定する判定ステップとを実行させ、 前記判定ステップの処理は、前記算出ステップの処理か
ら供給される動きベクトル検出情報に基づき、前記フィ
ールド画像上の画素に対して、動きのある部分に属する
か否かを判定するための閾値を調整することを特徴とす
るプログラム。
10. A computer for converting an interlaced video signal into a progressive video signal, wherein a plurality of field images forming the interlaced video signal are used to correspond to pixels on the field image. A calculation step of calculating a motion vector and a determination step of determining whether or not the pixel on the field image belongs to a moving portion are executed, and the processing of the determination step is the processing of the calculation step. A program for adjusting a threshold value for determining whether or not a pixel on the field image belongs to a moving portion based on the motion vector detection information supplied from the program.
JP2001379798A 2001-12-13 2001-12-13 Image processing apparatus and method, recording medium, and program Pending JP2003179886A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001379798A JP2003179886A (en) 2001-12-13 2001-12-13 Image processing apparatus and method, recording medium, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001379798A JP2003179886A (en) 2001-12-13 2001-12-13 Image processing apparatus and method, recording medium, and program

Publications (1)

Publication Number Publication Date
JP2003179886A true JP2003179886A (en) 2003-06-27

Family

ID=19186984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001379798A Pending JP2003179886A (en) 2001-12-13 2001-12-13 Image processing apparatus and method, recording medium, and program

Country Status (1)

Country Link
JP (1) JP2003179886A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006303797A (en) * 2005-04-19 2006-11-02 Matsushita Electric Ind Co Ltd Apparatus and program for image processing
JP2008160773A (en) * 2006-12-26 2008-07-10 Toshiba Corp Progressive scanning conversion apparatus, and progressive scanning conversion method
JP2008252594A (en) * 2007-03-30 2008-10-16 Toshiba Corp Sequential scanning converter, and sequential scanning conversion method
US7714891B2 (en) 2004-08-24 2010-05-11 Canon Kabushiki Kaisha Imaging apparatus
WO2010061664A1 (en) * 2008-11-28 2010-06-03 日本ビクター株式会社 Repetitive object detecting device and method
JP2010283655A (en) * 2009-06-05 2010-12-16 Canon Inc Video processing device and control method thereof
US7881500B2 (en) 2004-06-30 2011-02-01 Trident Microsystems (Far East) Ltd. Motion estimation with video mode detection
JP2013120369A (en) * 2011-12-09 2013-06-17 Hitachi Consumer Electronics Co Ltd Display device and video processing method

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7881500B2 (en) 2004-06-30 2011-02-01 Trident Microsystems (Far East) Ltd. Motion estimation with video mode detection
US7714891B2 (en) 2004-08-24 2010-05-11 Canon Kabushiki Kaisha Imaging apparatus
JP2006303797A (en) * 2005-04-19 2006-11-02 Matsushita Electric Ind Co Ltd Apparatus and program for image processing
WO2006114951A1 (en) * 2005-04-19 2006-11-02 Matsushita Electric Industrial Co., Ltd. Image processing device and image processing program
JP2008160773A (en) * 2006-12-26 2008-07-10 Toshiba Corp Progressive scanning conversion apparatus, and progressive scanning conversion method
US8345156B2 (en) 2006-12-26 2013-01-01 Kabushiki Kaisha Toshiba Progressive scanning conversion apparatus and progressive scanning conversion method
JP2008252594A (en) * 2007-03-30 2008-10-16 Toshiba Corp Sequential scanning converter, and sequential scanning conversion method
WO2010061664A1 (en) * 2008-11-28 2010-06-03 日本ビクター株式会社 Repetitive object detecting device and method
US8243161B2 (en) 2008-11-28 2012-08-14 JVC Kenwood Corporation Repetitive object detecting device and method
JP2010283655A (en) * 2009-06-05 2010-12-16 Canon Inc Video processing device and control method thereof
JP2013120369A (en) * 2011-12-09 2013-06-17 Hitachi Consumer Electronics Co Ltd Display device and video processing method

Similar Documents

Publication Publication Date Title
US7265791B2 (en) Method and apparatus for de-interlacing video signal
JP4280614B2 (en) Noise reduction circuit and method
US6118488A (en) Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection
US8175163B2 (en) System and method for motion compensation using a set of candidate motion vectors obtained from digital video
US20060209957A1 (en) Motion sequence pattern detection
US7961253B2 (en) Method of processing fields of images and related device for data lines similarity detection
US7218354B2 (en) Image processing device and method, video display device, and recorded information reproduction device
JP2005318621A (en) Ticker process in video sequence
US20100309372A1 (en) Method And System For Motion Compensated Video De-Interlacing
US7499102B2 (en) Image processing apparatus using judder-map and method thereof
KR20050089886A (en) Background motion vector detection
JPH0884293A (en) Method and apparatus for reducing conversion artifact
JP3893227B2 (en) Scanning line interpolation apparatus and scanning line interpolation method
JP2000341648A (en) Video signal converting device
US20050018767A1 (en) Apparatus and method for detecting film mode
JP4510874B2 (en) Composite image detector
US20060072035A1 (en) Image processing device capable of selecting field and method thereof
JP2003179886A (en) Image processing apparatus and method, recording medium, and program
US7593059B2 (en) Image conversion device and method
US20060033839A1 (en) De-interlacing method
JP2004015700A (en) Progressive conversion method, progressive conversion apparatus, sequence detecting method, sequence detecting apparatus, and video data processing apparatus
JP4117527B2 (en) Image processing device
JP2005045700A (en) Motion estimation method for moving picture interpolation and motion estimation apparatus for moving picture interpolation
JP2006303910A (en) Film mode detecting apparatus
JP4032785B2 (en) Image processing apparatus and method, recording medium, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070618

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070810

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070830