JP2010093730A - Apparatus and method for processing video signal, and program - Google Patents
Apparatus and method for processing video signal, and program Download PDFInfo
- Publication number
- JP2010093730A JP2010093730A JP2008264347A JP2008264347A JP2010093730A JP 2010093730 A JP2010093730 A JP 2010093730A JP 2008264347 A JP2008264347 A JP 2008264347A JP 2008264347 A JP2008264347 A JP 2008264347A JP 2010093730 A JP2010093730 A JP 2010093730A
- Authority
- JP
- Japan
- Prior art keywords
- image
- progressive
- composite image
- block
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Systems (AREA)
Abstract
Description
本発明は、特定のプルダウンパターンによって得られた画像の領域を特定する技術に関する。 The present invention relates to a technique for specifying a region of an image obtained by a specific pull-down pattern.
動画像データを伝送、蓄積する際に用いる形式として、従来より毎秒60フィールドのインタレース画像が広く用いられている。デジタル放送による伝送や、DVDによるディジタルデータの蓄積には、MPEG−2の動画符号化方式を用いて毎秒60フィールドのインタレース画像を圧縮している。ビデオカメラによる撮影においても、毎秒60フィールドのインタレース形式での撮影が一般的である。一方、映画の撮影、上映では毎秒24フレームのプログレッシブ画像が広く用いられている。従って、映画を放送したり、DVDに記録する際には通常毎秒24フレームのプログレッシブ画像を毎秒60フィールドのインタレース画像に変換する作業が行われており、この変換は一般に2−3プルダウンと呼ばれている。また、このような映画に付加される字幕は、毎秒30フレームのプログレッシブ画像として生成される場合がある。このような字幕データは、映画を放送したり、DVDに記録する際には毎秒60フィールドのインタレース画像に変換作業が行われる。このように、毎秒30フレームのプログレッシブ画像を毎秒60フィールドのインターレース画像に変換する方式は、一般に2−2プルダウンと呼ばれている。 As a format used when transmitting and storing moving image data, an interlaced image having 60 fields per second has been widely used. For transmission by digital broadcasting and storage of digital data by DVD, an interlaced image of 60 fields per second is compressed using an MPEG-2 moving image encoding method. Also in video camera shooting, shooting in an interlace format of 60 fields per second is common. On the other hand, progressive images of 24 frames per second are widely used for movie shooting and screening. Therefore, when a movie is broadcast or recorded on a DVD, a process of converting a progressive image of 24 frames per second into an interlaced image of 60 fields per second is generally performed. This conversion is generally called 2-3 pull down. It is. In addition, subtitles added to such movies may be generated as progressive images of 30 frames per second. Such subtitle data is converted into an interlaced image of 60 fields per second when a movie is broadcast or recorded on a DVD. As described above, a method of converting a progressive image of 30 frames per second into an interlaced image of 60 fields per second is generally called 2-2 pull-down.
図15(A)−(a)は、毎秒24フレームの映画本編の画像を示しており、図15(A)−(b)は毎秒60フィールドのインターレース画像を示している。2−3プルダウンは、A、B、C、Dと連続したフレームを、Ae、Ao、Be、Bo、Be、Co、Ce、Do、De、Doのように、2−3−2−3のパターンでインターレース画像に分割する。インターレース画像同様に図15(B)−(a)は、毎秒30フレームの字幕画像を示しており、図15(B)−(b)は、字幕を2−2プルダウンによって得られた、毎秒60フィールドのインターレース画像を示している。2−2プルダウンは、A、B、C、Dと連続したフレームを、Ae、Ao、Be、Bo、Ce、Co、De、Doのように、2−2−2−2のパターンでインターレース画像に分割する。 FIGS. 15A to 15A show images of the main movie of 24 frames per second, and FIGS. 15A to 15B show interlaced images of 60 fields per second. 2-3 pull-down is a sequence of 2-3, 2-3, A, B, C, D, continuous frames like Ae, Ao, Be, Bo, Be, Co, Ce, Do, De, Do. Divide into interlaced images by pattern. As with the interlaced image, FIGS. 15B to 15A show subtitle images of 30 frames per second, and FIGS. 15B and 15B show subtitles obtained by 2-2 pulldown, 60 seconds per second. An interlaced image of the field is shown. 2-2 pull down is an interlaced image of A, B, C, and D continuous frames in the pattern of 2-2-2 like Ae, Ao, Be, Bo, Ce, Co, De, and Do. Divide into
2−3、2−2プルダウンされたインタレース画像を、それぞれプログレッシブ画像に変換(以下I/P変換)する手法としてウィーブが一般的に知られている。ウィーブは、前後のフィールドを組み合わせることによりプログレッシブ画像を生成する手法である。図16(A)、(B)はそれぞれ、2−3、2−2プルダウンされたインターレース画像がウィーブによりI/P変換される様子を示している。2−3プルダウンに関しては、後、前、後、前、前の順に、各インターレース画像との組み合わせられるのに対して、2−2プルダウンに関しては、後、前、後、前、後の順に、各インターレース画像と組み合わせられる。このように複数のプルダウンパターンの画素が混在している映像において、1つのプルダウンパターンに応じたI/P変換を行うと、それとは異なるプルダウンパターンの映像の画質が低下する場合がある。例えば映画本編のプルダウンパターンに応じたI/P変換をした場合、字幕が画面上に現れたり消えたりする瞬間に、字幕が現れたインターレース画像と字幕が現れていないインターレース画像がウィーブされると、字幕がぼやけてしまう場合がある。また、例えば字幕がスクロールによって移動すると、字幕部分の走査線方向に櫛状のノイズ(以下コーミング)が生じる場合がある。逆に、字幕のプルダウンパターンに応じたI/P変換を行うと、字幕は正常に表示されるが、映画の本編が乱れてしまう現象が生じる場合がある。 Weave is generally known as a technique for converting an interlaced image obtained by pulling down 2-3 or 2-2 into a progressive image (hereinafter referred to as I / P conversion). Weave is a technique for generating a progressive image by combining the preceding and following fields. FIGS. 16A and 16B show how an interlaced image that has been pulled down 2-3 or 2-2 is subjected to I / P conversion by a weave. With regard to 2-3 pulldown, it is combined with each interlaced image in the order of back, front, back, front, and front, whereas with respect to 2-2 pulldown, back, front, back, front, back, in order. Combined with each interlaced image. In this way, when I / P conversion is performed according to one pull-down pattern in a video in which a plurality of pull-down pattern pixels are mixed, the image quality of a video with a different pull-down pattern may be reduced. For example, when I / P conversion is performed according to the pull-down pattern of the main part of the movie, the interlaced image in which the subtitle appears and the interlaced image in which the subtitle does not appear are weave at the moment when the subtitle appears or disappears on the screen Subtitles may be blurred. Further, for example, when the subtitle moves by scrolling, comb-like noise (hereinafter referred to as combing) may occur in the scanning line direction of the subtitle portion. Conversely, when I / P conversion is performed according to the subtitle pull-down pattern, the subtitles are normally displayed, but there may be a phenomenon that the main part of the movie is disturbed.
このような問題に対して、輝度差によって字幕を検出し、字幕部分とそれ以外の部分においてそれぞれ別のI/P変換を行うような手法が提案されている(例えば、特許文献1)。
しかしながら、映像によっては、特定のプルダウンパターンによって得られた画像の領域を誤って検出してしまう場合があった。 However, depending on the video, there is a case where an area of an image obtained by a specific pull-down pattern is erroneously detected.
つまり、異なるプルダウンパターンによってそれぞれ得られたインターレース画像が混在したインターレース画像から、特定のプルダウンパターンによって得られたインターレース画像の領域を特定しようとしても、その領域を誤検出してしまう場合があった。 That is, when an area of an interlaced image obtained by a specific pulldown pattern is specified from an interlaced image in which interlaced images obtained by different pulldown patterns are mixed, the area may be erroneously detected.
言い換えると、異なるフレームレートのプログレッシブ画像からそれぞれ得られたインターレース画像が混在したインターレース画像から、特定のフレームレートのプログレッシブ画像から得られたインターレース画像の領域を特定できない場合があった。 In other words, in some cases, an interlaced image region obtained from a progressive image having a specific frame rate cannot be identified from an interlaced image in which interlaced images obtained from progressive images having different frame rates are mixed.
例えば、輝度差によって字幕部分を特定しようとすると、字幕でない部分の輝度差によっては、字幕でない部分を字幕として誤検出してしまう恐れがあった。また、字幕でない部分が字幕として検出されてしまうと、その領域のI/P変換を、字幕のプルダウンパターンに応じた方式で行ってしまい、画質劣化などを引き起こす恐れがあった。また、字幕とその周囲の輝度によっては、字幕の領域が字幕として検出されない恐れがあった。 For example, if a subtitle portion is to be specified by a luminance difference, there is a possibility that a non-subtitle portion may be erroneously detected as a subtitle depending on a luminance difference of a non-subtitle portion. Further, if a portion that is not a subtitle is detected as a subtitle, I / P conversion of the area is performed by a method according to the pull-down pattern of the subtitle, which may cause image quality degradation. Also, depending on the caption and the surrounding brightness, the caption area may not be detected as a caption.
本発明の目的は、異なるフレームレートのプログレッシブ画像からそれぞれ得られたインターレース画像が混在したインターレース画像から、特定のフレームレートのプログレッシブ画像から得られたインターレース画像の領域を精度良く検出することである。 An object of the present invention is to accurately detect an area of an interlaced image obtained from a progressive image having a specific frame rate from an interlaced image in which interlaced images obtained from progressive images having different frame rates are mixed.
上記の問題点を解決するため、例えば本発明の映像信号処理装置は以下の構成を備える。 In order to solve the above problems, for example, a video signal processing apparatus of the present invention has the following configuration.
即ち、第1のフレームレートのプログレッシブ画像から得られた第3のフレームレートのインターレース画像内に、第2のフレームレートのプログレッシブ画像から得られた第3のフレームレートのインターレース画像が合成されたインターレース画像である第1の合成画像から、前記第2のフレームレートのプログレッシブ画像から得られたインターレース画像が合成された領域を特定する映像信号処理装置であって、前記インターレース画像である第1の合成画像内の領域が、前記第1の合成画像と前記第1の合成画像の前に入力された第2の合成画像とを組み合わせてプログレッシブ画像を構成すべき第1の領域か、前記第1の合成画像と前記第1の合成画像の後に入力された第3の合成画像とを組み合わせてプログレッシブ画像を構成すべき第2の領域かを判定する判定手段と、前記第1の合成画像内に、前記第1の領域と前記第2の領域とが存在する場合、前記第1の領域と前記第2の領域とに応じて、前記第2のフレームレートのプログレッシブ画像から得られたインターレース画像が合成された領域を特定する特定手段とを備える。 That is, an interlace in which an interlaced image at the third frame rate obtained from the progressive image at the second frame rate is combined with an interlaced image at the third frame rate obtained from the progressive image at the first frame rate. A video signal processing apparatus that identifies an area in which an interlaced image obtained from a progressive image at the second frame rate is synthesized from a first synthesized image that is an image, the first synthesized image being an interlaced image The region in the image is a first region in which a progressive image is to be formed by combining the first composite image and the second composite image input before the first composite image, or the first A progressive image is formed by combining a composite image and a third composite image input after the first composite image. A determination unit that determines whether the second region should be determined; and when the first region and the second region exist in the first composite image, the first region and the second region And specifying means for specifying an area in which an interlaced image obtained from the progressive image at the second frame rate is combined according to the area.
また、本発明の映像信号処理方法は、第1のフレームレートのプログレッシブ画像から得られた第3のフレームレートのインターレース画像内に、第2のフレームレートのプログレッシブ画像から得られた第3のフレームレートのインターレース画像が合成されたインターレース画像である第1の合成画像から、前記第2のフレームレートのプログレッシブ画像から得られたインターレース画像が合成された領域を特定する映像信号処理装置が行う映像信号処理方法であって、前記インターレース画像である第1の合成画像内の領域が、前記第1の合成画像と前記第1の合成画像の前に入力された第2の合成画像とを組み合わせてプログレッシブ画像を構成すべき第1の領域か、前記第1の合成画像と前記第1の合成画像の後に入力された第3の合成画像とを組み合わせてプログレッシブ画像を構成すべき第2の領域かを判定する判定工程と、前記第1の合成画像内に、前記第1の領域と前記第2の領域とが存在する場合、前記第1の領域と前記第2の領域とに応じて、前記第2のフレームレートのプログレッシブ画像から得られたインターレース画像が合成された領域を特定する特定工程とを備える。 The video signal processing method according to the present invention also includes a third frame obtained from a progressive image at a second frame rate in an interlaced image at a third frame rate obtained from a progressive image at a first frame rate. A video signal performed by a video signal processing device that identifies an area in which an interlaced image obtained from a progressive image at the second frame rate is synthesized from a first synthesized image that is an interlaced image obtained by synthesizing a rate interlaced image In the processing method, the region in the first composite image that is the interlaced image is progressive by combining the first composite image and the second composite image input before the first composite image. The first region to be included in the image, or the first region input after the first composite image and the first composite image A determination step of determining whether or not the second region is to form a progressive image by combining with the composite image, and when the first region and the second region exist in the first composite image And a specifying step of specifying a region in which an interlaced image obtained from a progressive image at the second frame rate is combined according to the first region and the second region.
本発明によれば、異なるフレームレートのプログレッシブ画像からそれぞれ得られたインターレース画像が混在したインターレース画像から、特定のフレームレートのプログレッシブ画像から得られたインターレース画像の領域を精度良く検出することができる。 According to the present invention, it is possible to accurately detect a region of an interlaced image obtained from a progressive image having a specific frame rate from an interlaced image in which interlaced images obtained from progressive images having different frame rates are mixed.
また、本発明によれば、検出された領域に応じて、プログレッシブ画像の生成方法を切り替えることにより、より高画質な映像を得ることができる。 Furthermore, according to the present invention, it is possible to obtain a higher quality video by switching the progressive image generation method according to the detected area.
以下、添付画面に従って本発明に係る実施形態を詳細に説明する。 Hereinafter, an embodiment according to the present invention will be described in detail according to the attached screen.
<第1の実施形態>
図1は、第1の実施形態における映像信号処理装置の一例を示すブロック図である。なお、説明を簡単なものとするため、処理対象を映像信号の輝度信号とする例を説明するが、これに限定するものではない。つまり、映像信号には、輝度信号のほかに、例えば色信号が含まれていても良い。この場合、本発明を色信号に対して適用することも可能である。
<First Embodiment>
FIG. 1 is a block diagram illustrating an example of a video signal processing apparatus according to the first embodiment. In order to simplify the description, an example in which the processing target is a luminance signal of a video signal will be described, but the present invention is not limited to this. That is, the video signal may include, for example, a color signal in addition to the luminance signal. In this case, the present invention can be applied to the color signal.
図1に示す映像信号処理装置は、入力端子1、フィールドメモリ2、フィールドメモリ3、コーミング度算出部4、コーミング度算出部5を備える。また、映像信号処理装置は、ウィーブ判定部6、ブロック検出部7、字幕検出部8、動き適応I/P変換部9、ウィーブI/P変換部10、セレクタ11、出力端子12を備える。
The video signal processing apparatus shown in FIG. 1 includes an
入力端子1は、インタレース映像信号を入力するための入力端子である。本実施形態において、入力端子1から入力されるインターレース映像信号は、毎秒60枚のインターレース映像信号である。また、このインターレース映像信号は、異なるプルダウンパターンによって生成されたインターレース画像を含む合成画像の映像信号として入力される。つまり、例えば毎秒24フレームのプログレッシブ画像(映画本編)が2−3プルダウンされた毎秒60枚のインターレース画像と、毎秒30フレームのプログレッシブ画像(字幕)が2−2プルダウンされた毎秒60枚のインターレース画像の合成画像が入力される。
The
本実施形態の映像信号処理装置は、入力されたインターレース画像(合成画像)から、例えば毎秒30フレームのプログレッシブ画像(字幕)から得られたインターレース画像が合成された領域を特定する。 The video signal processing apparatus according to the present embodiment specifies a region where an interlaced image obtained from, for example, a progressive image (caption) of 30 frames per second is synthesized from an input interlaced image (synthesized image).
フィールドメモリ2、フィールドメモリ3は、それぞれ、入力端子1から入力されたインタレース信号の1フィールド分を格納する容量を備える。
Each of the
コーミング度算出部4と、コーミング度算出部5はそれぞれ、入力された2つのフィールドに基づいて、コーミング度をブロック単位で算出する。コーミング度算出の詳細は後述する。 Each of the combing degree calculation unit 4 and the combing degree calculation unit 5 calculates the combing degree in units of blocks based on the two input fields. Details of the combing degree calculation will be described later.
ウィーブ判定部6は、コーミング度算出部4、5で算出されたコーミング度に応じて、現フィールドが前後何れのフィールドとウィーブするのが良いかを示すウィーブパターンをブロック単位で判定する。つまり、ウィーブ判定部6は、コーミング度に応じて、現フィールドと、前フィールドと組み合わせてフレーム(プログレッシブ画像)を生成するべきか、現フィールドと、後フィールドとを組み合わせてフレームを生成するべきかをブロックごとに判定する。尚、前フィールドは、現フィールドの前に入力されたフィールドである。また、後フィールドは、現フィールドの後に入力されたフィールドである。また、現フィールドは、本実施形態において字幕の領域の検出を行う対象となるインターレース画像、前フィールドは現フィールドの前に入力されたインターレース画像、後フィールドは現フィールドの後に入力されたインターレース画像である。 The weave determination unit 6 determines, in block units, a weave pattern indicating whether the current field should be weighed with the previous or next field according to the combing degree calculated by the combing degree calculation units 4 and 5. That is, whether the weave determination unit 6 should generate a frame (progressive image) by combining the current field and the previous field, or should generate a frame by combining the current field and the subsequent field, depending on the degree of combing. Is determined for each block. The previous field is a field input before the current field. The subsequent field is a field input after the current field. In addition, the current field is an interlaced image that is a target of subtitle area detection in the present embodiment, the previous field is an interlaced image input before the current field, and the subsequent field is an interlaced image input after the current field. is there.
即ち、ウィーブ判定部6は、インターレース画像である合成画像(第1の合成画像)内の領域が、第1の合成画像と第1の合成画像の前に入力された第2の合成画像とを組み合わせてプログレッシブ画像を構成すべき第1の領域か判定する。また、ウィーブ判定部6は、第1の合成画像内の領域が、第1の合成画像と第1の合成画像の後に入力された第3の合成画像とを組み合わせてプログレッシブ画像を構成すべき第2の領域かを判定する。そして、ウィーブ判定部6は、各ウィーブパターンに判定されたブロック数をカウントする。 That is, the weave determination unit 6 uses the first composite image and the second composite image input before the first composite image as a region in the composite image (first composite image) that is an interlaced image. It is determined whether the first region is to be combined to form a progressive image. In addition, the weave determination unit 6 includes a first image in which a region in the first composite image is a progressive image that is a combination of the first composite image and the third composite image input after the first composite image. 2 is determined. Then, the weave determination unit 6 counts the number of blocks determined for each weave pattern.
尚、本実施形態のウィーブ判定部6による判定結果には、現フィールドをどちらのフィールドとも組み合わせるべきではないパターン、及び、どちらのフィールドと組み合わせることもできるパターンも含まれる。ウィーブ判定部6によるウィーブ判定の処理は後述する。 Note that the determination result by the weave determination unit 6 of the present embodiment includes a pattern that should not be combined with either field and a pattern that can be combined with either field. Processing of weave determination by the weave determination unit 6 will be described later.
ブロック検出部7は、フレーム全体において、大部分を占めるウィーブパターンを示すブロックをメインブロックとし、さらにメインブロックに対して逆のウィーブパターンを示すブロックをサブブロックとして特定する。尚、ブロック検出部7は、予め特定したい領域が取り得る広さの範囲を記憶しておき、その範囲に基づいて、メインブロック(大部分のウィーブパターンのブロック)とサブブロック(小部分のウィーブパターンのブロック)を特定する。すなわち、本形態において、メインブロックの領域は、映画本編の領域であると特定される。一方、サブブロックの領域は、字幕領域であると特定される。ブロック検出部7は、例えば、フレーム全体のうち、字幕領域が取り得る広さの範囲を予め記憶しておく。そして、判定されたブロック数が少ないウィーブパターンの領域の広さが、予め記憶された字幕領域が取り得る広さの範囲内であった場合、その領域をサブブロック(小部分のウィーブパターンのブロック)として特定する。そして、ブロック検出部7は、サブブロック以外の領域をメインブロック(大部分のウィーブパターンのブロック)として特定する。ただし、メインブロックの領域を先に特定するようにしても良い。
The
つまり、ブロック検出部7は、ウィーブ判定部6によって、例えば、フィールドの大部分のブロックが前フィールドと組み合わせて再生するフレーム(プログレッシブ画像)を生成するべきであると判定された場合、そのブロックをメインブロックとする。そして、ブロック検出部7は、現フィールドのうち、後フィールドと組み合わせて再生するフレーム(プログレッシブ画像)を生成するべきであると判定されたブロックを、サブブロックとして特定する。また、ブロック検出部7は、大部分を占めるウィーブのパターンも検出する。つまり、ブロック検出部7は、大部分を占めるウイーブパターンが、例えば、現フィールドと前フィールドの組み合わせのパターンであるということを検出する。
In other words, the
字幕検出部8は、サブブロック内において、対象画素と周辺画素との輝度差を算出することで字幕の領域を特定する。そして、字幕検出部8は、特定した字幕の領域に基づいて、セレクタ11に対して字幕検出信号を出力する。
The
動き適応I/P変換部9は、フィールド情報に基づいて、動き適応I/P変換により画素の補間を行う。動き適用I/P変換とは、前後に再生されるフレームのデータに応じた動き情報によって算出される補間画素情報を用いてI/P変換する方法である。ここで、I/P変換とは、インタレース画像を、プログレッシブ画像に変換する手法である。ただし、動き適用I/P変換部9は、動き適用I/P変換に限らず、例えば、現フィールド内のデータを用いてインターレース画像を補間することで、フレーム画像を生成するなどしても良い。 The motion adaptive I / P conversion unit 9 performs pixel interpolation by motion adaptive I / P conversion based on the field information. The motion-applied I / P conversion is a method for performing I / P conversion using interpolation pixel information calculated from motion information corresponding to frame data reproduced before and after. Here, I / P conversion is a technique for converting an interlaced image into a progressive image. However, the motion application I / P conversion unit 9 is not limited to motion application I / P conversion, and may generate a frame image by interpolating an interlaced image using data in the current field, for example. .
ウィーブI/P変換部10は、フィールド情報に基づいて、ウィーブによるI/P変換により画素の補間を行う。つまり、ウィーブI/P変換部10は、ウィーブ判定部6により判定されたウィーブパターンに応じたフィールドと、現フィールドを組み合わせることにより、再生するフレームを生成する。 The weave I / P conversion unit 10 performs pixel interpolation by I / P conversion based on the weave based on the field information. That is, the weave I / P conversion unit 10 generates a frame to be reproduced by combining the field corresponding to the weave pattern determined by the weave determination unit 6 and the current field.
セレクタ11は、動き適応I/P変換部9から出力されたフレームの画素データと、ウィーブI/P変換部10から出力されたフレームの画素データとのうち、出力端子12に出力する画素データを、字幕検出部8から出力された字幕検出信号により切り替える。つまり、セレクタ11は、字幕部分だと判定された領域については、動き適用I/P変換部9から出力された画素を出力し、映画本編だと判定された領域については、ウィーブI/P変換部10から出力された画素を出力する。
The selector 11 selects pixel data to be output to the
出力端子12では、セレクタ11による切り替えに応じて、動き適用I/P変換部9、或いはウィーブI/P変換部10から出力されたプログレッシブ画像を不図示の出力装置に対して出力する。本実施形態における出力装置とは、例えば、プログレッシブ画像の再生に対応するデジタルテレビや、DVDレコーダなどである。
The
上記構成における映像信号処理装置の処理概要は次の通りである。 The outline of the processing of the video signal processing apparatus with the above configuration is as follows.
入力端子1より入力されたインターレースの映像信号(実施形態では、説明を簡単なものとするため、色成分の無い輝度信号とする)は、フィールドメモリ2、コーミング度算出部4、動き適応I/P変換部9、ウィーブI/P変換部10にそれぞれ供給される。
An interlaced video signal input from the input terminal 1 (in the embodiment, for the sake of simplicity, a luminance signal having no color component) is supplied from the
フィールドメモリ2は、入力信号を1フィールド時間分遅延させ、その遅延した信号をフィールドメモリ3、コーミング度算出部4、コーミング度算出部5、動き適応I/P変換部9、ウィーブI/P変換部10、字幕検出部8に出力する。
The
フィールドメモリ3は、フィールドメモリ2によって遅延された入力信号をさらに1フィールド分遅延させ、コーミング度算出部5、動き適応I/P変換部9、ウィーブI/P変換部10に出力する。
The field memory 3 further delays the input signal delayed by the
コーミング度算出部4は、入力された2フィールドを、ブロックごとにウィーブすることによってプログレッシブ画像を構成させ、それぞれのブロックにおけるコーミング度を算出する。そして、算出されたコーミング度をウィーブ判定部6に出力する。ただし、コーミング度算出部4は、ブロックごとにウィーブする代わりに、2つのフィールドをウィーブすることによってフレームを構成させ、そのフレームを複数のブロックに分割し、それぞれのブロックにおけるコーミング度を算出するようにしても良い。 The combing degree calculation unit 4 constructs a progressive image by weaving the two input fields for each block, and calculates the combing degree in each block. Then, the calculated combing degree is output to the weave determination unit 6. However, the combing degree calculation unit 4 forms a frame by weaving two fields instead of weaving for each block, divides the frame into a plurality of blocks, and calculates the combing degree in each block. Anyway.
同様にコーミング度算出部5は、入力された2フィールドのウィーブにより生成されるフレームを複数のブロックに分割し、それぞれのブロックにおけるコーミング度を算出し、算出されたコーミング度をウィーブ判定部6に出力する。 Similarly, the combing degree calculation unit 5 divides a frame generated by the input two-field weave into a plurality of blocks, calculates the combing degree in each block, and sends the calculated combing degree to the weave determination unit 6. Output.
ここで、コーミング度とは、2つのフィールドをウィーブしたことによって生成されるフレームに違和感があるかを評価するための値である。つまり、現フィールドにおいて、上下に隣接する画素に関連性がある場合に、現フィールドとほかのフィールドをウィーブしたことによって生成されたフレームにおいて上下に隣接する画素に関連性がなくなると、コーミングが発生している可能性が高い。従って、このような場合は、高いコーミング度が算出される。一方、現フィールドにおいて、上下に隣接する画素に関連性があった場合に、現フィールドとほかのフィールドをウィーブしたことによって生成されたプログレッシブ画像においても上下に隣接する画素に関連性があれば、コーミングが発生している可能性は低い。従って、このような場合は、低いコーミング度が算出される。 Here, the combing degree is a value for evaluating whether a frame generated by weaving two fields has a sense of incongruity. In other words, in the current field, when there is a relationship between adjacent pixels in the top and bottom, combing occurs if there is no relationship between adjacent pixels in the frame generated by weaving the current field and other fields. It is highly possible that Therefore, in such a case, a high combing degree is calculated. On the other hand, in the current field, when there is a relationship between pixels adjacent vertically, if there is a relationship between pixels adjacent vertically in a progressive image generated by weaving the current field and other fields, It is unlikely that combing has occurred. Therefore, in such a case, a low combing degree is calculated.
つまり、コーミング度算出部4は、現フィールドと、後フィールドを組み合わせてフレーム(プログレッシブ画像)を構成した場合に、そのフレームのブロックにおいて、コーミングが生じると判断できる場合、そのブロックのコーミング度を高く算出する。また、コーミング度算出部5は、現フィールドと、前フィールドを組み合わせてフレームを構成した場合に、そのフレームのブロックにおいて、コーミングが生じると判断できる場合、そのブロックのコーミング度を高く算出する。尚、後フィールドは現フィールドの後に入力されたフィールド、前フィールドは現フィールドの前に入力されたフィールドである。一方、コーミング度算出部4、及び5は、生成されたフレームのブロックにおいて、コーミングが生じていないと判断できる場合、そのブロックのコーミング度を低く算出する。コーミング度の算出方法の詳細は後述する。 That is, when the combing degree calculation unit 4 determines that combing occurs in a block of the frame when a frame (progressive image) is configured by combining the current field and the subsequent field, the combing degree of the block is increased. calculate. Further, when a frame is configured by combining the current field and the previous field, the combing degree calculation unit 5 calculates a high combing degree of the block when it can be determined that combing occurs in the block of the frame. The rear field is a field input after the current field, and the front field is a field input before the current field. On the other hand, when it can be determined that no combing occurs in the generated frame block, the combing degree calculation units 4 and 5 calculate a low combing degree for the block. Details of the method for calculating the combing degree will be described later.
ウィーブ判定部6は、コーミング度算出部4、5によってそれぞれ算出された、2つのコーミング度に基づいて、現フィールドのブロックごとにウィーブパターンを判定する。ウィーブ判定部6が判定するウィーブパターンには、現フィールドと前フィールドとのウィーブが最適であるというパターン(パターン1)、或は現フィールドと後フィールドとのウィーブが最適であるというパターン(パターン2)が含まれる。さらに、ウィーブ判定部6が判定するウィーブパターンには、どちらのウィーブも最適ではないというパターン(パターン3)、或いは、コーミング度ではウィーブパターンを判断できないというパターン(パターン4)も含まれる。ウィーブ判定部6は、判定したウィーブパターンをブロック検出部7に出力する。
The weave determination unit 6 determines a weave pattern for each block in the current field based on the two combing degrees calculated by the combing degree calculation units 4 and 5, respectively. The weave pattern determined by the weave determination unit 6 is a pattern in which the weave between the current field and the previous field is optimal (pattern 1), or a pattern in which the weave between the current field and the subsequent field is optimal (
ブロック検出部7は、現フィールドの大部分のブロックが、パターン1、及び、パターン2のうちいずれか一方のパターンを示している場合、他方のパターンを示す領域をサブブロックとして特定し、その領域情報を字幕検出部8に出力する。また、このとき、ブロック検出部7は、大部分のブロックが示すウィーブパターン(パターン1又はパターン2)を示す情報を、ウィーブI/P変換部10に出力する。
When most of the blocks in the current field indicate one of the
即ち、ブロック検出部7は、前記第1の合成画像内に、第1の領域と第2の領域とが存在する場合、次のように字幕領域を特定する。尚、第1の領域とは、第1の合成画像の領域と組み合わせてプログレッシブ画像を構成すべきインターレース画像が第1の合成画像の前に入力された第2の合成画像である領域である。また、第2の領域とは、第1の合成画像と組み合わせてプログレッシブ画像を構成すべきインターレース画像が第1の合成画像の後に入力された第3の合成画像である領域である。この場合、それぞれの領域に応じて、第2のフレームレートのプログレッシブ画像から得られたインターレース画像が合成された領域(字幕領域)を特定する。尚、第1の合成画像には現フィールドが、第2の合成画像には前フィールドが、第3の合成画像には後フィールドが対応する。
That is, when the first area and the second area exist in the first composite image, the
また、本形態のブロック検出部7は、第1の領域と第2の領域のうち、狭いほうの領域(サブブロックの領域)を字幕領域として特定する。
In addition, the
字幕検出部8は、現フィールドの画素と、ブロック検出部7から出力されたサブブロックの領域情報に基づいて、字幕を特定し、字幕検出信号をセレクタ11に出力する。つまり、字幕検出部8は、ブロック検出部7によって検出されたサブブロックの領域情報から、字幕の領域をブロック単位で特定し、さらに該ブロック内の画素情報により、字幕の詳細な位置を絞り込む。
The
即ち、字幕検出部8は、第1の領域と第2の領域のうち、狭いほうの領域内の輝度情報によって、第2のフレームレートのプログレッシブ画像から得られたインターレース画像(字幕)が合成された画素の位置を特定する。尚、第1の領域は、第1の合成画像と組み合わせてフレームを構成すべきインターレース画像が第2の合成画像(前フィールド)である領域である。また、第2の領域は、第1の合成画像を組み合わせてフレームを構成すべきインターレース画像が第3の合成画像(後フィールド)である領域である。
In other words, the
動き適応I/P変換部9は、入力された3フィールド(前フィールド、現フィールド、後フィールド)に基づいて動き適応I/P変換を行い、算出画素をセレクタ11に出力する。ただし、上述のように、動き適用I/P変換部9は、動き適用I/P変換に限らず、例えば、現フィールド内のデータを用いてインターレース画像を補間することで、フレーム画像を生成するなどしても良い。 The motion adaptive I / P conversion unit 9 performs motion adaptive I / P conversion based on the input three fields (the previous field, the current field, and the subsequent field), and outputs the calculated pixel to the selector 11. However, as described above, the motion application I / P conversion unit 9 generates a frame image by interpolating an interlaced image using, for example, data in the current field, not limited to motion application I / P conversion. You may do it.
ウィーブI/P変換部10は、入力された3フィールドと、フィールドの大部分を占めるウィーブパターンに基づいてウィーブによるI/P変換を行い、算出画素をセレクタ11に出力する。 The weave I / P conversion unit 10 performs I / P conversion by the weave based on the input three fields and the weave pattern occupying most of the fields, and outputs the calculated pixels to the selector 11.
セレクタ11は、動き適応I/P変換部9とウィーブI/P変換部10からの出力を、字幕検出部8から出力された字幕検出信号によって切り替えて、出力端子12より出力する。
The selector 11 switches the output from the motion adaptive I / P conversion unit 9 and the weave I / P conversion unit 10 according to the caption detection signal output from the
上記のように構成された映像信号処理装置が行う、字幕の検出処理、及び検出結果に応じた映像信号の補正処理についてさらに詳しく説明する。 The subtitle detection process and the video signal correction process corresponding to the detection result performed by the video signal processing apparatus configured as described above will be described in more detail.
入力端子1より入力されたインターレース画像はフィールドメモリ2に蓄積される。フィールドメモリ2は、1フィールド分のメモリを有し、入力端子1からのインターレース画像を1フィールド時間分遅延させる。つまり、フィールドメモリ2は、入力端子1から入力された、あるインターレース画像(第1のインターレース画像)を、次のインターレース画像(第2のインターレース画像)の入力まで記憶する。そして、フィールドメモリ2は、第2のインターレース画像が入力されるタイミングに、第1のインターレース画像を、フィールドメモリ3、コーミング度算出部4、及び5、字幕検出部8、動き適用I/P変換部9、及びウィーブI/P変換部10に出力する。つまり、フィールドメモリ2から出力されるインターレース画像は、入力端子1から入力されるインターレース画像よりも1フィールド時間分遅延されたものとなる。
The interlaced image input from the
また、フィールドメモリ2から出力されるインターレース画像はフィールドメモリ3に蓄積される。フィールドメモリ3は、1フィールド分メモリを有し、フィールドメモリ2からのインターレース画像を1フィールド時間分遅延させる。つまり、フィールドメモリ3は、フィールドメモリ2から出力された、あるインターレース画像(第2のインターレース画像)を、次のインターレース画像(第3のインターレース画像)の入力まで記憶する。そして、フィールドメモリ3は、第3のインターレース画像が入力されるタイミングに、第2のインターレース画像を、コーミング度算出部5、動き適用I/P変換部9、及びウィーブI/P変換部10にそれぞれ出力する。つまり、フィールドメモリ3から出力されるインターレース画像は、入力端子1から入力されるインターレース画像よりも、2フィールド時間分遅延されたものとなる。
Further, the interlaced image output from the
本形態では、2フィールド時間分遅延されたインターレース画像(第1のインターレース画像)を前フィールドとする。また、1フィールド時間分遅延されたインターレース画像(第2のインターレース画像)を現フィールド、入力されたインターレース画像(第3のインターレース画像)を後フィールドとする。つまり、入力端子1から、第1のインターレース画像、第2のインターレース画像、第3のインターレース画像が、順次入力される。そして、第3のインターレース画像(後フィールド)が入力端子1から入力されると、フィールドメモリ2には、第3のインターレース画像(後フィールド)が記憶される。また、このとき、フィールドメモリ3には、第2のインターレース画像(現フィールド)が記憶されている。
In this embodiment, an interlaced image (first interlaced image) delayed by two field times is used as the previous field. Also, an interlaced image (second interlaced image) delayed by one field time is a current field, and an input interlaced image (third interlaced image) is a subsequent field. That is, a first interlaced image, a second interlaced image, and a third interlaced image are sequentially input from the
さらに、このとき、コーミング度算出部4には、第2のインターレース画像(現フィールド)と第3のインターレース画像(後フィールド)が記憶されている。また、コーミング度算出部5には、第1のインターレース画像(前フィールド)と第2のインターレース画像(現フィールド)が記憶されている。また、動き適用I/P変換部9、及び、ウィーブI/P変換部10には、それぞれ、第1、第2、第3のインターレース画像(前フィールド、現フィールド、後フィールド)が記憶されている。また、字幕検出部8には、第2のインターレース画像(現フィールド)が記憶されている。
Further, at this time, the combing degree calculation unit 4 stores the second interlaced image (current field) and the third interlaced image (rear field). The combing degree calculation unit 5 stores a first interlaced image (previous field) and a second interlaced image (current field). The motion applied I / P conversion unit 9 and the weave I / P conversion unit 10 store first, second, and third interlaced images (previous field, current field, and subsequent field), respectively. Yes. The
コーミング度算出部4は、ブロック単位でのコーミング度の算出を、1フレームに渡って行う。つまり、コーミング度算出部4は、現フィールド、及び後フィールドとを組み合わせることで構成されるフレームを複数のブロックに分割し、各ブロックにおけるコーミング度を算出する。本実施形態では、1920x1080画素の画像(フレーム)を分割した240x135画素のブロックごとにコーミング度を算出するものとする。ただし、フレームのサイズ、ブロックのサイズはこれに限らない。 The combing degree calculation unit 4 calculates the combing degree in units of blocks over one frame. That is, the combing degree calculation unit 4 divides a frame formed by combining the current field and the subsequent field into a plurality of blocks, and calculates the combing degree in each block. In this embodiment, the combing degree is calculated for each block of 240 × 135 pixels obtained by dividing an image (frame) of 1920 × 1080 pixels. However, the frame size and the block size are not limited to this.
コーミング度算出部4は、図2に示すような、現フィールドと後フィールドを組み合わせる(ウィーブ)ことで生成されたフレームを入力とする。これを、前述のように、240x135画素のブロックに分割する。コーミング度算出部4は、各ブロックのコーミング度を次のように算出する。 The combing degree calculation unit 4 receives a frame generated by combining (weaveing) the current field and the subsequent field as shown in FIG. This is divided into blocks of 240 × 135 pixels as described above. The combing degree calculation unit 4 calculates the combing degree of each block as follows.
コーミング度算出部4は、まず、2つのフィールドのウィーブにより生成されたフレームのある1つのブロック内において、各画素とその上下の画素を含む周辺の画素を用いて、各画素を中心とした小エリアのコーミング度を算出する。つまり、コーミング度算出部4は、フレームを構成するブロックをさらに複数の小エリアに分割し、その小エリアのコーミング度を算出する。コーミング度算出部4は、小エリアのコーミング度が閾値よりも大きければその小エリアの中心画素はコーミング画素であると判定する。すなわち、コーミング度算出部4は、小エリアにおいて、上下に隣接する画素の相関性が低い場合、その小エリアの中心画素をコーミング画素として判定する。さらに、コーミング度算出部4は、ブロック内におけるコーミング画素の個数をカウントすることにより、そのブロックのコーミング度を算出する。本実施形態の小エリアは、現フィールド3x2画素、後フィールド3x3画素であるとする。ただし、小エリアのサイズはこれに限らない。図3に示すように、現フィールドの小エリアの画素値をC00−C12、後フィールドの小エリアの画素値をN00−N22とする。以下、処理の詳細を述べる。 First, the combing degree calculation unit 4 uses a peripheral pixel including each pixel and its upper and lower pixels in one block of a frame generated by the weave of the two fields, and uses a small pixel centered on each pixel. Calculate the combing degree of the area. That is, the combing degree calculation unit 4 further divides the blocks constituting the frame into a plurality of small areas, and calculates the combing degree of the small areas. The combing degree calculation unit 4 determines that the central pixel of the small area is a combing pixel if the combing degree of the small area is larger than the threshold value. That is, the combing degree calculation unit 4 determines that the central pixel of the small area is the combing pixel when the correlation between the vertically adjacent pixels is low in the small area. Further, the combing degree calculation unit 4 calculates the combing degree of the block by counting the number of combing pixels in the block. The small area of this embodiment is assumed to be the current field 3 × 2 pixels and the rear field 3 × 3 pixels. However, the size of the small area is not limited to this. As shown in FIG. 3, the pixel values of the small area in the current field are C00-C12, and the pixel values of the small area in the subsequent field are N00-N22. Details of the processing will be described below.
コーミング度算出部4は、まず、図4に示すように、現フィールドにおける小エリアの画素と後フィールドにおける小エリアの画素を用いてフレームを構成させ、さらにそれを3つの小エリアブロックに分割する。それぞれの小エリアブロックを、図4の上からブロックA、ブロックB、ブロックCとした場合、各小エリアブロックにおいて次のような演算が行われる。但し、min(a,b,c)はa,b,cの値の内もっとも小さい値を算出し、max(a,b,c)はa,b,cの値の内もっとも大きい値を算出し、|a|はaの絶対値を算出するものとする。
ブロックA:
A1=min(|N00−C00|,|N01−C01|,|N02−C02|)
A2=min(|C00−N10|,|C01−N11|,|C02−N12|)
A3=min(|N00−N10|,|N01−N11|,|N02−N12|)
SA=A1+A2−A3
ブロックB:
B1=min(|C00−N10|,|C01−N11|,|C02−N12|)
B2=min(|N10−C10|,|N11−C11|,|N12−C12|)
B3=min(|C00−C10|,|C01−C11|,|C02−C12|)
SB=B1+B2−B3
ブロックC:
C1=min(|N10−C10|,|N11−C11|,|N12−C12|)
C2=min(|C10−N20|,|C11−N21|,|C12−N22|)
C3=min(|N10−N20|,|N11−N21|,|N12−N22|)
SC=C1+C2−C3
First, as shown in FIG. 4, the combing degree calculation unit 4 forms a frame using the small area pixels in the current field and the small area pixels in the subsequent field, and further divides the frame into three small area blocks. . When each small area block is a block A, a block B, and a block C from the top of FIG. 4, the following calculation is performed in each small area block. However, min (a, b, c) calculates the smallest value of a, b, c, and max (a, b, c) calculates the largest value of a, b, c. Where | a | is the absolute value of a.
Block A:
A1 = min (| N00-C00 |, | N01-C01 |, | N02-C02 |)
A2 = min (| C00−N10 |, | C01−N11 |, | C02−N12 |)
A3 = min (| N00−N10 |, | N01−N11 |, | N02−N12 |)
SA = A1 + A2-A3
Block B:
B1 = min (| C00-N10 |, | C01-N11 |, | C02-N12 |)
B2 = min (| N10-C10 |, | N11-C11 |, | N12-C12 |)
B3 = min (| C00-C10 |, | C01-C11 |, | C02-C12 |)
SB = B1 + B2-B3
Block C:
C1 = min (| N10-C10 |, | N11-C11 |, | N12-C12 |)
C2 = min (| C10-N20 |, | C11-N21 |, | C12-N22 |)
C3 = min (| N10-N20 |, | N11-N21 |, | N12-N22 |)
SC = C1 + C2-C3
つまり、A1は、現フィールドと後フィールドを組み合わせたフレームの小エリアブロックであるブロックAにおいて、上下に隣接する画素値の差が大きいほど大きな値が算出される。また、A2も同様である。そして、A3は、後フィールドにおいて上下に隣接する画素値の差が大きいほど大きな値が算出される。従って、SAは、現フィールドと後フィールドを組み合わせたフレームにおいて、上下に隣接する画素値が大きく、後フィールドにおいて上下に隣接する画素値の差が小さいほど大きな値が算出される。SB、SCの考え方もSAと同様である。 That is, A1 is calculated such that the larger the difference between adjacent pixel values in the block A, which is a small area block of the frame combining the current field and the subsequent field, is larger. The same applies to A2. In A3, a larger value is calculated as the difference between pixel values adjacent in the vertical direction in the subsequent field increases. Accordingly, the SA is calculated such that the pixel value adjacent in the vertical direction is large in the frame in which the current field and the subsequent field are combined and the difference between the pixel values adjacent in the vertical direction in the subsequent field is small. The concept of SB and SC is the same as SA.
さらに、コーミング度算出部4は、各小エリアブロックの演算結果を基に、次式に従って該小エリアのコーミング度(score1)を算出する。
M1=min(SA,SB)
M2=min(SB,SC)
score1=max(M1,M2)
このscore1が閾値(bad_block_num_threshold)よりも大きければ、この小エリアの中心画素はコーミング画素と判定される。つまり、コーミング度算出部4は、図3における小エリアのコーミング度が閾値よりも高い場合、N11の位置に対応する画素がコーミング画素であると判定される。
Further, the combing degree calculation unit 4 calculates the combing degree (score1) of the small area according to the following equation based on the calculation result of each small area block.
M1 = min (SA, SB)
M2 = min (SB, SC)
score1 = max (M1, M2)
If this score1 is larger than a threshold value (bad_block_num_threshold), the central pixel of this small area is determined as a combing pixel. That is, the combing degree calculation unit 4 determines that the pixel corresponding to the position of N11 is a combing pixel when the combing degree of the small area in FIG. 3 is higher than the threshold value.
即ち、コーミング度は、インターレース画像を組み合わせたフレームにおける上下に隣接する画素値の差に基づく値である。 That is, the combing degree is a value based on a difference between pixel values adjacent in the vertical direction in a frame in which interlace images are combined.
さらに、コーミング度算出部4は、小エリアの中心画素がコーミング画素であると判定した場合、ブロック内のコーミング画素の個数を示すbad_block_count1をインクリメントする。1つのブロックが全てコーミング画素であった場合のbad_block_count1をbad_block_max1とすると、このブロックのコーミング度comb1は、
comb1=bad_block_count1/bad_block_max1
で算出される。つまり、コーミング度算出部4は、ブロック内の画素数と、ブロック内でコーミング画素と判定された画素数に応じて、ブロックのコーミング度(comb1)を算出する。コーミング度(comb1)は、現フィールドと後フィールドを組み合わせたフレームにおける、ある1つの注目ブロックのコーミング度である。
Further, when it is determined that the central pixel of the small area is a combing pixel, the combing degree calculation unit 4 increments bad_block_count1 indicating the number of combing pixels in the block. If bad_block_count1 when one block is all combing pixels is bad_block_max1, the combing degree comb1 of this block is:
comb1 = bad_block_count1 / bad_block_max1
Is calculated by That is, the combing degree calculation unit 4 calculates the combing degree (comb1) of the block according to the number of pixels in the block and the number of pixels determined to be the combing pixel in the block. The combing degree (comb1) is a combing degree of a certain target block in a frame in which the current field and the subsequent field are combined.
コーミング度算出部4は、上記のような方法で、現フィールドと後フィールドとのウィーブによって生成されたフレーム内の各ブロックのコーミング度を算出する。これによって、現フィールドと後フィールドとを組み合わせたフレーム内の全てのブロックがコーミング度を持つことになる。 The combing degree calculation unit 4 calculates the combing degree of each block in the frame generated by the weave of the current field and the subsequent field by the method as described above. As a result, all the blocks in the frame in which the current field and the subsequent field are combined have a combing degree.
同様にコーミング度算出部5に関しても詳細を述べる。処理の概要はコーミング度算出部4と同様である。コーミング度算出部5は図5に示すように、現フィールドと前フィールドを組み合わせる(ウィーブ)ことで生成されたフレームを入力とする。これを、前述のように、240x135画素のブロックに分割する。コーミング度算出部5は、各ブロックのコーミング度を次のように算出する。 Similarly, details of the combing degree calculation unit 5 will be described. The outline of the processing is the same as that of the combing degree calculation unit 4. As shown in FIG. 5, the combing degree calculation unit 5 receives a frame generated by combining (weave) the current field and the previous field. This is divided into blocks of 240 × 135 pixels as described above. The combing degree calculation unit 5 calculates the combing degree of each block as follows.
コーミング度算出部5は、まず、2つのフィールドのウィーブにより生成されたフレームのある1つのブロック内において、各画素とその周辺の画素を用いて、各画素を中心とした小エリアのコーミング度を算出する。つまり、コーミング度算出部5は、フレームを構成するブロックをさらに複数の小エリアに分割しその小エリアのコーミング度を算出する。小エリアのコーミング度が閾値よりも大きければその小エリアの中心画素はコーミング画素であると判定する。さらに、コーミング度算出部5は、ブロック内におけるコーミング画素の個数をカウントすることにより、そのブロックのコーミング度を算出する。上記のように、本実施形態の小エリアは、現フィールド3x2画素、後フィールド3x3画素で構成されるエリアとする。図6に示すように、現フィールドの小エリアの画素値をC00−C12、前フィールドの小エリアの画素値をP00−P22とする。以下、処理の詳細を述べる。 The combing degree calculation unit 5 first calculates the combing degree of a small area centered on each pixel by using each pixel and surrounding pixels in one block of a frame generated by the weave of the two fields. calculate. That is, the combing degree calculation unit 5 further divides the blocks constituting the frame into a plurality of small areas and calculates the combing degree of the small areas. If the combing degree of the small area is larger than the threshold value, it is determined that the central pixel of the small area is a combing pixel. Further, the combing degree calculation unit 5 calculates the combing degree of the block by counting the number of combing pixels in the block. As described above, the small area of the present embodiment is an area composed of the current field 3 × 2 pixels and the rear field 3 × 3 pixels. As shown in FIG. 6, the pixel value of the small area in the current field is C00-C12, and the pixel value of the small area in the previous field is P00-P22. Details of the processing will be described below.
コーミング度算出部5は、図7に示すように、現フィールドにおける小エリアの画素と前フィールドにおける小エリアの画素を用いてフレームを構成させ、さらにそれを3つの小エリアブロックに分割する。それぞれの小エリアブロックを、図7の上からブロックD、ブロックE、ブロックFとした場合、各小エリアブロックにおいて次のような演算が行われる。
ブロックD:
D1=min(|P00−C00|,|P01−C01|,|P02−C02|)
D2=min(|C00−P10|,|C01−P11|,|C02−P12|)
D3=min(|P00−P10|,|P01−P11|,|P02−P12|)
SD=D1+D2−D3
ブロックE:
E1=min(|C00−P10|,|C01−P11|,|C02−P12|)
E2=min(|P10−C10|,|P11−C11|,|P12−C12|)
E3=min(|C00−C10|,|C01−C11|,|C02−C12|)
SE=E1+E2−E3
ブロックF:
F1=min(|P10−C10|,|P11−C11|,|P12−C12|)
F2=min(|C10−P20|,|C11−P21|,|C12−P22|)
F3=min(|P10−P20|,|P11−P21|,|P12−P22|)
SF=F1+F2−F3
As shown in FIG. 7, the combing degree calculation unit 5 forms a frame using the small area pixels in the current field and the small area pixels in the previous field, and further divides it into three small area blocks. When each small area block is a block D, a block E, and a block F from the top of FIG. 7, the following calculation is performed in each small area block.
Block D:
D1 = min (| P00-C00 |, | P01-C01 |, | P02-C02 |)
D2 = min (| C00-P10 |, | C01-P11 |, | C02-P12 |)
D3 = min (| P00-P10 |, | P01-P11 |, | P02-P12 |)
SD = D1 + D2-D3
Block E:
E1 = min (| C00-P10 |, | C01-P11 |, | C02-P12 |)
E2 = min (| P10-C10 |, | P11-C11 |, | P12-C12 |)
E3 = min (| C00-C10 |, | C01-C11 |, | C02-C12 |)
SE = E1 + E2-E3
Block F:
F1 = min (| P10-C10 |, | P11-C11 |, | P12-C12 |)
F2 = min (| C10-P20 |, | C11-P21 |, | C12-P22 |)
F3 = min (| P10-P20 |, | P11-P21 |, | P12-P22 |)
SF = F1 + F2-F3
つまり、D1は、現フィールドと前フィールドを組み合わせたフレームの小エリアブロックであるブロックDにおいて、上下に隣接する画素値の差が大きいほど大きな値が算出される。また、D2も同様である。そして、D3は、前フィールドにおいて上下に隣接する画素値の差が大きいほど大きな値が算出される。従って、SDは、現フィールドと前フィールドを組み合わせたフレームにおいて、上下に隣接する画素値が大きく、前フィールドにおいて上下に隣接する画素値の差が小さいほど大きな値が算出される。SE、SFの考え方もSDと同様である。 That is, a larger value of D1 is calculated as the difference between adjacent pixel values in the block D, which is a small area block of a frame obtained by combining the current field and the previous field, is larger. The same applies to D2. Then, a larger value is calculated for D3 as the difference between the pixel values vertically adjacent in the previous field increases. Therefore, SD is calculated such that a pixel value adjacent to the upper and lower sides is larger in a frame in which the current field and the previous field are combined, and a larger value is obtained as the difference between the pixel values adjacent to the upper and lower sides in the previous field is small. The concept of SE and SF is the same as that of SD.
さらに、コーミング度算出部5は、各小エリアブロックの演算結果を基に、次式に従って該小エリアのコーミング度(score2)を算出する。
M3=min(SD,SE)
M4=min(SE,SF)
score2=max(M3,M4)
Further, the combing degree calculation unit 5 calculates the combing degree (score2) of the small area according to the following equation based on the calculation result of each small area block.
M3 = min (SD, SE)
M4 = min (SE, SF)
score2 = max (M3, M4)
このscore2が閾値(bad_block_num_threshold)よりも大きければ、この小エリアの中心画素はコーミング画素と判定される。つまり、コーミング度算出部5は、図6における小エリアのコーミング度が閾値よりも高い場合、P11の位置に対応する画素がコーミング画素であると判定される。さらに、コーミング度算出部5は、小エリアの中心画素がコーミング画素であると判定した場合、ブロック内のコーミング画素の個数を示すbad_block_count2をインクリメントする。1つのブロックが全てコーミング画素であった場合のbad_block_count2をbad_block_max2とすると、このブロックのコーミング度comb2は、
comb2=bad_block_count2/bad_block_max2
で算出される。つまり、コーミング度算出部5は、ブロック内の画素数と、ブロック内でコーミング画素と判定された画素数に応じて、ブロックのコーミング度(comb2)を算出する。コーミング度(comb2)は、現フィールドと前フィールドを組み合わせたフレームにおける、ある1つの注目ブロックのコーミング度である。
If this score2 is larger than a threshold (bad_block_num_threshold), the central pixel of this small area is determined as a combing pixel. That is, the combing degree calculation unit 5 determines that the pixel corresponding to the position of P11 is a combing pixel when the combing degree of the small area in FIG. 6 is higher than the threshold value. Further, when the combing degree calculation unit 5 determines that the center pixel of the small area is a combing pixel, the combing degree calculation unit 5 increments bad_block_count2 indicating the number of combing pixels in the block. When bad_block_count2 when one block is all combing pixels is set to bad_block_max2, the combing degree comb2 of this block is
comb2 = bad_block_count2 / bad_block_max2
Is calculated by That is, the combing degree calculation unit 5 calculates the combing degree (comb2) of the block according to the number of pixels in the block and the number of pixels determined to be the combing pixel in the block. The combing degree (comb2) is a combing degree of a certain target block in a frame in which the current field and the previous field are combined.
コーミング度算出部5は、上記のような方法で、現フィールドと前フィールドとのウィーブによって生成されたフレーム内の各ブロックのコーミング度を算出する。これによって現フィールドと前フィールドを組み合わせたフレーム内の全てのブロックがコーミング度を持つことになる。 The combing degree calculation unit 5 calculates the combing degree of each block in the frame generated by the weave between the current field and the previous field by the method as described above. As a result, all the blocks in the frame combining the current field and the previous field have a combing degree.
ウィーブ判定部6は、コーミング度算出部4、コーミング度算出部5からの出力であるコーミング度が入力されると、各ブロックのウィーブパターンを判定する。 When the combing degree which is an output from the combing degree calculation unit 4 and the combing degree calculation unit 5 is input, the weave determination unit 6 determines the weave pattern of each block.
図8は、ウィーブ判定部6によるウィーブパターンの判定処理を示すフローチャートである。ここでは、コーミング度の閾値をmb_thする。つまり、例えば、算出されたあるウィーブパターンのコーミング度が閾値mb_thよりも高い場合、そのブロックにおいてコーミングが発生する可能性が高いと判定する。この閾値mb_thは、例えば、0.6などの値に設定することができる。ただし、別の値であっても良い。 FIG. 8 is a flowchart illustrating a weave pattern determination process performed by the weave determination unit 6. Here, the threshold of the combing degree is mb_th. That is, for example, when the calculated combing degree of a certain weave pattern is higher than the threshold mb_th, it is determined that there is a high possibility that combing will occur in the block. This threshold mb_th can be set to a value such as 0.6, for example. However, another value may be used.
また、ウィーブ判定部6は、comb1、comb2、mb_thによって定まるfield_pairがpattern1のときは現フィールドと前フィールドの組み合わせが最適である(パターン1)と判定する。また、field_pairがpattern2のときは現フィールドと後フィールドの組み合わせが最適である(パターン2)と判定する。また、field_pairがpattern3のときは前後いずれのフィールドとの組み合わせも最適ではない(パターン3)と判定する。また、ウィーブ判定部6は、field_pairがpattern4のときは、前後いずれのフィールドとの組み合わせでもコーミングは発生しないと判定する(パターン4)。パターン4の場合、過去のパターン情報によって現フィールドと何れのフィールドを組み合わせるべきなのかを決定する。ただし、本形態においては、パターン4の場合のウィーブパターンの決定は、セレクタ11において行う。ウィーブ判定部6は、判定されたパターンに基づく信号をブロック検出部7に対して出力する。以下、ウィーブ判定部6による処理の詳細について、図8を用いて説明する。尚、ウィーブ判定部6は、図8の処理を、フレーム内のブロック(注目ブロック)ごとに、現フィールド内のすべてのブロックに対して行う。
Further, the weave determination unit 6 determines that the combination of the current field and the previous field is optimal (pattern 1) when field_pair determined by comb1, comb2, and mb_th is pattern1. When field_pair is pattern2, it is determined that the combination of the current field and the subsequent field is optimal (pattern 2). When field_pair is pattern3, it is determined that the combination with any of the preceding and following fields is not optimal (pattern 3). Further, when the field_pair is pattern4, the weave determination unit 6 determines that combing does not occur in any combination with the preceding or following field (pattern 4). In the case of the pattern 4, it is determined which field should be combined with the current field based on the past pattern information. However, in this embodiment, the weave pattern in the case of pattern 4 is determined by the selector 11. The weave determination unit 6 outputs a signal based on the determined pattern to the
まず、変数nを0に初期化する(S101)。 First, the variable n is initialized to 0 (S101).
次にcomb1と閾値mb_thを比較する(S102)。上述のように、comb1は、現フィールドと後フィールドを組み合わせたフレームにおける、ある1つの注目ブロックのコーミング度である。つまり、comb1が閾値mb_thよりも大きいということは、現フィールドと後フィールドを組み合わせたフレームの注目ブロックにおいて、コーミングが生じていると判断できることを意味している。このmb_thは、任意の値に設定することが可能である。comb1が閾値mb_thよりも大きければ、S107に進む。一方、comb1が閾値mb_thよりも小さければS103に進む。 Next, comb1 is compared with the threshold mb_th (S102). As described above, comb1 is the combing degree of a certain target block in a frame in which the current field and the subsequent field are combined. That is, when comb1 is larger than the threshold value mb_th, it means that it can be determined that combing has occurred in the target block of the frame in which the current field and the subsequent field are combined. This mb_th can be set to an arbitrary value. If comb1 is larger than the threshold value mb_th, the process proceeds to S107. On the other hand, if comb1 is smaller than the threshold value mb_th, the process proceeds to S103.
S107では、nをインクリメントし、S103に進む。 In S107, n is incremented and the process proceeds to S103.
S103において、ウィーブ判定部6は、comb2と閾値mb_thを比較する。上述のように、comb2は、現フィールドと前フィールドを組み合わせたフレームにおける、ある1つの注目ブロックのコーミング度である。つまり、comb2が閾値mb_thよりも大きいということは、現フィールドと前フィールドを組み合わせたフレームの注目ブロックにおいて、コーミングが生じていると判断できることを意味している。comb2が閾値mb_thよりも大きければS108に進む。一方、comb2が閾値mb_thよりも小さければS104に進む。 In S103, the weave determination unit 6 compares comb2 with the threshold mb_th. As described above, comb2 is the combing degree of a certain target block in a frame in which the current field and the previous field are combined. That is, when comb2 is larger than the threshold mb_th, it means that it can be determined that combing has occurred in the target block of the frame in which the current field and the previous field are combined. If comb2 is larger than the threshold value mb_th, the process proceeds to S108. On the other hand, if comb2 is smaller than the threshold mb_th, the process proceeds to S104.
S108ではnをインクリメントし、S104に進む。 In S108, n is incremented, and the process proceeds to S104.
S104では、nの値が1かどうかを調べる。nが1というのは、comb1またはcomb2のいずれかが閾値mb_thを上回り、他方が閾値mb_thを下回ったことを意味する。つまり、現フィールドの注目ブロックにおいて、前または後のフィールドとの組み合わせによってコーミングが生じているが、他方のフィールドとの組み合わせではコーミングが生じていないことを示している。ウィーブ判定部6は、このような場合、コーミングが生じていないフィールドとの組み合わせが最適であると判断する。 In S104, it is checked whether or not the value of n is 1. When n is 1, it means that either comb1 or comb2 is above the threshold mb_th and the other is below the threshold mb_th. That is, in the target block of the current field, combing has occurred due to the combination with the previous or subsequent field, but no combing has occurred with the combination with the other field. In such a case, the weave determination unit 6 determines that the combination with the field where combing has not occurred is optimal.
S104において、nが1であると判定された場合は、S106に進み、nが1ではないと判定された場合は、S105に進む。 When it is determined in S104 that n is 1, the process proceeds to S106, and when it is determined that n is not 1, the process proceeds to S105.
S106において、ウィーブ判定部6は、comb1とcomb2との大小関係を比較する。S106においてcomb1がcomb2よりも大きいと判定された場合はS111に進み、comb1がcomb2よりも小さいと判定された場合はS112に進む。 In S106, the weave determination unit 6 compares the magnitude relationship between comb1 and comb2. If it is determined in S106 that comb1 is greater than comb2, the process proceeds to S111. If it is determined that comb1 is smaller than comb2, the process proceeds to S112.
即ち、ウィーブ判定部6は、S106において、インターレース画像である第1の合成画像(現フィールド)と組み合わせてプログレッシブ画像を構成すべきインターレース画像が、第2の合成画像(前フィールド)か、第3の合成画像(後フィールド)かを判定する。尚、第2の合成画像は第1の合成画像の前に入力された合成画像、第3の合成画像は第1の合成画像の後に入力された合成画像である。 That is, in S106, the weave determination unit 6 determines whether the interlace image that is to form the progressive image in combination with the first composite image (current field) that is an interlace image is the second composite image (previous field) or the third It is determined whether it is a composite image (after field). Note that the second composite image is a composite image input before the first composite image, and the third composite image is a composite image input after the first composite image.
S111において、ウィーブ判定部6は、現フィールドと前フィールドとを組み合わせて再生フレームの注目ブロックを構成することが最適であると判定し(field_pair=pattern1)、そのことを示す信号をブロック検出部7に出力する。つまり、ウィーブ判定部6は、現フィールドと後フィールドとを組み合わせて注目ブロックを構成させるとコーミングが発生し、現フィールドと前フィールドとを組み合わせるとコーミングが発生しないと判定する。そして、前フィールドとの組み合わせが最適であること(パターン1)を示す信号をブロック検出部7に出力する。
In S111, the weave determination unit 6 determines that it is optimal to combine the current field and the previous field to form the target block of the reproduction frame (field_pair = pattern1), and sends a signal indicating this to the
一方、ウィーブ判定部6は、S112において、現フィールドと後フィールドとを組み合わせて再生フレームの注目ブロックを構成することが最適であると判定し(field_pair=pattern2)、そのことを示す信号をブロック検出部7に出力する。つまり、ウィーブ判定部6は、現フィールドと前フィールドとを組み合わせて注目ブロックを構成するとコーミングが発生し、現フィールドと後フィールドとを組み合わせて注目ブロックを構成するとコーミングが発生しないと判定する。そして、後フィールドとの組み合わせが最適であること(パターン2)を示す信号をブロック検出部7に出力する。
On the other hand, the weave determination unit 6 determines in S112 that it is optimal to configure the target block of the playback frame by combining the current field and the subsequent field (field_pair = pattern2), and detects a signal indicating the block detection. Output to
即ち、ウィーブ判定部6は、第1の合成画像(現フィールド)と組み合わせてプログレッシブ画像を構成すべきインターレース画像が第2の合成画像(前フィールド)か第3の合成画像(後フィールド)かを、コーミング度によって判定する。また、上述のように、コーミング度は、インターレース画像を組み合わせたフレームにおける上下に隣接する画素値の差に基づく値である。また、コーミング度は、第1の合成画像(現フィールド)と第2の合成画像(前フィールド)とを組み合わせたフレーム、及び、第1の合成画像と前記第3の合成画像(後フィールド)とを組み合わせたフレームにおいて、それぞれ算出される。 That is, the weave determination unit 6 determines whether the interlaced image that is to form the progressive image in combination with the first composite image (current field) is the second composite image (previous field) or the third composite image (back field). Determined by the degree of combing. In addition, as described above, the combing degree is a value based on a difference between pixel values adjacent in the vertical direction in a frame in which interlace images are combined. In addition, the combing degree includes a frame obtained by combining the first composite image (current field) and the second composite image (previous field), and the first composite image and the third composite image (back field). Are calculated for each frame.
また、ウィーブ判定部6は、S104において、nが1でないと判定すると、S105において、nが2であるか否かを判定する。nが2となるのは、comb1とcomb2の両方ともが閾値mb_thよりも大きな値であったことを示している。つまり、nが2というのは、現フィールドと前フィールドの組み合わせ、及び、現フィールドと後フィールドの組み合わせの両方で、注目ブロックにおいてコーミングが生じており、前後いずれのフィールドとの組み合わせも適さないことを意味している。S105において、nが2であると判定された場合はS110に、nが2ではないと判定された場合はS109に進む。 If the weave determination unit 6 determines that n is not 1 in S104, the weave determination unit 6 determines whether or not n is 2 in S105. The fact that n is 2 indicates that both comb1 and comb2 are larger than the threshold value mb_th. In other words, when n is 2, combing occurs in the target block in both the combination of the current field and the previous field, and the combination of the current field and the subsequent field, and the combination with any of the preceding and subsequent fields is not suitable. Means. If it is determined in S105 that n is 2, the process proceeds to S110, and if it is determined that n is not 2, the process proceeds to S109.
S110において、ウィーブ判定部6は、前と後のどちらのフィールドとの組み合わせも適切ではないと判定し(field_pair=pattern3)、そのことを示す信号をブロック検出部7に出力する。つまり、ウィーブ判定部6は、現フィールドと前フィールドを組み合わせた注目ブロックにおいても、現フィールドと後フィールドを組み合わせた注目ブロックにおいてもコーミングが発生する場合、どちらのフィールドとの組み合わせも適切でないと判定する。そして、ウィーブ判定部6は、そのこと(パターン3)を示す信号をブロック検出部7に出力する。
In S110, the weave determination unit 6 determines that the combination of both the previous and subsequent fields is not appropriate (field_pair = pattern3), and outputs a signal indicating this to the
S104において、ウィーブ判定部6は、n=0であると判定する。nが0というのは、現フィールドと前フィールドの組み合わせ、及び、現フィールドと後フィールドの組み合わせの両方で、注目ブロックにおいてコーミングが発生していないと判定された場合を示している(field_pair=pattern4)。この状況は、例えば、画像全体に動きが少ない場合や、2−3プルダウンによって得られた3フィールドのうち、真中のフィールドが現フィールドである場合に起こる。この場合は、コーミング度によって最適な合成フィールドを判断することはできない。ウィーブ判定部6は、このようなパターン(パターン4)が発生した場合、そのことを示す信号をブロック検出部7に出力する。
In S104, the weave determination unit 6 determines that n = 0. The case where n is 0 indicates a case where it is determined that combing has not occurred in the target block in both the combination of the current field and the previous field and the combination of the current field and the subsequent field (field_pair = pattern4). ). This situation occurs, for example, when there is little motion in the entire image or when the middle field is the current field among the three fields obtained by 2-3 pulldown. In this case, it is not possible to determine the optimum composite field based on the combing degree. When such a pattern (pattern 4) occurs, the weave determination unit 6 outputs a signal indicating that to the
尚、セレクタ11は、このようなパターン(パターン4)と判定されたブロックのウィーブパターンを、例えば、現フィールドのほかのブロックのウィーブパターンによって判定することができる。つまり、例えば、パターン1とパターン2のうち多いほうのパターンにしたがって、パターン4に判定されたブロックのウィーブパターンを判定することができる。ただし、この方法に限らず、例えば、パターン4のウィーブパターンを、過去のパターン検出結果に基づいて判定するようにしても良い。つまり、セレクタ11は、これまでに入力されたフィールドのウィーブパターンに従って、現在の注目ブロックのウィーブパターンを判定するようにしても良い。
The selector 11 can determine the weave pattern of the block determined as such a pattern (pattern 4) based on, for example, the weave pattern of another block in the current field. That is, for example, the weave pattern of the block determined as the pattern 4 can be determined according to the larger one of the
ウィーブ判定部6は、上記のようにして注目ブロックのウィーブのパターンを判定し、その結果をブロック検出部7に出力する。そして、ウィーブ判定部6は、判定したウィーブパターンをブロック検出部7に出力すると、注目ブロックを1つずらして、図8の処理を行う。
The weave determination unit 6 determines the weave pattern of the block of interest as described above, and outputs the result to the
ブロック検出部7は、ウィーブ判定部6から出力される、ウィーブパターンblock_patternを入力とする。そして、ブロック検出部7は、入力されたブロックごとのウィーブパターンに応じて、フレーム内における字幕領域をブロック単位で特定する。
The
図9を用いて、ブロック検出部7による具体的な処理の流れを説明する。ここでは説明のため、1フィールドにおけるブロック数を、block_max、閾値をmj_thとする。また、p=pattern1、n=pattern2、b=pattern4とする。尚、本形態のブロック検出部7は、前後どちらのインターレース画像ともウィーブしないパターン(パターン3)については、その数をカウントしない。
A specific flow of processing performed by the
まず、S201において、1フィールド内の各ブロックにおけるウィーブパターンのカウント値であるn_cout、p_count、b_countを初期化する。また、フィールド内のブロックの位置を示すblock_countを初期化する。次に、S202において、block_countをインクリメントする。このとき、block_count=1がフィールド内での最初のブロック、block_count=last_blockが1フィールド内での最後のブロックであるとする。次に、ブロックにおける最適パターンを示すblock_patternが何であるかによって、処理を切り替える。 First, in S201, n_cout, p_count, and b_count, which are count values of the weave pattern in each block in one field, are initialized. Also, block_count indicating the position of the block in the field is initialized. Next, in S202, block_count is incremented. At this time, block_count = 1 is the first block in the field, and block_count = last_block is the last block in the field. Next, the processing is switched depending on what block_pattern indicating the optimum pattern in the block is.
まず、S203においてblock_patternがnであるか判断し、もしnであればS207においてn_countをインクリメントする。もしnでなければS204の処理に進む。ここで、block_patternがnであるとは、現在のblock_countに応じたブロックのウィーブパターンが、現フィールドと後フィールドとの組み合わせのパターン1(field_pair=pattern1)と判定されたことを示している。 First, in S203, it is determined whether block_pattern is n. If n, n_count is incremented in S207. If not n, the process proceeds to S204. Here, “block_pattern” is n indicates that the weave pattern of the block corresponding to the current block_count is determined to be the pattern 1 (field_pair = pattern1) of the combination of the current field and the subsequent field.
S204では、block_patternがpであるか判断し、もしpであればS208においてp_countをインクリメントする。もしpでなければS205の処理に進む。ここで、block_patternがpであるとは、現在のblock_countに応じたブロックのウィーブパターンが、現フィールドと前フィールドとの組み合わせのパターン2(field_pair=pattern2)と判定されたことを示している。 In S204, it is determined whether block_pattern is p. If p, p_count is incremented in S208. If not p, the process proceeds to S205. Here, “block_pattern” is p indicates that the weave pattern of the block corresponding to the current block_count is determined to be the pattern 2 (field_pair = pattern2) of the combination of the current field and the previous field.
S205では、block_patternがbであるか判断し、もしbであればS209においてb_countをインクリメントする。もしbでなければS206の処理に進む。ここで、block_patternがbであるとは、現在のblock_countに応じたブロックのウィーブパターンが、ウィーブ判定部6によって判定できなかったパターン4(field_pair=pattern4)と判定されたことを示す。 In S205, it is determined whether block_pattern is b. If b, b_count is incremented in S209. If not b, the process proceeds to S206. Here, “block_pattern” is b indicates that the weave pattern of the block corresponding to the current block_count is determined as the pattern 4 (field_pair = pattern4) that cannot be determined by the weave determination unit 6.
S206では、block_countが、最後のブロックを示すlast_blockであるかを判定する。block_countがlast_blockである、つまり、現フィールドのすべてのブロックに対してウィーブパターンのカウントが終了した場合は、S210に進み、そうでなければS202の処理に戻る。 In S206, it is determined whether block_count is the last_block indicating the last block. If block_count is last_block, that is, if weave pattern counting has been completed for all blocks in the current field, the process proceeds to S210; otherwise, the process returns to S202.
S210において、ブロック検出部7は、n_countとp_countの値の大きさを比較する。n_countの方が大きければ(S210の判定でNo)、S212に進み、p_countの方が大きければ(S210の判定でYes)S211に進む。
In S210, the
S212において、ブロック検出部7は、n_countにb_countを加算し、mとして、S213に進む。つまり、p_countよりもn_countのほうが大きい場合は、現フィールドと前フィールドを組み合わせるよりも、現フィールドと後フィールドと組み合わせたほうが、コーミングが生じないブロックが多いことを示している。したがって、n_countのほうが大きい場合は、現フィールドと後フィールドを組み合わせるウィーブパターン(パターン2)に判定されたブロック、及び、パターン4に判定されたブロックがメインブロックとなる。また、このとき、現フィールドと前フィールドを組み合わせるウィーブパターン(パターン1)に判定されたブロックがサブブロック(字幕の領域)となる。
In S212, the
一方、S211において、ブロック検出部7は、p_countにb_countを加算し、mとして、S213に進む。つまり、n_countよりもp_countのほうが大きい場合は、現フィールドと後フィールドを組み合わせるよりも、現フィールドと前フィールドを組み合わせたほうが、コーミングが生じないブロックが多いことを示している。したがって、p_countのほうが大きい場合は、現フィールドと前フィールドを組み合わせるウィーブパターン(パターン1)に判定されたブロック、及び、パターン4に判定されたブロックがメインブロックとなる。また、このとき、現フィールドと後フィールドを組み合わせるウィーブパターン(パターン2)に判定されたブロックがサブブロック(字幕の領域)となる。
On the other hand, in S211, the
すなわち、mは、ウィーブパターンが前フィールドとの組み合わせであるブロックの数と、後フィールドとの組み合わせであるブロックの数のうち多いほうのブロックの数に、どちらのフィールドと組み合わせても良いと判定されたブロックの数を加えた数を示す。言い換えると、mは、ウィーブパターンが前フィールドとの組み合わせである領域と、後フィールドとの組み合わせである領域のうち、広いほうの領域の広さに、どちらのフィールドと組み合わせても良いと判定された領域の広さを加えた広さを示している。 That is, it is determined that m can be combined with either of the number of blocks whose weave pattern is a combination with the previous field and the number of the blocks which is a combination with the subsequent field. Indicates the number of blocks added. In other words, it is determined that m can be combined with either field in the area of the wider area of the area where the weave pattern is a combination with the previous field and the area where the weave pattern is a combination with the subsequent field. It shows the size of the added area.
S213では、mが閾値mj_thよりも大きいかどうかを判定する。S213において、mが閾値mj_thよりも大きければS214に進み、mが閾値mj_thよりも小さければ処理を終了する。つまり、本実施形態で想定している合成画像は、現フィールド上において多数のブロックを占める映画本編の画像に、少数のブロックを占める字幕画像が合成されている。また、映画本編の画像と字幕画像とではプルダウンパターンが異なるため、最適なウィーブパターンが異なる場合がある。従って、現フィールドのブロックごとに判定されたウィーブパターンを、多数のウィーブパターンと少数のウィーブパターンに分けることができる場合、少数のウィーブパターンに判定されたブロックには字幕画像が含まれていると考えられる。尚、閾値mj_thは、合成されている2つの映像(本形態では映画本編と字幕)の領域の割合に応じて設定すれば良い。 In S213, it is determined whether m is larger than the threshold value mj_th. In S213, if m is larger than the threshold value mj_th, the process proceeds to S214, and if m is smaller than the threshold value mj_th, the process is ended. That is, in the composite image assumed in the present embodiment, a subtitle image that occupies a small number of blocks is combined with a main movie image that occupies a large number of blocks on the current field. Moreover, since the pull-down pattern is different between the main movie image and the subtitle image, the optimal weave pattern may be different. Therefore, when the weave pattern determined for each block in the current field can be divided into a large number of weave patterns and a small number of weave patterns, the block determined as the small number of weave patterns includes a subtitle image. Conceivable. Note that the threshold value mj_th may be set in accordance with the ratio of the areas of two synthesized videos (the main movie and subtitles in this embodiment).
S214において、ブロック検出部7は、p_countとn_countのうち、小さい方のパターンに判定されたブロックを異パターンブロック(サブブロック)として出力する。上述のように、このサブブロックは、字幕候補ブロックとみなすことができる。
In S214, the
即ち、ブロック検出部7は、第1の合成画像内に第2の合成画像と組み合わせてプログレッシブ画像を構成すべき第1の領域と、第3の合成画像と組み合わせてプログレッシブ画像を構成すべき第2の領域が存在すると判定されると、次のように字幕領域を特定する。すなわち、S214において、それぞれの領域に応じて、第2のフレームレートのプログレッシブ画像から得られたインターレース画像が合成された領域(字幕領域)を特定する。尚、第1の合成画像には現フィールドが、第2の合成画像には前フィールドが、第3の合成画像には後フィールドが対応する。
That is, the
尚、上述のように、前フィールド、現フィールド、後フィールドの違いが小さい(動画像の動きが少ない)場合は、コーミング度によるウィーブパターンの判定が困難となる。また、現フィールドが、2−3プルダウンパターンにおいて、1つのプログレッシブ画像から3つのインターレース画像を生成した際の中間のフィールドであった場合も、コーミング度によるウィーブパターンの判定は困難である。しかし、本形態のブロック検出部7は、コーミング度によるウィーブパターンの判定が難しい場合にも、字幕候補ブロックを推定することができる。このことについて、図10を用いて詳細に説明する。
As described above, when the difference between the previous field, the current field, and the subsequent field is small (the motion of the moving image is small), it is difficult to determine the weave pattern based on the combing degree. Also, when the current field is an intermediate field when three interlaced images are generated from one progressive image in the 2-3 pulldown pattern, it is difficult to determine the weave pattern based on the combing degree. However, the
図10は、ある時刻T=0における現インターレース画像と、それよりも1フィールド期間後のT=1における現インターレース画像の状態を示している。つまり、入力端子1から、T=0のインターレース画像の次に、T=1のインターレース画像が入力される。
FIG. 10 shows the state of the current interlaced image at a certain time T = 0 and the current interlaced image at T = 1 after one field period. That is, from the
また、図10の右側に表示されるp、b、nは、それぞれ、ウィーブパターンが何かを示している。すなわち、pはウィーブパターンが前フィールドとの組み合わせ(パターン1)、nは後フィールドとの組み合わせ(パターン2)、bはどちらフィールドと組み合わせでも良い(パターン4)と判定されたことを示している。 Further, p, b, and n displayed on the right side of FIG. 10 each indicate what the weave pattern is. That is, p indicates that the weave pattern is determined to be a combination with the previous field (pattern 1), n is a combination with the subsequent field (pattern 2), and b is a combination with either field (pattern 4). .
まず、T=0において、ウィーブ判定部6は、前述の方法により各ブロック内のウィーブパターンを判定する。そして、ブロック検出部7は、図中のnで示される領域を字幕候補ブロックとして特定する。
First, at T = 0, the weave determination unit 6 determines the weave pattern in each block by the method described above. And the
次に、T=1において、ブロック検出部7は、T=0と同様に字幕候補ブロックを特定する。そして、ブロック検出部7は、T=1の現フィールドにおいて特定した字幕候補ブロックに、1フィールド時間前、2フィールド時間前であるT=0とT=−1の、上記の方法により得られた字幕候補ブロックの領域を付加する。尚、T=−1のフィールドとは、T=0のフィールドの1つ前に入力端子1から入力されたインターレース画像である。また、付加された字幕候補ブロックは、次のフィールド(T=2のインターレース画像)においては付加しない。
Next, at T = 1, the
このように、本実施形態のブロック検出部7は、現インターレース画像において特定された字幕領域を用いて、次のインターレース画像において特定する字幕領域を特定する。このようにすることで、コーミング度によるウィーブパターンの判定が難しいインターレース画像においても、字幕の領域を特定することができる。
As described above, the
字幕検出部8では、ブロック検出部7から出力される字幕候補ブロックに基づいて、字幕の検出を行う。すなわち、字幕検出部8は、字幕候補ブロック内において、例えば補間対象画素と周辺の画素との輝度差情報を用いて字幕画素を検出する。
The
字幕検出部8は、字幕画素を検出すると、検出された字幕の領域をセレクタ11に出力する。
When detecting the caption pixel, the
動き適応I/P変換部9は、3フィールド(前フィールド、現フィールド、後フィールド)から、動き適応I/P変換を行い、生成されたフレームの画素データを出力する。すなわち、字幕部分は映画の本編の映像とは異なるプルダウンパターンであるため、本編と同じウィーブパターンでプログレッシブ画像を生成すると、字幕の部分でコーミングが発生する場合がある。したがって、動き適用I/P変換部9は、前後に再生されるフレームのデータや動き情報によって、字幕部分を表示させるための補間画素を生成する。尚、本形態の動き適用I/P変換部9は、現フィールドから生成された1フレーム分の補間画素データを出力する。即ち、動き適用I/P変換部9は、第1の領域と第2の領域のうちの狭いほうの領域(サブブロックの領域)における、現フィールドと組み合わせてフレームを構成するための画素情報を、次のようにして生成する。つまり、動き適用I/P変換部9は、画素情報を、現フィールドの前後に表示されるフレームのデータ又は現フィールド内の画素情報を用いて生成する。ただし、上述のように、字幕部分の補間画素の生成は、動き適用I/P変換によるものに限らず、例えば現フィールド内の周囲の画素を用いることで、インターレース画像を補間し、プログレッシブ画像を生成するようにしても良い。また、字幕部分であると判定された領域に対しては、動き適用I/P変換部9によってウィーブ以外の方法でプログレッシブ画像を生成するようにしても良い。 The motion adaptive I / P converter 9 performs motion adaptive I / P conversion from three fields (the previous field, the current field, and the subsequent field), and outputs pixel data of the generated frame. That is, since the subtitle portion has a pull-down pattern different from that of the main movie of the movie, combing may occur in the subtitle portion when a progressive image is generated with the same weave pattern as the main movie. Therefore, the motion application I / P conversion unit 9 generates an interpolated pixel for displaying a subtitle portion based on frame data and motion information reproduced before and after. Note that the motion application I / P converter 9 of this embodiment outputs the interpolated pixel data for one frame generated from the current field. That is, the motion application I / P conversion unit 9 obtains pixel information for constituting a frame in combination with the current field in the narrower one of the first area and the second area (subblock area). It is generated as follows. That is, the motion application I / P conversion unit 9 generates pixel information using frame data displayed before and after the current field or pixel information in the current field. However, as described above, the generation of the interpolation pixel of the subtitle portion is not limited to the motion applied I / P conversion. For example, by using the surrounding pixels in the current field, the interlaced image is interpolated and the progressive image is converted. You may make it produce | generate. In addition, for a region determined to be a subtitle portion, a progressive image may be generated by the motion application I / P conversion unit 9 by a method other than weave.
ウィーブI/P変換部10は、現フィールドと前フィールドのウィーブによりI/P変換された画素と、現フィールドと前フィールドのウィーブによりI/P変換された画素を、字幕候補ブロックとは逆のウィーブパターンに沿って出力する。つまり、ウィーブI/P変換部10は、字幕候補ブロックと判定されたブロックのウィーブパターンが、現フィールドと前フィールドとのウィーブであった場合、現フィールドと後フィールドのウィーブでI/P変換した画素データをセレクタ11に出力する。また、ウィーブI/P変換部10は、字幕候補ブロックと判定されたブロックのウィーブパターンが、現フィールドと後フィールドのウィーブであった場合、現フィールドと前フィールドのウィーブでI/P変換された画素データをセレクタ11に出力する。尚、このとき出力する画素データは、現フィールドから生成された1フレーム分である。 The weave I / P conversion unit 10 converts the pixels subjected to I / P conversion by the current field and the previous field weave and the pixels subjected to the I / P conversion by the current field and the previous field weave to the reverse of the caption candidate block. Output along the weave pattern. That is, when the weave pattern of the block determined as a caption candidate block is a weave between the current field and the previous field, the weave I / P conversion unit 10 performs I / P conversion with the current field and the subsequent field. Pixel data is output to the selector 11. Further, the weave I / P conversion unit 10 performs I / P conversion on the weaves of the current field and the previous field when the weave pattern of the block determined as the caption candidate block is the weave of the current field and the subsequent field. Pixel data is output to the selector 11. The pixel data output at this time is for one frame generated from the current field.
即ち、ウィーブI/P変換部10は、広いほうの領域(メインブロックの領域)における第1の合成画像(現フィールド)と組み合わせてフレームを構成するための画素情報として、ウィーブパターンの判定に応じた第2又は第3の合成画像の画素情報を用いる。尚、第2又は第3の合成画像の画素情報とは、前又は後フィールドの画素情報に対応する。 That is, the weave I / P conversion unit 10 responds to the determination of the weave pattern as pixel information for constituting a frame in combination with the first synthesized image (current field) in the wider area (main block area). The pixel information of the second or third composite image is used. Note that the pixel information of the second or third composite image corresponds to the pixel information of the previous or subsequent field.
セレクタ11は、動き適応I/P変換部9から出力された画素データと、ウィーブI/P変換部10から出力された画素データのうち、出力装置に対して出力する画素データを字幕検出の結果によって切り替える。つまり、セレクタ11は、字幕部分として検出された領域については、動き適用I/P変換部9からの出力画素データを出力し、それ以外の領域については、ウィーブI/P変換部10からの出力画素データを出力する。 The selector 11 outputs the pixel data output from the motion adaptive I / P converter 9 and the pixel data output from the weave I / P converter 10 to the output device as a result of caption detection. Switch with. That is, the selector 11 outputs the output pixel data from the motion application I / P conversion unit 9 for the area detected as the caption part, and outputs from the weave I / P conversion unit 10 for the other areas. Output pixel data.
以上説明したように、本実施形態では、ウィーブ判定部6において、ブロック単位でウィーブパターンを判定する。そして、ブロック検出部7において、大部分を占めるウィーブパターンとは逆のウィーブパターンを示すブロックを字幕候補ブロックとして特定する。さらに、字幕検出部8が字幕候補ブロックから画素情報を用いるなどによって字幕の領域を絞り込むことで、字幕領域を特定する。
As described above, in this embodiment, the weave determination unit 6 determines the weave pattern in units of blocks. Then, the
このようにすることにより、字幕を精度よく検出することができる。また、字幕部分とそれ以外の部分でプログレッシブ画像の生成手法を切り替えることにより、より高精彩なプログレッシブ画像を得ることができる。 In this way, subtitles can be detected with high accuracy. Further, by switching the progressive image generation method between the subtitle portion and the other portions, it is possible to obtain a higher-definition progressive image.
つまり、例えば、それぞれ異なるフレームレートで生成された映画本編の領域と字幕の領域とを含む合成画像において、字幕の領域を特定する場合、輝度の情報だけで特定しようとすると、以下のような場合に誤検出してしまうことがある。すなわち、例えば、映画本編の画像内に、字幕と背景の輝度差と同様の輝度差を有するオブジェクト(例えば看板など)があった場合、それを字幕の領域として誤検出してしまうことがある。しかし、本発明のように、合成画像のブロックごとにウィーブパターンを判定し、判定されたブロックが少ないほうのウィーブパターンの領域を字幕の領域の候補として特定することで、字幕の領域をより精度良く特定できるようになる。 In other words, for example, in the case of specifying a caption area in a composite image including a main movie area and a caption area generated at different frame rates, the following cases may occur when trying to specify only by luminance information: May be falsely detected. That is, for example, if an object (for example, a signboard) having a luminance difference similar to the luminance difference between the subtitle and the background is included in the main movie image, it may be erroneously detected as a subtitle area. However, as in the present invention, the weave pattern is determined for each block of the composite image, and the area of the weave pattern with the fewer determined blocks is identified as the candidate for the caption area, thereby making the caption area more accurate. It becomes possible to identify well.
尚、実施形態では、映像信号の輝度を例として説明したが、RGBなどの現信号でも構わないし、色度信号を対象にしても構わない。 In the embodiment, the luminance of the video signal has been described as an example. However, a current signal such as RGB may be used, or a chromaticity signal may be targeted.
また、1:2のインタレース画像を例にとって説明したが、これに限定されず、各算出部を調整することで他の比率のインタレースに対応できる。 Further, although an example of a 1: 2 interlaced image has been described, the present invention is not limited to this, and it is possible to deal with other ratios of interlace by adjusting each calculation unit.
<第2の実施例>
上記第1の実施形態をパーソナルコンピュータ等の汎用の情報処理装置と、その情報処理装置に実行させるコンピュータプログラムでもって実現しても構わない。以下、その例を第2の実施形態として、第1の実施形態との差異を中心に説明する。
<Second embodiment>
The first embodiment may be realized by a general-purpose information processing apparatus such as a personal computer and a computer program executed by the information processing apparatus. Hereinafter, the example will be described as a second embodiment, focusing on differences from the first embodiment.
図11は、第2の実施形態における情報処理装置のブロック構成図である。 FIG. 11 is a block configuration diagram of an information processing apparatus according to the second embodiment.
図中、301は装置全体の制御、及び種々の処理を行う中央演算処理装置(以下、CPU)である。302はBIOSやブートプログラムを記憶しているROM及びCPU301がワークエリアとして使用するRAMで構成されるメモリである。303はキーボード、マウス等のポインティングデバイス、及び各種スイッチで構成される指示入力部である。
In the figure,
304は、本装置の制御に必要なオペレーティングシステム(OS)、図13、図14を用いて後述する本実施形態で用いるアプリケーションプログラム、演算に必要な記憶領域を提供する外部記憶装置(例えばハードディスク装置)である。また、外部記憶装置304には、例えば後述するビデオカメラ306によって撮像された動画像データが記憶される。
305は、動画像データを記憶する可搬性記憶媒体(例えば、DVD−ROMやCD−ROMディスク)にアクセスする記憶装置である。 A storage device 305 accesses a portable storage medium (for example, a DVD-ROM or a CD-ROM disk) that stores moving image data.
306は動画像をフィールド単位で撮像するビデオカメラである。つまり、ビデオカメラ306は、例えば映画用に撮像した毎秒24枚のプログレッシブ画像から得られた毎秒60枚のインターレース画像を外部記憶装置304に記憶させる。尚、本形態では、ビデオカメラ306によって撮像された毎秒60枚のインターレース画像に、毎秒30枚のプログレッシブ画像の字幕データが毎秒60枚のインターレース画像に変換されて合成されている。
307はモニタであり、309は通信回路であり、LAN、公衆回路、無線回路、放送電波で構成されている。308は通信回路309を介して符号化データを送受信する通信インタフェースである。本実施形態では、通信インターフェース308、外部記憶装置304、或いは、記憶装置305などからの動画像データに対して、字幕の領域を検出する処理を行う。
Reference numeral 307 denotes a monitor, and
このような構成における映像信号処理について説明する。 The video signal processing in such a configuration will be described.
処理に先立ち、指示入力部303からの指示により情報処理装置に電源が投入されると、CPU301はメモリ302のブートプログラム(ROMに格納されている)に従って、外部記憶装置304からメモリ302(RAM)にOSをロードする。そして、ユーザによる指示に従い、外部記憶装置304からアプリケーションプログラムをメモリ302にロードすることで、本装置が映像信号処理装置として機能することになる。このアプリケーションプログラムをメモリ302にロードした際のメモリ302の状況を図12に示す。
Prior to processing, when the information processing apparatus is powered on according to an instruction from the
メモリ302には装置全体を制御し、各種ソフトウェアを動作させるためのOS、画像の字幕部分を検出するアプリケーションプログラム(映像処理ソフトウェア)が格納されている。更には、ビデオカメラ306を制御して動画像をディジタルデータとして1フィールドずつ入力(キャプチャ)する画像入力ソフトウェア、画像をモニタ307に表示する画像表示ソフトウェアが格納されている。更に、画像データを格納する画像エリア、各種パラメータ等を格納しておくワーキングエリアが存在する。
The memory 302 stores an OS for controlling the entire apparatus and operating various software, and an application program (video processing software) for detecting a caption portion of an image. Furthermore, image input software for controlling the
図13はCPU301が実行する映像信号処理を示すフローチャートである。
FIG. 13 is a flowchart showing video signal processing executed by the
ステップS1では、各部の初期化が行われる。 In step S1, each part is initialized.
ステップS2は、I/P変換処理のプログラムの終了が指示されたか否かの判定を行う。この判定は、ユーザが指示入力部303から終了指示が入力されたか否かに基づいて行う。ステップS2においてプログラムが終了していないと判定された場合はステップS3の処理へ進み、プログラムが終了したと判定された場合は、処理を終了する。
In step S2, it is determined whether or not an instruction to end the program of the I / P conversion process is given. This determination is made based on whether or not the user inputs an end instruction from the
ステップS3では、フィールド単位での画像の入力を受け、ステップS4に進む。上述のように、ステップS3では、通信インターフェース308、外部記憶装置304、或いは記憶装置305などから動画像データが入力される。
In step S3, an image is input in field units, and the process proceeds to step S4. As described above, in step S3, moving image data is input from the
ステップS4では字幕の検出を行い、ステップS5に進む。ステップS4における字幕の検出処理は後述する。 In step S4, subtitles are detected, and the process proceeds to step S5. The caption detection process in step S4 will be described later.
ステップS5では、ステップS4における検出結果に基づいて画素の補正を行い、ステップS2の処理に戻る。 In step S5, the pixel is corrected based on the detection result in step S4, and the process returns to step S2.
ここで、ステップS4の字幕検出処理を、図14のフローチャートを用いて説明する。 Here, the caption detection process in step S4 will be described with reference to the flowchart of FIG.
S400では、現フィールドと前フィールドのウィーブにより生成されるフレームと、現フィールドと後フィールドのウィーブにより生成されるフレームにおける、ブロックごとのコーミング度を算出する。コーミング度の算出方法については、実施形態1で説明した通りである。 In S400, the combing degree is calculated for each block in the frame generated by the weave of the current field and the previous field and the frame generated by the weave of the current field and the subsequent field. The method for calculating the combing degree is as described in the first embodiment.
S401では、S400で算出されたコーミング度に基づいて、ウィーブパターンをブロックごとに判定する。ウィーブパターンの判定手順は、実施形態1における図8、及びその説明と同様である。 In S401, the weave pattern is determined for each block based on the combing degree calculated in S400. The determination procedure of the weave pattern is the same as FIG. 8 in the first embodiment and the description thereof.
S402では、S401で判定されたウィーブのパターンのうち、少ないパターンに判定されたブロック(サブブロック)の領域を、字幕領域の候補として特定する。字幕領域の候補を特定する手順は、実施形態1における図9、及びその説明と同様である。 In S402, areas of blocks (sub-blocks) determined to have fewer patterns among the weave patterns determined in S401 are specified as caption area candidates. The procedure for specifying a caption area candidate is the same as that in FIG. 9 and the description thereof in the first embodiment.
S403では、字幕位置を例えば輝度情報により正確に特定する。 In S403, the subtitle position is accurately specified by, for example, luminance information.
即ち、S403では、第1の領域と第2の領域のうち、狭いほうの領域内の輝度情報によって、第2のフレームレートのプログレッシブ画像から得られたインターレース画像(字幕)が合成された画素の位置を特定する。尚、第1の領域は、第1の合成画像と組み合わせてプログレッシブ画像を構成すべきインターレース画像が第2の合成画像(前フィールド)である領域である。また、第2の領域は、第1の合成画像を組み合わせてプログレッシブ画像を構成すべきインターレース画像が第3の合成画像(後フィールド)である領域である。尚、この処理は、実施形態1における字幕検出部8が行う処理に対応する。
That is, in S403, the pixel of the interlaced image (caption) obtained from the progressive image at the second frame rate is synthesized based on the luminance information in the narrower one of the first region and the second region. Identify the location. Note that the first region is a region in which the interlaced image that is to form the progressive image in combination with the first composite image is the second composite image (previous field). The second area is an area in which the interlaced image that is to form the progressive image by combining the first synthesized image is the third synthesized image (the subsequent field). This process corresponds to the process performed by the
また、図13のステップS5では画素の補正を行う。上述のように、ステップS5では、字幕部分として検出された領域に対しては、例えば、動き適用IP変換などによって補間を行い、字幕部分以外の領域に対しては、判定されたウィーブパターンに基づいて他のフィールドとの組み合わせによりフレームを生成する。 In step S5 in FIG. 13, the pixel is corrected. As described above, in step S5, the region detected as the caption portion is interpolated by, for example, motion applied IP conversion, and the region other than the caption portion is based on the determined weave pattern. To generate a frame in combination with other fields.
即ち、第1の領域と第2の領域のうち、狭いほうの領域(サブブロックの領域)における第1の合成画像(現フィールド)と組み合わせてフレームを構成するための画素情報を、前後に表示されるフレームのデータ又は第1の合成画像内の画素情報を用いて生成する。一方、広いほうの領域(メインブロックの領域)における第1の合成画像と組み合わせてフレームを構成するための画素情報として、ウィーブパターンの判定に応じた第2又は第3の合成画像(前又は後フィールド)の画素情報を用いる。尚、この処理は、実施形態1における動き検出I/P変換部9、ウィーブI/P変換部10、及びセレクタ11の処理に対応する。 That is, pixel information for constituting a frame in combination with the first composite image (current field) in the narrower region (sub-block region) of the first region and the second region is displayed in the front and rear. Generated using the frame data or the pixel information in the first composite image. On the other hand, as pixel information for constituting a frame in combination with the first composite image in the wider region (main block region), the second or third composite image (before or after) according to the determination of the weave pattern Field) pixel information is used. This processing corresponds to the processing of the motion detection I / P conversion unit 9, the weave I / P conversion unit 10, and the selector 11 in the first embodiment.
このように、本第2の実施形態においては、第1の実施形態で説明した字幕検出処理が、ソフトウェアで実現可能である。 Thus, in the second embodiment, the caption detection processing described in the first embodiment can be realized by software.
なお、コンピュータプログラムは、CD−ROM等のコンピュータ可読記憶媒体に格納されており、これをコンピュータが有する読取装置(CD−ROMドライブ)にセットし、システムにコピーもしくはインストールすることで実行可能である。従って、このようなコンピュータ可読記憶媒体が本発明の範疇に入る。 The computer program is stored in a computer-readable storage medium such as a CD-ROM, and can be executed by setting it in a reading device (CD-ROM drive) of the computer and copying or installing it in the system. . Therefore, such a computer readable storage medium falls within the scope of the present invention.
<その他の実施例>
上記第1、第2の実施例においては、検出された字幕とそれ以外の部分に対して異なる補間方法を行うことについて説明したが、その限りではない。つまり、検出された字幕の範囲に対して、補間方法の切り替え以外に、例えば、字幕消去、シャープネス、ブラー、ノイズリダクション、拡大、縮小などの処理を行っても良い。
<Other examples>
In the first and second embodiments, description has been given of performing different interpolation methods for the detected caption and other portions, but this is not restrictive. In other words, for example, subtitle erasure, sharpness, blur, noise reduction, enlargement, and reduction may be performed on the detected subtitle range in addition to switching the interpolation method.
また、上記第1、第2の実施例においては、コーミング度の算出をブロック毎にフレーム全体に渡って算出する場合について説明したが、これに限らない。つまり、特定したいプルダウンパターンの画像(例えば字幕部分)が、表示画面の下側、もしくは上側に表示されるなど、予めわかっている場合、例えば、表示画面の中央部の一部について、コーミング度の算出を省略するようにしても良い。このようにすれば、より少ない負荷で、特定したいプルダウンパターンの画像を検出することができる。 In the first and second embodiments, the case where the combing degree is calculated over the entire frame for each block has been described. However, the present invention is not limited to this. In other words, when the image of the pull-down pattern to be specified (for example, the subtitle portion) is displayed in advance such as being displayed on the lower side or the upper side of the display screen, The calculation may be omitted. In this way, it is possible to detect a pull-down pattern image to be specified with a smaller load.
4、5 コーミング度算出部
6 ウィーブ判定部
7 ブロック検出部
8 字幕検出部
9 動き適用I/P変換部
10 ウィーブI/P変換部
11 セレクタ
4, 5 Combing degree calculation unit 6
Claims (8)
第2のフレームレートのプログレッシブ画像から得られた第3のフレームレートのインターレース画像が合成されたインターレース画像である第1の合成画像から、前記第2のフレームレートのプログレッシブ画像から得られたインターレース画像が合成された領域を特定する映像信号処理装置であって、
前記インターレース画像である第1の合成画像内の領域が、前記第1の合成画像と前記第1の合成画像の前に入力された第2の合成画像とを組み合わせてプログレッシブ画像を構成すべき第1の領域か、前記第1の合成画像と前記第1の合成画像の後に入力された第3の合成画像とを組み合わせてプログレッシブ画像を構成すべき第2の領域かを判定する判定手段と、
前記第1の合成画像内に、前記第1の領域と前記第2の領域とが存在する場合、前記第1の領域と前記第2の領域とに応じて、前記第2のフレームレートのプログレッシブ画像から得られたインターレース画像が合成された領域を特定する特定手段と
を有することを特徴とする映像信号処理装置。 In the interlaced image at the third frame rate obtained from the progressive image at the first frame rate,
An interlaced image obtained from a progressive image at the second frame rate from a first synthesized image, which is an interlaced image obtained by synthesizing an interlaced image at a third frame rate obtained from a progressive image at the second frame rate. Is a video signal processing device that identifies the synthesized region,
A region in the first composite image, which is the interlaced image, is to form a progressive image by combining the first composite image and the second composite image input before the first composite image. Determining means for determining whether the region is a first region or a second region in which a progressive image is to be formed by combining the first composite image and the third composite image input after the first composite image;
When the first area and the second area exist in the first composite image, the progressive of the second frame rate is set according to the first area and the second area. A video signal processing apparatus comprising: specifying means for specifying an area in which an interlaced image obtained from an image is combined.
ことを特徴とする請求項1記載の映像信号処理装置。 2. The video signal processing apparatus according to claim 1, wherein the progressive image at the second frame rate is a subtitle image.
ことを特徴とする請求項1記載の映像信号処理装置。 The specifying unit specifies a narrower one of the first region and the second region as a region in which an interlaced image obtained from a progressive image at the second frame rate is combined. 2. The video signal processing apparatus according to claim 1, wherein
ことを特徴とする請求項1又は2記載の映像信号処理装置。 The determination means determines whether an interlaced image that should form a progressive image in combination with the first composite image is the second composite image or the third composite image, and the first composite image and the second composite image. Based on the difference between pixel values adjacent in the vertical direction in the progressive image combined with the composite image and the difference in pixel values adjacent in the vertical direction in the progressive image combined with the first composite image and the third composite image The video signal processing apparatus according to claim 1, wherein the video signal processing apparatus determines whether or not the video signal is processed.
ことを特徴とする請求項1乃至3のうち、いずれか1項記載の映像信号処理装置。 The specifying unit is configured to calculate a pixel obtained by synthesizing an interlaced image obtained from a progressive image at the second frame rate based on luminance information in a narrower one of the first region and the second region. 4. The video signal processing apparatus according to claim 1, wherein the position is specified.
狭いほうの領域における前記第1の合成画像と組み合わせてプログレッシブ画像を構成するための画素情報を、前後に表示されるフレームのデータ又は前記第1の合成画像内の画素情報を用いて生成し、
広いほうの領域における前記第1の合成画像と組み合わせてプログレッシブ画像を構成するための画素情報として、前記判定に応じた前記第2又は第3の合成画像の画素情報を用いる補間手段を
有することを特徴とする請求項1乃至4のうち、いずれか1項記載の映像信号処理装置。 Of the first region and the second region,
Generating pixel information for constructing a progressive image in combination with the first composite image in the narrower region using data of frames displayed before and after or pixel information in the first composite image;
Interpolation means using pixel information of the second or third composite image according to the determination as pixel information for constructing a progressive image in combination with the first composite image in the wider region The video signal processing device according to claim 1, wherein the video signal processing device is a video signal processing device.
第2のフレームレートのプログレッシブ画像から得られた第3のフレームレートのインターレース画像が合成されたインターレース画像である第1の合成画像から、前記第2のフレームレートのプログレッシブ画像から得られたインターレース画像が合成された領域を特定する映像信号処理装置が行う映像信号処理方法であって、
前記インターレース画像である第1の合成画像内の領域が、前記第1の合成画像と前記第1の合成画像の前に入力された第2の合成画像とを組み合わせてプログレッシブ画像を構成すべき第1の領域か、前記第1の合成画像と前記第1の合成画像の後に入力された第3の合成画像とを組み合わせてプログレッシブ画像を構成すべき第2の領域かを判定する判定工程と、
前記第1の合成画像内に、前記第1の領域と前記第2の領域とが存在する場合、前記第1の領域と前記第2の領域とに応じて、前記第2のフレームレートのプログレッシブ画像から得られたインターレース画像が合成された領域を特定する特定工程と
を有することを特徴とする映像信号処理方法。 In the interlaced image at the third frame rate obtained from the progressive image at the first frame rate,
An interlaced image obtained from a progressive image at the second frame rate from a first synthesized image, which is an interlaced image obtained by synthesizing an interlaced image at a third frame rate obtained from a progressive image at the second frame rate. A video signal processing method performed by a video signal processing device that identifies a region where
A region in the first composite image, which is the interlaced image, is to form a progressive image by combining the first composite image and the second composite image input before the first composite image. A determination step of determining whether the first region is a second region in which a progressive image is to be configured by combining the first composite image and the third composite image input after the first composite image;
When the first area and the second area exist in the first composite image, the progressive of the second frame rate is set according to the first area and the second area. And a specifying step of specifying a region where interlaced images obtained from the images are combined.
第2のフレームレートのプログレッシブ画像から得られた第3のフレームレートのインターレース画像が合成されたインターレース画像である第1の合成画像から、前記第2のフレームレートのプログレッシブ画像から得られたインターレース画像が合成された領域を特定するコンピュータに、
前記インターレース画像である第1の合成画像内の領域が、前記第1の合成画像と前記第1の合成画像の前に入力された第2の合成画像とを組み合わせてプログレッシブ画像を構成すべき第1の領域か、前記第1の合成画像と前記第1の合成画像の後に入力された第3の合成画像とを組み合わせてプログレッシブ画像を構成すべき第2の領域かを判定する判定手順と、
前記第1の合成画像内に、前記第1の領域と前記第2の領域とが存在する場合、前記第1の領域と前記第2の領域とに応じて、前記第2のフレームレートのプログレッシブ画像から得られたインターレース画像が合成された領域を特定する特定手順と
を実行させることを特徴とするプログラム。 In the interlaced image at the third frame rate obtained from the progressive image at the first frame rate,
An interlaced image obtained from a progressive image at the second frame rate from a first synthesized image, which is an interlaced image obtained by synthesizing an interlaced image at a third frame rate obtained from a progressive image at the second frame rate. To the computer that identifies the area where
A region in the first composite image, which is the interlaced image, is to form a progressive image by combining the first composite image and the second composite image input before the first composite image. A determination procedure for determining whether the region is a first region or a second region in which a progressive image is to be formed by combining the first composite image and the third composite image input after the first composite image;
When the first area and the second area exist in the first composite image, the progressive of the second frame rate is set according to the first area and the second area. A program for executing a specific procedure for specifying a region where an interlaced image obtained from an image is synthesized.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008264347A JP5305822B2 (en) | 2008-10-10 | 2008-10-10 | Video signal processing apparatus, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008264347A JP5305822B2 (en) | 2008-10-10 | 2008-10-10 | Video signal processing apparatus, method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010093730A true JP2010093730A (en) | 2010-04-22 |
JP5305822B2 JP5305822B2 (en) | 2013-10-02 |
Family
ID=42255984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008264347A Expired - Fee Related JP5305822B2 (en) | 2008-10-10 | 2008-10-10 | Video signal processing apparatus, method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5305822B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010114529A (en) * | 2008-11-04 | 2010-05-20 | Canon Inc | Video processor, and method therefor |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3199720B2 (en) * | 1990-07-13 | 2001-08-20 | 株式会社日立製作所 | Television receiver and signal detection circuit |
JP2002057993A (en) * | 2000-08-09 | 2002-02-22 | Nec Corp | Interlace.progressive converter, interlace.progressive conversion method and recording medium |
JP2007259314A (en) * | 2006-03-24 | 2007-10-04 | Toshiba Corp | Caption detecting apparatus and caption detecting method, and pull-down signal detector |
-
2008
- 2008-10-10 JP JP2008264347A patent/JP5305822B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3199720B2 (en) * | 1990-07-13 | 2001-08-20 | 株式会社日立製作所 | Television receiver and signal detection circuit |
JP2002057993A (en) * | 2000-08-09 | 2002-02-22 | Nec Corp | Interlace.progressive converter, interlace.progressive conversion method and recording medium |
JP2007259314A (en) * | 2006-03-24 | 2007-10-04 | Toshiba Corp | Caption detecting apparatus and caption detecting method, and pull-down signal detector |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010114529A (en) * | 2008-11-04 | 2010-05-20 | Canon Inc | Video processor, and method therefor |
Also Published As
Publication number | Publication date |
---|---|
JP5305822B2 (en) | 2013-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8768103B2 (en) | Video processing apparatus and video display apparatus | |
JP4350742B2 (en) | Video processing apparatus and video processing apparatus control method | |
JP2008167102A (en) | Video processor and video display device provided with same | |
JP2005175671A (en) | Noise reduction circuit and method | |
US20080240617A1 (en) | Interpolation frame generating apparatus, interpolation frame generating method, and broadcast receiving apparatus | |
JP4772562B2 (en) | Pull-down signal detection device, pull-down signal detection method, progressive scan conversion device, and progressive scan conversion method | |
JP4510874B2 (en) | Composite image detector | |
JP5049882B2 (en) | Interpolation frame creation device, interpolation frame creation method, and broadcast reception device | |
JP2006109488A (en) | Video processing device capable of selecting field and method thereof | |
US20120008692A1 (en) | Image processing device and image processing method | |
JP5305822B2 (en) | Video signal processing apparatus, method, and program | |
JP2010198321A (en) | Image processing device and image processing method | |
JP5206313B2 (en) | COMBING NOISE DETECTION DEVICE AND COMBING NOISE DETECTION METHOD | |
JP2008283503A (en) | Apparatus, method, and program for video signal processing and recording medium with program of video signal processing method recorded thereon | |
US7796189B2 (en) | 2-2 pulldown signal detection device and a 2-2 pulldown signal detection method | |
JP5288997B2 (en) | Video processing apparatus and method | |
JP5107179B2 (en) | Frame rate conversion device, video conversion device, control program, computer-readable recording medium, and frame rate conversion method | |
JP2009159321A (en) | Interpolation processing apparatus, interpolation processing method, and picture display apparatus | |
JP5300600B2 (en) | Video processing apparatus and method | |
JP2010147699A (en) | Interpolation frame generating apparatus, interpolation frame generating method, and broadcast receiving apparatus | |
JP5300568B2 (en) | Video processing apparatus and control method thereof | |
JP2011078136A (en) | Video image noise reduction processing unit and video processing device | |
JP2009232402A (en) | Noise reduction circuit and method | |
JP4679372B2 (en) | Image noise reduction processing apparatus and image display apparatus | |
JP2007019708A (en) | Image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100201 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100630 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121218 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130312 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130625 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5305822 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |