JP2011097339A - Video processing apparatus, and controlling method therein - Google Patents
Video processing apparatus, and controlling method therein Download PDFInfo
- Publication number
- JP2011097339A JP2011097339A JP2009249049A JP2009249049A JP2011097339A JP 2011097339 A JP2011097339 A JP 2011097339A JP 2009249049 A JP2009249049 A JP 2009249049A JP 2009249049 A JP2009249049 A JP 2009249049A JP 2011097339 A JP2011097339 A JP 2011097339A
- Authority
- JP
- Japan
- Prior art keywords
- line
- interpolation
- boundary
- area
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Systems (AREA)
Abstract
Description
本発明は、映像処理装置及びその制御方法に関する。 The present invention relates to a video processing apparatus and a control method thereof.
インターレース方式の入力映像信号を補間によりプログレッシブ方式の出力映像信号に変換する方法として、動き適応型ＩＰ(インターレース・プログレッシブ)変換と呼ばれる方法がある。動き適応型ＩＰ変換は、補間画素の生成位置での映像の動き（動き情報）を検出し、その動き情報に応じて、フィールド内補間により補間画素を生成するか、フィールド間補間により補間画素を生成するかを適応的に切り換える方法である。 As a method for converting an interlace input video signal into a progressive output video signal by interpolation, there is a method called motion adaptive IP (interlace progressive) conversion. The motion adaptive IP conversion detects video motion (motion information) at the interpolation pixel generation position, and generates an interpolation pixel by intra-field interpolation or interpolates the interpolation pixel by inter-field interpolation according to the motion information. This is a method of adaptively switching whether to generate.
また、アスペクト比が１６：９の映像を４：３の画面に表示するための方式としてレターボックス方式が知られている。図１１Ａは、レターボックス方式の映像信号に基づく映像を画面上に表示した場合の例である。図１１Ａにおいて、斜線で示す領域が、映像が存在しないレターボックス領域（黒帯領域）であり、斜線以外の領域が、映像が存在する映像領域である。黒帯領域は、通常、黒または暗いグレーの単色領域である。 In addition, a letterbox method is known as a method for displaying an image having an aspect ratio of 16: 9 on a 4: 3 screen. FIG. 11A shows an example in which video based on a letterbox video signal is displayed on the screen. In FIG. 11A, the hatched area is a letterbox area (black belt area) where no video exists, and the area other than the diagonal line is a video area where video exists. The black belt region is usually a black or dark gray monochromatic region.
従来は、入力映像信号がレターボックス方式の映像信号であっても、ＩＰ変換として動き適応型ＩＰ変換が行われていた。具体的には、補間画素の生成位置での映像の動きが“動きあり”の場合には、同一フィールド（処理対象のフィールド）において該生成位置の上下に隣接する位置の画素を用いて補間画素を生成していた。“動きなし”の場合には、処理対象のフィールドの１つ後（又は１つ前）のフィールドにおいて該生成位置に対応する位置の画素を用いて補間画素を生成していた。
そのため、補間画素の生成位置が黒帯領域と映像領域の境界の位置であり、且つ、該生成位置での映像の動きが“動きあり”の場合には、黒帯領域内の画素と映像領域内の画素とを用いて補間画素が生成されることとなる。具体的には、黒帯領域の画素値と映像領域の画素値の間の画素値を有する補間画素が生成されることとなる。その結果、黒帯領域と映像領域の境界においてライン状のフリッカ（ラインフリッカ）が生じ、画質が低下してしまうという問題があった。
Conventionally, even when the input video signal is a letterbox video signal, motion adaptive IP conversion has been performed as IP conversion. Specifically, when the motion of the video at the generation position of the interpolation pixel is “with movement”, the interpolation pixel is used by using pixels at positions adjacent to the generation position in the same field (field to be processed). Was generated. In the case of “no motion”, an interpolation pixel is generated using a pixel at a position corresponding to the generation position in a field immediately after (or immediately before) a field to be processed.
Therefore, when the interpolation pixel generation position is the position of the boundary between the black band area and the video area, and the movement of the video at the generation position is “with motion”, the pixels in the black band area and the video area An interpolated pixel is generated using the inner pixels. Specifically, an interpolation pixel having a pixel value between the pixel value of the black belt region and the pixel value of the video region is generated. As a result, there is a problem that line flicker (line flicker) occurs at the boundary between the black belt area and the video area, and the image quality deteriorates.
そのような問題に鑑みた従来技術は、例えば、特許文献１に開示されている。具体的には、特許文献１に開示の技術では、ＩＰ変換を行う際に、補間画素の生成位置が上記境界の位置である場合に、該生成位置の黒帯領域側とは反対側の位置の画素を用いて補間画素を生成することで、ラインフリッカの発生を抑制している。 A conventional technique in view of such a problem is disclosed in Patent Document 1, for example. Specifically, in the technique disclosed in Patent Document 1, when performing the IP conversion, when the generation position of the interpolation pixel is the position of the boundary, the position on the side opposite to the black belt region side of the generation position The generation of the line flicker is suppressed by generating the interpolation pixel using the pixels.
しかしながら、特許文献１に開示の技術では、画素位置毎の動き情報を元に補間画素の生成位置が上記境界の位置か否かを判定している。具体的には、補間画素の生成位置での動き情報及びその上または下に隣接する画素位置の動き情報を元に補間画素の生成位置が上記境界の位置か否かを判定している。そのため、映像の内容（絵柄）や動きの速さなどによっては、黒帯領域と映像領域の境界の位置でないような補間画素の生成位置に対しても、「黒帯領域と映像領域の境界の位置である」と誤判定してしまい、それによって画質の劣化を招く虞がある。 However, in the technique disclosed in Patent Document 1, it is determined whether the generation position of the interpolation pixel is the position of the boundary based on the motion information for each pixel position. Specifically, it is determined whether or not the generation position of the interpolation pixel is the position of the boundary based on the movement information at the generation position of the interpolation pixel and the movement information of the pixel position adjacent above or below it. Therefore, depending on the content of the video (picture) and the speed of movement, the interpolated pixel generation position that is not at the boundary between the black belt region and the video region may be May be erroneously determined to be “position”, thereby degrading image quality.
そこで、本発明は、レターボックス領域と映像領域との境界を精度良く検出することができ、動き適応型インターレース・プログレッシブ変換における該境界でのラインフリッカの発生を抑制することのできる技術を提供することを目的とする。 Therefore, the present invention provides a technique capable of accurately detecting a boundary between a letterbox area and a video area and suppressing the occurrence of line flicker at the boundary in motion adaptive interlace / progressive conversion. For the purpose.
本発明の映像処理装置は、インターレース方式の入力映像信号を補間によりプログレッシブ方式の出力映像信号に変換する映像処理装置であって、入力映像信号のライン毎に、そのライン上の複数の画素を用いて、そのラインを代表する画素値である代表画素値を生成する代表画素値生成手段と、入力映像信号が映像領域の上下にレターボックス領域を有する映像信号である場合に、ライン毎の代表画素値を用いて、該入力映像信号からレターボックス領域と映像領域との境界を検出する境界検出手段と、動き適応型インターレース・プログレッシブ変換により補間画素を生成する補間画素生成手段と、を有し、補間画素生成手段は、境界検出手段で検出された境界を元に、補間画素の生成位置が映像領域内の位置なのかレターボックス領域内の位置なのかを判断し、補間画素の生成位置が映像領域内である場合には、映像領域内の画素のみを用いて補間画素を生成し、補間画素の生成位置がレターボックス領域内である場合には、レターボックス領域内の画素のみを用いて補間画素を生成する。 The video processing apparatus of the present invention is a video processing apparatus that converts an interlaced input video signal into a progressive output video signal by interpolation, and uses a plurality of pixels on each line of the input video signal. Representative pixel value generating means for generating a representative pixel value that is a pixel value representative of the line, and a representative pixel for each line when the input video signal is a video signal having letterbox areas above and below the video area. Boundary detection means for detecting a boundary between the letterbox area and the video area from the input video signal using the value, and interpolation pixel generation means for generating an interpolation pixel by motion adaptive interlace / progressive conversion, The interpolation pixel generation means determines whether the generation position of the interpolation pixel is a position in the video area based on the boundary detected by the boundary detection means. If the interpolation pixel generation position is within the video area, the interpolation pixel is generated using only the pixels within the video area, and the interpolation pixel generation position is within the letterbox area. In this case, an interpolation pixel is generated using only the pixels in the letterbox area.
本発明の映像処理装置の制御方法は、インターレース方式の入力映像信号を補間によりプログレッシブ方式の出力映像信号に変換する映像処理装置の制御方法であって、入力映像信号のライン毎に、そのライン上の複数の画素を用いて、そのラインを代表する画素値である代表画素値を生成する代表画素値生成ステップと、入力映像信号が映像領域の上下にレターボックス領域を有する映像信号である場合に、ライン毎の代表画素値を用いて、該入力映像信号からレターボックス領域と映像領域との境界を検出する境界検出ステップと、動き適応型インターレース・プログレッシブ変換により補間画素を生成する補間画素生成ステップと、を有し、補間画素生成ステップは、境界検出ステップで検出された境界を元に、補間画素の生成位置が映像領域内の位置なのかレターボックス領域内の位置なのかを判断し、補間画素の生成位置が映像領域内である場合には、映像領域内の画素のみを用いて補間画素を生成し、補間画素の生成位置がレターボックス領域内である場合には、レターボックス領域内の画素のみを用いて補間画素を生成するステップである。 A video processing apparatus control method according to the present invention is a video processing apparatus control method for converting an interlaced input video signal into a progressive output video signal by interpolation, and for each line of an input video signal, A representative pixel value generating step for generating a representative pixel value that is a pixel value representative of the line using the plurality of pixels, and when the input video signal is a video signal having letterbox areas above and below the video area. A boundary detection step for detecting a boundary between the letterbox region and the video region from the input video signal using a representative pixel value for each line, and an interpolation pixel generation step for generating an interpolation pixel by motion adaptive interlace / progressive transformation In the interpolation pixel generation step, the interpolation pixel generation position is determined based on the boundary detected in the boundary detection step. Determine whether the position is in the image area or the letterbox area, and if the interpolation pixel generation position is in the video area, the interpolation pixel is generated using only the pixels in the video area, and interpolation is performed. When the pixel generation position is within the letterbox area, the interpolation pixel is generated using only the pixels within the letterbox area.
本発明によれば、レターボックス領域と映像領域との境界を精度良く検出することができ、動き適応型インターレース・プログレッシブ変換における該境界でのラインフリッカの発生を抑制することができる。 According to the present invention, the boundary between the letterbox region and the video region can be detected with high accuracy, and the occurrence of line flicker at the boundary in motion adaptive interlace / progressive conversion can be suppressed.
＜実施例１＞
（構成）
以下、本発明の実施例１に係る映像処理装置及びその制御方法について、図面を用いて説明する。本実施例に係る映像処理装置は、インターレース方式の入力映像信号を補間によりプログレッシブ方式の出力映像信号に変換する。
<Example 1>
(Constitution)
Hereinafter, a video processing apparatus and a control method thereof according to Embodiment 1 of the present invention will be described with reference to the drawings. The video processing apparatus according to the present embodiment converts an interlaced input video signal into a progressive output video signal by interpolation.
図１Ａは、実施例１に係る映像処置装置の機能構成を示すブロック図である。
図１Ａにおいて、フィールドメモリ１００，１０１は、フィールド単位で装置に入力される入力映像信号を蓄積し、該入力映像信号を１フィールド分だけ遅延させて出力する。即ち、映像処理装置にＮ番目のフィールド（Ｎフィールド）の画像を表す信号が入力された時に、フィールドメモリ１００からは、Ｎ−１番目のフィールド（Ｎ−１フィールド）の画像を表す信号が出力される。フィールドメモリ１０１からは、Ｎ−２番目のフィールド（Ｎ−２フィールド）の画像を表す信号が出力される。本実施例では、フィールドメモリ１００から出力された画像（Ｎ−１フィールドの画像）に対して補間画素が生成される。
FIG. 1A is a block diagram illustrating a functional configuration of the video treatment apparatus according to the first embodiment.
In FIG. 1A,
境界決定部１０２は、入力映像信号が映像領域（映像のある領域）の上下にレターボックス領域（映像の無い領域；黒帯領域）を有する映像信号である場合に、黒帯領域と映像領域との境界を決定する。具体的には、境界決定部１０２は、図１Ｂに示すように、代表画素値生成部２０１と境界検出部２０２を有する。
When the input video signal is a video signal having a letterbox area (an area without video; a black band area) above and below the video area (area with video), the
代表画素値生成部２０１は、入力映像信号のライン毎に、そのライン上の複数の画素を用いて、そのラインを代表する画素値である代表画素値を生成する。本実施例では、ライン上の全ての画素のうち、最も輝度の高い画素値（ラインＭＡＸ輝度値）を有する画素を検出し、該画素値を代表画素値として出力する。検出結果（生成結果）の一例を図２に示す。図２は、画像の上側２ライン及び下側２ラインが黒帯領域内のライン、内側１６ラインが映像領域内のラインである例を示している。黒帯領域は輝度値の低い（図２の例では０）画素で構成されており、映像領域は、通常、輝度値の高い画素から輝度値の低い画素まで幅広く含んでいる。そのため、黒帯領域内のラインの代表画素値（ラインＭＡＸ輝度値）は低い値となり、映像領域内のラインの代表画素値は高い値となる。図２の例では、代表画素値生成部２０１において、上側のラインから順に、０，０，１２０，２００，１４０，・・・，１４５，８０，２００，０，０という代表画素値が生成され、境界検出部２０２へ出力される。
For each line of the input video signal, the representative pixel
境界検出部２０２は、入力映像信号が映像領域の上下に黒帯領域を有する映像信号である場合に、代表画素値生成部２０１で生成されたライン毎の代表画素値を用いて、該入力映像信号から黒帯領域と映像領域との境界を検出する。
本実施例では、上側のラインから順に、そのラインの代表画素値を用いて、該ラインが黒帯領域内のラインなのか映像領域内のラインなのかを判断することにより、上側の黒帯領域（上側黒帯領域）と映像領域との境界（上側境界）を検出する。具体的には、上側のラインから順に、代表画素値と第１の閾値ｔｈ１（本実施例では閾値ｔｈ１＝２とする）を比較する。そして、最初に閾値ｔｈ１を超えたライン、または、該ラインとその１つ上のラインとの間の補間画素が生成されるライン（補間ライン）を映像領域の最も上側のラインであると判断する。即ち、最初に閾値ｔｈ１を超えたラインとその１つ上のラインとの間に上側境界があると判断する。
また、下側のラインから順に、そのラインの代表画素値を用いて、該ラインが黒帯領域内のラインなのか映像領域内のラインなのかを判断することにより、下側の黒帯領域（下側黒帯領域）と映像領域との境界（下側境界）を検出する。具体的には、下側のラインから順に、代表画素値と第２の閾値ｔｈ２（本実施例では閾値ｔｈ２＝２とする）を比較す
る。そして、最初に閾値ｔｈ２を超えたライン、または、該ラインとその下側に隣接する補間ラインを映像領域の最も下側のラインであると判断する。即ち、最初に閾値ｔｈ２を超えたラインとその１つ下のラインとの間に下側境界があると判断する。
なお、閾値ｔｈ１，ｔｈ２の値は２に限らない。各ラインが黒帯領域内のラインなのか否かを判断することができれば、どのような値であってもよい。
The
In the present embodiment, in order from the upper line, the representative pixel value of the line is used to determine whether the line is a line in the black band area or a line in the video area, so that the upper black band area A boundary (upper boundary) between the (upper black belt region) and the video region is detected. Specifically, the representative pixel value and the first threshold th1 (threshold th1 = 2 in this embodiment) are compared sequentially from the upper line. Then, a line that first exceeds the threshold th1 or a line (interpolation line) in which an interpolation pixel between the line and the line above it is generated is determined to be the uppermost line in the video area. . That is, it is determined that there is an upper boundary between a line that first exceeds the threshold th1 and a line that is one above it.
Further, in order from the lower line, by using the representative pixel value of the line, it is determined whether the line is a line in the black band area or a line in the video area, so that the lower black band area ( A boundary (lower boundary) between the lower black belt area) and the video area is detected. Specifically, the representative pixel value and the second threshold th2 (threshold th2 = 2 in this embodiment) are compared in order from the lower line. Then, the line that first exceeds the threshold th2 or the interpolation line adjacent to the line and the lower side thereof is determined to be the lowermost line in the video area. That is, it is determined that there is a lower boundary between the line that first exceeds the threshold th2 and the line below it.
Note that the values of the thresholds th1 and th2 are not limited to 2. Any value can be used as long as it can be determined whether or not each line is a line in the black belt region.
図２の例では、画像の上側からライン２までは、代表画素値≦閾値ｔｈ１となるため、上側黒帯領域内のラインと判断される。ライン３以降は、代表画素値＞閾値ｔｈ１となるため、映像領域内のラインと判断される。それにより、ライン２とライン３の間に上側境界があると判断される。また、画像の下側からライン１９までは、代表画素値≦閾値ｔｈ２となるため、下側黒帯領域内のラインと判断される。ライン１８以降は、代表画素値＞閾値ｔｈ２となるため、映像領域内のラインと判断される。それにより、ライン１８とライン１９の間に下側境界があると判断される。
In the example of FIG. 2, since the representative pixel value ≦ threshold th <b> 1 from the upper side of the image to the
境界検出部２０２からは、上側境界の位置、下側境界の位置、上側黒帯領域の画素値、下側黒帯領域の画素値の情報が出力される。図２の例では、上側境界はライン２とライン３の間に位置するため、上側境界の位置の情報として“２”が出力される。下側境界はライン１８とライン１９の間に位置するため、下側境界の位置の情報として“１９”が出力される。即ち、黒帯領域と映像領域との境界の位置の情報として、該境界を挟む２つの隣接ラインのうち、黒帯領域内のラインを示す値（境界黒帯ライン番号）が出力される。また、上側黒帯領域の画素値の情報、下側黒帯領域の画素値の情報としては、それぞれ“０”（ライン２，１９の代表画素値）が出力される。それらの情報は、ＩＰ変換部１２０において補間画素を生成する際に用いられる。
なお、入力映像信号が黒帯領域の存在しない映像の信号である場合のように、黒帯領域と映像領域との境界を検出することができない場合には、境界検出部２０２は、境界の位置の情報として映像領域外のラインを示す値（例えば、２０４７）を出力する。
The
If the boundary between the black belt region and the video region cannot be detected as in the case where the input video signal is a video signal without a black belt region, the
ＩＰ変換部１２０は、動き適応型インターレース・プログレッシブ変換を行う。ＩＰ変換部１２０の構成について、以下詳細に説明する。
The
動き検出部１０３は、補間画素の生成位置での映像の動きを検出し、該動きから動き情報を生成する。本実施例では、動き情報として、映像の動きがあることを表す“１”と、映像の動きがないことを表す“０”の２通りを考える。動きの検出方法は、ブロックマッチングによる方法や、互いに２フィールド離れた２つのフィールド間の画素値の差分に基づいて決定する方法するなど、従来の方法を適用すればよい。
The
フィールド内補間画素生成部１０４は、フィールド内補間による補間画素（フィールド内補間画素）を生成する。フィールド内補間画素は、映像の動きのある位置に生成するのに適した補間画素であり、補間画素の生成の対象となるフィールド（Ｎ−１フィールド）の画像内の画素を用いて生成される補間画素である。
フィールド内補間画素生成部１０４は、例えば、図３に示すような構成を有する。フィールド内補間画素生成部１０４には、Ｎ−１フィールドの信号が入力され、ラインメモリ３００に蓄積される。ラインメモリ３００では、入力された信号が１Ｈ（インターレース方式の映像信号の１水平走査期間）だけ遅延され、出力される。そして、入力されたＮ−１フィールドの信号と１Ｈだけ遅延された信号とが加算器３０１で加算され、乗算器３０２で１／２倍される。これにより、Ｎ−１フィールドの画像において垂直方向に互いに隣接する２画素の画素値の平均値を得ることができる。この平均値が、それらの画素に挟まれる位置のフィールド内補間画素の画素値とされる。
なお、フィールド内補間画素生成部１０４は、境界決定部１０２（境界検出部２０２）から出力された情報を元に、黒帯領域と映像領域の境界に隣接する補間ラインに対しては
、上述の処理と異なる処理を行う。具体的な処理方法については、後述する。
The intra-field interpolation
The intra-field interpolation
The intra-field interpolation
補間データ生成部１０５は、動き適応型インターレース・プログレッシブ変換により補間画素を生成する。具体的には、補間画素の生成位置において映像の動きがない場合（動き情報が“０”である場合）には、該生成位置に対し、フィールドメモリ１０１から出力される画素値を有する補間画素（フィールド間補間による補間画素；フィールド間補間画素）を生成する。映像の動きがある場合（動き情報が“１”である場合）には、該生成位置に対し、フィールド内補間画素生成部１０４から出力される画素値を有する補間画素（フィールド内補間画素）を生成する。そして、生成された複数の補間画素からなる補間データを後述する倍速変換部１０６へ出力する。なお、フィールド間補間画素は、映像の動きの無い位置に生成するのに適した補間画素であって、Ｎ−２フィールドの画像内の画素（補間画素の生成位置と同じ位置の画素）と同じ画素値を有する補間画素である。
なお、補間データ生成部１０５は、境界決定部１０２から出力された情報を元に、黒帯領域と映像領域の境界に隣接する補間ラインに対しては、上述の処理と異なる処理を行う。具体的な処理方法については、後述する。
The interpolation
Note that the interpolation
倍速変換部１０６は、補間データ生成部１０５から出力される補間データと、フィールドメモリ１００から出力されるＮ−１フィールドの信号とを合成してプログレッシブ映像の信号（プログレッシブ映像の１フレームの信号）として出力する。
具体的には、倍速変換部１０６は、フィールドメモリ１００から出力されたフィールド（Ｎ−１フィールド）の信号と、補間データ生成部１０５から出力された補間データとを、インターレース映像の信号が入力される速度の２倍の速度で読み出す。これにより、Ｎ−１フィールドの画像を構成する画素と補間画素とが１ラインごとに繰り返されるプログレッシブ映像の信号が出力される。
The double
Specifically, the double
本実施例では、補間データ生成部１０５は、境界検出部２０２で検出された境界を元に、補間画素の生成位置が映像領域内の位置なのかレターボックス領域内の位置なのかを判断する。そして、補間画素の生成位置が映像領域内である場合には、映像領域内の画素のみを用いて補間画素を生成し、補間画素の生成位置がレターボックス領域（黒帯領域）内である場合には、黒帯領域内の画素のみを用いて補間画素を生成する。それにより、動き適応型インターレース・プログレッシブ変換における該境界でのラインフリッカの発生を抑制することができる。以下、詳しく説明する。
In this embodiment, the interpolation
（上側境界に隣接する補間ライン上の補間画素の生成方法）
図４を用いて、上側境界に隣接する補間ライン（上側境界補間ライン）上の補間画素の生成方法について説明する。
まず、ＩＰ変換部１２０が、境界決定部１０２から上側の境界黒帯ライン番号（上側境界黒帯ライン番号）と上側黒帯領域の画素値の情報を取得し（Ｓ１０１）、Ｓ１０２へ進む。具体的には、フィールド内補間画素生成部１０４が上側境界黒帯ライン番号を取得し、補間データ生成部１０５が上側境界黒帯ライン番号と上側黒帯領域の画素値の情報を取得する。
(Generation method of interpolation pixels on the interpolation line adjacent to the upper boundary)
A method for generating interpolation pixels on an interpolation line (upper boundary interpolation line) adjacent to the upper boundary will be described with reference to FIG.
First, the
上側境界補間ラインの位置は、処理対象のフィールド（Ｎ−１フィールド）がｏｄｄフィールドであるかｅｖｅｎフィールドであるかによって異なる。上側境界黒帯ライン番号として“２”が取得された場合について、図５Ａ，５Ｂを用いて詳しく説明する。図５Ａ，５Ｂは、入力映像信号の一番上のラインから数ライン分の画素を示す図である（入力映像信号の１フィールドあたりのライン総数は２０とする）。図５Ａに示すように、Ｎ−１フィールドがｏｄｄフィールドであった場合には、インターレースの状態で上側から２ライン目の補間ラインが上側境界補間ラインとなる。図５Ｂに示すように、Ｎ−１フィールドがｅｖｅｎフィールドであった場合には、インターレースの状態で上側から３ライン目
の補間ラインが上側境界補間ラインとなる。
The position of the upper boundary interpolation line differs depending on whether the field to be processed (N-1 field) is an odd field or an even field. The case where “2” is acquired as the upper boundary black belt line number will be described in detail with reference to FIGS. 5A and 5B. 5A and 5B are diagrams showing pixels for several lines from the top line of the input video signal (the total number of lines per field of the input video signal is 20). As shown in FIG. 5A, when the N-1 field is an odd field, the second interpolation line from the upper side in the interlace state becomes the upper boundary interpolation line. As shown in FIG. 5B, when the N-1 field is an even field, the third interpolation line from the upper side in the interlaced state becomes the upper boundary interpolation line.
そこで、Ｓ１０２では、補間データ生成部１０５が、Ｎ−１フィールドがｏｄｄフィールドなのか否かを判定する。そして、Ｎ−１フィールドがｏｄｄフィールドであった場合には（Ｓ１０２：ＹＥＳ）、上側境界黒帯ライン番号を上側境界補間ライン番号とし（Ｓ１０３）、Ｓ１０５へ進む。Ｎ−１フィールドがｅｖｅｎフィールドであった場合には（Ｓ１０２：ＮＯ）、上側境界黒帯ライン番号に１を加算したものを上側境界補間ライン番号とし（Ｓ１０４）、Ｓ１０５へ進む。
Therefore, in S102, the interpolation
Ｓ１０５では、補間データ生成部１０５が、補間画素の生成位置が上側境界補間ライン上の位置か否かを判定する。補間画素の生成位置が上側境界補間ライン上の位置である場合には（Ｓ１０５：ＹＥＳ）、Ｓ１０６へ進む。補間画素の生成位置が上側境界補間ライン上の位置でない場合には（Ｓ１０５：ＮＯ）、Ｓ１１０へ進む。Ｓ１１０では、フィールド内補間画素生成部１０４は、補間画素の生成位置に対し通常の方法（上述した方法）でフィールド内補間画素を生成する。そして、補間データ生成部１０５が、補間画素の生成位置に対し、通常の方法（上述した方法）でフィールド内補間画素またはフィールド間補間画素を生成する（通常の動き適応処理）。
In S105, the interpolation
Ｓ１０６では、補間データ生成部１０５が、図５Ａのような画素配列構造なのか図５Ｂのような画素配列構造なのかを判定する。具体的には、後フィールド（Ｎ−２フィールド）の画素値（補間画素の生成位置と同じ位置の画素値）が上側黒帯領域の画素値と等しいか否かを判定する。
In S106, the interpolation
Ｎ−２フィールドの画素値が上側黒帯領域の画素値と等しい場合には（Ｓ１０６：ＹＥＳ）、補間データ生成部１０５は、図５Ａのような画素配列構造であると判断する。即ち、図５Ａの画素Ａ１０とその上側に隣接する補間画素との間が境界である（補間画素の生成位置は上側黒帯領域内の位置である）と判断する。そして、補間画素の生成位置に対し、図５Ａの画素Ｂ１０の画素値を有するフィールド間補間画素を生成する（Ｓ１０８；フィールド間補間処理）。なお、画素Ｂ１０ではなく画素Ｃ１０の画素値を有するフィールド内補間画素を生成してもよい。
Ｎ−２フィールドの画素値が上側黒帯領域の画素値と等しくない場合には（Ｓ１０６：ＮＯ）、図５Ｂのような画素配列構造であると判断する。即ち、図５Ｂの画素Ｃ２０とその下側に隣接する補間画素との間が境界である（補間画素の生成位置は映像領域内の位置である）と判断する。そして、Ｓ１０７へ進む。
なお、このような境界の具体的な位置の決定は、境界検出部２０２が行ってもよい。
When the pixel value of the N-2 field is equal to the pixel value of the upper black belt region (S106: YES), the interpolation
If the pixel value of the N-2 field is not equal to the pixel value of the upper black belt region (S106: NO), it is determined that the pixel arrangement structure is as shown in FIG. 5B. That is, it is determined that the boundary is between the pixel C20 in FIG. 5B and the interpolation pixel adjacent thereto below (the generation position of the interpolation pixel is a position in the video area). Then, the process proceeds to S107.
Note that the
Ｓ１０７では、補間画素の生成位置での動き情報が“０”か否かを判定する。動き情報が“０”である場合には（Ｓ１０７：ＹＥＳ）、Ｓ１０８へ進み、動き情報が“１”である場合には（Ｓ１０７：ＮＯ）、Ｓ１０９へ進む。このとき、Ｓ１０８では、補間画素の生成位置に対し、図５Ｂの画素Ｂ２０の画素値を有するフィールド間補間画素が生成される。Ｓ１０９では、フィールド内補間画素生成部１０４が、補間画素の生成位置に対し、Ｎ−１フィールドにおいて該生成位置の下側に隣接する位置の画素値（図５Ｂの画素Ａ２０の画素値）を有するフィールド内補間画素を生成する。そして、補間データ生成部１０５が、補間画素の生成位置に対し、該フィールド内補間画素を生成する（映像領域の画素値を用いたフィールド内補間処理）。
In S107, it is determined whether or not the motion information at the interpolation pixel generation position is “0”. When the motion information is “0” (S107: YES), the process proceeds to S108, and when the motion information is “1” (S107: NO), the process proceeds to S109. At this time, in S108, the inter-field interpolation pixel having the pixel value of the pixel B20 in FIG. 5B is generated at the interpolation pixel generation position. In S109, the intra-field interpolation
（下側境界に隣接する補間ライン上の補間画素の生成方法）
図６を用いて、下側境界に隣接する補間ライン（下側境界補間ライン）上の補間画素の生成方法について説明する。
まず、ＩＰ変換部１２０が、境界決定部１０２から下側の境界黒帯ライン番号（下側境
界黒帯ライン番号）と下側黒帯領域の画素値の情報を取得し（Ｓ２０１）、Ｓ２０２へ進む。具体的には、フィールド内補間画素生成部１０４が下側境界黒帯ライン番号を取得し、補間データ生成部１０５が下側境界黒帯ライン番号と下側黒帯領域の画素値の情報を取得する。
(Generation method of interpolation pixels on the interpolation line adjacent to the lower boundary)
A method of generating interpolation pixels on an interpolation line (lower boundary interpolation line) adjacent to the lower boundary will be described with reference to FIG.
First, the
下側境界補間ラインの位置も、上側境界補間ラインの位置と同様に、Ｎ−１フィールドがｏｄｄフィールドであるかｅｖｅｎフィールドであるかによって異なる。下側境界黒帯ライン番号として“１９”が取得された場合について、図７Ａ，７Ｂを用いて詳しく説明する。図７Ａ，７Ｂは、入力映像信号の一番下のラインから数ライン分の画素を示す図である（入力映像信号の１フィールドあたりのライン総数は２０とする）。図７Ａに示すように、Ｎ−１フィールドがｏｄｄフィールドであった場合には、インターレースの状態で下側から３ライン目（上側から１８ライン目）の補間ラインが下側境界補間ラインとなる。図７Ｂに示すように、Ｎ−１フィールドがｅｖｅｎフィールドであった場合には、インターレースの状態で下側から２ライン目（上側から１９ライン目）の補間ラインが下側境界補間ラインとなる。 Similarly to the position of the upper boundary interpolation line, the position of the lower boundary interpolation line also differs depending on whether the N-1 field is an odd field or an even field. The case where “19” is acquired as the lower boundary black belt line number will be described in detail with reference to FIGS. 7A and 7B. 7A and 7B are diagrams showing pixels for several lines from the bottom line of the input video signal (the total number of lines per field of the input video signal is 20). As shown in FIG. 7A, when the N-1 field is an odd field, the third interpolation line from the lower side (the 18th line from the upper side) in the interlaced state becomes the lower boundary interpolation line. As shown in FIG. 7B, when the N-1 field is an even field, the second line from the lower side (the 19th line from the upper side) in the interlaced state becomes the lower boundary interpolation line.
そこで、Ｓ２０２では、補間データ生成部１０５が、Ｎ−１フィールドがｏｄｄフィールドなのか否かを判定する。そして、Ｎ−１フィールドがｏｄｄフィールドであった場合には（Ｓ２０２：ＹＥＳ）、下側境界黒帯ライン番号から１を減算したものを下側境界補間ライン番号とし（Ｓ２０３）、Ｓ２０５へ進む。Ｎ−１フィールドがｅｖｅｎフィールドであった場合には（Ｓ２０２：ＮＯ）、下側境界黒帯ライン番号を下側境界補間ライン番号とし（Ｓ２０４）、Ｓ２０５へ進む。
Therefore, in S202, the interpolation
Ｓ２０５では、補間データ生成部１０５が、補間画素の生成位置が下側境界補間ライン上の位置か否かを判定する。補間画素の生成位置が下側境界補間ライン上の位置である場合には（Ｓ２０５：ＹＥＳ）、Ｓ２０６へ進む。補間画素の生成位置が下側境界補間ライン上の位置でない場合には（Ｓ２０５：ＮＯ）、Ｓ２１０へ進む。Ｓ２１０の処理は図４のＳ１１０の処理と同様のため、説明は省略する。
In S205, the interpolation
Ｓ２０６では、補間データ生成部１０５が、図７Ａのような画素配列構造なのか図７Ｂのような画素配列構造なのかを判定する。具体的には、後フィールド（Ｎ−２フィールド）の画素値（補間画素の生成位置と同じ位置の画素値）が下側黒帯領域の画素値と等しいか否かを判定する。
In S206, the interpolation
Ｎ−２フィールドの画素値が下側黒帯領域の画素値と等しい場合には（Ｓ２０６：ＹＥＳ）、補間データ生成部１０５は、図７Ｂのような画素配列構造であると判断する。即ち、図７Ｂの画素Ａ４０とその下側に隣接する補間画素との間が境界である（補間画素の生成位置は下側黒帯領域内の位置である）と判断する。そして、補間画素の生成位置に対し、図７Ｂの画素Ｂ４０の画素値を有するフィールド間補間画素を生成する（Ｓ２０８；フィールド間補間処理）。なお、画素Ｂ４０ではなく画素Ｃ４０の画素値を有するフィールド内補間画素を生成してもよい。
Ｎ−２フィールドの画素値が下側黒帯領域の画素値と等しくない場合には（Ｓ２０６：ＮＯ）、図７Ａのような画素配列構造であると判断する。即ち、図７Ａの画素Ｃ３０とその上側に隣接する補間画素との間が境界である（補間画素の生成位置は映像領域内の位置である）と判断する。そして、Ｓ２０７へ進む。
When the pixel value of the N-2 field is equal to the pixel value of the lower black belt region (S206: YES), the interpolation
When the pixel value of the N-2 field is not equal to the pixel value of the lower black belt region (S206: NO), it is determined that the pixel arrangement structure is as shown in FIG. 7A. That is, it is determined that the boundary is between the pixel C30 in FIG. 7A and the adjacent interpolation pixel on the upper side (the generation position of the interpolation pixel is a position in the video area). Then, the process proceeds to S207.
Ｓ２０７では、補間画素の生成位置での動き情報が“０”か否かを判定する。動き情報が“０”である場合には（Ｓ２０７：ＹＥＳ）、Ｓ２０８へ進み、動き情報が“１”である場合には（Ｓ２０７：ＮＯ）、Ｓ２０９へ進む。このとき、Ｓ２０８では、補間画素の生成位置に対し、図７Ａの画素Ｂ３０の画素値を有するフィールド間補間画素が生成され
る。Ｓ２０９では、フィールド内補間画素生成部１０４が、補間画素の生成位置に対し、Ｎ−１フィールドにおいて該生成位置の上側に隣接する位置の画素値（図７Ａの画素Ａ３０の画素値）を有するフィールド内補間画素を生成する。そして、補間データ生成部１０５が、補間画素の生成位置に対し、該フィールド内補間画素を生成する（映像領域の画素値を用いたフィールド内補間処理）。
なお、フィールド内補間画素生成部１０４は、補間データ生成部１０５での補間画素の生成が行われる前に、補間画素の生成位置毎のフィールド内補間画素を生成していてもよい。
In S207, it is determined whether or not the motion information at the interpolation pixel generation position is “0”. If the motion information is “0” (S207: YES), the process proceeds to S208, and if the motion information is “1” (S207: NO), the process proceeds to S209. At this time, in S208, the inter-field interpolation pixel having the pixel value of the pixel B30 in FIG. 7A is generated at the interpolation pixel generation position. In S209, the intra-field interpolation
The intra-field interpolation
以上の処理により、補間画素の生成位置が映像領域内である場合には、映像領域内の画素のみを用いて補間画素が生成され、補間画素の生成位置が黒帯領域内である場合には、黒帯領域内の画素のみを用いて補間画素が生成されることとなる。それにより、動き適応型インターレース・プログレッシブ変換における該境界でのラインフリッカの発生を抑制することができる。 With the above processing, when the interpolation pixel generation position is within the video area, the interpolation pixel is generated using only the pixels within the video area, and when the interpolation pixel generation position is within the black belt area. Therefore, an interpolation pixel is generated using only the pixels in the black belt region. Thereby, it is possible to suppress the occurrence of line flicker at the boundary in the motion adaptive interlace / progressive conversion.
また、本実施例の構成によれば、ライン毎の代表画素値を用いて、黒帯領域（レターボックス領域）と映像領域との境界が検出されるため、レターボックス領域と映像領域との境界を精度良く検出することができる。具体的には、画素位置毎に境界の位置か否かを判断する場合に生じる、境界の位置の誤検出（誤判断）を抑制することができる。
また、本実施例では、画像の上側から下側に向かって上側境界を検出し、画像の下側から上側に向かって上側境界を検出することにより、上側境界と下側境界をより精度良く検出することが可能となる。具体的には、映像領域内に暗いラインが存在する場合などに生じ得る境界の誤検出を抑制することができる。
Also, according to the configuration of the present embodiment, the boundary between the black belt region (letter box region) and the video region is detected using the representative pixel value for each line, so the boundary between the letter box region and the video region. Can be detected with high accuracy. Specifically, it is possible to suppress erroneous detection (incorrect determination) of the boundary position that occurs when determining whether or not each pixel position is the boundary position.
In this embodiment, the upper boundary is detected from the upper side to the lower side of the image, and the upper boundary is detected from the lower side to the upper side of the image, thereby detecting the upper boundary and the lower boundary with higher accuracy. It becomes possible to do. Specifically, it is possible to suppress erroneous detection of a boundary that may occur when a dark line exists in the video area.
なお、本実施例では、フィールド間補間画素を生成する際にＮ−２フィールド内の画素を用いる構成としたが、Ｎフィールド内の画素、または、Ｎフィールド内の画素とＮ−２フィールド内の画素を用いてフィールド間補間画素を生成してもよい。
なお、本実施例では、動き情報を２値（０／１）とした場合について説明したが、動き情報は複数ビットの情報であってもよい。例えば、動き情報が２ビット（０〜３）で表される場合には、動きの大きさが大きいほど大きな値が動き情報として設定されればよい。そして、動き情報が“０”の場合に補間画素としてフィールド間補間画素を生成し、“３”の場合にフィールド内補間画素を生成すればよい。補間画素の生成位置での映像の動きが小さい場合（つまり、動き情報が“１”又は“２”の場合）には、フィールド間補間画素とフィールド内補間画素を重み付け合成して得られた画素を補間画素としてもよい。
なお、本実施例では、代表画素値としてラインＭＡＸ輝度値を用いた場合について説明したが、代表画素値はそのラインを代表する画素値であればよい。例えば、複数の画素値の平均値を代表画素値としてもよい。
なお、本実施例では、画像の上側から下側に向かって上側境界を検出し、画像の下側から上側に向かって上側境界を検出する構成としたが、境界の検出方法はこれに限らない。例えば、画像の中央から上下に向かって上側境界や下側境界を検出してもよい。ライン毎の代表画素値を用いて判定すれば、上記作用効果を得ることができる。
In this embodiment, the pixel in the N-2 field is used when generating the inter-field interpolation pixel. However, the pixel in the N field, or the pixel in the N field and the pixel in the N-2 field are used. Inter-field interpolation pixels may be generated using pixels.
In this embodiment, the case where the motion information is binary (0/1) has been described. However, the motion information may be multi-bit information. For example, when the motion information is represented by 2 bits (0 to 3), a larger value may be set as the motion information as the magnitude of the motion is larger. Then, an inter-field interpolation pixel may be generated as an interpolation pixel when the motion information is “0”, and an intra-field interpolation pixel may be generated when the motion information is “3”. When the motion of the video at the interpolation pixel generation position is small (that is, when the motion information is “1” or “2”), the pixel obtained by weighted synthesis of the inter-field interpolation pixel and the intra-field interpolation pixel May be interpolated pixels.
In this embodiment, the case where the line MAX luminance value is used as the representative pixel value has been described. However, the representative pixel value may be a pixel value representing the line. For example, an average value of a plurality of pixel values may be used as the representative pixel value.
In this embodiment, the upper boundary is detected from the upper side to the lower side of the image and the upper boundary is detected from the lower side to the upper side of the image. However, the boundary detection method is not limited to this. . For example, the upper boundary or the lower boundary may be detected from the center of the image upward and downward. If the determination is made using the representative pixel value for each line, the above-described effects can be obtained.
なお、本実施例では、ｏｄｄフィールドとｅｖｅｎフィールドとで、境界黒帯ライン番号が等しい場合について説明したが、境界黒帯ライン番号はｏｄｄフィールドとｅｖｅｎフィールドとで異なっていてもよい。その場合であっても、上述した方法で同様の効果を得ることができる。
なお、本実施例では、代表画素値を決定する際にライン上の全ての画素を用いるものとしたが、ラインを代表する画素値を決定することができる程度の数の画素を用いればよい。例えば、ライン上の全画素数の半分の画素を用いて代表画素値を決定してもよい。
In this embodiment, the description has been given of the case where the odd black line number is the same between the odd field and the even field, but the black boundary line number may be different between the odd field and the even field. Even in that case, the same effect can be obtained by the method described above.
In this embodiment, all the pixels on the line are used when determining the representative pixel value. However, the number of pixels that can determine the pixel value representing the line may be used. For example, the representative pixel value may be determined using half of the total number of pixels on the line.
なお、本実施例では、境界の位置の情報として境界黒帯ライン番号を用いた場合について説明したが、境界の位置の情報はこれに限らない。境界を挟む２つの隣接ラインのうち、映像領域内のラインを示す値を境界の位置の情報としてもよい。図４のＳ１０６や図６のＳ２０６の後で判断される境界のより具体的な位置を表す情報であってもよい。
なお、本実施例では、境界決定部１０２から境界の位置の情報と黒帯領域の画素値の情報が出力されるものとしたが、出力される情報はこれらに限らない。補間画素の生成位置が黒帯領域内なのか映像領域内なのかを判断できればどのような情報であってもよい。例えば、図４のＳ１０６や図６のＳ２０６の後で判断される位置を表す情報のみが出力されてもよい。境界黒帯ライン番号、及び、境界補間ラインに対応するＮ−２フィールドのラインが黒帯領域内のラインなのか否かを表す情報が出力されてもよい。
In this embodiment, the case where the boundary black belt line number is used as the boundary position information has been described. However, the boundary position information is not limited to this. Of two adjacent lines sandwiching the boundary, a value indicating a line in the video area may be used as boundary position information. Information representing a more specific position of the boundary determined after S106 in FIG. 4 or S206 in FIG. 6 may be used.
In this embodiment, the boundary position information and the pixel value information of the black belt region are output from the
＜実施例２＞
実施例１では、代表画素値を決定する際に用いる画素について、そのライン上に位置すること以外に、特に制約を設けていなかった。本実施例では、代表画素値を決定する際に用いる画素を限定する構成について説明する。
<Example 2>
In the first embodiment, the pixel used for determining the representative pixel value is not particularly restricted other than being positioned on the line. In the present embodiment, a configuration for limiting the pixels used when determining the representative pixel value will be described.
具体的には、入力映像信号として、図１１Ｂに示すように、画面の水平方向の一部の範囲において映像領域の上下にレターボックス領域（黒帯領域）を有する映像の信号が入力されることがある。このような入力映像信号は、アスペクト比が１６：９の画面に４：３の映像を表示するための信号などである。図１１Ｂの例は、フルハイビジョン画像（１９２０画素×１０８０ライン（インターレースでは１９２０画素×５４０ライン））において、映像領域と黒帯領域の左右にそれぞれ水平２４０画素の枠領域が存在する場合の例である。即ち、内側の水平１４４０画素が映像領域及び（その上下に位置する）黒帯領域となる。枠領域内の画像は、通常、静止している画像（絵柄の付いた画像）である。
このような入力映像信号に対し、実施例１の方法で境界を検出すると、境界の誤検出や、枠領域内の画質の劣化を招く虞がある。本実施例では、それらの問題を解決することのできる構成について説明する。
Specifically, as shown in FIG. 11B, as an input video signal, a video signal having letterbox areas (black band areas) above and below the video area in a partial range in the horizontal direction of the screen is input. There is. Such an input video signal is a signal for displaying a 4: 3 video on a screen having an aspect ratio of 16: 9. The example of FIG. 11B is an example in the case where a frame area of 240 pixels horizontally exists on the left and right of the video area and the black belt area in a full high-definition image (1920 pixels × 1080 lines (1920 pixels × 540 lines in interlace)). is there. That is, the inner horizontal 1440 pixels are the video area and the black belt area (located above and below it). The image in the frame area is usually a still image (image with a pattern).
If the boundary of such an input video signal is detected by the method of the first embodiment, there is a risk of erroneous detection of the boundary and deterioration of image quality in the frame area. In this embodiment, a configuration that can solve these problems will be described.
図８Ａは、実施例２に係る映像処理装置の機能構成を示すブロック図である。なお、実施例１（図１Ａ）と同じ機能については同じ符号を付し、その説明は省略する。
本実施例では、境界決定部６０２、フィールド内補間画素生成部６０４、及び、補間データ生成部６０５に境界範囲設定値が入力される。境界範囲設定値は、映像の水平方向のどの範囲に映像領域や黒帯領域が存在するのかを示す値（上記一部の範囲を示す情報）である。映像領域や黒帯領域が存在する範囲（境界範囲）とは、映像の水平方向の範囲から水平方向の枠領域の範囲を除いた範囲である（図１１Ｂの例では、中央の水平１４４０画素の範囲が境界範囲となる）。具体的には、境界範囲設定値は、映像領域や黒帯領域の水平方向の両端の位置を示す値（ｘ座標；図１１Ｂの例では、２４０と１６７９）などである。
本実施例では、枠領域の範囲（図１１Ｂの例では、ｘ座標＝０〜２３９、及び、１６８０〜１９１９の範囲）を境界の検出範囲から除外し、それ以外の範囲（図１１Ｂの例では、ｘ座標＝２４０〜１６７９までの範囲）内の画像から境界の検出を行う。これにより、境界の誤検出を抑制するとともに、枠領域内の画質の劣化を抑制することが可能となる。
FIG. 8A is a block diagram of a functional configuration of the video processing apparatus according to the second embodiment. In addition, the same code | symbol is attached | subjected about the same function as Example 1 (FIG. 1A), and the description is abbreviate | omitted.
In this embodiment, the boundary range setting value is input to the
In this embodiment, the range of the frame region (in the example of FIG. 11B, the x coordinate = 0 to 239 and the range of 1680 to 1919) is excluded from the boundary detection range, and the other range (in the example of FIG. 11B, The boundary is detected from the image within the range of x coordinate = 240 to 1679. Accordingly, it is possible to suppress the erroneous detection of the boundary and to suppress the deterioration of the image quality in the frame area.
境界決定部６０２は、入力映像信号から黒帯領域と映像領域の境界を決定する。境界決定部６０２は、図８Ｂに示すように、代表画素値生成部７０１と境界検出部７０２を有する。
代表画素値生成部７０１は、境界範囲設定値を用いて、ライン毎に、上記一部の範囲（境界範囲）内における複数の画素を用いて代表画素値を生成する。本実施例では、境界範囲内の全ての画素のうち、最も輝度の高い画素値を有する画素を検出し、該画素値を代表画素値として境界検出部７０２へ出力する。
境界検出部７０２の機能は、図１Ｂの境界検出部２０２と同様のため、説明は省略する。
フィールド内補間画素生成部６０４、補間データ生成部６０５は、境界決定部６０２から出力された情報と境界範囲設定値を元に、処理を行う。具体的な処理については以下で詳しく説明する。
The
The representative pixel
The function of the
The intra-field interpolation
（上側境界に隣接する補間ライン上の補間画素の生成方法）
図９を用いて、上側境界に隣接する補間ライン（上側境界補間ライン）上の補間画素の生成方法について説明する。
まず、ＩＰ変換部６２０が、境界決定部６０２から上側境界黒帯ライン番号と上側黒帯領域の画素値の情報を取得すると共に、境界範囲設定値を取得する（Ｓ３０１）。そして、Ｓ３０２へ進む。具体的には、フィールド内補間画素生成部６０４が上側境界黒帯ライン番号と境界範囲設定値を取得し、補間データ生成部６０５が上側境界黒帯ライン番号、上側黒帯領域の画素値の情報、及び、境界範囲設定値を取得する。
(Generation method of interpolation pixels on the interpolation line adjacent to the upper boundary)
A method for generating an interpolation pixel on an interpolation line (upper boundary interpolation line) adjacent to the upper boundary will be described with reference to FIG.
First, the
Ｓ３０２〜Ｓ３０５，Ｓ３１１の処理は、それぞれ、図４のＳ１０２〜Ｓ１０５，Ｓ１１０の処理と同様のため、説明は省略する。
Ｓ３０５において、補間画素の生成位置が上側境界補間ライン上の位置であると判定された場合には、補間データ生成部６０５が、境界範囲設定値を元に、補間画素の生成位置が境界範囲内か否かを判定する（Ｓ３０６）。補間画素の生成位置が境界範囲外である場合には（Ｓ３０６：ＮＯ）、Ｓ３１１へ進み、境界範囲内である場合には（Ｓ３０６：ＹＥＳ）、Ｓ３０７へ進む。Ｓ３０７〜Ｓ３１０の処理は、図４のＳ１０６〜Ｓ１０９の処理と同様のため、説明は省略する。
The processes in S302 to S305 and S311 are the same as the processes in S102 to S105 and S110 in FIG.
If it is determined in S305 that the interpolation pixel generation position is a position on the upper boundary interpolation line, the interpolation
（下側境界に隣接する補間ライン上の補間画素の生成方法）
図１０を用いて、下側境界に隣接する補間ライン（下側境界補間ライン）上の補間画素の生成方法について説明する。
まず、ＩＰ変換部６２０が、境界決定部６０２から下側境界黒帯ライン番号と下側黒帯領域の画素値の情報を取得すると共に、境界範囲設定値を取得する（Ｓ４０１）。そして、Ｓ４０２へ進む。具体的には、フィールド内補間画素生成部６０４が下側境界黒帯ライン番号と境界範囲設定値を取得し、補間データ生成部６０５が下側境界黒帯ライン番号、下側黒帯領域の画素値の情報、及び、境界範囲設定値を取得する。
(Generation method of interpolation pixels on the interpolation line adjacent to the lower boundary)
A method for generating interpolation pixels on an interpolation line (lower boundary interpolation line) adjacent to the lower boundary will be described with reference to FIG.
First, the
Ｓ４０２〜Ｓ４０５，Ｓ４１１の処理は、それぞれ、図６のＳ２０２〜Ｓ２０５，Ｓ２１０の処理と同様のため、説明は省略する。
Ｓ４０５において、補間画素の生成位置が下側境界補間ライン上の位置であると判定された場合には、補間データ生成部６０５が、境界範囲設定値を元に、補間画素の生成位置が境界範囲内か否かを判定する（Ｓ４０６）。補間画素の生成位置が境界範囲外である場合には（Ｓ４０６：ＮＯ）、Ｓ４１１へ進み、境界範囲内である場合には（Ｓ４０６：ＹＥＳ）、Ｓ４０７へ進む。Ｓ４０７〜Ｓ４１０の処理は、図６のＳ２０６〜Ｓ２０９の処理と同様のため、説明は省略する。
The processes of S402 to S405 and S411 are the same as the processes of S202 to S205 and S210 of FIG.
If it is determined in S405 that the interpolation pixel generation position is a position on the lower boundary interpolation line, the interpolation
以上の処理により、補間画素の生成位置が映像領域内である場合には、映像領域内の画素のみを用いて補間画素が生成され、補間画素の生成位置が黒帯領域内である場合には、黒帯領域内の画素のみを用いて補間画素が生成されることとなる。それにより、動き適応型インターレース・プログレッシブ変換における該境界でのラインフリッカの発生を抑制することができる。 With the above processing, when the interpolation pixel generation position is within the video area, the interpolation pixel is generated using only the pixels within the video area, and when the interpolation pixel generation position is within the black belt area. Therefore, an interpolation pixel is generated using only the pixels in the black belt region. Thereby, it is possible to suppress the occurrence of line flicker at the boundary in the motion adaptive interlace / progressive conversion.
また、本実施例の構成によれば、境界範囲内の複数の画素を用いて代表画素値が決定されるため、代表画素値として黒帯領域や映像領域を示す値を得ることができる（外枠領域
の画素値による影響の無い代表画素値を得ることができる）。それにより、画面の水平方向の一部の範囲において映像領域の上下に黒帯領域を有する映像に対しても、黒帯領域と映像領域との境界を精度良く検出することが可能となる。
Further, according to the configuration of the present embodiment, the representative pixel value is determined using a plurality of pixels within the boundary range, and thus a value indicating a black belt region or a video region can be obtained as the representative pixel value (outside A representative pixel value that is not affected by the pixel value in the frame area can be obtained). This makes it possible to accurately detect the boundary between the black belt region and the video region even for an image having black belt regions above and below the video region in a partial range in the horizontal direction of the screen.
１０５，６０５ 補間データ生成部
２０１，７０１ 代表画素値生成部
２０２，７０２ 境界検出部
105, 605 Interpolation
Claims (4)
前記入力映像信号のライン毎に、そのライン上の複数の画素を用いて、そのラインを代表する画素値である代表画素値を生成する代表画素値生成手段と、
前記入力映像信号が映像領域の上下にレターボックス領域を有する映像信号である場合に、前記ライン毎の代表画素値を用いて、該入力映像信号からレターボックス領域と映像領域との境界を検出する境界検出手段と、
動き適応型インターレース・プログレッシブ変換により補間画素を生成する補間画素生成手段と、
を有し、
前記補間画素生成手段は、前記境界検出手段で検出された境界を元に、補間画素の生成位置が映像領域内の位置なのかレターボックス領域内の位置なのかを判断し、補間画素の生成位置が前記映像領域内である場合には、映像領域内の画素のみを用いて補間画素を生成し、補間画素の生成位置がレターボックス領域内である場合には、レターボックス領域内の画素のみを用いて補間画素を生成する
ことを特徴とする映像処理装置。 A video processing device for converting an interlaced input video signal into a progressive output video signal by interpolation,
For each line of the input video signal, using a plurality of pixels on the line, representative pixel value generating means for generating a representative pixel value that is a pixel value representing the line;
When the input video signal is a video signal having letterbox areas above and below the video area, a boundary between the letterbox area and the video area is detected from the input video signal using the representative pixel value for each line. Boundary detection means;
Interpolation pixel generating means for generating an interpolation pixel by motion adaptive interlace / progressive conversion;
Have
The interpolation pixel generation means determines whether the interpolation pixel generation position is a position in the video area or a letterbox area based on the boundary detected by the boundary detection means, and generates the interpolation pixel generation position. Is within the video area, an interpolation pixel is generated using only the pixels in the video area. If the generation position of the interpolation pixel is in the letter box area, only the pixels in the letter box area are generated. An image processing apparatus characterized in that an interpolation pixel is generated.
代表画素値生成手段は、前記一部の範囲を示す情報を取得し、ライン毎に、前記一部の範囲内における複数の画素を用いて代表画素値を生成する
ことを特徴とする請求項１に記載の映像処理装置。 The input video signal is a video signal having letterbox areas above and below the video area in a partial range in the horizontal direction of the screen,
2. The representative pixel value generation unit acquires information indicating the partial range, and generates a representative pixel value by using a plurality of pixels in the partial range for each line. The video processing apparatus described in 1.
上側のラインから順に、そのラインの代表画素値を用いて、該ラインがレターボックス領域内のラインなのか映像領域内のラインなのかを判断することにより、上側のレターボックス領域と映像領域との境界を検出し、
下側のラインから順に、そのラインの代表画素値を用いて、該ラインがレターボックス領域内のラインなのか映像領域内のラインなのかを判断することにより、下側のレターボックス領域と映像領域との境界を検出する
ことを特徴とする請求項１または２に記載の映像処理装置。 The boundary detection means includes
In order from the upper line, the representative pixel value of the line is used to determine whether the line is a line in the letterbox area or a line in the video area. Detect boundaries,
In order from the lower line, by using the representative pixel value of the line, it is judged whether the line is a line in the letterbox area or a line in the video area, so that the lower letterbox area and the video area The video processing apparatus according to claim 1, wherein a boundary between the video processing apparatus and the video processing apparatus is detected.
前記入力映像信号のライン毎に、そのライン上の複数の画素を用いて、そのラインを代表する画素値である代表画素値を生成する代表画素値生成ステップと、
前記入力映像信号が映像領域の上下にレターボックス領域を有する映像信号である場合に、前記ライン毎の代表画素値を用いて、該入力映像信号からレターボックス領域と映像領域との境界を検出する境界検出ステップと、
動き適応型インターレース・プログレッシブ変換により補間画素を生成する補間画素生成ステップと、
を有し、
前記補間画素生成ステップは、前記境界検出ステップで検出された境界を元に、補間画素の生成位置が映像領域内の位置なのかレターボックス領域内の位置なのかを判断し、補間画素の生成位置が前記映像領域内である場合には、映像領域内の画素のみを用いて補間画素を生成し、補間画素の生成位置がレターボックス領域内である場合には、レターボックス領域内の画素のみを用いて補間画素を生成するステップである
ことを特徴とする映像処理装置の制御方法。 A control method of a video processing apparatus for converting an interlaced input video signal into a progressive output video signal by interpolation,
For each line of the input video signal, using a plurality of pixels on the line, a representative pixel value generating step for generating a representative pixel value that is a pixel value representing the line;
When the input video signal is a video signal having letterbox areas above and below the video area, a boundary between the letterbox area and the video area is detected from the input video signal using the representative pixel value for each line. A boundary detection step;
An interpolation pixel generation step for generating an interpolation pixel by motion adaptive interlace / progressive conversion;
Have
The interpolation pixel generation step determines whether the interpolation pixel generation position is a position in the video area or a letterbox area based on the boundary detected in the boundary detection step, and generates the interpolation pixel generation position. Is within the video area, an interpolation pixel is generated using only the pixels in the video area. If the generation position of the interpolation pixel is in the letter box area, only the pixels in the letter box area are generated. A method for controlling an image processing apparatus, comprising: a step of generating an interpolation pixel using the image processing apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009249049A JP2011097339A (en) | 2009-10-29 | 2009-10-29 | Video processing apparatus, and controlling method therein |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009249049A JP2011097339A (en) | 2009-10-29 | 2009-10-29 | Video processing apparatus, and controlling method therein |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011097339A true JP2011097339A (en) | 2011-05-12 |
Family
ID=44113791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009249049A Withdrawn JP2011097339A (en) | 2009-10-29 | 2009-10-29 | Video processing apparatus, and controlling method therein |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011097339A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013131814A (en) * | 2011-12-20 | 2013-07-04 | Fujitsu Semiconductor Ltd | Video detection device, video recording device, video recording and reproducing device, video detection method, video recording method and video recording and reproducing method |
-
2009
- 2009-10-29 JP JP2009249049A patent/JP2011097339A/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013131814A (en) * | 2011-12-20 | 2013-07-04 | Fujitsu Semiconductor Ltd | Video detection device, video recording device, video recording and reproducing device, video detection method, video recording method and video recording and reproducing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5039192B2 (en) | Spatio-temporal adaptive video deinterlacing | |
| JP2006324979A (en) | Image still area judgment device | |
| JP3893227B2 (en) | Scanning line interpolation apparatus and scanning line interpolation method | |
| JPH07288778A (en) | Method and device for detecting interpolation line | |
| JP5350501B2 (en) | Video processing apparatus and video processing method | |
| KR100422575B1 (en) | An Efficient Spatial and Temporal Interpolation system for De-interlacing and its method | |
| US9495728B2 (en) | Method for edge detection, method for motion detection, method for pixel interpolation utilizing up-sampling, and apparatuses thereof | |
| US8704945B1 (en) | Motion adaptive deinterlacer | |
| JP5241632B2 (en) | Image processing circuit and image processing method | |
| JP4746909B2 (en) | Auxiliary data processing of video sequences | |
| JP2011097339A (en) | Video processing apparatus, and controlling method therein | |
| JP2007067652A (en) | Image processing apparatus | |
| JP5300607B2 (en) | Video processing apparatus and control method thereof | |
| JP4551343B2 (en) | Video processing apparatus and video processing method | |
| JP2009177524A (en) | Scanning line interpolating device and scanning line interpolating method | |
| JP2003289511A (en) | Image scan converting method and apparatus | |
| JP2009265688A (en) | Movement detection device | |
| JP5018198B2 (en) | Interpolation signal generation circuit, interpolation signal generation method, program, and video signal processing apparatus | |
| JP4507841B2 (en) | Image signal processing apparatus and image signal processing method | |
| KR100252949B1 (en) | scan converter | |
| JP5080783B2 (en) | Scanning line interpolation apparatus and scanning line interpolation method | |
| JP2007019708A (en) | Image processing apparatus | |
| JP2006229615A (en) | Interpolated pixel generation circuit | |
| TWI394457B (en) | Text protection device and related motion adaptive de-interlacing device | |
| JP4356468B2 (en) | Video signal processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130108 |