JP2010041519A - Frame rate conversion apparatus, frame rate conversion method, television receiver, frame rate conversion program, and recording medium with the program recorded thereon - Google Patents
Frame rate conversion apparatus, frame rate conversion method, television receiver, frame rate conversion program, and recording medium with the program recorded thereon Download PDFInfo
- Publication number
- JP2010041519A JP2010041519A JP2008203539A JP2008203539A JP2010041519A JP 2010041519 A JP2010041519 A JP 2010041519A JP 2008203539 A JP2008203539 A JP 2008203539A JP 2008203539 A JP2008203539 A JP 2008203539A JP 2010041519 A JP2010041519 A JP 2010041519A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- interpolation
- frame rate
- motion vector
- rate conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Systems (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、テレビジョン受像機などの映像信号を変換処理する処理装置に関するものであり、特には、動画像のフレームレートを変換処理するフレームレート変換装置に関する。 The present invention relates to a processing apparatus for converting a video signal such as a television receiver, and more particularly to a frame rate conversion apparatus for converting a frame rate of a moving image.
映画などの毎秒24コマで撮影されたフィルムソースの映像を、テレビジョン放送、またはビデオテープもしくはDVDなどのパッケージメディアを介して、NTSC方式のテレビジョン受像機(以下、単にテレビまたはTVと称する)で表示するためには、毎秒60フィールドのビデオ映像信号へと変換する必要がある。この変換は、一般的に、3:2プルダウン方式によるテレシネ変換と称されている。 NTSC television receivers (hereinafter simply referred to as TVs or TVs) through filming of film sources such as movies taken at 24 frames per second through television broadcasts or package media such as videotapes or DVDs In order to display the video, it is necessary to convert it into a video image signal of 60 fields per second. This conversion is generally called telecine conversion by 3: 2 pull-down method.
このとき、フィルムにおける各コマの画像は、デジタル画像として取り込まれる。取り込まれたデジタル画像における各ラインを、仮に、上から順に1、2、3・・・と番号付けしたとすると、奇数ラインの画像は飛び越し走査(インターレース)方式であるビデオ映像信号の奇数フィールドに展開され、偶数ラインの画像はビデオ映像信号の偶数フィールドに展開される。 At this time, each frame image on the film is captured as a digital image. Assuming that each line in the captured digital image is numbered 1, 2, 3,... In order from the top, the image of the odd line is an odd field of the video image signal that is an interlaced scanning (interlace) method. The image of the even line is developed into the even field of the video image signal.
ここで、3:2プルダウン方式によるテレシネ変換の詳細について図8を参照して具体的に説明する。図8は、3:2プルダウン方式によるテレシネ変換を模式的に示す図である。図8では、1/24秒の時間間隔で撮影されたフィルムの各コマが、左から右に向かって並べられている。3:2プルダウン方式では、例えば、フィルムのコマのうち、左端のコマをビデオ映像信号における2つのフィールドに割り当て、次のコマ(左から2つめのコマ)をビデオ映像信号における3つのフィールドに割り当てる。その後も同様に、各コマを2つのフィールド、および3つのフィールドに割り当てることを繰り返すことにより、24コマ/秒のフィルムを約60フィールド/秒のビデオ映像信号に変換する。 Here, the details of the telecine conversion by the 3: 2 pull-down method will be specifically described with reference to FIG. FIG. 8 is a diagram schematically showing telecine conversion by the 3: 2 pull-down method. In FIG. 8, the frames of the film taken at a time interval of 1/24 seconds are arranged from left to right. In the 3: 2 pull-down method, for example, the leftmost frame among the film frames is allocated to two fields in the video image signal, and the next frame (second frame from the left) is allocated to three fields in the video image signal. . In the same manner, 24 frames / second film is converted into a video image signal of about 60 fields / second by repeatedly assigning each frame to two fields and three fields.
このような3:2プルダウン方式によるテレシネ変換を行うことにより、テレビは、フィルムソースの映像であっても、通常のNTSC方式によるインターレース映像と同様に取り扱うことができる。このとき、3:2プルダウン方式によるテレシネ変換されたビデオ映像であることを検出することによって、より高精細な順次走査表示が可能となる。このような検出および表示は、一般的には、フィルムモードまたはシネマモードと称されている。 By performing such a telecine conversion by the 3: 2 pull-down method, the television can handle a film source image in the same manner as an interlaced image by a normal NTSC method. At this time, by detecting that the video image has been telecine-converted by the 3: 2 pull-down method, higher-definition progressive scanning display is possible. Such detection and display are generally referred to as film mode or cinema mode.
3:2プルダウン方式によるテレシネ変換されたビデオ映像であることを検出し、より高精細な順次走査映像を表示する方法を図8を参照して以下に説明する。 A method for detecting a video image that has been telecine-converted by the 3: 2 pull-down method and displaying a higher-definition progressively-scanned video image will be described below with reference to FIG.
まず、テレシネ変換装置は、ビデオ映像信号の各フィールドの映像内容を比較することにより、ビデオ映像信号がフィルムモードであるか否かを検出する。この検出方法の一例について図8におけるフィールドCとフィールドEとを参照して具体的に説明する。図8におけるフィールドEの映像内容は、フィールドCの映像内容と常に同一の繰り返しフィールドである。これは、3:2プルダウン方式によるテレシネ変換されたビデオ映像信号に特有のものである。そのため、例えば、フィールドEとフィールドCとの画素値の差分絶対値の総和を計算することにより、ビデオ映像信号がフィルムモードであるか否かを検出する。 First, the telecine conversion device detects whether or not the video image signal is in a film mode by comparing the image contents of each field of the video image signal. An example of this detection method will be specifically described with reference to field C and field E in FIG. The video content in field E in FIG. 8 is always the same repeated field as the video content in field C. This is peculiar to a video image signal subjected to telecine conversion by the 3: 2 pull-down method. Therefore, for example, by calculating the sum of the absolute differences of the pixel values of the field E and the field C, it is detected whether or not the video image signal is in the film mode.
このようにして、テレシネ変換装置は、テレビに表示されるビデオ信号が3:2プルダウン方式によるテレシネ変換されたビデオ映像信号であることを検出した場合、元のフィルムのコマを構成していたビデオ映像信号の奇数フィールドと偶数フィールドを特定し、これを再構成し順次走査画像として表示する。 In this way, when the telecine conversion device detects that the video signal displayed on the television is a video image signal that has been telecine converted by the 3: 2 pull-down method, the video constituting the frame of the original film An odd field and an even field of the video signal are specified, reconstructed, and sequentially displayed as a scanned image.
図8を参照して具体的に説明すると、奇数フィールドAと偶数フィールドBとを用いることによって、順次走査画像Iが再構成される。同様に、奇数フィールドAと偶数フィールドBとを用いて、順次走査画像IIが再構成される。つまり、順次走査画像IとIIとは同一の画像となる。また、奇数フィールドC(=E)と偶数フィールドDとを用いることによって、順次走査画像III〜Vが再構成される。順次走査画像IとおよびIIと同様に、順次走査画像III〜Vは同一の画像となる。ここで着目すべき点は、元のフィルムのコマでは表示画面中の位置で車が左から右に常に動いているが、順次走査表示IとIIとの間では車は止まって表示され、また順次走査表示III〜Vの間でも車は止まって表示されることである。 More specifically, with reference to FIG. 8, by using the odd field A and the even field B, the sequentially scanned image I is reconstructed. Similarly, the sequentially scanned image II is reconstructed using the odd field A and the even field B. That is, the sequentially scanned images I and II are the same image. Further, by using the odd field C (= E) and the even field D, the sequentially scanned images III to V are reconstructed. Similar to the sequentially scanned images I and II, the sequentially scanned images III to V are the same image. The point to be noted here is that the car always moves from left to right at the position on the display screen in the original film frame, but the car is stopped and displayed between the sequential scanning displays I and II. The vehicle is stopped and displayed even during the sequential scanning displays III to V.
この点について、図9を参照して以下に詳述する。図9は、3:2プルダウン方式によるテレシネ変換されたビデオ映像信号の表示を模式的に示した図である。図9において、横軸は、表示画面中の位置を示しており、縦軸は、時間を示している。すなわち、図9では、ある物体が左から右に一定速度で水平移動を行なっている状態を示している。縦の時間間隔は、1フレーム=1/60秒間隔であり、液晶パネルなどのホールド型の映像表示装置では、この間の表示状態は変化しない。 This point will be described in detail below with reference to FIG. FIG. 9 is a diagram schematically showing the display of a video image signal subjected to telecine conversion by the 3: 2 pull-down method. In FIG. 9, the horizontal axis indicates the position in the display screen, and the vertical axis indicates time. That is, FIG. 9 shows a state in which an object is moving horizontally from left to right at a constant speed. The vertical time interval is 1 frame = 1/60 second interval. In a hold-type video display device such as a liquid crystal panel, the display state during this time does not change.
図9に示すように、1フレーム=1/60秒間隔で画像データが書込まれ更新されるが、図8において車が順次走査表示IとIIとの間、および順次走査表示III〜Vの間で車が止まっていることと同様に、上から1つ目のフレーム(フレームi)と2つ目のフレーム(フレームii)との間で物体は止まって表示され、3つ目のフレーム(フレームiii)〜5つ目のフレーム(フレームv)の間で物体は止まって表示される。 As shown in FIG. 9, the image data is written and updated at intervals of 1/60 seconds as shown in FIG. 9, but in FIG. 8, the car is switched between the sequential scanning displays I and II and between the sequential scanning displays III to V. Just as the car is stopped between, the object is stopped and displayed between the first frame (frame i) and the second frame (frame ii) from the top, and the third frame ( The object stops and is displayed between the frames iii) to 5 (frame v).
このように、本来のフィルムのコマでは等しい時間間隔だった動きが、フィルムモードによる順次走査表示では、2フレーム:3フレームのパターンが続く変則的な時間間隔の動きになってしまっているため、連続的でない不自然な動きとして認識されてしまう。また、通常のビデオ映像信号を表示した場合と比較して、元のフィルムの動きの間隔が24コマ/秒であるため、滑らかでなくカクカクした動き(いわゆる、ジャダー)が認識されるという課題が存在する。 In this way, the movement that was the same time interval in the original film frame, but in the sequential scanning display in the film mode has become an irregular time interval movement followed by a pattern of 2 frames: 3 frames, It is recognized as an unnatural motion that is not continuous. Also, compared to the case of displaying a normal video image signal, the original film movement interval is 24 frames / second, so that there is a problem that a smooth and jerky movement (so-called judder) is recognized. Exists.
このテレシネ変換されたビデオ映像信号を、通常のビデオ映像と同じように等間隔で滑らかな動きとして表示させる技術として、フレームレート変換技術が存在する。フレームレート変換による補間フレーム生成について、図10を参照しつつ具体的に説明する。図10は、フレームレート変換による補間フレーム生成の様子を模式的に示した図である。 A frame rate conversion technique exists as a technique for displaying the telecine-converted video image signal as a smooth motion at regular intervals in the same manner as a normal video image. Interpolation frame generation by frame rate conversion will be specifically described with reference to FIG. FIG. 10 is a diagram schematically illustrating how an interpolation frame is generated by frame rate conversion.
まず、参照フレームnと参照フレームn+1の間で小さく区切ったブロック毎にブロック内のテクスチャが最も一致する対応箇所を見つけていく。そして、参照フレームnと参照フレームn+1との間の対応箇所の動きベクトルvを算出する。次に、参照フレーム間において算出された動きベクトルvに所定の変換比率を乗ずることにより、動きベクトルvのベクトル長を小さくし、補間ベクトルv´を算出する。最後に、補間ベクトルv´に基いて、参照フレームの画像を実際に移動させる。このようにして移動された画像の集まりが補間フレームの画像となる。図10は、参照フレームn(1msec)と参照フレームn+1(2msec)との中間の時刻(1.5msec)の補間フレームを生成している場合を示した図であるが、もちろん、参照フレームnから参照フレームn+1までの間の任意の時刻の補間フレームを生成することができる。 First, for each block that is divided into a small section between the reference frame n and the reference frame n + 1, a corresponding portion where the texture in the block most closely matches is found. Then, the motion vector v of the corresponding portion between the reference frame n and the reference frame n + 1 is calculated. Next, the vector length of the motion vector v is reduced by multiplying the motion vector v calculated between the reference frames by a predetermined conversion ratio to calculate the interpolation vector v ′. Finally, the reference frame image is actually moved based on the interpolation vector v ′. A group of images moved in this way becomes an image of an interpolation frame. FIG. 10 is a diagram showing a case where an interpolated frame at an intermediate time (1.5 msec) between the reference frame n (1 msec) and the reference frame n + 1 (2 msec) is generated. An interpolation frame at an arbitrary time between the reference frame n + 1 can be generated.
図11は、本来24Hzであったフィルム映像を、5倍の120Hzにフレームレート変換した場合の映像信号の表示を模式的に示した図である。図11におけるフレームi−0およびフレームiii−0は、元のフィルム映像に存在した参照フレームである。すなわち、参照フレームnであるフレームi−0と、参照フレームn+1であるフレームiii−0との間には、4つの補間フレーム(フレームi−1〜フレームi−4)が内挿されている。各補間フレームは、参照フレームnと参照フレームn+1との間における動きベクトルのベクトル長に、内挿する補間フレームごとに定められている変換比率を乗じることにより得られたベクトル長のベクトル(いわゆる、補間ベクトル)を用いて生成される。図11に示すように4つの補間フレームを内挿する場合、変換比率はそれぞれ1/5倍、2/5倍、3/5倍、4/5倍となる。このように補間フレームを生成することによって、等間隔で滑らかな動きの表示が可能となる。なお、図11に示すフレームvi−0およびフレームviii−0についても同様である。
動きベクトルを検出するための処理演算量は膨大であるため、一般的には、動きベクトルの検出は、静止位置を中心とするある範囲内に探索範囲を限定して行われる。したがって、例えばカメラを高速でパンした場合など、実際の対応箇所が動きベクトル探索ブロック外となる場合には、動きベクトル探索ブロック内において最もテクスチャが類似している箇所が対応箇所として検出されることになり、間違った動きベクトルが検出されてしまう。 Since the amount of processing calculation for detecting a motion vector is enormous, in general, detection of a motion vector is performed by limiting a search range within a certain range centered on a stationary position. Therefore, when the actual corresponding location is outside the motion vector search block, such as when the camera is panned at high speed, the location with the most similar texture in the motion vector search block is detected as the corresponding location. Thus, an incorrect motion vector is detected.
間違った動きベクトルに基いて作成した補間フレームにより映像を補間し続けると、当然のことながら表示映像において画質の劣化が生じる。これは、フレーム全体またはフレーム中多くの領域を占める物体の動きであった場合には特に顕著である。 If the video is continuously interpolated with the interpolation frame created based on the wrong motion vector, the image quality of the display video is naturally deteriorated. This is particularly noticeable when the movement of an object occupies a large area in the entire frame or in the frame.
そのため、動きベクトルを検出する装置は、検出した動きベクトルの正当性を評価するエラー検出手段を備えていることが一般的である。エラー検出手段の一例としては、動きベクトルの検出時の信頼度情報をフレーム全体で累計した値を検出し、検出した累計値がある閾値より小さくなった場合、フレームレート変換を「OFF」にする。すなわち、フレームレート変換を中止する(図12参照)。このように、間違った動きベクトルが検出された場合にはエラー検出手段がフレームレート変換を中止するため、装置は補間エラーによる画質の劣化を回避することができる。しかし、動きベクトルが検出できなくなった瞬間にフレームレート変換が中止されると、生じるジャダー量が急激に増加するため、不自然な映像表示となる問題がある。 For this reason, an apparatus for detecting a motion vector generally includes an error detection unit that evaluates the correctness of the detected motion vector. As an example of the error detection means, a value obtained by accumulating reliability information at the time of detecting a motion vector over the entire frame is detected, and when the detected accumulated value becomes smaller than a certain threshold, frame rate conversion is set to “OFF”. . That is, the frame rate conversion is stopped (see FIG. 12). As described above, when an incorrect motion vector is detected, the error detection unit stops the frame rate conversion, so that the apparatus can avoid deterioration of image quality due to an interpolation error. However, if the frame rate conversion is stopped at the moment when the motion vector cannot be detected, the amount of judder generated increases rapidly, resulting in an unnatural video display.
一例を図13に示す。図13は、フレームレート変換を途中で中止した場合の映像表示を模式的に示す模式図である。図13において、映像の表示開始0秒から5/60秒までは、フレームiとフレームiiiとの間の動きベクトルを検出し、検出した動きベクトルのに基いて、4つの補間フレームの画像を生成している。すなわち、この間は、120Hzのフレームレートで映像を表示することができる。しかし、映像の表示開始5/60秒と6/60秒との間においてフレームレート変換を中止したため、映像の表示開始から5/60秒以降は、通常の24Hzのフレームレートでの映像表示となる。そのため、映像の表示開始5/60秒と6/60秒との間において、生じるジャダー量が急激に増するため、映像表示の画質が急激に劣化することになる。 An example is shown in FIG. FIG. 13 is a schematic diagram schematically showing video display when frame rate conversion is stopped halfway. In FIG. 13, from 0 seconds to 5/60 seconds from the start of video display, the motion vector between frames i and iii is detected, and images of four interpolation frames are generated based on the detected motion vectors. is doing. That is, during this period, video can be displayed at a frame rate of 120 Hz. However, since the frame rate conversion is stopped between 5/60 seconds and 6/60 seconds from the start of video display, video display is performed at a normal frame rate of 24 Hz after 5/60 seconds from the start of video display. . For this reason, the amount of judder generated rapidly increases between 5/60 seconds and 6/60 seconds from the start of video display, and the image quality of the video display deteriorates rapidly.
特許文献1には、既に求めた動きベクトルの統計量の解析に基づき動きベクトルの探索範囲を適切に決定することにより、演算量と回路規模を抑制しつつ高精度のベクトル検出を可能とする技術が開示されている。また、特許文献2には、静止位置を中心に探索範囲を設定するのでなく、現画像と参照画像との動きを表すグローバルベクトルを求め、グローバルベクトルを用いて参照画像中の探索範囲を設定することにより、動きの大きな動画像においても、動きベクトルの検出を可能とする技術が開示されている。
しかし、特許文献1および2に開示されている技術は、予測符号化装置を前提とした動きベクトル探索範囲を拡大する方法であるため、フレームレート変換装置において、表示映像の画質の劣化を抑制するために十分な探索範囲の拡大とはなり得ない。すなわち、特許文献1および2に記載の技術を用いたとしても(たとえ、フレーム全体を探索範囲として動きベクトルを検出したとしても)、動きベクトルを検出することができなくなる場合が生じ、その場合には、上述したように表示映像における画質の劣化が生じる。そのため、フレームレート変換装置では、特許文献1および2とは異なるアプローチから上記の課題を解決する必要がある。
However, since the techniques disclosed in
本発明は、上記の問題点に鑑みてなされたものであり、その主たる目的は、フレームレート変換処理が中止される際に生じるジャダー量の急激な増加を低減し、表示映像の画質が急激に劣化することを抑制するフレームレート変換装置を提供することである。 The present invention has been made in view of the above-mentioned problems, and its main purpose is to reduce the sudden increase in judder amount that occurs when the frame rate conversion process is stopped, and the image quality of the display video is drastically reduced. It is an object of the present invention to provide a frame rate conversion device that suppresses deterioration.
本発明に係るフレームレート変換装置では、上記課題を解決するために、
第1のフレーム上の各ブロックを始点とし、第2のフレーム上のいずれかのブロックを終点とする動きベクトルに基づいて補間フレームを生成し、生成した補間フレームを上記第1のフレームと上記第2のフレームとの間に内挿することにより、動画像のフレームレートを変換するフレームレート変換装置であって、
上記動きベクトルの散らばり度、および、上記動きベクトルの代表値を算出する統計解析手段と、
上記散らばり度が第1の閾値よも小さく、かつ、上記動きベクトルの代表値が第2の閾値よりも大きい場合、上記動きベクトルに一律に乗ずる変換比率を、当該変換比率を乗じた後のベクトルの大きさが全て上記第2の閾値以下となるように設定する変換比率設定手段と、
設定した当該変換比率を上記動きベクトルに乗ずることにより、上記第1のフレーム上の各ブロックを始点とする補間ベクトルを算出する補間ベクトル算出手段と、
算出した上記補間ベクトルに基づいて、上記補間フレームを生成する補間フレーム生成手段と、
を備えていることを特徴としている。
In the frame rate conversion device according to the present invention, in order to solve the above problems,
An interpolation frame is generated based on a motion vector starting from each block on the first frame and ending at any block on the second frame, and the generated interpolation frame is the first frame and the first frame. A frame rate conversion device for converting a frame rate of a moving image by interpolating between two frames,
Statistical analysis means for calculating the degree of dispersion of the motion vector and a representative value of the motion vector;
A vector obtained by multiplying the conversion ratio by which the motion vector is uniformly multiplied when the degree of dispersion is smaller than the first threshold and the representative value of the motion vector is larger than the second threshold. Conversion ratio setting means for setting so that all of the values are equal to or less than the second threshold value;
Interpolation vector calculation means for calculating an interpolation vector starting from each block on the first frame by multiplying the set conversion ratio by the motion vector;
Interpolation frame generation means for generating the interpolation frame based on the calculated interpolation vector;
It is characterized by having.
本発明に係るフレームレート変換装置は、動きベクトルの散らばり度が第1の閾値よも小さく、かつ、動きベクトルの代表値が第2の閾値よりも大きい場合、動きベクトルに一律に乗ずる変換比率を、当該変換比率を乗じた後のベクトルの大きさが全て第2の閾値以下となるように設定する。 In the frame rate conversion device according to the present invention, when the degree of dispersion of motion vectors is smaller than the first threshold value and the representative value of the motion vector is larger than the second threshold value, the conversion ratio for uniformly multiplying the motion vector is calculated. , The size of the vector after multiplying by the conversion ratio is set to be equal to or less than the second threshold value.
このように、本発明に係るフレームレート変換装置では、参照フレーム間の動きベクトルを検出することさえできれば、検出した動きベクトルのベクトル長に基づいて、補間フレームの生成に用いる補間ベクトルを算出するための変換比率を設定することができる。すなわち、本発明に係るフレームレート変換装置は、参照フレーム間の動きベクトルを検出することができれば、設定した変換比率から算出した補間ベクトルに基づいて補間フレームを生成することができる。したがって、従来の装置ではフレームレート変換処理が中止されることにより生じるジャダー量が急激に増加するような場合であっても、本発明に係るフレームレート変換装置では、生じるジャダー量の増加を低減することができる。 As described above, in the frame rate conversion apparatus according to the present invention, if a motion vector between reference frames can be detected, an interpolation vector used to generate an interpolation frame is calculated based on the detected vector length of the motion vector. The conversion ratio can be set. In other words, if the frame rate conversion apparatus according to the present invention can detect a motion vector between reference frames, it can generate an interpolation frame based on the interpolation vector calculated from the set conversion ratio. Therefore, even if the judder amount generated by the frame rate conversion process is suddenly increased in the conventional device, the frame rate conversion device according to the present invention reduces the increase in the judder amount. be able to.
これによって、本発明に係るフレームレート変換装置では、生じるジャダー量の急激な増加による表示映像の画質の急激な劣化を抑制することができる効果を奏する。 As a result, the frame rate conversion apparatus according to the present invention has an effect that it is possible to suppress a rapid deterioration of the image quality of the displayed video due to a sudden increase in the amount of judder generated.
また、本発明に係るフレームレート変換装置において、動きベクトルの探索範囲を補間画像の生成範囲よりも大きくしている場合には、従来の装置では補間フレームを内挿できないような場合であっても、補間フレームを生成することができる。これによって、従来よりも表示映像の画質の劣化を抑制することができる効果を併せて奏する。 Further, in the frame rate conversion device according to the present invention, when the motion vector search range is larger than the interpolation image generation range, even if the conventional device cannot interpolate the interpolation frame, Interpolated frames can be generated. As a result, the effect of suppressing the deterioration of the image quality of the displayed image can be achieved.
なお、上記動きベクトルの代表値としては、上記動きベクトルの平均値や、上記動きベクトルの最頻値などを用いることができる。 In addition, as the representative value of the motion vector, an average value of the motion vector, a mode value of the motion vector, or the like can be used.
本発明に係るフレームレート変換装置では、さらに、上記変換比率設定手段は、上記動きベクトルの代表値の大きさに応じて、上記変換比率の値を設定することが好ましい。 In the frame rate conversion apparatus according to the present invention, it is preferable that the conversion ratio setting means sets the value of the conversion ratio according to the magnitude of the representative value of the motion vector.
上記の構成によれば、動きベクトルの代表値の大きさに応じて、変換比率を設定することができるため、生じるジャダー量の大きさを徐々に大きくすることができる。すなわち、表示映像の画質は徐々に劣化させることができる。 According to said structure, since the conversion ratio can be set according to the magnitude | size of the representative value of a motion vector, the magnitude | size of the produced judder amount can be enlarged gradually. That is, the image quality of the displayed video can be gradually deteriorated.
これによって、本発明に係るフレームレート変換装置では、生じるジャダー量の急激な増加による表示映像の画質の急激な劣化をより一層抑制することができる効果を奏する。 As a result, the frame rate conversion device according to the present invention has an effect of further suppressing the rapid deterioration of the image quality of the displayed video due to the sudden increase in the amount of judder generated.
本発明に係るフレームレート変換装置では、さらに、上記変換比率設定手段は、上記第2の閾値と上記変換比率が0となるベクトル長を示す臨界値との差分値に対する、上記動きベクトルの大きさの代表値と上記臨界値との差分値の比率に基づいて、上記変換比率を設定することが好ましい。 In the frame rate conversion device according to the present invention, the conversion ratio setting means further includes a magnitude of the motion vector with respect to a difference value between the second threshold value and a critical value indicating a vector length at which the conversion ratio is zero. It is preferable to set the conversion ratio based on the ratio of the difference value between the representative value and the critical value.
上記の構成によれば、ベクトル長に応じて設定される変換比率を線形的に減少するように設定することができる。すなわち、表示映像の画質を徐々に劣化させることができるため、本発明に係るフレームレート変換装置は、生じるジャダー量の急激な増加による表示映像の画質の急激な劣化をさらに一層抑制することができる効果を奏する。 According to said structure, the conversion ratio set according to vector length can be set so that it may reduce linearly. That is, since the image quality of the display image can be gradually deteriorated, the frame rate conversion device according to the present invention can further suppress the rapid deterioration of the image quality of the display image due to the sudden increase in the amount of judder generated. There is an effect.
本発明に係るフレームレート変換装置では、さらに、上記臨界値が、検出することができるベクトル長の限界値と同値であることが好ましい。 In the frame rate conversion apparatus according to the present invention, it is preferable that the critical value is equal to a limit value of the vector length that can be detected.
上記の構成によれば、検出することができるベクトル長の限界値において、変換比率を「0」として設定することができる。 According to the above configuration, the conversion ratio can be set to “0” in the limit value of the vector length that can be detected.
そのため、本発明に係るフレームレート変換装置では、動きベクトルの検出が不可能となり、フレームレート変換処理が中止された場合であっても、生じるジャダー量は増加しない。したがって、生じるジャダー量の急激な増加による表示映像の画質の急激な劣化を防止することができる効果を奏する。 Therefore, in the frame rate conversion apparatus according to the present invention, it becomes impossible to detect a motion vector, and even if the frame rate conversion process is stopped, the generated judder amount does not increase. Therefore, it is possible to prevent the image quality of the display image from being rapidly deteriorated due to a sudden increase in the amount of judder generated.
本発明に係るフレームレート変換方法では、上記課題を解決するために、
第1のフレーム上の各ブロックを始点とし、第2のフレーム上のいずれかのブロックを終点とする動きベクトルに基づいて補間フレームを生成し、生成した補間フレームを上記第1のフレームと上記第2のフレームとの間に内挿することにより、動画像のフレームレートを変換するフレームレート変換方法であって、
上記動きベクトルの散らばり度、および、上記動きベクトルの代表値を算出する統計解析ステップと、
上記散らばり度が第1の閾値よも小さく、かつ、上記動きベクトルの代表値が第2の閾値よりも大きい場合、上記動きベクトルに一律に乗ずる変換比率を、当該変換比率を乗じた後のベクトルの大きさが全て上記第2の閾値以下となるように設定する変換比率設定ステップと、
設定した当該第2の変換比率を上記動きベクトルに乗ずることにより、上記第1のフレーム上の各ブロックを始点とする補間ベクトルを算出する補間ベクトル算出手段と、
算出した上記補間ベクトルに基づいて、上記補間フレームを生成する補間フレーム生成ステップと、
を含むことを特徴としている。
In the frame rate conversion method according to the present invention, in order to solve the above problem,
An interpolation frame is generated based on a motion vector starting from each block on the first frame and ending at any block on the second frame, and the generated interpolation frame is the first frame and the first frame. A frame rate conversion method for converting a frame rate of a moving image by interpolating between two frames,
A statistical analysis step of calculating a degree of dispersion of the motion vector and a representative value of the motion vector;
A vector obtained by multiplying the conversion ratio by which the motion vector is uniformly multiplied when the degree of dispersion is smaller than the first threshold and the representative value of the motion vector is larger than the second threshold. A conversion ratio setting step for setting all the values to be equal to or less than the second threshold value;
Interpolation vector calculation means for calculating an interpolation vector starting from each block on the first frame by multiplying the motion vector by the set second conversion ratio;
An interpolation frame generation step for generating the interpolation frame based on the calculated interpolation vector;
It is characterized by including.
上記の構成によれば、本発明に係るフレームレート変換装置と同様の作用効果を奏する。 According to said structure, there exists an effect similar to the frame rate conversion apparatus based on this invention.
また、本発明に係るフレームレート変換装置を備えたテレビジョン受像機も本発明の範疇に含まれる。 A television receiver provided with the frame rate conversion device according to the present invention is also included in the scope of the present invention.
さらに、本発明に係るフレームレート変換装置を動作させるためのプログラムであって、コンピュータを上記の各手段として駆動させることを特徴とするプログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に含まれる。 Furthermore, a program for operating the frame rate conversion apparatus according to the present invention, which is characterized in that the computer is driven as each of the above-mentioned means and a computer-readable recording medium on which the program is recorded. Included in the category.
本発明に係るフレームレート変換装置は、以上のように、動きベクトルの散らばり度が第1の閾値よも小さく、かつ、動きベクトルの代表値が第2の閾値よりも大きい場合、動きベクトルに一律に乗ずる変換比率を、当該変換比率を乗じた後のベクトルの大きさが全て第2の閾値以下となるように設定する。 As described above, the frame rate conversion apparatus according to the present invention is uniform to a motion vector when the degree of dispersion of the motion vector is smaller than the first threshold value and the representative value of the motion vector is larger than the second threshold value. Is set so that the magnitudes of the vectors after multiplying by the conversion ratio are all equal to or less than the second threshold value.
したがって、従来の装置ではフレームレート変換処理が中止されることにより生じるジャダー量が急激に増加するような場合であっても、本発明に係るフレームレート変換装置であれば、フレームレート変換処理が中止される際に生じるジャダー量の増加を低減することができる。これによって、本発明に係るフレームレート変換装置では、生じるジャダー量の急激な増加による表示映像の画質の急激な劣化を抑制することができる効果を奏する。 Therefore, even if the amount of judder caused by the frame rate conversion process is suddenly increased in the conventional apparatus, the frame rate conversion process is canceled by the frame rate conversion apparatus according to the present invention. The increase in the amount of judder that occurs when the process is performed can be reduced. As a result, the frame rate conversion apparatus according to the present invention has an effect that it is possible to suppress a rapid deterioration of the image quality of the displayed video due to a sudden increase in the amount of judder generated.
また、本発明に係るフレームレート変換装置において動きベクトルの探索範囲を補間画像の生成範囲よりも大きくしている場合には、従来の装置では補間フレームを内挿できないような場合であっても、補間フレームを生成することができるため、従来よりも表映像の画質の劣化を抑制することができる効果を併せて奏する。 Further, in the frame rate conversion device according to the present invention, when the motion vector search range is larger than the interpolation image generation range, even if the interpolation frame cannot be interpolated by the conventional device, Since the interpolation frame can be generated, the effect of suppressing the deterioration of the image quality of the front video image can be achieved as compared with the conventional case.
本発明に係るフレームレート変換装置の一実施形態について、図1〜6を参照して以下に説明する。 An embodiment of a frame rate conversion apparatus according to the present invention will be described below with reference to FIGS.
(フレームレート変換装置1の構成)
本発明に係るフレームレート変換装置の構成について、図1を参照して以下に説明する。図1は、フレームレート変換装置1の構成を示すブロック図である。
(Configuration of Frame Rate Conversion Device 1)
The configuration of the frame rate conversion apparatus according to the present invention will be described below with reference to FIG. FIG. 1 is a block diagram showing the configuration of the frame
フレームレート変換装置1は、入力された映像信号のフレームレートを変換して出力するものである。例えば、入力された24Hzのフィルムソースの映像を、5倍の120Hzにして出力する。この場合、フレームレート変換装置1は、参照フレームnと参照フレームn+1との間において4つの補間フレームを内挿する。なお、本実施形態では、動画像を構成する複数のフレームのうちの1つのフレームである参照フレームnと参照フレームnの次の動きがあるフレームである参照フレームn+1との間に4つの補間フレームを内挿する場合を例に挙げて説明する。
The frame
フレームレート変換装置1は、図1に示すように、画像情報抽出部10、動きベクトル探索部11、動きベクトル統計解析部12、フィルムモード検出部13、補間ベクトル算出部14、補間画像生成部15、フレームメモリ16〜18、およびラインメモリ19〜21を備えている。各部材について、以下に説明する。
As shown in FIG. 1, the frame
(画像情報抽出部10)
画像情報抽出部10は、入力された映像信号から、物体の動きを検出するために必要となる画像特徴情報を抽出する。画像特徴情報とは、画像の主たる情報である。より具体的には、色差信号に分けた輝度信号、周波数分解した係数情報、または画像中の物体の輪郭情報などである。これらの情報のうちいずれを画像特徴情報として抽出するのかは、フレームレート変換装置1における動きベクトルの検出方式に応じて適宜選択すればよい。
(Image information extraction unit 10)
The image
(動きベクトル探索部11)
動きベクトル探索部11は、参照フレームnを分割した動きベクトル探索ブロックのうちの任意の動きベクトル探索ブロックを構成する画素集合を、その動きベクトル探索ブロックに対応する参照フレームn+1の探索範囲内において検出し、対応付けを行う。すなわち、参照フレームnにおける動きベクトル探索ブロックのブロック(画素集合)が参照フレームn+1においてどれだけ移動しているかを示す値を検出する。言い換えれば、動きベクトル探索部11は、参照フレームnと参照フレームn+1との間における動きベクトルを検出する。
(Motion vector search unit 11)
The motion
なお、動きベクトル探索部11は、対象とする動きベクトルの探索ブロックを左から右へ連続的にずらすと共に、上から下へ連続的にずらすことにより、すなわち、参照フレームnにおける全ての動きベクトル探索ブロックにおいて同様に動きベクトルを検出することにより、参照フレームnと参照フレームn+1との間における1フレーム分の動きベクトルを検出する。
The motion
(動きベクトル統計解析部12)
動きベクトル統計解析部12は、動きベクトル探索部11において検出された、参照フレームnにおける動きベクトルを統計処理する。動きベクトル統計解析部12における動きベクトルの統計処理について、以下に具体的に説明する。
(Motion vector statistical analysis unit 12)
The motion vector
動きベクトル統計解析部12は、検出した動きベクトルの分散を算出すると共に、動きベクトルの代表値を算出する。
The motion vector
なお、本明細書等における「分散」とは、検出した各動きベクトルの偏差の2乗の平均値を指している。言い換えれば、本明細書等における「分散」とは、検出した動きベクトルの分布がどの程度ばらついているかを表す散らばり度である。また、代表値とは、動き量の平均値であってもよいし、また動き量のヒストグラム(同じ値の動きベクトルの度数)をとり、最も度数の大きい動きベクトルの値を代表値とするようにしてもよい。 Note that “dispersion” in this specification and the like refers to an average value of squares of deviations of detected motion vectors. In other words, “dispersion” in the present specification and the like is a degree of dispersion representing how much the distribution of detected motion vectors varies. The representative value may be an average value of motion amounts, or a motion amount histogram (frequency of motion vectors having the same value) is taken, and the value of the motion vector having the highest frequency is set as the representative value. It may be.
ここで、動きベクトルの分散が大きいとは、参照フレームn上の画像に示されている物体が様々な速度で動いていることを指している。すなわち、参照フレームn上の画像には、その画像の全体または大半を占める物体は存在しないことを意味している。一方、動きベクトルの分散が小さいとは、参照フレームn上の画像に示されている物体が略一様な速度で動いていることを指している。すなわち、参照フレームn上の画像に、その画像の全体または大半を占める物体が存在することを意味している。なお、動きベクトルが大きいということは、フレーム間において物体が高速で移動していることを意味している。なお、本明細書等において、動きベクトルの大きさを以下、「動き量」と称する。 Here, the large variance of the motion vector indicates that the object shown in the image on the reference frame n is moving at various speeds. That is, the image on the reference frame n means that no object occupies the whole or most of the image. On the other hand, that the variance of the motion vector is small means that the object shown in the image on the reference frame n is moving at a substantially uniform speed. That is, it means that an object occupying the whole or most of the image exists in the image on the reference frame n. Note that a large motion vector means that an object is moving at high speed between frames. In the present specification and the like, the magnitude of the motion vector is hereinafter referred to as “motion amount”.
本実施形態では分散を算出することにより動きベクトルの分布(散らばり度)を算出しているが、動きベクトルの散らばり度を算出できる値であれば分散に限定されるものではない。例えば、分散の平方根により算出される標準偏差などの他の値を用いてもよい。 In this embodiment, the distribution of the motion vectors (the degree of dispersion) is calculated by calculating the variance, but the present invention is not limited to the variance as long as the value can calculate the degree of dispersion of the motion vectors. For example, other values such as a standard deviation calculated by the square root of the variance may be used.
(フィルムモード検出部13)
フィルムモード検出部13は、連続する2つのフレームの同座標の画素値を1フレーム分取り込み、比較することによって、連続する2つのフレームが同一の画像であるか否かを判定する。フィルムモード検出部13は、その判定結果に基いて、補間フレームを作成する際の参照フレームとして用いるフレームを判定する。すなわち、参照フレームnと同一の画像ではないフレームと判定されたフレームを参照フレームn+1として用いる。
(Film mode detection unit 13)
The film
これと共に、フィルムモード検出部13は、補間ベクトル算出部14において検出した動きベクトルから補間フレームの作成に利用される補間ベクトルを算出する際に用いる動きベクトルの変換比率R1を補間ベクトル算出部14に出力する。
At the same time, the film
なお、フィルムモード検出部13において出力される変換比率R1は、内挿する補間フレームの数に応じて予め設定された値である。すなわち、参照フレームnと参照フレームn+1との間に4つの補間フレームを内挿する場合、それぞれの補間フレームを生成するための動きベクトルの変換比率は、それぞれ1/5、2/5、3/5、4/5となる。
The conversion ratio R1 output from the film
また、フィルムモード検出部13における判定は、フレームメモリ18において記録するフレームが変更される度に行われる。
The determination in the film
(補間ベクトル算出部14)
補間ベクトル算出部14は、動きベクトル探索部11において検出した動きベクトルから、補間フレームを生成するための補間ベクトルを算出する。補間ベクトル算出部14における補間ベクトルの算出について具体的に説明する。
(Interpolation vector calculation unit 14)
The interpolation
まず、補間ベクトル算出部14は、動きベクトル統計解析部12において算出した分散が閾値Th1よりも小さく、かつ、代表値が閾値Th2よりも大きい場合に、変換比率R1を変換比率R2に変換する。なお、変換比率R1から変換比率R2への変換の詳細については、下記に詳述するため、ここではその説明を省略する。
First, the interpolation
続いて、補間ベクトル算出部14は、動きベクトル探索部11において検出した動きベクトルに、変換比率R1または変換比率R2を乗じることにより、内挿する補間フレームごとに対応する補間ベクトルを算出する。
Subsequently, the interpolation
ここで、本明細書等における分散が閾値Th1よりも小さいとは、参照フレームn上の画像においてその画像の全体または大半を占める物体が存在することを意味している。「閾値Th1」の値は、特に限定されるものではなく、フレームレート変換装置1において予め設定されている任意の値である。「閾値Th1」は、フレームレート変換装置1において固定された値であってもよいし、ユーザーにより適宜設定される値であってもよい。
Here, the variance in this specification and the like being smaller than the threshold Th1 means that an object occupying the whole or most of the image in the image on the reference frame n exists. The value of “threshold Th1” is not particularly limited, and is an arbitrary value set in advance in the frame
また、「閾値Th2」もまた閾値Th1と同様にフレームレート変換装置1において予め設定されている任意の値であり、フレームレート変換装置1において固定の値であってもよいし、ユーザーにより適宜設定される値であってもよい。閾値Th2が大きいとは、補間画像を生成する際の補間画像生成範囲が大きいことを意味している。すなわち、閾値Th2が大きくなればなるほど、フレームレート変換装置1におけるラインメモリ21に、処理対象となるブロック位置を中心とした広い範囲の画像を記録または保持している必要がある。したがって、閾値Th2の値は、フレームレート変換装置1のラインメモリ21の回路規模に応じた値に設定することが好ましい。なお、閾値Th2の値は「0」であってもよい。
Also, the “threshold Th2” is also an arbitrary value set in advance in the frame
(補間フレーム生成部15)
補間フレーム生成部15は、補間ベクトル算出部14において算出した補間ベクトルに基いて、ラインメモリ21に保持されている参照フレームnの画像から補間画像を作成することにより、参照フレーム間に補間する補間フレームを生成する。なお、補間フレーム生成部15は、補間画像生成ブロックを左から右へ連続的にずらすと共に、上から下へ連続的にずらすことにより、すなわち、補間フレームにおける全ての補間画像生成ブロックにおいて同様に補間画像を生成することにより、参照フレームnから1フレーム分の補間画像を生成し、内挿する補間フレームを生成する。
(Interpolation frame generation unit 15)
The interpolation
また、動きベクトル探索範囲の大きさと補間画像生成範囲の大きさとは同一の大きさであってもよいし、異なる大きさであってもよい。しかし、動きベクトル探索範囲の大きさと補間画像生成範囲の大きさとが異なる大きさである場合、補間画像の生成には動きベクトルが必要であるため、高画質な動画像とするためには、動きベクトル探索範囲の大きさの方が大きいことが好ましい。 Further, the size of the motion vector search range and the size of the interpolated image generation range may be the same size or different sizes. However, if the size of the motion vector search range is different from the size of the interpolated image generation range, a motion vector is required to generate the interpolated image. It is preferable that the vector search range is larger.
(フレームメモリ16〜18)
フレームメモリ16は、動きベクトル探索を行うために、少なくとも2フレーム分の画像特徴情報を記録し、保持する。フレームメモリ18は、入力された映像信号をそのまま(または再現可能な形式で)記録し、保持する。すなわち、映像を構成する全てのフレームを記録する。また、フレームメモリ17は、検出した、1フレーム分の動きベクトルを記録し、保持する。
(Frame memory 16-18)
The
(ラインメモリ19〜21)
ラインメモリ19は、動きベクトル探索部11において動きベクトルを探索する際に必要となる、処理対象としている動きベクトル探索ブロックを中心とした、動きベクトル探索範囲内における画像の画像特徴情報を、フレームメモリ16から読み出し、保持する。ラインメモリ20は、1フレーム分の動きベクトルのうち、処理対象となる補間画像生成ブロックの画像を生成する際に必要となる動きベクトルを読み出し、保持する。また、ラインメモリ21は、補間画像を生成する際に必要となる、処理対象としている補間画像生成ブロックを中心とした、補間画像生成範囲内における画像を、フレームメモリ17から読み出し、保持する。
(Line memory 19-21)
The
なお、フレームレート変換装置1において動きベクトル探索範囲を従来のフレームレート変換装置よりも大きくした場合、ラインメモリ19は従来の装置に搭載されるラインメモリよりも回路規模を大きくする必要がある。しかし、画像情報抽出部10において抽出された画像特徴情報は、入力される映像信号の情報と比較して十分に小さく、また動きベクトル探索部11における探索方法によっては、ラインメモリ19の回路規模を極めて小さくすることも可能である。
When the motion vector search range is made larger in the frame
さらに、ラインメモリ21において扱われる情報は、画質の劣化が許されない情報であり、一般的に、FullHD(1920×1080)RGBまたはYPbPr各8〜12bitもの大量の情報である。そのため、ラインメモリ21は、他のラインメモリよりも回路規模を大きくしておく必要がある。
Further, information handled in the
(フレームレート変換装置1の動作)
次に、フレームレート変換装置1の動作について、図2を参照しつつ以下に説明する。図2は、フレームレート変換装置1の動作を示すフローチャートである。
(Operation of Frame Rate Conversion Device 1)
Next, the operation of the frame
映像信号が入力されると、画像情報抽出部10が、画像特徴情報を抽出し、フレームメモリ16に記録する(ステップS1)。画像情報抽出部10は、少なくとも2フレーム分(ここでは、一例として、参照フレームnと参照フレームn+1とする)の画像特徴情報を抽出し、フレームメモリ16に記録する(ステップS2)。
When the video signal is input, the image
続いて、フレームレート変換装置1は、抽出した画像特徴情報のうち、任意の動きベクトル探索ブロックにおける参照フレームnと参照フレームn+1の画像特徴情報をフレームメモリ16から読み出し、ラインメモリ19に記録する(ステップS3)。動きベクトル探索部11は、ラインメモリ19から画像特徴情報を読み出し、参照フレームnの動きベクトル探索ブロックを構成する画素集合と最もテクスチャの一致する画素集合を、参照フレームn+1の動きベクトル探索範囲内から検出する。すなわち、動きベクトル探索部11は、読み出された動きベクトル探索ブロックにおける動きベクトルを検出する(ステップS4)。同様にして、動きベクトル探索部11は、参照フレームnにおける動きベクトル探索ブロック全ての動きベクトルを検出する。すなわち、動きベクトル探索部11は、参照フレームnと参照フレームn+1との間の1フレーム分の動きベクトルを検出する。動きベクトル探索部11は、検出した1フレーム分の動きベクトルをフレームメモリ17に記録する(ステップS5)。
Subsequently, the frame
動きベクトル統計解析部12は、フレームメモリ17に記録されている動きベクトルに基づいて、各動きベクトル探索ブロック上の画像の単位フレームあたりの動きベクトルの代表値を算出する(ステップS6)。すなわち、参照フレームnと参照フレームn+1との間において、物体がどの程度の速度で移動しているかを算出する。続いて、動きベクトル統計解析部12は、検出した動きベクトルの分散を算出する(ステップS7)。
The motion vector
補間ベクトル算出部14は、ステップS7において算出した分散が閾値Th1未満であるか否かを判定する(ステップS8)。すなわち、補間ベクトル算出部14は、参照フレームn上の画像において、画像の全てまたは大半を占める物体があるか否かを判定する。分散が閾値Th1未満である場合(ステップS8においてYes)、補間ベクトル算出部14は、動きベクトルの代表値が閾値Th2よりも大きいか否かを判定する(ステップS9)。すなわち、画像の全てまたは大半を占める物体の速度が閾値よりも大きいか否かを判定する。動きベクトルの代表値が閾値Th2よりも大きい場合(ステップS9においてYes)、補間ベクトル算出部14は、フィルムモード検出部13から入力された所定の変換比率R1から、補間ベクトルから算出される動き量が閾値Th2よりも小さくなるような変換比率R2を設定する(ステップS10)。
The interpolation
続いて、補間ベクトル算出部14は、ラインメモリ20から取得した動きベクトルに、ステップS10において設定した変換比率R2を乗じることにより補間ベクトルを算出する(ステップS11)。一方、代表値が閾値Th2以下の場合(ステップS9においてNo)、補間ベクトル算出部14は、ラインメモリ20から取得した動きベクトルに、フィルムモード検出部13より取得した変換比率R1を乗じることにより補間ベクトルを算出する(ステップS11)。すなわち、通常通りのフレームレート変換処理を実行する。
Subsequently, the interpolation
なお、分散が閾値Th1以上である場合には(ステップS8においてNo)、補間ベクトル算出部14は、代表値が閾値Th2よりも大きいか否かを判定する(ステップS13)。代表値が閾値Th2以下である場合(ステップS13においてNo)、ラインメモリ20から取得した動きベクトルに、フィルムモード検出部13より取得した変換比率R1を乗じることにより補間ベクトルを算出する(ステップS11)。また、代表値が閾値Th2より大きい場合(ステップS13においてNo)、フレームレート変換装置1は、補間フレームを生成することなく、処理を終了する。この場合にはフレームレート変換処理がOFFとなる。
If the variance is equal to or greater than the threshold Th1 (No in step S8), the interpolation
次に、補間フレーム生成部15は、算出した補間ベクトルに基づいて、フレームメモリ18に記録されている参照フレームnから読み出され、ラインメモリ21に記録されている画像(すなわち、処理対象としている補間画像生成ブロックを中心とした、補間画像生成範囲内の画像)から各補間画像生成ブロックの補間画像を生成する。そして、全ての補間画像生成ブロックの補間画像を生成することにより、補間フレームを生成する(ステップS12)。最後に、生成した補間フレームを参照フレームnと参照フレームn+1との間に内挿し、フレームレート変換処理された映像信号がフレームレート変換装置1から出力される。
Next, the interpolation
なお、フレームレート変換装置1は、内挿する補間フレームの数に基づいて補間フレームを生成する。すなわち、参照フレームnと参照フレームn+1との間に4つの補間フレームを内挿する場合には、ステップS12において4つの補間フレームを生成し、出力する。
Note that the frame
(動き量の増加に伴うジャダー量の増加)
フレームレート変換装置1と、従来のフレームレート変換装置と、フレームレート変換装置なしの場合とにおける動き量の増加に伴うジャダー量の増加について図3に示す。図3は、動き量の増加に対するジャダー量の増加を示す図である。図3では、フレームレート変換装置なしの場合における動き量に対するジャダー量の増加を破線により示し、従来のフレームレート変換装置における動き量に対するジャダー量の増加を一点鎖線により示し、フレームレート変換装置1における動き量に対するジャダー量の増加を実線により示す。また、互いの線が重なる箇所については、便宜上、各線をずらし、互いの線が重ならないように表示している。
(Increase in judder amount due to increase in movement)
FIG. 3 shows an increase in the judder amount accompanying an increase in the amount of motion in the frame
図3に示すように、フレームレート変換装置なしの場合では、動き量の増加量に応じて生じるジャダー量が増加する。すなわち、フレーム上に表示されている物体の動く速度が速くなるにしたがって、生じるジャダー量も増加する。また、従来のフレームレート変換装置は、閾値Th2までは補間フレームを内挿することができるため、ほとんどジャダーが生じない(図11参照)。しかし、閾値Th2を超えると、補間フレームの内挿処理が中止されるため、生じるジャダー量が急増する(図13参照)。したがって、動画像を視聴していたユーザーは、表示画像の画質が急激に劣化したと感じることになる。 As shown in FIG. 3, in the case of no frame rate conversion device, the amount of judder generated according to the amount of increase in motion increases. That is, as the moving speed of the object displayed on the frame increases, the amount of judder generated increases. Further, since the conventional frame rate conversion apparatus can interpolate interpolation frames up to the threshold Th2, almost no judder occurs (see FIG. 11). However, when the threshold value Th2 is exceeded, the interpolation frame interpolation process is stopped, and the amount of judder generated increases rapidly (see FIG. 13). Therefore, the user who is viewing the moving image feels that the image quality of the display image has deteriorated rapidly.
一方、フレームレート変換装置1は、従来のフレームレート変換装置とは異なり、閾値Th2を超えた場合であっても、補間フレームの内挿処理を中止しない。フレームレート変換装置1は、検出した動きベクトルに基づいて算出される動きベクトルの代表値が閾値Th2を超えた場合には、参照フレームnと内挿する補間フレームとの間の動き量が閾値Th2以下となるような変換比率R2を設定する。これによって、図3に示すように、代表値が閾値Th2を超えた場合であっても、生じるジャダー量が急激に増加することを抑制することができる。すなわち、表示画像の画質が急激に劣化することを抑制することができる。
On the other hand, unlike the conventional frame rate conversion apparatus, the frame
しかし、フレームレート変換装置1であっても、動きベクトルが算出できない場合には、変換比率R2を設定することができない。すなわち、限界値LMを超える場合には、補間フレームの内挿処理が中止される。したがって、フレームレート変換装置1は、限界値LMに達するまでに徐々にジャダー量が増加するように、補間フレームを内挿することが好ましい。
However, even in the frame
ここで、本明細書等における「限界値LM」の値とは、動きベクトルを検出することができる限界値を意味している。限界値LMは、閾値Th2と同様に、フレームレート変換装置1において固定の値であってもよいし、ユーザーにより適宜設定される値であってもよい。限界値LMが大きくなるということは、より大きな動きベクトルであっても検出できるということである。しかし、限界値LMの大きさが大きくなるにつれ、フレームレート変換装置1におけるラインメモリ19と動きベクトル探索部11とラインメモリ20の規模を大きくする必要がある。したがって、限界値LMの値は、閾値Th2の値と同様に、フレームレート変換装置1の回路規模に応じて設定することが好ましい。なお、限界値LMの値は、閾値Th2の値よりも大きい。
Here, the value of “limit value LM” in this specification and the like means a limit value at which a motion vector can be detected. The limit value LM may be a fixed value in the frame
また、本明細書等における「ジャダー」とは、補間フレームが所定の位置に内挿されないことにより生じる動画像における動きボケを意味している。すなわち、物体の滑らかではない、いわゆる、カクカクとした動きのことである。このようなジャダーの大きさは、フレーム間の間隔に対する動画像における物体の動きにより決まる。すなわち、フレーム間の間隔が広く、物体の動きが速いほどジャダー量は大きくなる。 In addition, “judder” in this specification and the like means motion blur in a moving image caused by an interpolation frame not being inserted at a predetermined position. That is, it is a so-called jerky movement of the object that is not smooth. The size of such judder is determined by the movement of the object in the moving image with respect to the interval between frames. That is, the larger the interval between frames and the faster the movement of the object, the larger the judder amount.
(フレームレート変換装置1の利点)
以上説明したように、フレームレート変換装置1では、参照フレームnと参照フレームn+1との間の動きベクトルを検出することさえできれば、検出した動きベクトルに基づいて、補間フレームの生成に用いる補間ベクトルを算出するための変換比率R2を設定することができる。すなわち、フレームレート変換装置1は、参照フレームnと参照フレームn+1との間の動きベクトルを検出することさえできれば、設定した変換比率R2から算出した補間ベクトルに基づいて補間フレームを生成することができる。
(Advantages of Frame Rate Conversion Device 1)
As described above, in the frame
したがって、従来の装置ではフレームレート変換処理が中止されることにより生じるジャダー量が急激に増加するような場合であっても、フレームレート変換装置1であれば、フレームレート変換処理が中止される際に生じるジャダー量の増加を低減することができる。これによって、フレームレート変換装置1では、生じるジャダー量の急激な増加による表示映像の画質の急激な劣化を抑制することができる。
Therefore, even if the amount of judder generated when the frame rate conversion process is stopped increases rapidly in the conventional apparatus, the frame
また、フレームレート変換装置1において動きベクトル探索範囲を補間画像生成範囲よりも大きくしている場合には、従来の装置では補間フレームを内挿できないような場合であっても、補間フレームを生成することもできる。
Further, when the motion vector search range is made larger than the interpolation image generation range in the frame
(フィルムモード検出部13における処理の詳細)
次に、フィルムモード検出部13における処理の詳細について説明する。なお、ここでは図8を参照して説明する。フィルムモード検出部13は、フレームメモリ18に記憶されている連続する2つのフレームにおける同座標の画素値の差分を1フレームに亘り累積する。累積した画素値の差分値を所定の閾値と比較することにより、フレーム全体として十分差分の小さい画像であるか否か、すなわち2つのフレームが同一の画像であるか否かを判定する。つまり、フィルムモード検出部13は、フレームIとフレームIIとは同一の画像であり、フレームIIとフレームIIIとは異なる画像であると判定する。なお、フレームIIIとフレームIVおよびフレームIVとフレームVとは同一の画像であると判定される。したがって、フィルムモード検出部13は、フレームIを参照フレームnとし、フレームIIIを参照フレームn+1として判定する。
(Details of processing in the film mode detection unit 13)
Next, details of processing in the film
これと共に、フィルムモード検出部13は、補間前の原フレームであるフレームI(参照フレームn)とフレームIII(参照フレームn+1)との間に補間フレームとしてフレームi−1〜i−4を補間すること、およびフレームi−1〜i−4それぞれを生成する際の変換比率R1を設定する。すなわち、図4に示すように、フレームi−1を生成する際には変換比率R1として1/5を、フレームi−2を生成する際には変換比率R1として2/5を、フレームi−3を生成する際には変換比率R1として3/5を、フレームi−4を生成する際には変換比率R1として4/5を用いることを設定する。
At the same time, the
補間フレーム生成部15においてフレームi−1を生成する際には、補間ベクトル算出部14においてフレームi−1を生成する場合、フィルムモード検出部13は、補間ベクトル算出部14に対して、フレームi−1における変換比率R1が1/5であることを示す情報を出力する。これによって、補間ベクトル算出部14は、変換比率R1または変換比率R1から算出される変換比率R2に基づいて、補間ベクトルを算出することができる。また、フレームi−1以外の補間フレームおよびフレームIIIとフレームIIIの次の参照フレームとの間の補間フレームiii−1〜iii−4についても同様である。なお、フレームi−0はフレームIと同一のフレームであり、フレームiii−0はフレームIIIと同一のフレームであるため、厳密には補間フレームではないが、図4では便宜上補間フレームとして表記している。
When the frame i−1 is generated by the interpolation
ここで、図4は、テレシネ変換におけるフレームと各補間フレームと各補間フレームにおけるベクトル長の変換比率R1とをそれぞれ関連付けて示した図である。図4に示したベクトル長の変換比率R1は、フレームi−0〜i−4ではフレームIとフレームIIIとの間の動きベクトルに対する変換比率であり、フレームiii−0〜iii−4ではフレームIIIとフレームIIIの次の参照フレームとの間の動きベクトルに対する変換比率である。 Here, FIG. 4 is a diagram showing the frame in telecine conversion, each interpolation frame, and the vector length conversion ratio R1 in each interpolation frame in association with each other. The vector length conversion ratio R1 shown in FIG. 4 is the conversion ratio for the motion vector between the frame I and the frame III in the frames i-0 to i-4, and the frame III in the frames iii-0 to iii-4. And the conversion ratio for the motion vector between the frame III and the next reference frame.
なお、図4ではフレームi−3およびi−4はフレームI(すなわち、参照フレームn)を基準として、変換比率R1をそれぞれ3/5、4/5に設定しているが、フレームIII(すなわち、参照フレームn+1)を基準として、変換比率R1をそれぞれ−2/5、−1/5に設定してもよい。 In FIG. 4, the frames i-3 and i-4 have the conversion ratio R1 set to 3/5 and 4/5, respectively, based on the frame I (that is, the reference frame n). The conversion ratio R1 may be set to -2/5 and -1/5 with reference frame (n + 1) as a reference.
(変換比率R2の詳細な説明)
次に、変換比率R2の算出方法の詳細について、図5を参照しつつ以下に説明する。図5は、フレームレート変換装置1と、従来のフレームレート変換装置とにおける動き量の増加に伴う変換比率の値の変化を示す図である。
(Detailed description of conversion ratio R2)
Next, details of a method for calculating the conversion ratio R2 will be described below with reference to FIG. FIG. 5 is a diagram illustrating a change in the value of the conversion ratio accompanying an increase in the amount of motion in the frame
図5では、従来のフレームレート変換装置における動き量に対する変換比率の値の変化を一点鎖線により示し、フレームレート変換装置1における動き量に対する変換比率の値の変化を実線により示している。また、互いの線が重なる箇所については、便宜上、各線をずらし、互いの線が重ならないように表示している。
In FIG. 5, a change in the value of the conversion ratio with respect to the motion amount in the conventional frame rate conversion apparatus is indicated by a one-dot chain line, and a change in the value of the conversion ratio with respect to the motion amount in the frame
また、図5において、動きベクトルの代表値が閾値Th2以下の場合の変換比率(すなわちy軸)は変換比率R1を示しており、動きベクトルの代表値が閾値Th2より大きく、限界値LM以下の場合の変換比率(すなわちy軸)は変換比率R2を示している。なお、図5では、限界値LMと変換比率が0となる動き量である臨界値(すなわち、y=0となるx軸上の値)とが同値である場合を示している。なお、臨界値は、フレームレート変換装置1において予め設定されている値である。臨界値の値は、限界値LMと同様に閾値Th2よりも大きい値であれば、その範囲は特に限定されるものではない。フレームレート変換装置1において固定された値であってもよく、またユーザーにより適宜設定された値であってもよい。
In FIG. 5, the conversion ratio (that is, the y-axis) when the representative value of the motion vector is equal to or less than the threshold Th2 indicates the conversion ratio R1, and the representative value of the motion vector is greater than the threshold Th2 and equal to or less than the limit value LM. The conversion ratio (that is, the y-axis) in this case indicates the conversion ratio R2. FIG. 5 shows a case where the limit value LM and the critical value that is the amount of motion at which the conversion ratio is 0 (that is, the value on the x-axis where y = 0) are the same value. The critical value is a value set in advance in the frame
図5に示すように、従来のフレームレート変換装置では、動きベクトルの代表値が閾値Th2を超えると共に、変換比率が0となる。すなわち、従来のフレームレート変換装置では、動きベクトルの代表値が閾値Th2を超えると共に補間フレームの内挿処理が中止される。したがって、動画像を視聴していたユーザーは、表示映像の画質が急激に劣化したと感じることになる。 As shown in FIG. 5, in the conventional frame rate conversion apparatus, the representative value of the motion vector exceeds a threshold value Th2, and the conversion ratio becomes zero. That is, in the conventional frame rate conversion apparatus, the interpolation value of the interpolation frame is stopped when the representative value of the motion vector exceeds the threshold value Th2. Therefore, the user who is viewing the moving image feels that the image quality of the displayed video has deteriorated rapidly.
一方、フレームレート変換装置1では、従来のフレームレート変換装置とは異なり、動きベクトルの代表値が閾値Th2を超えた場合であっても、動き量が限界値LMに達するまで変換比率は徐々に減少する。これによって、動きベクトルの代表値が閾値Th2を超えた場合であっても、生じるジャダー量が徐々に増加することになるため、表示映像の画質の急激な劣化を抑制することができる。
On the other hand, in the frame
なお、図5に示すように、限界値LMと臨界値とは同値であることが好ましい。すなわち、変換比率は、限界値LMにおいて0となることが好ましい。これによって、動き量が限界値LMを超えることにより、補間フレームの内挿処理が中止された場合であっても、ジャダー量の増加はほとんど生じない。したがって、表示映像の画質の急激な劣化をほぼ完全に防止することができる。 In addition, as shown in FIG. 5, it is preferable that the limit value LM and the critical value are the same value. That is, the conversion ratio is preferably 0 at the limit value LM. Thereby, even if the interpolation processing of the interpolation frame is stopped due to the motion amount exceeding the limit value LM, the judder amount hardly increases. Therefore, it is possible to almost completely prevent the rapid deterioration of the image quality of the displayed image.
もちろん、限界値LMと臨界値とが同値でなくてもよいが、動き量が限界値LMを超えることにより、補間フレームの内挿処理が中止された場合に、限界値LMと臨界値とが同値であるに比べてジャダー量の増加が大きい。すなわち、動画像を視聴するユーザーが表示映像の画質の劣化に違和感を感じるおそれが高くなる。 Of course, the limit value LM and the critical value may not be the same value, but when the interpolation process of the interpolation frame is stopped due to the movement amount exceeding the limit value LM, the limit value LM and the critical value are The increase in judder amount is larger than that of the same value. That is, there is a high possibility that the user who views the moving image will feel uncomfortable with the deterioration of the image quality of the displayed video.
(変換比率R2の算出方法の詳細)
変換比率R2を算出する式の一例としては、下記式(1)を挙げることができる。
y=−b/(x2−x1)×(x−x2)・・・(1)
なお、式(1)中、yは変換比率R2を示し、xは算出した動き量を示し、x1は閾値Th2を示し、x2は臨界値LMを示し、bは変換比率R1を示している。
(Details of calculation method of conversion ratio R2)
As an example of an expression for calculating the conversion ratio R2, the following expression (1) can be given.
y = −b / (x2−x1) × (x−x2) (1)
In equation (1), y represents the conversion ratio R2, x represents the calculated amount of motion, x1 represents the threshold Th2, x2 represents the critical value LM, and b represents the conversion ratio R1.
上記式(1)に示すように、変換比率R2は、閾値Th2と臨界値との差分値に対する動き量と臨界値との差分値の比率を変換比率R1に乗じることにより算出される。すなわち、変換比率R2の値は、動き量が大きくなるにしたがって、変換比率R1から線形的に小さくなる。 As shown in the above formula (1), the conversion ratio R2 is calculated by multiplying the conversion ratio R1 by the ratio of the difference value between the motion amount and the critical value with respect to the difference value between the threshold Th2 and the critical value. That is, the value of the conversion ratio R2 decreases linearly from the conversion ratio R1 as the amount of motion increases.
フレームレート変換装置1および従来のフレームレート変換装置における動き量の増加に伴う補間ベクトルのベクトル長の長さの変化を図6に示す。なお、フレームレート変換装置1は、上記式(1)を用いて変換比率R2を算出する場合を例に挙げている。また、図6では、限界値LMと臨界値とが同値である場合を示している。図6において、動きベクトルの代表値が閾値Th2以下の場合におけるベクトル長は、変換比率R1を用いて算出された補間ベクトルのベクトル長であり、動き量の増加に応じてそのベクトル長は大きくなる。
FIG. 6 shows a change in the length of the vector length of the interpolation vector accompanying an increase in the amount of motion in the frame
図6に示すように、従来のフレームレート変換装置では、動きベクトルの代表値が閾値Th2を超えると共に、補間ベクトルのベクトル長が0となる。すなわち、従来のフレームレート変換装置では、動きベクトルの代表値が閾値Th2を超えると同時に変換比率が0となり、補間フレームの内挿処理が中止される。したがって、動画像を視聴していたユーザーは、表示映像の画質が急激に劣化したと感じることになる。 As shown in FIG. 6, in the conventional frame rate conversion apparatus, the representative value of the motion vector exceeds the threshold value Th2, and the vector length of the interpolation vector becomes zero. That is, in the conventional frame rate conversion apparatus, the conversion ratio becomes 0 at the same time when the representative value of the motion vector exceeds the threshold Th2, and the interpolation processing of the interpolation frame is stopped. Therefore, the user who is viewing the moving image feels that the image quality of the displayed video has deteriorated rapidly.
一方、フレームレート変換装置1では、動きベクトルの代表値が閾値Th2を超えると同時に、補間ベクトルのベクトル長が0とはならない。フレームレート変換装置1では、動きベクトルの代表値が閾値Th2を超えた場合であっても、動き量が限界値LM以下であるならば、上記式(1)にしたがって算出した変換比率R2に基づいて補間ベクトルを算出する。すなわち、図6において、動きベクトルの代表値が閾値Th2より大きく、限界値LM以下のベクトル長は、変換比率R2を用いて算出された補間ベクトルのベクトル長である。
On the other hand, in the frame
したがって、図6に示すように、動きベクトルの代表値が閾値Th2より大きく、限界値LM以下である補間ベクトルのベクトル長は、閾値Th2と限界値LMとの差分値に対する動き量と限界値LMとの差分値の比率に応じて短くなり、限界値LMにおいて「0」となる。すなわち、補間ベクトルのベクトル長の値は、限界値LMにおいて「0」となるように2次曲線的に減少する。 Therefore, as shown in FIG. 6, the vector length of the interpolation vector whose representative value of the motion vector is larger than the threshold value Th2 and equal to or less than the limit value LM is the motion amount and the limit value LM with respect to the difference value between the threshold value Th2 and the limit value LM. And becomes “0” in the limit value LM. That is, the vector length value of the interpolation vector decreases in a quadratic curve so as to be “0” at the limit value LM.
補間ベクトル長は、変換比率R2を算出するの上記式(1)に動き量を乗じることにより算出することができる。より具体的には、補間ベクトル長は下記式(2)
y=−b/(x2−x1)×(x−x2)×x ・・・(2)
を用いて算出することができる。
The interpolation vector length can be calculated by multiplying the above equation (1) for calculating the conversion ratio R2 by the amount of motion. More specifically, the interpolation vector length is expressed by the following equation (2).
y = −b / (x2−x1) × (x−x2) × x (2)
Can be used to calculate.
なお、上記式(2)は、
y=−b/(x2−x1)×{(x−x2/2)2−(x2/2)2}
であり、x=x2/2のとき、頂点となる。また、補間ベクトル長は、閾値Th2ときの長さが最大なる必要があるため、x2/2<閾値Th2を満たす必要がある。すなわち、限界値LMは閾値Th2の2倍以下に設定する必要がある。
The above formula (2) is
y = -b / (x2-x1) * {(x-x2 / 2) 2- (x2 / 2) 2}
When x = x2 / 2, it becomes a vertex. Further, the interpolation vector length needs to satisfy x2 / 2 <threshold Th2, since it is necessary to maximize the length at the threshold Th2. That is, the limit value LM needs to be set to not more than twice the threshold Th2.
これによって、フレームレート変換装置1は、動きベクトルの代表値が閾値Th2を超えた場合であってもベクトル長を徐々に短くすることができる。すなわち、フレームレート変換装置1では、生じるジャダー量が徐々に大きくなるため、生じるジャダー量が急激に増加することによる表示映像の画質の急激な劣化を抑制することができる。また、限界値LMにおいてベクトル長が「0」となるようにベクトル長が減少する場合には、動き量が限界値LMを超え、フレームレート変換処理が中止された場合であっても、ジャダー量の増加は生じない。すなわち、フレームレート変換処理が中止された場合表示映像の画質の急激な劣化を防止することができる。ここで、本明細書等において「防止」とは、ほぼ完全に抑制できるという意味で用いている。
As a result, the frame
なお、本実施形態では、補間ベクトルへの変換比率R2を線形的に減少させるようにした場合を例に挙げて説明したが、もちろんこれに限定されるものではない。変換比率R2は、動き量の増加量に応じてベクトル長を短くすることができるように設定されていれば、上記式(1)に限定されるものではない。 In the present embodiment, the case where the conversion ratio R2 to the interpolation vector is linearly decreased has been described as an example, but the present invention is not limited to this. The conversion ratio R2 is not limited to the above equation (1) as long as the vector length can be shortened in accordance with the increase amount of the motion amount.
また、本実施形態では、臨界値が限界値LMと同値である場合を例に挙げて説明しているが、これに限定されるものではなく、臨界値は、閾値Th2よりも大きい値であれば、限界値LMよりも大きい値であってもよいし、小さい値であってもよい。臨界値が限定値LMと異なる値であったとしても従来のフレームレート変換装置に比べて表示映像の画質が急激に劣化することを抑制することができる。 In the present embodiment, the case where the critical value is equal to the limit value LM is described as an example. However, the present invention is not limited to this, and the critical value may be a value larger than the threshold Th2. For example, the value may be larger than the limit value LM or may be a smaller value. Even if the critical value is different from the limit value LM, it is possible to suppress the image quality of the display image from being rapidly deteriorated as compared with the conventional frame rate conversion device.
(補間フレームの内挿位置)
フレームレート変換装置1において、変換比率R2を用いて生成された補間フレームは、変換比率R1と変換比率R2との差分の時間分だけ、所定の内挿位置よりも参照フレームn側にずれて内挿される。
(Interpolation position of interpolation frame)
In the frame
変換比率R2を用いて生成した補間フレームの内挿位置について、図7を参照しつつ具体例を挙げて以下に説明する。図7はフレームレート変換装置1において、変換比率R2により算出された補間ベクトルを用いて生成した補間フレームを内挿した状態を示す図である。なお、図7では、本発明を容易に理解できるようにするために、補間フレームを1枚挿入した場合について図示している。また、図7は、参照フレームnが1msecであり、参照フレームn+1が2msecであり、変換比率R1が1/2であり、変換比率R2が3/10の場合を例示している。
The interpolation position of the interpolation frame generated using the conversion ratio R2 will be described below with a specific example with reference to FIG. FIG. 7 is a diagram showing a state in which the interpolation frame generated using the interpolation vector calculated by the conversion ratio R2 is interpolated in the frame
図7に示すように、変換比率R2が3/10に設定される場合、生成される補間フレームは、本来内挿される位置である1.5msecではなく、1.3msecの時刻に内挿される。すなわち、生成される補間フレームが内挿される位置が2/10msec(0.2msec)分だけ参照フレームn側にずれる。 As shown in FIG. 7, when the conversion ratio R2 is set to 3/10, the generated interpolated frame is interpolated at a time of 1.3 msec, not 1.5 msec, which is the originally interpolated position. That is, the position where the generated interpolation frame is interpolated is shifted to the reference frame n side by 2/10 msec (0.2 msec).
なお、実際には、変換比率R2が設定されたために内挿位置がずれるのではなく、フレームレート変換装置1は、ずれた内挿位置の補間フレームを生成するような第2の変換比率を設定する。変換比率R2の設定は、内挿位置の設定と言い換えることもできる。
Actually, the interpolation ratio is not shifted because the conversion ratio R2 is set, but the frame
(付記事項)
なお、フレームレート変換装置1は、テレビジョン受像機に備えられていることが好ましい。なお、フレームレート変換装置1を備えたテレビジョン受像機におけるフレームレート変換装置1以外の構成は従来と同様であればよい。
(Additional notes)
Note that the frame
(プログラムおよび記録媒体)
最後に、フレームレート変換装置1に含まれている各ブロックは、ハードウェアロジックによって構成すればよい。または、次のように、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
(Program and recording medium)
Finally, each block included in the frame
すなわちフレームレート変換装置1は、各機能を実現するプログラムの命令を実行するCPU、このプログラムを格納したROM(Read Only Memory)、上記プログラムを実行可能な形式に展開するRAM(Random Access Memory)、および、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)を備えている。この構成により、本発明の目的は、所定の記録媒体によっても、達成できる。
That is, the frame
この記録媒体は、上述した機能を実現するソフトウェアであるフレームレート変換装置1のプログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録していればよい。フレームレート変換装置1に、この記録媒体を供給する。これにより、コンピュータとしてのフレームレート変換装置1(またはCPUあるいはMPU)が、供給された記録媒体に記録されているプログラムコードを読み出し、実行すればよい。
This recording medium only needs to record the program code (execution format program, intermediate code program, source program) of the program of the frame
プログラムコードをフレームレート変換装置1に供給する記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などとすることができる。
The recording medium that supplies the program code to the frame
また、フレームレート変換装置1を通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介してフレームレート変換装置1に供給する。この通信ネットワークはフレームレート変換装置1にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえばインターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等であればよい。
The object of the present invention can be achieved even if the frame
この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえばIEEE1394、USB(Universal Serial Bus)、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。 The transmission medium constituting the communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type. For example, even in the case of wired lines such as IEEE 1394, USB (Universal Serial Bus), power line carrier, cable TV line, telephone line, ADSL (Asymmetric Digital Subscriber Line) line, infrared rays such as IrDA and remote control, Bluetooth (registered trademark), 802.11 It can also be used by radio such as radio, HDR, mobile phone network, satellite line, terrestrial digital network. The present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.
以上、本発明を実施形態に基づいて具体的に説明したが、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲において種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention has been specifically described above based on the embodiments. However, the present invention is not limited to the above-described embodiments, and various modifications are possible within the scope of the claims and are different. Embodiments obtained by appropriately combining technical means disclosed in the respective embodiments are also included in the technical scope of the present invention.
本発明に係るフレームレート変換装置は、例えばテレビジョン受像機などの映像表示装置において好適に用いることができる。 The frame rate conversion device according to the present invention can be suitably used in a video display device such as a television receiver.
1 フレームレート変換装置
10 画像情報抽出部
11 動きベクトル探索部
12 動きベクトル統計解析部(統計解析手段)
13 フィルムモード検出部
14 補間ベクトル算出部(補間ベクトル算出手段、変換比率設定手段)
15 補間フレーム生成部(補間フレーム生成手段)
16、17、18 フレームメモリ
19、20、21 ラインメモリ
DESCRIPTION OF
13 Film
15 Interpolation frame generation unit (interpolation frame generation means)
16, 17, 18
Claims (8)
上記動きベクトルの散らばり度、および、上記動きベクトルの代表値を算出する統計解析手段と、
上記散らばり度が第1の閾値よも小さく、かつ、上記動きベクトルの代表値が第2の閾値よりも大きい場合、上記動きベクトルに一律に乗ずる変換比率を、当該変換比率を乗じた後のベクトルの大きさが全て上記第2の閾値以下となるように設定する変換比率設定手段と、
設定した当該変換比率を上記動きベクトルに乗ずることにより、上記第1のフレーム上の各ブロックを始点とする補間ベクトルを算出する補間ベクトル算出手段と、
算出した上記補間ベクトルに基づいて、上記補間フレームを生成する補間フレーム生成手段と、
を備えていることを特徴とするフレームレート変換装置。 An interpolation frame is generated based on a motion vector starting from each block on the first frame and ending at any block on the second frame, and the generated interpolation frame is the first frame and the first frame. A frame rate conversion device for converting a frame rate of a moving image by interpolating between two frames,
Statistical analysis means for calculating the degree of dispersion of the motion vector and a representative value of the motion vector;
A vector obtained by multiplying the conversion ratio by which the motion vector is uniformly multiplied when the degree of dispersion is smaller than the first threshold and the representative value of the motion vector is larger than the second threshold. Conversion ratio setting means for setting so that all of the values are equal to or less than the second threshold value;
Interpolation vector calculation means for calculating an interpolation vector starting from each block on the first frame by multiplying the set conversion ratio by the motion vector;
Interpolation frame generation means for generating the interpolation frame based on the calculated interpolation vector;
A frame rate conversion apparatus comprising:
上記動きベクトルの散らばり度、および、上記動きベクトルの代表値を算出する統計解析ステップと、
上記散らばり度が第1の閾値よも小さく、かつ、上記動きベクトルの代表値が第2の閾値よりも大きい場合、上記動きベクトルに一律に乗ずる変換比率を、当該変換比率を乗じた後のベクトルの大きさが全て上記第2の閾値以下となるように設定する変換比率設定ステップと、
設定した当該変換比率を上記動きベクトルに乗ずることにより、上記第1のフレーム上の各ブロックを始点とする補間ベクトルを算出する補間ベクトル算出手段と、
算出した上記補間ベクトルに基づいて、上記補間フレームを生成する補間フレーム生成ステップと、
を含むことを特徴とするフレームレート変換方法。 An interpolation frame is generated based on a motion vector starting from each block on the first frame and ending at any block on the second frame, and the generated interpolation frame is the first frame and the first frame. A frame rate conversion method for converting a frame rate of a moving image by interpolating between two frames,
A statistical analysis step of calculating a degree of dispersion of the motion vector and a representative value of the motion vector;
A vector obtained by multiplying the conversion ratio by which the motion vector is uniformly multiplied when the degree of dispersion is smaller than the first threshold and the representative value of the motion vector is larger than the second threshold. A conversion ratio setting step for setting all the values to be equal to or less than the second threshold value;
Interpolation vector calculation means for calculating an interpolation vector starting from each block on the first frame by multiplying the set conversion ratio by the motion vector;
An interpolation frame generation step for generating the interpolation frame based on the calculated interpolation vector;
A frame rate conversion method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008203539A JP5015089B2 (en) | 2008-08-06 | 2008-08-06 | Frame rate conversion device, frame rate conversion method, television receiver, frame rate conversion program, and recording medium recording the program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008203539A JP5015089B2 (en) | 2008-08-06 | 2008-08-06 | Frame rate conversion device, frame rate conversion method, television receiver, frame rate conversion program, and recording medium recording the program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010041519A true JP2010041519A (en) | 2010-02-18 |
JP5015089B2 JP5015089B2 (en) | 2012-08-29 |
Family
ID=42013567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008203539A Expired - Fee Related JP5015089B2 (en) | 2008-08-06 | 2008-08-06 | Frame rate conversion device, frame rate conversion method, television receiver, frame rate conversion program, and recording medium recording the program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5015089B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012239093A (en) * | 2011-05-13 | 2012-12-06 | Kawasaki Microelectronics Inc | Image processing device |
JP2013013054A (en) * | 2011-05-31 | 2013-01-17 | Jvc Kenwood Corp | Video signal processing apparatus and method |
JP2016218425A (en) * | 2015-05-20 | 2016-12-22 | パナソニックIpマネジメント株式会社 | Image display device and image processing device |
CN111462021A (en) * | 2020-04-27 | 2020-07-28 | Oppo广东移动通信有限公司 | Image processing method, image processing device, electronic equipment and computer readable storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05252486A (en) * | 1992-03-03 | 1993-09-28 | Hitachi Ltd | Scanning converter for video signal |
WO2008102826A1 (en) * | 2007-02-20 | 2008-08-28 | Sony Corporation | Image display device, video signal processing device, and video signal processing method |
-
2008
- 2008-08-06 JP JP2008203539A patent/JP5015089B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05252486A (en) * | 1992-03-03 | 1993-09-28 | Hitachi Ltd | Scanning converter for video signal |
WO2008102826A1 (en) * | 2007-02-20 | 2008-08-28 | Sony Corporation | Image display device, video signal processing device, and video signal processing method |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012239093A (en) * | 2011-05-13 | 2012-12-06 | Kawasaki Microelectronics Inc | Image processing device |
JP2013013054A (en) * | 2011-05-31 | 2013-01-17 | Jvc Kenwood Corp | Video signal processing apparatus and method |
JP2016218425A (en) * | 2015-05-20 | 2016-12-22 | パナソニックIpマネジメント株式会社 | Image display device and image processing device |
CN111462021A (en) * | 2020-04-27 | 2020-07-28 | Oppo广东移动通信有限公司 | Image processing method, image processing device, electronic equipment and computer readable storage medium |
CN111462021B (en) * | 2020-04-27 | 2023-08-29 | Oppo广东移动通信有限公司 | Image processing method, apparatus, electronic device, and computer-readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP5015089B2 (en) | 2012-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8462989B2 (en) | Scaling an image based on a motion vector | |
US20100027664A1 (en) | Image Processing Apparatus and Image Processing Method | |
JP2004312680A (en) | Motion estimation apparatus and method for detecting scrolling text or graphic data | |
JP2004350281A (en) | Deinterlace method and deinterlace apparatus for video signal | |
US8615036B2 (en) | Generating interpolated frame of video signal with enhancement filter | |
JP4991360B2 (en) | Frame rate conversion device and video display device | |
JP5015089B2 (en) | Frame rate conversion device, frame rate conversion method, television receiver, frame rate conversion program, and recording medium recording the program | |
JP5490236B2 (en) | Image processing apparatus and method, image display apparatus and method | |
US8866967B2 (en) | Method and apparatus for motion adaptive deinterlacing | |
US20090324102A1 (en) | Image processing apparatus and method and program | |
US8224120B2 (en) | Image signal processing apparatus and image signal processing method | |
US10382782B2 (en) | Image frame interpolation apparatus, display apparatus and control method thereof | |
US8013935B2 (en) | Picture processing circuit and picture processing method | |
JP2009135847A (en) | Video processor and frame rate conversion method | |
US8817191B2 (en) | Image processing apparatus and image processing method | |
JP2010252117A (en) | Apparatus and method for conversion of frame rate, moving image display device, frame rate conversion program, and recording medium | |
KR20160001570A (en) | Image frame interpolation apparatus, Display apparatus and control method thereof | |
US11930207B2 (en) | Display device, signal processing device, and signal processing method | |
JP2011082899A (en) | Image processing apparatus and control method thereof | |
JP2010093856A (en) | Image processing apparatus and method | |
US7495706B2 (en) | Video signal setting device for performing output setting to a display device | |
JP2010213181A (en) | Telecine video signal detector, video processor, method of detecting telecine video signal, and computer program | |
JP2011135288A (en) | Video processing device and video processing method | |
JP2010199774A (en) | Telecine video signal detector, video processor, telecine video signal detection method, and computer program | |
JP2016021655A (en) | Image determining device, image determining method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120508 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120606 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |