JP2010028576A - Image processor and its control method - Google Patents
Image processor and its control method Download PDFInfo
- Publication number
- JP2010028576A JP2010028576A JP2008189048A JP2008189048A JP2010028576A JP 2010028576 A JP2010028576 A JP 2010028576A JP 2008189048 A JP2008189048 A JP 2008189048A JP 2008189048 A JP2008189048 A JP 2008189048A JP 2010028576 A JP2010028576 A JP 2010028576A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- low
- difference
- input
- frequency subframe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Liquid Crystal Display Device Control (AREA)
- Television Systems (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
Description
本発明は、動画像データを、その動画像のフレームレートよりも高いフレームレートの動画像データに変換する技術に関するものである。 The present invention relates to a technique for converting moving image data into moving image data having a frame rate higher than the frame rate of the moving image.
テレビジョン受像機に代表される動画像の表示装置には、CRTが長年用いられてきたが、近年では液晶デバイスを用いたパネルが主流となりつつある。図7を用いて液晶デバイスの特徴を説明する。図7の水平軸は時間を、垂直軸は画素の明るさを示している。ここでのフレームレートは、60Hzである。同図が示すように、液晶デバイスの場合は、1/60秒の間、発光を持続する。このため、液晶デバイスは「ホールド型」のデバイスと呼ばれている。 A CRT has been used for many years as a moving image display device typified by a television receiver, but in recent years, a panel using a liquid crystal device is becoming mainstream. The characteristics of the liquid crystal device will be described with reference to FIG. In FIG. 7, the horizontal axis indicates time, and the vertical axis indicates pixel brightness. The frame rate here is 60 Hz. As shown in the figure, in the case of the liquid crystal device, the light emission is continued for 1/60 seconds. For this reason, the liquid crystal device is called a “hold type” device.
ホールド型のデバイスは、動きに対し、ボケを生じやすいという欠点を有している。図8はその説明図である。図8の水平軸は画面上の位置を、垂直軸は時間を示している。この図は矩形の波形が画面の左から右に動く例であある。このような動きを眼で追う場合、眼が追従する動きに対して、1/60秒の間画素が同じ位置に留まった状態が、動きに対する相対的な遅れとなる。ホールド時間が長いと、この遅れの幅が広くなり、画面上では、動きのボケとして知覚されることとなる。図8の一番下の図は、追従視している時の見え方を示したものであり、エッジ部分で、ある幅をもったボケが検知されることを示している。 The hold-type device has a drawback that it tends to cause blurring with respect to movement. FIG. 8 is an explanatory diagram thereof. The horizontal axis in FIG. 8 indicates the position on the screen, and the vertical axis indicates time. This figure is an example in which a rectangular waveform moves from the left to the right of the screen. When such a movement is followed by the eye, a state in which the pixels remain at the same position for 1/60 second with respect to the movement of the eye follows is a relative delay with respect to the movement. If the hold time is long, the delay is widened and is perceived as motion blur on the screen. The bottom diagram in FIG. 8 shows how the image is viewed when following, and indicates that a blur having a certain width is detected at the edge portion.
動きボケ対策の一例として、駆動周波数を上げ、ホールド時間を短くする方法がある。図9は、2倍の120Hzで表示する例である。また、2倍のフレームレートにするために、入力画像を高周波成分を含む画像と低周波成分のみを含む画像を時間方向に分割して表示する手法も知られている。図10は、この方法により駆動分配した画像の動特性である。図8と比較してわかるように、図10の表示の場合、動きボケは大幅に低減されている。 As an example of measures against motion blur, there is a method of increasing the drive frequency and shortening the hold time. FIG. 9 is an example of displaying at 120 Hz, which is doubled. In order to obtain a double frame rate, there is also known a method of displaying an input image by dividing an image including a high frequency component and an image including only a low frequency component in the time direction. FIG. 10 shows the dynamic characteristics of an image driven and distributed by this method. As can be seen from comparison with FIG. 8, in the case of the display of FIG. 10, motion blur is greatly reduced.
また、CRTと同様な発光特性をもつデバイスとして、フィールドエミッションタイプの表示装置の開発も進んでいる。図11は、これらのデバイスの発光特性の説明図である。図7と同様、横軸が時間、縦軸が画素の明るさを示している。このタイプの表示装置は、60分の1秒のうちの一瞬だけ発光するので、「インパルス型」と呼ばれている。 In addition, a field emission type display device has been developed as a device having light emission characteristics similar to those of a CRT. FIG. 11 is an explanatory diagram of the light emission characteristics of these devices. As in FIG. 7, the horizontal axis represents time, and the vertical axis represents pixel brightness. This type of display device emits light for an instant of 1/60 second, so it is called an “impulse type”.
インパルス型のデバイスは、1/60秒の周期で、発光の有無を繰り返すので、この点滅をフリッカとして知覚しやすいという欠点を有している。フリッカは面積が大きくなるほど目立ちやすいという特性があるため、近年の表示装置の大画面化の流れの中では、特に問題となりやすい。 The impulse type device has a drawback that it is easy to perceive this flickering as flicker because it repeatedly emits light at a period of 1/60 seconds. Since flicker has a characteristic that it becomes more conspicuous as the area becomes larger, it tends to be a problem particularly in the recent trend toward larger screens of display devices.
図12は、インパルス型デバイスの動特性を示している。ホールド型の特性と違い、残像となるような動きボケが発生しないことが最大の特徴となっている。 FIG. 12 shows the dynamic characteristics of the impulse type device. Unlike the hold-type characteristics, the greatest feature is that no motion blur that causes an afterimage occurs.
フリッカ対策の一例としても、駆動周波数を上げることが考えられる。図13は、倍の120Hzで表示する例である。インパルス型の場合は、1回の明るさの半分のレベルを2回表示することで、同等の明るさを得ることができる。 As an example of flicker countermeasures, it is conceivable to increase the drive frequency. FIG. 13 is an example of displaying at double 120 Hz. In the case of the impulse type, the same brightness can be obtained by displaying twice the half of the brightness of one time.
図14は、高周波成分を含む画像と低周波成分のみを含む画像を時間方向に分割して表示する場合の動特性である。単純に2回ずつ同じフレームを表示すると、2重写りとなってしまうが、高周波側のみを1回表示させることにより、低周波成分に起因するボケのみで、視覚的な劣化は抑制される。 FIG. 14 shows dynamic characteristics when an image including a high frequency component and an image including only a low frequency component are divided and displayed in the time direction. If the same frame is simply displayed twice, it becomes a double image. However, by displaying only the high frequency side once, visual deterioration is suppressed only by blur caused by low frequency components.
このように、ホールド型の表示装置における動きボケ対策として、もしくはインパルス型の表示装置におけるフリッカ対策として、周波数成分によりフレーム画像を2つのサブフレームに分配する方法は、効果的である。 As described above, as a countermeasure against motion blur in a hold type display device or as a countermeasure against flicker in an impulse type display device, a method of distributing a frame image into two subframes by frequency components is effective.
ホールド型の2倍速駆動を実現する方法の一例としては、特許文献1がある。この文献における回路構成の一部を図15に示す。入力フレームに対し、ローパスフィルタ処理部1001では、低周波成分のみを含むサブフレームを生成する。生成された低周波成分のみのサブフレームは一旦フレームメモリ1007に格納される。差分検出部1006では、入力フレームとローパスフィルタ処理部1001で生成した低周波成分のみを含むサブフレームとの差分を検出し、高周波成分を抽出する。ここで生成された高周波成分と入力フレームを足すことにより、高周波成分を強調したサブフレームを得ることができる。切替回路1005では、低周波成分のみを含むサブフレームと、高周波成分を強調したサブフレームとを、120Hzの周期で切り替えて後段の処理に送る。高周波成分を除いたサブフレームと高周波成分を強調したサブフレームを交互に表示することで、60Hzの時間周期で見た場合は、元のフレーム画像が再現されていることになる。
しかしながら、上記のようにして、2つのサブフレームを合成した見かけのフレーム画像が、元のフレーム画像と同じにならない場合がある。以下、図16(a)乃至(f)を用いて説明する。図16(a)は、入力フレーム画像の波形例を示している。図16(b)は、この入力フレーム画像に、図15のローパスフィルタ処理部1001の処理結果を示す出力波形である。図16(c)は、図15の差分検出部1006が検出した出力波形である。高周波成分であるため、正負の値を取る。図16(d)は、元の入力波形(図16(a))に高周波成分(図16(c))を足した波形である。120Hzの周期で図16(b)の波形と図16(c)の波形とを交互に表示することで、理論上、その見かけ上の波形は、図16(a)と同じになる。しかしながら、図16(a)の低輝度レベル部分がゼロ、もしくはそれに近い値である場合、図16(d)の波形は、負の値を持つことになる。負の値の画像を表示することはできないので、実際には、図16(e)のように、負の値はゼロとして表示されることになる。すると、実際は、図16(b)と図16(e)とを交互表示することになるので、人間には図16(f)のような波形なって知覚される。これは、黒の背景に白の文字があるような場合に、文字の輪郭がにじんだ画像として知覚されることを意味する。すなわち、このように入力画像の波形によっては、分配処理後の画像が元の画像と同じに見えず、それが劣化として知覚されることが起こり得る。 However, as described above, the apparent frame image obtained by combining the two subframes may not be the same as the original frame image. Hereinafter, a description will be given with reference to FIGS. FIG. 16A shows a waveform example of the input frame image. FIG. 16B shows an output waveform indicating the processing result of the low-pass filter processing unit 1001 of FIG. 15 for this input frame image. FIG. 16C shows an output waveform detected by the difference detection unit 1006 in FIG. Since it is a high frequency component, it takes a positive or negative value. FIG. 16D is a waveform obtained by adding a high frequency component (FIG. 16C) to the original input waveform (FIG. 16A). By alternately displaying the waveform of FIG. 16B and the waveform of FIG. 16C at a period of 120 Hz, the apparent waveform is theoretically the same as that of FIG. However, when the low luminance level portion of FIG. 16A is zero or a value close thereto, the waveform of FIG. 16D has a negative value. Since an image having a negative value cannot be displayed, the negative value is actually displayed as zero as shown in FIG. Then, actually, since FIG. 16B and FIG. 16E are displayed alternately, a human perceives the waveform as shown in FIG. This means that when there are white characters on a black background, the outline of the characters is perceived as a blurred image. That is, depending on the waveform of the input image, the image after the distribution process may not look the same as the original image and may be perceived as degradation.
本発明はかかる課題に鑑みなされたものであり、動画像中の静止物のエッジの劣化を抑制する技術を提供しようとするものである。 The present invention has been made in view of such a problem, and an object of the present invention is to provide a technique for suppressing deterioration of an edge of a stationary object in a moving image.
かかる課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
単位時間当たりF個のフレームで構成される動画像データを、単位時間当たり2F個のフレームで構成される動画像データに変換する画像処理装置であって、
フレームを単位に動画像データを入力する入力手段と、
該入力手段が入力したフレームをローパスフィルタ処理するローパスフィルタ手段と、
前記入力手段で入力したフレームの各画素値から、前記ローパスフィルタ手段によるフィルタ処理後のフレームの各画素値を減じる処理を行ない、減じて得られた差分画素値が負の値を持つ場合には“0”とした“0”以上の差分画素値で構成される正差分フレームを生成すると共に、前記差分画素値が正の値を持つ場合には“0”とした“0”以下の差分画素値で構成される負差分フレームを生成する差分算出手段と、
前記ローパスフィルタ手段で得られたフィルタ処理後のフレームに、前記負差分フレームを加算することで、低周波サブフレームを生成する低周波サブフレーム生成手段と、
前記入力手段で入力したフレームに、前記正差分フレームを加算することで、高周波サブフレームを生成する高周波サブフレーム生成手段と
前記低周波サブフレーム、前記高周波サブフレームを出力する出力手段とを備える。
In order to solve this problem, for example, an image processing apparatus of the present invention comprises the following arrangement. That is,
An image processing apparatus that converts moving image data composed of F frames per unit time into moving image data composed of 2F frames per unit time,
Input means for inputting moving image data in units of frames;
Low-pass filter means for low-pass filtering the frame input by the input means;
When the difference pixel value obtained by performing the process of subtracting each pixel value of the frame after filtering by the low-pass filter means from each pixel value of the frame input by the input means has a negative value A positive difference frame composed of difference pixel values of “0” or more, which is “0”, is generated, and if the difference pixel value has a positive value, a difference pixel of “0” or less which is “0” Difference calculating means for generating a negative difference frame composed of values;
A low-frequency subframe generating means for generating a low-frequency subframe by adding the negative difference frame to the filtered frame obtained by the low-pass filter means;
A high-frequency sub-frame generating unit that generates a high-frequency sub-frame by adding the positive difference frame to the frame input by the input unit; and an output unit that outputs the low-frequency sub-frame and the high-frequency sub-frame.
本発明によれば、単位時間当たりF個のフレームで構成される動画像データを、単位時間当たり2F個のサブフレームで構成される動画像データに変換して得られた動画像中の静止物のエッジが劣化することを抑制することが可能になる。 According to the present invention, a stationary object in a moving image obtained by converting moving image data composed of F frames per unit time into moving image data composed of 2F subframes per unit time. It is possible to suppress the deterioration of the edge of the.
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。 Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
[第1の実施形態]
本第1の実施形態では、特にホールド型表示装置に好適な例を説明する。
[First Embodiment]
In the first embodiment, an example particularly suitable for a hold-type display device will be described.
図1は、本第1の実施形態の画像処理装置のブロック構成図である。本装置は、装置全体の制御を司る制御部150、LPF(ローパスフィルタ)処理部101、差分算出部102、低周波サブフレーム生成部103、高周波サブフレーム生成部104、及び、切替回路105で構成される。なお、図示の各処理部の間には、タイミングを合せるためのバッファメモリが存在するが、それらは省略していることに注意されたい。
FIG. 1 is a block diagram of the image processing apparatus according to the first embodiment. This apparatus includes a control unit 150 that controls the entire apparatus, an LPF (low-pass filter)
本装置は、入力端子からフレームレートF/秒の動画像を入力し、2倍のフレームレート2F/秒の動画画像に変換し、出力する例を説明する。F/秒は例えば60フレーム/秒である。従って、1フレームの画像を入力毎に、2つのサブフレームを生成し、出力する。2つのサブフレームのうち、一方は高周波成分を含むサブフレームであるので、以降、高周波サブフレームと表現する。もう一方は、低周波成分のみを含むサブフレームであるので、以降、低周波サブフレームと表現する。 This apparatus will describe an example in which a moving image having a frame rate of F / sec is input from an input terminal, converted into a moving image having a frame rate of 2F / sec, and output. F / second is, for example, 60 frames / second. Therefore, every time a frame image is input, two subframes are generated and output. Since one of the two subframes is a subframe including a high frequency component, it is hereinafter referred to as a high frequency subframe. Since the other is a subframe including only a low frequency component, it is hereinafter referred to as a low frequency subframe.
なお、動画像の入力源としては、ビデオカメラとするが、例えばDVDメディアの映像のデコード処理後の動画像データで良く、その種類は問わない。 Note that the moving image input source is a video camera, but it may be moving image data after, for example, DVD media video decoding processing, and the type thereof is not limited.
また、実施形態では説明を簡単なものとするため、動画像データはモノクロであるものとして説明する。但し、R、G、B等のカラー動画像の場合には、各色成分毎に以下に示す処理を行なえば良いので、必ずしもモノクロである必要はない。 Further, in the embodiment, in order to simplify the description, it is assumed that the moving image data is monochrome. However, in the case of a color moving image such as R, G, B, etc., it is only necessary to perform the following processing for each color component, so it is not always necessary to be monochrome.
先ず、低周波サブフレームの生成処理について説明する。 First, low frequency subframe generation processing will be described.
ローパスフィルタ処理部101では、高周波成分を除去するためのフィルタ処理を行う。このフィルタは、特に関数を規定するものではなく、例えばガウス関数でもよいし、移動平均あるいは重み付け移動平均フィルタのようなものでもよい。
The low pass
図2(a)は、入力波形の一例であり、図2(b)は、ローパスフィルタ処理部101で生成した低周波成分のみを含む低周波サブフレームの波形を示している。
FIG. 2A shows an example of an input waveform, and FIG. 2B shows a waveform of a low-frequency subframe that includes only a low-frequency component generated by the low-pass
差分算出部102は、入力したフレームから、ローパスフィルタ処理処理後のサブフレームを減じることで、その差分値を検出する。なお、2つのフレームどうしの加算や減算は、それら2つのフレーム中の同じ座標位置の画素値の加算、減算を言う。これは、以下に説明する差分フレームとフレーム間の演算でも同じである。
The
さて、差分算出部102が算出する差分値は、図2(c)のように、正の値と負の値の両方を取り得る。負の値の画像を表示することはできないため、図2(d)と図2(e)に示すように、正の値と負の値を分離し、負の値については、絶対値を用いて処理する。図2(d)の波形で示されるフレームは、要するに、差分値が負の値の場合にその値を“0”にした、“0”以上の正の差分値で構成される正差分フレームということができる。また、図2(e)の波形で示されるフレームは、差分値が正の値の場合にその値を“0”にした、“0”以下の差分値の絶対値で構成される負差分フレームということができる。
Now, the difference value calculated by the
上記をより明確に定義するであれば、次の通りである。 The above is defined more clearly as follows.
入力フレームから、フィルタ処理したフレームを減じた各画素の差分画素値を、その座標(x,y)を用いてD(x,y)と定義する。正差分フレームの座標(x,y)の値PD(x、y)は、次のようにして求める。
D(x,y)≦0の場合、PD(x,y)←0
D(x,y)>0の場合、PD(x,y)←D(x,y)
The difference pixel value of each pixel obtained by subtracting the filtered frame from the input frame is defined as D (x, y) using the coordinates (x, y). The value PD (x, y) of the coordinate (x, y) of the positive difference frame is obtained as follows.
PD (x, y) ← 0 when D (x, y) ≦ 0
PD (x, y) ← D (x, y) when D (x, y)> 0
同様に、負差分フレームの座標(x,y)の値をND(x,y)は、次のように定義できる。
D(x,y)≧0の場合、ND(x,y)←0
D(x,y)<0の場合、ND(x,y)←|D(x,y)|
(ここで、|V|はVの絶対値を示す)。
Similarly, the value ND (x, y) of the coordinate (x, y) of the negative difference frame can be defined as follows.
When D (x, y) ≧ 0, ND (x, y) ← 0
If D (x, y) <0, ND (x, y) ← | D (x, y) |
(Where | V | represents the absolute value of V).
差分算出部102は、上記のようにして算出した負差分フレーム(図2(d))を低周波サブフレーム生成部103に、正差分フレーム(図2(e))を高周波サブフレーム生成部104に出力する。
The
低周波サブフレーム生成部103は、ローパスフィルタ処理したフレームから、負差分フレームを減じる処理を行う。
The low-frequency
なお、差分算出部102が、負差分フレームを絶対値に変換しないまま出力するのであれば、低周波サブフレーム生成部103は、ローパスフィルタ処理したフレームに、負差分フレームを「加算」する処理を行なえば良い。或る値から負の値の絶対値を減じることと、或る値に負の値を加算することは等価であるからである。
If the
さて、上記の通り、低周波サブフレーム生成部103は、図2(b)に示す波形から、図2(d)の波形を減じる処理を行なうものであるから、その減じた結果は図2(f)の波形となる。この図2(f)の波形で示されるフレームが、本実施形態における低周波成分のみの含む低周波サブフレームとなる。
As described above, the low-frequency
次に、高周波サブフレームの生成について説明する。この高周波サブフレームは、高周波サブフレーム生成部104が生成する。
Next, generation of a high-frequency subframe will be described. The high-frequency subframe is generated by the high-frequency
差分算出部102は、上記の通り、図2(e)の正差分フレームを高周波サブフレーム生成部104に供給する。高周波サブフレーム生成部104は、入力フレーム(図2(a))に、差分算出部102からの正差分フレーム(図2(e))を加算し、出力する。この結果、高周波サブフレーム生成部104は、図2(g)に示すな波形を有するフレームを出力する。この高周波サブフレーム生成部104から出力されるのが高周波サブフレームである。
The
切替回路105では、所望のタイミング、例えば入力した動画像のフレームレートが60Hzの場合、120Hzの周期で、図2(f)と図2(g)、すなわち、低周波サブフレームと高周波サブフレームを交互に出力する。ここで、切替回路105にホールド型表示デバイスが接続されている場合、人間の視覚では図2(h)のように見えることとなり、60Hz表示における入力フレーム図2(a)と同一の波形として知覚することができる。
In the
なお、上記はモノクロの例であったが、カラー画像の場合にも適用できる。カラー表示装置の場合、R,G,BやY,Cb,Crといった3種類の色成分に分けて処理することが多い。従って、R,G,Bの場合には、それぞれの色成分の輝度値に対して上記処理を行なえば良い。また、Y,Cb,Crの場合、人間の視覚感度上、輝度成分Yに対してのみ行えば十分であろう。 The above is a monochrome example, but it can also be applied to a color image. In the case of a color display device, processing is often divided into three types of color components such as R, G, B, Y, Cb, and Cr. Therefore, in the case of R, G, and B, the above process may be performed on the luminance values of the respective color components. In the case of Y, Cb, and Cr, it is sufficient to perform only the luminance component Y for human visual sensitivity.
次に、上記の処理を図3のフローチャートと図2の処理波形の例を用いて、制御部150の処理内容を説明する。 Next, the processing content of the control unit 150 will be described using the flowchart of FIG. 3 and the processing waveform example of FIG.
まず、ステップS301で、制御部150は必要な初期設定を行う。ローパスフィルタ処理部101の静的特性などは、この段階で設定しておく。ステップS302では、フレーム画像を入力する。波形の例では、図2(a)がこれに相当する。次にステップS303として、ローパスフィルタ処理部101によるローパスフィルタ処理を行う。図2(b)の波形を生成する処理がこれに相当する。
First, in step S301, the control unit 150 performs necessary initial settings. The static characteristics of the low-pass
次にステップS304で、差分算出部102に、入力フレームからローパスフィルタ処理後のフレームを減算する処理を行なわせる。差分算出部102は、2つの差分フレームを生成する。1つは、差分値が負の値を持つ場合には“0”とし、差分値が正の場合にはその正の値のままの正差分フレームである。もう1つは、差分値が正の値を持つ場合には“0”とし、差分値が負の場合にはその負の値のままの負差分フレームである。なお、ここでは、負差分フレームの各画素位置の値は0、もしくは負の値を持ったままとして説明する。
Next, in step S304, the
ステップS305では、低周波サブフレーム生成部103が、低周波サブフレームの生成処理を行う。具体的には、ローパスフィルタ処理部101からのフレームに、差分算出部102からの負差分フレームを加算する処理を行なう。生成された低周波サブフレームは、図2(f)の波形に対応する。
In step S305, the low-frequency
ステップS306では、高周波サブフレーム生成部104が、高周波サブフレームの生成処理を行う。具体的には、入力端子から入力したフレームに、差分算出部102からの正差分フレームを加算する処理を行なう。生成された高周波サブフレームは、図2(g)の波形に対応する。高周波サブフレームは、低周波サブフレーム中の失った高周波成分を補うものである。
In step S306, the high frequency
ステップS307では、切替回路105は、低周波サブフレームの出力タイミングを判断する。そして、その出力タイミングになったとき、ステップS308にて、低周波サブフレームを出力する。この低周波サブフレームを出力後にステップS309にて、今度は、高周波サブフレームの出力タイミングを判断する。そして、そのタイミングになった場合、ステップS310にて、高周波サブフレームを出力する。各サブフレームは、どちらを先に表示しなければならない、ということはない。ホールド型の表示装置の場合、最初の1/120秒の間に低周波サブフレームを表示し、次の1/120秒の間に高周波サブフレームを表示することになる。
In step S307, the
以降、ステップS311にて終了と判定するまで、ステップS302からの処理を繰り返す。1/60秒の時間平均での見かけの波形は、図2(h)のようになり、入力フレームと同じ波形となる。液晶の応答特性の改善や、バックライトを制御するなどの方法により、1/120秒よりも、短い時間でサブフレームを表示させることも可能であるが、1/60秒の時間周期で入力と見かけ上同じ波形を生成する、という本発明の特徴は何ら変わるものではない。 Henceforth, the process from step S302 is repeated until it determines with completion | finish in step S311. The apparent waveform with a time average of 1/60 seconds is as shown in FIG. 2H, which is the same waveform as the input frame. Subframes can be displayed in a time shorter than 1/120 seconds by improving the response characteristics of the liquid crystal or controlling the backlight. The feature of the present invention that the apparently identical waveform is generated does not change at all.
[第2の実施形態]
次に、インパルス型の表示装置に好適な例を第2の実施形態として説明する。
[Second Embodiment]
Next, an example suitable for an impulse-type display device will be described as a second embodiment.
図4は、本第2の実施形態の画像処理装置のブロック構成図である。図4において、ローパスフィルタ処理部101は、図1と同じである。
FIG. 4 is a block diagram of the image processing apparatus according to the second embodiment. In FIG. 4, the low-pass
以下、図5(a)乃至(g)に示す波形を参照し、本第2の実施形態を説明する。 Hereinafter, the second embodiment will be described with reference to the waveforms shown in FIGS.
本第2の実施形態では、第1の実施形態と同様、入力した1フレームの画像から、高周波成分を含む高周波サブフレームと、低周波成分のみを含む低周波サブフレームを生成する。そこで、先ず、低周波サブフレームの生成処理について説明する。 In the second embodiment, as in the first embodiment, a high-frequency subframe including a high-frequency component and a low-frequency subframe including only a low-frequency component are generated from an input image of one frame. First, the low-frequency subframe generation process will be described.
ローパスフィルタ処理部101は、高周波成分を除去するためのフィルタ処理を行う。このフィルタは、特に関数を規定するものではなく、例えばガウス関数でもよいし、移動平均あるいは重み付け移動平均フィルタのようなものでもよい。図5(a)は、入力波形の一例であり、図5(b)は、ローパスフィルタ処理部101によるローパスフィルタ処理した結果を示している。
The low pass
差分算出部402は、入力フレームから、ローパスフィルタ処理で得られたフレームを減算する。そして、減算結果が正の値の場合には“0”、負の値の場合にはその負の値の絶対値で構成される負差分フレームを出力する。図5(c)の波形は、差分算出部402が出力する波形である。
The
減算部401は、ローパスフィルタ処理したフレーム(図5(b))から、差分算出部402が生成した負差分フレーム(図5(c))を減じる処理を行なう。なお、先の第1の実施形態でも説明したが、差分算出部402は、負差分フレームを生成する際、その絶対値への変換を行なわないのであれば、減算部401の代りに、加算部を設ければよく、技術的に等価のことである。
The
次に分配比率処理部403は、2つのサブフレームを発光させる割合に従って、差分負値減算部103から画像データを補正する。フリッカを知覚しにくくするためには、2つのサブフレームの明るさの差が少ない方が望ましい。したがって、ここでは、1未満の乗算係数(実施形態では乗算係数=0.5=50%)に従って分配する例で説明する。すなわち、分配比率処理部403は、2つのサブフレームを発光させる割合に従って、減算部401から画像データの各画素に対して、乗算係数“0.5”を乗算する。
Next, the distribution
図5(e)は、図5(d)の波形に“0.5”を乗じて得た波形である。この図5(e)に示す波形で示される画像が、低周波サブフレームとなる。つまり、減算部401、分配比率処理部403が、第2の実施形態における低周波サブフレーム生成部として機能することになる。
FIG. 5E shows a waveform obtained by multiplying the waveform of FIG. 5D by “0.5”. The image indicated by the waveform shown in FIG. 5E is a low-frequency subframe. That is, the
次に、高周波サブフレームの生成方法を説明する。 Next, a method for generating a high-frequency subframe will be described.
高周波サブフレーム生成部404は、入力したフレームから、低周波サブフレームを減じる処理を行なって、高周波サブフレームを生成し、出力する。図5(f)は、この高周波サブフレームの波形を示している。
The high-frequency
切替回路105では、所望のタイミング、例えば入力画像のフレームレートが60フレーム/秒(60Hz)の場合には、1/120秒(120Hz)の周期で、2つのサブフレームを交互に選択し、出力する。切替回路105に、インパルス型表示デバイスが接続されている場合、図5(e)の低周波サブフレームと図5(d)の高周波サブフレームが120Hzの周期で交互に表示されるので、人間には図5(g)のような波形の像が視覚される。すなわち、60Hz表示における入力フレーム図5(a)と同一の波形として知覚することができる。
In the
このように、ホールド型とインパルス型では、サブフレームの生成形態が異なるが、サブフレームが負値を取らないよう、後処理がなされている点が、本発明に共通する処理である。 Thus, although the hold type and the impulse type are different in the generation form of the subframe, the post-processing is performed so that the subframe does not take a negative value, which is a process common to the present invention.
次に上記処理を図6のフローチャートと図5の波形の例を用いて説明する。 Next, the above process will be described with reference to the flowchart of FIG. 6 and the waveform example of FIG.
まず、ステップS601で、制御部150は必要な初期設定を行う。ローパスフィルタ処理部101の静的特性などは、ここであらかじめ設定しておく。ステップS602では、フレーム画像を入力する。入力した画像の波形の例は、図5(a)である。
First, in step S601, the control unit 150 performs necessary initial settings. The static characteristics of the low-pass
次にステップS603において、ローパスフィルタ処理部101によるローパスフィルタ処理を行なわせる。図5(b)は、ローパスフィルタ処理した結果の波形である。
In step S603, the low pass
次にステップS604にて、差分算出部402に、入力フレームから、フィルタ処理後のフレームを減じることで、負差分フレームを生成する。この差分演算にて得られた負の値の絶対値波形が図5(c)に相当する。
Next, in step S604, the
ステップS605では、減算部401に、フィルタ処理後のフレームから、負差分フレームを減じる処理を行なわせる。波形の例では、図5(b)から図5(c)を減じた図5(d)がこれに相当する。
In step S605, the
次にステップS606で分配比率処理部403による分配処理を行う。これは、低周波成分のみからなる低周波サブフレームを全体の何%にするかを決定する部分である。ここでは、画素値に関係なく一律50%として説明する。これは、図5(d)の波形に0.5を乗じて、図5(e)の波形を生成することに対応する。この図5(e)の波形で示される画像が、低周波サブフレームとなる。
In step S606, distribution processing by the distribution
次のステップS607では、高周波サブフレーム生成部404が、高周波サブフレームを生成する。具体的には、入力フレームから、低周波サブフレームを減じる処理を行なう。図5(f)は、減じた結果の差分波形を示しており、これが高周波サブフレームとなる。
In the next step S607, the high frequency
次にステップS608にて、切替回路105は、低周波サブフレームの出力タイミングを判断し、ステップS609にて、低周波サブフレームを出力する。低周波サブフレームを出力後にステップS610にて、切替回路105は、高周波サブフレームの出力タイミングを判断し、ステップS611にて、高周波サブフレームを出力する。
In step S608, the
以降ステップS612にて終了と判定するまで、ステップS602からの処理を繰り返す。 Thereafter, the processing from step S602 is repeated until the end is determined in step S612.
インパルス型の表示装置の場合、最初の1/120秒内の予め設定された瞬間に低周波サブフレームを表示し、次の1/120秒内の予め設定された瞬間に高周波サブフレームを表示することになる。各サブフレームは、どちらを先に表示しなければならない、ということはない。この結果、1/60秒の時間平均での見かけの波形は、図5(g)のようになり、入力フレームと同じ波形となる。 In the case of an impulse-type display device, a low-frequency subframe is displayed at a preset instant within the first 1/120 second, and a high-frequency subframe is displayed at a preset instant within the next 1/120 second. It will be. Each subframe does not have to be displayed first. As a result, the apparent waveform with a time average of 1/60 seconds is as shown in FIG. 5G, which is the same waveform as the input frame.
[第3の実施形態]
上記第1,第2の実施形態をコンピュータによるコンピュータプログラムでもって処理する例を、第3の実施形態として説明する。
[Third Embodiment]
The example which processes the said 1st, 2nd embodiment with the computer program by a computer is demonstrated as 3rd Embodiment.
図17は、一般的なコンピュータ(パーソナルコンピュータ)のブロック構成図である。このコンピュータは、図示の通り、装置全体の制御を司るCPU2002、BIOS及びブートプログラムを格納したROM2003、CPU2002のワークエリアや実行すべきアプリケーションプログラムをロードするためのRAM2004を備える。また、コンピュータは、ネットワークインタフェース2005、キーボードやマウス等の入力装置2006、表示装置等の出力装置2007、ハードディスク等の外部記憶装置2008も備える。これらの構成要素は、システムバス2001を介して互いに接続されている。
FIG. 17 is a block diagram of a general computer (personal computer). As shown in the figure, this computer includes a
本装置の電源をONにすると、CPU2002はROM2003に格納されたブートプログラムに従って、外部記憶装置2008内のOS(オペレーティングシステム)をRAM2004にロードし、そのOSを起動することで、本装置が情報処理装置として機能する。その後、ユーザが入力装置2006を操作し、動画像変換用のアプリケーションの起動指示を与えると、CPU2002は外部記憶装置2008から該当する動画像変換用のアプリケーションプログラムをRAM2004にロードし、実行することで本装置が画像処理装置として機能する。
When the power of the apparatus is turned on, the
画像処理装置として機能した場合、CPU2002は、例えば、外部記憶装置2008に格納された変換対象の動画像データファイル(ユーザが指定するものとする)から1フレームずつ入力し、第1,第2の実施形態と同様な処理で得られた低周波サブフレーム、高周波サブフレームの動画像ファイルとしてハードディスク等に格納する処理を行なう。なお、2倍速の出力先はファイルとして保存するのではなく、表示装置に出力しても良い。
When functioning as an image processing device, the
特に、2倍速に変換した動画像をファイルとして保存する場合には、リアルタイム再生は不要である。従って、CPU2002の処理能力に依存した速度で2倍速動画像ファイルを作成すれば良い。従って、図3のステップS307、S309、又は、図6のステップS608、S610のタイミング合せのステップは不要となる。
In particular, when a moving image converted to double speed is saved as a file, real-time playback is not necessary. Therefore, the double speed moving image file may be created at a speed depending on the processing capability of the
以上説明したように、コンピュータプログラムにしたがってコンピュータが、第1,第2の実施形態と同様の処理を行なうことが可能である。 As described above, the computer can perform the same processing as in the first and second embodiments according to the computer program.
また、通常、コンピュータプログラムは、CD−ROMやメモリカード等、コンピュータ可読記憶媒体に格納されている。そして、そのコンピュータ可読記憶媒体をコンピュータが有する読取り装置(CD−ROMドライブやメモリカードリーダ)にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータプログラムを格納したコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。 In general, the computer program is stored in a computer-readable storage medium such as a CD-ROM or a memory card. The computer-readable storage medium is set in a reading device (a CD-ROM drive or a memory card reader) included in the computer, and can be executed by copying or installing in the system. Therefore, it is obvious that a computer-readable storage medium storing such a computer program is also within the scope of the present invention.
Claims (8)
フレームを単位に動画像データを入力する入力手段と、
該入力手段が入力したフレームをローパスフィルタ処理するローパスフィルタ手段と、
前記入力手段で入力したフレームの各画素値から、前記ローパスフィルタ手段によるフィルタ処理後のフレームの各画素値を減じる処理を行ない、減じて得られた差分画素値が負の値を持つ場合には“0”とした“0”以上の差分画素値で構成される正差分フレームを生成すると共に、前記差分画素値が正の値を持つ場合には“0”とした“0”以下の差分画素値で構成される負差分フレームを生成する差分算出手段と、
前記ローパスフィルタ手段で得られたフィルタ処理後のフレームに、前記負差分フレームを加算することで、低周波サブフレームを生成する低周波サブフレーム生成手段と、
前記入力手段で入力したフレームに、前記正差分フレームを加算することで、高周波サブフレームを生成する高周波サブフレーム生成手段と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力手段と
を備えることを特徴とする画像処理装置。 An image processing apparatus that converts moving image data composed of F frames per unit time into moving image data composed of 2F subframes per unit time,
Input means for inputting moving image data in units of frames;
Low-pass filter means for low-pass filtering the frame input by the input means;
When the difference pixel value obtained by performing the process of subtracting each pixel value of the frame after filtering by the low-pass filter means from each pixel value of the frame input by the input means has a negative value A positive difference frame composed of difference pixel values of “0” or more, which is “0”, is generated, and if the difference pixel value has a positive value, a difference pixel of “0” or less which is “0” Difference calculating means for generating a negative difference frame composed of values;
A low-frequency subframe generating means for generating a low-frequency subframe by adding the negative difference frame to the filtered frame obtained by the low-pass filter means;
High-frequency subframe generation means for generating a high-frequency subframe by adding the positive difference frame to the frame input by the input means;
An image processing apparatus comprising: the low-frequency subframe; and an output unit that outputs the high-frequency subframe.
フレームを単位に動画像データを入力する入力工程と、
該入力工程が入力したフレームをローパスフィルタ処理するローパスフィルタ工程と、
前記入力工程で入力したフレームの各画素値から、前記ローパスフィルタ工程によるフィルタ処理後のフレームの各画素値を減じる処理を行ない、減じて得られた差分画素値が負の値を持つ場合には“0”とした“0”以上の差分画素値で構成される正差分フレームを生成すると共に、前記差分画素値が正の値を持つ場合には“0”とした“0”以下の差分画素値で構成される負差分フレームを生成する差分算出工程と、
前記ローパスフィルタ工程で得られたフィルタ処理後のフレームに、前記負差分フレームを加算することで、低周波サブフレームを生成する低周波サブフレーム生成工程と、
前記入力工程で入力したフレームに、前記正差分フレームを加算することで、高周波サブフレームを生成する高周波サブフレーム生成工程と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力工程と
を備えることを特徴とする画像処理装置の制御方法。 A control method of an image processing apparatus for converting moving image data composed of F frames per unit time into moving image data composed of 2F subframes per unit time,
An input process for inputting moving image data in units of frames;
A low-pass filter step of low-pass filtering the frame input by the input step;
When each pixel value of the frame after the filtering process by the low-pass filter process is subtracted from each pixel value of the frame input in the input process, and the difference pixel value obtained by subtraction has a negative value A positive difference frame composed of difference pixel values of “0” or more, which is “0”, is generated, and if the difference pixel value has a positive value, a difference pixel of “0” or less which is “0” A difference calculating step for generating a negative difference frame composed of values;
A low-frequency subframe generating step of generating a low-frequency subframe by adding the negative difference frame to the frame after the filtering process obtained in the low-pass filter step;
A high-frequency subframe generating step of generating a high-frequency subframe by adding the positive difference frame to the frame input in the input step;
An output process for outputting the low-frequency subframe and the high-frequency subframe. An image processing apparatus control method comprising:
フレームを単位に動画像データを入力する入力手段と、
入力したフレームをローパスフィルタ処理するローパスフィルタ手段と、
前記入力手段で入力したフレームの各画素値から、前記ローパスフィルタ手段によるフィルタ処理後のフレームの各画素値を減じる処理を行ない、減じて得られた差分画素値が正の値を持つ場合には“0”とした“0”以下の差分画素値で構成される負差分フレームを生成する差分算出手段と、
前記ローパスフィルタ手段で得られたフィルタ処理後のフレームに、前記負差分フレームを加算する加算手段と、
該加算手段によって得られたフレーム中の各画素値に、予め設定された1未満の乗算係数を乗算することで、低周波サブフレームを生成する低周波サブフレーム生成手段と、
前記入力手段で入力したフレームから、前記低周波サブフレームを減算すことで、高周波サブフレームを生成する高周波サブフレーム生成手段と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力手段と
を備えることを特徴とする画像処理装置。 An image processing apparatus that converts moving image data composed of F frames per unit time into moving image data composed of 2F subframes per unit time,
Input means for inputting moving image data in units of frames;
Low-pass filter means for low-pass filtering the input frame;
When the difference pixel value obtained by performing the process of subtracting each pixel value of the frame after filtering by the low-pass filter means from each pixel value of the frame input by the input means has a positive value Difference calculation means for generating a negative difference frame composed of difference pixel values equal to or less than “0”, which is “0”;
Adding means for adding the negative difference frame to the frame after filtering obtained by the low-pass filter means;
Low-frequency subframe generation means for generating a low-frequency subframe by multiplying each pixel value in the frame obtained by the addition means by a preset multiplication coefficient less than 1,
High-frequency subframe generating means for generating a high-frequency subframe by subtracting the low-frequency subframe from the frame input by the input means;
An image processing apparatus comprising: the low-frequency subframe; and an output unit that outputs the high-frequency subframe.
フレームを単位に動画像データを入力する入力工程と、
入力したフレームをローパスフィルタ処理するローパスフィルタ工程と、
前記入力工程で入力したフレームの各画素値から、前記ローパスフィルタ工程によるフィルタ処理後のフレームの各画素値を減じる処理を行ない、減じて得られた差分画素値が正の値を持つ場合には“0”とした“0”以下の差分画素値で構成される負差分フレームを生成する差分算出工程と、
前記ローパスフィルタ工程で得られたフィルタ処理後のフレームに、前記負差分フレームを加算する加算工程と、
該加算工程によって得られたフレーム中の各画素値に、予め設定された1未満の乗算係数を乗算するこで、低周波サブフレームを生成する低周波サブフレーム生成工程と、
前記入力工程で入力したフレームから、前記低周波サブフレームを減算すことで、高周波サブフレームを生成する高周波サブフレーム生成工程と、
前記低周波サブフレーム、前記高周波サブフレームを出力する出力工程と
を備えることを特徴とする画像処理装置の制御方法。 A control method of an image processing apparatus for converting moving image data composed of F frames per unit time into moving image data composed of 2F subframes per unit time,
An input process for inputting moving image data in units of frames;
A low-pass filter process for low-pass filtering the input frame;
When the difference pixel value obtained by subtracting each pixel value of the frame after the filter processing by the low-pass filter step from each pixel value of the frame input in the input step has a positive value A difference calculating step for generating a negative difference frame composed of difference pixel values equal to or less than “0”, which is “0”;
An addition step of adding the negative difference frame to the filtered frame obtained in the low-pass filter step;
A low-frequency subframe generation step of generating a low-frequency subframe by multiplying each pixel value in the frame obtained by the addition step by a preset multiplication coefficient less than 1;
A high-frequency subframe generating step for generating a high-frequency subframe by subtracting the low-frequency subframe from the frame input in the input step;
An output process for outputting the low-frequency subframe and the high-frequency subframe. An image processing apparatus control method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008189048A JP2010028576A (en) | 2008-07-22 | 2008-07-22 | Image processor and its control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008189048A JP2010028576A (en) | 2008-07-22 | 2008-07-22 | Image processor and its control method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010028576A true JP2010028576A (en) | 2010-02-04 |
Family
ID=41733960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008189048A Withdrawn JP2010028576A (en) | 2008-07-22 | 2008-07-22 | Image processor and its control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010028576A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113766150A (en) * | 2021-08-31 | 2021-12-07 | 北京安酷智芯科技有限公司 | Noise reduction method, circuit system, electronic equipment and computer readable storage medium |
-
2008
- 2008-07-22 JP JP2008189048A patent/JP2010028576A/en not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113766150A (en) * | 2021-08-31 | 2021-12-07 | 北京安酷智芯科技有限公司 | Noise reduction method, circuit system, electronic equipment and computer readable storage medium |
CN113766150B (en) * | 2021-08-31 | 2024-03-26 | 北京安酷智芯科技有限公司 | Noise reduction method, circuit system, electronic equipment and computer readable storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5464819B2 (en) | Moving image processing apparatus and method, and program | |
JP4131281B2 (en) | Image display device, signal processing device, image processing method, and computer program | |
EP2262255B1 (en) | Image processing apparatus and image processing method | |
JP5149725B2 (en) | Image processing apparatus and control method thereof | |
US7667720B2 (en) | Image display device, driving circuit and driving method used in same | |
JP5479064B2 (en) | Image processing apparatus, control method therefor, and program | |
JP4525946B2 (en) | Image processing apparatus, image display apparatus, and image processing method | |
JP5451319B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
US8462267B2 (en) | Frame rate conversion apparatus and frame rate conversion method | |
JP2011090162A (en) | Image processor and method of controlling the same | |
JP5676874B2 (en) | Image processing apparatus, control method therefor, and program | |
JPWO2008016036A1 (en) | Image processing apparatus and image processing method | |
JP2008096521A (en) | Video display apparatus | |
JP5537121B2 (en) | Image processing apparatus and control method thereof | |
US20160284260A1 (en) | Image processing apparatus, method thereof, and image display apparatus | |
JP2003069859A (en) | Moving image processing adapting to motion | |
JP2010028576A (en) | Image processor and its control method | |
JP6320022B2 (en) | VIDEO DISPLAY DEVICE, VIDEO DISPLAY DEVICE CONTROL METHOD, AND PROGRAM | |
JP5230538B2 (en) | Image processing apparatus and image processing method | |
KR20090067083A (en) | Video picture display method to reduce the effects of blurring and double contours and device implementing this method | |
JP2013239784A (en) | Image processing device and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20111004 |