JP2009258269A - Image display device - Google Patents

Image display device Download PDF

Info

Publication number
JP2009258269A
JP2009258269A JP2008105468A JP2008105468A JP2009258269A JP 2009258269 A JP2009258269 A JP 2009258269A JP 2008105468 A JP2008105468 A JP 2008105468A JP 2008105468 A JP2008105468 A JP 2008105468A JP 2009258269 A JP2009258269 A JP 2009258269A
Authority
JP
Japan
Prior art keywords
image
image signal
interpolation
interpolated
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008105468A
Other languages
Japanese (ja)
Inventor
Takeshi Mori
武志 森
Seiji Kobashigawa
誠司 小橋川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2008105468A priority Critical patent/JP2009258269A/en
Publication of JP2009258269A publication Critical patent/JP2009258269A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To reduce image quality degradation due to image breaking, while maintaining an effect of a frame rate converter (FRC), when an image fails, in an image display device with a motion compensation type FRC function. <P>SOLUTION: A liquid crystal display device comprises: an FRC section 10 which converts the number of frames or the number of fields of an input image signal and outputs it to a liquid crystal display panel 16, by interpolating the image signal on which motion compensation processing is performed between frames or fields of the input image signal; and a motion vector detection section 11e for estimating an image failure degree of an interpolation image signal which is interpolated between frames or fields of the input image signal. When it is presumed that the interpolation image of the interpolation image signal fails by the motion vector detection section 11e, a brightness level of the interpolation image signal is made lower than the brightness level of the input image signal by the FRC section 10. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、画像表示装置、より詳細には、フレームレートあるいはフィールドレートを変換する機能を備えた画像表示装置に関する。   The present invention relates to an image display device, and more particularly to an image display device having a function of converting a frame rate or a field rate.

動画像を具現する用途に従来から主として用いられてきた陰極線管(CRT:Cathode Ray Tube)に対して、LCD(Liquid Crystal Display)は、動きのある画像を表示した場合に、観る者には動き部分の輪郭がぼけて知覚されてしまうという、所謂、動きぼけの欠点がある。この動きぼけは、LCDの表示方式そのものに起因することが指摘されている(例えば、特許文献1参照)。   In contrast to the cathode ray tube (CRT), which has been mainly used for the purpose of embodying moving images, the LCD (Liquid Crystal Display) moves the viewer when moving images are displayed. There is a so-called motion blur defect in which the outline of a part is blurred and perceived. It has been pointed out that this motion blur is caused by the LCD display method itself (see, for example, Patent Document 1).

電子ビームを走査して蛍光体を発光させて表示を行うCRTでは、各画素の発光は蛍光体の若干の残光はあるものの概ねインパルス状になる。これをインパルス型表示方式という。一方、LCDでは、液晶に電界を印加することにより蓄えられた電荷が、次に電界が印加されるまで比較的高い割合で保持される。特に、TFT方式の場合、画素を構成するドット毎にTFTスイッチが設けられており、さらに通常は各画素に補助容量が設けられており、蓄えられた電荷の保持能力が極めて高い。このため、画素が次のフレームあるいはフィールド(以下、フレームで代表する)の画像情報に基づく電界印加により書き換えられるまで発光し続ける。これをホールド型表示方式という。   In a CRT that performs display by scanning an electron beam to emit light from a phosphor, the light emission of each pixel is substantially in an impulse shape although there is some afterglow of the phosphor. This is called an impulse type display system. On the other hand, in the LCD, the charge stored by applying an electric field to the liquid crystal is held at a relatively high rate until the next electric field is applied. In particular, in the case of the TFT method, a TFT switch is provided for each dot constituting a pixel, and an auxiliary capacitor is usually provided for each pixel, and the ability to hold stored charges is extremely high. For this reason, light emission continues until the pixel is rewritten by applying an electric field based on image information of the next frame or field (hereinafter referred to as a frame). This is called a hold type display method.

上記のようなホールド型表示方式においては、画像表示光のインパルス応答が時間的な広がりを持つため、時間周波数特性が劣化して、それに伴い空間周波数特性も低下し、動きぼけが生じる。すなわち、人の視線は動くものに対して滑らかに追従するため、ホールド型のように発光時間が長いと、時間積分効果により画像の動きがぎくしゃくして不自然に見えてしまう。   In the hold-type display method as described above, the impulse response of the image display light has a temporal spread, so that the time frequency characteristic is deteriorated, and the spatial frequency characteristic is accordingly lowered, resulting in motion blur. In other words, since the human line of sight smoothly follows a moving object, if the light emission time is long as in the hold type, the movement of the image becomes jerky due to the time integration effect and looks unnatural.

上記のホールド型表示方式における動きぼけを改善するために、フレーム間に画像を内挿することにより、フレームレート(フレーム数)を変換する技術が知られている。この技術は、FRC(Frame Rate Converter)と呼ばれ、液晶表示装置等において実用化されている。   In order to improve motion blur in the hold-type display method, a technique for converting a frame rate (number of frames) by interpolating an image between frames is known. This technique is called FRC (Frame Rate Converter) and is put into practical use in liquid crystal display devices and the like.

従来、フレームレートを変換する方法には、単に同一フレームの2回繰り返し読み出しや、フレーム間の直線内挿(線形補間)によるフレーム内挿などの各種の手法が知られている。しかしながら、線形補間によるフレーム内挿処理の場合、フレームレート変換に伴う動きの不自然さ(ジャーキネス、ジャダー)が発生するため、画質的には不十分なものであった。   Conventionally, as a method of converting the frame rate, various methods such as simply repeatedly reading the same frame twice or frame interpolation by linear interpolation between frames are known. However, in the case of frame interpolation processing by linear interpolation, unnatural motion (jerkiness, judder) associated with frame rate conversion occurs, so that the image quality is insufficient.

そこで、上記ジャーキネスの影響等をなくして動画質を改善するために、動きベクトルを用いた動き補償型のフレーム内挿処理が提案されている。この動き補償処理によれば、動画像そのものをとらえて補正するため、解像度の劣化がなく、また、ジャーキネスの発生もなく、極めて自然な動画を得ることができる。さらに、内挿画像信号は動き補償して形成されるので、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することが可能となる。   Therefore, in order to eliminate the influence of the jerkiness and improve the moving image quality, motion compensation type frame interpolation processing using motion vectors has been proposed. According to this motion compensation process, since the moving image itself is captured and corrected, it is possible to obtain a very natural moving image without degradation in resolution and without occurrence of jerkiness. Furthermore, since the interpolated image signal is formed by motion compensation, it is possible to sufficiently improve the motion blur interference caused by the hold type display method described above.

前述の特許文献1には、動き適応的に内挿フレームを生成することにより、表示画像のフレーム周波数を上げて、動きぼけの原因となる空間周波数特性の低下を改善するための技術が開示されている。これは、表示画像のフレーム間に内挿する少なくとも1つの内挿画像信号を、前後のフレームから動き適応的に形成し、形成した内挿画像信号をフレーム間に内挿して順次表示するようにしている。   Patent Document 1 described above discloses a technique for improving a decrease in spatial frequency characteristics that causes motion blur by increasing a frame frequency of a display image by generating an interpolation frame adaptively in motion. ing. In this method, at least one interpolated image signal to be interpolated between frames of a display image is formed in a motion adaptive manner from the preceding and following frames, and the formed interpolated image signal is interpolated between frames and sequentially displayed. ing.

図6は、従来の液晶表示装置におけるFRC駆動表示回路の概略構成を示すブロック図で、図中、FRC駆動表示回路は、入力画像信号のフレーム間に動き補償処理を施した画像信号を内挿することにより入力画像信号のフレーム数を変換するFRC部100と、FRC部100によりフレームレート変換された画像信号に基づいて液晶表示パネル104の走査電極及びデータ電極を駆動するための電極駆動部103と、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶表示パネル104とを備えて構成される。   FIG. 6 is a block diagram showing a schematic configuration of an FRC drive display circuit in a conventional liquid crystal display device. In the figure, the FRC drive display circuit interpolates an image signal subjected to motion compensation processing between frames of an input image signal. By doing so, the FRC unit 100 that converts the number of frames of the input image signal, and the electrode driving unit 103 for driving the scan electrodes and the data electrodes of the liquid crystal display panel 104 based on the image signal whose frame rate has been converted by the FRC unit 100 And an active matrix liquid crystal display panel 104 having a liquid crystal layer and electrodes for applying scanning signals and data signals to the liquid crystal layer.

FRC部100は、入力画像信号から動きベクトル情報を検出する動きベクトル検出部101と、動きベクトル検出部101により得られた動きベクトル情報により内挿フレームを生成する内挿フレーム生成部102とを備える。   The FRC unit 100 includes a motion vector detection unit 101 that detects motion vector information from an input image signal, and an interpolation frame generation unit 102 that generates an interpolation frame from the motion vector information obtained by the motion vector detection unit 101. .

上記構成において、動きベクトル検出部101は、例えば、後述するブロックマッチング法や勾配法などを用いて動きベクトル情報を求めてもよいし、入力画像信号に何らかの形で動きベクトル情報が含まれている場合、これを利用してもよい。例えば、MPEG方式を用いて圧縮符号化された画像データには、符号化時に算出された動画像の動きベクトル情報が含まれており、この動きベクトル情報を取得する構成としてもよい。   In the above configuration, the motion vector detection unit 101 may obtain the motion vector information using, for example, a block matching method or a gradient method described later, or the motion vector information is included in some form in the input image signal. If this is the case, this may be used. For example, image data compression-encoded using the MPEG method includes motion vector information of a moving image calculated at the time of encoding, and the motion vector information may be acquired.

図7は、図6に示した従来のFRC駆動表示回路によるフレームレート変換処理を説明するための図である。FRC部100は、動きベクトル検出部101より出力された動きベクトル情報を用いた動き補償により、フレーム間の内挿フレーム(図中グレーに色付けされた画像)を生成し、この生成された内挿フレーム信号を入力フレーム信号とともに、順次出力することで、入力画像信号のフレームレートを例えば毎秒60フレーム(60Hz)から毎秒120フレーム(120Hz)に変換する処理を行う。   FIG. 7 is a diagram for explaining frame rate conversion processing by the conventional FRC drive display circuit shown in FIG. The FRC unit 100 generates an interpolated frame (an image colored in gray in the figure) by motion compensation using the motion vector information output from the motion vector detecting unit 101, and the generated interpolation By sequentially outputting the frame signal together with the input frame signal, processing for converting the frame rate of the input image signal from, for example, 60 frames per second (60 Hz) to 120 frames per second (120 Hz) is performed.

図8は、動きベクトル検出部101及び内挿フレーム生成部102による内挿フレーム生成処理について説明するための図である。動きベクトル検出部101は、図7に示した例えばフレーム#1とフレーム#2から勾配法等により動きベクトル105を検出する。すなわち、動きベクトル検出部101は、フレーム#1とフレーム#2の1/60秒間に、どの方向にどれだけ動いたかを測定することにより動きベクトル105を求める。次に、内挿フレーム生成部102は、求めた動きベクトル105を用いて、フレーム#1とフレーム#2間に内挿ベクトル106を割り付ける。この内挿ベクトル106に基づいてフレーム#1の位置から1/120秒後の位置まで対象(ここでは自動車)を動かすことにより、内挿フレーム107を生成する。   FIG. 8 is a diagram for explaining the interpolation frame generation processing by the motion vector detection unit 101 and the interpolation frame generation unit 102. The motion vector detection unit 101 detects the motion vector 105 from the frame # 1 and the frame # 2 shown in FIG. That is, the motion vector detection unit 101 obtains the motion vector 105 by measuring how much and in which direction the frame # 1 and frame # 2 have moved in 1/60 second. Next, the interpolation frame generation unit 102 allocates the interpolation vector 106 between the frame # 1 and the frame # 2 using the obtained motion vector 105. An interpolation frame 107 is generated by moving the object (in this case, an automobile) from the position of frame # 1 to a position after 1/120 second based on the interpolation vector 106.

このように、動きベクトル情報を用いて動き補償フレーム内挿処理を行い、表示フレーム周波数を上げることで、LCD(ホールド型表示方式)の表示状態を、CRT(インパルス型表示方式)の表示状態に近づけることができ、動画表示の際に生じる動きぼけによる画質劣化を改善することが可能となる。   In this way, motion compensation frame interpolation processing is performed using motion vector information, and the display frame frequency is increased to change the display state of the LCD (hold type display method) to the display state of the CRT (impulse type display method). It is possible to improve the image quality degradation due to motion blur that occurs when displaying a moving image.

ここで、上記動き補償フレーム内挿処理においては、動き補償のために動きベクトルの検出が不可欠となる。この動きベクトル検出の代表的な手法として、例えば、ブロックマッチング法、勾配法などが提案されている。勾配法においては、連続した2つのフレーム間で各画素または小さなブロック毎に動きベクトルを検出し、それにより2つのフレーム間の内挿フレームの各画素または各小ブロックを内挿する。すなわち、2つのフレーム間の任意の位置の画像を正しく位置補正して内挿することにより、フレーム数の変換を行う。   Here, in the motion compensation frame interpolation process, detection of a motion vector is indispensable for motion compensation. As typical techniques for this motion vector detection, for example, a block matching method, a gradient method, and the like have been proposed. In the gradient method, a motion vector is detected for each pixel or small block between two consecutive frames, thereby interpolating each pixel or each small block of the interpolation frame between the two frames. That is, the number of frames is converted by correctly correcting and interpolating an image at an arbitrary position between two frames.

このような動き補償型のFRC処理において、映像の内容及び状態によっては内挿画像の破綻が発生しやすい場合がある。例えば、OSD表示がある場合や、映像のS/Nが悪い場合、再生映像が特殊な場合などである。このような場合には、FRCをオフすることが一般的であるが、オンからオフにいきなり切り替えることは見た目の変化が大きく、視聴者が違和感を覚えることも多い。   In such motion-compensated FRC processing, the interpolated image may be easily broken depending on the content and state of the video. For example, when there is OSD display, when the S / N of the video is bad, or when the reproduced video is special. In such a case, it is common to turn off the FRC, but suddenly switching from on to off has a large change in appearance, and the viewer often feels uncomfortable.

一方、特許文献2には、上記と同様に、動画像の動的反応速度を改善することを目的として、フレーム期間内の非映像信号期間に黒画像を挿入する方法が記載されている。また、特許文献3,4には、フレーム間に原画像と同一画像を暗めにして(輝度を落として)挿入する方法が記載されている。   On the other hand, Patent Document 2 describes a method of inserting a black image in a non-video signal period within a frame period for the purpose of improving the dynamic reaction speed of a moving image, as described above. Patent Documents 3 and 4 describe a method of inserting the same image as the original image darkly (with reduced brightness) between frames.

この同一フレームの挿入方法について図9に基づいて説明する。図9に示す例では、入力画像信号に含まれる入力フレームf1とf2間に入力フレームf1と同じフレームi1を暗めにして挿入し、入力フレームf2とf3間に入力フレームf2と同じフレームi2を暗めにして挿入している。このように入力フレーム間に入力フレームと同じフレームを、輝度を落として挿入することで、最大輝度の低下を抑えつつ、動的反応速度を向上させることができる。
特許第3295437号明細書 特開2003−295156号公報 特開2005−173573号公報 特開2006−178488号公報
The method for inserting the same frame will be described with reference to FIG. In the example shown in FIG. 9, the same frame i1 as the input frame f1 is darkened and inserted between the input frames f1 and f2 included in the input image signal, and the same frame i2 as the input frame f2 is darkened between the input frames f2 and f3. Is inserted. In this way, by inserting the same frame as the input frame between the input frames at a reduced luminance, the dynamic reaction speed can be improved while suppressing a decrease in the maximum luminance.
Japanese Patent No. 3295437 JP 2003-295156 A JP 2005-173573 A JP 2006-178488 A

しかしながら、上記特許文献2〜4に記載の発明は、入力フレーム間に黒画像あるいは暗い(輝度を落とした)画像を挿入することで、動的反応速度を向上させるもので、動き補償型のFRC処理による画像破綻に対応したものではない。   However, the inventions described in Patent Documents 2 to 4 improve the dynamic reaction speed by inserting a black image or a dark (decreased brightness) image between input frames. It does not correspond to image corruption caused by processing.

また、特許文献3,4に記載の発明の場合、入力フレーム間に挿入する画像の輝度を落とす(暗くする)ほど、挿入画像と入力フレーム(原画像)との輝度差が大きくなり、動的反応速度は速くなるが、原画像の入力フレーム間に、動き補償処理を施した内挿画像ではなく、原画像と同一画像を挿入しているだけなので、動き補償によるFRCの効果を得ることができず、動画表示の際に生じる動きぼけによる画質劣化を十分に改善することができない。   In the case of the inventions described in Patent Documents 3 and 4, the luminance difference between the inserted image and the input frame (original image) increases as the luminance of the image inserted between the input frames decreases (darkens). Although the reaction speed becomes faster, since the same image as the original image is inserted between the input frames of the original image, not the interpolated image subjected to the motion compensation process, the effect of FRC by motion compensation can be obtained. The image quality deterioration due to the motion blur that occurs when displaying a moving image cannot be sufficiently improved.

本発明は、上述のごとき実情に鑑みてなされたものであり、動き補償型のFRC機能を備えた画像表示装置において、画像破綻時にFRCの効果を維持しながら、画像破綻による画質劣化を軽減すること、を目的とする。   The present invention has been made in view of the above circumstances, and in an image display device having a motion compensation type FRC function, image quality deterioration due to image failure is reduced while maintaining the effect of FRC at the time of image failure. The purpose.

上記課題を解決するために、本発明の第1の技術手段は、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換して表示パネルへ出力するレート変換手段を備えた画像表示装置であって、前記入力画像信号のフレーム間あるいはフィールド間に内挿される内挿画像信号の画像破綻の程度を推定する画像破綻推定手段を備え、前記レート変換手段は、前記画像破綻推定手段により前記内挿画像信号の内挿画像が破綻すると推定された場合、前記内挿画像信号の輝度レベルを前記入力画像信号の輝度レベルよりも低くすることを特徴としたものである。   In order to solve the above problem, the first technical means of the present invention interpolates an image signal subjected to motion compensation processing between frames or fields of an input image signal, so that a frame of the input image signal is obtained. An image display device comprising rate conversion means for converting the number or the number of fields and outputting to the display panel, the degree of image failure of the interpolated image signal inserted between frames or fields of the input image signal An image failure estimation means for estimating, and when the image failure estimation means estimates that the interpolated image of the interpolated image signal has failed, the rate conversion means determines the brightness level of the interpolated image signal as the input image. It is characterized by being lower than the luminance level of the signal.

第2の技術手段は、第1の技術手段において、前記レート変換手段は、前記内挿画像の破綻の程度に応じて、前記入力画像信号と前記内挿画像信号の輝度レベルを変化させることを特徴としたものである。   According to a second technical means, in the first technical means, the rate conversion means changes a luminance level of the input image signal and the interpolated image signal according to a degree of failure of the interpolated image. It is a feature.

第3の技術手段は、第1又は第2の技術手段において、前記内挿画像が破綻すると推定された場合、前記画像表示装置に予め設定されている基準輝度レベルに対して、前記入力画像信号の輝度レベルを高くし、前記内挿画像信号の輝度レベルを低くし、前記入力画像信号と前記内挿画像信号の輝度レベルの平均が前記基準輝度レベルになるように制御することを特徴としたものである。   When the first technical means estimates that the interpolated image is broken in the first technical means or the second technical means, the third technical means performs the input image signal with respect to a reference luminance level preset in the image display device. The luminance level of the input image signal and the interpolated image signal are controlled so that the average luminance level of the input image signal and the interpolated image signal becomes the reference luminance level. Is.

第4の技術手段は、第1乃至第3のいずれか1の技術手段において、前記画像破綻推定手段は、前記レート変換手段における動きベクトルの候補数に基づいて、前記内挿画像信号の画像破綻の程度を推定することを特徴としたものである。   A fourth technical means is the first technical means according to any one of the first to third technical means, wherein the image failure estimation means is based on the number of motion vector candidates in the rate conversion means, and the image failure of the interpolated image signal. It is characterized by estimating the degree of.

第5の技術手段は、第1乃至第3のいずれか1の技術手段において、前記画像破綻推定手段は、前記レート変換手段における内挿画像へのベクトル割付状態に基づいて、前記内挿画像信号の画像破綻の程度を推定することを特徴としたものである。   A fifth technical means is the first technical means according to any one of the first to third technical means, wherein the image corruption estimating means is based on a vector allocation state to the interpolated image in the rate converting means. It is characterized by estimating the degree of image failure.

第6の技術手段は、第1乃至第3のいずれか1の技術手段において、前記画像破綻推定手段は、前記レート変換手段における動きベクトルの交差数に基づいて、前記内挿画像信号の画像破綻の程度を推定することを特徴としたものである。   A sixth technical means is the first technical means according to any one of the first to third technical means, wherein the image failure estimation means is based on the number of motion vector intersections in the rate conversion means. It is characterized by estimating the degree of.

第7の技術手段は、第1乃至第6のいずれか1の技術手段において、前記レート変換手段は、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトル情報を検出する動きベクトル検出部と、該検出した動きベクトル情報に基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、該割り付けた内挿ベクトルから内挿画像信号を生成する内挿画像生成部と、該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有することを特徴としたものである。   A seventh technical means is any one of the first to sixth technical means, wherein the rate converting means detects motion vector information between consecutive frames or fields included in the input image signal. A detection unit; an interpolation vector allocating unit that allocates an interpolation vector between the frames or between the fields based on the detected motion vector information; and an interpolation that generates an interpolation image signal from the allocated interpolation vector. An image generation unit and an image interpolation unit for interpolating the generated interpolated image signal between the frames or between the fields are characterized.

本発明によれば、動き補償型のFRC機能を備えた画像表示装置において、画像破綻時にFRCをオンしたまま内挿画像の輝度を落とすことにより、FRCの効果を維持しながら、画像破綻による画質劣化を軽減することができる。   According to the present invention, in an image display device having a motion compensation type FRC function, the image quality due to image failure is maintained while maintaining the effect of FRC by reducing the brightness of the interpolated image while the FRC is turned on at the time of image failure. Deterioration can be reduced.

以下、添付図面を参照しながら、本発明の画像表示装置の好適な実施の形態について説明する。なお、本発明は、フィールド信号及び内挿フィールド信号、フレーム信号及び内挿フレーム信号のいずれに対しても適用できるものであるが、両者(フィールドとフレーム)は互いに類似の関係にあるため、フレーム信号及び内挿フレーム信号を代表例として説明するものとする。   Hereinafter, preferred embodiments of an image display device of the present invention will be described with reference to the accompanying drawings. Although the present invention can be applied to any of a field signal, an interpolated field signal, a frame signal, and an interpolated frame signal, both (field and frame) are in a similar relationship with each other, so A signal and an interpolated frame signal will be described as representative examples.

図1は、本発明の画像表示装置が備える動き補償型フレームレート変換部の構成例を示すブロック図である。図中、10はフレームレート変換部(以下、FRC部)で、該FRC部10は、本発明のレート変換手段に相当し、入力画像信号に含まれる2つの連続したフレーム間で動きベクトルを検出するベクトル検出部11と、検出した動きベクトルに基づいて内挿フレーム(内挿画像)を生成するフレーム生成部12とから構成される。なお、ベクトル検出部11は、動きベクトル検出に反復勾配法を用いた場合の例について示すが、この反復勾配法に限定されず、ブロックマッチング法などを用いてもよい。   FIG. 1 is a block diagram illustrating a configuration example of a motion compensated frame rate conversion unit included in the image display apparatus of the present invention. In the figure, reference numeral 10 denotes a frame rate conversion unit (hereinafter referred to as FRC unit), which corresponds to the rate conversion means of the present invention and detects a motion vector between two consecutive frames included in an input image signal. And a frame generation unit 12 that generates an interpolation frame (interpolated image) based on the detected motion vector. In addition, although the vector detection part 11 shows about the example at the time of using an iterative gradient method for a motion vector detection, it is not limited to this iterative gradient method, A block matching method etc. may be used.

ここで、反復勾配法の特徴は、動きベクトルの検出がブロック単位で可能であるため、数種類の動き量が検出でき、また、小領域の動物体でも動きベクトルを検出することができる。また、回路構成も他の方式(ブロックマッチング法など)と比較して小規模で実現することができる。この反復勾配法では、被検出ブロックに対して、すでに検出された近傍のブロックの動きベクトルを初期偏位ベクトルとして、これを起点として勾配法の演算を繰り返す方法が用いられる。この方法によれば、勾配法の繰り返しは2回程度でほぼ正確な動き量を得ることができる。   Here, the feature of the iterative gradient method is that a motion vector can be detected in units of blocks, so that several types of motion amounts can be detected, and a motion vector can be detected even in a small-sized moving object. Also, the circuit configuration can be realized on a small scale as compared with other methods (block matching method or the like). In this iterative gradient method, a method is used in which the gradient method is repeated for the detected block, using the motion vector of a nearby block that has already been detected as an initial displacement vector, and starting from this. According to this method, it is possible to obtain an almost accurate motion amount by repeating the gradient method about twice.

図1において、ベクトル検出部11は、入力画像信号(RGB信号)から輝度信号(Y信号)を抽出する輝度信号抽出部11aと、抽出したY信号にLPFを掛けて高域部の帯域を制限するための前処理フィルタ11bと、動き検出用フレームメモリ11cと、初期ベクトル候補を蓄積するための初期ベクトルメモリ11dと、反復勾配法を用いてフレーム間の動きベクトルを検出する動きベクトル検出部11eと、検出した動きベクトルに基づいてフレーム間に内挿ベクトルを割り付ける内挿ベクトル評価部11fと、を備えて構成される。   In FIG. 1, a vector detection unit 11 limits a high frequency band by multiplying an extracted Y signal by LPF and a luminance signal extraction unit 11a that extracts a luminance signal (Y signal) from an input image signal (RGB signal). A preprocessing filter 11b for performing the motion detection, a frame memory 11c for motion detection, an initial vector memory 11d for storing initial vector candidates, and a motion vector detection unit 11e for detecting a motion vector between frames using an iterative gradient method. And an interpolation vector evaluation unit 11f that allocates an interpolation vector between frames based on the detected motion vector.

なお、FRC部10は本発明のレート変換手段に相当し、動きベクトル検出部11eは本発明の動きベクトル検出部に相当し、内挿ベクトル評価部11fは本発明の内挿ベクトル割付部に相当する。   The FRC unit 10 corresponds to the rate conversion means of the present invention, the motion vector detection unit 11e corresponds to the motion vector detection unit of the present invention, and the interpolation vector evaluation unit 11f corresponds to the interpolation vector allocation unit of the present invention. To do.

上記反復勾配法の演算は画素の微分成分を用いているため、ノイズの影響を受け易く、また、検出ブロック内の勾配の変化量が多いと演算誤差が大きくなるため、前処理フィルタ11bにおいてLPFをかけて高域部の帯域を制限しておく。初期ベクトルメモリ11dには、初期ベクトル候補として、前々フレームで既に検出されている動きベクトル(初期ベクトル候補)を蓄積しておく。   Since the calculation of the iterative gradient method uses the differential component of the pixel, it is easily affected by noise, and the calculation error increases if the amount of change in the gradient in the detection block is large. To limit the high-frequency band. In the initial vector memory 11d, motion vectors (initial vector candidates) already detected in the previous frame are stored as initial vector candidates.

動きベクトル検出部11eは、初期ベクトルメモリ11dに蓄積されている初期ベクトル候補の中から被検出ブロックの動きベクトルに最も近い動きベクトルを初期ベクトルとして選択する。すなわち、被検出ブロック近傍のブロックにおける既検出動きベクトル(初期ベクトル候補)の中からブロックマッチング法により初期ベクトルを選択する。そして、動きベクトル検出部11eは、選択した初期ベクトルを起点として、勾配法演算によって前フレームと現フレーム間の動きベクトルを検出する。   The motion vector detection unit 11e selects a motion vector closest to the motion vector of the detected block from among the initial vector candidates stored in the initial vector memory 11d as an initial vector. That is, the initial vector is selected by the block matching method from the already detected motion vectors (initial vector candidates) in the blocks near the detected block. Then, the motion vector detection unit 11e detects a motion vector between the previous frame and the current frame by gradient method calculation with the selected initial vector as a starting point.

内挿ベクトル評価部11fは、動きベクトル検出部11eにより検出された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付けて、フレーム生成部12に出力する。   The interpolation vector evaluation unit 11f evaluates the motion vector detected by the motion vector detection unit 11e, assigns an optimal interpolation vector to the inter-frame interpolation block based on the evaluation result, and sends the interpolated block to the frame generation unit 12. Output.

フレーム生成部12は、2つの入力フレーム(前フレーム、現フレーム)を蓄積するための内挿用フレームメモリ12aと、内挿用フレームメモリ12aからの2つの入力フレームと内挿ベクトル評価部11fからの内挿ベクトルとに基づいて内挿フレームを生成する内挿フレーム生成部12bと、入力フレーム(前フレーム、現フレーム)を蓄積するためのタイムベース変換用フレームメモリ12cと、タイムベース変換用フレームメモリ12cからの入力フレームに内挿フレーム生成部12bからの内挿フレームを挿入するタイムベース変換部12dと、を備えて構成される。   The frame generation unit 12 includes an interpolation frame memory 12a for accumulating two input frames (previous frame and current frame), two input frames from the interpolation frame memory 12a, and an interpolation vector evaluation unit 11f. An interpolation frame generation unit 12b for generating an interpolation frame based on the interpolation vector of time, a time base conversion frame memory 12c for storing input frames (previous frame, current frame), and a time base conversion frame And a time base conversion unit 12d that inserts the interpolation frame from the interpolation frame generation unit 12b into the input frame from the memory 12c.

なお、内挿フレーム生成部12bは、本発明の内挿画像生成部に相当し、タイムベース変換部12dは、本発明の画像内挿部に相当する。   The interpolation frame generation unit 12b corresponds to the interpolation image generation unit of the present invention, and the time base conversion unit 12d corresponds to the image interpolation unit of the present invention.

図2は、フレーム生成部12による内挿フレーム生成処理の一例を説明するための図である。内挿フレーム生成部12bは、内挿ブロックに割り付けられた内挿ベクトルVを前フレーム、現フレームに伸ばして、各フレームとの交点近傍の画素を用いて内挿ブロック内の各画素を補間する。例えば、前フレームでは近傍3点よりA点の輝度を算出する。現フレームでは近傍3点よりB点の輝度を算出する。内挿フレームではP点の輝度をA点とB点の輝度から補間する。P点の輝度は、例えばA点の輝度とB点の輝度の平均としてもよい。   FIG. 2 is a diagram for explaining an example of the interpolation frame generation process by the frame generation unit 12. The interpolation frame generation unit 12b extends the interpolation vector V assigned to the interpolation block to the previous frame and the current frame, and interpolates each pixel in the interpolation block using pixels near the intersection with each frame. . For example, in the previous frame, the luminance of point A is calculated from three points in the vicinity. In the current frame, the luminance of point B is calculated from the three neighboring points. In the interpolated frame, the luminance at point P is interpolated from the luminance at points A and B. The brightness at point P may be the average of the brightness at point A and the brightness at point B, for example.

上記のようにして生成された内挿フレームは、タイムベース変換部12dに送られる。タイムベース変換部12dは、前フレーム、現フレームの間に、内挿フレームを挟み込んで、フレームレートを変換する処理を行う。このように、FRC部10により、入力画像信号(60フレーム/秒)を、動き補償された出力画像信号(120フレーム/秒)へ変換でき、これを表示パネルに出力することにより、動きぼけを低減して動画質を改善することが可能となる。なお、ここでは、60フレーム/秒の入力画像信号を、120フレーム/秒の出力画像信号にフレームレート変換する場合について説明するが、例えば90フレーム/秒、180フレーム/秒の出力画像信号を得る場合に適用しても良いことは言うまでもない。   The interpolated frame generated as described above is sent to the time base converter 12d. The time base conversion unit 12d performs a process of converting the frame rate by inserting an interpolation frame between the previous frame and the current frame. As described above, the FRC unit 10 can convert the input image signal (60 frames / second) into the motion compensated output image signal (120 frames / second), and outputs this to the display panel, thereby reducing motion blur. It is possible to reduce and improve the video quality. Here, a case where the frame rate conversion of an input image signal of 60 frames / second to an output image signal of 120 frames / second is described, but for example, output image signals of 90 frames / second and 180 frames / second are obtained. Needless to say, it may be applied to a case.

本発明の画像表示装置は、図1に示したFRC部10を備え、画像破綻時にFRCの効果を維持しながら、画像破綻による画質劣化を軽減することを目的とする。なお、本発明は、液晶ディスプレイ、有機ELディスプレイ、電気泳動ディスプレイなどのホールド型の表示特性を有する画像表示装置全般に適用可能であるが、以下の実施形態においては、表示パネルとして液晶表示パネルを用いた液晶表示装置に本発明を適用した場合を代表例として説明する。   The image display device of the present invention includes the FRC unit 10 shown in FIG. 1 and aims to reduce image quality degradation due to image failure while maintaining the effect of FRC when the image is broken. The present invention can be applied to all image display devices having hold-type display characteristics such as a liquid crystal display, an organic EL display, and an electrophoretic display. In the following embodiments, a liquid crystal display panel is used as the display panel. A case where the present invention is applied to the liquid crystal display device used will be described as a representative example.

図3は、本発明の一実施形態に係る液晶表示装置の要部構成例を示すブロック図である。図中、液晶表示装置は、FRC部10、画像処理部13、制御部14、電極駆動部15、及び液晶表示パネル16を備えて構成される。なお、FRC部10、画像処理部13、電極駆動部15、及び液晶表示パネル16は制御部14に接続され、制御部14からの指示に従って動作する。   FIG. 3 is a block diagram illustrating a configuration example of a main part of a liquid crystal display device according to an embodiment of the present invention. In the drawing, the liquid crystal display device includes an FRC unit 10, an image processing unit 13, a control unit 14, an electrode driving unit 15, and a liquid crystal display panel 16. The FRC unit 10, the image processing unit 13, the electrode driving unit 15, and the liquid crystal display panel 16 are connected to the control unit 14 and operate according to instructions from the control unit 14.

図3において、FRC部10における動きベクトル検出部11e、内挿ベクトル評価部11f、内挿フレーム生成部12b、及びタイムベース変換部12dのみを要部構成として図示し、FRC部10のその他の構成要素については記載を省略するものとする。   In FIG. 3, only the motion vector detection unit 11e, the interpolation vector evaluation unit 11f, the interpolation frame generation unit 12b, and the time base conversion unit 12d in the FRC unit 10 are illustrated as main components, and other configurations of the FRC unit 10 are illustrated. The description of elements is omitted.

画像処理部13は、FRC部10の前段に設けられ、入力画像信号に対して各種の画像処理を施してFRC部10に出力する。
電極駆動部15は、FRC部10によりフレームレート変換された画像信号に基づいて液晶表示パネル16の走査電極及びデータ電極を駆動するための表示ドライバである。
液晶表示パネル16は、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶ディスプレイである。
制御部14は、上記各部を制御するためのCPUを備え、FRC部10におけるFRC処理を制御する。
The image processing unit 13 is provided before the FRC unit 10, performs various image processes on the input image signal, and outputs the processed image to the FRC unit 10.
The electrode drive unit 15 is a display driver for driving the scan electrodes and data electrodes of the liquid crystal display panel 16 based on the image signal whose frame rate is converted by the FRC unit 10.
The liquid crystal display panel 16 is an active matrix liquid crystal display having a liquid crystal layer and electrodes for applying scanning signals and data signals to the liquid crystal layer.
The control unit 14 includes a CPU for controlling the above-described units, and controls the FRC process in the FRC unit 10.

本実施形態の動きベクトル検出部11eは、本発明の画像破綻推定手段に相当し、入力画像信号のフレーム間あるいはフィールド間に内挿される内挿画像信号の内挿画像(内挿フレーム)の破綻の程度を推定する。例えば、動きベクトルの検出精度が下がっている場合には、画像破綻の可能性が高いと考えられる。この場合、動きベクトルの候補数が増大したり、上位候補の評価値に差が少なく明確に動きベクトルを特定することが困難となる。そこで、動きベクトルの候補数が所定値よりも増加した場合に、内挿フレームの破綻と推定する。あるいは、上位候補の評価値の差が所定値よりも小さい場合に、内挿フレームの破綻と推定してもよい。   The motion vector detection unit 11e according to the present embodiment corresponds to the image failure estimation means of the present invention, and the failure of the interpolated image (interpolated frame) of the interpolated image signal inserted between frames or fields of the input image signal. Estimate the degree of. For example, when the motion vector detection accuracy is lowered, it is considered that the possibility of image corruption is high. In this case, the number of motion vector candidates increases, and it is difficult to clearly identify a motion vector with little difference in evaluation values of higher rank candidates. Therefore, when the number of motion vector candidates increases from a predetermined value, it is estimated that the interpolation frame is broken. Alternatively, when the difference between the evaluation values of the top candidates is smaller than a predetermined value, it may be estimated that the interpolation frame has failed.

また、内挿フレーム破綻の推定方法の他の例として、動きベクトルの交差数により内挿フレームの破綻を推定してもよい。例えば、人間が手を振っているような動画像では、動きベクトルの交差数が多くなる。動きベクトルの交差数が多い場合には比較する画像の整合性が取れていないと考えられるため、この交差数が所定値よりも増加した場合に内挿フレームの破綻と推定することができる。   As another example of the estimation method of the interpolation frame failure, the failure of the interpolation frame may be estimated from the number of motion vector intersections. For example, in a moving image in which a human is waving, the number of motion vector intersections increases. When the number of motion vector intersections is large, it is considered that the consistency of images to be compared is not achieved. Therefore, when the number of intersections exceeds a predetermined value, it can be estimated that the interpolation frame is broken.

また、内挿フレーム破綻の推定を内挿ベクトル評価部11fで行うようにしてもよい。この内挿ベクトル評価部11fは、前述したように、動きベクトル検出部11eにより検出された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルを入力フレーム間の内挿ブロックに割り付ける。この際、複数の内挿ベクトルが1つの内挿ブロックに割り付けられるケース、あるいは、内挿ベクトルが割り付けられない内挿ブロックが発生するケースが起こり得る。内挿フレームが破綻した状態では、このようなケースが多数発生すると考えられる。そこで、1つの内挿ブロックに割り付けられた内挿ベクトルの数または内挿ベクトルが割り付けられない内挿ブロックの数が所定値よりも増加した場合に内挿フレームの破綻と推定することができる。   Further, the estimation of the interpolation frame failure may be performed by the interpolation vector evaluation unit 11f. As described above, the interpolation vector evaluation unit 11f evaluates the motion vector detected by the motion vector detection unit 11e, and allocates an optimal interpolation vector to the interpolation block between the input frames based on the evaluation result. . At this time, a case where a plurality of interpolation vectors are assigned to one interpolation block or an interpolation block where no interpolation vector is assigned may occur. It is considered that many such cases occur when the interpolation frame is broken. Therefore, when the number of interpolation vectors assigned to one interpolation block or the number of interpolation blocks to which no interpolation vector is assigned increases beyond a predetermined value, it can be estimated that the interpolation frame has failed.

図3において、動きベクトル検出部11eまたは内挿ベクトル評価部11fは、入力画像信号に含まれる連続したフレーム間で動きベクトルを検出した結果に基づいて、内挿フレームが破綻すると推定された場合、破綻推定信号を制御部14に送出する。また、画像処理部13は、入力画像信号に含まれる入力フレームを特定するためのフレーム信号を制御部14に送出する。   In FIG. 3, when the motion vector detection unit 11e or the interpolation vector evaluation unit 11f is estimated that the interpolation frame fails based on the result of detecting the motion vector between consecutive frames included in the input image signal, A failure estimation signal is sent to the control unit 14. In addition, the image processing unit 13 sends a frame signal for specifying an input frame included in the input image signal to the control unit 14.

制御部14は、動きベクトル検出部11eまたは内挿ベクトル評価部11fからの破綻推定信号と、画像処理部13からのフレーム信号とに基づいて、タイムベース変換部12dに対して、内挿フレーム輝度制御信号と入力フレーム輝度制御信号を送出する。これらの輝度制御信号は、液晶表示装置に予め設定されている基準輝度レベルに対して、入力フレームの輝度レベルを高くし、内挿フレームの輝度レベルを低くし、入力フレームと内挿フレームの輝度レベルの平均が基準輝度レベルになるように制御するための制御信号である。なお、基準輝度レベルについては、後述の図5において説明するが、液晶表示装置に予め設定されているガンマ特性に基づいて決定されるものであり、通常使用時に入力映像信号を表示させる際の本来の輝度レベルとなる。   Based on the failure estimation signal from the motion vector detection unit 11e or the interpolation vector evaluation unit 11f and the frame signal from the image processing unit 13, the control unit 14 performs interpolation frame luminance on the time base conversion unit 12d. A control signal and an input frame luminance control signal are transmitted. These luminance control signals increase the luminance level of the input frame, decrease the luminance level of the interpolation frame, and reduce the luminance of the input frame and the interpolation frame with respect to a reference luminance level preset in the liquid crystal display device. This is a control signal for controlling the average of the levels to be the reference luminance level. The reference luminance level will be described later with reference to FIG. 5, but is determined based on a gamma characteristic set in advance in the liquid crystal display device, and is essential for displaying an input video signal during normal use. Brightness level.

タイムベース変換部12dは、内挿フレーム生成部12bで生成された内挿フレームを入力フレーム間に内挿する際に、制御部14からの入力フレーム輝度制御信号と内挿フレーム輝度制御信号とに基づいて、入力フレームの輝度レベルを基準輝度レベルよりも高く表示し、内挿フレームの輝度レベルを基準輝度レベルよりも低く表示するように電極駆動部15に指示する。なお、入力フレームと内挿フレームの輝度レベルの平均は基準輝度レベルとなる。   When the time base conversion unit 12d interpolates the interpolation frame generated by the interpolation frame generation unit 12b between the input frames, the time base conversion unit 12d converts the input frame luminance control signal and the interpolation frame luminance control signal from the control unit 14 to each other. Based on this, the electrode driver 15 is instructed to display the luminance level of the input frame higher than the reference luminance level and display the luminance level of the interpolation frame lower than the reference luminance level. Note that the average of the luminance levels of the input frame and the interpolated frame is the reference luminance level.

上記例では、画像破綻の程度として、所定値を用いて画像破綻するか否か(すなわち、画像破綻の有無)を推定していたが、このような画像破綻の有無に限らず、画像破綻の程度を例えば大中小などの複数段階に分けて推定してもよい。この場合、画像破綻推定手段である動きベクトル検出部11eまたは内挿ベクトル評価部11fにより、内挿フレームの画像破綻の程度を示す指標(動きベクトルの候補数など)が例えば大中小のどの段階にあるかを判定し、この判定結果に基づいて画像破綻の程度(大中小)を推定する。制御部14は、画像破綻の程度に応じて、入力フレームと内挿フレームの輝度レベルを変化させるための輝度制御信号をタイムベース変換部12dに送出する。タイムベース変換部12dは、制御部14からの輝度制御信号に従って、入力フレームと内挿フレームの輝度レベルを変化させる。   In the above example, the degree of image failure is estimated by using a predetermined value as to whether or not the image is broken (that is, whether or not the image is broken). The degree may be estimated in a plurality of stages such as large, medium, and small. In this case, the motion vector detection unit 11e or the interpolation vector evaluation unit 11f, which is an image failure estimation means, determines, for example, whether the index (the number of motion vector candidates) indicating the degree of image failure of the interpolation frame is large, medium, or small. It is determined whether or not there is, and the degree of image failure (large, medium, and small) is estimated based on the determination result. The control unit 14 sends a luminance control signal for changing the luminance level of the input frame and the interpolation frame to the time base conversion unit 12d in accordance with the degree of image failure. The time base conversion unit 12d changes the luminance levels of the input frame and the interpolation frame in accordance with the luminance control signal from the control unit 14.

画像破綻の程度を推定するための指標として、前述したように、動きベクトルの候補数、上位候補の評価値の差、動きベクトルの交差数、1つの内挿ブロックに割り付けられた内挿ベクトルの数、内挿ベクトルが割り付けられない内挿ブロックの数などが考えられる。例えば、これらの指標の段階(大中小など)と、入力フレームと内挿フレームの輝度レベルの変化量とを対応付けたテーブルデータを図示しないメモリに記憶しておいてもよい。動きベクトルの候補数について例示すると、候補数が5未満(程度が小)、5以上10未満(程度が中)、10以上(程度が大)などの段階に分け、5未満の場合には画像破綻の程度が小さいと推定されるため、内挿フレームの輝度レベルの変化量を比較的小さくし、一方、10以上の場合には画像破綻の程度が大きいと推定されるため、内挿フレームの輝度レベルの変化量を比較的大きくするなどの設定を行えば、画像破綻の程度に応じて、画質劣化を効果的に軽減することができる。   As described above, as an index for estimating the degree of image failure, as described above, the number of motion vector candidates, the difference between evaluation values of higher rank candidates, the number of motion vector intersections, and the interpolation vector assigned to one interpolation block The number, the number of interpolation blocks to which no interpolation vector can be assigned, etc. are conceivable. For example, table data that associates these index levels (large, medium, small, etc.) with the amount of change in the luminance level of the input frame and the interpolation frame may be stored in a memory (not shown). Illustrating the number of motion vector candidates, the number of candidates is divided into stages such as less than 5 (small degree), 5 or more and less than 10 (degree is medium), 10 or more (degree is large), etc. Since the degree of failure is estimated to be small, the amount of change in the luminance level of the interpolation frame is relatively small. On the other hand, if it is 10 or more, the degree of image failure is estimated to be large. If a setting is made such that the amount of change in luminance level is relatively large, image quality deterioration can be effectively reduced according to the degree of image corruption.

このように、動き補償型のFRC処理において、内挿フレームの破綻が推定される場合には、FRCをオンしたまま、内挿フレームの輝度レベルを落として暗くすることで、内挿フレームの破綻による画質劣化を目立たないようにすることができる。また、内挿フレームの輝度レベルを落とすことによる最大輝度の低下を入力フレームの輝度レベルを高くすることで補償しているため、視聴者の目には本来の輝度レベルが維持されているように感じられる。   As described above, in the motion compensation type FRC processing, when a failure of the interpolation frame is estimated, the luminance level of the interpolation frame is lowered and darkened while the FRC is turned on, thereby causing the failure of the interpolation frame. It is possible to make the deterioration of image quality due to the inconspicuous. In addition, since the decrease in the maximum luminance due to the decrease in the luminance level of the interpolation frame is compensated by increasing the luminance level of the input frame, the original luminance level is maintained for the viewer's eyes. felt.

ここで、内挿フレームの輝度レベルを下げるほど(黒に近いほど)、内挿フレームと入力フレームの輝度差が大きくなり、フリッカが目立つ傾向にあるため、内挿フレームの輝度レベルは基準輝度レベルに対して大きく変化させないことが望ましい。なお、入力フレーム及び内挿フレームに対する輝度レベルの設定は、制御部14がその都度計算することで行ってもよいし、輝度レベル設定用のルックアップテーブルを設けておき、このテーブルに基づいて行ってもよい。   Here, the lower the luminance level of the interpolated frame (closer to black), the larger the luminance difference between the interpolated frame and the input frame, and the flicker tends to stand out. Therefore, the luminance level of the interpolated frame is the reference luminance level. It is desirable not to greatly change The luminance level for the input frame and the interpolated frame may be set by the calculation by the control unit 14 each time, or a lookup table for setting the luminance level is provided and performed based on this table. May be.

図4は、本発明の液晶表示装置による画像破綻時のFRC処理の一例を説明するための図である。図中、f1〜f3は入力画像信号に含まれる入力フレーム、i1,i2は入力フレーム間に内挿する内挿フレームを示す。前述したように、制御部14は、動きベクトル検出部11eまたは内挿ベクトル評価部11fから破綻推定信号を受け付けると、FRC部10に対して、入力フレームf1〜f3の輝度レベルを基準輝度レベルより高くし、内挿フレームi1,i2の輝度レベルを基準輝度レベルより低く設定するための輝度制御信号を送出する。FRC部10は、制御部14からの輝度制御信号に従って、入力フレームf1〜f3及び内挿フレームi1,i2の輝度レベルを設定する。   FIG. 4 is a diagram for explaining an example of the FRC process at the time of image failure by the liquid crystal display device of the present invention. In the figure, f1 to f3 denote input frames included in the input image signal, and i1 and i2 denote interpolation frames to be interpolated between the input frames. As described above, when receiving the failure estimation signal from the motion vector detection unit 11e or the interpolation vector evaluation unit 11f, the control unit 14 causes the FRC unit 10 to set the luminance levels of the input frames f1 to f3 based on the reference luminance level. The brightness control signal is sent to set the brightness level of the interpolation frames i1 and i2 to be lower than the reference brightness level. The FRC unit 10 sets the luminance levels of the input frames f1 to f3 and the interpolation frames i1 and i2 according to the luminance control signal from the control unit 14.

図5は、図4に示したFRC処理に適用されるガンマ特性の一例を示す図である。図中、縦軸を表示輝度、横軸を階調とする。図5(A)は液晶表示装置の通常使用時におけるガンマ特性(基準輝度レベル)を示し、図5(B)は画像破綻時に入力フレームf1〜f3に適用されるガンマ特性、図5(C)は画像破綻時に内挿フレームi1,i2に適用されるガンマ特性を示す。このように、入力フレームf1〜f3は中間階調の輝度レベルが高くなるようなガンマ特性となり、内挿フレームi1,i2は中間階調の輝度レベルが低くなるようなガンマ特性となる。なお、入力フレームの輝度レベルと内挿フレームの輝度レベルとの平均は図5(A)に示す基準輝度レベルとなる。   FIG. 5 is a diagram illustrating an example of gamma characteristics applied to the FRC process illustrated in FIG. In the figure, the vertical axis represents display luminance and the horizontal axis represents gradation. 5A shows a gamma characteristic (reference luminance level) during normal use of the liquid crystal display device, and FIG. 5B shows a gamma characteristic applied to the input frames f1 to f3 at the time of image failure, and FIG. Indicates a gamma characteristic applied to the interpolation frames i1 and i2 at the time of image failure. Thus, the input frames f1 to f3 have a gamma characteristic that increases the luminance level of the intermediate gradation, and the interpolation frames i1 and i2 have a gamma characteristic that decreases the luminance level of the intermediate gradation. Note that the average of the luminance level of the input frame and the luminance level of the interpolated frame is the reference luminance level shown in FIG.

以上説明したように、本発明によれば、動き補償型のFRC処理において、画像破綻時に内挿画像の輝度を落として暗くすることにより、動的反応速度を向上させ、画像破綻による画質劣化を軽減することができる。
また、画像破綻時において、FRC処理をオフすることなく内挿画像の輝度を低くした場合に、原画像の輝度を高くして補償しているため、動き補償によるFRCの効果を維持しながら、最大輝度の低下を抑えることができる。
As described above, according to the present invention, in the motion compensation type FRC processing, the luminance of the interpolated image is reduced and darkened at the time of image failure, thereby improving the dynamic reaction speed and reducing the image quality deterioration due to the image failure. Can be reduced.
In addition, when the luminance of the interpolated image is lowered without turning off the FRC processing at the time of the image failure, since the luminance of the original image is increased to compensate, the effect of FRC by motion compensation is maintained, A decrease in the maximum luminance can be suppressed.

本発明の画像表示装置が備える動き補償型フレームレート変換部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the motion compensation type frame rate conversion part with which the image display apparatus of this invention is provided. フレーム生成部による内挿フレーム生成処理の一例を説明するための図である。It is a figure for demonstrating an example of the interpolation frame production | generation process by a frame production | generation part. 本発明の一実施形態に係る液晶表示装置の要部構成例を示すブロック図である。It is a block diagram which shows the principal part structural example of the liquid crystal display device which concerns on one Embodiment of this invention. 本発明の液晶表示装置による画像破綻時のFRC処理の一例を説明するための図である。It is a figure for demonstrating an example of the FRC process at the time of the image failure by the liquid crystal display device of this invention. 図4に示したFRC処理に適用されるガンマ特性の一例を示す図である。It is a figure which shows an example of the gamma characteristic applied to the FRC process shown in FIG. 従来の液晶表示装置におけるFRC駆動表示回路の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the FRC drive display circuit in the conventional liquid crystal display device. 図6に示した従来のFRC駆動表示回路によるフレームレート変換処理を説明するための図である。It is a figure for demonstrating the frame rate conversion process by the conventional FRC drive display circuit shown in FIG. 動きベクトル検出部及び内挿フレーム生成部による内挿フレーム生成処理について説明するための図である。It is a figure for demonstrating the interpolation frame production | generation process by a motion vector detection part and an interpolation frame production | generation part. フレーム間に原画像と同一画像を暗めにして(輝度を落として)挿入する方法を説明するための図である。It is a figure for demonstrating the method to insert the same image as an original image darkly (it reduces brightness) between frames.

符号の説明Explanation of symbols

10,100…フレームレート変換(FRC)部、11…ベクトル検出部、11a…輝度信号抽出部、11b…前処理フィルタ、11c…動き検出用フレームメモリ、11d…初期ベクトルメモリ、11e,101…動きベクトル検出部、11f…内挿ベクトル評価部、12…フレーム生成部、12a…内挿用フレームメモリ、12b,102…内挿フレーム生成部、12c…タイムベース変換用フレームメモリ、12d…タイムベース変換部、13…画像処理部、14…制御部、15,103…電極駆動部、16,104…液晶表示パネル。 DESCRIPTION OF SYMBOLS 10,100 ... Frame rate conversion (FRC) part, 11 ... Vector detection part, 11a ... Luminance signal extraction part, 11b ... Pre-processing filter, 11c ... Frame memory for motion detection, 11d ... Initial vector memory, 11e, 101 ... Motion Vector detection unit, 11f ... interpolation vector evaluation unit, 12 ... frame generation unit, 12a ... frame memory for interpolation, 12b, 102 ... frame generation unit for interpolation, 12c ... frame memory for time base conversion, 12d ... time base conversion 13, image processing unit, 14, control unit, 15, 103, electrode driving unit, 16, 104, liquid crystal display panel.

Claims (7)

入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換して表示パネルへ出力するレート変換手段を備えた画像表示装置であって、
前記入力画像信号のフレーム間あるいはフィールド間に内挿される内挿画像信号の画像破綻の程度を推定する画像破綻推定手段を備え、
前記レート変換手段は、前記画像破綻推定手段により前記内挿画像信号の内挿画像が破綻すると推定された場合、前記内挿画像信号の輝度レベルを前記入力画像信号の輝度レベルよりも低くすることを特徴とする画像表示装置。
Rate conversion means for converting the number of frames or the number of fields of the input image signal and outputting it to the display panel by interpolating the image signal subjected to motion compensation between frames or fields of the input image signal An image display device,
Image failure estimation means for estimating the degree of image failure of an interpolated image signal interpolated between frames or fields of the input image signal,
The rate conversion means makes the luminance level of the interpolated image signal lower than the luminance level of the input image signal when the image corruption estimating means estimates that the interpolated image of the interpolated image signal is corrupted. An image display device characterized by the above.
請求項1に記載の画像表示装置において、前記レート変換手段は、前記内挿画像の破綻の程度に応じて、前記入力画像信号と前記内挿画像信号の輝度レベルを変化させることを特徴とする画像表示装置。   The image display device according to claim 1, wherein the rate conversion unit changes a luminance level of the input image signal and the interpolated image signal according to a degree of failure of the interpolated image. Image display device. 請求項1又は2に記載の画像表示装置において、前記内挿画像が破綻すると推定された場合、前記画像表示装置に予め設定されている基準輝度レベルに対して、前記入力画像信号の輝度レベルを高くし、前記内挿画像信号の輝度レベルを低くし、前記入力画像信号と前記内挿画像信号の輝度レベルの平均が前記基準輝度レベルになるように制御することを特徴する画像表示装置。   3. The image display device according to claim 1, wherein when the interpolated image is estimated to fail, a luminance level of the input image signal is set to a reference luminance level preset in the image display device. An image display device, wherein the luminance level of the interpolated image signal is increased, the luminance level of the interpolated image signal is decreased, and an average of luminance levels of the input image signal and the interpolated image signal is controlled to be the reference luminance level. 請求項1乃至3のいずれか1項に記載の画像表示装置において、前記画像破綻推定手段は、前記レート変換手段における動きベクトルの候補数に基づいて、前記内挿画像信号の画像破綻の程度を推定することを特徴とする画像表示装置。   4. The image display device according to claim 1, wherein the image failure estimation unit determines the degree of image failure of the interpolated image signal based on the number of motion vector candidates in the rate conversion unit. 5. An image display device characterized by estimating. 請求項1乃至3のいずれか1項に記載の画像表示装置において、前記画像破綻推定手段は、前記レート変換手段における内挿画像へのベクトル割付状態に基づいて、前記内挿画像信号の画像破綻の程度を推定することを特徴とする画像表示装置。   4. The image display apparatus according to claim 1, wherein the image corruption estimation unit is configured to perform image corruption of the interpolated image signal based on a vector allocation state to the interpolated image in the rate conversion unit. 5. An image display device characterized by estimating the degree of. 請求項1乃至3のいずれか1項に記載の画像表示装置において、前記画像破綻推定手段は、前記レート変換手段における動きベクトルの交差数に基づいて、前記内挿画像信号の画像破綻の程度を推定することを特徴とする画像表示装置。   4. The image display device according to claim 1, wherein the image failure estimation unit determines a degree of image failure of the interpolated image signal based on a number of motion vector intersections in the rate conversion unit. 5. An image display device characterized by estimating. 請求項1乃至6のいずれか1項に記載の画像表示装置において、前記レート変換手段は、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトル情報を検出する動きベクトル検出部と、該検出した動きベクトル情報に基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、該割り付けた内挿ベクトルから内挿画像信号を生成する内挿画像生成部と、該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有することを特徴とする画像表示装置。   7. The image display device according to claim 1, wherein the rate conversion unit includes a motion vector detection unit that detects motion vector information between consecutive frames or fields included in the input image signal. An interpolation vector allocating unit that allocates an interpolation vector between the frames or between the fields based on the detected motion vector information, and an interpolation image generating unit that generates an interpolation image signal from the allocated interpolation vector And an image interpolating unit for interpolating the generated interpolated image signal between the frames or the fields.
JP2008105468A 2008-04-15 2008-04-15 Image display device Pending JP2009258269A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008105468A JP2009258269A (en) 2008-04-15 2008-04-15 Image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008105468A JP2009258269A (en) 2008-04-15 2008-04-15 Image display device

Publications (1)

Publication Number Publication Date
JP2009258269A true JP2009258269A (en) 2009-11-05

Family

ID=41385808

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008105468A Pending JP2009258269A (en) 2008-04-15 2008-04-15 Image display device

Country Status (1)

Country Link
JP (1) JP2009258269A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901575A (en) * 2009-05-29 2010-12-01 奇美电子股份有限公司 Display control device
US20110249135A1 (en) * 2010-04-08 2011-10-13 Canon Kabushiki Kaisha Image processing apparatus and method of controlling same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301621A (en) * 2004-04-09 2005-10-27 Sony Corp Image processing device and method, recording medium, and program
JP2006101267A (en) * 2004-09-30 2006-04-13 Sony Corp Image processing apparatus and method, recording medium, and program
JP2008067027A (en) * 2006-09-07 2008-03-21 Mitsubishi Electric Corp Moving vector detecting device
JP2008070838A (en) * 2006-09-15 2008-03-27 Semiconductor Energy Lab Co Ltd Display apparatus and driving method thereof
JP2008076644A (en) * 2006-09-20 2008-04-03 Toshiba Corp Image display device, image display method and image display program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301621A (en) * 2004-04-09 2005-10-27 Sony Corp Image processing device and method, recording medium, and program
JP2006101267A (en) * 2004-09-30 2006-04-13 Sony Corp Image processing apparatus and method, recording medium, and program
JP2008067027A (en) * 2006-09-07 2008-03-21 Mitsubishi Electric Corp Moving vector detecting device
JP2008070838A (en) * 2006-09-15 2008-03-27 Semiconductor Energy Lab Co Ltd Display apparatus and driving method thereof
JP2008076644A (en) * 2006-09-20 2008-04-03 Toshiba Corp Image display device, image display method and image display program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901575A (en) * 2009-05-29 2010-12-01 奇美电子股份有限公司 Display control device
US20110249135A1 (en) * 2010-04-08 2011-10-13 Canon Kabushiki Kaisha Image processing apparatus and method of controlling same
JP2011234342A (en) * 2010-04-08 2011-11-17 Canon Inc Image processor and control method thereof
US8947550B2 (en) 2010-04-08 2015-02-03 Canon Kabushiki Kaisha Image processing apparatus with frame conversion, and method of controlling same

Similar Documents

Publication Publication Date Title
JP4615508B2 (en) Image display apparatus and method, image processing apparatus and method
JP4181593B2 (en) Image display apparatus and method
JP4303748B2 (en) Image display apparatus and method, image processing apparatus and method
JP5215668B2 (en) Image display apparatus and method
JP4722936B2 (en) Image display apparatus and method
JP4746514B2 (en) Image display apparatus and method, image processing apparatus and method
JP2008158162A (en) Image display device and method, and image processor and method
JP2008078859A (en) Image display device and method and image processing unit and method
JP2008090176A (en) Image display device and method, and image processing apparatus, and method
JP2009055340A (en) Image display device and method, and image processing apparatus and method
JP4731356B2 (en) Image display apparatus and method
JP4181614B2 (en) Image display apparatus and method, image processing apparatus and method
JP4615594B2 (en) Image display apparatus and method, image processing apparatus and method
JP4231539B2 (en) Image display apparatus and method, image processing apparatus and method
JP4181613B2 (en) Image display apparatus and method
JP2009258269A (en) Image display device
JP4504999B2 (en) Image display apparatus and method, image processing apparatus and method
JP4772008B2 (en) Image display apparatus and method, image processing apparatus and method
JP4769234B2 (en) Image display apparatus and method, image processing apparatus and method
JP4181612B2 (en) Image display apparatus and method
JP4369971B2 (en) Image display apparatus and method, image processing apparatus and method
JP4772007B2 (en) Image display apparatus and method, image processing apparatus and method
JP4746606B2 (en) Image display apparatus and method, image processing apparatus and method
JP4181615B2 (en) Image display apparatus and method, image processing apparatus and method
JP4369967B2 (en) Image display apparatus and method, image processing apparatus and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120425

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120821