JP2005160015A - Image processing unit, method, and program - Google Patents
Image processing unit, method, and program Download PDFInfo
- Publication number
- JP2005160015A JP2005160015A JP2004124271A JP2004124271A JP2005160015A JP 2005160015 A JP2005160015 A JP 2005160015A JP 2004124271 A JP2004124271 A JP 2004124271A JP 2004124271 A JP2004124271 A JP 2004124271A JP 2005160015 A JP2005160015 A JP 2005160015A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- pixel
- unit
- correction
- target pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Image Analysis (AREA)
- Picture Signal Circuits (AREA)
Abstract
Description
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、周囲と調和の取れた動きベクトルを容易に検出することができる、画像処理装置および方法、並びにプログラムに関する。 The present invention relates to an image processing apparatus, method, and program, and more particularly, to an image processing apparatus, method, and program that can easily detect a motion vector that is in harmony with the surroundings.
動画像の表示装置として、従来、CRT(Cathode Ray Tub)が普及しているが、近年、液晶型表示装置(例えば、特許文献1参照)の普及も著しい。 Conventionally, a CRT (Cathode Ray Tub) has been widely used as a moving image display device, but in recent years, a liquid crystal display device (see, for example, Patent Document 1) has also become widespread.
CRTは、動画像を構成する複数のフレームのうちの所定の1つの表示が指示されると、内蔵する電子銃を、CRTの画面を構成する複数の水平ライン(走査線)のそれぞれに沿って順次走査させることで、指示されたフレーム(以下、表示が指示されたフレームを、表示対象フレームと称する)を画面に表示させる。 When the display of a predetermined one of a plurality of frames constituting a moving image is instructed, the CRT moves the built-in electron gun along each of a plurality of horizontal lines (scanning lines) constituting the CRT screen. By sequentially scanning, the instructed frame (hereinafter, the frame instructed to display is referred to as a display target frame) is displayed on the screen.
従って、表示対象フレームを構成する複数の画素のそれぞれに注目すると、複数の画素のそれぞれは、時間方向においてインパルス状に表示される(電子銃が走査して来て、対応する位置に来た瞬間のみ表示される)ことになる。なお、以下、このようなCRTと同様の表示方式を採用する表示装置を総称して、インパルス型表示装置と称する。 Accordingly, when attention is paid to each of the plurality of pixels constituting the display target frame, each of the plurality of pixels is displayed in an impulse shape in the time direction (the moment when the electron gun scans and reaches the corresponding position) Will be displayed only). Hereinafter, display devices that employ a display method similar to that of the CRT are collectively referred to as an impulse display device.
これに対して、液晶型表示装置は、動画像を構成する複数のフレームのうちの所定の1つ(表示対象フレーム)の表示が指示されてから、次のフレームの表示が指示されるまで、その画面を構成する全ての液晶の表示を保持させることで、表示対象フレームを画面に表示させる。 On the other hand, the liquid crystal display device is instructed to display a predetermined one (display target frame) of a plurality of frames constituting a moving image until a display of the next frame is instructed. The display target frame is displayed on the screen by holding all the liquid crystal displays constituting the screen.
詳細には、例えば、1つの液晶に1つの画素が対応付けられているとする。この場合、フレームの表示の指示として、その表示対象フレームを構成する各画素の画素値のそれぞれが液晶型表示装置に指示される。すると、液晶型表示装置は、その画面を構成する各液晶(各画素のそれぞれに対応する各液晶)のそれぞれに対して、指示された画素値に対応するレベルの電圧を印加する。これにより、各液晶のそれぞれは、印加された電圧に応じた光を出力する。即ち、所定の液晶から出力される光のレベルは、その液晶に印加された電圧のレベルに対応する。 Specifically, for example, it is assumed that one pixel is associated with one liquid crystal. In this case, as an instruction to display a frame, each pixel value of each pixel constituting the display target frame is instructed to the liquid crystal display device. Then, the liquid crystal display device applies a voltage of a level corresponding to the instructed pixel value to each liquid crystal (each liquid crystal corresponding to each pixel) constituting the screen. Thereby, each liquid crystal outputs light according to the applied voltage. That is, the level of light output from a predetermined liquid crystal corresponds to the level of voltage applied to the liquid crystal.
その後、少なくとも次のフレームの表示が指示されるまでの間、各液晶のそれぞれには同一レベルの電圧が印加され続けるので、各液晶のそれぞれは一定レベルの光を出力し続ける。即ち、各液晶のそれぞれには、指示された画素値を有する画素が表示され続ける。 Thereafter, at least until the display of the next frame is instructed, the same level of voltage is continuously applied to each of the liquid crystals, so that each of the liquid crystals continues to output a certain level of light. That is, each liquid crystal continues to display pixels having the designated pixel value.
そして、次のフレームの表示が指示されて、所定の画素の画素値の変更が必要となった場合、その画素に対応する液晶には、変更された画素値に対応するレベルの電圧が印加されるので(印加される電圧のレベルが変化するので)、その液晶の出力レベル(光のレベル)も変化することになる。 When the display of the next frame is instructed and the pixel value of a predetermined pixel needs to be changed, the voltage corresponding to the changed pixel value is applied to the liquid crystal corresponding to the pixel. Therefore (because the level of the applied voltage changes), the output level (light level) of the liquid crystal also changes.
このように、液晶型表示装置は、CRT等のインパルス型表示装置とは異なる表示方式を採用しているので、インパルス型表示装置と比較して、設置スペースが少なくて済む、消費電力が少ない、および、歪みが生じにくいといった特長を有している。
しかしながら、液晶型表示装置は、動画像を表示する場合、インパルス型表示装置と比較して動きボケの発生頻度が多いという第1の課題がある。 However, the liquid crystal display device has a first problem in that when moving images are displayed, motion blur is generated more frequently than the impulse display device.
従来、この第1の課題の発生、即ち、液晶型表示装置における動きボケの発生は、液晶の応答速度の遅さが原因であると考えられていた。即ち、液晶型表示装置では、各液晶のそれぞれの出力レベルが、指示された目標レベル(例えば、1つの液晶に1つの画素が対応付けられている場合、指示された画素値に対応するレベル)に到達するまでに時間がかかるため、動きボケが発生してしまうと考えられていた。 Conventionally, the occurrence of the first problem, that is, the occurrence of motion blur in a liquid crystal display device, was considered to be caused by the slow response speed of the liquid crystal. In other words, in the liquid crystal display device, the output level of each liquid crystal is the instructed target level (for example, when one pixel is associated with one liquid crystal, the level corresponding to the instructed pixel value). Since it takes time to reach, it was thought that motion blur would occur.
そこで、この第1の課題を解決するために、即ち、液晶型表示装置における動きボケの発生を抑制するために、特許文献1には次のような手法が開示されている。即ち、特許文献1に開示されている手法とは、各液晶(各画素)のそれぞれに対して、目標レベルよりも高いレベルの電圧を印加する手法(以下、オーバドライブ方式と称する)である。換言すると、オーバドライブ方式は、目標レベルとして、いままでのレベルよりも高いレベルを設定する手法、即ち、目標レベルを補正する手法である。
Therefore, in order to solve the first problem, that is, to suppress the occurrence of motion blur in the liquid crystal display device,
しかしながら、このようなオーバドライブ方式を適用しても、動きボケの発生を依然として抑制することができない状況であった。換言すると、液晶型表示装置における、動画像の動きボケを抑制させる手法として効果的な手法が存在せず、この第1の課題を解決することができない状況であった。 However, even when such an overdrive method is applied, the occurrence of motion blur cannot be suppressed. In other words, there is no effective technique for suppressing the motion blur of moving images in the liquid crystal display device, and the first problem cannot be solved.
そこで、本願出願人は、このような状況に鑑みて、従来のオーバドライブ方式を適用しても第1の課題を解決することができない要因、即ち、液晶型表示装置における動きボケの発生を抑制することができない要因について解析し、その解析結果に基づいて、第1の課題を解決することが可能な画像処理装置を発明した。なお、この発明は、本願出願人により先に出願されている(特願2003−270965号)。 Therefore, in view of such circumstances, the applicant of the present application suppresses the factor that cannot solve the first problem even when the conventional overdrive method is applied, that is, the occurrence of motion blur in the liquid crystal display device. The factor which cannot be analyzed was analyzed, and the image processing apparatus which can solve the first problem based on the analysis result was invented. This invention has been filed earlier by the applicant of the present application (Japanese Patent Application No. 2003-270965).
即ち、上述したように、液晶型表示装置において、動きボケが発生する原因の1つは液晶(画素)の応答速度が遅いことであり、オーバドライブ方式はこの原因を考慮した手法である。 That is, as described above, in the liquid crystal display device, one of the causes of motion blur is the slow response speed of the liquid crystal (pixels), and the overdrive method is a method that takes this cause into consideration.
しかしながら、液晶型表示装置における動きボケの発生は、液晶の応答の遅さだけが原因ではなく、人間(液晶型表示装置を見るユーザ)の目が有する追従視と称される特性もその原因の1つである。それにも関わらず、従来のオーバドライブ方式では追従視について全く考慮しておらず、このため、動きボケの発生を抑制することができないでいる、と本願出願人は解析した。なお、追従視とは、網膜残像とも称される特性であって、物体が動いている場合、人間の目が無意識のうちにその物体に追従してしまう特性を指す。 However, the occurrence of motion blur in the liquid crystal display device is not only due to the slow response of the liquid crystal, but also due to a characteristic called human vision (a user viewing the liquid crystal display device) called “following vision”. One. Nevertheless, the Applicant has analyzed that the conventional overdrive method does not consider tracking vision at all, and thus it is impossible to suppress the occurrence of motion blur. Note that the tracking vision is a characteristic also called a retina afterimage, and refers to a characteristic that the human eye unconsciously follows the object when the object is moving.
換言すると、人間の目は追従視という特性を有しているので、従来のオーバドライブ方式のように、動いているオブジェクトを表示する液晶(画素)の全ての画素値(それに対応する、液晶に印加される電圧のレベル)を補正しても、即ち、液晶の出力レベルの時間応答だけを改善しても、動きボケを解消することはできない、と本願出願人は解析した。 In other words, since the human eye has the characteristic of following vision, all the pixel values of the liquid crystal (pixel) that displays the moving object (corresponding to the liquid crystal corresponding thereto) as in the conventional overdrive method. The present applicant has analyzed that the motion blur cannot be eliminated even if the applied voltage level is corrected, that is, only the time response of the output level of the liquid crystal is improved.
そこで、上述したように、本願出願人は、液晶の応答の遅さのみならず追従視も考慮した画像処理を実行する画像処理装置を発明した。 Therefore, as described above, the applicant of the present application has invented an image processing apparatus that executes image processing in consideration of not only the slow response of the liquid crystal but also the follow-up vision.
即ち、この本願出願人により発明された画像処理装置は、表示対象フレームを構成する各画素のうちの処理の対象として注目する画素(以下、注目画素と称する)が、動きのあるオブジェクトのエッジ部分に対応する場合、注目画素の動きベクトル(方向と大きさ)に応じて注目画素の画素値を補正することで、追従視による動きボケの抑制を可能にしている。 In other words, the image processing apparatus invented by the applicant of the present application uses an edge portion of an object in which a pixel of interest (hereinafter, referred to as a pixel of interest) as a processing target among pixels constituting a display target frame is a moving object. , By correcting the pixel value of the target pixel according to the motion vector (direction and size) of the target pixel, it is possible to suppress motion blur due to follow-up vision.
しかしながら、このとき、注目画素の動きベクトルとして、注目画素の周囲の画素の動きベクトルに対して異質なベクトルが使用されてしまうと(周囲と調和の取れた動きベクトルが使用されないと)、最終的に得られる補正画像(表示対象フレーム)において、注目画素の画素値(補正値)も、その周囲の画素の画素値(補正値)に対して異質な値となってしまうという第2の課題が発生してしまう。換言すると、最終的に得られる補正画像の注目画素が、その周囲の他の画素に対して異質な画素となってしまい、画質の低下が生じてしまうという第2の課題が発生してしまう。 However, at this time, if a vector that is different from the motion vector of the surrounding pixels of the pixel of interest is used as the motion vector of the pixel of interest (if a motion vector that is in harmony with the surroundings is not used), the final The second problem is that the pixel value (correction value) of the pixel of interest also becomes a different value from the pixel values (correction values) of the surrounding pixels in the corrected image (display target frame) obtained in the above. Will occur. In other words, the pixel of interest in the finally obtained corrected image becomes a pixel that is different from the surrounding pixels, and a second problem occurs that the image quality is degraded.
以上、液晶型表示装置が有する課題として説明したが、このような第1の課題と第2の課題は、液晶型表示装置のみならず次の特徴を有する表示装置全体が有する課題である。即ち、第1の課題と第2の課題を有する表示装置の特徴とは、目標レベルが指示されてから、出力レベルがその目標レベルに到達するまでに、所定の時間を要する表示素子を複数個有し、複数の表示素子のそれぞれが、フレームまたはフィールドを構成する画素のうちの所定の1つの少なくとも一部分に対応付けられている、という特徴である。 Although the liquid crystal display device has been described as a problem, the first problem and the second problem are problems not only for the liquid crystal display device but also for the entire display device having the following characteristics. That is, the feature of the display device having the first problem and the second problem is that a plurality of display elements that require a predetermined time from when the target level is designated until the output level reaches the target level. And each of the plurality of display elements is associated with at least a part of a predetermined one of the pixels constituting the frame or the field.
なお、このような特徴を有する表示装置においては、所定のフレームまたはフィールドの表示が指示されてから、所定の時間(例えば、次のフレームまたはフィールドの表示が指示されるまでの時間)の間、画面を構成する各表示素子のうちの少なくとも一部の表示をホールドさせる表示方式が採用されていることが多い。なお、以下、液晶型表示装置等、このような表示方式を採用する表示装置をまとめて、ホールド型表示装置と称する。また、ホールド型表示装置の画面を構成する各表示素子(液晶型表示装置の場合には液晶)のそれぞれの表示の形態を、ホールド表示と称する。即ち、第1の課題と第2の課題は、ホールド型表示装置が有する課題であるとも言える。 In the display device having such a feature, for a predetermined time (for example, a time until the display of the next frame or field is instructed) after the display of the predetermined frame or field is instructed, In many cases, a display method for holding at least a part of the display elements constituting the screen is employed. Hereinafter, display devices that employ such a display method, such as a liquid crystal display device, are collectively referred to as a hold-type display device. The display form of each display element (liquid crystal in the case of a liquid crystal display device) constituting the screen of the hold type display device is referred to as a hold display. That is, it can be said that the first problem and the second problem are problems that the hold type display device has.
本発明は、このような状況に鑑みてなされたものであり、周囲と調和の取れた動きベクトルを容易に検出することができるようにするものである。 The present invention has been made in view of such a situation, and makes it possible to easily detect a motion vector in harmony with the surroundings.
本発明の第1の画像処理装置は、第1のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、第1のアクセスユニットと、第1のアクセスユニットの直前の第2のアクセスユニットとを比較することで、注目画素における動きベクトル候補を生成する候補生成手段と、候補生成手段により生成された注目画素とその周辺の画素のそれぞれにおける動きベクトル候補のうちの頻度が最も高い動きベクトル候補を、注目画素における動きベクトルとして決定する動きベクトル決定手段と、注目画素周辺の輝度の変化の度合を演算する輝度変化演算手段と、輝度変化演算手段と候補生成手段との処理結果に基づいて、動きベクトル決定手段により決定された動きベクトルの信頼度を評価し、動きベクトルの信頼度が低いと評価した場合、動きベクトルを補正する補正手段とを備えることを特徴とする。 The first image processing apparatus according to the present invention sets a predetermined pixel among the pixels constituting the first access unit as a target pixel, the first access unit, and the second just before the first access unit. The frequency of the motion vector candidates in each of the target pixel generated by the candidate generation unit and its surrounding pixels is the highest. Processing results of a motion vector determination unit that determines a high motion vector candidate as a motion vector in the target pixel, a luminance change calculation unit that calculates the degree of change in luminance around the target pixel, a luminance change calculation unit, and a candidate generation unit Based on the above, the reliability of the motion vector determined by the motion vector determination means is evaluated, and if the reliability of the motion vector is low If you value, characterized in that it comprises a correcting means for correcting the motion vector.
補正手段は、輝度変化演算手段により演算された輝度の変化の度合が閾値未満の場合、動きベクトルの信頼度が低いと評価して、動きベクトルを補正するようにすることができる。 The correction means can correct the motion vector by evaluating that the reliability of the motion vector is low when the degree of change in brightness calculated by the brightness change calculation means is less than a threshold value.
候補生成手段は、注目画素の配置位置に対応する第2のアクセスユニット内の位置に配置される第1の画素の対応画素として、第1のアクセスユニットから第2の画素を検出し、注目画素を起点とし第2の画素を終点とするベクトルを、注目画素における動きベクトル候補として生成するようにすることができる。 The candidate generating means detects the second pixel from the first access unit as the corresponding pixel of the first pixel arranged at the position in the second access unit corresponding to the arrangement position of the target pixel, and A vector starting from the second pixel and ending at the second pixel can be generated as a motion vector candidate at the target pixel.
候補生成手段はさらに、第1のアクセスユニットの中に対応画素の候補が複数個存在すると判定した場合、または、第2の画素が対応画素であることの信頼度が低いと判定した場合、動きベクトルの補正指令を示す第1の情報を補正手段に提供し、補正手段は、候補生成手段から第1の情報が提供された場合、動きベクトルの信頼度が低いと評価して、動きベクトルを補正するようにすることができる。 If the candidate generating means further determines that there are a plurality of corresponding pixel candidates in the first access unit, or if it is determined that the reliability of the second pixel being a corresponding pixel is low, First information indicating a vector correction command is provided to the correction unit. When the first information is provided from the candidate generation unit, the correction unit evaluates that the reliability of the motion vector is low and determines the motion vector. It can be corrected.
候補生成手段はさらに、複数の対応画素の候補の中に注目画素自身が含まれている場合、そのことを示す第2の情報を補正手段に提供し、補正手段は、候補生成手段から第2の情報が提供された場合、動きベクトルの信頼度が低いと評価して、動きベクトルを0ベクトルに補正するようにすることができる。 The candidate generation means further provides the correction means with second information indicating that, when the target pixel itself is included in the plurality of corresponding pixel candidates, the correction means receives the second information from the candidate generation means. If this information is provided, it can be evaluated that the reliability of the motion vector is low, and the motion vector can be corrected to a zero vector.
本発明の第1の画像処理方法は、第1のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、第1のアクセスユニットと、第1のアクセスユニットの直前の第2のアクセスユニットとを比較することで、注目画素における動きベクトル候補を生成する候補生成ステップと、候補生成ステップの処理により生成された注目画素とその周辺の画素のそれぞれにおける動きベクトル候補のうちの頻度が最も高い動きベクトル候補を、注目画素における動きベクトルとして決定する動きベクトル決定ステップと、注目画素周辺の輝度の変化の度合を演算する輝度変化演算ステップと、輝度変化演算ステップと候補生成ステップとの処理結果に基づいて、動きベクトル決定ステップの処理により決定された動きベクトルの信頼度を評価し、動きベクトルの信頼度が低いと評価した場合、動きベクトルを補正する補正ステップとを含むことを特徴とする。 According to the first image processing method of the present invention, a predetermined pixel among the pixels constituting the first access unit is set as a target pixel, and the first access unit and the second just before the first access unit are set. A candidate generation step for generating a motion vector candidate at the target pixel by comparing the access unit with the access unit, and the frequency of the motion vector candidates at each of the target pixel generated by the processing of the candidate generation step and its surrounding pixels A motion vector determination step for determining a motion vector candidate having the highest value as a motion vector at the target pixel, a luminance change calculation step for calculating the degree of change in luminance around the target pixel, a luminance change calculation step, and a candidate generation step. The reliability of the motion vector determined by the processing of the motion vector determination step based on the processing result Evaluates, when assessed to be low reliability of the motion vector, characterized in that it comprises a step of correcting a motion vector.
本発明の第1のプログラムは、コンピュータに実行させるプログラムであって、第1のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、注目画素を単位とする画像処理をコンピュータに実行させるプログラムであって、第1のアクセスユニットと、第1のアクセスユニットの直前の第2のアクセスユニットとを比較することで、注目画素における動きベクトル候補を生成する候補生成ステップと、候補生成ステップの処理により生成された注目画素とその周辺の画素のそれぞれにおける動きベクトル候補のうちの頻度が最も高い動きベクトル候補を、注目画素における動きベクトルとして決定する動きベクトル決定ステップと、注目画素周辺の輝度の変化の度合を演算する輝度変化演算ステップと、輝度変化演算ステップと候補生成ステップとの処理結果に基づいて、動きベクトル決定ステップの処理により決定された動きベクトルの信頼度を評価し、動きベクトルの信頼度が低いと評価した場合、動きベクトルを補正する補正ステップとを含むことを特徴とする。 A first program according to the present invention is a program to be executed by a computer, wherein a predetermined pixel among pixels constituting the first access unit is set as a target pixel, and image processing in units of the target pixel is performed by the computer. A candidate generation step of generating a motion vector candidate at the pixel of interest by comparing the first access unit and the second access unit immediately before the first access unit, A motion vector determination step for determining a motion vector candidate having the highest frequency among motion vector candidates in each of the target pixel and the surrounding pixels generated by the processing of the generation step as a motion vector in the target pixel; Brightness change calculation step to calculate the degree of brightness change of Based on the processing results of the step and the candidate generation step, the reliability of the motion vector determined by the processing of the motion vector determination step is evaluated, and if the reliability of the motion vector is evaluated to be low, the correction for correcting the motion vector And a step.
本発明の第1の画像処理装置および方法、並びに、第1のプログラムにおいては、第1のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定され、注目画素を単位とする画像処理が実行される。即ち、第1のアクセスユニットと、第1のアクセスユニットの直前の第2のアクセスユニットとが比較され、その比較結果に基づいて注目画素における動きベクトル候補が生成される。このような動きベクトル候補は、注目画素のみならずその周辺の画素のそれぞれについても生成される。次に、このようにして生成された注目画素とその周辺の画素のそれぞれにおける動きベクトル候補のうちの頻度が最も高い動きベクトル候補が、注目画素における動きベクトルとして決定される。そして、注目画素周辺の輝度の変化の度合と、動きベクトル候補が生成された際の処理結果とに基づいて動きベクトルの信頼度が評価され、動きベクトルの信頼度が低いと評価された場合、動きベクトルが補正される。 In the first image processing apparatus and method and the first program of the present invention, an image in which a predetermined pixel among the pixels constituting the first access unit is set as a target pixel, and the target pixel is a unit. Processing is executed. That is, the first access unit and the second access unit immediately before the first access unit are compared, and a motion vector candidate at the target pixel is generated based on the comparison result. Such motion vector candidates are generated not only for the pixel of interest but also for each of the surrounding pixels. Next, the motion vector candidate having the highest frequency among the motion vector candidates in the pixel of interest generated in this manner and the surrounding pixels is determined as the motion vector in the pixel of interest. Then, when the reliability of the motion vector is evaluated based on the degree of change in luminance around the pixel of interest and the processing result when the motion vector candidate is generated, and the reliability of the motion vector is evaluated as low, The motion vector is corrected.
本発明の第2の画像処理装置は、第1のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、第1のアクセスユニットと、第1のアクセスユニットの直前の第2のアクセスユニットとを比較することで、注目画素における動きベクトル候補を生成する候補生成手段と、候補生成手段により生成された注目画素とその周辺の画素のそれぞれにおける動きベクトル候補のうちの頻度が最も高い動きベクトル候補を、注目画素における動きベクトルとして決定する動きベクトル決定手段と、動きベクトル決定手段により決定された動きベクトルを補正する補正手段と、補正手段により補正された動きベクトルを利用して、所定の処理を実行する処理実行手段とを備え、補正手段は、処理実行手段の所定の処理の特徴に基づく第1の補正方法を利用して、動きベクトルを補正することを特徴とする。 The second image processing apparatus of the present invention sets a predetermined pixel of the pixels constituting the first access unit as a target pixel, and the first access unit and the second just before the first access unit. The frequency of the motion vector candidates in each of the target pixel generated by the candidate generation unit and its surrounding pixels is the highest. Using a motion vector determination unit that determines a high motion vector candidate as a motion vector at the target pixel, a correction unit that corrects the motion vector determined by the motion vector determination unit, and a motion vector corrected by the correction unit, Process executing means for executing a predetermined process, and the correcting means is based on characteristics of the predetermined process of the process executing means. By using the first correction method, and corrects the motion vector.
注目画素周辺の輝度の変化の度合を演算する輝度変化演算手段をさらに設け、補正手段は、さらに、輝度変化演算手段と候補生成手段との処理結果に基づいて、動きベクトル決定手段により決定された動きベクトルの信頼度を評価し、動きベクトルの信頼度が低いと評価した場合、第1の補正方法により補正された動きベクトルを、第2の補正方法によりさらに補正するようにすることができる。 Further provided is a luminance change calculating means for calculating the degree of luminance change around the target pixel, and the correcting means is further determined by the motion vector determining means based on the processing results of the luminance change calculating means and the candidate generating means. When the reliability of the motion vector is evaluated and it is determined that the reliability of the motion vector is low, the motion vector corrected by the first correction method can be further corrected by the second correction method.
本発明の第2の情報処理装置の第2の情報処理方法は、第1のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、第1のアクセスユニットと、第1のアクセスユニットの直前の第2のアクセスユニットとを比較することで、注目画素における動きベクトル候補を生成する候補生成ステップと、候補生成ステップの処理により生成された注目画素とその周辺の画素のそれぞれにおける動きベクトル候補のうちの頻度が最も高い動きベクトル候補を、注目画素における動きベクトルとして決定する動きベクトル決定ステップと、動きベクトル決定ステップの処理により決定された動きベクトルを補正する補正ステップと、補正ステップの処理により補正された動きベクトルを利用した所定の処理を第2の情報処理装置が実行することを制御する処理制御ステップとを含み、補正ステップは、処理制御ステップの制御により情報処理装置が実行する所定の処理の特徴に基づく第1の補正方法を利用して、動きベクトルを補正するステップを少なくとも含むことを特徴とする。 According to a second information processing method of the second information processing apparatus of the present invention, a predetermined pixel among pixels constituting the first access unit is set as a target pixel, and the first access unit, By comparing with the second access unit immediately before the access unit, a candidate generation step for generating a motion vector candidate at the target pixel, and at each of the target pixel generated by the processing of the candidate generation step and its surrounding pixels A motion vector determination step for determining a motion vector candidate having the highest frequency among the motion vector candidates as a motion vector in the target pixel, a correction step for correcting the motion vector determined by the processing of the motion vector determination step, and a correction step Predetermined processing using the motion vector corrected by the processing in the second information processing apparatus A correction control step that corrects the motion vector using a first correction method based on characteristics of a predetermined process executed by the information processing apparatus under the control of the process control step. Including at least the step of:
本発明の第2のプログラムは、動画像を構成する複数のアクセスユニットのうちの所定の1つを処理対象として、処理対象のアクセスユニットを構成する各画素のそれぞれにおける動きベクトルを利用する所定の処理を実行する処理実行装置を制御するコンピュータに実行させるプログラムであって、第1のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、第1のアクセスユニットと、第1のアクセスユニットの直前の第2のアクセスユニットとを比較することで、注目画素における動きベクトル候補を生成する候補生成ステップと、候補生成ステップの処理により生成された注目画素とその周辺の画素のそれぞれにおける動きベクトル候補のうちの頻度が最も高い動きベクトル候補を、注目画素における動きベクトルとして決定する動きベクトル決定ステップと、動きベクトル決定ステップの処理により決定された動きベクトルを補正する補正ステップと、補正ステップの処理により補正された動きベクトルを利用して所定の処理を処理実行装置が実行することを制御する処理制御ステップとを含み、補正ステップは、処理制御ステップの制御により処理実行装置が実行する所定の処理の特徴に基づく第1の補正方法を利用して、動きベクトルを補正するステップを少なくとも含むことを特徴とする。 The second program of the present invention uses a predetermined one of a plurality of access units constituting a moving image as a processing target, and uses a motion vector in each of the pixels constituting the processing target access unit. A program that is executed by a computer that controls a processing execution apparatus that executes processing, wherein a predetermined pixel among pixels constituting the first access unit is set as a target pixel, and the first access unit, A candidate generation step for generating a motion vector candidate at the pixel of interest by comparing with the second access unit immediately before the access unit, and each of the pixel of interest generated by the processing of the candidate generation step and its surrounding pixels The motion vector candidate with the highest frequency among the motion vector candidates in A motion vector determination step for determining as a vector, a correction step for correcting the motion vector determined by the processing of the motion vector determination step, and a predetermined processing using the motion vector corrected by the processing of the correction step A correction control step using a first correction method based on characteristics of a predetermined process executed by the process execution device under the control of the process control step. It includes at least a correcting step.
本発明の第2の情報処理装置および方法、並びに第2のプログラムにおいては、第1のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定され、第1のアクセスユニットと、第1のアクセスユニットの直前の第2のアクセスユニットとが比較され、その比較の結果に基づいて、注目画素における動きベクトル候補が生成され、生成された注目画素とその周辺の画素のそれぞれにおける動きベクトル候補のうちの頻度が最も高い動きベクトル候補が、注目画素における動きベクトルとして決定され、決定された動きベクトルが補正されて、補正された動きベクトルを利用して所定の処理が実行される。このとき実行される所定の処理で利用される動きベクトルは、その所定の処理の特徴に基づく第1の補正方法を利用して補正された動きベクトルとされる。 In the second information processing apparatus and method and the second program of the present invention, a predetermined pixel among the pixels constituting the first access unit is set as a target pixel, and the first access unit, The second access unit immediately before one access unit is compared, a motion vector candidate at the target pixel is generated based on the comparison result, and the generated motion vector at each of the generated target pixel and its surrounding pixels The motion vector candidate having the highest frequency among the candidates is determined as a motion vector in the target pixel, the determined motion vector is corrected, and a predetermined process is performed using the corrected motion vector. The motion vector used in the predetermined process executed at this time is a motion vector corrected using the first correction method based on the feature of the predetermined process.
以上のごとく、本発明によれば、液晶型表示装置等のホールド型表示装置で発生する動きボケ(特に、人間の追従視に起因する動きボケ)を抑制する画像処理において利用される、注目画素の動きベクトルを検出することができる。特に、周囲と調和の取れた動きベクトルを容易に検出することができる。 As described above, according to the present invention, a pixel of interest used in image processing that suppresses motion blur (particularly motion blur caused by human follow-up) generated in a hold-type display device such as a liquid crystal display device. Motion vectors can be detected. In particular, it is possible to easily detect a motion vector in harmony with the surroundings.
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. Correspondences between constituent elements described in the claims and specific examples in the embodiments of the present invention are exemplified as follows. This description is to confirm that specific examples supporting the invention described in the claims are described in the embodiments of the invention. Therefore, even if there are specific examples that are described in the embodiment of the invention but are not described here as corresponding to the configuration requirements, the specific examples are not included in the configuration. It does not mean that it does not correspond to a requirement. On the contrary, even if a specific example is described here as corresponding to a configuration requirement, this means that the specific example does not correspond to a configuration requirement other than the configuration requirement. not.
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。 Further, this description does not mean that all the inventions corresponding to the specific examples described in the embodiments of the invention are described in the claims. In other words, this description is an invention corresponding to the specific example described in the embodiment of the invention, and the existence of an invention not described in the claims of this application, that is, in the future, a divisional application will be made. Nor does it deny the existence of an invention added by amendment.
本発明によれば第1の画像処理装置が提供される。この第1の画像処理装置(例えば、図1の画像処理装置1のうちの動き検出部14であって、詳細な構成例は図2)は、第1のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、前記第1のアクセスユニットと、前記第1のアクセスユニットの直前の第2のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成手段(例えば、図2のテンプレートマッチング部34)と、前記候補生成手段により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補(例えば、図11の領域95内の各画素(枠)内のそれぞれの数値)のうちの頻度が最も高い前記動きベクトル候補(例えば、図12のヒストグラムの頻度が最も高い「+4」)を、前記注目画素における動きベクトルとして決定する動きベクトル決定手段(例えば、図2のヒストグラム部35)と、前記注目画素周辺の輝度の変化の度合(例えば、後述する輝度勾配であって、具体的には、例えば、後述する式(2)で示される値slope)を演算する輝度変化演算手段(例えば、図2の輝度勾配検出部33)と、前記輝度変化演算手段と前記候補生成手段との処理結果に基づいて、前記動きベクトル決定手段により決定された前記動きベクトルの信頼度を評価し、前記動きベクトルの信頼度が低いと評価した場合(例えば、後述する不等式(9)が成立するという第3の条件と、図2のテンプレートマッチング部34より供給される制御信号flagが「1」であるという第4の条件とのうちの少なくとも一方が満たされている場合)、前記動きベクトルを補正する補正手段(例えば、図2の動きベクトル補正部36であって、図13の動きベクトル補正部36Aまたは図19の動きベクトル補正部36C)とを備えることを特徴とする。
According to the present invention, a first image processing apparatus is provided. This first image processing apparatus (for example, the
この第1の画像処理装置の前記補正手段は、前記輝度変化演算手段により演算された前記輝度の変化の度合が閾値未満の場合(例えば、後述する不等式(9)が成立するという第3の条件を満たした場合)、前記動きベクトルの信頼度が低いと評価して、前記動きベクトルを補正することができる。 The correction unit of the first image processing apparatus may be configured such that a third condition that an inequality (9) described later is satisfied when the degree of change in luminance calculated by the luminance change calculation unit is less than a threshold value. ), The motion vector can be corrected by evaluating that the reliability of the motion vector is low.
この第1の画像処理装置の前記候補生成手段は、前記注目画素(例えば、図5の注目画素51)の配置位置に対応する前記第2のアクセスユニット内の位置(例えば、図5の位置i)に配置される第1の画素(例えば、図5の画素71)の対応画素として、前記第1のアクセスユニットから第2の画素(例えば、図5の探索範囲i-6乃至i+6のうちのいずれかの画素)を検出し、前記注目画素を起点とし前記第2の画素を終点とするベクトル(例えば、第2の画素として、図5の画素群73−(+6)の中心画素、即ち、配置位置i+6の画素が検出された場合、「+6」)を、前記注目画素における前記動きベクトル候補として生成することができる。
The candidate generation means of the first image processing apparatus is configured to select a position (for example, a position i in FIG. 5) in the second access unit corresponding to the arrangement position of the target pixel (for example, the
この第1の画像処理装置の前記候補生成手段はさらに、前記第1のアクセスユニットの中に前記対応画素の候補が複数個存在すると判定した場合(例えば、図9に示されるように、探索位置i-1の画素と探索位置i+5の画素が対応画素の候補である場合であって、具体的には、例えば、後述する不等式(5)乃至不等式(7)の全てが成立するといった第1の条件が満たされる場合。なお、不等式(5)乃至不等式(7)の各パラメータは、図10参照)、または、検出した前記第2の画素の信頼度が低いと判定した場合(例えば、後述する不等式(8)が成立するといった第2の条件が満たされる場合。なお、不等式(8)のmin1は、図10参照)、前記動きベクトルの補正指令を示す第1の情報(後述するように、制御信号flagとして「1」)を前記補正手段に提供し、前記補正手段は、前記候補生成手段から前記第1の情報が提供された場合(図2のテンプレートマッチング部34より供給される制御信号flagが「1」であるという後述する第4の条件が満たされている場合)、前記動きベクトルの信頼度が低いと評価して、前記動きベクトルを補正することができる。
The candidate generating means of the first image processing apparatus further determines that there are a plurality of corresponding pixel candidates in the first access unit (for example, as shown in FIG. 9, the search position This is a case where the pixel at i-1 and the pixel at the search position i + 5 are candidates for the corresponding pixel. Specifically, for example, all of inequality (5) to inequality (7) described later hold. When the condition of 1 is satisfied, the parameters of inequality (5) to inequality (7) (see FIG. 10), or when the reliability of the detected second pixel is determined to be low (for example, When a second condition such that inequality (8) described later is satisfied is satisfied (min1 of inequality (8) is shown in FIG. 10), first information indicating the motion vector correction command (as described later) And “1” as the control signal flag) When the first information is provided from the candidate generation unit (the control signal flag supplied from the
この第1の画像処理装置の前記候補生成手段はさらに、複数の前記対応画素の候補の中に前記注目画素自身が含まれている場合(例えば、図17に示されるように、2番目に小さいSAD、即ち、極小値min2に対応する探索位置pos2が、注目画素の配置位置iである場合)、そのことを示す第2の情報を前記補正手段に提供し、前記補正手段は、前記候補生成手段から前記第2の情報が提供された場合(後述する第5の条件が満たされた場合)、前記動きベクトルの信頼度が低いと評価して、前記動きベクトルを0ベクトルに補正することができる。 The candidate generation means of the first image processing apparatus further includes the second smallest pixel when the pixel of interest itself is included in a plurality of candidate corresponding pixels (for example, as shown in FIG. 17). SAD, that is, when the search position pos2 corresponding to the minimum value min2 is the arrangement position i of the pixel of interest), the correction means provides the correction means with the second information indicating that, and the correction means When the second information is provided from the means (when a fifth condition to be described later is satisfied), it is evaluated that the reliability of the motion vector is low, and the motion vector is corrected to a zero vector. it can.
本発明によれば、第1の画像処理方法が提供される。この第1の画像処理方法(例えば、図2の動き検出部14の画像処理方法)は、第1のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、前記第1のアクセスユニットと、前記第1のアクセスユニットの直前の第2のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成ステップ(例えば、図21のステップS22の処理)と、前記候補生成ステップの処理により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定ステップ(例えば、図21のステップS24の処理)と、前記注目画素周辺の輝度の変化の度合を演算する輝度変化演算ステップ(例えば、図21のステップS21の処理)と、前記輝度変化演算ステップと前記候補生成ステップとの処理結果(例えば、図21のステップS21とS23との処理結果)に基づいて、前記動きベクトル決定ステップの処理により決定された前記動きベクトルの信頼度を評価し、前記動きベクトルの信頼度が低いと評価した場合、前記動きベクトルを補正する補正ステップ(例えば、図21のステップS26乃至S28の処理)とを含むことを特徴とする。
According to the present invention, a first image processing method is provided. In the first image processing method (for example, the image processing method of the
本発明によれば、第1のプログラムが提供される。この第1のプログラムは、第1のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、前記注目画素を単位とする画像処理をコンピュータ(例えば、図23のCPU201)に実行させるプログラムであって、前記第1のアクセスユニットと、前記第1のアクセスユニットの直前の第2のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成ステップ(例えば、図21のステップS22の処理)と、前記候補生成ステップの処理により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定ステップ(例えば、図21のステップS24の処理)と、前記注目画素周辺の輝度の変化の度合を演算する輝度変化演算ステップ(例えば、図21のステップS21の処理)と、前記輝度変化演算ステップと前記候補生成ステップとの処理結果(例えば、図21のステップS21とS23との処理結果)に基づいて、前記動きベクトル決定ステップの処理により決定された前記動きベクトルの信頼度を評価し、前記動きベクトルの信頼度が低いと評価した場合、前記動きベクトルを補正する補正ステップ(例えば、図21のステップS26乃至S28の処理)とを含むことを特徴とする。
According to the present invention, a first program is provided. The first program sets a predetermined pixel among pixels constituting the first access unit as a target pixel, and executes image processing in units of the target pixel on a computer (for example, the
本発明によれば第2の画像処理装置が提供される。この第2の画像処理装置(例えば、図1の画像処理装置1のうちの動き検出部14と画像処理部12であって、動き検出部14の詳細な構成例は図2)は、第1のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、前記第1のアクセスユニットと、前記第1のアクセスユニットの直前の第2のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成手段(例えば、図2のテンプレートマッチング部34)と、前記候補生成手段により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定手段(例えば、図2のヒストグラム部35)と、前記動きベクトル決定手段により決定された前記動きベクトルを補正する補正手段(例えば、図2の動きベクトル補正部36であって、図13の動きベクトル補正部36Aまたは図18の動きベクトル補正部36B)と、前記補正手段により補正された前記動きベクトルを利用して、所定の処理を実行する処理実行手段(例えば、図1の画像処理12の補正部22と)を備え、前記補正手段は、前記処理実行手段の前記所定の処理の特徴に基づく第1の補正方法(例えば、図15または図16に示される方法)を利用して、前記動きベクトルを補正する(例えば、図13または図18の後段処理用補正部101がその処理を実行する)ことを特徴とする。
According to the present invention, a second image processing apparatus is provided. The second image processing apparatus (for example, the
この第2の画像処理装置において、前記注目画素周辺の輝度の変化の度合を演算する輝度変化演算手段(例えば、図2の輝度勾配検出部33)をさらに設け、前記補正手段は、さらに、前記輝度変化演算手段と前記候補生成手段との処理結果に基づいて、前記動きベクトル決定手段により決定された前記動きベクトルの信頼度を評価し(例えば、図13の信頼度評価部103がその処理を実行し)、前記動きベクトルの信頼度が低いと評価した場合、前記第1の補正方法により補正された前記動きベクトルを、第2の補正方法(例えば、後述する式(10)で示される方法)によりさらに補正する(例えば、図13の信頼度用補正部104がその処理を実行する)ようにすることができる。
In the second image processing apparatus, a luminance change calculating means (for example, a luminance
本発明によれば、第2の情報処理方法が提供される。この第2の情報処理装置は、情報処理装置(例えば、図1の画像処理装置1)の情報処理方法であって、第1のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、前記第1のアクセスユニットと、前記第1のアクセスユニットの直前の第2のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成ステップ(例えば、図21のステップS22の処理)と、前記候補生成ステップの処理により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定ステップ(例えば、図21のステップS24の処理)と、前記動きベクトル決定ステップの処理により決定された前記動きベクトルを補正する補正ステップ(例えば、図21のステップS25乃至S28の処理)と、前記補正ステップの処理により補正された前記動きベクトルを利用した所定の処理を前記情報処理装置が実行することを制御する処理制御ステップ(図21に対応する図20のステップS3の動きベクトル演算処理の後に実行されるステップS7の処理等)とを含み、前記補正ステップは、前記処理制御ステップの制御により前記情報処理装置が実行する前記所定の処理の特徴に基づく補正方法を利用して、前記動きベクトルを補正するステップ(例えば、図21のステップS25の処理)を少なくとも含むことを特徴とする。
According to the present invention, a second information processing method is provided. This second information processing apparatus is an information processing method of an information processing apparatus (for example, the
本発明によれば、第2のプログラムが提供される。この第2のプログラムは、動画像を構成する複数のアクセスユニットのうちの所定の1つを処理対象として、処理対象の前記アクセスユニットを構成する各画素のそれぞれにおける動きベクトルを利用する所定の処理を実行する処理実行装置(例えば、図1の画像処理装置1)を制御するコンピュータ(例えば、図23のCPU201)に実行させるプログラムであって、第1のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、前記第1のアクセスユニットと、前記第1のアクセスユニットの直前の第2のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成ステップ(例えば、図21のステップS22の処理)と、前記候補生成ステップの処理により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定ステップ(例えば、図21のステップS24の処理)と、前記動きベクトル決定ステップの処理により決定された前記動きベクトルを補正する補正ステップ(例えば、図21のステップS25乃至S28の処理)と、前記補正ステップの処理により補正された前記動きベクトルを利用して前記所定の処理を前記処理実行装置が実行することを制御する処理制御ステップ(図21に対応する図20のステップS3の動きベクトル演算処理の後に実行されるステップS7の処理等)とを含み、前記補正ステップは、前記処理制御ステップの制御により前記処理実行装置が実行する前記所定の処理の特徴に基づく補正方法を利用して、前記動きベクトルを補正するステップ(例えば、図21のステップS25の処理)を少なくとも含むことを特徴とする。
According to the present invention, a second program is provided. The second program uses a predetermined one of a plurality of access units constituting a moving image as a processing target, and performs a predetermined process using a motion vector in each pixel constituting the access unit to be processed. Is a program to be executed by a computer (for example, the
以下、図面を参照して、本発明が適用される画像処理装置について説明する。 Hereinafter, an image processing apparatus to which the present invention is applied will be described with reference to the drawings.
図1は、本発明が適用される画像処理装置の構成例を表している。 FIG. 1 shows a configuration example of an image processing apparatus to which the present invention is applied.
図1において、画像処理装置1は、液晶型表示装置等として構成されるホールド型表示装置2に対して、動画像の表示を制御する。即ち、画像処理装置1は、動画像を構成する複数のフレームのそれぞれの表示を順次指示する。これにより、ホールド型表示装置2は、上述したように、第1のフレームの表示が指示されてから所定の時間の間、第1のフレームを構成する複数の画素のそれぞれを対応する表示素子(図示せず)に表示させ、それら表示素子のうちの少なくとも一部の表示を保持させる。即ち、所定の時間、各表示素子のうちの少なくとも一部はホールド表示する。
In FIG. 1, an
なお、画像処理装置1の処理単位(動画像の単位)は、ここでは説明の簡略上、上述したようにフレームであるとして説明するが、フィールドを単位とすることも勿論可能である。即ち、本明細書において、フレームやフィールドのような単位をアクセスユニットとも称するが、画像処理装置1は、このアクセスユニットを単位とする画像処理を行うことができる。ただし、以下の説明においては、画像処理装置1は、アクセスユニットのうちの特にフレームを単位とする画像処理を行うとする。
The processing unit (moving image unit) of the
また、以下、ホールド型表示装置2は、第1のフレームの表示が指示されてから、その次の第2のフレームの表示が指示されるまでの間、第1のフレームを構成する全ての画素のそれぞれを対応する表示素子(図示せず)に表示させ、それら全ての表示素子の表示を保持させる(全ての表示素子がホールド表示する)とする。
Further, hereinafter, the hold-
詳細には、画像処理装置1には、動画像を構成する複数のフレームのそれぞれの画像データが順次入力される。即ち、画像処理装置1には、表示対象フレームの画像データ(例えば、表示対象フレームを構成する全ての画素の画素値)が入力される。具体的には、表示対象フレームの画像データは、画像処理部11、画像処理部12、参照画像記憶部13、および、動き検出部14のそれぞれに入力される。
Specifically, the
画像処理部11は、表示対象フレームの画像データに対して画素を単位とする所定の画像処理を施して、切替部15に出力する。即ち、画像処理部11は、表示対象フレームを構成する複数の画素のそれぞれに対して所定の画像処理を施すことで、それらの画素の画素値を補正し、補正した画素値を切替部15に所定の順番で順次出力する。
The
なお、画像処理部11が実行する画像処理は特に限定されない。例えば、図1の例では、画像処理部11には、後述する参照画像記憶部13から出力される参照画像(表示対象フレームの直前のフレームであって、以下、単に直前フレームと称する)の画像データ、および、後述する動き検出部14の検出結果(表示対象フレームを構成する各画素のそれぞれの動きベクトル)、といった2つの情報が入力される。この場合、画像処理部11は、これらの2つの情報を全て利用する画像処理を行ってもよいし、いずれか一方の情報を利用する画像処理を行ってもよいし、或いは、いずれの情報も利用しない画像処理を行ってもよい。具体的には、例えば、画像処理部11は、表示対象フレームを構成する各画素のそれぞれの画素値を所定の規則のテーブル(図示せず)に従って補正することができる。
Note that the image processing executed by the
また、画像処理部11は、画像処理装置1にとって必須な構成要素ではなく、省略されてもよい。この場合、表示対象フレームの画像データは、画像処理部12、参照画像記憶部13、動き検出部14、および、切替部15の入力端(2つの入力端のうちの、図1の画像処理装置11に接続された方の入力端)のそれぞれに入力されることになる。
Further, the
画像処理部12は、表示対象フレームの画像データ(各画素の画素値)のうちの、動きのあるオブジェクトに対応する画素(例えば、動き検出部14により検出された動きベクトルの大きさが閾値以上の画素)の画素値を補正し(0補正含む)、補正した画素値を切替部15に出力する。
The image processing unit 12 includes pixels corresponding to a moving object (for example, the magnitude of the motion vector detected by the
なお、画像処理部12は、表示対象フレーム内の任意の空間方向に動くオブジェクトを処理対象とし、そのオブジェクトに対応する画素の画素値を補正することが可能である。ただし、以下、説明の簡略上、表示対象フレームの左上端の画素を基準とした場合、その基準画素に対して右(横)方向X(以下、空間方向Xと称する)またはその逆方向に動くオブジェクトが、画像処理部12の処理対象とされる。従って、後述するように、動き検出部14により検出される注目画素の動きベクトルの方向も、フレーム内の任意の空間方向となり得るが、以下、説明の簡略上、空間方向Xまたはその逆方向とされる。
Note that the image processing unit 12 can set an object moving in an arbitrary spatial direction in the display target frame as a processing target, and can correct a pixel value of a pixel corresponding to the object. However, for the sake of simplicity, when the pixel at the upper left corner of the display target frame is used as a reference, it moves in the right (lateral) direction X (hereinafter referred to as the spatial direction X) or the opposite direction with respect to the reference pixel. The object is a processing target of the image processing unit 12. Therefore, as will be described later, the direction of the motion vector of the target pixel detected by the
詳細には、画像処理部12は、ステップエッジ検出部21と補正部22とから構成される。
Specifically, the image processing unit 12 includes a step
ステップエッジ検出部21は、動き検出部14の検出結果(動きベクトル)に基づいて、表示対象フレームの画像データの中から、動きのあるオブジェクトのエッジ部分に対応する画素を検出し、その検出結果を補正部22に供給する。
The step
具体的には、例えば、ステップエッジ検出部21は、ステップエッジをオブジェクトして捉え、表示対象フレームの画像データを、空間方向Xに形成される複数のステップエッジの画像データの集合体に分解した上、複数のステップエッジのそれぞれのエッジ部分に対応する画素を検出し、その検出結果を補正部22に供給する。
Specifically, for example, the step
なお、ステップエッジとは、第1の画素値を有する画素が所定の方向(ここでは、空間方向X)に連続して並び、所定の画素を境に、第1の画素値とは異なる第2の画素値を有する画素がその方向に連続して並んで形成される画素の集合体を指す。 Note that the step edge is a second that is different from the first pixel value, with pixels having the first pixel value continuously arranged in a predetermined direction (here, the spatial direction X), with the predetermined pixel as a boundary. A pixel group in which pixels having the pixel value of are formed in a line continuously in that direction.
即ち、ステップエッジ検出部21は、注目画素の画素値と、それに隣接する画素のうちの予め定められた方(いまの場合、空間方向Xとその逆方向とのうちの予め定められた方)の画素値との差分を演算する。そして、ステップエッジ検出部21は、例えば、その演算結果(差分値)が0でない場合、ステップエッジのエッジ部分に対応する画素として注目画素を検出する。
That is, the step
ただし、ここでは、動きボケを抑制することが主目的とされているので、エッジ部分が検出される対象は動きのあるステップエッジのみで足りる。 However, since the main purpose is to suppress motion blur here, only a step edge with motion is sufficient as an object for which an edge portion is detected.
そこで、ステップエッジ検出部21は、例えば、動き検出部14より供給された注目画素の動きベクトルの大きさが閾値以上であった場合、その注目画素を一構成要素とするステップエッジは動いていると判断し、その処理を実行する。即ち、ステップエッジ検出部21は、注目画素の画素値とそれに隣接する画素の画素値との差分値(以下、単に差分値と称する)を演算し、その差分値と注目画素の画素値とを検出結果として補正部22に供給する。
Therefore, for example, when the magnitude of the motion vector of the target pixel supplied from the
これに対して、ステップエッジ検出部21は、例えば、動き検出部14より供給された注目画素の動きベクトルの大きさが閾値未満であった場合、その注目画素を一構成要素とするステップエッジは動いていないと判断し、その処理の実行を禁止する。
On the other hand, for example, when the magnitude of the motion vector of the target pixel supplied from the
補正部22は、例えば、動き検出部14より供給された注目画素の動きベクトルの大きさが閾値以上であった場合(即ち、注目画素を一構成要素とするステップエッジが空間方向Xまたはその逆方向に動いている場合)、ステップエッジ検出部21より供給された注目画素の画素値を補正する(0補正を含む)。このとき、補正部22は、動き検出部14より供給された注目画素の動きベクトル(ステップエッジの移動方向と移動量)と、ステップエッジ検出部21より供給された差分値(ステップエッジの高さ)とに基づいて、注目画素の画素値を補正する。
For example, when the magnitude of the motion vector of the target pixel supplied from the
即ち、補正部22は、例えば、供給された差分値が0でなく、かつ、供給された動きベクトルの大きさが閾値以上であった場合、注目画素は、動きのあるステップエッジのエッジ部分に対応する画素であると判断し、供給された差分値と動きベクトルとに基づいて注目画素の画素値を補正する。
That is, for example, when the supplied difference value is not 0 and the magnitude of the supplied motion vector is equal to or larger than the threshold value, the correcting
これに対して、補正部22は、例えば、供給された差分値が0であり、かつ、供給された動きベクトルの大きさが閾値以上であった場合、注目画素は、動きのあるステップエッジの一構成要素ではあるがエッジ部分に対応する画素ではない(それ以外の部分に対応する画素である)と判断し、注目画素の画素値を0補正する(補正しない)。
On the other hand, for example, when the supplied difference value is 0 and the magnitude of the supplied motion vector is equal to or greater than a threshold value, the correcting
また、補正部22は、例えば、供給された動きベクトルの大きさが閾値未満である場合、ステップエッジ検出部21と同様に、その注目画素を一構成要素とするステップエッジは動いていないと判断し、その処理自体を禁止する(0補正も含めた補正の処理を禁止する)。
For example, when the magnitude of the supplied motion vector is less than the threshold value, the
なお、補正部22の画素値の補正方法は、動きのあるステップエッジのエッジ部分に対応する注目画素の画素値を、動き検出部14により検出された注目画素の動きベクトルに基づいて補正する方法であれば、特に限定されない。具体的には、例えば、次のような補正方法を適用することもできる。
The correction method of the pixel value of the
即ち、補正部22は、次の式(1)の右辺を演算することで左辺の補正値Rを求め、その補正値Rを注目画素の画素値に加算することで、注目画素の画素値を補正する。
That is, the
なお、式(1)において、Erは、ステップエッジ検出部21より供給される差分値を、Vは、動き検出部14より供給される動きベクトルの大きさを、それぞれ示している。また、式(1)は、ホールド型表示装置2の全ての表示素子(例えば、ホールド型表示装置2が液晶型表示装置である場合、全ての液晶)の時間応答が時定数一定の一次遅れ要素であると仮定した場合の式であり、式(1)においては、この時定数がτで示されている。また、Tは表示対象フレームの表示時間(表示対象フレームの表示が指示されてから、次のフレームの表示が指示されるまでの時間)を示している。なお、以下、このような時間Tをフレーム時間Tと称する。液晶型表示装置においては、フレーム時間Tは一般的に16.6msとされている。
In Equation (1), Er represents the difference value supplied from the step
参照画像記憶部13は、表示対象フレームの画像データを、その次の(直後の)フレームに対する参照画像の画像データとして記憶する。
The reference
即ち、動き検出部14(および上述した画像処理部11)は、新たなフレームの画像データが表示対象フレームの画像データとして入力された場合、参照画像記憶部13に記憶されている直前フレーム(直前に表示対象フレームであったフレーム)の画像データを、表示対象フレームに対する参照画像の画像データとして取得する。そして、動き検出部14は、表示対象フレームの画像データと参照画像の画像データとを比較することで、表示対象フレームの注目画素の動きベクトルを検出し、画像処理部11、画像処理部12(ステップエッジ検出部21と補正部22)、および、切替部15のそれぞれに供給する。
That is, the motion detection unit 14 (and the
なお、動き検出部14は、実際には、空間方向Xと空間方向Yとに平行な2次元平面上の任意の方向を有する動きベクトルを検出することが可能である。即ち、動きベクトルの方向は、実際には、この2次元平面上の任意の方向となり得る。ただし、ここでは、上述したように、説明の簡略上、空間方向Xまたはその逆方向に動くステップエッジが処理の対象とされているため、動きベクトルの方向も空間方向Xまたはその逆方向とされる。
Note that the
具体的には、例えば、ステップエッジが1フレームの間に空間方向XにN(Nは任意の正の整数値)画素分だけ移動した場合、動き検出部14は、そのステップエッジの動きベクトル(ステップエッジの一構成要素である注目画素における動きベクトル)として「+N」を検出する。一方、ステップエッジが1フレームの間に空間方向Xの逆方向にN画素分だけ移動した場合、動き検出部14は、そのステップエッジの動きベクトルとして「−N」を検出する。このように、ここでは、動きベクトルの方向は、空間方向Xの場合「+」で表現され、空間方向Xの逆方向の場合「−」で表現される。
Specifically, for example, when the step edge moves by N (N is an arbitrary positive integer value) pixels in the spatial direction X during one frame, the
切替部15は、動き検出部14の検出結果(動きベクトル)に応じて、その入力を切り替える。
The switching
即ち、動き検出部14より供給された注目画素の動きベクトルの大きさが閾値未満である場合(注目画素が、動きのあるステップエッジに対応する画素ではない場合)、切替部15は、その入力を画像処理部11側の端に切り替え、画像処理部11より供給される注目画素のデータ(画素値)を表示制御部16に供給する。
That is, when the magnitude of the motion vector of the target pixel supplied from the
これに対して、動き検出部14より供給された注目画素の動きベクトルの大きさが閾値以上である場合(注目画素が、動きのあるステップエッジに対応する画素である場合)、切替部15は、その入力を画像処理部12の補正部22側の端に切り替え、補正部22より供給される注目画素のデータ(画素値)を表示制御部16に供給する。
On the other hand, when the magnitude of the motion vector of the target pixel supplied from the
表示制御部16は、切替部15より順次供給されてくる、表示対象フレームを構成する各画素のデータ(画素値)のそれぞれを、所定の形式の信号(ホールド型表示装置2における、対応付けられた表示素子の目標レベルのそれぞれを示す信号)に変換した後、ホールド型表示装置2に出力する。即ち、表示制御部16は、このような処理を行うことで、表示対象フレームの表示をホールド型表示装置2に指示する。
The
このように、本実施の形態の画像処理装置1においては、注目画素の画素値が、動き検出部14により検出された動きベクトルに基づいて補正される。ここで注目すべき点は、この動きベクトルは、注目画素の周囲の画素における他の動きベクトルと調和が取れている点である。換言すると、本実施の形態の動き検出部14は、周囲と調和の取れた動きベクトルを容易に検出するために、即ち、上述した従来の第2の課題を解決するために、例えば、図2の構成を有している点である。そこで、以下、図2を参照して、本実施の形態の動き検出部14の詳細について説明する。
As described above, in the
図2に示されるように、本実施の形態の動き検出部14は、ローパスフィルタ(以下、LPFと記述する)31、LPF32、輝度勾配検出部33、テンプレートマッチング部34、ヒストグラム部35、動きベクトル補正部36、および、LPF37から構成される。
As shown in FIG. 2, the
入力画像(画像データ)、即ち、表示対象フレームの画像データは、LPF31を介して輝度勾配検出部33とテンプレートマッチング部34のそれぞれに供給される。
An input image (image data), that is, image data of a display target frame is supplied to each of the luminance
輝度勾配検出部33は、表示対象フレームの注目画素の配置位置における輝度勾配を検出する。
The luminance
なお、輝度勾配とは次の値を指す。即ち、例えば、所定の方向の座標値(例えば、ここでは、空間方向Xの座標x)がパラメータとして入力され、入力された座標xの輝度(画素値)を出力する関数f(x)が存在した場合、注目画素の配置位置i(iは、空間方向Xの座標値)における関数f(x)の1次微分値の絶対値、即ち、|f'(i)|が、輝度勾配である。 The luminance gradient indicates the following value. That is, for example, there is a function f (x) in which a coordinate value in a predetermined direction (for example, the coordinate x in the spatial direction X) is input as a parameter and the luminance (pixel value) of the input coordinate x is output. In this case, the absolute value of the first-order differential value of the function f (x) at the arrangement position i (i is the coordinate value in the spatial direction X) of the target pixel, that is, | f ′ (i) | is the luminance gradient. .
ただし、このような関数f(x)の生成や、その関数f(x)を利用する1次微分値の演算は、輝度勾配検出部33にとって負荷の重い処理となる。そこで、ここでは、例えば、次の式(2)で示される値slopeを輝度勾配として定義する。即ち、輝度勾配検出部33がこの式(2)の右辺を演算することで輝度勾配slopeを求める。これにより、輝度勾配検出部33は、表示対象フレームの注目画素(例えば、図3に示される画素51)の配置位置における輝度勾配slopeを簡単に(軽負荷で)演算することができる。
However, the generation of such a function f (x) and the calculation of the primary differential value using the function f (x) are heavy processing for the
なお、式(2)において、Yiは、図3に示されるように、配置位置iの注目画素51の輝度(画素値)を示している。Yi-1は、注目画素51の左隣の画素52(空間方向Xと逆方向に注目画素51と隣接する、配置位置i-1の画素52)の輝度(画素値)を示している。Yi+1は、注目画素51の右隣の画素53(空間方向Xに注目画素51と隣接する、配置位置i+1の画素53)の輝度(画素値)を示している。また、max(A,B,・・・,N)は、数値A乃至数値Nのそれぞれがパラメータとして入力され、入力された数値A乃至数値Nのうちの最大値を出力する関数を示している。なお、この関数max()に入力されるパラメータの個数(数値A乃至数値Nの個数)は特に限定されない。
In Expression (2), Y i indicates the luminance (pixel value) of the
即ち、輝度勾配検出部33は、注目画素51の輝度Yiとその左隣の画素52の輝度Yi-1との差分絶対値Aと、注目画素51の輝度Yiとその右隣の画素53の輝度Yi+1との差分絶対値Bとのそれぞれを演算し、差分絶対値Aと差分絶対値Bとのうちの値が大きい方(最大値)を、注目画素51の配置位置における輝度勾配slopeとして動きベクトル補正部36に供給する。
That is, the brightness
ところで、表示対象フレームの画像データは、上述したように、LPF31を介してテンプレートマッチング部34にも供給される。このとき、テンプレートマッチング部34にはさらに、参照画像記憶部13に記憶されている直前フレーム(直前に表示対象フレームであったフレーム)の画像データが、表示対象フレームに対する参照画像の画像データとしてLPF32を介して供給される。
Incidentally, the image data of the display target frame is also supplied to the
すると、テンプレートマッチング部34は、直前フレームの中から、注目画素の配置位置に対応する位置を少なくとも含む所定の領域(以下、このような領域をウィンドウと称する)を切り出し、そのウィンドウが表示対象フレームのどの領域とマッチングするのかを求め、そのマッチング結果に基づいて注目画素の動きベクトル候補pvecを決定し、ヒストグラム部35に供給する。
Then, the
また、テンプレートマッチング部34は、動きベクトル補正部36が使用する制御信号flagを生成し、動きベクトル補正部36に供給する。なお、制御信号flagの詳細については後述する。
Further, the
このテンプレートマッチング部34の詳細について、以下、図4乃至図10を参照して説明する。
Details of the
図4は、本実施の形態のテンプレートマッチング部34の詳細な構成例を示している。
FIG. 4 shows a detailed configuration example of the
図4に示されるように、本実施の形態のテンプレートマッチング部34は、SAD(Sum of Absolute Difference)演算部61、SAD極小値検出部62、および、SAD極小値評価部63から構成される。
As shown in FIG. 4, the
SAD演算部61は、例えば、図5に示されるように、直前フレームの中から、表示対象フレームの注目画素51の配置位置i(iは、上述したように、空間方向Xの座標値を示す)に対応する位置iに配置された画素71を中心とする、空間方向Xに連続して並ぶ所定の個数(図5の例では、5個)の画素から構成されるウィンドウ72を切り出す。
For example, as shown in FIG. 5, the
また、SAD演算部61は、表示対象フレームの中から次のような領域(なお、このような領域をウィンドウと区別するために、比較領域と称する)を切り出す。即ち、注目画素の配置位置iから空間方向Xまたはその逆方向にn(nは、予め設定された範囲内の整数値であり、図5の例では、-6乃至(+6)のうちのいずれかの整数値)だけ離間した位置i+n(以下、探索位置i+nと称する)に配置された画素を中心とする、空間方向Xに連続して並ぶ所定の個数(ウィンドウ72と同一の個数であって、図5の例では、5個)の画素から構成される比較領域73−nが切り出される。なお、探索位置i-6に対応する比較領域73−(−6)と、探索位置i+6に対応する比較領域73−(+6)のみが図示されているが、ここでは(図5の例では)、実際には、比較領域73−(−6)と比較領域73−(+6)とを含めた、13個の比較領域73−nのそれぞれが所定の順番で順次切り出される。
In addition, the
そして、SAD演算部61は、ウィンドウ72と、13個の比較領域73−n(比較領域73−(−6)乃至比較領域73−(+6))のそれぞれとの相関を所定の評価関数を用いて演算し、各演算結果のそれぞれをSAD極小値検出部62に供給する。
Then, the
なお、SAD演算部61が利用する評価関数については特に限定されず、例えば、SAD演算部61は、正規化相関関数やSSD(Sum of Squared Difference)等を利用することもできる。ただし、ここでは、SAD演算部61は、SADを利用するとして説明する。
The evaluation function used by the
即ち、SAD演算部61は、次の式(3)の右辺を演算することで、ウィンドウ72と各比較領域73−nのそれぞれとの相関値SAD(j)(jはi+nである。即ち、ここでは、jは、図5の探索範囲i-6乃至i+6のうちのいずれかの整数値)のそれぞれを求め、SAD極小値検出部62にそれぞれ供給する。
That is, the
なお、式(3)において、Ck jは、図5に示されるように、探索位置j(j=i+n)における比較領域73−nを構成する5つの画素のうちの、図中左からk番目の画素の輝度(画素値)を示している。Pk iは、図5に示されるように、配置位置iの画素71を中心とするウィンドウ72を構成する5つの画素のうちの、図中左からk番目の画素の輝度(画素値)を示している。
In Expression (3), C k j is, as shown in FIG. 5, left in the figure among the five pixels constituting the comparison region 73-n at the search position j (j = i + n). The luminance (pixel value) of the k-th pixel is shown. As shown in FIG. 5, P k i represents the luminance (pixel value) of the kth pixel from the left in the figure among the five pixels that constitute the
具体的には、例えば、いま、図6に示されるように、表示対象フレームの空間方向Xにおける輝度(画素値)の変化が曲線81とされ、その直前フレームの空間方向Xにおける輝度(画素値)の変化が曲線82とされたとする。なお、図6において、縦軸は輝度(画素値)を示しており、横軸は画素位置(配置位置)を示している。また、画素位置iは、上述したように、注目画素51の配置位置を示している。
Specifically, for example, as shown in FIG. 6, the change in luminance (pixel value) in the spatial direction X of the display target frame is a
この場合におけるSAD演算部61の演算結果、即ち、各相関値SAD(j(=i+n))のそれぞれが図7に示されている。なお、図7において、縦軸は相関値SAD(j)を示しており、横軸は探索位置(配置位置)を示している。即ち、図7は、図6の曲線82に示される画素値(輝度)を有する5つの画素から構成されるウィンドウ72と、図6の曲線81に示される画素値(輝度)を有する5つの画素から構成される各比較領域73−nのそれぞれとの、探索位置i+nにおけるSAD(i+n(=j))を示している。
FIG. 7 shows the calculation result of the
図4に戻り、相関値SAD(j)が小さいほど相関が高いことを表すので、SAD極小値検出部62は、SAD演算部61より供給された各相関値SAD(j(=i+n))のそれぞれの中から最小値minを検出し、最小値minに対応する探索位置pos(図7の例では、pos=i+3)をSAD極小値評価部63とヒストグラム部35のそれぞれに供給する。
Returning to FIG. 4, the smaller the correlation value SAD (j) is, the higher the correlation is. Therefore, the SAD minimum
なお、最小値minは、各相関値SAD(j)のそれぞれを結んだ曲線の極小点(z,SAD(z))(zは、ここでは、i-6乃至i+6のうちのいずれかの整数値)における相関値SAD(z)、具体的には、例えば、図7の例では、極小点(i+3,SAD(i+3))における相関値SAD(i+3)(=約40)となる。そこで、以下、最小値minを極小値minとも称する。 Note that the minimum value min is the minimum point (z, SAD (z)) (z is any one of i-6 to i + 6 in this case) connecting each correlation value SAD (j). The correlation value SAD (z) at the minimum point (i + 3, SAD (i + 3)) in the example of FIG. About 40). Therefore, hereinafter, the minimum value min is also referred to as a minimum value min.
以上のSAD演算部61とSAD極小値検出部62との処理を要約すると次の通りとなる。即ち、SAD演算部61は、直前フレームの中から、注目画素51の配置位置に対応する位置iに配置される画素71を検出し、その画素71を少なくとも含むウィンドウ72を切りだす。次に、SAD演算部61は、そのウィンドウ72を、表示対象フレームにおける注目画素51を含む水平ライン(空間方向Xに平行なライン)上で順次変移させる。このとき、SAD演算部61は、ウィンドウ72の各変移位置(探索位置)i+nのそれぞれにおいて、ウィンドウ72とそれと重なり合う領域(比較領域)73−nとの間で一致度(相関)を、所定の評価関数(ここではSAD)を用いて演算する。そして、SAD極小値検出部62は、もっとも一致度(相関)が高いと判断される(即ち、極小値minを有する)比較領域73−nの中心画素を、ウィンドウ72の中心画素71(注目画素51に対応する画素71)の対応画素として設定する。即ち、表示対象フレームを構成する各画素のうちの、極小値minに対応する探索位置posに配置される画素が、ウィンドウ72の中心画素71の対応画素として設定される。
The above-described processes performed by the
なお、このようなSAD演算部61とSAD極小値検出部62とが実行する手法は、ウィンドウマッチング手法、エリアベースマッチング手法、或いは、テンプレートマッチング手法等と称されている。また、対応画素は、対応点とも称される。
Note that the method executed by the
ただし、正確には、ヒストグラム部35には、注目画素51の配置位置iを起点とし探索位置pos(=i+n)を終点とするベクトルn(ウィンドウ72の基準位置iからの変移量と変移方向を示す値n)が、動きベクトル候補pvecとして供給される。即ち、ここでは、上述したように、値nの絶対値が、ベクトル(動きベクトル候補pvec)の大きさを示し、値nの正負が、ベクトル(動きベクトル候補pvec)の方向を示すことになる。詳細には、値nが正の場合、動きベクトル候補pvecの方向は、空間方向X、即ち、注目画素51に対して図5中右方向となる。一方、値nが負の場合、動きベクトル候補pvecの方向は、空間方向Xと逆方向、即ち、注目画素51に対して図5中左方向となる。具体的には、例えば、図7の例では、注目画素51の動きベクトル候補pvecとして「+3」がヒストグラム部35に供給される。
However, to be precise, the
より正確には、後述するように、ヒストグラム部35は、注目画素51とその周辺の複数の画素のそれぞれの動きベクトル候補pvecのヒストグラムを生成し、このヒストグラムに基づいて注目画素51の動きベクトルvecを決定する。そこで、SAD演算部61とSAD極小値検出部62は、注目画素51の動きベクトル候補pvecだけではなく、注目画素51を中心としてX方向に連続して並ぶ所定の個数の画素から構成される領域(例えば、後述する図11の領域95)を設定し、この領域を構成する各画素のそれぞれの動きベクトル候補pvecを求め(求め方は上述した手法と全く同様の手法)、ヒストグラム部35にそれぞれ供給する。
More precisely, as will be described later, the
ところで、例えば、いま、図8に示されるように、表示対象フレームの空間方向Xにおける輝度(画素値)の変化が曲線91とされ、その直前フレームの空間方向Xにおける輝度(画素値)の変化が曲線92とされたとする。なお、図8において、縦軸は輝度(画素値)を示しており、横軸は画素位置(配置位置)を示している。また、画素位置iは、上述したように、注目画素51の配置位置を示している。
By the way, for example, as shown in FIG. 8, the change in luminance (pixel value) in the spatial direction X of the display target frame is a
この場合におけるSAD演算部61の演算結果、即ち、各相関値SAD(j(=i+n))のそれぞれが図9に示されている。なお、図9において、縦軸は相関値SAD(j)を示しており、横軸は探索位置(配置位置)を示している。即ち、図9は、図8の曲線92に示される画素値(輝度)を有する5つの画素から構成されるウィンドウ72と、図8の曲線91に示される画素値(輝度)を有する5つの画素から構成される各比較領域73−nのそれぞれとの、探索位置i+nにおけるSAD(i+n)を示している。
The calculation result of the
図9においては、各相関値SAD(j)のそれぞれを結んだ曲線の極小点は、点(i-1,SAD(i-1))と点(i+5,SAD(i+5))である。即ち、図9の例では、2つの極小点が存在する。このように複数の極小点が存在する場合、SAD演算部61は、複数の極小点のそれぞれに対応する相関値SAD(j)のうちの最小値、即ち、全てのSAD(j)の中での最小値を極小値minとして適用する。具体的には、例えば、図9の例では、極小点(i+5,SAD(i+5))における相関値SAD(i+5)(=約27)が極小値minとして適用される。従って、比較領域73−5(図示せず)の中心画素、即ち、表示対象フレーム内の配置位置i+5の画素が、ウィンドウ72の中心画素71の対応画素(対応点)として設定される。即ち、注目画素51の動きベクトル候補pvecとして「+5」がヒストグラム部35に供給される。
In FIG. 9, the minimum points of the curve connecting the correlation values SAD (j) are the point (i-1, SAD (i-1)) and the point (i + 5, SAD (i + 5)). It is. That is, in the example of FIG. 9, there are two local minimum points. When there are a plurality of minimum points in this way, the
しかしながら、図9に示されるように、この極小値min、即ち、極小点(i+5,SAD(i+5))における相関値SAD(i+5)(=約27)と、極小点(i-1,SAD(i-1))における相関値SAD(i-1)(=約30)とは差異が小さく、ウィンドウ72の中心画素71の対応画素(対応点)は、配置位置i+5の画素であるとは一概に言えない。即ち、ウィンドウ72の中心画素71の対応画素(対応点)は、配置位置i-1の画素である可能性もある。
However, as shown in FIG. 9, this minimum value min, that is, the correlation value SAD (i + 5) (= about 27) at the minimum point (i + 5, SAD (i + 5)) and the minimum point ( i−1, SAD (i−1)) has a small difference from the correlation value SAD (i−1) (= about 30), and the corresponding pixel (corresponding point) of the
このように、ウィンドウ72の中心画素71の対応画素(対応点)の候補が2以上存在する場合(図9に示されるように、グラフ化されたSAD(j)において2以上の極小点が存在し、各極小点のそれぞれに対応する各相関値SAD(j)間の差異が小さい場合)、設定された対応画素(最下点の極小点に対応する画素)の信頼度、即ち、ヒストグラム部35に供給された注目画素51の動きベクトル候補pvecの信頼度が低いと言える。
Thus, when there are two or more candidates for the corresponding pixel (corresponding point) of the
また、たとえ、ウィンドウ72の中心画素71の対応画素(対応点)の候補が1つだけの場合(図7に示されるように、グラフ化されたSAD(j)において1つの極小点だけが存在する場合、或いは、図示はしないが、グラフ化されたSAD(j)において2以上の極小点が存在するが、最小の相関値SAD(j)(=極小値min)と、他の相関値SAD(j)との間の差異が大きい場合)であっても、設定された対応画素の相関値SAD(j)(=極小値min)が十分に小さくないとき、その対応画素の信頼度、即ち、ヒストグラム部35に供給された注目画素51の動きベクトル候補pvecの信頼度が低いと言える。
Also, even if there is only one candidate for the corresponding pixel (corresponding point) of the
そこで、このような極小値minの評価、即ち、極小値minに対応する画素が対応画素であることの信頼度(ヒストグラム部35に供給された注目画素51の動きベクトル候補pvecの信頼度)の評価を行うために、本実施の形態のテンプレートマッチング部34は、図4に示される構成を有している。即ち、図4に示されるように、本実施の形態のテンプレートマッチング部34には、上述したSAD演算部61とSAD極小値検出部62の他にさらに、SAD極小値評価部63が設けられている。
Therefore, the evaluation of such a minimum value min, that is, the reliability of the pixel corresponding to the minimum value min being the corresponding pixel (the reliability of the motion vector candidate pvec of the
このSAD極小値評価部63は、極小値minに対応する画素が対応画素であることの信頼度(ヒストグラム部35に供給された注目画素51の動きベクトル候補pvecの信頼度)の評価を行い、その評価が低いと判断した場合、上述した制御信号flagとして、例えば、「1」を動きベクトル修正部36に供給する。このとき、後述するように、動きベクトル修正部36は、注目画素51の動きベクトルvecを補正する。
The SAD minimum
これに対して、SAD極小値評価部63は、上述した評価が高いと判断した場合、制御信号flagとして、例えば、「0」を動きベクトル修正部36に供給する。このとき、後述するように、動きベクトル修正部36は、注目画素51の動きベクトルvecの補正を禁止する(補正しない)。
On the other hand, when the SAD minimum
具体的には、例えば、本実施の形態においては、SAD極小値評価部63が上述した評価を行うために必要な値が、SAD極小値検出部62により演算または検出され、SAD極小値評価部36に供給される。
Specifically, for example, in the present embodiment, a value necessary for the SAD minimum
即ち、本実施の形態において、SAD極小値検出部62が検出する値とは、上述した極小値min、即ち、相関値SAD(j)の最小値min(ただし、以下、後述する値min2と区別するために、極小値min1と称する)の他にさらに、図10に示されるように、その極小値min1に対応する探索位置pos1、極小値min1の次に小さい相関値SAD(j)(即ち、全ての相関値SAD(j)の中で2番目に小さい値であって、以下、極小値min2と記述する)、および、その極小値min2に対応する探索位置pos2である。
That is, in the present embodiment, the value detected by the SAD minimum
また、本実施の形態において、SAD極小値検出部62が演算する値とは、探索範囲(図5の例では、探索位置i-6乃至i+6の範囲)における各相関値SAD(j)の平均値SADaveと極小値min1との差分値eval1(平均値SADaveから極小値min1までの深さeval1)、および、平均値SADaveと極小値min2との差分値eval2(平均値SADaveから極小値min2までの深さeval2)である。
In the present embodiment, the value calculated by the SAD
なお、いまの場合(探索範囲が探索位置i-6乃至i+6の場合)、平均値SADaveは次の式(4)により演算される。 In this case (when the search range is search positions i−6 to i + 6), the average value SAD ave is calculated by the following equation (4).
図4に戻り、このような各値(極小値min1、その探索位置pos1、および、その深さeval1、並びに、極小値min2,その探索位置pos2、および、その深さeval2)がSAD極小値検出部62から供給されると、SAD極小値評価部63は、次の第1の条件または第2の条件が満たされるか否かを判定する。
Returning to FIG. 4, each such value (minimum value min1, its search position pos1, and its depth eval1, and its minimum value min2, its search position pos2, and its depth eval2) is detected as a SAD minimum value. When supplied from the
即ち、第1の条件とは、次の不等式(5)乃至不等式(7)の全てが成立することである。 That is, the first condition is that all of the following inequalities (5) to (7) are satisfied.
eval1 > eval_thresh ・・・(5)
eval2 > eval_thresh ・・・(6)
|pos1−pos2| > pos_thresh ・・・(7)
eval1> eval_thresh (5)
eval2> eval_thresh (6)
| Pos1-pos2 |> pos_thresh (7)
なお、不等式(5)と不等式(6)において、eval_threshは所定の閾値を示しており、予め設定されている値である。同様に、不等式(7)において、pos_threshは所定の閾値を示しており、予め設定されている値である。 In inequality (5) and inequality (6), eval_thresh indicates a predetermined threshold and is a preset value. Similarly, in inequality (7), pos_thresh represents a predetermined threshold and is a preset value.
不等式(5)乃至不等式(7)から容易にわかることであるが、結局、上述した図9に示されるような場合(極小点が2以上存在し、それらに対応する各相関値S(j)の差異が小さい場合)、即ち、ウィンドウ72の中心画素71の対応画素(対応点)の候補が2以上存在し、はっきりとした対応画素が見つけられない場合(図9の例では、探索位置i+5と探索位置i-1のそれぞれに配置される画素が、対応画素の候補となる)、第1の条件が満たされることになる。
As can be easily understood from the inequality (5) to the inequality (7), as shown in FIG. 9 as described above (two or more minimum points exist, and each correlation value S (j) corresponding to them exists. ), That is, when there are two or more candidates for the corresponding pixel (corresponding point) of the
一方、第2の条件とは、次の不等式(8)が成立することである。 On the other hand, the second condition is that the following inequality (8) holds.
min1 > min_thresh ・・・(8) min1> min_thresh (8)
なお、不等式(8)において、min_threshは所定の閾値を示しており、予め設定されている値である。 In inequality (8), min_thresh indicates a predetermined threshold value, which is a preset value.
不等式(8)から容易にわかることであるが、結局、極小値min1が十分に小さくない場合、即ち、ウィンドウ72と、極小値min1に対応する比較領域73−nとの対応がしっかりと取れていない場合、第2の条件が満たされることになる。
As can be easily understood from the inequality (8), in the end, when the minimum value min1 is not sufficiently small, that is, the correspondence between the
従って、第1の条件と第2の条件のうちの少なくとも一方が満たされたと判定した場合、SAD極小値評価部63は、極小値min1に対応する画素が対応画素であることの信頼度(ヒストグラム部35に供給された注目画素51の動きベクトル候補pvecの信頼度)が低いと評価し、制御信号flagとして「1」を動きベクトル修正部36に出力する。
Therefore, when it is determined that at least one of the first condition and the second condition is satisfied, the SAD minimum
これに対して、第1の条件と第2の条件とのいずれも満たされていないと判定した場合、SAD極小値評価部63は、極小値min1に対応する画素が対応画素であることの信頼度(ヒストグラム部35に供給された注目画素51の動きベクトル候補pvecの信頼度)が高いと評価し、制御信号flagとして「0」を動きベクトル修正部36に出力する。
On the other hand, if it is determined that neither the first condition nor the second condition is satisfied, the SAD minimum
図2に戻り、ヒストグラム部35には、表示対象フレームのうちの注目画素51を含む複数の画素から構成される領域に対する、テンプレートマッチング部34の出力結果が供給される。即ち、その領域を構成する複数の画素のそれぞれの動きベクトル候補pvecがヒストグラム部35に供給される。そこで、ヒストグラム部35は、供給された複数の動きベクトル候補pvecのヒストグラムを生成し、そのヒストグラムを参照して最も頻度の高い動きベクトル候補pvecを検出し、検出した動きベクトル候補pvecを注目画素51の動きベクトルvecとして動きベクトル補正部36に供給する。
Returning to FIG. 2, the
なお、ヒストグラムが生成される対象領域は、注目画素51を含む領域であれば特に限定されない。即ち、その領域を構成する画素の個数や、その領域内の注目画素51の位置は特に限定されない。ただし、ここでは、例えば、注目画素51を中心として空間方向Xに連続して並ぶ17個の画素から構成される領域、即ち、注目画素51の左方(空間方向Xの逆方向)に連続して並ぶ8個の画素、注目画素51、および、注目画素51の右方(空間方向X)に連続して並ぶ8個の画素から構成される領域が、ヒストグラムが生成される対象領域とされる。
The target region for generating the histogram is not particularly limited as long as it is a region including the
具体的には、例えば、いま、テンプレートマッチング部34から、図11に示されるような領域95を構成する各画素のそれぞれのベクトル候補pvecが出力されたとする。なお、図11の領域95において、17個に区分された小領域のそれぞれは各画素のそれぞれを示しており、それらの17個の小領域のうちの中心の小領域は注目画素51を示している。また、各画素(各小領域)のそれぞれの中に記載された値が、対応する画素の動きベクトル候補pvec例を示している。ただし、「+」は省略されている。
Specifically, for example, it is assumed that the vector candidate pvec of each pixel constituting the
この場合、ヒストグラム部35は、図12に示されるようなヒストグラムを生成する。図12の例では、最も頻度の高い(頻度7の)動きベクトル候補pvecは「+4」とされているので、ヒストグラム部35は、「+4」を注目画素51の動きベクトルvecとして決定し、図2の動きベクトル補正部36に供給する。
In this case, the
動きベクトル補正部36は、後段の処理内容(例えば、ここでは、上述した図1の画像処理部12の処理内容等)、若しくは、輝度勾配検出部33とテンプレートマッチング部34の処理結果(例えば、ここでは、上述した輝度勾配slopeや制御信号flag)、またはそれらの組み合わせに基づいて、ヒストグラム部35から供給された注目画素51の動きベクトルvecを、注目画素51の周囲の画素における他の動きベクトルと調和が取れるように適切に補正する。
The motion
動きベクトル補正部36により補正された注目画素51の動きベクトルvecは、LPF37を介して外部に出力される。
The motion vector vec of the
この動きベクトル補正部36の詳細について、以下、図13乃至図19を参照して説明する。
Details of the motion
図13は、本実施の形態の動きベクトル補正部36の詳細な構成の一例を示している。
FIG. 13 shows an example of a detailed configuration of the motion
なお、後述する図18や図19に示されるように、動きベクトル補正部36は、様々な形態を取ることが可能である。そこで、動きベクトル補正部36が取り得る様々な形態のうちの、図13、図18、および図19のそれぞれの形態を、個々に区別する必要がある場合、以下、動きベクトル補正部36A、動きベクトル補正部36B、および、動きベクトル補正部36Cのそれぞれと称する。一方、動きベクトル補正部36A、動きベクトル補正部36B、および、動きベクトル補正部36Cのそれぞれを、個々に区別する必要が無い場合、それらを総称して動きベクトル補正部36と称する。
As shown in FIG. 18 and FIG. 19 described later, the motion
図13に示されるように、動きベクトル補正部36Aは、後段処理用補正部101、切替部102、信頼度評価部103、および、信頼度用補正部104のそれぞれから構成される。
As illustrated in FIG. 13, the motion
後段処理用補正部101は、後段の処理内容、例えば、ここでは、上述した図1の画像処理部12の処理内容の特徴に基づいて、注目画素51の動きベクトルvecを補正する。
The
なお、以下、補正前の動きベクトルvec、後段処理用補正部101により補正された動きベクトルvec、および、後述する信頼度用補正部104によりさらに補正される動きベクトルvecのそれぞれを、個々に区別する必要がある場合、動きベクトルvec、動きベクトルvec'、および、動きベクトルvec''のそれぞれと称する。一方、動きベクトルvec、動きベクトルvec'、および、動きベクトルvec''のそれぞれを、個々に区別する必要がない場合、それらを総称して動きベクトルvecと称する。
Hereinafter, the motion vector vec before correction, the motion vector vec corrected by the
即ち、後段処理用補正部101からは、補正された動きベクトルvec'が出力されて、切替部102に供給される。
That is, the corrected motion vector vec ′ is output from the
なお、後段処理用補正部101の補正方法については特に限定されず、後段の処理内容の特徴に応じて可変することが可能である。
The correction method of the
具体的には、例えば、ここでの後段の処理のひとつである、図1の補正部22の処理に適した補正方法として、次のような方法を適用することができる。
Specifically, for example, the following method can be applied as a correction method suitable for the processing of the
即ち、例えば、上述したように、補正部22は、図1のステップエッジ検出部21より供給された注目画素51の画素値を補正する(0補正を含む)。このとき、補正部22は、動き検出部14より供給された注目画素51の動きベクトルvec(実際には、補正された動きベクトルvec'または動きベクトルvec'')に基づいて、注目画素51の画素値を補正することになる。
That is, for example, as described above, the
なお、動き検出部14の後段、例えば、画像処理部12等から見た場合、動きベクトルvec、動きベクトルvec'、および、動きベクトルvec''のそれぞれを、個々に区別する必要がない。従って、以下、動き検出部14の後段から見た場合の説明、即ち、動き検出部14の後段の処理内容の説明等においては、単に動きベクトルvecと称して説明していく。
Note that when viewed from the subsequent stage of the
例えば、いま、補正部22が、注目画素51の画素値の補正量(値)を決定する場合、上述した式(1)の演算結果である補正値Rを使用するのではなく、図14に示されるような関係に従って補正量を決定するとする。
For example, when the
即ち、図14は、補正部22における、注目画素51の画素値の補正量の決定方法の一例を示す図であって、上述した例(式(1)を利用する例)とは異なる例を示す図である。
That is, FIG. 14 is a diagram illustrating an example of a method for determining the correction amount of the pixel value of the
図14の補正方法(補正部22の処理内容)の例では、動きベクトルvecの大きさ(絶対値)が、探索範囲である6(「−6」または「+6」)になるまでは、画素値の補正量がリニアに増加していくのに対して、この探索範囲である6を境にして、それ以降、画素値の補正量は0となってしまう(即ち、補正が禁止されてしまう)。
In the example of the correction method in FIG. 14 (processing contents of the correction unit 22), the pixel until the magnitude (absolute value) of the motion vector vec reaches 6 (“−6” or “+6”) which is the search range. While the correction amount of the value increases linearly, the correction amount of the pixel value thereafter becomes 0 after the
従って、注目画素51とその近傍の画素における動きベクトルvecとして、大きさが6前後の動きベクトルvecが動き検出部14から出力されてしまうと、注目画素51とその近傍からなる画像の範囲において、画素値が最大補正量で補正される画素と、画素値が全く補正されない画素とが混在してしまう。
Therefore, if a motion vector vec having a size of about 6 is output from the
具体的には、例えば、仮に、注目画素51の動きベクトルvecとして「+6」が動き検出部14から出力され、一方、その近傍の他の画素の動きベクトルvecとして「+7」が動き検出部14から出力されたとする。
Specifically, for example, “+6” is output from the
この場合、注目画素51の画素値だけが最大補正量で補正され、その近傍の他の画素の画素値は全く補正されないことになり、最終的に得られる補正画像(表示対象フレーム)において、注目画素51の画素値(補正値)は、その周囲の画素の画素値(補正が禁止された値)に対して異質な値となってしまう。即ち、上述した従来の第2の課題が発生してしまうことになる。
In this case, only the pixel value of the
換言すると、注目画素51の動きベクトルvecである「+6」は、その近傍の他の画素の動きベクトルvecである「+7」に対して異質なベクトルとなってしまう。即ち、注目画素51の動きベクトルvecである「+6」は、周囲と調和の取れていない動きベクトルとなってしまう。
In other words, “+6”, which is the motion vector vec of the
そこで、このような周囲と調和の取れていない動きベクトルvecの動き検出部14からの出力数を軽減させるために、即ち、補正部22の動きベクトルvecの探索範囲を超えたところで発生する、上述したような画素値の補正量の不連続性を発生させないために、図13の後段処理用補正部101は、例えば、図15に示されるような関係に従って、動きベクトルvecを動きベクトルvec'に補正することができる。
Therefore, in order to reduce the number of outputs from the
即ち、図15は、後段処理用補正部101における、注目画素51の動きベクトルvecの補正方法の一例を示している。
That is, FIG. 15 shows an example of a method for correcting the motion vector vec of the
図15の補正方法の例では、補正前の動きベクトルvec、即ち、ヒストグラム部35から供給された動きベクトルvecの大きさ(絶対値)が、3(「−3」または「+3」)になるまでは、「vec'=vec」の関係で補正され(即ち、補正が禁止され)、その3を境にしてそれ以降、6(「−6」または「+6」)になるまでは、「vec'=-vec+6 or -6」の関係で補正され、6以降、「vec'=0」の関係で補正されることになる。
In the example of the correction method in FIG. 15, the motion vector vec before correction, that is, the magnitude (absolute value) of the motion vector vec supplied from the
従って、検出部14から、このような図15の関係に従って補正された動きベクトルvec'が出力されれば、その動きベクトルvec'の大きさ(絶対値)は最大でも3となり、その大きさが6前後となる動きベクトルvecが出力されることはなくなり、その結果、上述したような画素値の補正量の不連続性の発生を防止することが可能になる。即ち、従来の第2の課題を解決することが可能になる。
Therefore, if the motion vector vec ′ corrected according to the relationship of FIG. 15 is output from the
なお、図13の後段処理用補正部101が、図15の関係に従って補正を行う場合、図15に示されるようなテーブルを保持し、そのテーブルを参照して動きベクトルvecを補正してもよい。或いは、後段処理用補正部101は、上述したような関数、即ち、「vec'=vec : -3≦vec≦3」,「vec'=-vec-6 : -6≦vec<-3」,「vec'=-vec+6 : 3<vec≦-6」,「vec'=0 : vec<-6,6<vec」のような関数を保持し、対応する関数に動きベクトルvecを代入して演算し、その関数の出力値を、補正された動きベクトルvec'として出力してもよい。
When the
また、繰り替えしになるが、図15に示される例は、後段処理用補正部101における、注目画素51の動きベクトルvecの様々な補正方法のうちの、後段の処理である図1の補正部22の処理が上述した図14に示されるような特徴を有している場合に適した補正方法の一例である。
In addition, the example shown in FIG. 15 is repeated, but the correction unit in FIG. 1 is a subsequent process among various correction methods of the motion vector vec of the pixel of
即ち、ここで重要な点は、後段処理用補正部101の補正方法は、単に、後段の処理内容の特徴に適した補正方法とすればよく、このため、後段の処理内容の特徴に応じて可変できるという点である。
That is, the important point here is that the correction method of the
例えば、いま、図示せぬ後段の処理内容が、動き検出部14より出力された注目画素51の動きベクトルvecのうちの、その大きさ(絶対値)が中程度(例えば、3)の動きベクトルvecに着目する処理であって、中程度の動きベクトルvecの影響を大きくする必要がある処理である、といった特徴を有しているとする。
For example, the processing content of the subsequent stage (not shown) is a motion vector whose magnitude (absolute value) is medium (for example, 3) among the motion vectors vec of the
このような場合、後段処理用補正部101は、例えば、図16に示されるような関係に従って、動きベクトルvecを動きベクトルvec'に補正することができる。
In such a case, the
即ち、図16は、後段処理用補正部101における、注目画素51の動きベクトルvecの補正方法の他の例(図15とは異なる例)を示している。
That is, FIG. 16 shows another example (an example different from FIG. 15) of the correction method of the motion vector vec of the pixel of
図16の補正方法の例では、補正前の動きベクトルvec、即ち、ヒストグラム部35から供給された動きベクトルvecの大きさ(絶対値)が、3(「−3」または「+3」)になるまでは、「vec'=2vec」の関係で補正され、その3を境にしてそれ以降、6(「−6」または「+6」)になるまでは、「vec'=-2vec+12 or -12」の関係で補正され、6以降、「vec'=0」の関係で補正されることになる。
In the example of the correction method in FIG. 16, the magnitude (absolute value) of the motion vector vec before correction, that is, the motion vector vec supplied from the
なお、後段処理用補正部101が、図16の関係に従って補正を行う場合、図15の例と同様に、図16に示されるようなテーブルを保持し、そのテーブルを参照して動きベクトルvecを補正してもよい。或いは、後段処理用補正部101は、上述したような関数、即ち、「vec'=2vec : -3≦vec≦3」,「vec'=-2vec-12 : -6≦vec<-3」,「vec'=-2vec+12 : 3<vec≦-6」,「vec'=0 : vec<-6,6<vec」のような関数を保持し、対応する関数に動きベクトルvecを代入して演算し、その関数の出力値を、補正された動きベクトルvec'として出力してもよい。
When the
また、後段の処理が複数存在する場合、或いは、複数になる可能性がある場合、後段処理用補正部101は、その補正方法を適宜切り替えて、動きベクトルvecを補正することもできる。即ち、後段の処理がQ個(Qは、1以上の任意の整数値)存在する場合、後段処理用補正部101は、注目画素51の1つの動きベクトルvecを、Q種類の補正方法のそれぞれに従って補正し、その結果得られるQ個の動きベクトルvec'のそれぞれを個別に出力することもできる。
Further, when there are a plurality of subsequent processes or there is a possibility that there are a plurality of processes, the
図13に戻り、ヒストグラム部35から出力された、注目画素51の動きベクトルvecは、このようにして、後段処理用補正部101により補正されて動きベクトルvec'となり、切替部102に供給される。
Returning to FIG. 13, the motion vector vec of the
切替部102は、信頼度評価部103の制御に基づいて、その出力先を、外部のLPF37側と信頼度用補正部104側のうちのいずれか一方の側に切り替える。
Based on the control of the
信頼度評価部103は、輝度勾配検出部33より供給された輝度勾配slopeとテンプレートマッチング部34より供給された制御信号flagに基づいて、ヒストグラム部35より供給された注目画素51の動きベクトルvecの信頼度を評価する。
The
そして、信頼度評価部103は、注目画素51の動きベクトルvecの信頼度が低いと評価した場合、切替部102の出力先を信頼度用補正部104側に切り替える。
When the
従って、信頼度評価部103により注目画素51の動きベクトルvecの信頼度が低いと評価された場合、後段処理用補正部101により補正されて出力された動きベクトルvec'は、信頼度用補正部104に供給される。そして、後述するように、後段処理用補正部101により補正された動きベクトルvec'は、信頼度用補正部104によりさらに補正されて動きベクトルvec''となり、この動きベクトルvec''が、LPF37を介して動き検出部14の外部(図1の画像処理部11、画像処理部12、および、切替部15)に供給されることになる。
Accordingly, when the
これに対して、信頼度評価部103は、注目画素51の動きベクトルvecの信頼度が高いと評価した場合、切替部102の出力先を外部のLPF37側に切り替える。
In contrast, when the
従って、信頼度評価部103により注目画素51の動きベクトルvecの信頼度が高いと評価された場合、後段処理用補正部101により補正されて出力された動きベクトルvec'は、信頼度用補正部104には供給されずに、そのまま、LPF37を介して動き検出部14の外部に供給されることになる。
Therefore, when the
詳細には、例えば、信頼度評価部103は、次の不等式(9)が成立するという第3の条件と、制御信号flagが「1」であるという第4の条件とのうちの少なくとも一方が満たされている場合、ヒストグラム部35より供給された注目画素51の動きベクトルvecの信頼度が低いと評価し、切替部102の出力先を信頼度用補正部104側に切り替える。。
Specifically, for example, the
これに対して、動きベクトル補正部36は、第3の条件と第4の条件とのいずれも満たされていない場合、ヒストグラム部35より供給された注目画素51の動きベクトルvecの信頼度が高いと評価し、切替部102の出力先を外部のLPF37側に切り替える。
On the other hand, when neither the third condition nor the fourth condition is satisfied, the motion
slope < slope_thresh ・・・(9) slope <slope_thresh (9)
不等式(9)において、slope_threshは所定の閾値を示しており、予め設定されている値である。 In the inequality (9), slope_thresh indicates a predetermined threshold and is a preset value.
不等式(9)から容易にわかることであるが、結局、注目画素51における輝度勾配が低い場合、即ち、注目画素51が、上述したステップエッジのエッジ部分のような特徴的な部分に対応していない場合、第3の条件が満たされることになる。
As can be easily understood from the inequality (9), in the end, when the luminance gradient in the
また、制御信号flagは、上述したように、テンプレートマッチング部34における注目画像51の動きベクトルvecの信頼度の評価結果を示す信号であるとも言えるので、制御信号flagが「1」の場合、即ち、テンプレートマッチング部34が注目画像51の動きベクトルvecの信頼度が低いと既に評価している場合、第4の条件が満たされることになる。
Further, as described above, the control signal flag can also be said to be a signal indicating the evaluation result of the reliability of the motion vector vec of the
信頼度用補正部104は、切替部102の出力先が自分自身の側に切り替えられている場合、後段処理用補正部101から出力された動きベクトルvec'、即ち、ヒストグラム部35より入力された動きベクトルvec'が後段処理用補正部101により補正された結果として出力される動きベクトルvec'を、所定の補正方法でさらに補正し、その結果得られる動きベクトルvec''を、LPF37を介して動き検出部14の外部(図1の画像処理部11、画像処理部12、および、切替部15)に出力する。
The
この信頼度用補正部104の補正方法も特に限定されず、様々な方法を適用することができる。
The correction method of the
具体的には、例えば、注目画素51の動きベクトルvecは、ここでは、上述した画像処理部12により利用される。即ち、画像処理部12は、注目画素51の動きベクトルvecの方向や大きさに応じて、注目画素51の画素値を補正する(画像強調する方向に補正する)。このような場合、信頼度の低い注目画素51の動きベクトルvecが利用されると、注目画素51の画素値は過補正されてしまうといった課題が発生する。
Specifically, for example, the motion vector vec of the
そこで、この課題を解決するために、例えば、信頼度用補正部104は、注目画素51の動きベクトルvecが後段処理用補正部101により補正された結果得られる動きベクトルvec'に対して次の式(10)の右辺に示されるような補正を行い、その補正結果、即ち、式(10)の左辺の値vec''を、注目画素51の最終的な(補正された)動きベクトルとして、LPF37を介して動き検出部14の外部に出力することができる。
In order to solve this problem, for example, the
vec'' = α×vec' ・・・(10) vec '' = α × vec '(10)
なお、式(10)において、αは補正係数を示している。この補正係数αは、0乃至1の範囲で任意に設定可能な値である。 In Expression (10), α indicates a correction coefficient. The correction coefficient α is a value that can be arbitrarily set in the range of 0 to 1.
ところで、信頼度評価部103は、上述した第3の条件と第4の条件以外の条件に基づいて、ヒストグラム部35より供給された注目画素51の動きベクトルvecの信頼度を評価することも可能である。
By the way, the
具体的には、例えば、極小値min1の次に小さい相関値SAD(j)、即ち、極小値min2に対応する探索位置pos2が、図17に示されるように、注目画素51の配置位置iである場合、ウィンドウ72の中心画素71の対応画素(対応点)は、極小値min1に対応する探索位置pos1の画素ではなく、配置位置i(探索位置pos2)の注目画素51であることが多い。
Specifically, for example, the next smallest correlation value SAD (j) after the minimum value min1, that is, the search position pos2 corresponding to the minimum value min2 is the arrangement position i of the
そこで、例えば、極小値min2に対応する探索位置pos2が注目画素51の配置位置iであることを第5の条件に加え、その第5の条件が満たされている場合、図13の信頼度評価部103は、ヒストグラム部35より供給された注目画素51の動きベクトルvecの信頼度が低いと評価し、切替部102の出力先を信頼度用補正部104側に切り替えることもできる。これにより、信頼度用補正部104は、その動きベクトルvecが後段処理用補正部101により補正された結果得られる動きベクトvec'をさらに補正することになる。
Therefore, for example, in addition to the fifth condition that the search position pos2 corresponding to the minimum value min2 is the arrangement position i of the
なお、第5の条件が満たされた場合、図示はしないが、信頼度評価部103がそのことを信頼度用補正部104に通知することで、信頼度用補正部104は、ウィンドウ72の中心画素71の対応画素(対応点)は配置位置i(探索位置pos2)の注目画素51であるとみなし、即ち、注目画素51の配置位置iにおける動きはないとみなし、後段処理用補正部101により補正された注目画素51の動きベクトルvec'を「0」に置き換える。或いは、信頼度用補正部104は、上述した式(10)の補正係数αを0に設定して、後段処理用補正部101により補正された注目画素51の動きベクトルvec'を補正すると捉えてもよい。即ち、第5の条件が満たされた場合、信頼度用補正部104は、後段処理用補正部101により補正された注目画素51の動きベクトルvec'を0ベクトルに補正する。
When the fifth condition is satisfied, although not shown, the
ただし、この場合、テンプレートマッチング部34(図4のSAD極小値評価部63)は、制御信号flagの他に、この探索位置pos2を信頼度評価部103に供給する必要がある。
However, in this case, the template matching unit 34 (SAD minimum
或いは、SAD極小値評価部63が、第5の条件が満たされた場合、制御信号flagとして「1」を強制的に出力するようにしてもよい。
Alternatively, the SAD minimum
以上、図2の動きベクトル補正部36が取り得る様々な実施形態のうちの、図13に示される実施形態の動きベクトル補正部36Aの構成例について説明した。
The configuration example of the motion
図2の動きベクトル補正部36はまた、例えば、図18に示される動きベクトル補正部36Bや、図19に示される動きベクトル補正部36Cとして構成することもできる。
The motion
図18の動きベクトル補正部36Bは、後段処理用補正部101から構成されている。この講談処理用補正部101は、図13の動きベクトル補正部36Aの対応するそれと基本的に同様の機能と構成を有している。従って、図18の動きベクトル補正部36Bは、ヒストグラム部35から入力された動きベクトルvecに対して、図13の信頼度用補正部104に対応する補正処理は施さずに、後段処理用補正部101による補正処理のみを施すことになる。
The motion
これに対して、図19の動きベクトル補正部36Cの構成は、図13の動きベクトル補正部36Aの構成に対して、後段処理用補正部101が省略された構成となっている。従って、図19の動きベクトル補正部36Cは、ヒストグラム部35から入力された動きベクトルvecに対して、図13の後段処理用補正部101に対応する補正処理は施さずに、信頼度用補正部104による補正処理のみを施す(ただし、信頼度評価部103により、動きベクトルvecの信頼度が低いと判定された場合)ことになる。
On the other hand, the configuration of the motion
以上、図2乃至図19を参照して、図2の動き検出部14の構成例について説明したが、その説明の内容をまとめると、次のようになる。
The configuration example of the
即ち、本実施の形態の動き検出部14においては、表示対象フレームを構成する画素のうちの所定の画素を注目画素として設定し、その注目画素における動きベクトルを生成し、その動きベクトルの信頼性や後段の処理内容の特徴に基づいて補正した上、外部(図1の画像処理部11、画像処理部12、および、切替部15)に出力することができる。
That is, in the
詳細には、テンプレートマッチング部34は、表示対象フレーム(画像データ)とその直前フレーム(画像データ)とを比較することで、注目画素における動きベクトル候補pvecを生成し、ヒストグラム部35に提供する。
Specifically, the
換言すると、テンプレートマッチング部34は、注目画素の配置位置に対応する直前フレーム内の位置に配置される第1の画素(例えば、図5に示されるように、注目画素として画素51が設定されている場合、配置位置iの画素71)の対応画素として、表示対象フレームから第2の画素(例えば、図5の探索範囲i-6乃至i+6のうちのいずれかの画素)を検出し、注目画素を起点とし第2の画素を終点とするベクトル(例えば、図5に示されるように、注目画素として画素51が設定され、第2の画素として、画素群72−(+6)の中心画素、即ち、配置位置i+6の画素が検出された場合、「+6」)を、注目画素における動きベクトル候補pvecとして生成し、ヒストグラム部35に提供する。
In other words, the
さらに、このとき、テンプレートマッチング部34は、表示対象フレームの中に対応画素の候補が複数個存在すると判定した場合(例えば、図9に示されるように、探索位置i-1の画素と探索位置i+5の画素が対応画素の候補である場合であって、具体的には、例えば、上述した不等式(5)乃至不等式(7)の全てが成立するといった第1の条件が満たされる場合)、または、第2の画素が対応画素であることの信頼度が低いと判定した場合(例えば、上述した不等式(8)が成立するといった第2の条件が満たされる場合)、動きベクトルの補正指令を示す第1の情報(即ち、ここでは、制御信号flagとして「1」)を動きベクトル補正部36に提供する。
Further, at this time, the
ヒストグラム部35は、テンプレートマッチング部34により生成された注目画素とその周辺の画素のそれぞれにおける動きベクトル候補pvec(例えば、図11の領域95内の各画素(枠)内のそれぞれの数値)のうちの頻度が最も高い動きベクトル候補(例えば、図12のヒストグラムの頻度が最も高い「+4」)を、注目画素における動きベクトルvecとして決定し、動きベクトル補正部36に出力する。
The
輝度勾配検出部33は、注目画素周辺の輝度の変化の度合(例えば、上述した輝度勾配であって、具体的には、例えば、上述した式(2)で示される値slope)を演算し、動きベクトル補正部36に提供する。
The luminance
動きベクトル補正部36は、後段(例えば、図1の補正部22等)の処理内容の特徴に基づいて、ヒストグラム部35より供給された動きベクトルvecを補正し、その結果得られる特徴ベクトルvec'を、そのまま外部(図1の画像処理部11、画像処理部12、および、切替部15)に出力することができるし、次のような補正処理をさらに施した上で、外部に出力することもできる。
The motion
即ち、動きベクトル補正部36は、輝度勾配検出部33の処理結果(ここでは、輝度勾配slope)と、テンプレートマッチング部34の処理結果(ここでは、制御信号flag)に基づいて、ヒストグラム部35より供給された動きベクトルvecの信頼度を評価し、動きベクトルvecの信頼度が低いと評価した場合、具体的には、例えば、上述した不等式(9)が成立するという第3の条件と、図2のテンプレートマッチング部34より供給される制御信号flagが「1」であるという第4の条件とのうちの少なくとも一方が満たされている場合、後段の処理内容に応じて補正された動きベクトルvec'をさらに補正し、その結果得られる動きベクトルvec''を、外部(図1の画像処理部11、画像処理部12、および、切替部15)に出力することもできる。
That is, the motion
或いは、動きベクトル補正部36は、後段の処理内容に応じた補正の処理を行わずに、輝度勾配検出部33の処理結果と、テンプレートマッチング部34の処理結果に基づいて、ヒストグラム部35より供給された動きベクトルvecの信頼度を評価し、動きベクトルvecの信頼度が低いと評価した場合、ヒストグラム部35より供給された動きベクトルvecを補正し、外部(図1の画像処理部11、画像処理部12、および、切替部15)に出力することもできる。
Alternatively, the motion
このようにして、本実施の形態の動き検出部14は、周囲と調和の取れた動きベクトvec(実際には、補正された動きベクトルvec'または動きベクトルvec'')を出力することが可能になる。その結果、例えば、図1の画像処理部12等は、ホールド型表示装置2において発生する動きボケ(特に、追従視に起因する動きボケ)を、周囲との違和感のないように精度よく抑制することが可能になる。
In this way, the
次に、図20のフローチャートを参照して、本実施の形態の画像処理装置1(図1)の画像処理について説明する。 Next, image processing of the image processing apparatus 1 (FIG. 1) of the present embodiment will be described with reference to the flowchart of FIG.
はじめに、ステップS1において、画像処理装置1は、表示対象フレームの画像データを入力する。詳細には、表示対象フレームの画像データは、画像処理部11、画像処理部12、参照画像記憶部13、および、動き検出部14のそれぞれに入力される。
First, in step S1, the
ステップS2において、画像処理装置1(画像処理部11、画像処理部12、および、動き検出部14等)は、表示対象フレームを構成する複数の画素の中から、注目画素を設定する。
In step S <b> 2, the image processing apparatus 1 (the
ステップS3において、動き検出部14は、表示対象フレームの画像データと、参照画像記憶部23に記憶されている参照画像(直前フレーム)の画像データとを比較することで、注目画素の動きベクトルvecを演算し、必要に応じてその動きベクトルvecを補正し、画像処理部11、画像処理部12、および、切替部15のそれぞれに供給する。
In step S <b> 3, the
このような動き検出部14の処理(ステップS3の処理)を、以下、「動きベクトル演算処理」と称する。なお、「動きベクトル演算処理」の詳細については図21のフローチャートを参照して後述する。 Such processing of the motion detection unit 14 (processing of step S3) is hereinafter referred to as “motion vector calculation processing”. The details of the “motion vector calculation process” will be described later with reference to the flowchart of FIG.
ステップS4において、画像処理装置1(画像処理部11、画像処理部12、および、切替部15等)は、注目画素の動きベクトルvecの大きさが閾値以上であるか否かを判定する。
In step S <b> 4, the image processing apparatus 1 (the
なお、実際には、ステップS4乃至S7の処理では、動き検出部14のステップS3の処理である「動きベクトル演算処理」の結果として、注目画素の補正された動きベクトルvec'または動きベクトルvec''を利用することになるが、ステップS4乃至S7の処理の説明では、これらを個々に区別する必要がないので、上述したように、単に動きベクトルvecと称する。
Actually, in the processing of steps S4 to S7, as a result of the “motion vector calculation processing” that is the processing of step S3 of the
ステップS4において、動きベクトルvecの大きさが閾値未満であると判定された場合(動きベクトルvecの大きさが閾値以上ではないと判定された場合)、即ち、注目画素に動きがない場合、切替部15は、その入力を画像処理部11側の端に切り替える。すると、ステップS5において、画像処理部11が、注目画素に対して所定の画像処理を施すことで、注目画素の画素値を補正し、補正した画素値を切替部15を介して表示制御部16に供給する。
When it is determined in step S4 that the magnitude of the motion vector vec is less than the threshold (when it is determined that the magnitude of the motion vector vec is not greater than or equal to the threshold), that is, when there is no motion in the target pixel, switching is performed. The
これに対して、ステップS4において、動きベクトルvecの大きさが閾値以上であると判定された場合、即ち、注目画素に動きがある場合、切替部15は、その入力を画像処理部12(補正部22)側の端に切り替える。
On the other hand, if it is determined in step S4 that the magnitude of the motion vector vec is greater than or equal to the threshold value, that is, if there is motion in the pixel of interest, the switching
このとき、ステップS6において、ステップエッジ検出部21は、注目画素の画素値と、所定の方向(いまの場合、空間方向Xまたはその逆方向であり、動き検出部24より供給される動きベクトルvecの方向(プラスかマイナス)に従って決定される)に隣接する画素の画素値との差分値を演算し、演算した差分値と注目画素の画素値とを補正部22に供給する。
At this time, in step S <b> 6, the step
ステップS7において、補正部22は、動き検出部14より供給された注目画素の動きベクトルと、ステップエッジ検出部21より供給された差分値とに基づいて、ステップエッジ検出部21より供給された注目画素の画素値を補正し、補正した画素値を切替部15を介して表示制御部16に供給する。
In step S <b> 7, the
ステップS8において、表示制御部16は、画像処理部11または画像処理部12より切替部15を介して供給された注目画素の画素値を(必要に応じて、その画素値を、ホールド型表示装置2に対応する信号に変換して)ホールド型表示装置2に出力する。即ち、表示制御部16は、注目画素の画素値を、ホールド型表示装置2の表示素子のうちの注目画素に対応する表示素子に対する目標レベルとして、ホールド型表示装置2に出力するのである。
In step S8, the
ステップS9において、画像処理装置1は、全ての画素の画素値を出力したか否かを判定する。
In step S9, the
ステップS9において、全ての画素の画素値がまだ出力されていないと判定された場合、処理はステップS2に戻され、それ以降の処理が繰り返される。即ち、表示対象フレームを構成する複数の画素のうちのまだ処理が施されていない画素が注目画素として順次設定され、注目画素の画素値が補正され(0補正も含む)、ホールド型表示装置2に出力される。
If it is determined in step S9 that the pixel values of all the pixels have not yet been output, the process returns to step S2, and the subsequent processes are repeated. That is, of the plurality of pixels constituting the display target frame, pixels that have not yet been processed are sequentially set as the target pixel, the pixel value of the target pixel is corrected (including 0 correction), and the hold-
以上の処理が繰り返されて、表示対象フレームを構成する全ての画素の画素値がホールド型表示装置2に供給されると、ステップS9において、全ての画素の画素値を出力したと判定され、処理はステップS10に進められる。
When the above process is repeated and the pixel values of all the pixels constituting the display target frame are supplied to the hold
このとき、ホールド型表示装置2は、その画面を構成する表示素子(液晶等)のそれぞれに対して、供給された画素値(目標レベル)に対応するレベルの電圧をそれぞれ印加し、次のフレームの表示が指示されるまで(次のフレームを構成する全ての画素の画素値が供給されるまで)、そのレベルの電圧の印加を保持し続ける。即ち、各表示素子のそれぞれは、対応する画素をホールド表示する。
At this time, the hold-
ステップS10において、画像処理装置1は、動画像を構成する全てのフレームを処理したか否かを判定する。
In step S10, the
ステップS10において、全てのフレームをまだ処理していないと判定された場合、処理はステップS1に戻され、次のフレームの画像データが表示対象フレームの画像データとして入力され、それ以降の処理が繰り返される。 If it is determined in step S10 that all the frames have not been processed yet, the process returns to step S1, the image data of the next frame is input as the image data of the display target frame, and the subsequent processing is repeated. It is.
そして、動画像を構成する複数のフレームのうちの最後のフレームを構成する全ての画素の画素値が補正され(0補正も含む)、ホールド型表示装置2に出力されると、ステップS10において、全てのフレームを処理したと判定され、画像処理装置1の画像処理は終了される。
Then, when the pixel values of all the pixels constituting the last frame among the plurality of frames constituting the moving image are corrected (including 0 correction) and output to the hold
なお、図20の例では、画像処理装置1は、ホールド型表示装置2に対して、表示対象フレームを構成する各画素の画素値(補正された画素値)のそれぞれを個別に出力しているが、表示対象フレームを構成する全ての画素の画素値を補正した後、それらを一括して(表示対象フレームの画像信号として)出力してもよい。
In the example of FIG. 20, the
次に、図21のフローチャートを参照して、図2の動き検出部14の「動きベクトル演算処理(図20のステップS3の処理)」について説明する。
Next, the “motion vector calculation process (the process of step S3 of FIG. 20)” of the
はじめに、ステップS21において、輝度勾配検出部33は、注目画素周囲の輝度勾配slopeを検出し、動きベクトル補正部36に供給する。
First, in step S <b> 21, the luminance
ステップS22において、テンプレートマッチング部34は、注目画素を含む画素群を構成する各画素(例えば、図11の領域95を構成する各画素)のそれぞれの動きベクトル候補pvecを演算し、ヒストグラム部35に供給する。
In step S <b> 22, the
また、ステップS23において、テンプレートマッチング部34は、注目画素の動きベクトルvecの補正可否を示す制御信号(フラグ)flagを生成し、動きベクトル補正部36に供給する。
In step S <b> 23, the
ステップS24において、ヒストグラム部35は、注目画素を含む画素群を構成する各画素のそれぞれの動きベクトル候補pvecのヒストグラム(例えば、図12のヒストグラム)を生成し、最も頻度の高い動きベクトル候補pvecを注目画素の動きベクトルvecとして決定し、動きベクトル補正部36に供給する。
In step S24, the
ステップS25において、図13の動きベクトル補正部36Aの後段用補正部101は、注目画素の動きベクトルvecを、第1の補正方法で補正し、その結果得られる動きベクトルvec'を切替部102に供給する。
In step S25, the
なお、図2の動きベクトル補正部36が、図19の動きベクトル補正部36Cとして構成される場合、このステップS25の処理は省略される。
Note that when the motion
一方、図2の動きベクトル補正部36が、図18の動きベクトル補正部36Bとして構成される場合、このステップS25の処理は実行されるが、後述するステップS26乃至S28の処理が省略されることになる。
On the other hand, when the motion
このように、図2の動きベクトル補正部36の形態によって、「動きベクトル演算処理」の内容は若干異なることになる。換言すると、図21は、図2の動きベクトル補正部36が、図13の動きベクトル補正部36Aとして構成されている場合の「動きベクトル演算処理」の一例を説明するフローチャートである。
As described above, the contents of the “motion vector calculation process” are slightly different depending on the form of the motion
ところで、上述したステップS25の処理が終了すると、処理はステップS26に進む。 By the way, when the process of step S25 described above is completed, the process proceeds to step S26.
ステップS26において、図13の信頼度評価部103は、ステップS23の処理でテンプレートマッチング部34により生成された制御信号(フラグ)flagと、ステップS21の処理で輝度勾配検出部33により検出された輝度勾配slopeとに基づいて、動きベクトルvecの信頼度を評価する。
In step S26, the
ステップS27において、信頼度評価部103は、ステップS26の処理結果に基づいて動きベクトルvecの信頼度が低いか否かを判定する。
In step S27, the
ステップS27において、信頼度評価部103は、動きベクトルvecの信頼度が高い(低くない)と判定した場合、切替部102の出力先を外部のLPF37側に切り替え、処理をステップS29に進める。
In step S27, when the
ステップS29において、切替部102は、ステップS25の処理で後段処理用補正部101により第1の補正方法で補正された動きベクトルvec'をLPF37を介して動き検出部14の外部(図1の画像処理装置11、画像処理装置12、および、切替部15)に出力する。
In step S29, the
これに対して、ステップS27において、信頼度評価部103は、動きベクトルvecの信頼度が低いと判定した場合、切替部102の出力先を信頼度用補正部104側に切り替え、処理をステップS28に進める。
On the other hand, in step S27, if the
すると、後段処理用補正部101により、ステップS25の処理で第1の補正方法を利用して補正された動きベクトルvec'は、信頼度用補正部104に供給されるので、ステップS28において、信頼度用補正部104は、注目画素の(後段処理用補正部101により補正された)動きベクトルvec'を、第2の補正方法でさらに補正し、ステップS29において、その補正された動きベクトルvec''をLPF37を介して動き検出部14の外部に出力する。
Then, the motion vector vec ′ corrected by using the first correction method in the process of step S25 by the
このようにして、ステップS29の処理で注目画素の補正された動きベクトルvec'
または動きベクトルvec''が出力されると、「動きベクトル演算処理」は終了となる。
In this way, the motion vector vec ′ corrected for the pixel of interest in the process of step S29.
Alternatively, when the motion vector vec ″ is output, the “motion vector calculation process” ends.
ところで、本発明が適用される画像処理装置は、上述した図1の構成に限定されず、様々な実施の形態を取ることができる。 By the way, the image processing apparatus to which the present invention is applied is not limited to the configuration of FIG. 1 described above, and can take various embodiments.
例えば、本発明が適用される画像処理装置は、図22に示されるように構成することもできる。即ち、図22は、本実施の他の形態の画像処理装置の構成例を表しており、図1の画像処理装置1と対応する部分には対応する符号が付されている。
For example, an image processing apparatus to which the present invention is applied can be configured as shown in FIG. That is, FIG. 22 shows an example of the configuration of an image processing apparatus according to another embodiment of the present invention, and portions corresponding to those of the
図22に示されるように、この実施の形態の画像処理装置151には、図1の画像処理装置1と基本的に同様の構成と機能を有する、画像処理部11乃至表示制御部16のそれぞれが設けられており、それらの基本的な接続形態も図1のそれと同様とされている。
As shown in FIG. 22, the
ただし、図1の画像処理装置1においては、動き検出部14の検出結果(動きベクトルvec)が、ステップエッジ検出部21に供給されていたが、図22の画像処理装置151においては、動き検出部14の検出結果は、ステップエッジ検出部21に供給されず、逆に、ステップエッジ検出部21の検出結果が、動き検出部14と画像処理部11のそれぞれに供給されている。
However, in the
画像処理装置151は、このような構成を有しているので、次のような動作を行うことになる。
Since the
即ち、画像処理装置151においては、初めに、ステップエッジ検出部21が、所定のフレームを構成する複数の画素の中からステップエッジに対応する画素を検出し、その検出結果を、補正部22の他、動き検出部14と画像処理部11のそれぞれに供給する。
In other words, in the
これにより、動き検出部14は、ステップエッジ検出部21により検出された画素(ステップエッジに対応する画素)に対してのみその処理を実行することができる。即ち、動き検出部14は、ステップエッジ検出部31により検出されたステップエッジが動いているか否かを検出するとも言える。
Thereby, the
また、画像処理部11は、ステップエッジ検出部21により検出された画素(ステップエッジに対応する画素)のうちの、動き検出部14により動きが検出された画素に対しては、その処理を禁止する。即ち、画像処理部11は、動きのあるステップエッジに対応する画素に対してはその処理を禁止し、それ以外の画素に対してのみその処理を実行する。
Further, the
このように、図22の画像処理装置151においては、1つの画素に対する画像処理は、画像処理部11と画像処理部12のうちのいずれか一方のみにより実行される。換言すると、1つのフレームに対して画像処理が1回だけ施されることになる。さらに、動き検出部14の処理も、ステップエッジに対応する画素についてのみ実行される。従って、画像処理装置151の全体の処理量を抑制することが可能になる。
As described above, in the
また、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。 The series of processes described above can be executed by hardware, but can also be executed by software.
この場合、図1の画像処理装置1や図22の画像処理装置151は、例えば、図23に示されるようなパーソナルコンピュータで構成することができる。
In this case, the
図23において、CPU(Central Processing Unit)201は、ROM(Read Only Memory)202に記録されているプログラム、または記憶部208からRAM(Random Access Memory)203にロードされたプログラムに従って各種の処理を実行する。RAM203にはまた、CPU201が各種の処理を実行する上において必要なデータなども適宜記憶される。
23, a CPU (Central Processing Unit) 201 executes various processes according to a program recorded in a ROM (Read Only Memory) 202 or a program loaded from a
CPU201、ROM202、およびRAM203は、バス204を介して相互に接続されている。このバス204にはまた、入出力インタフェース205も接続されている。
The
入出力インタフェース205には、キーボード、マウスなどよりなる入力部206、ディスプレイなどよりなる出力部207、ハードディスクなどより構成される記憶部208、および、モデム、ターミナルアダプタなどより構成される通信部209が接続されている。通信部209は、インターネットを含むネットワークを介して他の情報処理装置(図示せず)との通信処理を行う。
The input /
なお、この場合、出力部207自身がホールド型表示装置であってもよいし、或いは、入出力インタフェース205に必要に応じて接続される図示せぬ接続部に、外部のホールド型表示装置2(図1)が接続されてもよい。
In this case, the
入出力インタフェース205にはまた、必要に応じてドライブ210が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体211が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部208にインストールされる。
A
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。 When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, a general-purpose personal computer is installed from a network or a recording medium.
このようなプログラムを含む記録媒体は、図23に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フロッピディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)を含む)、もしくは半導体メモリなどよりなるリムーバブル記録媒体(パッケージメディア)211により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM202や、記憶部208に含まれるハードディスクなどで構成される。
As shown in FIG. 23, the recording medium including such a program is distributed to provide a program to the user separately from the apparatus main body, and a magnetic disk (including a floppy disk) on which the program is recorded. Removable recording media (package) consisting of optical disks (including compact disk-read only memory (CD-ROM), DVD (digital versatile disk)), magneto-optical disk (including MD (mini-disk)), or semiconductor memory Medium) 211, and a
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the order, but is not necessarily performed in chronological order, either in parallel or individually. The process to be executed is also included.
また、以上の説明においては、ホールド型表示装置2の画面を構成する各表示素子(液晶型表示装置の場合、液晶)のそれぞれには、フレームを構成する複数の画素のうちの所定の1つが対応付けられていたが、1つの画素に複数の表示素子が対応付けられていてもよい。即ち、複数の表示素子で1つの画素を表示してもよい。
In the above description, each display element (liquid crystal in the case of a liquid crystal display device) constituting the screen of the hold
さらに、以上の説明においては、画像処理装置は、空間方向Xと平行な動きベクトルを生成したが、上述したように、上述した一連の処理と基本的に同様な処理を実行することで、空間方向Yと平行な動きベクトルを生成することもできるし、空間方向Xと空間方向Yとに平行な2次元平面上の任意な方向の動きベクトルを生成することもできる。 Further, in the above description, the image processing apparatus generates a motion vector parallel to the spatial direction X. As described above, the image processing apparatus performs a process basically similar to the series of processes described above, thereby performing spatial processing. A motion vector parallel to the direction Y can be generated, or a motion vector in an arbitrary direction on a two-dimensional plane parallel to the spatial direction X and the spatial direction Y can be generated.
1 画像処理装置, 2 ホールド型表示装置, 11 画像処理部, 12 画像処理部, 13 参照画像記憶部, 14 動き検出部, 15 切替部, 16 表示制御部, 21 ステップエッジ検出部, 22 補正部, 31 ローパスフィルタ(LPF), 32 LPF, 33 輝度勾配部, 34 テンプレートマッチング部, 35 ヒストグラム部, 36,36A,36B,36C 動きベクトル補正部, 37 LPF, 51 注目画素, 61 SAD演算部, 62 SAD極小検出部, 63 SAD極小値評価部, 101 後段処理用補正部, 102 切替部, 103 信頼度評価部, 104 信頼度用補正部 201 CPU, 202 ROM, 203 RAM, 208 記憶部, 211 リムーバブル記録媒体
DESCRIPTION OF
Claims (11)
前記候補生成手段により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定手段と、
前記注目画素周辺の輝度の変化の度合を演算する輝度変化演算手段と、
前記輝度変化演算手段と前記候補生成手段との処理結果に基づいて、前記動きベクトル決定手段により決定された前記動きベクトルの信頼度を評価し、前記動きベクトルの信頼度が低いと評価した場合、前記動きベクトルを補正する補正手段と
を備えることを特徴とする画像処理装置。 By setting a predetermined pixel of the pixels constituting the first access unit as a target pixel, and comparing the first access unit with the second access unit immediately before the first access unit. , Candidate generation means for generating a motion vector candidate at the pixel of interest;
Motion vector determining means for determining the motion vector candidate having the highest frequency among the motion vector candidates in each of the target pixel generated by the candidate generating means and surrounding pixels as a motion vector in the target pixel; ,
Luminance change calculating means for calculating the degree of change in luminance around the pixel of interest;
When evaluating the reliability of the motion vector determined by the motion vector determination unit based on the processing results of the luminance change calculation unit and the candidate generation unit, and when evaluating that the reliability of the motion vector is low, An image processing apparatus comprising: correction means for correcting the motion vector.
ことを特徴とする請求項1に記載の画像処理装置。 The correction means evaluates that the reliability of the motion vector is low when the degree of change in the brightness calculated by the brightness change calculation means is less than a threshold, and corrects the motion vector. The image processing apparatus according to claim 1.
ことを特徴とする請求項1に記載の画像処理装置。 The candidate generation means detects a second pixel from the first access unit as a corresponding pixel of the first pixel arranged at a position in the second access unit corresponding to the arrangement position of the target pixel. The image processing apparatus according to claim 1, wherein a vector starting from the target pixel and starting from the second pixel is generated as the motion vector candidate for the target pixel.
前記補正手段は、前記候補生成手段から前記第1の情報が提供された場合、前記動きベクトルの信頼度が低いと評価して、前記動きベクトルを補正する
ことを特徴とする請求項3に記載の画像処理装置。 If the candidate generation unit further determines that there are a plurality of candidates for the corresponding pixel in the first access unit, or if the reliability that the second pixel is the corresponding pixel is low If determined, providing the correction means with the first information indicating the motion vector correction command,
The said correction | amendment means evaluates that the reliability of the said motion vector is low, and correct | amends the said motion vector, when the said 1st information is provided from the said candidate production | generation means. Image processing apparatus.
前記補正手段は、前記候補生成手段から前記第2の情報が提供された場合、前記動きベクトルの信頼度が低いと評価して、前記動きベクトルを0ベクトルに補正する
ことを特徴とする請求項4に記載の画像処理装置。 The candidate generation means further provides the correction means with second information indicating that the pixel of interest itself is included in a plurality of candidates for the corresponding pixel,
The correction unit, when the second information is provided from the candidate generation unit, evaluates that the reliability of the motion vector is low and corrects the motion vector to a zero vector. 5. The image processing apparatus according to 4.
前記候補生成ステップの処理により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定ステップと、
前記注目画素周辺の輝度の変化の度合を演算する輝度変化演算ステップと、
前記輝度変化演算ステップと前記候補生成ステップとの処理結果に基づいて、前記動きベクトル決定ステップの処理により決定された前記動きベクトルの信頼度を評価し、前記動きベクトルの信頼度が低いと評価した場合、前記動きベクトルを補正する補正ステップと
を含むことを特徴とする画像処理方法。 By setting a predetermined pixel of the pixels constituting the first access unit as a target pixel, and comparing the first access unit with the second access unit immediately before the first access unit. , A candidate generation step of generating a motion vector candidate at the target pixel;
Motion vector determination for determining the motion vector candidate having the highest frequency among the motion vector candidates in each of the target pixel and its surrounding pixels generated by the processing of the candidate generation step as a motion vector in the target pixel. Steps,
A luminance change calculating step for calculating the degree of luminance change around the target pixel;
Based on the processing results of the luminance change calculation step and the candidate generation step, the reliability of the motion vector determined by the processing of the motion vector determination step was evaluated, and the reliability of the motion vector was evaluated to be low A correction step of correcting the motion vector.
前記第1のアクセスユニットと、前記第1のアクセスユニットの直前の第2のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成ステップと、
前記候補生成ステップの処理により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定ステップと、
前記注目画素周辺の輝度の変化の度合を演算する輝度変化演算ステップと、
前記輝度変化演算ステップと前記候補生成ステップとの処理結果に基づいて、前記動きベクトル決定ステップの処理により決定された前記動きベクトルの信頼度を評価し、前記動きベクトルの信頼度が低いと評価した場合、前記動きベクトルを補正する補正ステップと
を含むことを特徴とするプログラム。 A program that sets a predetermined pixel of pixels constituting the first access unit as a target pixel and causes a computer to execute image processing using the target pixel as a unit,
A candidate generation step of generating a motion vector candidate at the pixel of interest by comparing the first access unit with a second access unit immediately before the first access unit;
Motion vector determination for determining the motion vector candidate having the highest frequency among the motion vector candidates in each of the target pixel and its surrounding pixels generated by the processing of the candidate generation step as a motion vector in the target pixel. Steps,
A luminance change calculating step for calculating the degree of luminance change around the target pixel;
Based on the processing results of the luminance change calculation step and the candidate generation step, the reliability of the motion vector determined by the processing of the motion vector determination step was evaluated, and the reliability of the motion vector was evaluated to be low A correction step of correcting the motion vector.
前記候補生成手段により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定手段と、
前記動きベクトル決定手段により決定された前記動きベクトルを補正する補正手段と、
前記補正手段により補正された前記動きベクトルを利用して、所定の処理を実行する処理実行手段とを備え、
前記補正手段は、前記処理実行手段の前記所定の処理の特徴に基づく第1の補正方法を利用して、前記動きベクトルを補正する
ことを特徴とする画像処理装置。 By setting a predetermined pixel of the pixels constituting the first access unit as a target pixel, and comparing the first access unit with the second access unit immediately before the first access unit. , Candidate generation means for generating a motion vector candidate at the pixel of interest;
Motion vector determining means for determining the motion vector candidate having the highest frequency among the motion vector candidates in each of the target pixel generated by the candidate generating means and surrounding pixels as a motion vector in the target pixel; ,
Correction means for correcting the motion vector determined by the motion vector determination means;
Processing execution means for executing predetermined processing using the motion vector corrected by the correction means;
The image processing apparatus, wherein the correction unit corrects the motion vector by using a first correction method based on a characteristic of the predetermined process of the process execution unit.
前記補正手段は、さらに、前記輝度変化演算手段と前記候補生成手段との処理結果に基づいて、前記動きベクトル決定手段により決定された前記動きベクトルの信頼度を評価し、前記動きベクトルの信頼度が低いと評価した場合、前記第1の補正方法により補正された前記動きベクトルを、第2の補正方法によりさらに補正する
ことを特徴とする請求項8に記載の画像処理装置。 A luminance change calculating means for calculating the degree of change in luminance around the target pixel;
The correction means further evaluates the reliability of the motion vector determined by the motion vector determination means based on the processing results of the brightness change calculation means and the candidate generation means, and the reliability of the motion vector The image processing apparatus according to claim 8, wherein when the evaluation is low, the motion vector corrected by the first correction method is further corrected by a second correction method.
第1のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、前記第1のアクセスユニットと、前記第1のアクセスユニットの直前の第2のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成ステップと、
前記候補生成ステップの処理により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定ステップと、
前記動きベクトル決定ステップの処理により決定された前記動きベクトルを補正する補正ステップと、
前記補正ステップの処理により補正された前記動きベクトルを利用した所定の処理を前記情報処理装置が実行することを制御する処理制御ステップとを含み、
前記補正ステップは、前記処理制御ステップの制御により前記情報処理装置が実行する前記所定の処理の特徴に基づく補正方法を利用して、前記動きベクトルを補正するステップを少なくとも含む
ことを特徴とする画像処理方法。 In the information processing method of the information processing apparatus,
By setting a predetermined pixel of the pixels constituting the first access unit as a target pixel, and comparing the first access unit with the second access unit immediately before the first access unit. , A candidate generation step of generating a motion vector candidate at the target pixel;
Motion vector determination for determining the motion vector candidate having the highest frequency among the motion vector candidates in each of the target pixel and its surrounding pixels generated by the processing of the candidate generation step as a motion vector in the target pixel. Steps,
A correction step of correcting the motion vector determined by the processing of the motion vector determination step;
A process control step for controlling the information processing apparatus to execute a predetermined process using the motion vector corrected by the process of the correction step,
The correction step includes at least a step of correcting the motion vector using a correction method based on the feature of the predetermined process executed by the information processing apparatus under the control of the process control step. Processing method.
第1のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、前記第1のアクセスユニットと、前記第1のアクセスユニットの直前の第2のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成ステップと、
前記候補生成ステップの処理により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定ステップと、
前記動きベクトル決定ステップの処理により決定された前記動きベクトルを補正する補正ステップと、
前記補正ステップの処理により補正された前記動きベクトルを利用して前記所定の処理を前記処理実行装置が実行することを制御する処理制御ステップとを含み、
前記補正ステップは、前記処理制御ステップの制御により前記処理実行装置が実行する前記所定の処理の特徴に基づく補正方法を利用して、前記動きベクトルを補正するステップを少なくとも含む
ことを特徴とするプログラム。 A processing execution device that executes a predetermined process using a motion vector in each of the pixels constituting the access unit to be processed, with a predetermined one of a plurality of access units constituting a moving image as a processing target. A program to be executed by a controlling computer,
By setting a predetermined pixel of the pixels constituting the first access unit as a target pixel, and comparing the first access unit with the second access unit immediately before the first access unit. , A candidate generation step of generating a motion vector candidate at the target pixel;
Motion vector determination for determining the motion vector candidate having the highest frequency among the motion vector candidates in each of the target pixel and its surrounding pixels generated by the processing of the candidate generation step as a motion vector in the target pixel. Steps,
A correction step of correcting the motion vector determined by the processing of the motion vector determination step;
A process control step for controlling the process execution device to execute the predetermined process using the motion vector corrected by the process of the correction step,
The correction step includes at least a step of correcting the motion vector using a correction method based on the feature of the predetermined process executed by the process execution device under the control of the process control step. .
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004124271A JP4539152B2 (en) | 2003-11-07 | 2004-04-20 | Image processing apparatus and method, and program |
EP05250938A EP1589763A2 (en) | 2004-04-20 | 2005-02-18 | Image processing apparatus, method and program |
US11/065,523 US20050232356A1 (en) | 2004-04-20 | 2005-02-24 | Image processing apparatus, method, and program |
KR1020050016135A KR101098723B1 (en) | 2004-04-20 | 2005-02-25 | Image processing apparatus, method, and recording medium |
CNB2005100741442A CN100440977C (en) | 2004-04-20 | 2005-02-25 | Image processing apparatus, method and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003378851 | 2003-11-07 | ||
JP2004124271A JP4539152B2 (en) | 2003-11-07 | 2004-04-20 | Image processing apparatus and method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2005160015A true JP2005160015A (en) | 2005-06-16 |
JP2005160015A5 JP2005160015A5 (en) | 2007-06-07 |
JP4539152B2 JP4539152B2 (en) | 2010-09-08 |
Family
ID=34741530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004124271A Expired - Fee Related JP4539152B2 (en) | 2003-11-07 | 2004-04-20 | Image processing apparatus and method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4539152B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008102827A1 (en) * | 2007-02-20 | 2008-08-28 | Sony Corporation | Image display device, video signal processing device, and video signal processing method |
CN101673342A (en) * | 2008-09-12 | 2010-03-17 | 索尼株式会社 | Object detecting device, imaging apparatus, object detecting method, and program |
KR101066343B1 (en) | 2009-11-24 | 2011-09-20 | 포항공과대학교 산학협력단 | Method and apparatus of recognizing patterns using maximization of mutual information based code selection for local binary patterns, and recoding medium thereof |
US8035661B2 (en) | 2007-04-03 | 2011-10-11 | Samsung Electronics Co., Ltd. | Driving apparatus of display device for gray range extension, display device including the same, and method of driving display device for gray range extension |
KR101235806B1 (en) | 2006-06-13 | 2013-02-21 | 삼성전자주식회사 | Driving apparatus of liquid crystal display and driving method thereof |
US8466141B2 (en) | 2005-02-16 | 2013-06-18 | Md Bioalpha Co., Ltd. | Pharmaceutical composition for the treatment or prevention of diseases involving obesity, diabetes, metabolic syndrome, neuro-degenerative diseases and mitochondria dysfunction diseases |
KR101408254B1 (en) * | 2007-11-27 | 2014-06-17 | 엘지디스플레이 주식회사 | Response time improvement apparatus and method for liquid crystal display device |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9728145B2 (en) * | 2012-01-27 | 2017-08-08 | Google Technology Holdings LLC | Method of enhancing moving graphical elements |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05115017A (en) * | 1991-10-21 | 1993-05-07 | Sharp Corp | Motion vector detector and camera incorporated hand blur correction device |
JPH06133298A (en) * | 1992-10-14 | 1994-05-13 | Canon Inc | Motion vector detector |
JPH09121356A (en) * | 1995-10-25 | 1997-05-06 | Oki Electric Ind Co Ltd | Motion vector detector |
JPH10112864A (en) * | 1996-10-04 | 1998-04-28 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for camera work |
JPH10224798A (en) * | 1997-02-05 | 1998-08-21 | Toshiba Corp | Motion vector detection method and detector |
JP2001034223A (en) * | 1999-07-23 | 2001-02-09 | Matsushita Electric Ind Co Ltd | Moving image displaying method and moving image displaying device using the method |
JP2003078807A (en) * | 2001-08-31 | 2003-03-14 | Sony Corp | Device and method for detecting motion vector, device and method for correcting camera shake and imaging apparatus |
-
2004
- 2004-04-20 JP JP2004124271A patent/JP4539152B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05115017A (en) * | 1991-10-21 | 1993-05-07 | Sharp Corp | Motion vector detector and camera incorporated hand blur correction device |
JPH06133298A (en) * | 1992-10-14 | 1994-05-13 | Canon Inc | Motion vector detector |
JPH09121356A (en) * | 1995-10-25 | 1997-05-06 | Oki Electric Ind Co Ltd | Motion vector detector |
JPH10112864A (en) * | 1996-10-04 | 1998-04-28 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for camera work |
JPH10224798A (en) * | 1997-02-05 | 1998-08-21 | Toshiba Corp | Motion vector detection method and detector |
JP2001034223A (en) * | 1999-07-23 | 2001-02-09 | Matsushita Electric Ind Co Ltd | Moving image displaying method and moving image displaying device using the method |
JP2003078807A (en) * | 2001-08-31 | 2003-03-14 | Sony Corp | Device and method for detecting motion vector, device and method for correcting camera shake and imaging apparatus |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9066922B2 (en) | 2005-02-16 | 2015-06-30 | Md Bioalpha Co., Ltd. | Pharmaceutical composition for the treatment or prevention of diseases involving obesity, diabetes, metabolic syndrome, neuro-degenerative diseases and mitochondria dysfunction diseases |
US8466141B2 (en) | 2005-02-16 | 2013-06-18 | Md Bioalpha Co., Ltd. | Pharmaceutical composition for the treatment or prevention of diseases involving obesity, diabetes, metabolic syndrome, neuro-degenerative diseases and mitochondria dysfunction diseases |
KR101235806B1 (en) | 2006-06-13 | 2013-02-21 | 삼성전자주식회사 | Driving apparatus of liquid crystal display and driving method thereof |
JP5294036B2 (en) * | 2007-02-20 | 2013-09-18 | ソニー株式会社 | Image display device, video signal processing device, and video signal processing method |
WO2008102826A1 (en) * | 2007-02-20 | 2008-08-28 | Sony Corporation | Image display device, video signal processing device, and video signal processing method |
US8917767B2 (en) | 2007-02-20 | 2014-12-23 | Sony Corporation | Image display apparatus, video signal processor, and video signal processing method |
WO2008102827A1 (en) * | 2007-02-20 | 2008-08-28 | Sony Corporation | Image display device, video signal processing device, and video signal processing method |
CN101543065B (en) * | 2007-02-20 | 2012-03-14 | 索尼株式会社 | Image display device, video signal processing device, and video signal processing method |
US8213504B2 (en) | 2007-02-20 | 2012-07-03 | Sony Corporation | Image display apparatus, video signal processor, and video signal processing method |
KR101456305B1 (en) * | 2007-02-20 | 2014-11-03 | 소니 주식회사 | Image display device, video signal processing device, and video signal processing method |
US8441468B2 (en) | 2007-02-20 | 2013-05-14 | Sony Corporation | Image display apparatus |
US8035661B2 (en) | 2007-04-03 | 2011-10-11 | Samsung Electronics Co., Ltd. | Driving apparatus of display device for gray range extension, display device including the same, and method of driving display device for gray range extension |
KR101408254B1 (en) * | 2007-11-27 | 2014-06-17 | 엘지디스플레이 주식회사 | Response time improvement apparatus and method for liquid crystal display device |
CN101673342B (en) * | 2008-09-12 | 2012-11-28 | 索尼株式会社 | Object detecting device, imaging apparatus, object detecting method, and program |
CN101673342A (en) * | 2008-09-12 | 2010-03-17 | 索尼株式会社 | Object detecting device, imaging apparatus, object detecting method, and program |
KR101066343B1 (en) | 2009-11-24 | 2011-09-20 | 포항공과대학교 산학협력단 | Method and apparatus of recognizing patterns using maximization of mutual information based code selection for local binary patterns, and recoding medium thereof |
Also Published As
Publication number | Publication date |
---|---|
JP4539152B2 (en) | 2010-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101098723B1 (en) | Image processing apparatus, method, and recording medium | |
US7406208B2 (en) | Edge enhancement process and system | |
US8279930B2 (en) | Image processing apparatus and method, program, and recording medium | |
US9262684B2 (en) | Methods of image fusion for image stabilization | |
KR100914619B1 (en) | Spatio-temporal adaptive video de-interlacing | |
US20050271144A1 (en) | Image processing apparatus and method, and recording medium and program used therewith | |
JP4564564B2 (en) | Moving picture reproducing apparatus, moving picture reproducing method, and moving picture reproducing program | |
US8774276B2 (en) | Image processing method for determining motion vectors of interpolated picture and related apparatus | |
JP6623832B2 (en) | Image correction apparatus, image correction method, and computer program for image correction | |
JP2010147986A (en) | Image processing apparatus and image processing method, and program | |
US20120269444A1 (en) | Image compositing apparatus, image compositing method and program recording device | |
RU2598899C1 (en) | Image processing device and method | |
JPWO2011067870A1 (en) | Image processing apparatus and image processing method | |
EP2161687A1 (en) | Video signal processing device, video signal processing method, and video signal processing program | |
JP4539152B2 (en) | Image processing apparatus and method, and program | |
US20100150462A1 (en) | Image processing apparatus, method, and program | |
JP2013048375A (en) | Device and method for generating motion compensation frame | |
JP5841345B2 (en) | Image processing apparatus, image processing method, image processing program, and imaging apparatus | |
US20090323814A1 (en) | Tracking point detection apparatus and method, program, and recording medium | |
JP2009077309A (en) | Motion prediction apparatus and method | |
JP5737072B2 (en) | Motion compensation frame generation apparatus and method | |
JP2012032739A (en) | Image processing device, method and image display device | |
JP5197374B2 (en) | Motion estimation | |
JP5928465B2 (en) | Degradation restoration system, degradation restoration method and program | |
US7742525B1 (en) | Adaptive motion estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070417 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070417 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091105 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100323 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100514 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100601 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100614 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130702 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |