JP2015136155A - Color video structure conversion method and color video structure conversion apparatus - Google Patents
Color video structure conversion method and color video structure conversion apparatus Download PDFInfo
- Publication number
- JP2015136155A JP2015136155A JP2015043372A JP2015043372A JP2015136155A JP 2015136155 A JP2015136155 A JP 2015136155A JP 2015043372 A JP2015043372 A JP 2015043372A JP 2015043372 A JP2015043372 A JP 2015043372A JP 2015136155 A JP2015136155 A JP 2015136155A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- frame
- interpolation
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 29
- 230000033001 locomotion Effects 0.000 description 156
- 230000015654 memory Effects 0.000 description 58
- 239000013598 vector Substances 0.000 description 46
- 230000000007 visual effect Effects 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 9
- 239000003086 colorant Substances 0.000 description 9
- 230000003111 delayed effect Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000012447 hatching Effects 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- DYAHQFWOVKZOOW-QMMMGPOBSA-N (S)-sarin Chemical compound CC(C)O[P@@](C)(F)=O DYAHQFWOVKZOOW-QMMMGPOBSA-N 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
テレビジョン映像などの動画像信号を効率的かつ高画質に伝送、蓄積、表示するための映像信号処理で、特に合理的な信号形態で形成されたカラー動画像を、通常形態のカラー動画像に変換する画像構造変換処理に属する。 Video signal processing for efficiently transmitting, storing, and displaying moving image signals such as television images with high image quality. Especially, color moving images formed in a rational signal form are converted into normal color moving images. It belongs to the image structure conversion process to be converted.
近年、画像のデジタル化が普及し、動画像に限らずカラー画像信号は、赤(Red),緑(Green),青(Blue)の３原色により形成され、撮像や画像表示は、ＲＧＢを使用して行われている。一方、伝送や記録のための形態は、輝度と、ふたつの色差により形成されるコンポーネントカラー信号が使われる。これらは３原色から所定の変換により得られ、さらに色差がサブサンプリングされる場合が多い。具体的には、色差がサブサンプリングされない４：４：４、色差が水平方向に２分の１にサブサンプリングされる４：２：２、色差が水平と垂直の両方で２分の１にサブンサンプリングされた４：２：０といった色差サンプリング方式である。この様な動画像カラーフォーマットは、それぞれ規格として詳細に定義されており、放送などで広く使われている。 In recent years, digitization of images has become widespread, and color image signals, not limited to moving images, are formed with the three primary colors of red, green, and blue, and RGB is used for imaging and image display. Has been done. On the other hand, as a form for transmission and recording, a component color signal formed by luminance and two color differences is used. These are obtained by predetermined conversion from the three primary colors, and the color difference is often subsampled. Specifically, the color difference is not subsampled 4: 4: 4, the color difference is subsampled to 1/2 in the horizontal direction, 4: 2: 2, and the color difference is subdivided in half in both the horizontal and vertical directions. This is a color difference sampling method such as 4: 2: 0. Such moving image color formats are defined in detail as standards, and are widely used in broadcasting and the like.
一方、カラー動画像の撮像において、最も簡易な方式として、各フレーム(インターレース走査画像ではフィールド)で色プレーンを切り替えるシーケンシャルカラー(カラー)方式(以下ＳＣとして参照する。)が過去にも検討された。この方式は、動き補償無しで色補間を行うことにより、動いた部分は原色間のズレを生じ、実用的な画像を与えることにはならない。なお、３倍速で撮像と表示を行なえばこのような問題は無いが、色差サブサンプリングのような合理化ができないので、現在は普及してはいない。 On the other hand, as the simplest method for capturing color moving images, a sequential color (color) method (hereinafter referred to as SC) for switching color planes at each frame (field in an interlaced scanned image) has been studied in the past. . In this method, color interpolation is performed without motion compensation, so that the moved portion is shifted between primary colors, and a practical image cannot be provided. If imaging and display are performed at 3 times speed, there is no such problem, but since rationalization such as color difference subsampling cannot be performed, it is not widely used at present.
通常のＲＧＢ画像とそれに対応するＳＣ画像のフレーム関係を図７に示す。図７では、フレームにより撮像タイミングが異なり画像内容が変化していることを、色の濃さが異なる丸印の移動で表している。ＲＧＢ画像は、各フレームに３色すべての色プレーンが存在する。ＳＣ画像はひとつのフレームにひとつの色プレーンしか存在しない。そして、各フレームの色プレーンは、所定パターンでフレーム毎に入れ替わる。色プレーンは３種類なのでパターンは３フレーム周期となるので、３フレーム経過すると同じ色プレーンとなる。 FIG. 7 shows the frame relationship between a normal RGB image and the corresponding SC image. In FIG. 7, the fact that the image capturing timing differs depending on the frame and the image content changes is represented by the movement of a circle with a different color density. An RGB image has all three color planes in each frame. An SC image has only one color plane per frame. Then, the color plane of each frame is changed for each frame in a predetermined pattern. Since there are three types of color planes, the pattern has a period of 3 frames, so the same color plane is obtained after 3 frames.
ＳＣ画像の非圧縮データ量は、ＲＧＢ画像の３分の１であり、単色(白黒)画像と同じになる。これは、現在最も一般的に使われているコンポーネントカラー信号の４：２：０より少なく、機器間の接続において非圧縮で使われることの多い４：２：２の半分となる。 The amount of uncompressed data of the SC image is one third of that of the RGB image, and is the same as that of the monochrome (monochrome) image. This is less than 4: 2: 0 of the component color signal most commonly used at present, and is half of 4: 2: 2, which is often used uncompressed in connection between devices.
一方、表示装置において、３原色を時分割で表示する方法がある。各色がフレーム(フィールド)で順次となるので、フレーム(フィールド)シーケンシャル方式と呼ばれる。この場合は、通常１フレーム(フィールド)が提示される６０分の１秒間に、３原色のすべてを表示するので、色プレーンの表示速度は３倍となる。また、そもそも同一フレームの各色プレーンを表示タイミングだけ変えるので、画像内容の時間による動き変化は無い。この方式は、各色プレーンで動きによる画像変化があるシーケンシャルカラー方式とは異なるものである。 On the other hand, there is a method for displaying three primary colors in a time division manner in a display device. Since each color becomes sequential in a frame (field), it is called a frame (field) sequential method. In this case, since all three primary colors are displayed in 1/60 second in which one frame (field) is usually presented, the display speed of the color plane is tripled. In the first place, since each color plane of the same frame is changed only by the display timing, there is no change in motion of the image content with time. This method is different from the sequential color method in which there is an image change due to movement in each color plane.
ＲＧＢ画像とＳＣ画像間の変換は、ＲＧＢ画像からＳＣ画像への変換と、ＳＣ画像からＲＧＢ画像への変換で大きく異なる。前者は色プレーンの間引きであり、容易に実現できる。後者は色プレーンの補間であり、近隣フレームを用いて色プレーン補間を行なう必要がある。既存色プレーンと補間色プレーンの様子を図８に示す。図８に示すように、補間色プレーンは既存色以外の２色であり、既存色が３フレーム周期で変化するので補間色プレーンも３フレーム周期で変化する。図８に示す補間１は、Ｒの画像からＢの画像を予測した補間を行う場合であり、補間２は、Ｒの画像からＧの画像を予測する場合の補間を行う場合である。 The conversion between the RGB image and the SC image is largely different between the conversion from the RGB image to the SC image and the conversion from the SC image to the RGB image. The former is thinning out of the color plane and can be easily realized. The latter is color plane interpolation, and it is necessary to perform color plane interpolation using neighboring frames. The state of the existing color plane and the interpolation color plane is shown in FIG. As shown in FIG. 8, the interpolation color plane is two colors other than the existing color, and the existing color changes in a three-frame cycle, so the interpolation color plane also changes in a three-frame cycle. Interpolation 1 shown in FIG. 8 is a case where the B image is predicted from the R image, and interpolation 2 is a case where the G image is predicted from the R image.
なお、コンポーネントカラー信号である４：２：２や４：２：０へは、ＲＧＢ画像からさらに変換が行われることになり、ＳＣ画像から直接変換することは現実的でない。つまり、いずれの形態への変換も一旦ＲＧＢ画像にしてから行なわれるので、そのための色プレーンの補間のみを検討する。 The component color signals 4: 2: 2 and 4: 2: 0 are further converted from the RGB image, and it is not realistic to directly convert from the SC image. That is, since conversion to any form is performed once after converting to an RGB image, only interpolation of a color plane for that purpose is considered.
図９は、従来のカラー動画像構造変換装置の機能ブロック図である。以下、本明細書において、同一の機能を有する機能ブロックには、同一の符号を付して参照するものとする。シーケンシャルカラー画像入力１から入来するＳＣ画像信号は、参照画像メモリ２に格納され、遅延調整された信号は、次の参照画像メモリ３１に与えられる。参照画像メモリ３１で１フレーム分遅延した信号は次の参照画像メモリ３２に与えられる。参照画像メモリ３２は、参照画像メモリ３１と同様なもので、これにより参照画像メモリ２には現在フレームが、参照画像メモリ３１には１フレーム前の画像が、参照画像メモリ３２には２フレーム前の画像が格納される。格納されているのはＳＣ画像信号なので、それぞれのメモリの色プレーンはフレーム単位で更新される。 FIG. 9 is a functional block diagram of a conventional color moving image structure conversion apparatus. Hereinafter, in the present specification, functional blocks having the same function are referred to with the same reference numerals. The SC image signal coming from the sequential color image input 1 is stored in the reference image memory 2, and the delay-adjusted signal is given to the next reference image memory 31. The signal delayed by one frame in the reference image memory 31 is given to the next reference image memory 32. The reference image memory 32 is the same as the reference image memory 31, so that the current image is stored in the reference image memory 2, the previous image is stored in the reference image memory 31, and the previous frame is stored in the reference image memory 32. Images are stored. Since the SC image signal is stored, the color plane of each memory is updated in units of frames.
図９では、動き推定器４１は参照画像メモリ２の現在フレームの画像と参照画像メモリ３１の１フレーム前の画像を用いて動き推定を行い、１フレーム間の動きベクトルを得る。動き推定は、ブロックマッチングで、ブロックサイズ(動きベクトルを求める単位)は、４×４画素か８×８画素とする。探索精度は、0.5画素か、望ましくは0.25画素となる。動き補償器９は、参照画像メモリ３１に格納されている１フレーム前の画像を、動き推定器４２から与えられる動きベクトルに従って動き補償して補間画像１として画像多重化器１３に与える。ここでの画素精度は動き推定と同じである。 In FIG. 9, the motion estimator 41 performs motion estimation using the current frame image in the reference image memory 2 and the previous frame image in the reference image memory 31 to obtain a motion vector between the frames. The motion estimation is block matching, and the block size (unit for obtaining a motion vector) is 4 × 4 pixels or 8 × 8 pixels. The search accuracy is 0.5 pixels or preferably 0.25 pixels. The motion compensator 9 performs motion compensation on the image one frame before stored in the reference image memory 31 in accordance with the motion vector supplied from the motion estimator 42, and provides the interpolated image 1 to the image multiplexer 13. The pixel accuracy here is the same as that of motion estimation.
一方、動き推定器４１は、参照画像メモリ２の現在フレームの画像と参照画像メモリ３２の２フレーム前の画像を用いて動き推定を行い、２フレーム間の動きベクトルを得る。動き補償器１０は、参照画像メモリ３２に格納されている２フレーム前の画像を、動き推定器４１から与えられる動きベクトルに従って動き補償して補間画像２として画像多重化器１３に与える。これらの補間画像２を得るための処理は、２フレーム間で行なわれているので、動きベクトルの探索範囲のみ広げる。 On the other hand, the motion estimator 41 performs motion estimation using the image of the current frame in the reference image memory 2 and the image two frames before in the reference image memory 32, and obtains a motion vector between the two frames. The motion compensator 10 performs motion compensation on the image two frames before stored in the reference image memory 32 in accordance with the motion vector supplied from the motion estimator 41, and provides the interpolated image 2 to the image multiplexer 13. Since the processing for obtaining these interpolated images 2 is performed between two frames, only the motion vector search range is expanded.
画像多重化器１３は、参照画像メモリ２から現フレームの画像を既存画像として得て、補間画像１と補間画像２を出力フォーマットに合わせてフレームに同期して入替え、ＲＧＢ画像を形成する。変換されたＲＧＢ画像は、ＲＧＢ画像出力１４から出力される。 The image multiplexer 13 obtains an image of the current frame as an existing image from the reference image memory 2, and replaces the interpolated image 1 and the interpolated image 2 in synchronization with the frame according to the output format to form an RGB image. The converted RGB image is output from the RGB image output 14.
図９に示す従来のカラー動画像構造変換装置を使用した従来のカラー動画像構造変換について図１０を使用して具体的に説明する。図１０は、従来の動き補償色プレーン補間処理をＳＣ画像にそのまま適用する場合を示したもので、図１０(ａ)の片方向補間では、既存画像(R4)と１フレーム前(B3)との間で動き推定を行い、(B3)を動き補償して補間画像１を、既存画像(R4)と２フレーム前(G2)との間で動き推定を行い、(G2)を動き補償して補間画像２を得る。 The conventional color moving image structure conversion using the conventional color moving image structure converting apparatus shown in FIG. 9 will be specifically described with reference to FIG. FIG. 10 shows a case where the conventional motion compensation color plane interpolation process is applied to the SC image as it is. In the unidirectional interpolation of FIG. 10A, the existing image (R4) and the previous frame (B3) Between the existing image (R4) and two frames before (G2), and (G2) with motion compensation. Interpolated image 2 is obtained.
一方、図１０(ｂ)では、フレーム内挿による補間が行われ、被補間フレーム(B12)をまたぐ画像(G11)と同色の逆方向フレーム(G14)との間で動き推定を行い、得られた動きベクトルから（G11）と（G14）を動き補償内挿補間して(G12)を得る。また画像(R10)と同色の逆方向フレーム(R13)との間で動き推定を行い、得られた動きベクトルから得られた動きベクトルから（R10）と（R13）を動き補償内挿補間して(B12)を得る。 On the other hand, in FIG. 10B, interpolation is performed by frame interpolation, and motion estimation is performed between an image (G11) straddling the interpolated frame (B12) and a reverse frame (G14) of the same color. (G11) and (G14) are motion compensated by interpolation from the obtained motion vectors to obtain (G12). Also, motion estimation is performed between the image (R10) and the reverse color frame (R13) of the same color, and (R10) and (R13) are interpolated by motion compensation interpolation from the motion vector obtained from the obtained motion vector. (B12) is obtained.
以上の処理を検討すると、図１０（ａ）の片方向補間では、各動き推定は動き補償で使われるフレームで行っているので、得られた動きベクトルはそのまま動き補償に使うことができる。しかし、ＳＣ画像の色プレーンは３フレーム周期なので、１フレーム間も２フレーム間も異なった色プレーン間での動き推定となる。この場合、画像に色が無くＲＧＢ各プレーンの値が近い場合は問題が無いが、画像に色が付いていると値が異なるので、単純なブロックマッチングでは動き推定ができなくなる。また、図１０（ｂ）に示すフレーム内挿による動き推定も毎秒２０フレームの画像から３倍速の毎秒６０フレームの画像を作るのに相当し、フレーム変化が少なければ良いが、前後フレーム間で変化が激しいと動き推定が適切にできないという問題が生じる。 Considering the above processing, in the unidirectional interpolation of FIG. 10A, each motion estimation is performed in a frame used for motion compensation, and thus the obtained motion vector can be used for motion compensation as it is. However, since the color plane of the SC image has a period of three frames, motion estimation is performed between different color planes for both one frame and two frames. In this case, there is no problem if the image has no color and the values of the RGB planes are close, but if the image is colored, the value will be different, so that motion estimation cannot be performed with simple block matching. Also, the motion estimation by frame interpolation shown in FIG. 10B is equivalent to making an image of 60 frames per second at a triple speed from an image of 20 frames per second. The problem is that motion estimation cannot be performed properly if the motion is intense.
これまで、カラー動画像の符号化については種々検討されており、例えば、特開平９−２２４２６２号公報（特許文献１）では、差分パルスコード変調による予測エラーを視感色差の範囲を用いて低減するために、現在の元映像と以前の復元映像から差分パルスコード変調により予測映像を生成する映像入力部と、そこから出力される現在の元映像の各画素の色成分に対する視感色差の範囲を決める視感色差範囲決め部と、前記映像入力部から出力される予測映像と現在の元映像との予測エラーを発生させる予測エラー発生部と、そこから出力される予測エラーと前記視感色差範囲決め部から出力される各画素の視感色差の範囲とを比べる視感予測エラー比較部とを備え、視感予測エラーと予測映像を用いて前記現在の元映像を符号化して復元する映像符号化方法および装置が開示されている。 Until now, various studies have been made on the coding of color moving images. For example, in Japanese Patent Laid-Open No. 9-224262 (Patent Document 1), a prediction error due to differential pulse code modulation is reduced using a range of visual color difference. In order to do so, a video input unit that generates a predicted video by differential pulse code modulation from the current original video and the previous restored video, and the range of the visual color difference for the color components of each pixel of the current original video output therefrom A visual color difference range determining unit that determines a prediction error, a prediction error generation unit that generates a prediction error between the predicted video output from the video input unit and the current original video, and a prediction error output from the prediction color and the visual color difference A visual prediction error comparison unit that compares the visual color difference range of each pixel output from the range determination unit, and encodes and restores the current original video using the visual prediction error and the predicted video. Video encoding method and apparatus for is disclosed.
また、特開平１０−７０７３８号公報（特許文献２）では、カラー画像の視感誤差を改善するために、元の画像と復元画像との差から予測誤差画像を生成する手段を設け、復号化された予測誤差画像から動き推定及び補償により復元画像を予測する手段と、予測誤差画像を視感色差ルックアップテーブルを用いて視感誤差画像に再構成する画像符号化装置が開示されている。 Japanese Patent Laid-Open No. 10-70738 (Patent Document 2) provides means for generating a prediction error image from the difference between the original image and the restored image in order to improve the visual error of the color image, and decoding There are disclosed means for predicting a restored image by motion estimation and compensation from the predicted error image, and an image encoding device for reconstructing the prediction error image into a visual error image using a visual color difference lookup table.
さらに、特開２００２−１１８８５０号公報（特許文献３）では、フレーム間符号化方法を用いて動画像の符号化を行い符号を伝送する際に、差分情報にある誤差を一定期間内に減衰させて再生画像の誤差を減らす動画像符号化方式が記載されている。また、特開２００５−３９８４２号公報（特許文献４）では、カラー画像のためのビデオ符号化装置および方法であって、第１動き予測部は、入力映像の第１動き予測結果に基づいて入力映像に対する第１予測誤差映像を算出し、映像情報把握部は、Ｒ−Ｇ−Ｂ映像の色成分のうち所定の色成分を基準色成分に設定し、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、入力映像の色成分が基準色成分であるか否かを把握することで、カラー映像の符号化／復号化を行う点が記載されている。 Further, in Japanese Patent Laid-Open No. 2002-118850 (Patent Document 3), when encoding a moving image using an interframe encoding method and transmitting the code, an error in the difference information is attenuated within a certain period. Thus, there is described a moving image encoding method for reducing an error of a reproduced image. Japanese Patent Laying-Open No. 2005-39842 (Patent Document 4) is a video encoding apparatus and method for color images, in which a first motion prediction unit is input based on a first motion prediction result of an input video. A first prediction error image for the image is calculated, and the image information grasping unit sets a predetermined color component among the color components of the R-GB image as a reference color component, and the input image is a Y-Cb-Cr image. It is described whether a color video is encoded / decoded by grasping whether it is an R-GB-B video or not and determining whether the color component of the input video is a reference color component. Yes.
この他、特開２００８−１７２５９９号公報（特許文献５）では、４：２：０、４：２：２、４：４：４等の複数の異なるクロマフォーマットに対して効率的な装置構成で統一的に符号化・復号するために、前記入力動画像信号のクロマフォーマット種別を与える制御信号に基づき、クロマフォーマットが４：２：０ないしは４：２：２の場合は、前記入力動画像信号の輝度成分に前記第１のイントラ予測モード決定部と前記第１のイントラ予測画像生成部を、色差成分に前記第２のイントラ予測モード決定部と前記第２のイントラ予測画像生成部を適用し、クロマフォーマットが４：４：４の場合は、前記入力動画像信号の全色成分に前記第１のイントラ予測モード決定部と前記第１のイントラ予測画像生成部を適用して符号化を行い、前記可変長符号化部は前記制御信号を動画像シーケンス単位に適用する符号化データとしてビットストリームに多重化する点を記載している。さらに、特開２００９−３０３２６３号公報（特許文献６）では、４：４：４フォーマットのような色成分間にサンプル比の区別のない動画像信号を符号化するにあたり、最適性を高めた、符号化装置、復号装置、符号化方法、および、復号方法が記載されている。 In addition, in Japanese Patent Laid-Open No. 2008-172599 (Patent Document 5), an efficient apparatus configuration is used for a plurality of different chroma formats such as 4: 2: 0, 4: 2: 2, 4: 4: 4, and the like. If the chroma format is 4: 2: 0 or 4: 2: 2 on the basis of a control signal for giving a chroma format type of the input moving picture signal in order to encode and decode in a unified manner, the input moving picture signal The first intra prediction mode determination unit and the first intra prediction image generation unit are applied to the luminance component, and the second intra prediction mode determination unit and the second intra prediction image generation unit are applied to the color difference component. When the chroma format is 4: 4: 4, encoding is performed by applying the first intra prediction mode determination unit and the first intra prediction image generation unit to all the color components of the input moving image signal. ,Previous Variable length coding unit describes the points of multiplexing the bit stream as encoded data for applying the control signal to the moving image sequence unit. Furthermore, in Japanese Unexamined Patent Application Publication No. 2009-303263 (Patent Document 6), in encoding a moving image signal having no sample ratio distinction between color components such as 4: 4: 4 format, the optimality is improved. An encoding device, a decoding device, an encoding method, and a decoding method are described.
以上の通り、カラー動画像の符号化を行う検討は種々行われているものの、これまで、シーケンシャルカラー画像の特性を有効利用してカラー動画像構造を生成する方法および装置はない。従来の手法では、フレーム毎に色プレーンが入れ替わるシーケンンシャルカラー動画像を、各フレームで全色プレーンが存在する通常のカラー動画像に変換するカラー動画像フォーマット変換で、動き補償フレーム間補間を行おうとすると、被補間フレームの既存色プレーンと参照フレームの色プレーンが異なるので、画像に色が付いている部分ではフレーム間で画像が異なることになり、適切な動き推定ができない。 As described above, although various studies for encoding a color moving image have been made, there has been no method and apparatus for generating a color moving image structure by effectively utilizing the characteristics of a sequential color image. In the conventional method, motion-compensated interframe interpolation is performed by color video format conversion that converts a sequential color moving image in which the color planes are changed for each frame into a normal color moving image in which all color planes exist in each frame. If this is the case, since the existing color plane of the interpolated frame and the color plane of the reference frame are different, the image is different between frames in a portion where the image is colored, and appropriate motion estimation cannot be performed.
また、フレーム内挿のように同一色プレーンを持つフレーム間で動き推定を行い、得られた動きベクトルにより色プレーンを動き補償して補間プレーンを形成すると、動き推定で被補間フレームの既存色プレーンが使われないので、動きベクトルの確からしさは高くなく、オクルージョン部分などで誤補間を生じやすいと言う問題は解消されるものではない。 In addition, if motion estimation is performed between frames with the same color plane as in frame interpolation, and the color plane is motion-compensated by the obtained motion vector to form an interpolation plane, the existing color plane of the interpolated frame is estimated by motion estimation. Is not used, the accuracy of the motion vector is not high, and the problem that misinterpolation is likely to occur in the occlusion part, etc. cannot be solved.
本発明は、以上の点に着目してなされたもので、シーケンシャルカラー画像で適切な動き補償補間や補間信号形成を行い、動きベクトルの信頼度が高く、誤補間の少ない高画質の変換画像が得られるカラー動画像構造変換方法及びカラー動画像構造変換装置を提供することを目的とする。 The present invention has been made paying attention to the above points, and by performing appropriate motion compensation interpolation and interpolation signal formation with sequential color images, a high-quality converted image with high motion vector reliability and low misinterpolation is obtained. It is an object of the present invention to provide a color moving image structure conversion method and a color moving image structure conversion device obtained.
本発明は、フレーム毎に色プレーンが入れ替わる第１のカラー動画像を、各フレームで全色プレーンが存在する第２のカラー動画像に変換するカラー動画像の構造変換において、入来する第１のカラー動画像から、被補間フレームの補間色プレーンと同一色画像であって、かつフレーム順で前後のフレームの画像信号から低周波数成分信号を得る工程と、入来する第１のカラー動画像から、被補間フレームの既存色プレーンの画像信号についての高周波数成分信号を得る工程と、前記高周波数成分信号と前記低周波数成分信号を加算して複数の補間色プレーンを得る工程と、前記被補間フレームの補間色プレーンと前記既存色プレーンとを再配置して第２のカラー動画像を形成する工程と、を含むカラー動画像構造変換装置および方法である。 According to the present invention, a first color moving image in which a color plane is switched for each frame is converted into a second color moving image in which all color planes are present in each frame. Obtaining a low-frequency component signal from the image signals of the preceding and succeeding frames in the frame order, and an incoming first color moving image A high frequency component signal for an image signal of an existing color plane of an interpolated frame, a step of adding the high frequency component signal and the low frequency component signal to obtain a plurality of interpolated color planes, A color moving image structure converting apparatus and method including: a step of rearranging an interpolation color plane of an interpolation frame and the existing color plane to form a second color moving image.
本発明は、フレーム毎に色プレーンが入れ替わるシーケンシャルカラー画像を、各フレームで全色プレーンが存在する通常のカラー動画像に変換するカラー動画像の構造変換において、入来するシーケンシャルカラー画像を用いて、被補間フレームと、フレーム順で前方向と後方向に離散して存在するフレーム間で動き推定を行い、被補間フレームに対して前方向と後方向の動きベクトルを求め、前方向動きベクトルを前に隣接するフレームに、後方向動きベクトルを後に隣接するフレームに使って動き補償することで、同一色間での動き推定処理となり、画像に色が付いていても画像内容の空間移動以外は変化しないものとして処理できるので、絶対値差分などによる通常のブロックマッチングで、誤ベクトルが少ない動きベクトルが得られる。さらに、被補間フレームに最も近いフレームのみが使われるが、これらのフレームは被補間フレームと相関が高いので、良好な補間が可能になる。動きベクトルも、縮小されたものが使われるので、動き補償の空間移動精度も高くできる。 The present invention uses an incoming sequential color image in the structural conversion of a color moving image that converts a sequential color image in which the color planes are changed every frame into a normal color moving image in which all color planes exist in each frame. The motion estimation is performed between the interpolated frame and the frames that are discrete in the forward and backward directions in the frame order, the forward and backward motion vectors are obtained for the interpolated frame, and the forward motion vector is calculated. Motion compensation is performed between the same colors by using the backward motion vector for the adjacent frame before, and motion compensation between the same colors is performed, except for the spatial movement of the image content, even if the image is colored Since it can be processed as a non-changing one, a motion vector with few false vectors can be obtained by normal block matching using absolute value difference etc. That. Furthermore, only the frame closest to the interpolated frame is used, but these frames have a high correlation with the interpolated frame, so that good interpolation is possible. Since a reduced motion vector is used, the spatial movement accuracy of motion compensation can be increased.
また、入来するシーケンシャルカラー動画像から、被補間フレームの補間色プレーンと同一色である近隣フレームの低周波数成分信号と、被補間フレームの既存色プレーンの高周波数成分信号を加算して補間色プレーンとすることで、輝度成分の高周波数成分が動きの影響を受けないフレーム内のプレーン間で補間されるので誤差が極めて少なくなる、一方、色差成分もフレーム間で補間されるので、画像変化に堅牢な補間が可能になる。 Also, the interpolation color is obtained by adding the low frequency component signal of the neighboring frame that is the same color as the interpolation color plane of the interpolated frame and the high frequency component signal of the existing color plane of the interpolated frame from the incoming sequential color moving image. By using a plane, the high-frequency component of the luminance component is interpolated between the planes in the frame that is not affected by the motion, so the error is extremely small. On the other hand, the color difference component is also interpolated between the frames. Robust interpolation is possible.
さらに、入来するシーケンシャルカラー動画像を用いて動き推定を行い、被補間フレームに対してフレーム順で前方向と後方向の両方の動きベクトルを求め、前方向と後方向それぞれの動きベクトルをそれぞれの方向の補間色プレーンに適用し、動き補償で得た前方向のプレーンと後方向のプレーンを、動き推定における画像の適合度に応じて適合度の高い方向が多くなるように用いて補間色プレーンを形成することで、画像変化の少ない方向から補間が行われることになり、特にオクルージョン部分など画像変化の大きな部分でも適切な補間が可能になる。また、誤ベクトルによる誤補間も軽減できる。 Furthermore, motion estimation is performed using the incoming sequential color moving image, both forward and backward motion vectors are obtained in the frame order for the interpolated frame, and the forward and backward motion vectors are respectively determined. The interpolation color plane is applied to the interpolation color plane in the direction of, and the forward and backward planes obtained by motion compensation are used in such a way that there are more directions with high suitability according to the suitability of the image in motion estimation. By forming a plane, interpolation is performed from a direction with little image change, and proper interpolation is possible even in a portion where the image change is large, such as an occlusion portion. Also, erroneous interpolation due to erroneous vectors can be reduced.
これらにより、より誤補間や誤差の少ない色プレーンの補間が実現でき、変換された画像の画質が改善される。 As a result, it is possible to realize erroneous interpolation and color plane interpolation with less error, and improve the image quality of the converted image.
本発明の第１の実施例カラー動画像構造変換について説明する。図１は、第１の実施形態のカラー動画像変換装置の機能ブロック図である。図１には、図９と比較して、動き推定器４１、４２の代わりに、処理動作の異なる動き推定器７、１２がある。また、動作の異なる参照画像メモリ３，６、動きベクトルスケーラ８，１１が追加されている。本実施形態において、従来例と異なるのは用いる補間画像形成での参照フレームと動き推定方法および動きベクトルの使い方法であるので、動き補償器９，１０、画像多重化器１３の動作処理は基本的に従来例と同じである。 The color moving image structure conversion according to the first embodiment of the present invention will be described. FIG. 1 is a functional block diagram of the color moving image conversion apparatus according to the first embodiment. In FIG. 1, there are motion estimators 7 and 12 having different processing operations instead of the motion estimators 41 and 42 compared to FIG. 9. Further, reference image memories 3 and 6 and motion vector scalers 8 and 11 having different operations are added. In this embodiment, since the reference frame, the motion estimation method, and the motion vector use method in the interpolation image formation to be used are different from the conventional example, the operation processing of the motion compensators 9 and 10 and the image multiplexer 13 is basically performed. This is the same as the conventional example.
本実施形態で、シーケンシャルカラー（ＳＣ）画像とは、同一の色属性を有するフレームが、色属性の数、例えばＲＧＢであれば３フレーム周期で配置された構成を有する。図１で、シーケンシャルカラー画像入力１から入来するシーケンシャルカラー(ＳＣ)画像信号は、参照画像メモリ２に１フレーム分の１割程度が格納され、受け取り側の要求に応じたタイミングで出力される。参照画像メモリ２で遅延調整された信号は、次の参照画像メモリ３に与えられる。参照画像メモリ３はおおよそ２フレーム分が格納され、２フレーム分遅延した信号が次の参照画像メモリ４に与えられる。参照画像メモリ４はおおよそ１フレーム分が格納され、１フレーム分遅延した信号が次の参照画像メモリ４に与えられる。参照画像メモリ５は、参照画像メモリ４と同様なもので、画像信号を１フレーム分時間遅延させ、参照画像メモリ６に与える。参照画像メモリ６は、参照画像メモリ３と同様なもので、画像信号を２フレーム分時間遅延させる。 In the present embodiment, the sequential color (SC) image has a configuration in which frames having the same color attribute are arranged in the number of color attributes, for example, RGB in a three-frame cycle. In FIG. 1, about 10% of the sequential color (SC) image signal coming from the sequential color image input 1 is stored in the reference image memory 2 and outputted at the timing according to the request on the receiving side. . The signal subjected to delay adjustment in the reference image memory 2 is given to the next reference image memory 3. The reference image memory 3 stores approximately two frames, and a signal delayed by two frames is supplied to the next reference image memory 4. The reference image memory 4 stores approximately one frame, and a signal delayed by one frame is supplied to the next reference image memory 4. The reference image memory 5 is the same as the reference image memory 4, and delays the image signal by one frame and supplies it to the reference image memory 6. The reference image memory 6 is similar to the reference image memory 3 and delays the image signal by two frames.
これにより、参照画像メモリ４に格納されている画像を被補間フレームである現在フレームとすると、参照画像メモリ２には３フレーム後のフレームが、参照画像メモリ３には２フレーム後の画像が、参照画像メモリ５には１フレーム前の画像が、参照画像メモリ６には３フレーム前の画像が格納されていることになる。なお、各参照画像メモリに格納されるのはＳＣ画像なので、１フレーム分が１色(プレーン)のみである。そして、それぞれのメモリの色プレーンはフレーム単位で更新される。動き推定器１２は、参照画像メモリ４の現在フレームの既存色プレーンを基準画像、参照画像メモリ６の３フレーム前の色プレーンを参照画像として動き補償を行う。ＳＣ画像がＲＧＢの３種類の色プレーンで構成されていると、３フレームで１周期となるので、基準画像と参照画像は同一色プレーンとなる。 As a result, if the image stored in the reference image memory 4 is the current frame that is the interpolated frame, the frame after 3 frames is stored in the reference image memory 2, and the image after 2 frames is stored in the reference image memory 3. An image one frame before is stored in the reference image memory 5, and an image three frames before is stored in the reference image memory 6. Since each reference image memory stores an SC image, only one color (plane) corresponds to one frame. The color plane of each memory is updated in units of frames. The motion estimator 12 performs motion compensation using the existing color plane of the current frame in the reference image memory 4 as a reference image and the color plane of 3 frames before in the reference image memory 6 as a reference image. If the SC image is composed of three types of RGB color planes, one frame is one cycle, so the standard image and the reference image are the same color plane.
動き推定処理はブロックマッチングで、基準画像(現在フレーム)はブロック位置が固定され、探索の空間移動は参照画像(３フレーム前)の画像のみに適用される。ブロックサイズ(動きベクトルを求める単位)は、４×４画素か８×８画素とするが、基本的なブロックマッチングでは誤ベクトルが生じやすいので、階層型探索など誤ベクトルを防ぐ処理を用いる。一方、探索精度は、符号化のような０.２５画素精度は必要がなく、１画素精度かせいぜい０.５画素精度で十分である。これは後に示される様に動きベクトルがスケールダウンされて使われるためである。探索範囲は画素数とフレームレートに合わせて設定される。 The motion estimation process is block matching, the block position of the reference image (current frame) is fixed, and the spatial movement of the search is applied only to the reference image (3 frames before). The block size (unit for obtaining a motion vector) is 4 × 4 pixels or 8 × 8 pixels, but an erroneous vector is likely to occur in basic block matching, and therefore processing for preventing an erroneous vector such as hierarchical search is used. On the other hand, the search accuracy is not required to be 0.25 pixel accuracy as in the case of encoding, and 1 pixel accuracy at most 0.5 pixel accuracy is sufficient. This is because the motion vector is scaled down and used as will be shown later. The search range is set according to the number of pixels and the frame rate.
動き推定器１２で被補間フレームである現フレームに対して求められた３フレーム前の動きベクトル(ＭＶ１)は、動きベクトルスケーラ１１で、水平及び垂直各成分の値がダウンスケールされる。具体的には、３フレーム間の動きベクトルを１フレーム前の画像に適用するので３分の１倍する。そして、３分の１倍されたＭＶ１は動き補償器１０に与えられる。動き補償器１０は、参照画像メモリ５に格納されている１フレーム前の画像を、３分の１となったＭＶ１に従って動き補償する。得られた補間画像１は画像多重化器１４に与えられる。 The motion vector (MV1) three frames before the current frame which is the interpolated frame by the motion estimator 12 is downscaled by the motion vector scaler 11 for the horizontal and vertical components. Specifically, since the motion vector between three frames is applied to the image one frame before, it is multiplied by one third. The MV1 multiplied by 1/3 is supplied to the motion compensator 10. The motion compensator 10 performs motion compensation on the image one frame before stored in the reference image memory 5 in accordance with MV1 that is one third. The obtained interpolated image 1 is given to the image multiplexer 14.
一方、第２の補間画像を形成する動き推定器７、動きベクトルスケーラ８、動き補償器９の動作は、第１の補間画像を形成する動き推定器１２、動きベクトルスケーラ１１、動き補償器１０と同じである。異なるのは、参照画像が逆方向の後フレームとなる点のみで、動き推定器１２では参照画像メモリ２の３フレーム後を参照画像とし、動き補償器９は参照画像メモリ３の１フレーム後の画像を動き補償し、補間画像２を得る。 On the other hand, the operations of the motion estimator 7, the motion vector scaler 8, and the motion compensator 9 that form the second interpolation image are the motion estimator 12, the motion vector scaler 11, and the motion compensator 10 that form the first interpolation image. Is the same. The only difference is that the reference image is a backward frame in the reverse direction. The motion estimator 12 uses the 3 frames after the reference image memory 2 as the reference image, and the motion compensator 9 1 frame after the reference image memory 3. The image is motion compensated to obtain an interpolated image 2.
画像多重化器１３は、参照画像メモリ２から現フレームの画像を既存画像として得て、補間画像１と補間画像２を出力フォーマットに合わせて変換する。出力フォーマットは色プレーン並列のほか、ビット統合(２４ビット)、画素順、プレーン順もある。ここで、既存画像、補間画像１、補間画像２は３フレーム周期で色プレーンが入れ替わるので、フレームに同期して入替え、ＲＧＢが常に同じ位置(順番)になる様にする。画像多重化器１３で得られたＲＧＢ画像はＲＧＢ画像出力１４から出力される。 The image multiplexer 13 obtains the current frame image from the reference image memory 2 as an existing image, and converts the interpolated image 1 and the interpolated image 2 in accordance with the output format. Output formats include color plane parallel, bit integration (24 bits), pixel order, and plane order. Here, the existing image, the interpolated image 1, and the interpolated image 2 are interchanged in synchronism with the frames because the color planes are interchanged in a cycle of 3 frames, so that RGB always has the same position (order). The RGB image obtained by the image multiplexer 13 is output from the RGB image output 14.
本実施例の動き推定は同一色プレーン間で行なわれるので、ブロックマッチングは一般的な輝度信号におけるものと同等の処理で、同等の結果が得られる。一方、動きベクトルのスケーリングは、３分の１であるので、動き推定の画素精度が１画素の場合、動き補償の画素精度は３分の１画素とすると誤差が無い。同様に動き推定精度が半画素なら、動き補償精度は６分の１画素となるが、動きベクトル値を丸めて半画素や４分の１画素精度にしても大きな問題はない。補間に使われるフレームは前後の隣接フレームであるので、画像変化は最も少ない。ただし、逆方向処理を行なうので、変換画像が得られるまでに遅延を生じる。 Since the motion estimation of the present embodiment is performed between the same color planes, the block matching is a process equivalent to that in a general luminance signal, and an equivalent result is obtained. On the other hand, since the scaling of the motion vector is 1/3, when the pixel accuracy of motion estimation is 1 pixel, there is no error if the pixel accuracy of motion compensation is 1/3 pixel. Similarly, if the motion estimation accuracy is a half pixel, the motion compensation accuracy is 1/6 pixel, but there is no significant problem even if the motion vector value is rounded to a half pixel or a quarter pixel accuracy. Since the frames used for interpolation are adjacent frames before and after, the image change is the least. However, since reverse processing is performed, a delay occurs until a converted image is obtained.
図４に、実施形態１および実施形態２のカラー動画像構造変換装置における動き補償処理方法の処理シーケンスにおける動き推定と動き補償プレーン補間との関係を示す。図４において、Ｒを黒のハッチングで示し、Ｇを灰色のハッチングで示し、Ｂをハッチングなしで示す。以下、ＲＧＢフレームは、同一のハッチングにより参照する。図４で、被補間フレームを（R4）とすると、３フレーム前(R1)の同一色画像との間で動き推定を行い、１フレーム前(B3)を動き補償して補間画像１を、既存プレーン(R4)と３フレーム後(R7)との間で動き推定を行い、１フレーム後(G5)を動き補償して補間画像２を得る。また、被補間フレーム（B12）では、（B9）と（B12）,（B15）と（B12）の間で動き推定を行い、（G11）を動き補償して補間画像１を、（R13）を動き補償して補間画像２を得る。 FIG. 4 shows the relationship between motion estimation and motion compensation plane interpolation in the processing sequence of the motion compensation processing method in the color moving image structure conversion apparatus according to the first and second embodiments. In FIG. 4, R is indicated by black hatching, G is indicated by gray hatching, and B is indicated without hatching. Hereinafter, RGB frames are referred to by the same hatching. In FIG. 4, assuming that the interpolated frame is (R4), motion estimation is performed with the same color image three frames before (R1), and the interpolated image 1 is obtained by motion compensation one frame before (B3). Motion estimation is performed between the plane (R4) and after three frames (R7), and after one frame (G5), motion compensation is performed to obtain an interpolated image 2. In addition, in the interpolated frame (B12), motion estimation is performed between (B9) and (B12), (B15) and (B12), and (G11) is motion-compensated to interpolate image 1 and (R13). Interpolated image 2 is obtained by performing motion compensation.
図２は、本発明のカラー動画像構造変換の第２の実施形態の機能ブロック図である。図２の実施形態においても、図１の第１の実施形態と同一の機能要素には、同一符号を付して参照する。図２には、図１と比較して、空間ＬＰＦ２１，２３、空間ＨＰＦ２２、加算器２４，２５、が追加されている。第２の実施形態において、第１の実施形態と異なるのは動き補償後の補間画像の形成方法であり、動き補償までは第１の実施形態と同様である。従って、参照画像メモリ２，３，４，５，６、動き推定器７，１２、動きベクトルスケーラ８，１１の動作は、図１と同じである。 FIG. 2 is a functional block diagram of a second embodiment of color moving image structure conversion according to the present invention. In the embodiment of FIG. 2 as well, the same functional elements as those of the first embodiment of FIG. Compared to FIG. 1, space LPFs 21 and 23, a space HPF 22, and adders 24 and 25 are added to FIG. 2. The second embodiment differs from the first embodiment in a method of forming an interpolated image after motion compensation, and the process up to motion compensation is the same as in the first embodiment. Accordingly, the operations of the reference image memories 2, 3, 4, 5, 6, the motion estimators 7, 12, and the motion vector scalers 8, 11 are the same as those in FIG.
動き補償器１０は、参照画像メモリ６に格納されている１フレーム前の画像を、ＭＶ１に従って動き補償して空間ＬＰＦ２３に与えられる。同様に、動き補償器９は、参照画像メモリ２に格納されている１フレーム後の画像を、ＭＶ２に従って動き補償して空間ＬＰＦ２１に与える。 The motion compensator 10 motion-compensates the image one frame before stored in the reference image memory 6 according to MV1, and is given to the space LPF 23. Similarly, the motion compensator 9 performs motion compensation on the image after one frame stored in the reference image memory 2 in accordance with MV2, and provides the spatial LPF 21 with the motion compensation.
空間ＬＰＦ２１，２３は２次元の低域通過フィルタで、垂直及び水平の各方向で通過周波数帯域を４分の１程度に帯域制限するものである。これにより得られた１フレーム前の画像の低周波数成分は、加算器２５に与えられる。同様に１フレーム後の画像の低周波数成分は、加算器２４に与えられる。 The spatial LPFs 21 and 23 are two-dimensional low-pass filters that limit the pass frequency band to about a quarter in each of the vertical and horizontal directions. The low frequency component of the image one frame before obtained in this way is given to the adder 25. Similarly, the low frequency component of the image after one frame is supplied to the adder 24.
一方、参照画像メモリ４に格納されている現在フレームの既存画像は、空間ＨＰＦ２２で高周波数成分のみとなり、加算器２４と２５に与えられる。空間ＨＰＦ２２は、２次元の高域通過フィルタで、周波数特性は空間ＬＰＦ２１，２３のまったく逆となり、空間ＬＰＦ２１，２３で削除される周波数帯域を通過させる。
帯域制限の具体的方法は、通常のＦＩＲ型フィルタを用い予測画面全体を処理しても良いが、より簡易で、ブロック境界の影響を受けにくい手法としてはブロック単位のものがある。これは４×４画素のブロック平均値を低周波数成分とし、平均値と各画素の差分を高周波数成分とするものである。この場合の、空間ＬＰＦ２１，２３はブロック平均値を出力し、空間ＨＰＦ２２はブロック平均値を減じた画素値を出力すればよい。ブロック単位の処理は、動き補償のブロックと適合させる。
On the other hand, the existing image of the current frame stored in the reference image memory 4 becomes only the high frequency component in the space HPF 22 and is given to the adders 24 and 25. The space HPF 22 is a two-dimensional high-pass filter, and has a frequency characteristic that is exactly the opposite of that of the spaces LPF 21 and 23, and passes the frequency band that is deleted in the spaces LPF 21 and 23.
As a specific method of bandwidth limitation, the entire prediction screen may be processed using a normal FIR filter. However, a simpler method that is less susceptible to the influence of block boundaries is a block unit method. This is a block average value of 4 × 4 pixels as a low frequency component, and a difference between the average value and each pixel as a high frequency component. In this case, the space LPFs 21 and 23 may output block average values, and the space HPF 22 may output pixel values obtained by subtracting the block average values. Block-by-block processing is matched with motion compensation blocks.
加算器２５は、動き補償された１フレーム前の画像の低周波数成分の信号と現在フレームの既存画像の高周波数成分の信号を加算し補間画像１を得る。同様に加算器２４は、動き補償された１フレーム後の画像の低周波数成分の信号と現在フレームの既存画像の高周波数成分の信号を加算し補間画像２を得る。ここで、ＬＰＦとＨＰＦは逆特性なので、加算結果画像の周波数特性は平坦となる。 The adder 25 adds the signal of the low frequency component of the image one frame before the motion compensated and the signal of the high frequency component of the existing image of the current frame to obtain the interpolated image 1. Similarly, the adder 24 adds the signal of the low frequency component of the image after one frame after motion compensation and the signal of the high frequency component of the existing image of the current frame to obtain the interpolated image 2. Here, since the LPF and the HPF are opposite characteristics, the frequency characteristic of the addition result image is flat.
画像多重化器１３は、参照画像メモリ４から現在フレームの既存画像を得て、補間画像１と補間画像２により出力フォーマットに適合したＲＧＢ画像に変換する。得られたＲＧＢ画像はＲＧＢ画像出力１４から出力される。
本実施例の補間画像は、動き補償された他フレーム画像の低周波数成分と、現フレームの既存画像の高周波数成分で形成されるが、それぞれの特徴を説明する。他フレームの画像は被補間画像と同一色プレーンであるので、色の有無に関わらず補間に使用できるが、画像変化があり特に高い周波数成分で違いが出やすい。一方、現フレームの既存画像は他色プレーンであるので、色があると色差成分が誤補間となってしまう。しかし色差成分は空間的な変化が少なく、高周波数成分は僅かなので、色プレーンの高周波数成分は概ね輝度成分であり、そのまま補間に使うことができる。
The image multiplexer 13 obtains an existing image of the current frame from the reference image memory 4 and converts the existing image of the current frame into an RGB image suitable for the output format using the interpolation image 1 and the interpolation image 2. The obtained RGB image is output from the RGB image output 14.
The interpolated image of this embodiment is formed by the low-frequency component of the other frame image subjected to motion compensation and the high-frequency component of the existing image of the current frame. Each feature will be described. Since the image of the other frame is the same color plane as the interpolated image, it can be used for interpolation regardless of the presence or absence of color, but there is a change in the image and a difference is likely to occur particularly at a high frequency component. On the other hand, since the existing image of the current frame is a different color plane, if there is a color, the color difference component is erroneously interpolated. However, since the color difference component has little spatial change and the high frequency component is slight, the high frequency component of the color plane is generally a luminance component and can be used as it is for interpolation.
見方を変えると、輝度成分と色差成分が混ざっているＲＧＢ色プレーンの補間において、全周波数成分を持つ輝度成分は、低周波数成分がフレーム間で、高周波数成分がフレーム内のプレーン間で補間される。一方、主に低周波数成分である色差成分は、低周波数成分が同一色である他フレームで補間される。色差の高周波数成分は補間されずに消失するが、その量は僅かである。 In other words, when interpolating RGB color planes where the luminance component and the color difference component are mixed, the luminance component with all frequency components is interpolated between frames within the low frequency component and between planes within the frame. The On the other hand, the color difference component, which is mainly a low frequency component, is interpolated in another frame in which the low frequency component is the same color. The high frequency component of the color difference disappears without being interpolated, but the amount is small.
図３は、本発明の第３の実施形態のカラー動画像構造変換装置の機能ブロック図である。図３に示す第３の実施形態では、図１と比較して、２フレーム分の参照画像メモリ３，６の代わりに１フレーム分の参照画像メモリ３１，３２，３３，３４、があり、動きベクトルスケーラ３５，４０、動き補償器３６，３９、適応補間器３７，３８が追加されている。第３の実施例は、前後双方向の補間画像から適切な方を選ぶもので、補間画像候補の形成方法は第１の実施形態に２フレーム前後を追加したものとなっている。 FIG. 3 is a functional block diagram of the color moving image structure conversion apparatus according to the third embodiment of the present invention. In the third embodiment shown in FIG. 3, compared with FIG. 1, there are reference image memories 31, 32, 33, 34 for one frame instead of the reference image memories 3, 6 for two frames, Vector scalers 35 and 40, motion compensators 36 and 39, and adaptive interpolators 37 and 38 are added. In the third example, an appropriate one is selected from the two-way interpolated images before and after, and the method of forming the interpolated image candidate is obtained by adding about two frames to the first embodiment.
図３でシーケンシャルカラー画像入力１から入来するＳＣ画像信号は、参照画像メモリ２で遅延調整され、参照画像メモリ３１に与えられる。参照画像メモリ３１はおおよそ１フレーム分が格納され、１フレーム分遅延した信号が次の参照画像メモリ３２に与えられる。以降参照画像メモリ４，５，３３，３４は同様なものである。これにより参照画像メモリ２，３１，３２，４，５，３３，３４には１フレーム単位で遅延した画像が格納される。 In FIG. 3, the SC image signal coming from the sequential color image input 1 is subjected to delay adjustment in the reference image memory 2 and supplied to the reference image memory 31. The reference image memory 31 stores approximately one frame, and a signal delayed by one frame is supplied to the next reference image memory 32. Thereafter, the reference image memories 4, 5, 33 and 34 are the same. As a result, the reference image memories 2, 31, 32, 4, 5, 33, and 34 store images delayed by one frame unit.
動き推定器７，１２の動作は、図１の第１の実施例と同様であり、３フレーム間の前(過去)方向動きベクトルを得る。動き補償器９，１０、動きベクトルスケーラ８，１１の動作も図１のそれと同様で、１フレーム前の補間画像候補と１フレーム後の補間画像候補を得る。 The operations of the motion estimators 7 and 12 are the same as those in the first embodiment shown in FIG. 1, and obtain a previous (past) direction motion vector between three frames. The operations of the motion compensators 9 and 10 and the motion vector scalers 8 and 11 are the same as those in FIG. 1, and an interpolated image candidate before one frame and an interpolated image candidate after one frame are obtained.
一方、動きベクトルスケーラ３５、４０は、動きベクトルを３分の２して動き補償器３６，３９に与える。動き補償器３９は２フレーム前の画像を３分の２されたＭＶ１で動き補償し、２フレーム前の補間画像候補を得る。同様に動き補償器３６は２フレーム後の画像を３分の２されたＭＶ２で動き補償し、２フレーム後の補間画像候補を得る。この結果、前後２フレームづつ合計４フレームから補間画像候補を得る。 On the other hand, the motion vector scalers 35 and 40 give the motion vector to the motion compensators 36 and 39 by dividing the motion vector by two thirds. The motion compensator 39 compensates the motion of the image two frames before by MV1 divided by two thirds to obtain an interpolation image candidate two frames before. Similarly, the motion compensator 36 compensates the motion of the image after 2 frames with MV2 that is two-thirds to obtain an interpolation image candidate after 2 frames. As a result, interpolation image candidates are obtained from a total of four frames, two frames before and after.
以上の処理を、図５のフレーム間の処理シーケンスを使用して説明する。図５は、第３の実施形態の適応型動き補償色プレーン補間を２種類示す。ひとつは被補間フレームを(R4)としたもので、３フレーム前(R1)との間で動き推定を行い、補間画像１の候補として１フレーム前(B3)を動き補償したものと、補間画像２の候補として２フレーム前(G2)を動き補償したものを得る。また、既存画像(R4)と３フレーム後(R7)との間でも動き推定を行い、補間画像１の候補として２フレーム後(B6)を動き補償したものと、１フレーム後(G5)を動き補償したものを得る。最終的な補間画像は、前記各候補から適切な方に重みをおいて形成する。図５では、前方向の(B3)と(R4)の間で変化があり、後方向(G5)と(B6)が補間に使われる。(B12)を被補間フレームとした方は、後方向（R13）と（G14）の間で変化があり、前方向の（G11）,（R10）補間に使われる。 The above processing will be described using the processing sequence between frames in FIG. FIG. 5 shows two types of adaptive motion compensation color plane interpolation according to the third embodiment. One is the interpolated frame (R4), the motion is estimated with 3 frames before (R1), and the interpolated image 1 (B3) is motion compensated as a candidate for the interpolated image 1 and the interpolated image. As a candidate of 2, a motion compensated two frames before (G2) is obtained. Also, motion estimation is performed between the existing image (R4) and 3 frames later (R7), and motion compensation is performed 2 frames later (B6) as a candidate for the interpolated image 1 and 1 frame later (G5). Get compensated. The final interpolated image is formed with weights appropriate to the candidates. In FIG. 5, there is a change between (B3) and (R4) in the forward direction, and the backward directions (G5) and (B6) are used for interpolation. In the case where (B12) is the interpolated frame, there is a change between the backward direction (R13) and (G14), and it is used for forward (G11) and (R10) interpolation.
この処理において、適応補間器３７は、２フレーム後の補間画像候補と１フレーム前の補間画像候補を受け取る。同様に適応補間器３８は、１フレーム後の補間画像候補と２フレーム前の補間画像候補を受け取る。これらの適応補間器３７，３８は、補間対象となる当該画像部分(ブロック)に関する適合度の情報を、前方向に関して動き推定器１２から、後方向に関して動き推定器７から得る。 In this processing, the adaptive interpolator 37 receives an interpolation image candidate after 2 frames and an interpolation image candidate before 1 frame. Similarly, the adaptive interpolator 38 receives an interpolated image candidate after one frame and an interpolated image candidate two frames before. These adaptive interpolators 37 and 38 obtain information on the degree of fitness related to the image portion (block) to be interpolated from the motion estimator 12 for the forward direction and the motion estimator 7 for the backward direction.
両適応補間器は、前方向に関する適合度と後方向に関する適合度を用いて、両方向の補間画像候補を加重加算する。前方向補間画像候補の画素値をPa、後方向補間画像候補の画素値をPbとすると、補間画像の画素値Piは補間係数k(=0〜1.0)により次式で与えられる。 Both adaptive interpolators use weighted addition of interpolated image candidates in both directions, using the degree of matching in the forward direction and the degree of matching in the backward direction. If the pixel value of the forward interpolation image candidate is P a and the pixel value of the backward interpolation image candidate is P b , the pixel value P i of the interpolation image is given by the following equation using the interpolation coefficient k (= 0 to 1.0).
画像多重化器１３は、参照画像メモリ４から現在フレームの既存画像を得て、補間画像１と補間画像２により出力フォーマットに適合したＲＧＢ画像に変換する。得られたＲＧＢ画像はＲＧＢ画像出力１４から出力される。
本実施例において、前方向の候補補間画像と後方向の候補補間画像で、主に変化が少ない方向が補間に使われるので、良好な補間画像が得やすい。特にシーンチェンジ画像やオクルージョン領域において、片方向の参照フレームには存在しない画像や領域があるが、他方向では存在する可能性が高いので、適切な補間が維持できる。また、両方向の画像適合度が良好な場合は、前後の画像を混合することで、画像のレベル方向の変化にも対応できる。動き推定は第１の実施例と同様で済む。
The image multiplexer 13 obtains an existing image of the current frame from the reference image memory 4 and converts the existing image of the current frame into an RGB image suitable for the output format using the interpolation image 1 and the interpolation image 2. The obtained RGB image is output from the RGB image output 14.
In this embodiment, since the direction with little change is mainly used for the interpolation between the forward candidate interpolation image and the backward candidate interpolation image, it is easy to obtain a good interpolation image. In particular, in scene change images and occlusion areas, there are images and areas that do not exist in the reference frame in one direction, but there is a high possibility that they exist in the other direction, so that appropriate interpolation can be maintained. In addition, when the image compatibility in both directions is good, it is possible to cope with a change in the level direction of the image by mixing the previous and subsequent images. The motion estimation is the same as in the first embodiment.
以上の通り、本発明によれば、同一色間での動き推定処理を可能とすることで、画像に色が付いていても画像内容の空間移動以外は変化しないものとして処理でき、絶対値差分などによる通常のブロックマッチングで、誤ベクトルが少ない動きベクトルが得られ、動き補償の空間移動精度も高くでき、さらに、輝度成分の高周波数成分が動きの影響を受けないフレーム内のプレーン間で補間されるので誤差が極めて少ない画像変化に堅牢な補間が可能とされ、さらに、特にオクルージョン部分など画像変化の大きな部分でも適切な補間が可能になる。また、誤ベクトルによる誤補間も軽減できるカラー動画像構造変換装置および方法が提供できる。 As described above, according to the present invention, by enabling motion estimation processing between the same colors, even if the image has a color, it can be processed as something that does not change except for the spatial movement of the image content, and the absolute value difference With normal block matching, etc., motion vectors with few false vectors can be obtained, spatial compensation accuracy of motion compensation can be increased, and high frequency components of luminance components are interpolated between planes that are not affected by motion Therefore, robust interpolation can be performed for an image change with very little error, and furthermore, appropriate interpolation can be performed even in a portion with a large image change such as an occlusion portion. Also, it is possible to provide a color moving image structure converting apparatus and method that can reduce erroneous interpolation due to an erroneous vector.
本発明によれば、シーケンシャルカラー画像を高画質にＲＧＢ画像に変換可能にするもので、シーケンシャルカラー方式で撮像するカメラを実現できる。また、ディスプレイに適用することで、現在デジタル放送やＤＶＤなどで使われている輝度色差４：２：０方式などの動画像フォーマットの代わりに、より合理的なシーケンシャルカラー方式を使用可能とすることが可能となる。 According to the present invention, a sequential color image can be converted into an RGB image with high image quality, and a camera that captures images in a sequential color system can be realized. In addition, by applying it to a display, a more rational sequential color system can be used in place of a moving image format such as the luminance color difference 4: 2: 0 system currently used in digital broadcasting and DVDs. Is possible.
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。 Although the present embodiment has been described so far, the present invention is not limited to the above-described embodiment, and other embodiments, additions, changes, deletions, and the like can be conceived by those skilled in the art. It can be changed, and any aspect is within the scope of the present invention as long as the effects and effects of the present invention are exhibited.
１…シーケンシャルカラー画像入力、２，３，４，５，６，３１，３２，３３，３４…参照画像メモリ、７，１２，４１，４２…動き推定器、９，１０、３６，３９…動き補償器、８，１１，３５，４０…動きベクトルスケーラ、１３…画像多重化器、１４…ＲＧＢ画像出力、２１，２３…空間ＬＰＦ、２２…空間ＨＰＦ、２４，２５…加算器、３７，３８…適応補間器、 DESCRIPTION OF SYMBOLS 1 ... Sequential color image input, 2, 3, 4, 5, 6, 31, 32, 33, 34 ... Reference image memory, 7, 12, 41, 42 ... Motion estimator, 9, 10, 36, 39 ... Motion Compensator, 8, 11, 35, 40 ... motion vector scaler, 13 ... image multiplexer, 14 ... RGB image output, 21, 23 ... spatial LPF, 22 ... spatial HPF, 24, 25 ... adder, 37, 38 ... Adaptive interpolator,
Claims (2)
入来する第１のカラー動画像から、被補間フレームの補間色プレーンと同一色画像であって、かつフレーム順で前後のフレームの画像信号から低周波数成分信号を得る工程と、
入来する第１のカラー動画像から、被補間フレームの既存色プレーンの画像信号についての高周波数成分信号を得る工程と、
前記高周波数成分信号と前記低周波数成分信号を加算して複数の補間色プレーンを得る工程と、
前記被補間フレームの補間色プレーンと前記既存色プレーンとを再配置して第２のカラー動画像を形成する工程と、
を含む、カラー動画像構造変換方法。 In the structure conversion of a color moving image in which the first color moving image in which the color plane is switched for each frame is converted into a second color moving image in which all color planes exist in each frame,
Obtaining a low-frequency component signal from the image signal of the preceding and following frames that are the same color image as the interpolation color plane of the interpolated frame from the incoming first color moving image;
Obtaining a high frequency component signal for the image signal of the existing color plane of the interpolated frame from the incoming first color moving image;
Adding the high frequency component signal and the low frequency component signal to obtain a plurality of interpolation color planes;
Rearranging the interpolation color plane of the interpolated frame and the existing color plane to form a second color moving image;
A color moving image structure conversion method including:
入来する第１のカラー動画像から、被補間フレームの補間色プレーンと同一色画像であって、かつフレーム順で前後のフレームの画像信号から低周波数成分信号を得る工程と、
入来する第１のカラー動画像から、被補間フレームの既存色プレーンの画像信号についての高周波数成分信号を得る工程と、
前記高周波数成分信号と前記低周波数成分信号を加算して複数の補間色プレーンを得る画像合成手段と、
前記被補間フレームの補間色プレーンと前記既存色プレーンとを再配置して第２のカラー動画像を形成する画像多重化手段と
を含む、カラー動画像構造変換装置。 In a color moving image structure converting apparatus for converting a first color moving image in which a color plane is changed for each frame into a second color moving image in which all color planes exist in each frame,
Obtaining a low-frequency component signal from the image signal of the preceding and following frames that are the same color image as the interpolation color plane of the interpolated frame from the incoming first color moving image;
Obtaining a high frequency component signal for the image signal of the existing color plane of the interpolated frame from the incoming first color moving image;
Image combining means for adding the high frequency component signal and the low frequency component signal to obtain a plurality of interpolation color planes;
A color moving picture structure conversion device comprising: an image multiplexing unit that rearranges the interpolation color plane of the interpolated frame and the existing color plane to form a second color moving picture.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015043372A JP6099104B2 (en) | 2015-03-05 | 2015-03-05 | Color moving image structure conversion method and color moving image structure conversion device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015043372A JP6099104B2 (en) | 2015-03-05 | 2015-03-05 | Color moving image structure conversion method and color moving image structure conversion device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011000110A Division JP5742048B2 (en) | 2011-01-04 | 2011-01-04 | Color moving image structure conversion method and color moving image structure conversion device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015136155A true JP2015136155A (en) | 2015-07-27 |
| JP6099104B2 JP6099104B2 (en) | 2017-03-22 |
Family
ID=53767681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015043372A Active JP6099104B2 (en) | 2015-03-05 | 2015-03-05 | Color moving image structure conversion method and color moving image structure conversion device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6099104B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS4427366Y1 (en) * | 1968-07-25 | 1969-11-15 | ||
| JP2003506928A (en) * | 1999-07-30 | 2003-02-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | System and method for image plane motion compensation in a color sequential display |
| JP2008311850A (en) * | 2007-06-13 | 2008-12-25 | Olympus Corp | Image processing apparatus and endoscopic instrument equipped with the same |
-
2015
- 2015-03-05 JP JP2015043372A patent/JP6099104B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS4427366Y1 (en) * | 1968-07-25 | 1969-11-15 | ||
| JP2003506928A (en) * | 1999-07-30 | 2003-02-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | System and method for image plane motion compensation in a color sequential display |
| JP2008311850A (en) * | 2007-06-13 | 2008-12-25 | Olympus Corp | Image processing apparatus and endoscopic instrument equipped with the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6099104B2 (en) | 2017-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4494789B2 (en) | Coding dynamic filters | |
| US6192079B1 (en) | Method and apparatus for increasing video frame rate | |
| US8755434B2 (en) | Method and apparatus for scalably encoding and decoding video signal | |
| JP2005318611A (en) | Film-mode detection method in video sequence, film mode detector, motion compensation method, and motion compensation apparatus | |
| JP2014171097A (en) | Encoder, encoding method, decoder, and decoding method | |
| JP4761390B2 (en) | Improvement of calculation method of interpolated pixel value | |
| US6351545B1 (en) | Motion picture enhancing system | |
| JP2006279917A (en) | Dynamic image encoding device, dynamic image decoding device and dynamic image transmitting system | |
| JP5742048B2 (en) | Color moving image structure conversion method and color moving image structure conversion device | |
| JP6099104B2 (en) | Color moving image structure conversion method and color moving image structure conversion device | |
| EP1418754B1 (en) | Progressive conversion of interlaced video based on coded bitstream analysis | |
| US20060291743A1 (en) | Configurable motion compensation unit | |
| JP5686316B2 (en) | Color moving image motion estimation method and color moving image motion estimation device | |
| JP5742049B2 (en) | Color moving picture coding method and color moving picture coding apparatus | |
| JP4321468B2 (en) | Moving picture coding apparatus and moving picture decoding apparatus | |
| JP5930009B2 (en) | Color moving image motion estimation method and color moving image motion estimation device | |
| JP3867697B2 (en) | Image signal generation apparatus and generation method | |
| JP2004186839A (en) | Moving picture encoding method and moving picture decoding method | |
| JP6713165B2 (en) | Color moving image transmitting method, color moving image receiving method, color moving image processing device, and color moving image communication device | |
| JP6786107B2 (en) | Color moving image transmission device, color moving image receiving device, color moving image transmission / reception system, color moving image transmission method and color moving image receiving method | |
| JP4556286B2 (en) | Motion vector conversion apparatus and method | |
| JP4035808B2 (en) | Moving image scanning structure conversion apparatus and moving image scanning structure conversion method | |
| JP3201344B2 (en) | Motion compensated prediction method and coding apparatus for interlaced video signal | |
| JP3831960B2 (en) | Interpolation apparatus and interpolation method for compressed high resolution video signal | |
| JP2020021991A (en) | Image processing device, image processing device control method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160209 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160330 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160907 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170215 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6099104 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |