JP2013191957A - Video signal processing device, video signal processing method, and video signal processing program - Google Patents

Video signal processing device, video signal processing method, and video signal processing program Download PDF

Info

Publication number
JP2013191957A
JP2013191957A JP2012055505A JP2012055505A JP2013191957A JP 2013191957 A JP2013191957 A JP 2013191957A JP 2012055505 A JP2012055505 A JP 2012055505A JP 2012055505 A JP2012055505 A JP 2012055505A JP 2013191957 A JP2013191957 A JP 2013191957A
Authority
JP
Japan
Prior art keywords
frame
eye image
video signal
phase
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012055505A
Other languages
Japanese (ja)
Other versions
JP5880165B2 (en
Inventor
Maki Koizumi
真季 小泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2012055505A priority Critical patent/JP5880165B2/en
Publication of JP2013191957A publication Critical patent/JP2013191957A/en
Application granted granted Critical
Publication of JP5880165B2 publication Critical patent/JP5880165B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a video signal processing device which, when generating an interpolation frame for a 2-3 pulldown converted frame packing type video signal, can restrain an increase in memory capacity in which the frame is temporarily stored as much as possible.SOLUTION: An index generation unit 17 generates index signals iL and iR which are used to identify the frame periods of left-eye and right-eye images. A write control unit 11 exerts control so that a left-eye image or a right-eye image frame is cyclically written into memory areas 141 to 143. A write area cyclic control unit 12 controls to enable or disable cyclic writes. If cyclic writes are disabled, the write control unit 11 exerts control so that the image frame is written into the same memory area. A read control unit 13 exerts control so that the left-eye image or the right-eye image frame written into the memory areas 141 to 143 is read out of memory.

Description

本発明は、フレームレート24Hzのフィルム映像を2−3プルダウンによってフレームレート60Hzに変換した映像信号を処理する映像信号処理装置、映像信号処理方法、映像信号処理プログラム関する。   The present invention relates to a video signal processing apparatus, a video signal processing method, and a video signal processing program for processing a video signal obtained by converting a film video having a frame rate of 24 Hz into a frame rate of 60 Hz by 2-3 pull down.

フレームレート24Hzで撮影されたフィルム映像を、2−3プルダウンと称される変換処理によって、フレームレート60Hzの標準テレビジョン信号に変換することが行われている。フレームレート24Hzのフィルム映像を2−3プルダウンによってフレームレート60Hzの映像信号に変換すると、フィルム映像の同一のフレームが2つまたは3つ連続することになる。従って、画像の動きは滑らかではない。これをフィルムジャダと称している。   A film image shot at a frame rate of 24 Hz is converted into a standard television signal having a frame rate of 60 Hz by a conversion process called 2-3 pull-down. When a film image with a frame rate of 24 Hz is converted into a video signal with a frame rate of 60 Hz by 2-3 pull-down, two or three identical frames of the film image are continuous. Therefore, the movement of the image is not smooth. This is called film judder.

そこで、フィルムジャダを除去または軽減するために、2−3プルダウンによってフレームレート60Hzに変換された映像信号の異なる原フレームを混合して補間フレームを生成し、一部のフレームを補間フレームに置き換えることによって画像の動きを滑らかにすることが行われている。画像の動きを滑らかにするよう映像信号を処理することをデジャダと称している。デジャダのためには映像信号の複数フレームを一時的に記憶するメモリが必要となる。   Therefore, in order to remove or reduce film judder, interpolated frames are generated by mixing different original frames of a video signal converted to a frame rate of 60 Hz by 2-3 pulldown, and some frames are replaced with interpolated frames. In order to smooth the movement of the image. Processing the video signal so as to smooth the movement of the image is called dejada. For dejada, a memory for temporarily storing a plurality of frames of the video signal is required.

特開2010−28472号公報JP 2010-28472 A

近年になって、立体映像信号(3D映像信号)を用いて画像の立体視を実現する3D表示装置が普及し始めている。3D映像信号のフォーマットの1つとして、1垂直期間に左眼画像のフレームと右眼画像のフレームとを1組にして配置して伝送するフレームパッキング方式がある。フレームパッキング方式の3D映像信号では、左眼画像のフレームと右眼画像のフレームはそれぞれ、水平1280画素、垂直720画素の信号である。   In recent years, 3D display devices that realize stereoscopic viewing of images using stereoscopic video signals (3D video signals) have begun to become popular. As one of the formats of the 3D video signal, there is a frame packing method in which a frame of a left eye image and a frame of a right eye image are arranged and transmitted in one vertical period. In the frame packing type 3D video signal, the left-eye image frame and the right-eye image frame are signals of horizontal 1280 pixels and vertical 720 pixels, respectively.

フレームレート24Hzのフィルム映像を2−3プルダウンによってフレームレート60Hzに変換したフレームパッキング方式の映像信号があり、この映像信号の画像の動きを滑らかにするためにデジャダの処理を行ったとする。上記のように、フレームパッキング方式の3D映像信号は1垂直期間に左眼画像のフレームと右眼画像のフレームとの2フレームを有することから、デジャダの処理を行う映像信号処理装置においては、映像信号のフレームを一時的に記憶するメモリは通常の非立体映像信号(2D映像信号)を処理する場合と比較して多くの容量が必要となる。   It is assumed that there is a frame packing video signal obtained by converting a film video with a frame rate of 24 Hz to a frame rate of 60 Hz by 2-3 pulldown, and dejada processing is performed to smooth the motion of the video signal image. As described above, a frame packing type 3D video signal has two frames, that is, a left-eye image frame and a right-eye image frame in one vertical period. Therefore, in a video signal processing apparatus that performs dejada processing, A memory that temporarily stores a frame of a signal requires a larger capacity than a case of processing a normal non-stereoscopic video signal (2D video signal).

特許文献1記載の構成では、5フレーム分のメモリ領域が必要となる。従って、回路規模やコストの増大につながるので、好ましくない。   In the configuration described in Patent Document 1, a memory area for five frames is required. Therefore, it leads to an increase in circuit scale and cost, which is not preferable.

本発明はこのような問題点に鑑み、2−3プルダウン変換されたフレームパッキング方式の映像信号の左右のフレームそれぞれに基づいて補間フレームを生成するに際し、映像信号のフレームを一時的に記憶するメモリの容量の増加を極力抑えることができる映像信号処理装置、映像信号処理方法、映像信号処理プログラムを提供することを目的とする。   In view of such a problem, the present invention provides a memory that temporarily stores a frame of a video signal when generating an interpolation frame based on each of the left and right frames of the 2-3 pull-down converted frame packing video signal. An object of the present invention is to provide a video signal processing device, a video signal processing method, and a video signal processing program that can suppress the increase in the capacity of the video as much as possible.

本発明は、上述した従来の技術の課題を解決するため、第1のフレームレートの映像が2−3プルダウンによって第2のフレームレートに変換され、1垂直期間に左眼画像のフレームと右眼画像のフレームとが配置されたフレームパッキング方式の立体映像信号を処理する映像信号処理装置であり、前記左眼画像のフレームの期間と前記右眼画像のフレームの期間とを識別するためのインデックス信号を生成するインデックス生成部(17)と、前記左眼画像のフレームまたは前記右眼画像のフレームを複数フレーム分記憶する複数のメモリ領域(141〜143)を有するメモリ(14)と、前記左眼画像のフレームまたは前記右眼画像のフレームを前記複数のメモリ領域に巡回的に書き込むよう制御する書き込み制御部(11)と、前記インデックス信号と2−3プルダウンのシーケンスのフレーム位相を示すフェイズ信号とに基づいて、前記シーケンスの同じフレームが連続する最初のフレーム位相で前記インデックス信号が左眼画像であることを示す第1の場合と、前記シーケンスの同じフレームが連続する最後のフレーム位相で前記インデックス信号が右眼画像であることを示す第2の場合に、前記書き込み制御部による制御によって、前記左眼画像のフレームまたは前記右眼画像のフレームを前記複数のメモリ領域に書き込む際の巡回を有効にする一方、前記第1及び第2の場合以外の第3の場合では巡回を無効にして、同じメモリ領域に書き込むよう制御する書き込み領域巡回制御部(12)と、前記インデックス信号と前記フェイズ信号とに基づいて、前記複数のメモリ領域に書き込まれた互いに異なる前記左眼画像のフレームまたは互いに異なる前記右眼画像のフレームを読み出すよう制御する読み出し制御部(13)と、動きベクトルを参照して、前記複数のメモリ領域より読み出された互いに異なる前記左眼画像のフレームまたは互いに異なる前記右眼画像のフレームを用いて補間フレームを生成する補間フレーム生成部(15)とを備えることを特徴とする映像信号処理装置を提供する。   In order to solve the above-described problems of the conventional technology, the present invention converts the video of the first frame rate to the second frame rate by 2-3 pulldown, and the frame of the left eye image and the right eye in one vertical period. An image signal processing apparatus for processing a frame packing type stereoscopic video signal in which an image frame is arranged, and an index signal for identifying a frame period of the left eye image and a frame period of the right eye image A memory (14) having a plurality of memory areas (141 to 143) for storing a plurality of frames of the left-eye image frame or the right-eye image frame, and the left-eye image frame. A write control unit (11) for controlling to cyclically write a frame of an image or a frame of the right eye image to the plurality of memory areas; A first case indicating that the index signal is a left-eye image at the first frame phase in which the same frame of the sequence continues based on the index signal and the phase signal indicating the frame phase of the 2-3 pulldown sequence In the second case indicating that the index signal is a right eye image at the last frame phase in which the same frame of the sequence continues, the frame of the left eye image or the right While the circulation when writing the frame of the eye image in the plurality of memory areas is enabled, the rotation is disabled in the third case other than the first and second cases, and control is performed so as to write in the same memory area. Based on the write area patrol control unit (12), the index signal and the phase signal, A read control unit (13) that controls to read different left-eye image frames or different right-eye image frames written in the memory area, and reads motion frames from the plurality of memory areas. Provided is a video signal processing device comprising an interpolation frame generation unit (15) that generates an interpolation frame using the different left-eye image frames or different right-eye image frames. .

また、本発明は、上述した従来の技術の課題を解決するため、第1のフレームレートの映像が2−3プルダウンによって第2のフレームレートに変換され、1垂直期間に左眼画像のフレームと右眼画像のフレームとが配置されたフレームパッキング方式の立体映像信号を処理する映像信号処理方法であり、前記左眼画像のフレームの期間と前記右眼画像のフレームの期間とを識別するためのインデックス信号を生成し、前記インデックス信号と2−3プルダウンのシーケンスのフレーム位相を示すフェイズ信号とに基づいて、前記シーケンスの同じフレームが連続する最初のフレーム位相で前記インデックス信号が左眼画像であることを示す第1の場合と、前記シーケンスの同じフレームが連続する最後のフレーム位相で前記インデックス信号が右眼画像であることを示す第2の場合に、前記左眼画像のフレームまたは前記右眼画像のフレームを複数フレーム分記憶する複数のメモリ領域に巡回的に書き込み、前記第1及び第2の場合以外の第3の場合に、前記左眼画像のフレームまたは前記右眼画像のフレームを前記複数のメモリ領域に書き込む巡回を停止させて、同じメモリ領域に書き込み、前記インデックス信号と前記フェイズ信号とに基づいて、前記複数のメモリ領域に書き込まれた互いに異なる前記左眼画像のフレームまたは互いに異なる前記右眼画像のフレームを読み出し、動きベクトルを参照して、前記複数のメモリ領域より読み出された互いに異なる前記左眼画像のフレームまたは互いに異なる前記右眼画像のフレームを用いて補間フレームを生成することを特徴とする映像信号処理方法を提供する。   In addition, in order to solve the above-described problems of the related art, the present invention converts the video of the first frame rate to the second frame rate by 2-3 pulldown, and the frame of the left eye image in one vertical period. A video signal processing method for processing a frame packing type stereoscopic video signal in which a frame of a right eye image is arranged, for identifying a frame period of the left eye image and a frame period of the right eye image An index signal is generated, and based on the index signal and a phase signal indicating a frame phase of a 2-3 pulldown sequence, the index signal is a left eye image at a first frame phase in which the same frame of the sequence continues. In the first case indicating that the index signal is in the last frame phase in which the same frame of the sequence continues. In the second case indicating that the image is a right-eye image, the first eye and the second eye are cyclically written to a plurality of memory areas for storing a plurality of frames of the left-eye image or the frame of the right-eye image. In the third case other than the above case, the circulation of writing the frame of the left eye image or the frame of the right eye image into the plurality of memory areas is stopped, and the index signal and the phase signal are written to the same memory area. The different left-eye image frames or the different right-eye image frames written in the plurality of memory areas are read out from the plurality of memory areas with reference to a motion vector. Generating an interpolated frame using different left-eye image frames or different right-eye image frames. To provide a video signal processing method for.

さらに、本発明は、上述した従来の技術の課題を解決するため、第1のフレームレートの映像が2−3プルダウンによって第2のフレームレートに変換され、1垂直期間に左眼画像のフレームと右眼画像のフレームとが配置されたフレームパッキング方式の立体映像信号を処理する映像信号処理プログラムであり、コンピュータに、前記左眼画像のフレームの期間と前記右眼画像のフレームの期間とを識別するためのインデックス信号を生成するステップと、前記インデックス信号と2−3プルダウンのシーケンスのフレーム位相を示すフェイズ信号とに基づいて、前記シーケンスの同じフレームが連続する最初のフレーム位相で前記インデックス信号が左眼画像であることを示す第1の場合と、前記シーケンスの同じフレームが連続する最後のフレーム位相で前記インデックス信号が右眼画像であることを示す第2の場合に、前記左眼画像のフレームまたは前記右眼画像のフレームを複数フレーム分記憶する複数のメモリ領域に巡回的に書き込むステップと、前記第1及び第2の場合以外の第3の場合に、前記左眼画像のフレームまたは前記右眼画像のフレームを前記複数のメモリ領域に書き込む巡回を停止させて、同じメモリ領域に書き込むステップと、前記インデックス信号と前記フェイズ信号とに基づいて、前記複数のメモリ領域に書き込まれた互いに異なる前記左眼画像のフレームまたは互いに異なる前記右眼画像のフレームを読み出すステップと、動きベクトルを参照して、前記複数のメモリ領域より読み出された互いに異なる前記左眼画像のフレームまたは互いに異なる前記右眼画像のフレームを用いて補間フレームを生成するステップとを実行させることを特徴とする映像信号処理プログラムを提供する。   Furthermore, in order to solve the above-described problems of the conventional technology, the present invention converts the video of the first frame rate to the second frame rate by 2-3 pulldown, and the frame of the left eye image in one vertical period. A video signal processing program for processing a frame packing type stereoscopic video signal in which a frame of a right eye image is arranged, and identifies a frame period of the left eye image and a frame period of the right eye image to a computer The index signal is generated at a first frame phase in which the same frame of the sequence continues based on the index signal and a phase signal indicating the frame phase of the 2-3 pulldown sequence. The first case indicating that the image is a left-eye image and the first case where the same frame in the sequence continues. In the second case where the index signal is a right-eye image at a frame phase of, the frame of the left-eye image or the frame of the right-eye image is cyclically written to a plurality of memory areas storing a plurality of frames. Step, and in the third case other than the first and second cases, the cycle of writing the frame of the left eye image or the frame of the right eye image to the plurality of memory areas is stopped, and the same memory area is A step of writing, a step of reading different left-eye image frames or different right-eye image frames written to the plurality of memory regions based on the index signal and the phase signal, and a motion vector, Referring to the different left-eye image frames read from the plurality of memory areas or different from each other. Using said frame of the right eye image to provide a video signal processing program characterized by and a step of generating an interpolation frame that.

本発明の映像信号処理装置、映像信号処理方法、映像信号処理プログラムによれば、2−3プルダウン変換されたフレームパッキング方式の映像信号の左右のフレームそれぞれに基づいて補間フレームを生成するに際し、映像信号のフレームを一時的に記憶するメモリの容量の増加を極力抑えることが可能となる。   According to the video signal processing device, the video signal processing method, and the video signal processing program of the present invention, when generating the interpolation frame based on the left and right frames of the 2-3 pulldown converted frame packing video signal, It is possible to suppress the increase in the capacity of the memory for temporarily storing the signal frames as much as possible.

本発明の映像信号処理装置の一実施形態を示すブロック図である。It is a block diagram which shows one Embodiment of the video signal processing apparatus of this invention. 3Dのフィルム映像とフレームレート60Hzのフレームパッキング方式の映像信号との関係を示す図である。It is a figure which shows the relationship between a 3D film image | video and the video signal of a frame packing system with a frame rate of 60 Hz. 一実施形態の動作を説明するための図である。It is a figure for demonstrating operation | movement of one Embodiment. 一実施形態よる補間フレームの生成動作を説明するための図である。It is a figure for demonstrating the production | generation operation | movement of the interpolation frame by one Embodiment.

以下、本発明の映像信号処理装置、映像信号処理方法、映像信号処理プログラムの一実施形態について、添付図面を参照して説明する。図1において、入力された映像信号Sinは、第1のフレームレートであるフレームレート24Hzのフィルム映像を2−3プルダウンによって第2のフレームレートであるフレームレート60Hzに変換したフレームパッキング方式の映像信号である。映像信号Sinは、メモリ14及びフレームレート変換部16に入力される。   Hereinafter, an embodiment of a video signal processing device, a video signal processing method, and a video signal processing program according to the present invention will be described with reference to the accompanying drawings. In FIG. 1, an input video signal Sin is a frame packing video signal obtained by converting a film video having a frame rate of 24 Hz, which is a first frame rate, into a second frame rate of 60 Hz by 2-3 pulldown. It is. The video signal Sin is input to the memory 14 and the frame rate conversion unit 16.

図2を用いて、3Dのフィルム映像と、フレームレート60Hzのフレームパッキング方式の映像信号との関係について説明する。図2(A)において、フレームA-L,B-L,C-L,D-Lは左眼画像のフレームであり、フレームA-R,B-R,C-R,DRは右眼画像のフレームである。左眼画像のフレームA-Lと右眼画像のフレームA-R、左眼画像のフレームB-Lと右眼画像のフレームB-R、左眼画像のフレームC-Lと右眼画像のフレームC-R、左眼画像のフレームD-Lと右眼画像のフレームDRが、それぞれ3Dの組となる。左眼画像のフレームと右眼画像のフレームはそれぞれフレームレート24Hzである。   The relationship between a 3D film image and a frame packing image signal with a frame rate of 60 Hz will be described with reference to FIG. In FIG. 2A, frames A-L, B-L, C-L, and D-L are left-eye image frames, and frames A-R, B-R, C-R, and DR are right-eye image frames. Left eye image frame AL and right eye image frame AR, left eye image frame BL and right eye image frame BR, left eye image frame CL and right eye image frame CR, left eye image frame DL and right Each frame DR of the eye image is a 3D set. The frame of the left eye image and the frame of the right eye image each have a frame rate of 24 Hz.

図2(A)のフィルム映像を2−3プルダウンによってフレームレート60Hzに変換し、フレームパッキング方式の映像信号とすると、概念的に図2(B)のようになる。フレームパッキング方式の映像信号では、1垂直期間である1/60秒間に、左眼画像のフレームと右眼画像のフレームとがフレームパッキング方式の映像信号の1フレーム内に配置される。詳細には、1フレーム内の垂直方向上側に左眼画像のフレームが配置され、垂直方向下側に右眼画像のフレームが配置され、左眼画像のフレームと右眼画像のフレームとの間にはブランク層が設けられる。図2(B)では、ブランク層の図示を省略している。   When the film video in FIG. 2A is converted to a frame rate of 60 Hz by 2-3 pull-down to obtain a video signal of the frame packing system, it is conceptually as shown in FIG. In the frame packing video signal, the left-eye image frame and the right-eye image frame are arranged in one frame of the frame packing video signal in 1/60 second, which is one vertical period. Specifically, a left-eye image frame is disposed on the upper side in the vertical direction within one frame, a right-eye image frame is disposed on the lower side in the vertical direction, and the frame between the left-eye image frame and the right-eye image frame is disposed between the frames. Is provided with a blank layer. In FIG. 2B, illustration of the blank layer is omitted.

図2(B)に示すように、左眼画像のフレームA-Lと右眼画像のフレームA-Rとの組がフレームパッキング方式の映像信号の3フレームの期間連続し、左眼画像のフレームB-Lと右眼画像のフレームB-Rとの組がフレームパッキング方式の映像信号の2フレームの期間連続する。以下同様に、左眼画像のフレームと右眼画像のフレームとの組が3フレーム,2フレーム,3フレーム…と交互に連続することになる。   As shown in FIG. 2B, a set of a left-eye image frame AL and a right-eye image frame AR is continuous for three frames of a frame packing video signal, and the left-eye image frame BL and the right-eye image A pair of image frames BR continues for a period of two frames of a frame packing video signal. In the same manner, the set of the left eye image frame and the right eye image frame is alternately continued as 3 frames, 2 frames, 3 frames, and so on.

図1に戻り、インデックス生成部17には、同期信号Ssyが入力される。同期信号Ssyは垂直同期信号及び水平同期信号を含む。同期信号Ssyは、垂直期間及び水平期間の区切りを示し、データの有効領域を示すタイミング信号となっている。インデックス生成部17は、入力される同期信号Ssyに基づいて、映像信号Sinとして順次入力される画素データが、左眼画像のフレームの画素データであるか、右眼画像のフレームの画素データであるかを示すインデックス信号を生成する。   Returning to FIG. 1, the synchronization signal Ssy is input to the index generator 17. The synchronization signal Ssy includes a vertical synchronization signal and a horizontal synchronization signal. The synchronization signal Ssy indicates a separation between the vertical period and the horizontal period, and is a timing signal indicating an effective area of data. Based on the input synchronization signal Ssy, the index generator 17 sequentially inputs pixel data as the video signal Sin is pixel data of the frame of the left eye image or pixel data of the frame of the right eye image. An index signal indicating that is generated.

左眼画像のフレームの画素データであることを示すインデックス信号をインデックス信号iL、右眼画像のフレームの画素データであることを示すインデックス信号をインデックス信号iRとする。インデックス生成部17が生成するインデックス信号iL,iRによって、左眼画像のフレームの期間と右眼画像のフレームの期間とを識別することができる。インデックス生成部17が生成したインデックス信号iL,iRは、書き込み領域巡回制御部12と、読み出し制御部13と、フレームレート変換部16とに入力される。   The index signal indicating the pixel data of the frame of the left eye image is the index signal iL, and the index signal indicating the pixel data of the frame of the right eye image is the index signal iR. The frame period of the left eye image and the frame period of the right eye image can be identified by the index signals iL and iR generated by the index generation unit 17. The index signals iL and iR generated by the index generation unit 17 are input to the write area cycle control unit 12, the read control unit 13, and the frame rate conversion unit 16.

書き込み領域巡回制御部12と、読み出し制御部13と、フレームレート変換部16には、2−3プルダウンのシーケンスのフレーム位相を示すフェイズ信号Sphが入力される。図2(B)に示すように、フェイズ信号Sphが示すフレーム位相はph1,ph2,ph3,ph4,ph5のいずれかである。左眼画像のフレームと右眼画像のフレームとの同じ組が3フレーム連続するときの3フレーム目をフレーム位相ph1とし、同じ組が2フレーム連続するときの1フレーム目をフレーム位相ph2とする。同じ組が2フレーム連続するときの2フレーム目をフレーム位相ph3、同じ組が3フレーム連続するときの1フレーム目をフレーム位相ph4、同じ組が3フレーム連続するときの2フレーム目をフレーム位相ph5とする。   A phase signal Sph indicating the frame phase of a 2-3 pull-down sequence is input to the write area cycle control unit 12, the read control unit 13, and the frame rate conversion unit 16. As shown in FIG. 2B, the frame phase indicated by the phase signal Sph is any one of ph1, ph2, ph3, ph4, and ph5. The third frame when the same set of the left-eye image frame and the right-eye image frame is continuous for three frames is set as the frame phase ph1, and the first frame when the same set is continuous for two frames is set as the frame phase ph2. Frame phase ph3 for the second frame when the same set is 2 frames, Frame phase ph4 for the first frame when the same set is 3 frames, Frame phase ph5 for the second frame when the same set is 3 frames And

動きベクトルMVは、図示していない動きベクトル検出部によって検出される。動きベクトル検出部は、映像信号Sinにおける時間的に隣接したフレーム間の動きを推定して、動きベクトルMVを生成する。動きベクトル検出部は、例えば、映像信号Sinの時間的に隣接するフレーム間において、注目画素群がどの程度移動したかをブロックマッチングによって求め、注目画素群の移動量及び移動方向を求めることによって動きベクトルMVを生成すればよい。   The motion vector MV is detected by a motion vector detection unit (not shown). The motion vector detection unit estimates motion between temporally adjacent frames in the video signal Sin, and generates a motion vector MV. The motion vector detection unit obtains, for example, how much the target pixel group has moved between temporally adjacent frames of the video signal Sin by block matching, and determines the movement amount and the movement direction of the target pixel group. A vector MV may be generated.

動きベクトルMVは、左眼画像と右眼画像とでそれぞれ生成される。左眼画像用の動きベクトルMVを動きベクトルMV-L、右眼画像用の動きベクトルMVを動きベクトルMV-Rとする。後述する補間フレーム生成部15には、補間フレーム生成部15が左眼画像の補間フレームを生成する際には左眼画像用の動きベクトルMV-Lが供給され、右眼画像の補間フレームを生成する際には右眼画像用の動きベクトルMV-Rが供給される。   The motion vector MV is generated for each of the left eye image and the right eye image. Let the motion vector MV for the left eye image be the motion vector MV-L, and the motion vector MV for the right eye image be the motion vector MV-R. When the interpolation frame generation unit 15 generates an interpolation frame for the left eye image, a motion vector MV-L for the left eye image is supplied to the interpolation frame generation unit 15 described later to generate an interpolation frame for the right eye image. In doing so, a motion vector MV-R for the right eye image is supplied.

メモリ14は、3つのメモリ領域141〜143を有する。メモリ領域141〜143は、それぞれ、左眼画像または右眼画像のフレームを1フレーム分記憶する容量を有する。書き込み領域巡回制御部12は、インデックス信号iL,iRとフェイズ信号Sphとを参照することによって、特定の条件を満たす場合に、映像信号Sinをメモリ14に書き込む際にメモリ領域141〜143を巡回させるよう制御する制御信号S12を生成する。制御信号S12は、書き込み制御部11,読み出し制御部13,メモリ14に入力される。   The memory 14 has three memory areas 141 to 143. Each of the memory areas 141 to 143 has a capacity for storing one frame of the left eye image or the right eye image. The write area cycle control unit 12 refers to the index signals iL and iR and the phase signal Sph to cycle the memory areas 141 to 143 when writing the video signal Sin to the memory 14 when a specific condition is satisfied. A control signal S12 is generated for control. The control signal S12 is input to the write control unit 11, the read control unit 13, and the memory 14.

本実施形態においては、特定の条件とは、インデックス生成部17が生成したインデックス信号が左眼画像のフレームの画素データであることを示すインデックス信号iLであり、フェイズ信号Sphが示すフレーム位相がph2またはph4である場合と、インデックス生成部17が生成したインデックス信号が右眼画像のフレームの画素データであることを示すインデックス信号iRであり、フェイズ信号Sphが示すフレーム位相がph1またはph3の場合である。   In the present embodiment, the specific condition is an index signal iL indicating that the index signal generated by the index generation unit 17 is pixel data of the frame of the left eye image, and the frame phase indicated by the phase signal Sph is ph2. Or when the index signal generated by the index generation unit 17 is the index signal iR indicating that it is pixel data of the frame of the right-eye image and the frame phase indicated by the phase signal Sph is ph1 or ph3. is there.

書き込み制御部11は、映像信号Sinをメモリ14のメモリ領域141〜143のいずれかに書き込む書き込みコマンドC11を生成してメモリ14に供給する。このとき、書き込み制御部11は、制御信号S12に基づいて、映像信号Sinをメモリ領域141〜143に対して巡回的に書き込むよう制御する。書き込み制御部11は例えば“1”,“2”,“3”,“1”,“2”,“3”,“1”…と巡回的にカウントし、フレーム単位でカウンタ値を更新するフレームカウンタを有している。   The write control unit 11 generates a write command C 11 for writing the video signal Sin to any one of the memory areas 141 to 143 of the memory 14 and supplies it to the memory 14. At this time, the write controller 11 controls to write the video signal Sin cyclically to the memory areas 141 to 143 based on the control signal S12. For example, the write control unit 11 cyclically counts “1”, “2”, “3”, “1”, “2”, “3”, “1”... And updates the counter value in units of frames. Has a counter.

メモリ14は、書き込みコマンドC11として、カウンタ値が“1”のとき映像信号Sinの左眼画像または右眼画像のフレームをメモリ領域141に書き込み、カウンタ値が“2”のときフレームをメモリ領域142に書き込み、カウンタ値が“3”のときフレームをメモリ領域143に書き込む。書き込み制御部11は、制御信号S12に基づいて、上述した特定の条件を満たす場合にフレームカウンタのカウンタ値を更新する。上述した特定の条件を満たさない場合には、フレームカウンタのカウンタ値は更新されない。   As the write command C11, the memory 14 writes the frame of the left eye image or the right eye image of the video signal Sin in the memory area 141 when the counter value is “1”, and the frame in the memory area 142 when the counter value is “2”. When the counter value is “3”, the frame is written in the memory area 143. The write control unit 11 updates the counter value of the frame counter based on the control signal S12 when the specific condition described above is satisfied. When the specific condition described above is not satisfied, the counter value of the frame counter is not updated.

このように、本実施形態においては、2−3プルダウンのシーケンスの同じフレームが連続する最初のフレーム位相で左眼画像のインデックス信号iLである第1の場合と、2−3プルダウンのシーケンスの同じフレームが連続する最後のフレーム位相で右眼画像のインデックス信号iRである第2の場合に、書き込み制御部11による制御によって、左眼画像のフレームまたは右眼画像のフレームをメモリ領域141〜143に書き込む際の巡回が有効となる。一方、第1及び第2の場合以外の第3の場合では、巡回は無効となって巡回が停止し、左眼画像のフレームまたは右眼画像のフレームは同じメモリ領域に連続して書き込まれる(上書きされる)ことになる。   Thus, in the present embodiment, the first case where the same frame of the 2-3 pulldown sequence is the first frame phase in which the same frame is consecutive and the index signal iL of the left eye image is the same as the 2-3 pulldown sequence. In the second case where the index signal iR of the right eye image is the last frame phase in which the frames are continuous, the left eye image frame or the right eye image frame is stored in the memory areas 141 to 143 by the control of the writing control unit 11. The patrol when writing becomes effective. On the other hand, in the third case other than the first and second cases, the patrol is invalidated and patrol is stopped, and the left-eye image frame or the right-eye image frame is continuously written in the same memory area ( Will be overwritten).

読み出し制御部13は、インデックス信号iL,iRとフェイズ信号Sphと制御信号S12とに基づいて、メモリ領域141〜143のうちの2つの領域から2つのフレーム信号fa,fbそれぞれの画素データを読み出すよう制御する読み出しコマンドC13を生成してメモリ14に供給する。フレーム信号fa,fbは、フレームパッキング方式の映像信号における左眼画像のフレーム信号または右眼画像のフレーム信号である。   Based on the index signals iL and iR, the phase signal Sph, and the control signal S12, the read control unit 13 reads the pixel data of each of the two frame signals fa and fb from two of the memory areas 141 to 143. A read command C13 to be controlled is generated and supplied to the memory 14. The frame signals fa and fb are a frame signal of a left eye image or a frame signal of a right eye image in a frame packing video signal.

読み出し制御部13にインデックス信号iLが入力される場合には、読み出し制御部13は、フレーム信号faまたはfbとして、左眼画像のフレーム信号を読み出す読み出しコマンドC13を生成し、インデックス信号iRが入力される場合には、読み出し制御部13は、フレーム信号faまたはfbとして、右眼画像のフレーム信号を読み出す読み出しコマンドC13を生成する。   When the index signal iL is input to the read control unit 13, the read control unit 13 generates a read command C13 for reading the frame signal of the left eye image as the frame signal fa or fb, and the index signal iR is input. In this case, the read control unit 13 generates a read command C13 for reading the frame signal of the right eye image as the frame signal fa or fb.

メモリ14から読み出されたフレーム信号fa,fbそれぞれの画素データは、補間フレーム生成部15に入力される。補間フレーム生成部15は、フレーム信号fa,fbそれぞれの画素データを用い、動きベクトルMV(MV-L,MV-R)を参照することによって、フレーム信号fa,fbそれぞれのフレームの間に内挿する補間フレーム信号fiを構成する補間画素データを順次生成する。補間フレーム生成部15によって生成された補間フレーム信号fiは、フレームレート変換部16に入力される。   Pixel data of each of the frame signals fa and fb read from the memory 14 is input to the interpolation frame generation unit 15. The interpolation frame generation unit 15 uses the pixel data of the frame signals fa and fb and refers to the motion vector MV (MV-L and MV-R), thereby interpolating between the frames of the frame signals fa and fb. Interpolated pixel data constituting the interpolated frame signal fi to be generated is sequentially generated. The interpolation frame signal fi generated by the interpolation frame generation unit 15 is input to the frame rate conversion unit 16.

フレームレート変換部16は、フェイズ信号Sphを参照しつつ、適切なシーケンスとなるよう、映像信号Sinの隣接するフレーム間に補間フレーム信号fiによって生成された補間フレームを内挿し、フレームレートを120Hzに変換して映像信号Soutとして出力する。   The frame rate conversion unit 16 refers to the phase signal Sph and interpolates the interpolation frame generated by the interpolation frame signal fi between adjacent frames of the video signal Sin so as to obtain an appropriate sequence, and sets the frame rate to 120 Hz. It converts and outputs as video signal Sout.

次に、図3を用いて、本実施形態の映像信号処理装置の動作について改めて説明する。図3において、入力映像信号Sinは、左眼画像のフレームZ-Lと右眼画像のフレームZ-Rとの組に続き、左眼画像のフレームA-Lと右眼画像のフレームA-Rとの組が3フレーム、左眼画像のフレームB-Lと右眼画像のフレームB-Rとの組が2フレーム、左眼画像のフレームC-Lと右眼画像のフレームC-Rとの組が3フレームと続いている。なお、左眼画像のフレームZ-Lと右眼画像のフレームZ-Rとの組の前には、左眼画像のフレームY-Lと右眼画像のフレームY-Rとの組が存在している。フェイズ信号Sphが示すフレーム位相はph1,ph2,ph3,ph4,ph5とインデックス信号iL,iRは、図3のようになっている。   Next, the operation of the video signal processing apparatus of this embodiment will be described again with reference to FIG. In FIG. 3, the input video signal Sin includes a left eye image frame ZL and a right eye image frame ZR, followed by a left eye image frame AL and a right eye image frame AR. The set of the frame BL of the eye image and the frame BR of the right eye image is followed by 2 frames, and the set of the frame CL of the left eye image and the frame CR of the right eye image is followed by 3 frames. Note that a set of a left eye image frame Y-L and a right eye image frame Y-R exists before the set of the left eye image frame Z-L and the right eye image frame Z-R. The frame phases indicated by the phase signal Sph are ph1, ph2, ph3, ph4, ph5 and the index signals iL, iR are as shown in FIG.

映像信号Sinが左眼画像のフレームZ-Lのとき、書き込み制御部11のフレームカウンタが例えば“1”であるとする。上述のように、インデックス信号iLでフレーム位相がph2,ph4のとき、インデックス信号iRでフレーム位相がph1,ph3のとき、制御信号S12が書き込み制御部11へと供給されてフレームカウンタのカウンタ値が更新される。従って、フレーム位相ph3における右眼画像のフレームZ-Rのとき、カウンタ値は“2”となり、続くフレーム位相ph4の左眼画像のフレームA-Lのとき、カウンタ値は“3”となる。その後、フレーム位相ph4の右眼画像のフレームA-Rからフレーム位相ph1の左眼画像のフレームA-Lまでカウンタ値は更新されない。   When the video signal Sin is the frame Z-L of the left eye image, it is assumed that the frame counter of the writing control unit 11 is “1”, for example. As described above, when the frame phase is ph2 and ph4 with the index signal iL, and when the frame phase is ph1 and ph3 with the index signal iR, the control signal S12 is supplied to the write controller 11 and the counter value of the frame counter is changed. Updated. Accordingly, the counter value is “2” for the frame Z-R of the right eye image at the frame phase ph3, and the counter value is “3” for the frame A-L of the left eye image at the subsequent frame phase ph4. Thereafter, the counter value is not updated from the frame A-R of the right eye image at the frame phase ph4 to the frame A-L of the left eye image at the frame phase ph1.

フレーム位相ph1の右眼画像のフレームA-Rのとき、カウンタ値は“1”に戻り、フレーム位相ph2の左眼画像のフレームB-Lのとき、カウンタ値は“2”となる。以下、同様にして、上記の条件のときのみカウンタ値が更新される。   The counter value returns to “1” for the frame A-R of the right eye image at the frame phase ph1, and the counter value is “2” for the frame B-L of the left eye image at the frame phase ph2. In the same manner, the counter value is updated only under the above conditions.

映像信号Sinの左眼画像または右眼画像のフレームは、フレームカウンタのカウンタ値に対応したメモリ領域へと書き込まれる。カウンタ値が“1”であれば、左眼画像または右眼画像のフレームがメモリ領域141に書き込まれ、カウンタ値が“2”であれば、左眼画像または右眼画像のフレームがメモリ領域142に書き込まれ、カウンタ値が“3”であれば、左眼画像または右眼画像のフレームがメモリ領域143に書き込まれる。図3に示すメモリ14のメモリ領域141〜143において、ハッチングを付しているメモリ領域はフレームの書き込みが更新されたメモリ領域を示している。   The frame of the left eye image or the right eye image of the video signal Sin is written into the memory area corresponding to the counter value of the frame counter. If the counter value is “1”, the frame of the left eye image or the right eye image is written into the memory area 141, and if the counter value is “2”, the frame of the left eye image or the right eye image is stored in the memory area 142. If the counter value is “3”, the frame of the left eye image or the right eye image is written in the memory area 143. In the memory areas 141 to 143 of the memory 14 illustrated in FIG. 3, the hatched memory areas indicate the memory areas in which the writing of the frame is updated.

左眼画像のフレームZ-Lはカウンタ値が“1”であるので、メモリ領域141に書き込まれ、右眼画像のフレームZ-Rはカウンタ値が“2”であるので、メモリ領域142に書き込まれる。これに続く左眼画像のフレームA-Lはカウンタ値が“3”であるので、メモリ領域143に書き込まれる。その後、フレーム位相ph4の右眼画像のフレームA-Rからフレーム位相ph1の左眼画像のフレームA-Lまでカウンタ値は更新されないので、映像信号Sinの左眼画像または右眼画像のフレームはメモリ領域143に順次書き込まれて、メモリ領域143に書き込まれるフレームが更新されることになる。   Since the counter value of the frame Z-L of the left eye image is “1”, it is written in the memory area 141, and the frame Z-R of the right eye image is written in the memory area 142 because the counter value is “2”. The subsequent frame A-L of the left eye image has a counter value of “3”, and is therefore written in the memory area 143. Thereafter, since the counter value is not updated from the frame AR of the right eye image at the frame phase ph4 to the frame AL of the left eye image at the frame phase ph1, the left eye image or the right eye image frame of the video signal Sin is sequentially stored in the memory area 143. The frame written and written in the memory area 143 is updated.

フレーム位相ph1の右眼画像のフレームA-R以降も同様に、映像信号Sinの左眼画像または右眼画像のフレームはカウンタ値に応じたメモリ領域141〜143いずれかのメモリ領域に書き込まれる。   Similarly, after the frame A-R of the right eye image of the frame phase ph1, the left eye image or the right eye image frame of the video signal Sin is written in one of the memory areas 141 to 143 corresponding to the counter value.

図3に示すように、読み出し制御部13は、インデックス信号iLのときには、互いに異なる左眼画像の2フレームをフレーム信号fa,fbとして読み出すよう制御し、インデックス信号iRのときには、互いに異なる右眼画像の2フレームをフレーム信号fa,fbとして読み出すよう制御する。図3より分かるように、左眼画像のフレームと右眼画像のフレームのそれぞれで、隣接する2フレームをフレーム信号fa,fbとして読み出すことができる。   As shown in FIG. 3, when the index signal is iL, the read control unit 13 controls to read two frames of different left-eye images as frame signals fa and fb, and when the index signal is iR, different right-eye images. These two frames are controlled to be read out as frame signals fa and fb. As can be seen from FIG. 3, two adjacent frames can be read as frame signals fa and fb in each of the left-eye image frame and the right-eye image frame.

隣接する2フレームのフレーム信号fa,fbによって、次のように出力映像信号Soutが生成される。フレーム位相ph4の左眼画像のフレームZ-L,A-Lに基づいて補間フレームZA1-Lが生成され、フレーム位相ph4の右眼画像のフレームZ-R,A-Rに基づいて補間フレームZA1-Rが生成される。フレーム位相ph5の左眼画像のフレームZ-L,A-Lに基づいて補間フレームZA2-Lが生成され、フレーム位相ph5の右眼画像のフレームZ-R,A-Rに基づいて補間フレームZA2-Rが生成される。   The output video signal Sout is generated as follows by the frame signals fa and fb of two adjacent frames. An interpolation frame ZA1-L is generated based on the frames Z-L and A-L of the left eye image at the frame phase ph4, and an interpolation frame ZA1-R is generated based on the frames Z-R and A-R of the right eye image at the frame phase ph4. An interpolation frame ZA2-L is generated based on the frames Z-L and A-L of the left eye image with the frame phase ph5, and an interpolation frame ZA2-R is generated based on the frames Z-R and A-R of the right eye image with the frame phase ph5.

フレーム位相ph1の左眼画像のフレームZ-L,A-Lでは、左眼画像のフレームA-Lがそのまま出力され、フレーム位相ph1の右眼画像のフレームZ-R,A-Rでは、右眼画像のフレームA-Rがそのまま出力される。以下同様にして、補間フレームAB1-L,AB1-R,AB2-L,AB2-R,BC1-L,BC1-R,BC2-L,BC2-Rが生成される。フレーム位相ph1の左眼画像のフレームB-L,C-Lでは、左眼画像のフレームC-Lがそのまま出力され、フレーム位相ph1の右眼画像のフレームB-R,C-Rでは、右眼画像のフレームC-Rがそのまま出力される。   The left eye image frame AL is output as it is in the left eye image frames ZL and AL of the frame phase ph1, and the right eye image frame AR is output as it is in the right eye image frames ZR and AR of the frame phase ph1. . Similarly, interpolation frames AB1-L, AB1-R, AB2-L, AB2-R, BC1-L, BC1-R, BC2-L, and BC2-R are generated. The left eye image frame CL is output as it is in the left eye image frames BL and CL of the frame phase ph1, and the right eye image frame CR is output as it is in the right eye image frames BR and CR of the frame phase ph1. .

出力映像信号Soutのフレームレートは120Hzであり、入力映像信号Sinのフレームレート60Hzの2倍である。出力映像信号Soutに変換した後のフレーム位相は、図3に示すように、フレーム位相ph1ではph11,ph12、フレーム位相ph2ではph21,ph22、フレーム位相ph3ではph31,ph32、フレーム位相ph4ではph41,ph42、フレーム位相ph5ではph51,ph52となる。   The frame rate of the output video signal Sout is 120 Hz, which is twice the frame rate of 60 Hz of the input video signal Sin. As shown in FIG. 3, the frame phase after conversion to the output video signal Sout is ph11 and ph12 in the frame phase ph1, ph21 and ph22 in the frame phase ph2, ph31 and ph32 in the frame phase ph3, and ph41 in the frame phase ph4. At ph42 and frame phase ph5, they are ph51 and ph52.

さらに図4を用いて、本実施形態の映像信号処理装置による補間フレームの生成動作について説明する。図4(A)は、フレームレート60Hzであり、2−3プルダウン変換によって生成されたフレームパッキング方式の映像信号Sinにおける左眼画像及び右眼画像のフレームの所定の動きを示している。3D映像では、左眼画像と右眼画像とが両眼視差を有するので、左眼画像と右眼画像とは異なる動きとなるのが一般的である。図4(A)に示す例では、左眼画像のフレームA-L,B-L,C-Lで物体の位置が水平に移動し、右眼画像のフレームA-R,B-R,C-Rで物体の位置が水平に移動している。   Further, an interpolation frame generation operation by the video signal processing apparatus of the present embodiment will be described with reference to FIG. FIG. 4A shows a predetermined motion of the left-eye image frame and the right-eye image frame in the frame packing video signal Sin generated by 2-3 pulldown conversion at a frame rate of 60 Hz. In the 3D video, since the left eye image and the right eye image have binocular parallax, the left eye image and the right eye image generally move differently. In the example shown in FIG. 4A, the position of the object moves horizontally in the frames AL, BL, and CL of the left eye image, and the position of the object moves horizontally in the frames AR, BR, and CR of the right eye image. Yes.

2−3プルダウン変換によってフレーム位相ph2,ph3が同じフレームの組であり、フレーム位相ph4,ph5,ph1が同じフレームの組である。物体は2フレームまたは3フレームごとに移動するため、画像の動きが滑らかでなく、ジャダとして知覚される。   The frame phases ph2 and ph3 are a set of the same frame by 2-3 pulldown conversion, and the frame phases ph4, ph5, and ph1 are the set of the same frame. Since the object moves every two or three frames, the movement of the image is not smooth and is perceived as judder.

図4(B)は、フレームレート120Hzに変換され、ジャダが除去されて画像の動きが滑らかとなった映像信号Soutの各フレームを示している。ハッチングを付している左眼画像のフレームA-L,C-Lは、図3で説明したように、図4(A)の元の左眼画像のフレームA-L,C-Lがそのまま出力される。左眼画像のフレームA-L,C-L間では、補間フレームAB1-L,AB2-L,BC1-L,BC2-Lが出力される。ハッチングを付している右眼画像のフレームA-R,C-Rは、図3で説明したように、図4(A)の元の右眼画像のフレームA-R,C-Rがそのまま出力される。右眼画像のフレームA-R,C-R間では、補間フレームAB1-R,AB2-R,BC1-R,BC2-Rが出力される。   FIG. 4B shows each frame of the video signal Sout that has been converted to a frame rate of 120 Hz, the judder is removed, and the motion of the image is smooth. For the left eye image frames A-L and C-L with hatching, the original left-eye image frames A-L and C-L in FIG. Interpolated frames AB1-L, AB2-L, BC1-L, and BC2-L are output between the frames A-L and C-L of the left eye image. As described with reference to FIG. 3, the frames A-R and C-R of the original right-eye image in FIG. 4A are output as they are, as described with reference to FIG. Interpolated frames AB1-R, AB2-R, BC1-R, and BC2-R are output between the frames A-R and C-R of the right eye image.

図4(B)に示すように、動きベクトルMVは、左眼画像のフレームにおいては動きベクトルMV-Lとして検出され、右眼画像のフレームにおいては動きベクトルMV-Rとして検出されている。左眼画像の補間フレームAB1-L,AB2-L,BC1-L,BC2-L及び右眼画像の補間フレームAB1-R,AB2-R,BC1-R,BC2-Rは、それぞれ、動きベクトルMV-L,MV-Rを参照し、図4(A)の映像信号Sinにおける2つのフレームの時間距離に応じた割合で混合して生成する。   As shown in FIG. 4B, the motion vector MV is detected as the motion vector MV-L in the frame of the left eye image, and is detected as the motion vector MV-R in the frame of the right eye image. The left-eye image interpolation frames AB1-L, AB2-L, BC1-L, BC2-L and the right-eye image interpolation frames AB1-R, AB2-R, BC1-R, BC2-R are respectively motion vectors MV. Referring to -L and MV-R, they are mixed and generated at a rate corresponding to the time distance between two frames in the video signal Sin in FIG.

図4(A)の映像信号Sinにおける左眼画像のフレームB-Lと右眼画像のフレームB-Rは映像信号Soutとしては出力しないが、左眼画像のフレームB-Lは左眼画像のフレームA-L,C-Lの時間的な中間位置(フレーム位相ph41)に位置し、右眼画像のフレームB-Rは右眼画像のフレームA-R,C-Rの時間的な中間位置(フレーム位相ph42)に位置するものとして補間フレームの生成に利用する。   The left-eye image frame BL and the right-eye image frame BR in the video signal Sin in FIG. 4A are not output as the video signal Sout, but the left-eye image frame BL is the time of the left-eye image frames AL and CL. Is used to generate an interpolation frame, assuming that the frame BR of the right eye image is located at the temporal intermediate position (frame phase ph42) of the frames AR and CR of the right eye image. To do.

例えば、補間フレームAB1-Lは、左眼画像のフレームA-L(フレーム位相ph12)と左眼画像のフレームB-L(フレーム位相ph41)との時間距離比が2:3であるので、フレームA-L,B-Lとを混合比3:2で混合することによって生成することができる。また、補間フレームAB2-Lは、左眼画像のフレームA-Lと左眼画像のフレームB-Lとの時間距離比が4:1であるので、フレームA-L,B-Lとを混合比1:4で混合することによって生成することができる。   For example, since the interpolation frame AB1-L has a time distance ratio of 2: 3 between the frame AL (frame phase ph12) of the left eye image and the frame BL (frame phase ph41) of the left eye image, Can be produced at a mixing ratio of 3: 2. Further, since the interpolation frame AB2-L has a time distance ratio of 4: 1 between the frame AL of the left eye image and the frame BL of the left eye image, the frames AL and BL are mixed at a mixing ratio of 1: 4. Can be generated by

以上のようにして、本実施形態の映像信号処理装置及び映像信号処理方法によれば、メモリ14に設けるメモリ領域をメモリ領域141〜143の3フレーム分(フレームパッキング方式の映像信号における左眼画像または右眼画像の3フレーム分)として、映像信号Sinにおける2つのフレームを用いてそれぞれの補間フレームを生成することが可能となる。従って、フレームパッキング方式の映像信号の左眼画像または右眼画像のフレームを一時的に記憶するメモリの容量の増加を極力抑えることができる。   As described above, according to the video signal processing apparatus and the video signal processing method of the present embodiment, the memory area provided in the memory 14 corresponds to three frames of the memory areas 141 to 143 (the left eye image in the frame packing video signal). Alternatively, it is possible to generate respective interpolation frames using two frames in the video signal Sin as three frames of the right eye image). Therefore, an increase in the capacity of the memory that temporarily stores the frame of the left eye image or the right eye image of the video signal of the frame packing method can be suppressed as much as possible.

以上説明した本実施形態の映像信号処理装置及び映像信号処理方法と同等の構成をコンピュータプログラムによって実現することも可能である。コンピュータに接続されたROM等の記憶媒体に映像信号処理プログラムを記憶しておき、映像信号処理プログラムをコンピュータによって動作させることによって、コンピュータを映像信号処理装置として機能させることができ、上述した映像信号処理方法と同様の各ステップを実行させることが可能である。   A configuration equivalent to the video signal processing apparatus and video signal processing method of the present embodiment described above can be realized by a computer program. By storing a video signal processing program in a storage medium such as a ROM connected to the computer and operating the video signal processing program by the computer, the computer can function as a video signal processing device. Each step similar to the processing method can be executed.

この場合、コンピュータに、映像信号Sinと同期信号Ssyとフェイズ信号Sphと動きベクトルMVを入力し、コンピュータに接続されたRAM等の作業用のメモリ領域に左眼画像または右眼画像のフレームを記憶させつつ、補間フレームを生成すればよい。本実施形態の映像信号処理プログラムによれば、RAM等の作業用のメモリ領域はメモリ14と同様、左眼画像または右眼画像のフレームを記憶する容量としては、3フレーム分の容量を有すればよいことになる。Ssyとフェイズ信号Sphや動きベクトルMVをコンピュータによって生成してもよい。   In this case, the video signal Sin, the synchronization signal Ssy, the phase signal Sph, and the motion vector MV are input to the computer, and the frame of the left eye image or the right eye image is stored in a working memory area such as a RAM connected to the computer. The interpolation frame may be generated while doing so. According to the video signal processing program of this embodiment, the working memory area such as the RAM has a capacity for three frames as the capacity for storing the left-eye image frame or the right-eye image frame as in the memory 14. It will be good. Ssy, phase signal Sph, and motion vector MV may be generated by a computer.

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。本実施形態では、フレームレート変換を行う構成について示したが、フレームレートを変換しなくてもよい。   The present invention is not limited to the embodiment described above, and various modifications can be made without departing from the scope of the present invention. In the present embodiment, the configuration for performing the frame rate conversion is shown, but the frame rate may not be converted.

11 書き込み制御部
12 書き込み領域巡回制御部
13 読み出し制御部
14 メモリ
15 補間フレーム生成部
16 フレームレート変換部
17 インデックス生成部
141〜143 メモリ領域
DESCRIPTION OF SYMBOLS 11 Write control part 12 Write area circulation control part 13 Read control part 14 Memory 15 Interpolation frame production | generation part 16 Frame rate conversion part 17 Index production | generation part 141-143 Memory area | region

Claims (3)

第1のフレームレートの映像が2−3プルダウンによって第2のフレームレートに変換され、1垂直期間に左眼画像のフレームと右眼画像のフレームとが配置されたフレームパッキング方式の立体映像信号を処理する映像信号処理装置であり、
前記左眼画像のフレームの期間と前記右眼画像のフレームの期間とを識別するためのインデックス信号を生成するインデックス生成部と、
前記左眼画像のフレームまたは前記右眼画像のフレームを複数フレーム分記憶する複数のメモリ領域を有するメモリと、
前記左眼画像のフレームまたは前記右眼画像のフレームを前記複数のメモリ領域に巡回的に書き込むよう制御する書き込み制御部と、
前記インデックス信号と2−3プルダウンのシーケンスのフレーム位相を示すフェイズ信号とに基づいて、前記シーケンスの同じフレームが連続する最初のフレーム位相で前記インデックス信号が左眼画像であることを示す第1の場合と、前記シーケンスの同じフレームが連続する最後のフレーム位相で前記インデックス信号が右眼画像であることを示す第2の場合に、前記書き込み制御部による制御によって、前記左眼画像のフレームまたは前記右眼画像のフレームを前記複数のメモリ領域に書き込む際の巡回を有効にする一方、前記第1及び第2の場合以外の第3の場合では巡回を無効にして、同じメモリ領域に書き込むよう制御する書き込み領域巡回制御部と、
前記インデックス信号と前記フェイズ信号とに基づいて、前記複数のメモリ領域に書き込まれた互いに異なる前記左眼画像のフレームまたは互いに異なる前記右眼画像のフレームを読み出すよう制御する読み出し制御部と、
動きベクトルを参照して、前記複数のメモリ領域より読み出された互いに異なる前記左眼画像のフレームまたは互いに異なる前記右眼画像のフレームを用いて補間フレームを生成する補間フレーム生成部と、
を備えることを特徴とする映像信号処理装置。
The video of the first frame rate is converted to the second frame rate by 2-3 pulldown, and a frame packing type stereoscopic video signal in which a frame of a left eye image and a frame of a right eye image are arranged in one vertical period. A video signal processing device for processing,
An index generation unit that generates an index signal for identifying a frame period of the left eye image and a frame period of the right eye image;
A memory having a plurality of memory areas for storing a plurality of frames of the left-eye image frame or the right-eye image frame;
A write control unit that controls to cyclically write the frame of the left eye image or the frame of the right eye image to the plurality of memory areas;
Based on the index signal and a phase signal indicating the frame phase of the 2-3 pull-down sequence, a first frame phase indicating that the index signal is a left-eye image at a first frame phase in which the same frame of the sequence continues. And in the second case indicating that the index signal is a right eye image at the last frame phase in which the same frame of the sequence continues, the frame of the left eye image or the Control is performed to enable the circulation when writing the frame of the right eye image in the plurality of memory areas, while invalidating the circulation in the third case other than the first and second cases, and writing to the same memory area. A write area patrol control unit,
Based on the index signal and the phase signal, a read control unit that controls to read different left-eye image frames or different right-eye image frames written in the plurality of memory areas;
An interpolation frame generation unit that generates an interpolation frame by using different left-eye image frames or different right-eye image frames read from the plurality of memory regions with reference to a motion vector;
A video signal processing apparatus comprising:
第1のフレームレートの映像が2−3プルダウンによって第2のフレームレートに変換され、1垂直期間に左眼画像のフレームと右眼画像のフレームとが配置されたフレームパッキング方式の立体映像信号を処理する映像信号処理方法であり、
前記左眼画像のフレームの期間と前記右眼画像のフレームの期間とを識別するためのインデックス信号を生成し、
前記インデックス信号と2−3プルダウンのシーケンスのフレーム位相を示すフェイズ信号とに基づいて、前記シーケンスの同じフレームが連続する最初のフレーム位相で前記インデックス信号が左眼画像であることを示す第1の場合と、前記シーケンスの同じフレームが連続する最後のフレーム位相で前記インデックス信号が右眼画像であることを示す第2の場合に、前記左眼画像のフレームまたは前記右眼画像のフレームを複数フレーム分記憶する複数のメモリ領域に巡回的に書き込み、
前記第1及び第2の場合以外の第3の場合に、前記左眼画像のフレームまたは前記右眼画像のフレームを前記複数のメモリ領域に書き込む巡回を停止させて、同じメモリ領域に書き込み、
前記インデックス信号と前記フェイズ信号とに基づいて、前記複数のメモリ領域に書き込まれた互いに異なる前記左眼画像のフレームまたは互いに異なる前記右眼画像のフレームを読み出し、
動きベクトルを参照して、前記複数のメモリ領域より読み出された互いに異なる前記左眼画像のフレームまたは互いに異なる前記右眼画像のフレームを用いて補間フレームを生成する
ことを特徴とする映像信号処理方法。
A video of a first frame rate is converted to a second frame rate by 2-3 pulldown, and a 3D video signal of a frame packing system in which a frame of a left eye image and a frame of a right eye image are arranged in one vertical period. A video signal processing method to be processed,
Generating an index signal for identifying a frame period of the left eye image and a frame period of the right eye image;
Based on the index signal and a phase signal indicating the frame phase of the 2-3 pull-down sequence, a first frame phase indicating that the index signal is a left-eye image at a first frame phase in which the same frame of the sequence continues. And a second case indicating that the index signal is a right eye image at the last frame phase in which the same frame of the sequence continues, a plurality of frames of the left eye image or the right eye image Cyclically write to multiple memory areas
In the third case other than the first and second cases, the cycle of writing the frame of the left eye image or the frame of the right eye image to the plurality of memory areas is stopped, and the same memory area is written,
Based on the index signal and the phase signal, the different left-eye image frames or the different right-eye image frames written in the plurality of memory areas are read,
Video signal processing characterized by referring to a motion vector and generating an interpolation frame using different left eye image frames or different right eye image frames read from the plurality of memory areas Method.
第1のフレームレートの映像が2−3プルダウンによって第2のフレームレートに変換され、1垂直期間に左眼画像のフレームと右眼画像のフレームとが配置されたフレームパッキング方式の立体映像信号を処理する映像信号処理プログラムであり、
コンピュータに、
前記左眼画像のフレームの期間と前記右眼画像のフレームの期間とを識別するためのインデックス信号を生成するステップと、
前記インデックス信号と2−3プルダウンのシーケンスのフレーム位相を示すフェイズ信号とに基づいて、前記シーケンスの同じフレームが連続する最初のフレーム位相で前記インデックス信号が左眼画像であることを示す第1の場合と、前記シーケンスの同じフレームが連続する最後のフレーム位相で前記インデックス信号が右眼画像であることを示す第2の場合に、前記左眼画像のフレームまたは前記右眼画像のフレームを複数フレーム分記憶する複数のメモリ領域に巡回的に書き込むステップと、
前記第1及び第2の場合以外の第3の場合に、前記左眼画像のフレームまたは前記右眼画像のフレームを前記複数のメモリ領域に書き込む巡回を停止させて、同じメモリ領域に書き込むステップと、
前記インデックス信号と前記フェイズ信号とに基づいて、前記複数のメモリ領域に書き込まれた互いに異なる前記左眼画像のフレームまたは互いに異なる前記右眼画像のフレームを読み出すステップと、
動きベクトルを参照して、前記複数のメモリ領域より読み出された互いに異なる前記左眼画像のフレームまたは互いに異なる前記右眼画像のフレームを用いて補間フレームを生成するステップと、
を実行させることを特徴とする映像信号処理プログラム。
A video of a first frame rate is converted to a second frame rate by 2-3 pulldown, and a 3D video signal of a frame packing system in which a frame of a left eye image and a frame of a right eye image are arranged in one vertical period. A video signal processing program to be processed,
On the computer,
Generating an index signal for identifying a frame period of the left eye image and a frame period of the right eye image;
Based on the index signal and a phase signal indicating the frame phase of the 2-3 pull-down sequence, a first frame phase indicating that the index signal is a left-eye image at a first frame phase in which the same frame of the sequence continues. And a second case indicating that the index signal is a right eye image at the last frame phase in which the same frame of the sequence continues, a plurality of frames of the left eye image or the right eye image Cyclically writing to a plurality of memory areas to be stored,
Stopping the cycle of writing the left-eye image frame or the right-eye image frame to the plurality of memory areas in the third case other than the first and second cases, and writing to the same memory area; ,
Based on the index signal and the phase signal, reading different left-eye image frames or different right-eye image frames written in the plurality of memory areas;
Generating an interpolation frame using different left eye image frames or different right eye image frames read from the plurality of memory regions with reference to a motion vector; and
A video signal processing program characterized in that
JP2012055505A 2012-03-13 2012-03-13 Video signal processing apparatus, video signal processing method, video signal processing program Active JP5880165B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012055505A JP5880165B2 (en) 2012-03-13 2012-03-13 Video signal processing apparatus, video signal processing method, video signal processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012055505A JP5880165B2 (en) 2012-03-13 2012-03-13 Video signal processing apparatus, video signal processing method, video signal processing program

Publications (2)

Publication Number Publication Date
JP2013191957A true JP2013191957A (en) 2013-09-26
JP5880165B2 JP5880165B2 (en) 2016-03-08

Family

ID=49391823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012055505A Active JP5880165B2 (en) 2012-03-13 2012-03-13 Video signal processing apparatus, video signal processing method, video signal processing program

Country Status (1)

Country Link
JP (1) JP5880165B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422873A (en) * 2020-11-30 2021-02-26 Oppo(重庆)智能科技有限公司 Frame insertion method and device, electronic equipment and storage medium
CN112449120A (en) * 2019-08-30 2021-03-05 华为技术有限公司 High dynamic range video generation method and device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11346346A (en) * 1998-06-02 1999-12-14 Sony Corp Image converter and image converting method
JP2007074439A (en) * 2005-09-07 2007-03-22 Toshiba Corp Video processor
JP2010028472A (en) * 2008-07-18 2010-02-04 Victor Co Of Japan Ltd Video signal processor, and video signal processing method
JP2011019037A (en) * 2009-07-08 2011-01-27 Kawasaki Microelectronics Inc Image processing circuit and image processing method
WO2011039920A1 (en) * 2009-09-29 2011-04-07 パナソニック株式会社 Three-dimensional image processing device and control method therefor
WO2011061973A1 (en) * 2009-11-18 2011-05-26 日本ビクター株式会社 Three-dimensional image display device and method of deriving motion vector

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11346346A (en) * 1998-06-02 1999-12-14 Sony Corp Image converter and image converting method
JP2007074439A (en) * 2005-09-07 2007-03-22 Toshiba Corp Video processor
JP2010028472A (en) * 2008-07-18 2010-02-04 Victor Co Of Japan Ltd Video signal processor, and video signal processing method
JP2011019037A (en) * 2009-07-08 2011-01-27 Kawasaki Microelectronics Inc Image processing circuit and image processing method
WO2011039920A1 (en) * 2009-09-29 2011-04-07 パナソニック株式会社 Three-dimensional image processing device and control method therefor
JP2011077729A (en) * 2009-09-29 2011-04-14 Panasonic Corp Three-dimensional image processor and method of controlling the same
WO2011061973A1 (en) * 2009-11-18 2011-05-26 日本ビクター株式会社 Three-dimensional image display device and method of deriving motion vector

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112449120A (en) * 2019-08-30 2021-03-05 华为技术有限公司 High dynamic range video generation method and device
CN112449120B (en) * 2019-08-30 2022-06-10 华为技术有限公司 High dynamic range video generation method and device
CN112422873A (en) * 2020-11-30 2021-02-26 Oppo(重庆)智能科技有限公司 Frame insertion method and device, electronic equipment and storage medium

Also Published As

Publication number Publication date
JP5880165B2 (en) 2016-03-08

Similar Documents

Publication Publication Date Title
US8610707B2 (en) Three-dimensional imaging system and method
JP2011166761A (en) Image processing apparatus, image processing method, and program
CN102256143A (en) Video processing apparatus and method
JP2011223493A (en) Image processing apparatus and image processing method
JP5424926B2 (en) Video processing apparatus and video processing method
JP2010268037A (en) Image conversion method and image conversion apparatus
JP2000253422A (en) Method for generating three-dimensionall image from two-dimensional image
US9210301B2 (en) Generation interpolation frames
JP5880165B2 (en) Video signal processing apparatus, video signal processing method, video signal processing program
US20120098930A1 (en) Image processing device, image processing method, and program
US8330799B2 (en) Image output apparatus and image output method
US20150002624A1 (en) Video signal processing device and video signal processing method
US9113140B2 (en) Stereoscopic image processing device and method for generating interpolated frame with parallax and motion vector
KR100297831B1 (en) An apparatus for converting two dimensional image to stereoscopic image
JP5700998B2 (en) 3D image display apparatus and control method thereof
US20120268561A1 (en) Generation interpolation frames
JP5478728B2 (en) 3D image processing apparatus and method, and 3D image display apparatus
US20120274742A1 (en) Generation interpolation frames
JP5733139B2 (en) Motion vector detection apparatus and method, and video signal processing apparatus and method
JP2011216935A (en) Video processing device and video display device
JP6478291B2 (en) Display control apparatus and control method thereof
JP5627798B2 (en) Image processing apparatus, image processing method, image processing program, image display apparatus, and image display method
KR101065863B1 (en) A 3d movie generating method by compensating vertical component of motion vector wherebetween two pictures and a storage medium
JP2020061693A (en) Interpolation frame generation device and method
JPH09116928A (en) Method for converting two-dimensional video into three-dimensional video

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160118

R150 Certificate of patent or registration of utility model

Ref document number: 5880165

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150