JP2012015825A - Moving image conversion method and moving image conversion apparatus - Google Patents
Moving image conversion method and moving image conversion apparatus Download PDFInfo
- Publication number
- JP2012015825A JP2012015825A JP2010150720A JP2010150720A JP2012015825A JP 2012015825 A JP2012015825 A JP 2012015825A JP 2010150720 A JP2010150720 A JP 2010150720A JP 2010150720 A JP2010150720 A JP 2010150720A JP 2012015825 A JP2012015825 A JP 2012015825A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- frame
- video
- output
- parallax data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、フィルム素材などに記録された映像を使用して立体画像として視認可能な３次元表示（以下、「３Ｄ立体表示」と略記する）を行う際に、３Ｄ立体表示における映像の動きを円滑にする映像変換方法およびこの変換方法を使用した映像変換装置に関する。 In the present invention, when a 3D display (hereinafter abbreviated as “3D 3D display”) that can be viewed as a 3D image using an image recorded on a film material or the like is used, the movement of the image in the 3D 3D display is controlled. The present invention relates to a smooth video conversion method and a video conversion apparatus using the conversion method.
フィルム素材などに記録された映像を使用して３Ｄ立体表示を得る方法として、右眼用と左眼用の映像をそれぞれ提供する方法が従来知られている。人が物を見る場合、同じ物を見ていても右眼と左眼とで見える物の像に視認上の差異（以下、「視差」と略記する）が発生する。この視差により人は物を立体像として認識し、見た物の奥行を感じることができる。したがって、左右両眼の視差を反映した二つの映像データ（以下、「視差データ」と略記する）を作製し、これを使用することにより３Ｄ立体表示を行うことができる。視差データは、同じカメラを２台使用し、右眼用を右側に、左眼用は左側に配置して対象物を撮影することにより作製することができる。 As a method for obtaining a 3D stereoscopic display using an image recorded on a film material or the like, a method for providing a right-eye image and a left-eye image is conventionally known. When a person looks at an object, a visual difference (hereinafter abbreviated as “parallax”) occurs in the image of the object seen by the right eye and the left eye even when the same object is viewed. With this parallax, a person can recognize an object as a stereoscopic image and feel the depth of the object. Therefore, two video data reflecting the parallax between the left and right eyes (hereinafter, abbreviated as “parallax data”) can be created and used to perform 3D stereoscopic display. The parallax data can be produced by using the same two cameras and arranging the right eye for the right eye and the left eye for the left side to photograph the object.
視差データを使用して表示装置により３Ｄ表示を行う方法として、例えば、右眼用と左眼用の映像信号を時系列に並べて表示し、右眼用と左眼用のレンズが映像に合わせて開閉するシャッターメガネを使用して、右眼用映像を右眼で、左眼用映像を左眼で見ることで３Ｄ立体表示を行うアクティブシャッタ方式が開示されている（例えば、特許文献１を参照）。 As a method for performing 3D display on a display device using parallax data, for example, right-eye and left-eye video signals are displayed in time series, and right-eye and left-eye lenses are matched to the video. An active shutter system is disclosed that performs 3D stereoscopic display by using shutter glasses that open and close, and viewing a right-eye image with the right eye and a left-eye image with the left eye (see, for example, Patent Document 1). ).
一方、３Ｄ立体表示を行う映像ソースとしては映画が注目されており、近年、広く普及しつつある。映画フィルムにおける素材の特徴としては、映像を２４Ｈｚ（毎秒２４フレーム）で撮影し、収録する場合が多く、従来の２次元表示では、２４Ｈｚの映像を３−２プルダウン処理によって、映像表示に適した６０Ｈｚにフレームレートを変換する方式が開示されている（例えば、特許文献２を参照）。 On the other hand, movies are attracting attention as video sources for performing 3D stereoscopic display, and have recently become widespread. As a feature of movie film, video is often shot and recorded at 24 Hz (24 frames per second). In conventional two-dimensional display, 24 Hz video is suitable for video display by 3-2 pull-down processing. A method for converting the frame rate to 60 Hz is disclosed (for example, see Patent Document 2).
上記従来の技術では、映画フィルム等に記録された映像を３Ｄ立体表示する場合、映画フィルムに記録された映像の各フレームを３回−２回と交互に繰り返し表示するため、視聴者に映像がガタガタした印象（ジャダー）を与え、円滑な動きの映像を得ることができない。 In the above-described conventional technology, when a video recorded on a motion picture film or the like is displayed in 3D, each frame of the video recorded on the motion picture film is alternately displayed 3 times to 2 times. A rattling impression (judder) is given and smooth moving images cannot be obtained.
本発明は、プルダウン処理による映像の不自然な動き（ジャダー）を軽減し、円滑な３Ｄ立体表示を行うことのできる映像変換方法およびこれを使用した映像変換装置を実現することを目的とする。 An object of the present invention is to realize a video conversion method capable of reducing unnatural motion (judder) of video due to pull-down processing and performing smooth 3D stereoscopic display, and a video conversion device using the same.
上記の課題を解決するために、本発明の第１の映像変換装置は、第１視差データの奇数フレーム、前記第１視差データの奇数フレームと対をなす第２視差データの奇数フレーム、前記第１視差データの偶数フレーム、および前記第１視差データの偶数フレームと対をなす前記第２視差データの偶数フレームがこの順序で繰り返し入力されるフレーム入力手段と、前記フレーム入力手段から入力される前記第１視差データおよび前記第２視差データの奇数フレームおよび偶数フレームを記憶するフレーム記憶手段と、前記フレーム記憶手段に記憶された前記第１視差データおよび前記第２視差データからなる入力フレーム列からフレームレートがＮ／Ｍ倍（ＮとＭは自然数でＮ＞Ｍ＞０）となる出力フレーム列を生成する出力フレーム列生成手段と、前記出力フレーム列生成手段によって生成された前記出力フレーム列を構成する前記第１視差データフレーム列と前記第２視差データフレーム列を順次交互に出力するフィールド出力手段とを備え、前記出力フレーム列生成手段が、Ｎ＝（Ｋ＋１）×Ｍ＋Ｌ（Ｋは０以上の整数、Ｌは自然数でＭ＞Ｌ＞０を満たす）の場合、Ｎ個の第１視差データＬ＿ＯＵＴｊ（ｊ＝１〜Ｎ）列である第１視差出力フレーム列とＮ個の第２視差データＲ＿ＯＵＴｊ（ｊ＝１〜Ｎ）列である第２視差出力フレーム列とからなる前記出力フレーム列を、前記入力フレーム列を構成するＭ個の前記第１視差データＬ＿ＩＮｉ（ｉ＝１〜Ｍ）とＭ個の前記第２視差データＲ＿ＩＮｉ（ｉ＝１〜Ｍ）から
条件１ ： 各Ｌ＿ＯＵＴｊはＬ＿ＩＮｉのいずれかである
条件２ ： 各Ｒ＿ＯＵＴｊはＲ＿ＩＮｉのいずれかである
条件３ ： 第１視差出力フレーム列中に、（Ｍ−Ｌ）個の互いに異なるＬ＿ＩＮｉについては各々（Ｋ＋１）個引き続いて出現し、残りのＬ個の互いに異なるＬ＿ＩＮｉについては各々（Ｋ＋２）個引き続いて出現する
条件４ ： 第２視差出力フレーム列中に、（Ｍ−Ｌ）個の互いに異なるＲ＿ＩＮｉについては各々（Ｋ＋１）個引き続いて出現し、残りのＬ個の互いに異なるＲ＿ＩＮｉについては各々（Ｋ＋２）個引き続いて出現する
条件５ ： あるＡ（Ａは正の整数）に対してＬ＿ＩＮＡが（Ｋ＋２）個引き続いて出現するならば、Ｂ＝Ａ＋１またはＢ＝Ａ−１（Ｂは正の整数）のいずれか一方を満たすＢに対してＲ＿ＩＮＢは（Ｋ＋２）引き続いて出現するという全ての条件１〜５を満たすように生成することを特徴とする。
In order to solve the above problem, a first video conversion apparatus of the present invention includes an odd frame of first parallax data, an odd frame of second parallax data paired with an odd frame of the first parallax data, Frame input means for repeatedly inputting an even frame of one parallax data and an even frame of the second parallax data paired with an even frame of the first parallax data, and the frame input means input from the frame input means Frame storage means for storing odd-numbered frames and even-numbered frames of the first disparity data and the second disparity data, and a frame from an input frame sequence composed of the first disparity data and the second disparity data stored in the frame storage means Output frame sequence generator for generating an output frame sequence whose rate is N / M times (N and M are natural numbers, N>M> 0) And field output means for sequentially and alternately outputting the first parallax data frame sequence and the second parallax data frame sequence constituting the output frame sequence generated by the output frame sequence generating means, When the column generation means is N = (K + 1) × M + L (K is an integer of 0 or more, L is a natural number and satisfies M>L> 0), N pieces of first parallax data L_OUT j (j = 1 to N) ) The first disparity output frame sequence that is a column and the second disparity output frame sequence that is the N second disparity data R_OUT j (j = 1 to N) columns, condition from said M pieces constituting the first parallax data L_IN i (i = 1~M) and the M second parallax data R_IN i (i = 1~M) 1 : any of the L_OUT j is L_IN i In Condition 2: Each R_OUT j is one of R_IN i Condition 3: In the first disparity output frame sequence, (M−L) different L_IN i appear (K + 1) successively, For the remaining L different L_IN i , (K + 2) consecutively appearing condition 4: In the second disparity output frame sequence, (K + 1) each for (ML) different R_IN i Appears successively, and for each of the remaining L different R_IN i , (K + 2) appear successively. Condition 5: L_IN A appears (K + 2) successively for a certain A (A is a positive integer). if you, B = (B-positive integer) a + 1 or B = a-1 R - iN B for B satisfying either all that appears subsequently (K + 2) And generating to satisfy matter 1-5.
このような構成によれば、３Ｄ立体表示においてコマの切り替わりのタイミングを制御し、１コマごとの長さを一定にすることができる。これにより、２４Ｈｚ映像をテレシネ変換する場合であっても、視聴者に違和感を与えるガタガタした印象（ジャダー）を抑制し、円滑な３Ｄ立体映像の表示が可能な高品質の映像変換装置を実現することができる。 According to such a configuration, the switching timing of the frames in the 3D stereoscopic display can be controlled, and the length of each frame can be made constant. This realizes a high-quality video conversion device that suppresses a rattling impression (judder) that gives viewers a sense of incongruity and can display a smooth 3D stereoscopic video even when a 24 Hz video is telecine-converted. be able to.
本発明の映像変換方法および映像変換装置によれば、映画フィルム等に記録された映像を３Ｄ立体表示する場合、テレシネ変換による映像品質の劣化（ジャダー）を軽減し、円滑な３Ｄ立体表示を実現することができる。 According to the video conversion method and the video conversion apparatus of the present invention, when a video recorded on a movie film or the like is displayed in 3D stereoscopic, the video quality deterioration (judder) due to telecine conversion is reduced and smooth 3D stereoscopic display is realized. can do.
以下、本発明の映像変換装置および映像変換方法について、図１〜図７を参照しながら説明する。 The video conversion apparatus and video conversion method of the present invention will be described below with reference to FIGS.
（実施の形態１）
本実施の形態１における映像変換装置は、視聴者の両眼の視差に係わる映像データである左眼用映像信号（第１視差データ）および右眼用映像信号（第２視差データ）により構成される３Ｄ映像信号により３Ｄ立体映像を表示するための映像変換装置である。
(Embodiment 1)
The video conversion apparatus according to the first embodiment includes a left-eye video signal (first parallax data) and a right-eye video signal (second parallax data), which are video data related to the parallax of the viewer's eyes. This is a video conversion device for displaying a 3D stereoscopic video by a 3D video signal.
図１において、視聴者１０が左眼１０Ｌ、右眼１０Ｒの両眼により対象物２０を目視すると、左眼１０Ｌ、右眼１０Ｒの網膜（図示せず）にはそれぞれ映像２０Ｌおよび２０Ｒが投影される。この場合、対象物２０を目視する方向は左眼１０Ｌと右眼１０Ｒとで異なるため、映像２０Ｌおよび２０Ｒには視差が発生する。したがって、映像２０Ｌおよび２０Ｒには視聴者１０の左眼１０Ｌ、右眼１０Ｒの視差に係わる映像データが含まれており、視聴者１０は映像２０Ｌおよび２０Ｒから対象物２０を３次元立体映像として認識することができる。 In FIG. 1, when the viewer 10 views the object 20 with both the left eye 10L and the right eye 10R, the images 20L and 20R are projected on the retinas (not shown) of the left eye 10L and the right eye 10R, respectively. The In this case, since the direction in which the object 20 is viewed is different between the left eye 10L and the right eye 10R, parallax occurs in the images 20L and 20R. Therefore, the images 20L and 20R include image data related to the parallax of the viewer 10 left eye 10L and the right eye 10R, and the viewer 10 recognizes the object 20 as a three-dimensional stereoscopic image from the images 20L and 20R. can do.
本実施の形態１における映像変換装置は、左右両眼の視差を反映した二つの映像データである、例えば、映像２０Ｌに係わる左眼用映像信号および映像２０Ｒに係わる右眼用映像信号から構成された視差映像信号のテレシネ変換を行う。 The video conversion apparatus according to the first embodiment includes two video data reflecting the parallax between the left and right eyes, for example, a left-eye video signal related to the video 20L and a right-eye video signal related to the video 20R. Telecine conversion of the parallax video signal.
次に、図２により、本実施の形態１における映像変換装置１（以下、本装置１と略記する）の基本構成および機能の概略について説明する。
図２に示すように、本装置１は、映像信号入力部１００、フレームメモリ２００、メモリ制御部３００、同期信号生成部４００、映像信号出力部５００、および変換レート決定部６００を備えることを特徴とする。
Next, with reference to FIG. 2, an outline of the basic configuration and functions of the video conversion apparatus 1 (hereinafter abbreviated as the present apparatus 1) in the first embodiment will be described.
As shown in FIG. 2, the apparatus 1 includes a video signal input unit 100, a frame memory 200, a memory control unit 300, a synchronization signal generation unit 400, a video signal output unit 500, and a conversion rate determination unit 600. And
映像信号入力部１００は、視差映像信号を受信して左眼用フレームと右眼用フレームを抽出し、また、視差映像信号に含まれる垂直同期信号を同期信号生成部４００および変換レート決定部６００に送信する。
フレームメモリ２００は、映像信号入力部１００において抽出されたフレームを記憶する。
The video signal input unit 100 receives the parallax video signal, extracts the left-eye frame and the right-eye frame, and also converts the vertical synchronization signal included in the parallax video signal into the synchronization signal generation unit 400 and the conversion rate determination unit 600. Send to.
The frame memory 200 stores the frame extracted by the video signal input unit 100.
同期信号生成部４００は、映像信号入力部１００から入力される視差映像信号に含まれる垂直同期信号（以下、入力Ｖ信号（第１垂直同期周波数）と略記する）から映像信号出力部５００から出力するフィールドデータの垂直同期信号（以下、出力Ｖ信号（第２垂直同期周波数）と略記する）を生成し、メモリ制御部３００、映像信号出力部５００、およびフレームレート決定部６００に送信する。 The synchronization signal generation unit 400 outputs from the video signal output unit 500 from a vertical synchronization signal (hereinafter abbreviated as an input V signal (first vertical synchronization frequency)) included in the parallax video signal input from the video signal input unit 100. A vertical synchronization signal (hereinafter abbreviated as an output V signal (second vertical synchronization frequency)) of the field data to be generated is generated and transmitted to the memory control unit 300, the video signal output unit 500, and the frame rate determination unit 600.
フレームレート決定部６００は、入力Ｖ信号と出力Ｖ信号からメモリ制御部３００で行うフレームレート変換処理に必要な変換パラメータを決定してメモリ制御部３００に送信する。 The frame rate determination unit 600 determines a conversion parameter necessary for the frame rate conversion process performed by the memory control unit 300 from the input V signal and the output V signal, and transmits the conversion parameter to the memory control unit 300.
メモリ制御部３００は、映像信号入力部１００から入力されるフレームをフレームメモリ２００に書き込み、映像信号出力部５００に出力するフレームをフレームメモリ２００から読み出す制御を行う。また、１コマごとの入力フレームに対する出力フィールド数が一定となるよう、フレームレート決定部６００から受信した変換パラメータに基づいてフレームメモリ２００からの読み出しを制御し、フレームレート変換処理を行う。
言い換えると、フレームメモリ２００に記憶された第１視差データおよび第２視差データからなる入力フレーム列からフレームレートがＮ／Ｍ倍（ＮとＭは自然数でＮ＞Ｍ＞０）となる出力フレーム列を生成するためのフレームレート変換処理を行う。
The memory control unit 300 performs control to write a frame input from the video signal input unit 100 into the frame memory 200 and to read out a frame output to the video signal output unit 500 from the frame memory 200. Further, reading from the frame memory 200 is controlled based on the conversion parameter received from the frame rate determining unit 600 so that the number of output fields for the input frame for each frame is constant, and frame rate conversion processing is performed.
In other words, an output frame sequence whose frame rate is N / M times (N and M are natural numbers, N>M> 0) from the input frame sequence composed of the first parallax data and the second parallax data stored in the frame memory 200. The frame rate conversion process for generating
次に、映像信号出力部５００は、フレームレート変換処理されたフィールドデータを出力する。言い換えると、フレームレート変換処理により生成された出力フレーム列を構成する第１視差データフレーム列と第２視差データフレーム列を順次交互に出力する。 Next, the video signal output unit 500 outputs the field data subjected to the frame rate conversion process. In other words, the first disparity data frame sequence and the second disparity data frame sequence constituting the output frame sequence generated by the frame rate conversion process are sequentially output alternately.
次に、本装置１における視差映像信号のフレームレート変換処理について、図３および図４により説明する。 Next, the frame rate conversion processing of the parallax video signal in the present apparatus 1 will be described with reference to FIGS.
図３および図４（ａ）に示すように、本装置１では、映画フィルムに記録された２４Ｈｚ（毎秒２４フレーム）の視差映像信号３０がフレームシーケンシャル方式により、映像信号入力部１００に左眼用フレームＬ（以下、Ｌ映像と略記する）および右眼用フレームＲ（以下、Ｒ映像と略記する）が交互に入力される。 図４（ｂ）は、２４Ｈｚのフレームレートで入力される視差映像信号３０を従来の３−２プルダウン処理により、映像表示に適した６０Ｈｚのフレームレートに変換した場合に出力される視差映像信号３１を示すものである。この場合、３Ｄ立体映像の各フレームにおいてＬ映像およびＲ映像のペアを３回−２回と交互に繰り返し表示するため、１コマの長さが変化する。したがって、視聴者に映像がガタガタした印象（ジャダー）を与え、特に被写体が画面内をゆっくり移動する場合において画像の品質低下が顕著となる。例えば、入力される視差映像信号３０の奇数番目のＬ映像とＲ映像が黒白の横縞の映像であり、偶数番目のＬ映像とＲ映像が黒白の縦縞の映像である場合には、上記従来の３−２プルダウン処理では、横縞の出力フィールドデータ数が縦縞の出力フィールドデータ数より多くなり、横縞の印象が強い映像が出力されることになる。 As shown in FIG. 3 and FIG. 4A, in the present apparatus 1, a parallax video signal 30 of 24 Hz (24 frames per second) recorded on a movie film is applied to the video signal input unit 100 for the left eye by a frame sequential method. Frame L (hereinafter abbreviated as L video) and right eye frame R (hereinafter abbreviated as R video) are alternately input. FIG. 4B shows a parallax video signal 31 output when a parallax video signal 30 input at a frame rate of 24 Hz is converted to a frame rate of 60 Hz suitable for video display by a conventional 3-2 pull-down process. Is shown. In this case, since the pair of the L video and the R video is alternately and repeatedly displayed 3 to 2 times in each frame of the 3D stereoscopic video, the length of one frame changes. Therefore, the viewer gives the impression that the video is rattling (judder), and particularly when the subject moves slowly in the screen, the quality of the image is significantly reduced. For example, when the odd-numbered L video and R video of the input parallax video signal 30 are black-and-white horizontal striped video, and the even-numbered L video and R video are black-and-white vertical striped video, In the 3-2 pull-down process, the number of output field data of horizontal stripes is larger than the number of output field data of vertical stripes, and an image with a strong impression of horizontal stripes is output.
これに対して、本装置１では、図４（ｃ）に示すように、フレームレート変換処理に伴うジャダーの発生を抑制するために、出力される視差映像信号３２の各コマの長さが同じになるように出力フィールドデータの制御を行う。２４ＨｚのＬ映像およびＲ映像のペア（以下、ＬＲペアと略記する）により１コマが構成される視差映像信号３０に対し、１２０ＨｚのＬ映像およびＲ映像により構成される視差映像信号３２として、（ＬＲペア２つ＋Ｌ映像１つ）で構成されるコマと（ＬＲペア２つ＋Ｒ映像１つ）で構成されるコマを交互に繰り返して出力する。この方法によれば、出力される視差映像信号３２の各コマの長さが変化せず、視聴者に映像がガタガタした印象（ジャダー）を与えることがない。例えば、上記図４（ｂ）の所で例示した黒白の横縞、縦縞から成る視差映像信号３０に対しても、本装置１の映像変換方法によれば、横縞と縦縞が同程度の印象を与える映像を出力することができる。 On the other hand, in the present apparatus 1, as shown in FIG. 4C, the length of each frame of the output parallax video signal 32 is the same in order to suppress the occurrence of judder accompanying the frame rate conversion process. The output field data is controlled so that For a parallax video signal 30 composed of one frame by a pair of 24 Hz L video and R video (hereinafter abbreviated as LR pair), as a parallax video signal 32 composed of 120 Hz L video and R video, ( A frame composed of (two LR pairs + one L video) and a frame composed of (two LR pairs + one R video) are alternately output. According to this method, the length of each frame of the output parallax video signal 32 does not change, and the impression that the video is rattled (judder) is not given to the viewer. For example, even with respect to the parallax image signal 30 composed of black and white horizontal stripes and vertical stripes exemplified in FIG. 4B, according to the video conversion method of the present apparatus 1, the horizontal stripes and vertical stripes give the same impression. Video can be output.
次に、本装置１のフレームレート変換処理について、図５により、説明する。本装置１には、図５（ａ）に示す、例えば、映画のフィルムに記録された２４コマ（フレーム）／秒の視差映像信号３０が入力される。受信した視差映像信号３０には、Ｌ映像Ｌ０、Ｌ１、Ｌ２、Ｌ３、・・・およびＲ映像Ｒ０、Ｒ１、Ｒ２、Ｒ３、・・・に対応する二つの視差データが含まれる。 Next, the frame rate conversion processing of the present apparatus 1 will be described with reference to FIG. For example, 24 frames (frames) / second of a parallax image signal 30 recorded on a movie film shown in FIG. 5A is input to the apparatus 1. The received parallax video signal 30 includes two parallax data corresponding to the L video L0, L1, L2, L3,... And the R video R0, R1, R2, R3,.
映像信号入力部１００は、入力された視差映像信号３０からＬ映像の奇数フレーム（例えば、Ｌ０）、Ｌ映像の奇数フレームと対をなすＲ映像の奇数フレーム（例えば、Ｒ０）、Ｌ映像の偶数フレーム（例えば、Ｌ１）、Ｌ映像の偶数フレームと対をなすＲ映像の偶数フレーム（例えば、Ｒ１）を順次抽出し、メモリ制御部３００に送信する。また、映像信号入力部１００は、入力された視差映像信号３０に含まれる２４Ｈｚの入力Ｖ信号をメモリ制御部３００および同期信号生成部４００に対して送信する。後続のＬ映像、Ｒ映像（Ｌ２・Ｒ２、Ｌ３・Ｒ３、・・・）についても同様の処理が行われる。
同期信号生成部４００は、映像信号入力部１００から送信される入力Ｖ信号を検出し、映像信号出力部５００から出力するフィールドデータの１２０Ｈｚの出力Ｖ信号を生成し、メモリ制御部３００、映像信号出力部５００、および変換レート決定部６００に送信する。
ここで、図６に示すように、同期信号生成部４００は、２４Ｈｚの入力Ｖ信号の間に入力Ｖ信号の周期の１／５のタイミングでＶ信号を４回内挿することで１２０Ｈｚ（５逓倍）の出力Ｖ信号を生成する。
変換レート決定部６００は、入力Ｖ信号と出力Ｖ信号から変換パラメータを２と決定して、その値をメモリ制御部３００に送信する。なお、変換パラメータは、入力Ｖ信号と出力Ｖ信号の値を２変数とする関数あるいは変換テーブルで与えられるものとする。
The video signal input unit 100 receives an odd frame (for example, L0) of the L video, an odd frame (for example, R0) of the R video that is paired with the odd frame of the L video, and an even number of the L video from the input parallax video signal 30. A frame (for example, L1) and an even frame (for example, R1) of the R image paired with an even frame of the L image are sequentially extracted and transmitted to the memory control unit 300. In addition, the video signal input unit 100 transmits an input V signal of 24 Hz included in the input parallax video signal 30 to the memory control unit 300 and the synchronization signal generation unit 400. The same processing is performed for the subsequent L video and R video (L2, R2, L3, R3,...).
The synchronization signal generation unit 400 detects an input V signal transmitted from the video signal input unit 100 and generates a 120 Hz output V signal of field data output from the video signal output unit 500. The memory control unit 300, the video signal The data is transmitted to the output unit 500 and the conversion rate determination unit 600.
Here, as illustrated in FIG. 6, the synchronization signal generation unit 400 interpolates the V signal four times at a timing of 1/5 of the cycle of the input V signal between the input V signals of 24 Hz to 120 Hz (5 (Multiplication) output V signal is generated.
The conversion rate determination unit 600 determines the conversion parameter as 2 from the input V signal and the output V signal, and transmits the value to the memory control unit 300. Note that the conversion parameter is given by a function or a conversion table in which the values of the input V signal and the output V signal are two variables.
フレームメモリ２００は、映像信号入力部１００において抽出されたＬ映像およびＲ映像の奇数フレームおよび偶数フレームが記憶されるメモリである。 The frame memory 200 is a memory in which odd and even frames of L video and R video extracted by the video signal input unit 100 are stored.
メモリ制御部３００は、映像信号入力部１００から受信したＬ映像およびＲ映像を、同じく映像信号入力部１００から受信した２４Ｈｚの入力Ｖ信号に同期させてフレームメモリ２００に書き込む制御を行う。一方、同期信号生成部４００から受信した１２０Ｈｚの出力Ｖ信号と同期させてフレームメモリ２００からＬ映像およびＲ映像を読み出し、映像信号出力部５００に送信する。 The memory control unit 300 performs control to write the L video and the R video received from the video signal input unit 100 into the frame memory 200 in synchronization with the 24 Hz input V signal received from the video signal input unit 100. On the other hand, the L video and the R video are read from the frame memory 200 in synchronization with the 120 V output V signal received from the synchronization signal generation unit 400 and transmitted to the video signal output unit 500.
より詳述すると、メモリ制御部３００は、映像信号入力部１００から送信されてくるＬ映像およびＲ映像に対して、図５（ａ）に示すように入力Ｖ信号に同期し、フレームメモリ２００のアドレス（４ｎ＋０、４ｎ＋１）のペアにＬ映像およびＲ映像の奇数フレームを、アドレス（４ｎ＋２、４ｎ＋３）のペアにＬ映像およびＲ映像の偶数フレームを書き込む（ｎは０以上の整数）。 More specifically, the memory control unit 300 synchronizes the L video and the R video transmitted from the video signal input unit 100 with the input V signal as shown in FIG. Odd frames of L video and R video are written in a pair of addresses (4n + 0, 4n + 1), and even frames of L video and R video are written in a pair of addresses (4n + 2, 4n + 3) (n is an integer of 0 or more).
さらに、ジャダー発生を抑制するために、変換レート決定部６００から受信した変換パラーメータ（本実施の形態１での値は２）に基づくフレームレート変換処理として、図５（ｂ）に示すように、出力Ｖ信号に同期してフレームメモリ２００のアドレス（４ｎ＋０、４ｎ＋１）からＬ映像と対応するＲ映像を交互に２回ずつとＬ映像さらに１回読み出して映像信号出力部５００に送信し、その後、フレームメモリ２００のアドレス（４ｎ＋２、４ｎ＋３）からＲ映像と対応するＬ映像を交互に２回ずつとＲ映像さらに１回読み出して映像信号出力部５００に送信する。 Furthermore, in order to suppress the occurrence of judder, as a frame rate conversion process based on the conversion parameter received from the conversion rate determining unit 600 (the value in the first embodiment is 2), as shown in FIG. Synchronously with the output V signal, the R video corresponding to the L video is alternately read twice from the address (4n + 0, 4n + 1) of the frame memory 200, and is further read once and transmitted to the video signal output unit 500. From the address (4n + 2, 4n + 3) of the frame memory 200, the L video corresponding to the R video is alternately read twice and the R video is further read once and transmitted to the video signal output unit 500.
映像信号出力部５００は、メモリ制御部３００から送信されてくるＬ映像およびＲ映像を、同期信号生成部４００から受信した出力Ｖ信号に同期させてフィールドデータとして出力する。 The video signal output unit 500 outputs the L video and the R video transmitted from the memory control unit 300 as field data in synchronization with the output V signal received from the synchronization signal generation unit 400.
ここで、図６を用いて説明した本装置１のフレームレート変換処理の手順を示したものが、図７のフローチャートである。 Here, the flowchart of FIG. 7 shows the procedure of the frame rate conversion process of the apparatus 1 described with reference to FIG.
本装置１が動作を開始すると、まず、映像信号入力部１００が視差映像信号３０を受信する（Ｓ１）。 When the apparatus 1 starts operation, first, the video signal input unit 100 receives the parallax video signal 30 (S1).
次に、映像信号入力部１００は受信した視差映像信号３０から、Ｌ映像の奇数フレーム、Ｌ映像の奇数フレームと対をなすＲ映像の奇数フレーム、Ｌ映像の偶数フレーム、Ｌ映像の偶数フレームと対をなすＲ映像の偶数フレームを順次抽出して、フレームメモリ２００に書き込む（Ｓ２）。次に、同期信号生成部４００が、入力Ｖ信号から出力Ｖ信号を生成する（Ｓ３）。 Next, the video signal input unit 100 receives an odd frame of the L video, an odd frame of the R video, an even frame of the L video, and an even frame of the L video from the received parallax video signal 30. The even frames of the paired R videos are sequentially extracted and written in the frame memory 200 (S2). Next, the synchronization signal generator 400 generates an output V signal from the input V signal (S3).
次に、入力Ｖ信号と出力Ｖ信号からフレームレート変換処理で必要な変換パラメータｍを決定する（Ｓ４）。 Next, a conversion parameter m necessary for the frame rate conversion process is determined from the input V signal and the output V signal (S4).
最後に、メモリ制御部３００が、変換パラメータｍと出力Ｖ信号に基づき、フレームメモリ２００に記憶されたＬ映像の同一の奇数フレームの（ｍ＋１）個とＬ映像の奇数フレームと対をなすＲ映像の同一の奇数フレームのｍ個を交互にフィールドデータとして読み出し、引き続いてＲ映像の同一の偶数フレームの（ｍ＋１）個とＲ映像の偶数フレームと対をなすＬ映像の同一の偶数フレームのｍ個を交互に読み出して映像信号出力部５００に送信し、映像信号出力部５００がフィールドデータとして出力する（Ｓ５）。 Finally, the memory control unit 300, based on the conversion parameter m and the output V signal, makes a pair of (m + 1) of the same odd frames of the L video stored in the frame memory 200 and odd frames of the L video. Are read out alternately as field data, and subsequently, (m + 1) of the same even frame of the R video and m of the same even frame of the L video paired with the even frame of the R video. Are alternately read and transmitted to the video signal output unit 500, and the video signal output unit 500 outputs them as field data (S5).
なお、上記実施の形態１では、変換レート決定部６００が入力Ｖ信号と出力Ｖ信号に基いてフレームレート変換処理で必要な変換パラメータを決定してメモリ制御部３００に送信し、メモリ制御部３００が受信した変換パラメータに基いてフレームレート変換処理を行うようにしたが、入力Ｖ信号と出力Ｖ信号が固定で決まっている場合には、メモリ制御部３００自身にフレームレート変換処理に必要な変換パラメータを固定パラメータとして持たせることができ、この場合には変換レート決定部６００は不要である。
なお、以上は、２４Ｈｚのフレームレートで入力される視差映像信号３０を従来の３−２プルダウン処理により、映像表示に適した６０Ｈｚのフレームレートに変換した場合に出力される視差映像信号の場合について説明したが、本発明は、これに限定されるものではなく、以下の条件を満たすフレームレート変換処理を行うことが可能である。
In the first embodiment, the conversion rate determination unit 600 determines a conversion parameter necessary for the frame rate conversion process based on the input V signal and the output V signal, and transmits the conversion parameter to the memory control unit 300. However, if the input V signal and the output V signal are fixed and determined, the memory control unit 300 itself performs conversion necessary for the frame rate conversion process. A parameter can be given as a fixed parameter. In this case, the conversion rate determining unit 600 is not necessary.
The above is the case of the parallax video signal output when the parallax video signal 30 input at a frame rate of 24 Hz is converted to a frame rate of 60 Hz suitable for video display by the conventional 3-2 pull-down process. Although described, the present invention is not limited to this, and frame rate conversion processing that satisfies the following conditions can be performed.
本発明においては、第１視差データおよび第２視差データからなる入力フレーム列からフレームレートがＮ／Ｍ倍（ＮとＭは自然数でＮ＞Ｍ＞０）となる出力フレーム列を出力するフレームレート変換処理を行う際に、Ｎ＝（Ｋ＋１）×Ｍ＋Ｌ（Ｋは０以上の整数、Ｌは自然数でＭ＞Ｌ＞０を満たす）の場合、Ｎ個の第１視差データＬ＿ＯＵＴｊ（ｊ＝１〜Ｎ）列である第１視差出力フレーム列とＮ個の第２視差データＲ＿ＯＵＴｊ（ｊ＝１〜Ｎ）列である第２視差出力フレーム列とからなる前記出力フレーム列を、前記入力フレーム列を構成するＭ個の前記第１視差データＬ＿ＩＮｉ（ｉ＝１〜Ｍ）とＭ個の前記第２視差データＲ＿ＩＮｉ（ｉ＝１〜Ｍ）から
条件１ ： 各Ｌ＿ＯＵＴｊはＬ＿ＩＮｉのいずれかである
条件２ ： 各Ｒ＿ＯＵＴｊはＲ＿ＩＮｉのいずれかである
条件３ ： 第１視差出力フレーム列中に、（Ｍ−Ｌ）個の互いに異なるＬ＿ＩＮｉについては各々（Ｋ＋１）個引き続いて出現し、残りのＬ個の互いに異なるＬ＿ＩＮｉについては各々（Ｋ＋２）個引き続いて出現する
条件４ ： 第２視差出力フレーム列中に、（Ｍ−Ｌ）個の互いに異なるＲ＿ＩＮｉについては各々（Ｋ＋１）個引き続いて出現し、残りのＬ個の互いに異なるＲ＿ＩＮｉについては各々（Ｋ＋２）個引き続いて出現する
条件５ ： あるＡ（Ａは正の整数）に対してＬ＿ＩＮＡが（Ｋ＋２）個引き続いて出現するならば、Ｂ＝Ａ＋１またはＢ＝Ａ−１（Ｂは正の整数）のいずれか一方を満たすＢに対してＲ＿ＩＮＢは（Ｋ＋２）引き続いて出現するという全ての条件１〜５を満たすようにフレームレート変換を行うことが可能である。
In the present invention, a frame rate for outputting an output frame sequence whose frame rate is N / M times (N and M are natural numbers, N>M> 0) from an input frame sequence composed of first parallax data and second parallax data. When performing the conversion process, if N = (K + 1) × M + L (K is an integer of 0 or more, L is a natural number and satisfies M>L> 0), N pieces of first parallax data L_OUT j (j = 1) ˜N), the output frame sequence including the first disparity output frame sequence that is a sequence and N second disparity data R_OUT j (j = 1 to N) sequences, and the output frame sequence is the input frame. from M of said constituting the column first parallax data L_IN i (i = 1~M) and the M second parallax data R_IN i (i = 1~M) condition 1: each L_OUT j is L_IN i Condition 2 that is either: Each R_ OUT j condition is either R - IN i 3: during a first disparity output frame sequence, (M-L) number of emerged each (K + 1) pieces subsequently for different L_IN i, the remaining of the L each for different L_IN i (K + 2) pieces subsequently appearing condition 4: during the second parallax output frame sequence, appeared subsequently each (K + 1) pieces for different R_IN i (M-L) pieces of each other, For the remaining L different R_IN i , each (K + 2) appears successively. Condition 5: If L_IN A appears (K + 2) successively for a certain A (A is a positive integer), B = a + 1 or B = a-1 (B is a positive integer) R - iN B relative to B to satisfy either of the meet all of the conditions 1 to 5 that appears subsequently (K + 2) It is possible to perform urchin frame rate conversion.
このような構成により、３Ｄ立体表示においてコマの切り替わりのタイミングを制御し、１コマごとの長さを一定にすることができる。これにより、２４Ｈｚ映像をテレシネ変換する場合のみならず、他のフレームレート変換を行う場合であっても、視聴者に違和感を与えるガタガタした印象（ジャダー）を抑制し、円滑な３Ｄ立体映像の表示が可能な高品質の映像変換装置を実現することができる。 With such a configuration, it is possible to control the switching timing of frames in 3D stereoscopic display and to make the length of each frame constant. As a result, not only when converting a 24 Hz video to telecine, but also when performing other frame rate conversion, a rattling impression (judder) that gives viewers a sense of incongruity is suppressed, and smooth 3D stereoscopic video display is performed. Therefore, it is possible to realize a high-quality video conversion device capable of
なお、上述した２４Ｈｚのフレームレートで入力される視差映像信号３０を従来の３−２プルダウン処理により、映像表示に適した６０Ｈｚのフレームレートに変換した場合に出力される視差映像信号の場合は、ｍを正の整数とする時、Ｎ＝２ｍ＋１、Ｍ＝ｍ、Ｋ＝１、Ｌ＝１に該当する。 In the case of a parallax video signal output when the above-described parallax video signal 30 input at a frame rate of 24 Hz is converted to a frame rate of 60 Hz suitable for video display by conventional 3-2 pull-down processing, When m is a positive integer, N = 2m + 1, M = m, K = 1, and L = 1.
本発明の映像変換装置は、映画フィルムに記録された３Ｄ映像をテレビ等のビデオ信号出力装置で３Ｄ立体表示する場合などに適用可能であり、ジャダーの発生を抑制し、円滑な３Ｄ立体表示を実現することができる。 The video conversion device of the present invention can be applied to a case where 3D video recorded on a movie film is 3D stereoscopically displayed on a video signal output device such as a television, etc., which suppresses the occurrence of judder and provides smooth 3D stereoscopic display. Can be realized.
１ 映像変換装置
１０ 視聴者
１０Ｌ 左眼
１０Ｒ 右眼
２０ 対象物
２０Ｌ 左眼用映像信号
２０Ｒ 右眼用映像信号
３０、３１、３２ 視差映像信号
１００ 映像信号入力部
２００ フレームメモリ
３００ メモリ制御部
４００ 同期信号生成部
５００ 映像信号出力部
６００ 変換レート決定部
DESCRIPTION OF SYMBOLS 1 Video converter 10 Viewer 10L Left eye 10R Right eye 20 Target 20L Left eye video signal 20R Right eye video signal 30, 31, 32 Parallax video signal 100 Video signal input part 200 Frame memory 300 Memory control part 400 Synchronization Signal generation unit 500 Video signal output unit 600 Conversion rate determination unit
Claims (2)
前記フレーム入力手段から入力される前記第１視差データおよび前記第２視差データの奇数フレームおよび偶数フレームを記憶するフレーム記憶手段と、
前記フレーム記憶手段に記憶された前記第１視差データおよび前記第２視差データからなる入力フレーム列からフレームレートがＮ／Ｍ倍（ＮとＭは自然数でＮ＞Ｍ＞０）となる出力フレーム列を生成する出力フレーム列生成手段と、
前記出力フレーム列生成手段によって生成された前記出力フレーム列を構成する前記第１視差データフレーム列と前記第２視差データフレーム列を順次交互に出力するフィールド出力手段とを備え、
前記出力フレーム列生成手段が、Ｎ＝（Ｋ＋１）×Ｍ＋Ｌ（Ｋは０以上の整数、Ｌは自然数でＭ＞Ｌ＞０を満たす）の場合、Ｎ個の第１視差データＬ＿ＯＵＴｊ（ｊ＝１〜Ｎ）列である第１視差出力フレーム列とＮ個の第２視差データＲ＿ＯＵＴｊ（ｊ＝１〜Ｎ）列である第２視差出力フレーム列とからなる前記出力フレーム列を、前記入力フレーム列を構成するＭ個の前記第１視差データＬ＿ＩＮｉ（ｉ＝１〜Ｍ）とＭ個の前記第２視差データＲ＿ＩＮｉ（ｉ＝１〜Ｍ）から
条件１ ： 各Ｌ＿ＯＵＴｊはＬ＿ＩＮｉのいずれかである
条件２ ： 各Ｒ＿ＯＵＴｊはＲ＿ＩＮｉのいずれかである
条件３ ： 第１視差出力フレーム列中に、（Ｍ−Ｌ）個の互いに異なるＬ＿ＩＮｉについては各々（Ｋ＋１）個引き続いて出現し、残りのＬ個の互いに異なるＬ＿ＩＮｉについては各々（Ｋ＋２）個引き続いて出現する
条件４ ： 第２視差出力フレーム列中に、（Ｍ−Ｌ）個の互いに異なるＲ＿ＩＮｉについては各々（Ｋ＋１）個引き続いて出現し、残りのＬ個の互いに異なるＲ＿ＩＮｉについては各々（Ｋ＋２）個引き続いて出現する
条件５ ： あるＡ（Ａは正の整数）に対してＬ＿ＩＮＡが（Ｋ＋２）個引き続いて出現するならば、Ｂ＝Ａ＋１またはＢ＝Ａ−１（Ｂは正の整数）のいずれか一方を満たすＢに対してＲ＿ＩＮＢは（Ｋ＋２）引き続いて出現する
の全ての条件１〜５を満たすように生成する映像変換装置。 Paired with an odd frame of the first parallax data, an odd frame of the second parallax data paired with the odd frame of the first parallax data, an even frame of the first parallax data, and an even frame of the first parallax data Frame input means for repeatedly inputting even frames of the second parallax data in this order;
Frame storage means for storing odd and even frames of the first parallax data and the second parallax data input from the frame input means;
An output frame sequence whose frame rate is N / M times (N and M are natural numbers, N>M> 0) from the input frame sequence composed of the first parallax data and the second parallax data stored in the frame storage means Output frame sequence generation means for generating
Field output means for sequentially and alternately outputting the first parallax data frame sequence and the second parallax data frame sequence constituting the output frame sequence generated by the output frame sequence generating means;
When the output frame sequence generation means is N = (K + 1) × M + L (K is an integer of 0 or more, L is a natural number and satisfies M>L> 0), N pieces of first parallax data L_OUT j (j = 1 to N), the output frame sequence including the first parallax output frame sequence that is N columns and the second parallax output frame sequence that is N pieces of second parallax data R_OUT j (j = 1 to N) columns. condition from the the M number of the constituting the frame sequence first parallax data L_IN i (i = 1~M) of the M second parallax data R_IN i (i = 1~M) 1 : each L_OUT j is L_IN i Condition 2: each R_OUT j is one of R_IN i Condition 3: (K + 1) consecutive (M−L) different L_IN i in the first disparity output frame sequence Appear and the remaining L Each for different L_IN i (K + 2) pieces subsequently appearing Condition 4: during the second parallax output frame sequence, appeared subsequently each (K + 1) pieces for different R_IN i (M-L) pieces of each other, For the remaining L different R_IN i , each (K + 2) appears successively. Condition 5: If L_IN A appears (K + 2) successively for a certain A (A is a positive integer), B = A + 1 or B = A-1 (B is a positive integer), and B_R is a video conversion generated so as to satisfy all conditions 1 to 5 of R_IN B appearing successively (K + 2) apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010150720A JP2012015825A (en) | 2010-07-01 | 2010-07-01 | Moving image conversion method and moving image conversion apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010150720A JP2012015825A (en) | 2010-07-01 | 2010-07-01 | Moving image conversion method and moving image conversion apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012015825A true JP2012015825A (en) | 2012-01-19 |
Family
ID=45601720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010150720A Pending JP2012015825A (en) | 2010-07-01 | 2010-07-01 | Moving image conversion method and moving image conversion apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012015825A (en) |
-
2010
- 2010-07-01 JP JP2010150720A patent/JP2012015825A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4748251B2 (en) | Video conversion method and video conversion apparatus | |
| JP4251952B2 (en) | Stereoscopic image display apparatus and stereoscopic image display method | |
| US8884952B2 (en) | 3D display apparatus and method for processing image using the same | |
| US8581967B2 (en) | Three-dimensional (3D) display method and system | |
| US20100238274A1 (en) | Method of displaying three-dimensional image data and an apparatus of processing three-dimensional image data | |
| WO2015161541A1 (en) | Parallel synchronous scaling engine and method for multi-view point naked eye 3d display | |
| TW201143355A (en) | Apparatus and method for video processing | |
| WO2011099267A1 (en) | Video processing device and video processing method | |
| JP5325341B2 (en) | 3D image processing apparatus and method, and 3D image display apparatus | |
| US20120163700A1 (en) | Image processing device and image processing method | |
| JP2012134885A (en) | Image processing system and image processing method | |
| JP5700998B2 (en) | 3D image display apparatus and control method thereof | |
| JP2012015825A (en) | Moving image conversion method and moving image conversion apparatus | |
| WO2012117464A1 (en) | Three-dimensional video processing device and method, and three-dimensional video display device | |
| WO2012117462A1 (en) | Three-dimensional video processing device and method, and three-dimensional video display device | |
| US8902286B2 (en) | Method and apparatus for detecting motion vector, and method and apparatus for processing image signal | |
| JP2011103504A (en) | Stereoscopic display device, stereoscopic display method and stereoscopic display system | |
| KR20130019273A (en) | Method for outputting 3-dimension image and display apparatus thereof | |
| JP2006128842A (en) | Stereoscopic video signal generator | |
| JP2010087720A (en) | Device and method for signal processing that converts display scanning method | |
| JP5759728B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
| KR101451400B1 (en) | Apparatus and method for displaying auto-stereoscpic ３Ｄ image | |
| KR101276603B1 (en) | Apparatus and method for display 3d image | |
| TW454155B (en) | Effective 3D graphics system buffer control method | |
| KR101120557B1 (en) | Apparatus for synchronizing stereoscopic image |