JP2011155431A - Frame rate conversion device, and video display device - Google Patents

Frame rate conversion device, and video display device Download PDF

Info

Publication number
JP2011155431A
JP2011155431A JP2010014993A JP2010014993A JP2011155431A JP 2011155431 A JP2011155431 A JP 2011155431A JP 2010014993 A JP2010014993 A JP 2010014993A JP 2010014993 A JP2010014993 A JP 2010014993A JP 2011155431 A JP2011155431 A JP 2011155431A
Authority
JP
Japan
Prior art keywords
video
video data
rate conversion
frame rate
depth information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010014993A
Other languages
Japanese (ja)
Inventor
Yoshiaki Mizuhashi
嘉章 水橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Consumer Electronics Co Ltd
Original Assignee
Hitachi Consumer Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Consumer Electronics Co Ltd filed Critical Hitachi Consumer Electronics Co Ltd
Priority to JP2010014993A priority Critical patent/JP2011155431A/en
Publication of JP2011155431A publication Critical patent/JP2011155431A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To perform frame rate conversion for generating a further preferable interpolation frame for video data for 3D display. <P>SOLUTION: In this frame rate conversion device for performing a frame rate conversion process of video data for 3D display or a display device for performing a frame rate conversion process and a display process, frame rate conversion is performed by generating an interpolation frame by using not only the video data for 3D display, but depth information inputted along with the video data for 3D display, or depth information calculated from the video data for 3D display. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、3次元表示のための映像データのフレームレート変換技術に関するものである。   The present invention relates to a frame rate conversion technique for video data for three-dimensional display.

フレームレート変換装置は、入力された映像データのフレームレートを、所望のフレームレートに変換して出力する装置である。中でも相関演算を用いて映像中の動きを検出して補間フレームを生成し、生成したフレームを挿入することにより、フレームレートを変換する装置は、従来から例えば特許文献1など、数多く示されてきている。   The frame rate conversion device is a device that converts the frame rate of input video data into a desired frame rate and outputs the frame rate. Among them, a number of devices that convert the frame rate by detecting the motion in the video using correlation calculation and generating the interpolated frame and converting the generated frame have been shown in the past, for example, Patent Document 1. Yes.

特開２００６−１６５６０２号JP 2006-165602 A

解決しようとする課題点は、映像中の物体が交差して移動する場合、どちらの物体が前面を通過するか判定できないため、正確な補間フレームの生成が困難であるという課題がある。   The problem to be solved is that when objects in the video cross and move, it is difficult to determine which object passes through the front surface, so that it is difficult to generate an accurate interpolation frame.

上記課題を解決するための一態様としては、例えば、3次元表示のための映像データのみならず、3次元表示のための映像データに付随する奥行き情報または3次元表示のための映像データから算出する奥行き情報も用いて補間フレームを生成する構成とすればよい。   As one aspect for solving the above-mentioned problem, for example, not only video data for 3D display but also calculation from depth information accompanying video data for 3D display or video data for 3D display The interpolation frame may be generated using the depth information.

3次元表示のための映像データについてより好適な補間フレームを生成できる。   A more suitable interpolation frame can be generated for video data for three-dimensional display.

実施例１に係るフレームレート変換装置を示した説明図である。1 is an explanatory diagram showing a frame rate conversion apparatus according to Embodiment 1. FIG. 相関検出処理部の動作の説明図である。It is explanatory drawing of operation | movement of a correlation detection process part. 補間フレームにおける映像の奥行き関係を示した説明図である。It is explanatory drawing which showed the depth relationship of the image | video in an interpolation frame. 実施例２に係るフレームレート変換装置を示した説明図である。FIG. 6 is an explanatory diagram illustrating a frame rate conversion apparatus according to a second embodiment. 実施例１に係る映像表示装置を示した説明図である。1 is an explanatory diagram illustrating a video display device according to Embodiment 1. FIG. 実施例２に係る映像表示装置を示した説明図である。FIG. 6 is an explanatory diagram illustrating a video display device according to a second embodiment.

本発明では、3次元表示のための映像データに対するフレームレート変換装置を容易な構成でかつ、演算処理量の少ない構成を実現した。以下に、本発明を実施するための形態について、図面を参照しながら説明を行う。   In the present invention, a frame rate conversion apparatus for video data for three-dimensional display has a simple configuration and a configuration with a small amount of calculation processing. Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.

図１は、本発明の実施例１に係る装置の構成図である。   FIG. 1 is a configuration diagram of an apparatus according to Embodiment 1 of the present invention.

本実施例のフレームレート変換装置では、映像入力部１１、フレームメモリ２１〜２４、相関検出処理部３１、奥行きデータ入力部４１、補間画素生成処理部５１、切換え回路部６１、６２、奥行き情報生成処理部７１を有する。   In the frame rate conversion apparatus of the present embodiment, the video input unit 11, frame memories 21 to 24, correlation detection processing unit 31, depth data input unit 41, interpolation pixel generation processing unit 51, switching circuit units 61 and 62, depth information generation A processing unit 71 is included.

また、本実施例では、２つの元フレーム間の時間的中心位置に補間フレームを挿入することにより、入力される映像のフレームレートの倍に変換する処理について説明を行う。   In this embodiment, a process for converting an input video to a frame rate by inserting an interpolation frame at a temporal center position between two original frames will be described.

映像入力部１１では、外部からの映像を入力し、フレームメモリ２１に送ると同時に、相関検出に用いる後フレーム１１１（時間的に新しいフレーム）として相関検出処理部３１に送る。   The video input unit 11 inputs an external video and sends it to the frame memory 21 and simultaneously sends it to the correlation detection processing unit 31 as a post-frame 111 (a temporally new frame) used for correlation detection.

フレームメモリ２１では、映像データを遅延させ、相関検出に用いる前フレーム１１２（時間的に古いフレーム）として相関検出処理部３１に送ると共に、倍の速度で（補間ではない）実フレームのデータとして切換え回路６１に送る。   In the frame memory 21, the video data is delayed and sent to the correlation detection processing unit 31 as a previous frame 112 (a frame that is older in time) used for correlation detection, and is switched as real frame data at a double speed (not interpolation). Send to circuit 61.

相関検出処理部３１について、図２と合わせて説明を行う。相関検出処理部３１では、入力された前フレーム１１２と後フレーム１１１をもとに、その間に補間フレーム１００を設定して映像の動きを検出する。本実施例においては、補間フレーム１００上の１画素毎に動き検出を行うが、それに限られるものではなく、ｍ×ｎ画素（ｍ、ｎは自然数）毎に動き検出を行っても良い。   The correlation detection processing unit 31 will be described with reference to FIG. In the correlation detection processing unit 31, based on the input previous frame 112 and subsequent frame 111, an interpolation frame 100 is set between them to detect the motion of the video. In this embodiment, motion detection is performed for each pixel on the interpolation frame 100, but the present invention is not limited to this, and motion detection may be performed for each m × n pixels (m and n are natural numbers).

まず、前フレーム１１２、後フレーム１１１のそれぞれ水平ｘ位置、垂直ｙ位置にある画素レベル(データ)をａ(x,y)、c(x,y)と定義する。   First, pixel levels (data) at the horizontal x position and the vertical y position of the front frame 112 and the rear frame 111 are defined as a (x, y) and c (x, y), respectively.

対象となる補間フレーム１００上の（ｘ，ｙ）位置にある画素１０１についての動きを検出するために、前フレーム１１２、後フレーム１１１上に（ｘ，ｙ）位置を中心として、水平±Ｍ、垂直±Ｎ画素（Ｍ、Ｎは自然数、本実施例では、Ｍは２、Ｎは１）の検索範囲１２２、１２１を設定する。この検索範囲において、対象フレーム上の画素１０１を中心として、前フレーム１１２上の検索範囲１２２と、後フレーム１１１上の検索範囲１２１上に点対称位置に存在する画素間で１５種類の動きを定義する。
動き(＋２、＋１) : １２２(ｘ−２，ｙ−１) − １２１(ｘ＋２，ｙ＋１)
動き(＋１、＋１) : １２２(ｘ−１，ｙ−１) − １２１(ｘ＋１，ｙ＋１)
動き( ０、＋１) : １２２( ｘ，ｙ−１) − １２１( ｘ，ｙ＋１)
動き(−１、＋１) : １２２(ｘ＋１，ｙ−１) − １２１(ｘ−１，ｙ＋１)
動き(−２、＋１) : １２２(ｘ＋２，ｙ−１) − １２１(ｘ−２，ｙ＋１)
動き(＋２、 ０) : １２２(ｘ−２， ｙ) − １２１(ｘ＋２， ｙ)
動き(＋１、 ０) : １２２(ｘ−１， ｙ) − １２１(ｘ＋１， ｙ)
動き( ０、 ０) : １２２( ｘ， ｙ) − １２１( ｘ， ｙ)
動き(−１、 ０) : １２２(ｘ−１， ｙ) − １２１(ｘ＋１， ｙ)
動き(−２、 ０) : １２２(ｘ−２， ｙ) − １２１(ｘ＋２， ｙ)
動き(＋２、−１) : １２２(ｘ−２，ｙ＋１) − １２１(ｘ＋２，ｙ−１)
動き(＋１、−１) : １２２(ｘ−１，ｙ＋１) − １２１(ｘ＋１，ｙ−１)
動き( ０、−１) : １２２( ｘ，ｙ＋１) − １２１( ｘ，ｙ−１)
動き(−１、−１) : １２２(ｘ＋１，ｙ＋１) − １２１(ｘ−１，ｙ−１)
動き(−２、−１) : １２２(ｘ＋２，ｙ＋１) − １２１(ｘ−２，ｙ−１)
そして、これらの１５種の動きそれぞれに対して、相関の強さを表現するものとして、映像データの絶対値差分ａｄ(ｉ，ｊ)を求める。(ｉは−２から＋２、ｊは−１から＋１。)
（数１）
ａｄ(ｉ，ｊ) ＝ |a(ｘ−ｉ，ｙ−ｊ) − c(ｘ＋ｉ，ｙ＋ｊ)|

例えば、図２の画素１２２−画素１２１の動き(＋１、＋１)は次のようになる。
（数２）
ａｄ(＋１，＋１) ＝ |a(ｘ−１，ｙ−１) − c(ｘ＋１，ｙ＋１)|

このようにして求めた相関１５種をａｄが小さい(相関が強い)ものから順に並べ、ポイント(例えば、順に４つまで、１０ポイント、９ポイント、８ポイント、７ポイント)を与える。 In order to detect the movement of the pixel 101 located at the (x, y) position on the interpolation frame 100 as a target, the horizontal ± M around the (x, y) position on the previous frame 112 and the rear frame 111, Search ranges 122 and 121 of vertical ± N pixels (M and N are natural numbers, in this embodiment, M is 2 and N is 1) are set. In this search range, 15 types of motion are defined between pixels located in point-symmetric positions on the search range 122 on the previous frame 112 and the search range 121 on the subsequent frame 111 with the pixel 101 on the target frame as the center. To do.
Movement (+2, +1): 122 (x-2, y-1)-121 (x + 2, y + 1)
Movement (+1, +1): 122 (x-1, y-1)-121 (x + 1, y + 1)
Movement (0, +1): 122 (x, y-1)-121 (x, y + 1)
Movement (-1, +1): 122 (x + 1, y-1)-121 (x-1, y + 1)
Movement (−2, +1): 122 (x + 2, y−1) −121 (x−2, y + 1)
Movement (+2, 0): 122 (x-2, y)-121 (x + 2, y)
Movement (+1, 0): 122 (x-1, y)-121 (x + 1, y)
Movement (0, 0): 122 (x, y)-121 (x, y)
Movement (-1, 0): 122 (x-1, y)-121 (x + 1, y)
Movement (-2, 0): 122 (x-2, y)-121 (x + 2, y)
Movement (+2, -1): 122 (x-2, y + 1)-121 (x + 2, y-1)
Movement (+1, -1): 122 (x-1, y + 1)-121 (x + 1, y-1)
Movement (0, -1): 122 (x, y + 1)-121 (x, y-1)
Movement (-1, -1): 122 (x + 1, y + 1)-121 (x-1, y-1)
Movement (−2, −1): 122 (x + 2, y + 1) −121 (x−2, y−1)
Then, the absolute value difference ad (i, j) of the video data is obtained as expressing the strength of correlation for each of these 15 types of movements. (i is from -2 to +2, j is from -1 to +1)
(Equation 1)
ad (i, j) = | a (x−i, y−j) −c (x + i, y + j) |

For example, the movement (+1, +1) of the pixel 122 to the pixel 121 in FIG. 2 is as follows.
(Equation 2)
ad (+ 1, + 1) = | a (x−1, y−1) −c (x + 1, y + 1) |

The 15 types of correlations obtained in this way are arranged in order from the smallest ad (strong correlation), and points (for example, up to 4 points, 10 points, 9 points, 8 points, 7 points) are given.

なお、ここでは、２フレームでの点対称画素間の差分を用いて相関演算を行ったが、これに限るものではなく、特許文献１のようにさらに複数フレーム間の画素を用いても良いし、ｍ×ｎ画素単位でブロックマッチング処理を用いて相関演算を行い、その累積絶対値差分の小さい方向順にポイントを与えるようにしても良い。   Here, the correlation calculation is performed using the difference between point-symmetric pixels in two frames, but the present invention is not limited to this, and pixels between a plurality of frames may be used as in Patent Document 1. Alternatively, correlation calculation may be performed using block matching processing in units of m × n pixels, and points may be given in order of increasing cumulative value difference.

また、奥行きデータ入力部４１から入力された、画素毎の奥行きのデータを元に、手前側ほど高いポイントを与える。例えば、奥行き情報に２つのしきい値を設定し、１つ目のしきい値より手前側のものに５ポイント、中間のものに３ポイント、２つ目のしきい値より奥側のものに１ポイントといったポイントを与える。   Further, based on the depth data for each pixel input from the depth data input unit 41, a higher point is given toward the front side. For example, two threshold values are set for depth information, 5 points for the front side of the first threshold value, 3 points for the middle side, and 3 points for the middle side, Give one point.

そして、方向毎に相関によるポイントと、奥行き情報によるポイントを加算し、最もポイントの高かった方向を出力する。なお、奥行きの情報は、そのまま用いても良いが、遅延を用い、補間方向毎に前フレーム１１２での奥行き情報と、後フレーム１１１での奥行き情報から加重平均により、補間フレーム位置での奥行き情報を算出して用いても良いし、さらに前フレーム１１２と後フレーム１１１での奥行き情報に大きな差異がないか差分を取り、ある一定値以上奥行き情報に差異があった場合には、違う物体を指示しているものとしてポイントを与えないといった処理にしても良い。これを画面全体(例えば、７２０×４８０画素)にわたって繰返し、映像の動きを求めていく。これにより、例えば図３のように木が立っているところを自動車が走り抜けるような映像の場合、前後フレーム２１２、２１１の映像からだけでは、自動車が木の前を走り抜けたのか（２００）、木の後ろを走り抜けたのか（２０１）を判別することは不可能であるが、奥行き情報を用いることにより正確な画素動きを判別することが可能になる。すなわち、複数のフレーム間で映像中の物体が交差して移動する場合の補間フレームの補間画素についても、より好適に画素の動きを判別することができる。このようにして、決定した補間方向を、補間画素生成処理部５１、奥行き情報生成処理部７１に送る。   And the point by correlation and the point by depth information are added for every direction, and the direction with the highest point is output. The depth information may be used as it is, but the delay is used, and the depth information at the interpolation frame position is obtained by weighted averaging from the depth information at the previous frame 112 and the depth information at the rear frame 111 for each interpolation direction. It is also possible to calculate and use the difference between the depth information in the previous frame 112 and the rear frame 111. If there is a difference in depth information more than a certain value, a different object is used. You may make it the process which does not give a point as what is instruct | indicated. This is repeated over the entire screen (for example, 720 × 480 pixels) to determine the motion of the video. Thus, for example, in the case of an image in which a car runs through a place where a tree stands as shown in FIG. 3, whether the car has run in front of the tree only from the images of the front and rear frames 212 and 211 (200), the tree It is impossible to determine whether the vehicle has run behind (201), but accurate pixel motion can be determined by using depth information. That is, it is possible to more suitably discriminate the motion of the interpolated pixel of the interpolated frame when the object in the video moves across the plurality of frames. The interpolation direction thus determined is sent to the interpolation pixel generation processing unit 51 and the depth information generation processing unit 71.

補間画素生成処理部５１では、相関検出処理部３１で決定した補間方向に応じて、前フレームと後フレームからそれぞれ画素値を取得し、平均にて補間画素を生成し、フレームメモリ２２に送付する。すなわちフレームメモリ２２には生成した補間フレーム映像データが格納される。なお、本実施例では、入力フレームレートの倍に変換を行うフレームレート変換処理のため、平均処理で補間画素を生成しているが、これとは異なった倍率でのフレームレート変換の場合、補間フレームの時間的位置に応じて、加重平均にて補間画素を生成しても良い。またフレームレート変換処理自体、倍への変換に限定されるものではない。   The interpolation pixel generation processing unit 51 acquires pixel values from the previous frame and the subsequent frame according to the interpolation direction determined by the correlation detection processing unit 31, generates an interpolation pixel on average, and sends it to the frame memory 22. . That is, the generated interpolated frame video data is stored in the frame memory 22. In this embodiment, the interpolation pixel is generated by the averaging process for the frame rate conversion process for converting the input frame rate to twice, but in the case of frame rate conversion at a different magnification, interpolation is performed. Depending on the temporal position of the frame, the interpolation pixel may be generated by a weighted average. Further, the frame rate conversion process itself is not limited to double conversion.

フレームメモリ２２では、データの速度を倍にし、タイミングを合わせて切換え回路部６１に出力する。   In the frame memory 22, the data speed is doubled, and the data is output to the switching circuit unit 61 at the same timing.

切換え回路部６１では、フレームメモリ２１からの実フレーム映像データと、フレームメモリ２２からの補間フレーム映像データを切換え、入力映像の倍のフレームレートで映像を出力し、フレームレート変換を行う。   The switching circuit unit 61 switches the actual frame video data from the frame memory 21 and the interpolated frame video data from the frame memory 22, outputs a video at a frame rate twice that of the input video, and performs frame rate conversion.

奥行きデータ入力部４１から入力された奥行き情報は、フレームメモリ２３にて遅延を行い、奥行き情報生成処理部７１に送ると同時に、倍の速度で実フレーム用の奥行き情報として切換え回路６２に送付する。   The depth information input from the depth data input unit 41 is delayed in the frame memory 23 and sent to the depth information generation processing unit 71. At the same time, the depth information is sent to the switching circuit 62 as depth information for an actual frame at double speed. .

奥行き情報生成処理部７１では、相関検出処理部３１で検出された動き情報を元に、前フレーム用の奥行き情報と後フレーム用の奥行き情報を加重平均することにより、補間フレームの時間的位置での画素毎の奥行き情報を生成して、フレームメモリ２４に送る。すなわちフレームメモリ２４には生成した補間フレーム映像データに対応する奥行き情報が格納される。   The depth information generation processing unit 71 performs weighted averaging of the depth information for the previous frame and the depth information for the subsequent frame on the basis of the motion information detected by the correlation detection processing unit 31, thereby obtaining a temporal position of the interpolation frame. The depth information for each pixel is generated and sent to the frame memory 24. That is, the frame memory 24 stores depth information corresponding to the generated interpolated frame video data.

フレームメモリ２４では、倍の速度に変換して切換え回路６２に送り、切換え回路６２は、フレームメモリ２３からの実フレーム用の奥行き情報と切り替えて、フレームレート変換された映像に合わせた奥行き情報を出力する。   In the frame memory 24, the speed is converted to a double speed and sent to the switching circuit 62. The switching circuit 62 switches the depth information for the actual frame from the frame memory 23 to change the depth information according to the frame rate converted video. Output.

図５は、図１に示すフレームレート変換装置を映像処理部として備えた映像表示装置の例を示している。映像表示装置５００の映像処理部５０２は、図１に示すフレームレート変換装置である。映像表示装置５００には、例えば、映像データと当該映像データに対応する奥行き情報を含むデジタル放送信号、ネットワークからの入力信号などの入力信号のいずれかが入力される。入力信号処理部５０１は、入力信号に含まれる各種データを抽出するために必要な処理を行い、少なくとも映像データと奥行き情報とを抽出する。抽出された映像データと奥行き情報とは映像処理部５０２に入力され、映像処理部５０２では、図１で説明したように、奥行き情報を用いたフレームレート変換処理とフレームレート変換処理後の映像データに対応する奥行き情報の生成処理を行い、フレームレート変換後の映像データとこれに対応する奥行き情報とを出力する。映像処理部５０２が出力したフレームレート変換後の映像データと奥行き情報とは３次元映像表示部５０３に入力され、３次元映像表示部５０３は映像データと奥行き情報とを用いてフレームレート変換された３次元映像を表示する。   FIG. 5 shows an example of a video display device provided with the frame rate conversion device shown in FIG. 1 as a video processing unit. The video processing unit 502 of the video display device 500 is the frame rate conversion device shown in FIG. The video display device 500 receives, for example, one of video data and a digital broadcast signal including depth information corresponding to the video data, or an input signal such as an input signal from a network. The input signal processing unit 501 performs processing necessary to extract various data included in the input signal, and extracts at least video data and depth information. The extracted video data and depth information are input to the video processing unit 502. As described with reference to FIG. 1, the video processing unit 502 performs frame rate conversion processing using depth information and video data after the frame rate conversion processing. Is generated, and the video data after frame rate conversion and the corresponding depth information are output. The frame rate converted video data and depth information output from the video processing unit 502 are input to the 3D video display unit 503, and the 3D video display unit 503 is subjected to frame rate conversion using the video data and depth information. 3D video is displayed.

なお、信号出力部５０４を設けて、映像処理部５０２が出力したフレームレート変換後の映像データと奥行き情報とを含む出力信号を信号出力部５０４から外部の表示装置や記録装置などに出力してもよい。   A signal output unit 504 is provided to output an output signal including the frame rate converted video data and depth information output from the video processing unit 502 from the signal output unit 504 to an external display device or recording device. Also good.

また、３次元映像表示部５０３を２次元映像表示部に変更してもよく、または別の２次元映像表示部を設けてフレームレート変換後の映像データを２次元表示してもよい。この場合であっても、フレームレート変換後の映像データは、映像処理部５０２において奥行き情報を用いた好適な補間フレームを含む映像データとなっており、映像データにより好適なフレームレート変換を施して２次元表示することが可能となる。   Further, the 3D video display unit 503 may be changed to a 2D video display unit, or another 2D video display unit may be provided to display 2D video data after frame rate conversion. Even in this case, the video data after the frame rate conversion is video data including a suitable interpolation frame using the depth information in the video processing unit 502, and a suitable frame rate conversion is performed on the video data. Two-dimensional display is possible.

以上説明した、実施例１のフレームレート変換装置および映像表示装置によれば、入力信号に含まれる映像データを、映像データとともに入力される奥行き情報を用いたより好適なフレームレート変換処理を行うことが可能となる。また、フレームレート変換後の映像データに対応する奥行き情報を生成することができる。さらに、上記の好適なフレームレート変換を施した映像データを３次元、２次元表示、または出力することが可能となる。   According to the frame rate conversion apparatus and the video display apparatus of the first embodiment described above, it is possible to perform a more preferable frame rate conversion process on the video data included in the input signal using the depth information input together with the video data. It becomes possible. Further, it is possible to generate depth information corresponding to video data after frame rate conversion. Further, the video data subjected to the above-described suitable frame rate conversion can be displayed three-dimensionally, two-dimensionally, or output.

図４を用いて本発明の実施例２について説明する。図４は、左右の視差に合わせた２種の映像を用いる方式の３次元表示のデータに対するフレームレート変換装置の構成図である。   A second embodiment of the present invention will be described with reference to FIG. FIG. 4 is a configuration diagram of a frame rate conversion apparatus for three-dimensional display data using a method of using two types of video in accordance with left and right parallax.

１１は、映像入力部であり、外部からの映像を入力し、映像順並替処理部８１に送ると同時に、奥行き検出処理部９１に映像データを送る。   Reference numeral 11 denotes a video input unit which inputs an external video and sends it to the video order rearrangement processing unit 81 and simultaneously sends video data to the depth detection processing unit 91.

映像順並替処理部８１では、３次元表示のための左目用の映像データと、右目用の映像データを並び替え、左目用のペア、右目用のペア間でそれぞれ補間フレームを生成可能なようにデータを制御し、相関検出処理部３１、フレームメモリ２１に映像データを出力する。なお、本実施例では３次元表示のための左目用の映像データと、右目用の映像データは、フレーム単位で交互に入力されるものとして扱うが、それに限定されるものではなく、フィールド単位で交互に入力されるもの、ライン単位で交互に入力されるもの、画面の左右で入力されるものに対しても、映像の遅延量を変更して、データを並び替えることで同様に処理することが可能である。   The video rearrangement processing unit 81 rearranges the left-eye video data and the right-eye video data for three-dimensional display, and can generate interpolation frames between the left-eye pair and the right-eye pair, respectively. The video data is controlled to output the video data to the correlation detection processing unit 31 and the frame memory 21. In the present embodiment, the left-eye video data and the right-eye video data for three-dimensional display are handled as being alternately input in units of frames, but the present invention is not limited to this, and in units of fields. The same processing can be performed by changing the video delay amount and rearranging data for alternately input, alternately input in line units, and input on the left and right sides of the screen. Is possible.

フレームメモリ２１では、実施例１と同様に映像データを遅延させ、相関検出に用いる前フレーム１１２として、相関検出処理部３１に送ると同時に、実フレームのデータとして切換え回路６１に送る。   In the frame memory 21, the video data is delayed in the same manner as in the first embodiment, and is sent to the correlation detection processing unit 31 as the previous frame 112 used for correlation detection.

奥行き検出処理部９１では、左目用の映像と右目用の映像から、奥行き情報の検出を行う。３次元表示用のデータでは、一般的にスクリーン面の奥行きで表示される映像は、対応する映像が左右両目用の映像とも、フレーム内の同じ座標位置として記録されているが、それより手前側に表示される場合には、左右の映像に応じて、フレーム内でずれた座標位置として記録される。一方、フクリーン面より奥側に表示される映像は、手前側に表示される場合とは逆方向にフレーム内でずれた位置として記録されている。また、このずれ（位置の差異）は、奥行きに応じて異なったものになるため、映像の各部ごとにそのずれの大きさを奥行き情報として検出し、相関処理部３１に出力する。   The depth detection processing unit 91 detects depth information from the left-eye video and the right-eye video. In the data for 3D display, the image displayed at the depth of the screen surface is generally recorded at the same coordinate position in the frame as the corresponding image for both the left and right eye images. Is displayed as a coordinate position shifted in the frame in accordance with the left and right images. On the other hand, the image displayed on the back side from the screen surface is recorded as a position shifted in the frame in the direction opposite to that displayed on the near side. Further, since this deviation (positional difference) varies depending on the depth, the magnitude of the deviation is detected as depth information for each part of the video, and is output to the correlation processing unit 31.

相関検出処理部３１では、前フレーム１１２、後フレーム１１１のデータと、奥行き検出部９１で検出された奥行き情報を元に実施例１と同様の方法で、左目用の映像のペア、右目用の映像のペア毎に映像の動きを検出し、動き情報を補間画素生成部５１に出力する。相関検出処理部３１処理について、実施例１で説明した図２、図３の内容は実施例２においても同様であるため、説明を省略する。   The correlation detection processing unit 31 uses the same method as in the first embodiment based on the data of the previous frame 112 and the rear frame 111 and the depth information detected by the depth detection unit 91, and a pair of left-eye images and right-eye images. The motion of the video is detected for each video pair, and the motion information is output to the interpolation pixel generation unit 51. Since the contents of FIGS. 2 and 3 described in the first embodiment are the same as those in the second embodiment, the description of the correlation detection processing unit 31 will be omitted.

補間画素生成処理部５１において、相関検出処理部３１で求められた動き情報に応じて、前フレーム１１２、後フレーム１１１上のデータを用いて加重平均にて補間データを生成し、補間フレームを構成する。   In the interpolation pixel generation processing unit 51, interpolation data is generated by weighted average using the data on the previous frame 112 and the subsequent frame 111 in accordance with the motion information obtained by the correlation detection processing unit 31, and an interpolation frame is configured. To do.

フレームメモリ２２では、生成された補間フレームを、入力された映像の倍のフレームレートで出力し、フレームメモリ２１から出力される実フレームの映像と切換え回路６１にて切換えて出力することにより、フレームレート変換を行う。   The frame memory 22 outputs the generated interpolated frame at a frame rate that is twice that of the input video, and switches and outputs the actual frame video output from the frame memory 21 by the switching circuit 61. Perform rate conversion.

図６は、図４に示すフレームレート変換装置を映像処理部として備えた映像表示装置の例を示している。映像表示装置６００の映像処理部６０２は、図４に示すフレームレート変換装置である。映像表示装置６００には、例えば、左右の視差に合わせた２種の映像を含む映像データを含むデジタル放送信号、ネットワークからの入力信号などの入力信号のいずれかが入力される。入力信号処理部６０１は、入力信号に含まれる各種データを抽出するために必要な処理を行い、少なくとも映像データを抽出する。抽出された映像データは映像処理部６０２に入力され、映像処理部６０２では、図４で説明したように、左目用の映像と右目用の映像から、奥行き情報の検出を行い、検出した奥行き情報を用いたフレームレート変換処理を行って、左目用の映像と右目用の映像を含むフレームレート変換後の映像データを出力する。映像処理部６０２が出力したフレームレート変換後の映像データは３次元映像表示部６０３に入力され、３次元映像表示部６０３は、フレームレート変換後の映像データに含まれる左目用の映像と右目用の映像の視差を用いて３次元映像表示を行う。   FIG. 6 shows an example of a video display device provided with the frame rate conversion device shown in FIG. 4 as a video processing unit. The video processing unit 602 of the video display device 600 is a frame rate conversion device shown in FIG. The video display device 600 receives, for example, one of an input signal such as a digital broadcast signal including video data including two types of video matched to the left and right parallax and an input signal from a network. The input signal processing unit 601 performs processing necessary to extract various data included in the input signal, and extracts at least video data. The extracted video data is input to the video processing unit 602. As described with reference to FIG. 4, the video processing unit 602 detects depth information from the left-eye video and the right-eye video, and detects the detected depth information. The frame rate conversion process using is performed, and the video data after the frame rate conversion including the video for the left eye and the video for the right eye is output. The video data after the frame rate conversion output from the video processing unit 602 is input to the 3D video display unit 603, and the 3D video display unit 603 uses the left-eye video and the right-eye video included in the video data after the frame rate conversion. 3D video display is performed using the parallax of the video.

なお、信号出力部６０４を設けて、映像処理６０２が出力したフレームレート変換後の映像データを含む出力信号を信号出力部６０４から外部の表示装置や記録装置などに出力してもよい。   Note that a signal output unit 604 may be provided, and an output signal including video data after frame rate conversion output by the video processing 602 may be output from the signal output unit 604 to an external display device, recording device, or the like.

また、３次元映像表示部６０３を２次元映像表示部に変更してもよく、または別の２次元映像表示部を設けてフレームレート変換後の映像データを２次元表示してもよい。この場合、フレームレート変換後の映像データに含まれる左目用の映像または右目用の映像のどちらか一方のみを表示することにより、２次元映像表示が可能となる。２次元表示の場合でも、フレームレート変換後の映像データは、映像処理部６０２において奥行き情報を用いた好適な補間フレームを含む映像データとなっており、映像データにより好適なフレームレート変換を施して２次元表示することが可能となる。   Further, the 3D video display unit 603 may be changed to a 2D video display unit, or another 2D video display unit may be provided to display the video data after frame rate conversion in a 2D manner. In this case, two-dimensional video display is possible by displaying only one of the left-eye video and the right-eye video included in the video data after frame rate conversion. Even in the case of two-dimensional display, the video data after the frame rate conversion is video data including a suitable interpolation frame using depth information in the video processing unit 602, and a suitable frame rate conversion is performed on the video data. Two-dimensional display is possible.

以上説明した、実施例２のフレームレート変換装置および映像表示装置によれば、映像データに含まれる左目用の映像と右目用の映像から、奥行き情報の検出を行い、検出した奥行き情報を用いたより好適なフレームレート変換処理を行うことが可能となる。さらに、上記の好適なフレームレート変換を施した映像データを３次元、２次元表示、または出力することが可能となる。   According to the frame rate conversion device and the video display device of the second embodiment described above, depth information is detected from the left-eye video and the right-eye video included in the video data, and the detected depth information is used. It is possible to perform a suitable frame rate conversion process. Further, the video data subjected to the above-described suitable frame rate conversion can be displayed three-dimensionally, two-dimensionally, or output.

１１ 映像入力部
２１〜２４ フレームメモリ
３１ 相関検出処理部
４１ 奥行きデータ入力部
５１ 補間画素生成処理部
６１、６２ 切換え回路部
７１ 奥行き情報生成処理部
８１ 映像順並替処理部
９１ 奥行き検出処理部
１００、２００、２０１ 補間フレーム
１０１ 検索中心画素
１１１、２１１ 後フレーム
１１２、２１２ 前フレーム
１２１、１２２ 検索領域
５０１、６０１ 入力信号処理部
５０２、６０２ 映像処理部、
５０３、６０３ ３次元映像表示部
５０４、６０４ 信号出力部 DESCRIPTION OF SYMBOLS 11 Video input part 21-24 Frame memory 31 Correlation detection process part 41 Depth data input part 51 Interpolation pixel generation process part 61, 62 Switching circuit part 71 Depth information generation process part 81 Video order rearrangement process part 91 Depth detection process part 100 , 200, 201 Interpolated frame 101 Search center pixel 111, 211 Subsequent frame 112, 212 Previous frame 121, 122 Search area 501, 601 Input signal processing unit 502, 602 Video processing unit,
503, 603 3D image display unit 504, 604 Signal output unit

Claims (11)

映像データと該映像データに対応する奥行き情報とが入力される入力部と、
前記映像データに含まれる複数のフレームと前記奥行き情報とを用いて補間フレームを生成する補間フレーム生成部と
を備えることを特徴とするフレームレート変換装置。 An input unit for inputting video data and depth information corresponding to the video data;
A frame rate conversion apparatus comprising: an interpolation frame generation unit configured to generate an interpolation frame using a plurality of frames included in the video data and the depth information. 前記補間フレーム生成部は、前記映像データに含まれる前記複数のフレーム間の映像中の複数の物体の動きを検出し、前記複数のフレーム間で映像中の物体が交差して移動する場合に、前記奥行き情報を用いて前記補間フレームにおける前記複数の物体の前後関係を判別することを特徴とする請求項１のフレームレート変換装置。   The interpolation frame generation unit detects movements of a plurality of objects in the video between the plurality of frames included in the video data, and when the objects in the video cross and move between the plurality of frames, The frame rate conversion apparatus according to claim 1, wherein the depth information is used to determine the front-rear relationship of the plurality of objects in the interpolation frame. 請求項１のフレームレート変換装置であって、
前記映像データに含まれる複数のフレームと前記奥行き情報とを用いて、前記補間フレームを生成する補間フレーム生成部で生成した補間フレームに対応する奥行き情報を生成することを特徴とする請求項１のフレームレート変換装置。 The frame rate conversion apparatus according to claim 1,
The depth information corresponding to the interpolation frame generated by the interpolation frame generation unit that generates the interpolation frame is generated using a plurality of frames included in the video data and the depth information. Frame rate conversion device. 入力信号から映像データと該映像データに対応する奥行き情報とを抽出する入力信号処理部と、
前記映像データに含まれる複数のフレームと前記奥行き情報とを用いて補間フレームを生成して映像データのフレームレート変換を行う映像処理部と、
前記映像処理部でフレームレート変換した映像データを表示する表示部とを備えることを特徴とする映像表示装置。 An input signal processing unit for extracting video data and depth information corresponding to the video data from the input signal;
A video processing unit that generates an interpolation frame using a plurality of frames included in the video data and the depth information, and performs frame rate conversion of the video data;
A video display device comprising: a display unit that displays video data subjected to frame rate conversion by the video processing unit. 前記映像処理部はフレームレート変換した映像データに対応する奥行き情報を生成し、
前記表示部は、前記映像処理部でフレームレート変換した映像データと、前記映像処理部が生成した奥行き情報とを用いて、前記映像処理部でフレームレート変換した映像データを３次元表示することを特徴とする請求項４の映像表示装置。 The video processing unit generates depth information corresponding to video data subjected to frame rate conversion,
The display unit performs three-dimensional display of the video data converted by the video processing unit using the video data converted by the video processing unit and the depth information generated by the video processing unit. 5. The video display device according to claim 4, wherein 請求項５の映像表示装置であって、
前記映像処理部でフレームレート変換した映像データと、前記映像処理部が生成した奥行き情報とを含む出力信号を出力する信号出力部を備えることを特徴とする映像表示装置。 The video display device according to claim 5,
A video display device comprising: a signal output unit that outputs an output signal including video data subjected to frame rate conversion by the video processing unit and depth information generated by the video processing unit. 右目用の映像と左目用の映像とが含まれる映像データが入力される入力部と、
前記映像データに含まれる右目用の映像と左目用の映像の差異から、映像の奥行きを検出して奥行き情報を生成する奥行き検出部と、
前記映像データに含まれる右目用の映像と左目用の映像のそれぞれについて、複数のフレームと前記奥行き情報とを用いて補間フレームを生成する補間フレーム生成部と
を備えることを特徴とするフレームレート変換装置。 An input unit for inputting video data including a right-eye video and a left-eye video;
A depth detector that detects depth of the video and generates depth information from a difference between the video for the right eye and the video for the left eye included in the video data;
A frame rate conversion comprising: an interpolation frame generation unit that generates an interpolation frame using a plurality of frames and the depth information for each of a right-eye video and a left-eye video included in the video data apparatus. 前記補間フレーム生成部は、前記映像データに含まれる前記複数のフレーム間の映像中の複数の物体の動きを検出し、前記複数のフレーム間で映像中の物体が交差して移動する場合に、前記奥行き情報を用いて前記補間フレームにおける前記複数の物体の前後関係を判別することを特徴とする請求項７のフレームレート変換装置。   The interpolation frame generation unit detects movements of a plurality of objects in the video between the plurality of frames included in the video data, and when the objects in the video cross and move between the plurality of frames, The frame rate conversion apparatus according to claim 7, wherein the depth information is used to determine the front-rear relationship of the plurality of objects in the interpolation frame. 入力信号から右目用の映像と左目用の映像とが含まれる映像データを抽出する入力信号処理部と、
前記映像データに含まれる右目用の映像と左目用の映像の差異から、映像の奥行きを検出して奥行き情報を生成し、前記映像データに含まれる右目用の映像と左目用の映像のそれぞれについて、複数のフレームと前記奥行き情報とを用いて補間フレームを生成して映像データのフレームレート変換を行う映像処理部と、
前記映像処理部でフレームレート変換した映像データを表示する表示部とを備えることを特徴とする映像表示装置。 An input signal processing unit for extracting video data including a video for the right eye and a video for the left eye from the input signal;
From the difference between the right-eye video and the left-eye video included in the video data, depth information is generated by detecting the depth of the video, and each of the right-eye video and the left-eye video included in the video data is generated. A video processing unit that generates an interpolation frame using a plurality of frames and the depth information and performs frame rate conversion of video data;
A video display device comprising: a display unit that displays video data subjected to frame rate conversion by the video processing unit. 前記表示部は、前記映像処理部でフレームレート変換した映像データの右目用の映像と左目用の映像との視差をもちいて視差を用いて３次元映像表示を行うことを特徴とする請求項９の映像表示装置。   The display unit performs 3D video display using a parallax using a parallax between a video for a right eye and a video for a left eye of the video data subjected to frame rate conversion by the video processing unit. Video display device. 請求項９の映像表示装置であって、
前記映像処理部でフレームレート変換した映像データを含む出力信号を出力する信号出力部を備えることを特徴とする映像表示装置。 The video display device according to claim 9,
A video display device comprising: a signal output unit that outputs an output signal including video data subjected to frame rate conversion by the video processing unit.
JP2010014993A 2010-01-27 2010-01-27 Frame rate conversion device, and video display device Pending JP2011155431A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010014993A JP2011155431A (en) 2010-01-27 2010-01-27 Frame rate conversion device, and video display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010014993A JP2011155431A (en) 2010-01-27 2010-01-27 Frame rate conversion device, and video display device

Publications (1)

Publication Number Publication Date
JP2011155431A true JP2011155431A (en) 2011-08-11

Family

ID=44541083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010014993A Pending JP2011155431A (en) 2010-01-27 2010-01-27 Frame rate conversion device, and video display device

Country Status (1)

Country Link
JP (1) JP2011155431A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013051620A (en) * 2011-08-31 2013-03-14 Toshiba Corp Video processing apparatus and video processing method
WO2013121823A1 (en) * 2012-02-16 2013-08-22 ソニー株式会社 Transmission device, transmission method and receiver device
WO2015087597A1 (en) * 2013-12-13 2015-06-18 シャープ株式会社 Field-sequential display device and drive method therefor
US10776927B2 (en) 2017-03-31 2020-09-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
CN114009012A (en) * 2019-04-24 2022-02-01 内维尔明德资本有限责任公司 Method and apparatus for encoding, communicating and/or using images

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013051620A (en) * 2011-08-31 2013-03-14 Toshiba Corp Video processing apparatus and video processing method
WO2013121823A1 (en) * 2012-02-16 2013-08-22 ソニー株式会社 Transmission device, transmission method and receiver device
US20140028798A1 (en) * 2012-02-16 2014-01-30 Sony Corporation Transmitting apparatus, transmitting method, and receiving apparatus
JPWO2013121823A1 (en) * 2012-02-16 2015-05-11 ソニー株式会社 Transmitting apparatus, transmitting method, and receiving apparatus
US9596449B2 (en) 2012-02-16 2017-03-14 Sony Corporation Transmitting apparatus, transmitting method, and receiving apparatus
US9860511B2 (en) 2012-02-16 2018-01-02 Sony Corporation Transmitting apparatus, transmitting method, and receiving apparatus
WO2015087597A1 (en) * 2013-12-13 2015-06-18 シャープ株式会社 Field-sequential display device and drive method therefor
US10002573B2 (en) 2013-12-13 2018-06-19 Sharp Kabushiki Kaisha Field sequential display device and drive method therefor
US10776927B2 (en) 2017-03-31 2020-09-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
CN114009012A (en) * 2019-04-24 2022-02-01 内维尔明德资本有限责任公司 Method and apparatus for encoding, communicating and/or using images

Similar Documents

Publication Publication Date Title
KR100720722B1 (en) Intermediate vector interpolation method and 3D display apparatus
TWI488470B (en) Dimensional image processing device and stereo image processing method
JP5663857B2 (en) Image display device and image display method
JP5002702B2 (en) Parallax image generation device, stereoscopic video display device, and parallax image generation method
US8675051B2 (en) Image processing apparatus and image processing method
JP2012516070A5 (en)
US8718331B2 (en) Image detecting apparatus and method thereof
JP2011135459A (en) Image processing apparatus and method, and program
JP6173218B2 (en) Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
JP2011155431A (en) Frame rate conversion device, and video display device
EP2781099B1 (en) Apparatus and method for real-time capable disparity estimation for virtual view rendering suitable for multi-threaded execution
JP2011081605A (en) Image processing apparatus, method and program
US9277202B2 (en) Image processing device, image processing method, image display apparatus, and image display method
JP5627498B2 (en) Stereo image generating apparatus and method
JP2014072809A (en) Image generation apparatus, image generation method, and program for the image generation apparatus
US20120098942A1 (en) Frame Rate Conversion For Stereoscopic Video
JP4892105B1 (en) Video processing device, video processing method, and video display device
JP5871113B2 (en) Stereo image generation apparatus, stereo image generation method, and stereo image generation program
JP5733139B2 (en) Motion vector detection apparatus and method, and video signal processing apparatus and method
WO2013072965A1 (en) Video processing device and video processing method
JP5574830B2 (en) Image processing apparatus and method, and image display apparatus and method
JP5431393B2 (en) Stereo image generating apparatus and method
JP5414500B2 (en) Image processing apparatus and image processing method
CN102790893A (en) Method for achieving 2D-3D conversion based on weighted average operator algorithm
JP5395884B2 (en) Video processing device, video processing method, and video display device