KR19990057669A - Apparatus and method for three-dimensional image conversion of two-dimensional continuous image using virtual stereo image - Google Patents

Apparatus and method for three-dimensional image conversion of two-dimensional continuous image using virtual stereo image Download PDF

Info

Publication number
KR19990057669A
KR19990057669A KR1019970077735A KR19970077735A KR19990057669A KR 19990057669 A KR19990057669 A KR 19990057669A KR 1019970077735 A KR1019970077735 A KR 1019970077735A KR 19970077735 A KR19970077735 A KR 19970077735A KR 19990057669 A KR19990057669 A KR 19990057669A
Authority
KR
South Korea
Prior art keywords
image
block
parallax
dimensional
blocks
Prior art date
Application number
KR1019970077735A
Other languages
Korean (ko)
Other versions
KR100263936B1 (en
Inventor
김만배
송문섭
김도균
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자 주식회사 filed Critical 윤종용
Priority to KR1019970077735A priority Critical patent/KR100263936B1/en
Publication of KR19990057669A publication Critical patent/KR19990057669A/en
Application granted granted Critical
Publication of KR100263936B1 publication Critical patent/KR100263936B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof

Abstract

본 발명은 가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환장치 및 방법을 개시한다. 연속되는 2차원 영상을 이용하여 3차원 영상으로 변환하는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치는, 소정 크기의 블럭 단위로 분할된 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 블럭 움직임 측정부, 각 블럭의 움직임 벡터과 미리 설정된 스테레오 파라미터를 이용하여 각 블럭의 시차를 생성하는 블럭 시차 생성부, 각 블럭을 각각의 블럭 시차에 따라 수평 방향으로 이동시켜 현재 영상에 대응한 가상 영상을 생성하는 가상 영상 생성부 및 현재 영상과 가상 영상으로 이루어진 3차원 영상을 디스플레이하는 출력부를 구비하는 것을 특징으로 한다.The present invention discloses an apparatus and a method for converting a three-dimensional image of a two-dimensional continuous image using a virtual stereo image. A three-dimensional image conversion apparatus for converting a two-dimensional continuous image into a three-dimensional image by using a continuous two-dimensional image is characterized by using a previous image frame for each block of a current image divided into blocks of a predetermined size A block parallax generator for generating a parallax of each block using a motion vector of each block and a preset stereo parameter, a block parallax generator for moving each block in a horizontal direction according to each block parallax, A virtual image generation unit for generating a virtual image corresponding to an image, and an output unit for displaying a three-dimensional image composed of a current image and a virtual image.

Description

가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환장치 및 방법Apparatus and method for three-dimensional image conversion of two-dimensional continuous image using virtual stereo image

본 발명은 3차원 영상을 생성하는 장치 및 방법에 관한 것으로서, 특히 연속되는 2차원 영상의 움직임을 이용하는, 2차원 연속 영상의 3차원 영상 변환장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating a three-dimensional image, and more particularly, to an apparatus and method for converting a two-dimensional continuous image into a three-dimensional image using motion of a continuous two-dimensional image.

도 1은 수정 시간차를 이용한 종래의 3차원 영상 생성방법을 설명하기 위한 플로우챠트이다.1 is a flow chart for explaining a conventional three-dimensional image generation method using a correction time difference.

종래의 3차원 영상 생성방법중 한 방법으로서, 일본 산요(SANYO) 전기 주식회사에서 개발한 수정 시간차(MTD:Modified Time Difference)를 이용한 방법이 있다. 도 1을 참조하여 간략히 설명하면, 먼저, 연속되는 2차원 영상에서 움직이는 영역이 추출된다(제100단계). 추출된 영역의 움직임 속도 및 방향이 추출된다(제110단계). 현재 영상의 움직임 속도 및 방향에 근거하여, 이전의 한 영상 프레임으로부터 지연 방향(delay direction) 및 지연 시간(delay time)이 결정된다(제120단계). 결정된 지연 방향 및 지연 시간에 따라 지연된 영상과 현재 영상이 사람의 좌/우측 눈에서 어느 측 눈에 각각 디스플레이될 것인지가 결정된다(제130단계).As one of the conventional three-dimensional image generation methods, there is a method using a modified time difference (MTD) developed by SANYO Electric Co., Ltd. of Japan. First, referring to FIG. 1, a moving region is extracted from a continuous two-dimensional image (operation 100). The motion speed and direction of the extracted region are extracted (operation 110). A delay direction and a delay time are determined from a previous image frame based on the motion speed and direction of the current image in operation 120. In operation 130, it is determined which of the left and right eyes of the person will display the delayed image and the current image according to the determined delay direction and delay time, respectively.

도 2는 도 1에 도시된 방법에서 좌/우측 영상을 결정하는 과정을 설명하기 위한 개념도이다. 도 2를 정확하게 설명하면, 연속되는 2차원 영상을 촬영하는 카메라가 고정되어 있고 영상내의 물체(■)가 움직이고 있을 때 좌/우측 영상을 결정하는 과정을 나타낸다. 수정 시간차를 이용한 종래의 방법에 의하면, 도 2에 도시된 바와 같이 물체(■)가 우측으로 움직이고 있을 때, 우측 눈에 원영상을 보여주고, 좌측 눈에 시간 지연된 영상을 보여줌으로써 사람에게 양안 시차를 제공한다. 반면, 물체(■)가 좌측으로 움직이고 있을 때, 좌측 눈에 원영상을 보여주고, 우측 눈에 시간 지연된 영상을 보여줌으로써 전술한 바와 반대의 양안 시차를 제공한다.2 is a conceptual diagram for explaining a process of determining left and right images in the method shown in FIG. 2, a process of determining a left / right image when a camera for capturing a continuous two-dimensional image is fixed and the object (1) in the image is moving. According to the conventional method using the correction time difference, as shown in FIG. 2, when the object (2) is moving to the right side, the original image is displayed on the right eye and the time delayed image is displayed on the left eye, Lt; / RTI > On the other hand, when the object (1) is moving to the left side, the original image is displayed on the left eye, and the time delayed image is displayed on the right eye, thereby providing the opposite binocular disparity as described above.

전술한 수정 시간차를 이용한 종래의 3차원 영상 생성방법은 다음과 같은 문제점이 있다.The conventional three-dimensional image generation method using the above-described correction time difference has the following problems.

첫째, 원영상의 움직임 정보에만 근거하여 이전 프레임들중에서 한 영상을 지연된 영상으로서 선택하므로, 원영상의 영역별로 가지고 있는 다른 깊이는 무시되는 문제점이 있다. 이와 같이 영역별로 가지고 있는 다른 깊이를 무시함으로써 결과적으로 입체 영상을 감상할 때 깊이감이 없게 된다. 예컨대, 움직이는 물체에 대해서는 입체감을 느낄 수 있지만, 화면의 배경과 같은 움직임이 적은 물체에 대해서는 입체감을 느낄 수 없다.First, one of the previous frames is selected as the delayed image based only on the motion information of the original image, so that different depths of the original image are ignored. By ignoring other depths in each area, the result is that there is no sense of depth when viewing stereoscopic images. For example, a moving object can feel a stereoscopic effect, but a stereoscopic effect can not be felt with respect to an object having little motion such as a background of a screen.

두번째, 원영상과 지연된 영상간에 물체의 운동이 수직 성분을 가질 때, 수정 시간차를 이용한 종래의 방법으로 3차원 영상을 생성한다면, 수평 시차에서 깊이감을 얻는 인간의 시각 구조와의 불일치 때문에 눈의 피로감이 생기는 문제점이 있다.Second, when a motion of an object has a vertical component between an original image and a delayed image, if a three-dimensional image is generated by a conventional method using a correction time difference, a discrepancy with a human visual structure, There is a problem.

세번째, 원영상내의 물체의 움직임량이 매우 클때에 다수개의 이전 프레임들에서 어느 프레임이 지연된 영상으로서 선택되더라도, 이때의 원영상과 지연된 영상으로 생성되는 입체 영상은 시차가 크기 때문에 인간의 시차 인식의 한계를 벗어나는 문제점이 있다.Third, no matter which frame is selected as a delayed image in a plurality of previous frames when the motion amount of the object in the original image is very large, the stereoscopic image generated by the original image and the delayed image at this time has a large parallax, .

본 발명이 이루고자하는 기술적 과제는, 2차원 영상의 움직임을 측정한 후에 얻어진 깊이와 스테레오 파라미터로부터 시차를 측정하여 가상 영상을 생성함으로써, 입체 카메라로 얻은 입체 영상을 보는 듯한 효과를 가지며, 영상의 영역별로 깊이감을 가지고, 원영상내의 물체의 운동이 수직 성분을 가지더라도 자연스러운 입체감을 가지며, 또한 원영상내의 물체의 운동량이 매우 크더라도 인간의 시차로 인식가능한 3차원 영상을 생성하는, 가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환장치를 제공하는데 있다.SUMMARY OF THE INVENTION The object of the present invention is to provide a stereoscopic image display apparatus and a stereoscopic image display method which have an effect of viewing a stereoscopic image obtained by a stereoscopic camera by generating a virtual image by measuring a time difference from a depth and a stereo parameter obtained after measuring a motion of the two- A virtual stereophonic image that has a deep sense of depth and has a natural stereoscopic effect even if the motion of the object in the original image has a vertical component and generates a three-dimensional image that is recognizable by the human parallax even if the motion of the object in the original image is very large Dimensional continuous image using a three-dimensional image.

본 발명이 이루고자하는 다른 기술적 과제는, 상기 3차원 영상 변환장치가 수행하는 3차원 영상 변환방법을 제공하는데 있다.According to another aspect of the present invention, there is provided a three-dimensional image conversion method performed by the three-dimensional image conversion apparatus.

도 1은 수정 시간차를 이용한 종래의 3차원 영상 생성방법을 설명하기 위한 플로우챠트이다.1 is a flow chart for explaining a conventional three-dimensional image generation method using a correction time difference.

도 2는 도 1에 도시된 방법에서 좌/우측 영상을 결정하는 과정을 설명하기 위한 개념도이다.2 is a conceptual diagram for explaining a process of determining left and right images in the method shown in FIG.

도 3은 스테레오 이미징의 구조를 설명하기 위한 개념도이다.3 is a conceptual diagram for explaining the structure of stereo imaging.

도 4는 스테레오 이미징에 근거하여 가상 입체 영상을 생성하는 과정을 설명하기 위한 개념도이다.4 is a conceptual diagram for explaining a process of generating a virtual stereoscopic image based on stereo imaging.

도 5는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치의 블럭도이다.5 is a block diagram of a three-dimensional image conversion apparatus for a two-dimensional continuous image according to the present invention.

도 6은 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환방법을 설명하기 위한 플로우챠트이다.6 is a flow chart for explaining a three-dimensional image conversion method of a two-dimensional continuous image according to the present invention.

상기 과제를 이루기 위하여, 연속되는 2차원 영상을 이용하여 3차원 영상으로 변환하는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치는, 소정 크기의 블럭 단위로 분할된 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 블럭 움직임 측정부, 각 블럭의 움직임 벡터과 미리 설정된 스테레오 파라미터를 이용하여 각 블럭의 시차를 생성하는 블럭 시차 생성부, 각 블럭을 각각의 블럭 시차에 따라 수평 방향으로 이동시켜 현재 영상에 대응한 가상 영상을 생성하는 가상 영상 생성부 및 현재 영상과 가상 영상으로 이루어진 3차원 영상을 디스플레이하는 출력부로 구성되는 것이 바람직하다.According to an aspect of the present invention, there is provided a three-dimensional image conversion apparatus for converting a two-dimensional continuous image into a three-dimensional image using a two-dimensional continuous image, A block parallax generating unit for generating a parallax of each block using a motion vector of each block and a preset stereo parameter, a block parallax generating unit for generating a parallax of each block based on the block parallax, A virtual image generation unit for generating a virtual image corresponding to a current image by moving the image in a horizontal direction, and an output unit for displaying a three-dimensional image including a current image and a virtual image.

상기 다른 과제를 이루기 위하여, 연속되는 2차원 영상을 이용하여 3차원 영상으로 변환하는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환방법는, (a) 입력된 현재 영상을 소정 크기의 블럭 단위로 분할하는 단계, (b) 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 단계, (c) 각 블럭의 움직임 벡터과 미리 설정된 스테레오 파라미터를 이용하여 각 블럭의 시차를 얻는 단계, (d) 각 블럭을 각각의 블럭 시차에 따라 수평 방향으로 이동시켜 현재 영상에 대응한 가상 영상을 생성하는 단계 및 (e) 현재 영상과 가상 영상으로 이루어진 3차원 영상을 디스플레이하는 단계로 구성되는 것이 바람직하다.According to another aspect of the present invention, there is provided a method for transforming a two-dimensional continuous image into a three-dimensional image using a continuous two-dimensional image, comprising the steps of: (a) (B) measuring a motion vector using a previous image frame with respect to each block of the current image, (c) obtaining a parallax of each block using a motion vector of each block and a preset stereo parameter, (d) moving each block in a horizontal direction according to each block parallax to generate a virtual image corresponding to a current image, and (e) displaying a three-dimensional image composed of a current image and a virtual image desirable.

먼저, 본 발명의 이해를 돕기 위해 스테레오 이미징의 원리를 간략히 설명하면 다음과 같다.First, in order to facilitate understanding of the present invention, the principle of stereo imaging will be briefly described as follows.

도 3은 스테레오 이미징의 구조를 설명하기 위한 개념도이다. 도 3을 참조하면, 3차원 공간상에 한 점 P(X,Y,Z)가 있을 때, 이 점은 두 개의 2차원 영상(IR,IL)에 원근 투시(perspective projection)되어 2차원 평면상의 두 점인 (x1,y1) 및 (x2,y2)에 매핑된다. 좌측의 영상(IL)과 우측의 영상(IR)을 각각 촬영하는 두 개의 카메라가 동일한 수평 위치에 있다고 가정할 때, 두 개의 카메라간의 거리를 베이스라인 길이(baseline length) b라 하고, 카메라의 초점 길이를 F라 한다. 이때, 두 개의 2차원 영상의 대응점인 (x1,y1) 및 (x2,y2)에서 x1와 x2의 관계식은 다음 수학식 1과 같이 나타낼 수 있다.3 is a conceptual diagram for explaining the structure of stereo imaging. Referring to FIG. 3, when there is a point P (X, Y, Z) on a three-dimensional space, this point is perspective projected onto two two-dimensional images I R and I L , (X 1 , y 1 ) and (x 2 , y 2 ) on the plane. Assuming that the two cameras that respectively photograph the left image I L and the right image I R are in the same horizontal position, the distance between the two cameras is referred to as a baseline length b, F " At this time, the relational expression of x 1 and x 2 at the corresponding points (x 1 , y 1 ) and (x 2 , y 2 ) of the two two-dimensional images can be expressed by the following Equation (1).

수학식 1에서, Z는 도 3에서 P점의 Z축 좌표값에 해당하며, dx는 x1와 x2,의 차에 해당한다.In Equation (1), Z corresponds to the Z-axis coordinate value of the point P in Fig. 3, and d x corresponds to the difference between x 1 and x 2 .

실제로 두 개의 영상(IR,IL)이 화면상에 디스플레이되면, 좌측의 영상(IL)이 인간의 좌측 눈에, 우측의 영상(IR)이 우측 눈에 비춰지게 된다. 이때, 화면상에 두 영상의 대응점인 (x1,y1) 및 (x2,y2)는 두 눈의 위치에 대응하지만, 인간은 두 영상의 대응점이 점 P의 위치에 있는 것으로 인식하게 됨으로써 깊이감을 갖는다. 즉, Z는 영상의 깊이를 나타내고, dx는 양안 시차를 나타낸다.In reality, when two images I R and I L are displayed on the screen, the left image I L is projected on the left eye of the human and the right image I R is projected on the right eye. At this time, although the corresponding points (x 1 , y 1 ) and (x 2 , y 2 ) of the two images on the screen correspond to the positions of the two eyes, the human recognizes that the corresponding point of the two images is at the position of the point P To have a sense of depth. That is, Z represents the depth of the image and d x represents the binocular parallax.

도 3에 도시된 스테레오 이미징은 인간의 시각 구조에 맞게 설계되면 완벽한 입체감이 얻어질 수 있다. 본 발명은 두 개의 카메라 즉, 입체 카메라를 사용하여 얻을 수 있는 이러한 스테레오 이미징을 단안 비디오 카메라로 촬영된 2차원 연속 영상을 이용하여 생성하는 기술이다. 즉, 본 발명은 연속되는 2차원 영상의 3차원 영상 변환장치 및 방법에 관한 것으로서, 입력 영상은 입체 영상이 아닌 한장의 단안 영상이다. 단안 영상은 한 개의 카메라만으로 만들어진 촬상 영상이기 때문에 스테레오 이미징과는 다르다. 본 발명은 한 장의 영상이 주어졌을 때 스테레오 이미징 개념에 기반하여 2차원 연속 영상을 3차원 영상으로 변환한다.The stereoscopic imaging shown in Fig. 3 can achieve a perfect stereoscopic effect when it is designed according to the human visual structure. The present invention relates to a technique for generating such stereo imaging, which can be obtained by using two cameras, that is, a stereoscopic camera, by using a two-dimensional continuous image photographed by a monocular video camera. That is, the present invention relates to an apparatus and method for converting a three-dimensional image into a continuous two-dimensional image, wherein the input image is a monocular image rather than a stereoscopic image. Monocular imaging is different from stereo imaging because it is an imaging image made with only one camera. The present invention converts a two-dimensional continuous image into a three-dimensional image based on a stereo imaging concept when a single image is given.

도 4는 스테레오 이미징에 근거하여 가상 입체 영상을 생성하는 과정을 설명하기 위한 개념도이다. 도 4를 참조하면, 본 발명은 시간 t에 따라 연속적으로 입력되는 2차원 연속 영상(...I(k-2),I(k-1),I(k)...)을 이용하여, 원영상 I(k)에 대응하는 가상 영상 IV(k)(도 3에서 영상(IR)를 생성한다. 원영상 I(k)과 가상 영상 IV(k)은 한 쌍을 이루어 스테레오 영상을 구성한다. 이들 영상은 각각 인간의 좌측 및 우측 눈에 디스플레이됨으로써 인간에게 3차원 입체감을 느끼게 한다.4 is a conceptual diagram for explaining a process of generating a virtual stereoscopic image based on stereo imaging. 4, the present invention uses two-dimensional continuous images (I (k-2), I (k-1), I , The virtual image I V (k) corresponding to the original image I (k) (the image I R in Figure 3) is generated. The pair of the original image I (k) and the virtual image I V (k) These images are displayed on the left and right eyes of a human, respectively, so that a three dimensional sensation is felt by a human being.

이하, 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치의 구성 및 동작을 첨부한 도면을 참조하여 다음과 같이 설명한다.Hereinafter, the configuration and operation of a two-dimensional continuous image three-dimensional image conversion apparatus according to the present invention will be described with reference to the accompanying drawings.

도 5는 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치의 블럭도로서, 아날로그-디지탈 변환기(ADC)(500), 영상 블럭부(510), 이전 영상 저장부(520), 블럭 움직임 측정부(530), 블럭 시차 생성부(540), 가상 영상 생성부(550), 출력부인 좌/우측 영상 결정부(560), 제1 및 제2 디지탈-아날로그 변환기(DAC)(572 및 574)로 구성된다.5 is a block diagram of a two-dimensional continuous image three-dimensional image conversion apparatus according to the present invention, which includes an analog-digital converter (ADC) 500, an image block unit 510, a previous image storage unit 520, And the first and second digital-to-analog converters (DAC) 572 and 574 are connected to the input / output unit 530, the block parallax generator 540, the virtual image generator 550, the left and right image determiner 560, ).

여기서, 상기 블럭 시차 생성부(540)는 블럭 깊이 측정부(542), 가상 스테레오 영상 결정부(544) 및 블럭 시차 측정부(546)로 구성되며, 상기 가상 영상 생성부(550)는 시차 결정부(552), 우측 수평 이동부(554), 좌측 수평 이동부(556) 및 블럭 합성부(558)로 구성된다.The block parallax generating unit 540 includes a block depth measuring unit 542, a virtual stereo image determining unit 544 and a block parallax measuring unit 546. The virtual parallax generating unit 550 generates parallax A left horizontal moving part 556, and a block combining part 558. The left and right horizontal moving parts 552,

본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치는 단안 비디오 카메라로 촬영된 2차원 연속 영상에서 연속되는 두 영상간의 움직임 벡터를 측정한 후에, 이로부터 얻어진 깊이 및 미리 저장된 스테레오 파라미터로부터 블럭 시차를 생성하고, 원영상으로부터 블럭 시차에 따라 수평 방향으로 이동된 가상 영상을 생성함으로써, 원영상과 가상 영상으로 이루어진 입체 영상을 생성한다.A three-dimensional image transformation apparatus for a two-dimensional continuous image according to the present invention measures a motion vector between two consecutive images in a two-dimensional continuous image photographed by a monocular video camera, then calculates a block disparity And generates a virtual image shifted in the horizontal direction according to the block parallax from the original image, thereby generating a stereoscopic image composed of the original image and the virtual image.

구체적으로 도 5를 참조하면, 아날로그-디지탈 변환기(510)는 단안 비디오 카메라로 촬영된 연속되는 2차원 영상을 입력단자 IN을 통해 입력하고, 아날로그 형태의 2차원 영상신호를 디지탈 신호로 변환한다. 영상 블럭부(520)는 디지탈 신호로 변환된 현재 영상을 소정 크기의 블럭 단위로 분할한다. 여기서, 소정 크기는 n×n 픽셀 크기로서, n은 4 또는 8인 것이 바람직하다. 이와 같이, 영상을 블럭화하는 이유는 영상내에 운동이 있는 주 물체와 운동이 거의 없는 배경을 구분하여 운동을 추정하기 위함이다. 이전 영상 저장부(520)는 영상 블럭부(510)에서 블럭화된 현재 영상의 이전 영상 프레임을 저장한다.5, the analog-to-digital converter 510 receives a continuous two-dimensional image photographed by a monocular video camera through an input terminal IN, and converts the analog two-dimensional image signal into a digital signal. The image block unit 520 divides the current image converted into the digital signal into blocks of a predetermined size. Here, the predetermined size is an n x n pixel size, and n is preferably 4 or 8. In this way, the reason for blocking the image is to estimate the motion by distinguishing the main object in motion with the motionless background. The previous image storage unit 520 stores the previous image frame of the current image that is blocked in the image block unit 510.

블럭 움직임 측정부(530)는 영상 블럭부(510)로부터 블럭화된 현재 영상을 입력하고, 이전 프레임 저장부(520)로부터 이전 영상 프레임을 입력한다. 블럭 운동 추정부(530)는 소정 크기의 블럭 단위로 분할된 현재 영상의 각 블럭에 대해 이전 영상 프레임의 각 상응하는 블럭을 이용하여 움직임의 양 및 방향 즉, 움직임 벡터를 측정한다.The block motion measurement unit 530 receives the current block image from the image block unit 510 and inputs the previous image frame from the previous frame storage unit 520. The block motion estimator 530 measures the amount and direction of motion, that is, a motion vector, using each corresponding block of the previous image frame for each block of the current image divided into blocks of a predetermined size.

블럭 시차 생성부(540)는 블럭 움직임 측정부(530)에서 각 블럭의 움직임 벡터가 측정된 현재 영상을 입력하고, 각 블럭의 움직임 벡터와 미리 설정된 스테레오 파라미터를 이용하여 각 블럭의 시차를 생성한다.The block parallax generator 540 inputs a current image in which a motion vector of each block is measured in a block motion measuring unit 530 and generates a parallax of each block using a motion vector of each block and a preset stereo parameter .

구체적으로, 블럭 깊이 측정부(542)는 각 블럭의 움직임 벡터를 분석하여 각 블럭의 깊이(Z)를 측정한다. 예컨대, 움직임 벡터가 현재 영상을 촬영한 카메라의 움직임이 있는 상태에서 얻어진 경우에는, 움직임 벡터를 그대로 유지하여 각 블럭의 깊이를 측정한다. 반면, 움직임 벡터가 카메라의 움직임이 없는 상태에서 얻어진 경우에는, 움직임 벡터를 소정의 최대 움직임 벡터에서 감산하고, 감산된 값으로부터 각 블럭의 깊이를 측정한다. 이때, 블럭 깊이 측정부(542)는 카메라의 움직임 여부를 각 블럭의 움직임 벡터를 분석하여 현재 영상의 전체 움직임을 추정함으로써 판단한다.Specifically, the block depth measuring unit 542 analyzes the motion vector of each block to measure the depth Z of each block. For example, when the motion vector is obtained in a state in which the camera captures the current image, the depth of each block is measured while the motion vector is maintained. On the other hand, when the motion vector is obtained in a state in which there is no camera motion, the motion vector is subtracted from the predetermined maximum motion vector, and the depth of each block is measured from the subtracted value. At this time, the block depth measuring unit 542 determines motion of the camera by estimating the motion of the current image by analyzing the motion vector of each block.

가상 스테레오 영상 결정부(544)는 이후에 현재 영상에 대응하는 가상 영상을 생성할 때에 필요한 데이타를 스테레오 파라미터로서 저장한다. 여기서, 데이타는 동일한 수평 위치에 있는 두 개의 카메라가 현재 영상과 가상 영상을 촬영한다고 가정할 때, 두 개의 카메라간의 거리인 베이스라인 길이(b)와, 카메라의 초점 길이(F)이다(도 3을 참조). 이들 데이타는 최상의 스테레오 이미징을 위해 요구되는 가상 영상을 만드는데 필요한 스테레오 파라미터로서 실험을 거쳐 결정된다.The virtual stereo image determination unit 544 stores data necessary for generating a virtual image corresponding to the current image as a stereo parameter. Here, the data are baseline length (b), which is the distance between two cameras, and focal length (F) of the camera, assuming that two cameras at the same horizontal position shoot the current image and the virtual image ). These data are determined experimentally as the stereo parameters needed to produce the virtual images required for the best stereo imaging.

블럭 시차 측정부(546)는 블럭 깊이 측정부(542)에서 측정된 깊이(Z)와, 가상 스테레오 영상 결정부(544)에 저장된 데이타인 베이스라인 길이(b)와 초점 길이(F)를 이용하여 각 블럭의 시차(dX)를 측정한다.The block parallax measurement unit 546 uses the depth Z measured by the block depth measurement unit 542 and the baseline length b and the focal length F stored in the virtual stereo image determination unit 544 To measure the parallax (d X ) of each block.

가상 영상 생성부(550)는 블럭 시차 생성부(540)에서 각 블럭의 시차를 갖는 현재 영상을 입력하고, 각 블럭을 각각의 시차에 따라 수평 방향으로 이동시켜 현재 영상에 대응한 가상 영상을 생성한다.The virtual image generating unit 550 receives the current image having the parallax of each block in the block parallax generator 540 and moves each block in the horizontal direction according to each parallax to generate a virtual image corresponding to the current image do.

구체적으로, 시차 결정부(552)는 각 블럭의 시차를 양의 시차와 음의 시차중 어느 시차로 나타낼 것인가를 결정한다. 시차의 결정은 일반적으로 제품의 생산시에 미리 설정되며, PC등 사용자에 의한 조작이 비교적 가능한 특정 제품에 대해서는 사용자에 의해 설정될 수도 있다.Specifically, the time difference determining unit 552 determines the time difference between the positive parallax and the negative parallax of each block. The determination of the time difference is generally set in advance at the time of production of the product, and may be set by the user for a specific product which is relatively easy to operate by the user such as a PC.

우측 수평 이동부(554)는 시차 결정부(552)에서 양의 시차가 결정되면, 현재 영상내에서의 모든 블럭의 위치를 각 블럭의 시차만큼 좌측 수평 방향으로 이동시킨다. 또한, 좌측 수평 이동부(556)는 시차 결정부(552)에서 음의 시차가 결정되면, 현재 영상내에서의 모든 블럭의 위치를 각 블럭의 시차만큼 우측 수평 방향으로 이동시킨다.When the positive parallax is determined in the parallax determining unit 552, the right horizontal moving unit 554 moves the positions of all the blocks in the current image to the left horizontal direction by the parallax of each block. When the negative parallax is determined in the parallax determination unit 552, the left horizontal moving unit 556 moves the positions of all the blocks in the current image in the right horizontal direction by the parallax of each block.

블럭 합성부(558)는 우측 또는 좌측 수평 이동부(552 또는 554)에서 이동된 모든 블럭을 합성하여 가상 영상(도 4에서 IV(k))을 생성한다. 부가적으로, 가상 영상 생성부(550)는 보간부(미도시)를 더 포함하며, 보간부는 블럭 합성부(558)에서 생성된 가상 영상에서 현재 영상의 모든 블럭에 의해 채워지지 않은 영역을 보간한다.The block synthesizing unit 558 synthesizes all the blocks moved in the right or left horizontal moving unit 552 or 554 to generate a virtual image (I V (k) in FIG. 4). In addition, the virtual image generating unit 550 further includes an interpolator (not shown). The interpolator interpolates an area not filled by all the blocks of the current image in the virtual image generated by the block synthesizer 558, do.

출력부에 해당하는 좌/우측 영상 결정부(560)는 가상 영상 생성부(550)로부터 가상 영상을, 아날로그-디지탈 변환기(500)로부터 현재 영상을 각각 입력하여, 현재 영상과 가상 영상중에서 하나를 좌측 영상신호로서, 다른 하나를 우측 영상신호로서 출력한다. 이들 신호들은 제1 및 제2 디지탈-아날로그 변환기(572 및 574)를 통해 아날로그 영상신호로 각각 변환되어 출력단자 OUT1 및 OUT2를 통해 디스플레이되는데, 좌측 영상신호는 사람의 좌측 눈에, 우측 영상신호는 사람의 우측 눈에 디스플레이된다. 기본적으로 좌/우측 영상 결정부(560)는 현재 영상을 좌측 눈에, 합성 영상을 우측 눈에 디스플레이한다.The left / right image determination unit 560 corresponding to the output unit receives the virtual image from the virtual image generation unit 550 and the current image from the analog-digital converter 500, and outputs one of the current image and the virtual image And outputs the other as the left video signal and the other as the right video signal. These signals are respectively converted into analog video signals through first and second digital-to-analog converters 572 and 574 and displayed through output terminals OUT1 and OUT2. The left video signal is input to the left eye of a person, And displayed on the right eye of the person. Basically, the left / right image determination unit 560 displays the current image on the left eye and the composite image on the right eye.

전술한 시차 결정부(552)에서 양의 시차가 결정된 경우에는, 현재 영상과 가상 영상으로 이루어진 3차원 영상은 디스플레이 화면 뒤쪽에 나타난다(도 3은 양의 시차의 경우를 나타냄). 반면, 시차 결정부(552)에서 음의 시차가 결정된 경우에는, 현재 영상과 가상 영상으로 이루어진 3차원 영상은 디스플레이 화면 앞쪽에 나타난다. 즉, 시차 결정부(552)는 3차원 영상의 디스플레이 위치를 결정한다.When a positive parallax is determined in the above-described parallax determination unit 552, a three-dimensional image composed of a current image and a virtual image appears behind the display screen (FIG. 3 shows a case of a positive parallax). On the other hand, when a negative parallax is determined in the parallax determination unit 552, a three-dimensional image composed of a current image and a virtual image appears in front of the display screen. That is, the time difference determining unit 552 determines the display position of the three-dimensional image.

도 6은 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환방법을 설명하기 위한 플로우챠트이다. 도 6을 참조하여 도 5에 도시된 장치가 수행하는 본 발명에 의한 3차원 영상 변환방법을 설명한다.6 is a flow chart for explaining a three-dimensional image conversion method of a two-dimensional continuous image according to the present invention. A method of converting a three-dimensional image according to the present invention performed by the apparatus shown in Fig. 5 will be described with reference to Fig.

먼저, 연속되는 아날로그 형태의 2차원 영상신호는 아날로그-디지탈 변환기(500)를 통해 디지탈 신호로 변환된다(제600단계). 다음에, 디지탈 신호로 변환된 현재 영상은 영상 블럭부(510)를 통해 소정 크기의 블럭 단위로 분할된다(제610단계). 여기서, 소정 크기는 n×n 픽셀 크기로서, n은 4 또는 8인 것이 바람직하다.First, the continuous analog type two-dimensional image signal is converted into a digital signal through the analog-digital converter 500 (operation 600). Next, the current image converted into the digital signal is divided into blocks of a predetermined size through the image block unit 510 (operation 610). Here, the predetermined size is an n x n pixel size, and n is preferably 4 or 8.

제610단계 후에, 이전 영상 저장부(520)에 저장된 이전 영상 프레임을 이용하여, 현재 영상의 각 블럭에 대해 움직임의 양과 방향 즉, 움직임 벡터가 블럭 움직임 측정부(530)를 통해 측정된다(제620단계). 연속되는 두 영상간의 움직임 벡터를 측정하기 위한 방법으로서 공지의 광류(optical flow) 측정법 또는 엠펙(MPEG:Motion Picture Coding Experts Group)I,II에서 사용되는 블럭 매칭 방법등을 사용한다. 또한 빠른 처리속도를 위해서, 블럭 매칭 방법중에서도 계산량이 작은 PHODS(Parallel heirarchical one-dimensional search)방법을 사용할 수도 있다.After step 610, using the previous image frame stored in the previous image storage unit 520, the amount and direction of motion of each block of the current image, i.e., a motion vector, is measured through the block motion measurement unit 530 620). As a method for measuring a motion vector between two consecutive images, a known optical flow measurement method or a block matching method used in MPEG (Motion Picture Coding Experts Group) I and II is used. Also, for fast processing speed, a parallel heirarchical one-dimensional search (PHODS) method with a small amount of computation can be used among the block matching methods.

제620단계에서 현재 영상의 각 블럭에 대한 움직임 벡터가 측정되면, 블럭 시차 생성부(540)를 통해 각 블럭의 움직임 벡터와 미리 설정된 스테레오 파라미터를 이용하여 각 블럭의 시차가 얻어진다(제630단계).If the motion vector for each block of the current image is measured in operation 620, a parallax of each block is obtained by using a motion vector of each block and a preset stereo parameter through a block parallax generator 540 (operation 630 ).

제630단계는 구체적으로 다음 단계들로 구성된다. 먼저, 블럭 깊이 측정부(342)를 통해 각 블럭의 움직임 벡터를 분석하여 각 블럭의 깊이가 측정된다(제632단계). 3차원 영상에서 깊이는 움직임과 관계가 있다. 카메라가 움직이고 물체도 움직이고 있을 경우에, 움직임의 양이 크면 깊이가 크고 움직임의 양이 작으면 깊이가 작다. 반면, 카메라가 정지되어 있고 물체만 움직일 경우에, 움직임의 양이 크면 깊이가 작고 움직임의 양이 작으면 깊이가 크다.Step 630 is concretely composed of the following steps. First, the motion vector of each block is analyzed through the block depth measuring unit 342, and the depth of each block is measured (operation 632). Depth is related to motion in 3D image. When the camera is moving and the object is moving, the larger the amount of movement, the smaller the depth. On the other hand, when the camera is stopped and only the object is moved, the depth is small when the amount of movement is large, and is large when the amount of movement is small.

이러한 관계에 근거하여, 움직임 벡터가 현재 영상을 촬영한 카메라의 움직임이 있는 상태에서 얻어진 경우에는, 다음 수학식 2를 이용하여 각 블럭의 깊이가 측정된다.On the basis of this relationship, when the motion vector is obtained in a state in which the motion of the camera capturing the current image is present, the depth of each block is measured using the following equation (2).

반면, 움직임 벡터가 카메라의 움직임이 없는 상태에서 얻어진 경우에는, 다음 수학식 3을 이용하여 각 블럭의 깊이가 측정된다.On the other hand, when the motion vector is obtained in a state in which there is no motion of the camera, the depth of each block is measured using the following equation (3).

수학식 2,3에서, Z는 깊이를, C는 상수값을, V는 움직임 벡터의 크기를, Vmax는 움직임 벡터의 최대값을 각각 나타낸다. 이때, 카메라의 움직임 여부는 제632단계에서 각 블럭의 움직임 벡터를 분석하여 현재 영상의 전체 움직임을 추정함으로써 판단된다.In Equations 2 and 3, Z represents depth, C represents a constant value, V represents a magnitude of a motion vector, and V max represents a maximum value of a motion vector. At this time, whether or not the camera is moved is determined by analyzing the motion vector of each block in step 632 and estimating the total motion of the current image.

다음에, 제632단계에서 얻어진 각 블럭의 깊이(Z)와, 가상 스테레오 영상 결정부(544)에 저장된 가상 영상을 생성하는데 필요한 데이타를 이용하여 각 블럭의 시차가 블럭 시차 측정부(546)를 통해 측정된다(제634단계). 여기서, 필요한 데이타는 스테레오 파라미터로서 가상 스테레오 영상 결정부(544)에서 미리 결정되며, 동일한 수평 위치에 있는 두 개의 카메라가 현재 영상과 가상 영상을 촬영한다고 가정할 때, 두 개의 카메라간의 거리인 베이스라인 길이(b)와, 카메라의 초점 길이(F)이다. 제634단계에서는 베이스라인 길이(b), 초점 길이(F) 및 깊이(Z)의 값이 주어졌을 때, 다음 수학식 4를 이용하여 각 블럭의 시차(dx)가 측정된다.Next, by using the depth Z of each block obtained in step 632 and the data necessary for generating the virtual image stored in the virtual stereo image determining unit 544, the parallax of each block is calculated by the block parallax measurement unit 546 (Step 634). Here, the required data is determined in advance by the virtual stereo image determination unit 544 as a stereo parameter. Assuming that two cameras at the same horizontal position shoot the current image and the virtual image, the distance between the two cameras The length (b), and the focal length (F) of the camera. In step 634, when the values of the baseline length (b), the focal length (F), and the depth (Z) are given, the parallax (d x ) of each block is measured using the following equation (4).

수학식 4는 수학식 1로부터 얻어진 것이다.Equation (4) is obtained from Equation (1).

다시 도 6을 참조하여 제630단계 후에, 현재 영상의 각 블럭은 가상 영상 생성부(350)를 통해 각각의 블럭 시차에 따라 수평 방향으로 이동됨으로써 현재 영상에 대응한 가상 영상이 생성된다(제640단계).Referring to FIG. 6 again, after step 630, each block of the current image is moved in the horizontal direction according to each block parallax through the virtual image generating unit 350, thereby generating a virtual image corresponding to the current image step).

제640단계는 구체적으로 다음 단계들로 구성된다. 먼저, 시차 결정부(552)를 통해 현재 영상의 블럭 시차를 양의 시차와 음의 시차중 어느 시차로 나타낼 것인지가 결정된다(제642단계). 제642단계에서 양의 시차가 결정되면, 우측 수평 이동부(554)를 통해 현재 영상내에서의 모든 블럭의 위치를 각 블럭의 시차만큼 우측 수평 방향으로 이동시킨다(제644단계). 반면, 제642단계에서 음의 시차가 결정되면, 좌측 수평 이동부(556)를 통해 현재 영상내에서의 모든 블럭의 위치를 각 블럭의 시차만큼 좌측 수평 방향으로 이동시킨다(제646단계).Step 640 is concretely composed of the following steps. First, in block 642, it is determined whether the block parallax of the current image is to be represented by a positive parallax or a negative parallax through the parallax decision unit 552. If the positive parallax is determined in operation 642, the positions of all blocks in the current image are shifted to the right and left by the parallax of each block through the right horizontal moving unit 554 (operation 644). On the other hand, if negative parallax is determined in operation 642, the position of all blocks in the current image is shifted in the left horizontal direction by the parallax of each block through the left horizontal moving unit 556 (operation 646).

다음에, 제644단계 또는 제646단계에서 이동된 모든 블럭을 합성하여 가장 영상을 생성한다(제648단계). 부가적으로, 제648단계에서 생성된 가상 영상에서 현재 영상의 모든 블럭에 의해 채워지지 않은 영역을 보간하는 단계(미도시)를 더 포함한다.Next, in operation 648, all blocks moved in operation 644 or 646 are combined to generate a best image. In addition, the method further includes a step (not shown) interpolating an area not filled by all the blocks of the current image in the virtual image generated in operation 648.

다시 도 6을 참조하여 제640단계 후에, 현재 영상과 가상 영상을 한 쌍으로 하는 3차원 영상을 디스플레이하기 위해서, 좌/우측 영상 결정부(560)를 통해 좌/우측 영상이 결정된다(제650단계). 현재 영상과 합성 영상중에서 하나는 좌측 눈에 디스플레이되고, 다른 하나는 우측 눈에 디스플레이됨으로써 양안 시차의 원리에 의해 사람은 입체감을 느끼게 된다(도 3을 참조). 마지막으로, 이들 영상은 디지탈 신호이므로, 제1 및 제2 디지탈-아날로그 변환기(572 및 574)를 통해 각각 아날로그 신호로 변환되어 디스플레이된다(제660단계). 참고로, 전술한 과정을 거쳐 모니터등의 디스플레이 수단에 디스플레이된 3차원 영상을 감상하기 위해서는 3차원 영상과 동기시켜주는 입체 안경이 또한 필요하다.Referring to FIG. 6 again, after step 640, the left / right image is determined through the left / right image determination unit 560 to display a three-dimensional image in which the current image and the virtual image are paired step). One of the current image and the composite image is displayed on the left eye, and the other is displayed on the right eye, so that a person feels a three-dimensional effect by the principle of binocular parallax (see FIG. 3). Finally, since these images are digital signals, they are converted into analog signals through the first and second digital-to-analog converters 572 and 574, respectively, and displayed (step 660). For reference, stereoscopic glasses for synchronizing with a three-dimensional image are also needed in order to view a three-dimensional image displayed on a display means such as a monitor through the above-described process.

전술한 제642단계에서 양의 시차가 결정된 경우에는 현재 영상과 가상 영상으로 이루어진 3차원 영상이 디스플레이 화면 뒷쪽에 디스플레이되므로 안정감있는 입체 영상이 나타난다(도 3은 양의 시차의 경우를 나타냄). 반면, 제642단계에서 음의 시차가 결정된 경우에는, 현재 영상과 가상 영상으로 이루어진 3차원 영상이 디스플레이 화면 앞쪽 즉, 모니터와 인간의 두 눈 사이에 디스플레이된다.If a positive parallax is determined in step 642, a three-dimensional image composed of a current image and a virtual image is displayed on the back of the display screen, so that a stable three-dimensional image appears (FIG. 3 shows a positive parallax case). On the other hand, if the negative parallax is determined in step 642, a three-dimensional image composed of the current image and the virtual image is displayed in front of the display screen, that is, between the monitor and the human eyes.

이상에서 설명한 바와 같이, 본 발명에 의한 2차원 연속 영상의 3차원 영상 변환장치 및 방법은, 스테레오 이미징 개념을 도입하여 원영상에 대응한 가상 영상을 생성함으로써 입체 카메라로 입체 영상을 얻는 듯한 효과를 제공한다.As described above, the apparatus and method for converting a two-dimensional continuous image into a three-dimensional image according to the present invention introduce stereoscopic imaging concept to generate a virtual image corresponding to an original image, to provide.

또한, 영상의 영역별로 깊이감을 가지고, 종래의 기술로는 해결하지 못하는 카메라의 움직임 및 영상내 물체의 수직 운동 및 빠른 운동이 발생하더라도 자연스러운 입체감을 가지며, 인간의 시차로 인식가능한 3차원 영상을 생성하는 이점이 있다.In addition, a three-dimensional image having a depth sense per region of the image and having a natural stereoscopic effect even if vertical movement and rapid movement of an object in the image occur, which can not be solved by conventional techniques, .

또한, 단안 비디오 카메라로 촬영한 2차원 영상을 이용하여 3차원 영상을 생성하므로, TV,VCR,DVD,HDTV,CD등의 영상 재생장치를 통해 입체 영상을 시청가능케 하고, 내시경, 초음파를 이용한 의료 분야에도 적용하여 입체로 영상을 판독하게 함으로써 진단 효율을 향상시키고, 이러한 응용분야이외에도, 입체로 애니메이션을 만드는 엔터테인먼트 분야를 포함하여 많은 영역에서 적용되기 용이한 이점이 있다.In addition, since a three-dimensional image is generated using a two-dimensional image captured by a monocular video camera, stereoscopic images can be viewed through a video reproducing apparatus such as a TV, a VCR, a DVD, an HDTV, Field, thereby improving the diagnostic efficiency. In addition to these application fields, there is an advantage in that it can be easily applied in many areas including an entertainment field for creating stereoscopic animation.

Claims (16)

연속되는 2차원 영상을 이용하여 3차원 영상으로 변환하는 2차원 연속 영상의 3차원 영상 변환장치에 있어서,A three-dimensional image conversion apparatus for a two-dimensional continuous image, which converts a continuous two-dimensional image into a three-dimensional image, 소정 크기의 블럭 단위로 분할된 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 블럭 움직임 측정부;A block motion measurement unit for measuring a motion vector using a previous image frame for each block of a current image divided into blocks of a predetermined size; 상기 각 블럭의 움직임 벡터과 미리 설정된 스테레오 파라미터를 이용하여 상기 각 블럭의 시차를 생성하는 블럭 시차 생성부; 및A block parallax generator for generating a parallax of each block using a motion vector of each block and a preset stereo parameter; And 상기 각 블럭을 각각의 상기 블럭 시차에 따라 수평 방향으로 이동시켜 상기 현재 영상에 대응한 가상 영상을 생성하는 가상 영상 생성부; 및A virtual image generation unit for generating a virtual image corresponding to the current image by moving each of the blocks in a horizontal direction according to each of the block parallaxes; And 상기 현재 영상과 상기 가상 영상으로 이루어진 3차원 영상을 디스플레이하는 출력부를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.And an output unit for displaying a three-dimensional image composed of the current image and the virtual image. 제1항에 있어서, 상기 블럭 시차 생성부는,The apparatus of claim 1, wherein the block- 상기 블럭 움직임 측정부에서 측정된 상기 각 블럭의 움직임 벡터를 분석하여 상기 움직임 벡터로부터 상기 각 블럭의 깊이를 측정하는 블럭 깊이 측정부;A block depth measuring unit for analyzing a motion vector of each block measured by the block motion measuring unit and measuring a depth of each block from the motion vector; 상기 가상 영상을 생성하는데 필요한 데이타를 상기 스테레오 파라미터로서 저장하는 가상 영상 결정부; 및A virtual image determining unit that stores data required to generate the virtual image as the stereo parameter; And 상기 각 블럭의 깊이와 상기 데이타를 이용하여 상기 각 블럭의 시차를 측정하는 블럭 시차 측정부를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.And a block parallax measurement unit for measuring a parallax of each of the blocks using the depth of each of the blocks and the data. 제2항에 있어서, 상기 블럭 깊이 측정부는,The apparatus of claim 2, wherein the block depth measuring unit comprises: 상기 움직임 벡터가 상기 현재 영상을 촬영한 카메라의 움직임이 있는 상태에서 얻어진 경우에, 상기 움직임 벡터를 그대로 유지하여 상기 각 블럭의 깊이를 측정하고, 상기 카메라의 움직임이 없는 상태에서 얻어진 경우에, 상기 움직임 벡터를 소정의 최대 움직임 벡터에서 감산하고, 감산된 값으로부터 상기 각 블럭의 깊이를 측정하며,Wherein when the motion vector is obtained in a state in which the camera captures the current image, the depth of each block is maintained while the motion vector is maintained, Subtracting the motion vector from the predetermined maximum motion vector, measuring the depth of each block from the subtracted value, 상기 카메라의 움직임 여부는 상기 각 블럭의 움직임 벡터를 분석하여 상기 현재 영상의 전체 움직임을 추정함으로써 판단되는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.Wherein the motion of the camera is determined by estimating a motion of the current image by analyzing a motion vector of each block. 제2항에 있어서, 상기 데이타는 동일한 수평 위치에 있는 두 개의 카메라가 상기 현재 영상과 상기 가상 영상을 촬영한다고 가정할 때, 상기 두 개의 카메라간의 거리인 베이스라인 길이와, 상기 카메라의 초점 길이인 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.3. The method according to claim 2, wherein, when assuming that the two cameras at the same horizontal position photograph the current image and the virtual image, the data includes a baseline length, which is a distance between the two cameras, Dimensional continuous image of a three-dimensional image. 제1항에 있어서, 상기 가상 영상 생성부는,The apparatus according to claim 1, 상기 현재 영상의 블럭 시차를 양의 시차와 음의 시차중 어느 시차로 나타낼 것인가를 결정하는 시차 결정부;A parallax decision unit which determines a parallax parallax of the current image by a parallax between a positive parallax and a negative parallax; 상기 시차 결정부에서 상기 양의 시차가 결정되면, 상기 현재 영상내에서의 모든 블럭의 위치를 상기 각 블럭의 시차만큼 우측 수평 방향으로 이동시키는 우측 수평 이동부;A right horizontal moving unit that moves the positions of all blocks in the current image to the right and left by a time difference of each block when the parallax is determined in the parallax decision unit; 상기 시차 결정부에서 상기 음의 시차가 결정되면, 상기 현재 영상내에서의 모든 블럭의 위치를 상기 각 블럭의 시차만큼 좌측 수평 방향으로 이동시키는 좌측 수평 이동부; 및A left horizontal shifting unit for shifting the positions of all blocks in the current image in a left horizontal direction by a time difference of each block when the parallax difference is determined in the parallax decision unit; And 상기 우측 또는 상기 좌측 수평 이동부에서 이동된 모든 블럭을 합성하여 상기 가상 영상을 생성하는 블럭 합성부를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.And a block synthesis unit for synthesizing all the blocks moved in the right or left horizontal movement unit to generate the virtual image. 제6항에 있어서, 상기 가상 영상 생성부는,7. The image processing apparatus according to claim 6, 상기 블럭 합성부에서 생성된 상기 가상 영상에서 상기 모든 블럭에 의해 채워지지 않은 영역을 보간하는 블럭 보간부를 더 포함하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.And a block interpolator for interpolating an area not filled by all of the blocks in the virtual image generated by the block synthesizer. 제1항에 있어서, 상기 출력부는,The image processing apparatus according to claim 1, 상기 현재 영상과 상기 새로운 영상중에 하나를 좌측 영상 신호로서 출력하고, 다른 하나를 우측 영상신호로서 출력하는 좌/우측 영상 결정부를 구비하고,And a left / right image determiner outputting one of the current image and the new image as a left image signal and outputting the other as a right image signal, 상기 좌측 영상신호는 좌측 눈에 디스플레이되고, 상기 우측 영상신호는 우측 눈에 디스플레이되는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.Wherein the left image signal is displayed on the left eye and the right image signal is displayed on the right eye. 제1항에 있어서, 상기 2차원 영상의 3차원 영상 변환장치는,[2] The apparatus of claim 1, wherein the three- 상기 현재 영상을 상기 소정 크기의 블럭 단위로 분할하여 상기 블럭 움직임 측정부로 출력하는 영상 블럭부; 및An image block unit for dividing the current image into blocks of predetermined size and outputting the result to the block motion measurement unit; And 상기 이전 영상 프레임을 저장하고, 상기 블럭 움직임 측정부로 출력하는 이전 프레임 저장부를 더 포함하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.And a previous frame storage unit for storing the previous image frame and outputting the previous image frame to the block motion measurement unit. 연속되는 2차원 영상을 이용하여 3차원 영상으로 변환하는 2차원 연속 영상의 3차원 영상 변환방법에 있어서,A three-dimensional image conversion method of a two-dimensional continuous image, which converts a continuous two-dimensional image into a three-dimensional image, (a) 입력된 현재 영상을 소정 크기의 블럭 단위로 분할하는 단계;(a) dividing the input current image into blocks of a predetermined size; (b) 상기 현재 영상의 각 블럭에 대해 이전 영상 프레임을 이용하여 움직임 벡터를 측정하는 단계;(b) measuring a motion vector for each block of the current image using a previous image frame; (c) 상기 각 블럭의 움직임 벡터과 미리 설정된 스테레오 파라미터를 이용하여 상기 각 블럭의 시차를 얻는 단계;(c) obtaining a parallax of each block using a motion vector of each block and a preset stereo parameter; (d) 상기 각 블럭을 각각의 상기 블럭 시차에 따라 수평 방향으로 이동시켜 상기 현재 영상에 대응한 가상 영상을 생성하는 단계; 및(d) moving each of the blocks in a horizontal direction according to each of the block parallaxes to generate a virtual image corresponding to the current image; And (e) 상기 현재 영상과 상기 가상 영상으로 이루어진 3차원 영상을 디스플레이하는 단계를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환장치.(e) displaying a three-dimensional image composed of the current image and the virtual image. 제9항에 있어서, 상기 (c) 단계는,10. The method of claim 9, wherein step (c) (c1) 상기 각 블럭의 움직임 벡터를 분석하여 상기 각 블럭의 깊이를 측정하는 단계; 및(c1) measuring a depth of each of the blocks by analyzing motion vectors of the blocks; And (c2) 상기 각 블럭의 깊이와, 상기 가상 영상 생성하는 필요한 데이타를 이용하여 상기 각 블럭의 시차를 측정하는 단계를 구비하며,(c2) measuring the parallax of each of the blocks using the depth of each of the blocks and the necessary data for generating the virtual image, 상기 데이타는 사용자에 의해 미리 설정되어 있는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.Wherein the data is preset by a user. 제10항에 있어서, 상기 (c1) 단계는,11. The method of claim 10, wherein the step (c1) 상기 각 블럭의 움직임 벡터를 분석하여 상기 현재 영상의 전체 움직임을 추정함으로써 상기 현재 영상을 촬영한 카메라의 움직임 여부를 판단하고,Determining motion of the camera that photographed the current image by estimating the entire motion of the current image by analyzing motion vectors of the respective blocks, 상기 움직임 벡터가 상기 카메라의 움직임이 있는 상태에서 얻어진 경우에, 다음 수학식 2를 이용하여 상기 각 블럭의 깊이를 측정하고,When the motion vector is obtained in a state of motion of the camera, the depth of each block is measured using the following equation (2) [수학식 2]&Quot; (2) " 상기 카메라의 움직임이 없는 상태에서 얻어진 경우에, 다음 수학식 2를 이용하여 상기 각 블럭의 깊이를 측정하고,When the camera is obtained in a state in which there is no motion, the depth of each block is measured using the following equation (2) [수학식 3]&Quot; (3) " 수학식 2,3에서, Z는 깊이를, C는 상수값을, V는 움직임 벡터의 크기를, Vmax는 움직임 벡터의 최대값을 각각 나타내는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.Wherein in the equations (2) and (3), Z represents depth, C represents a constant value, V represents a magnitude of a motion vector, and V max represents a maximum value of a motion vector. Way. 제10항에 있어서, 상기 데이타는 동일한 수평 위치에 있는 두 개의 카메라가 상기 현재 영상과 상기 가상 영상을 촬영한다고 가정할 때, 상기 두 개의 카메라간의 거리인 베이스라인 길이(b)와, 상기 카메라의 초점 길이(F)인 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.11. The method of claim 10, wherein the data includes a baseline length (b), a distance between the two cameras, when assuming that two cameras at the same horizontal position shoot the current image and the virtual image, And a focal length (F) of the three-dimensional image. 제10항에 있어서, 상기 (c2) 단계는,The method of claim 10, wherein the step (c2) 다음 수학식 4를 이용하여 상기 각 블럭의 시차를 측정하고,The parallax of each block is measured using the following equation (4) [수학식 4]&Quot; (4) " 수학식 3에서, dx는 시차를, Z는 깊이를 각각 나타내며, b와 F는 상기 가상 영상을 생성하는데 필요한 데이타로서 베이스라인 길이와 초점 길이를 각각 나타내는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.Wherein d x represents a parallax, Z represents a depth, and b and F represent a base line length and a focal length, respectively, as data required to generate the virtual image, respectively. Dimensional image transformation method. 제9항에 있어서, 상기 (d) 단계는,10. The method of claim 9, wherein step (d) (d1) 상기 현재 영상의 블럭 시차를 양의 시차와 음의 시차중 어느 시차로 나타낼 것인가를 결정하는 단계;(d1) determining a time difference between the positive parallax and the negative parallax of the block parallax of the current image; (d2) 상기 양의 시차가 결정되면, 상기 현재 영상내에서의 모든 블럭의 위치를 상기 각 블럭의 시차만큼 우측 수평 방향으로 이동시키는 단계;(d2) moving the positions of all blocks in the current image to the right and left by the parallax of each block if the positive parallax is determined; (d3) 상기 음의 시차가 결정되면, 상기 현재 영상내에서의 모든 블럭의 위치를 상기 각 블럭의 시차만큼 좌측 수평 방향으로 이동시키는 단계; 및(d3) moving the positions of all the blocks in the current image in a left horizontal direction by a time difference of each block when the negative parallax is determined; And (d4) 상기 (d2) 단계 또는 상기 (d3) 단계에서 이동된 모든 블럭을 합성하여 상기 가상 영상을 생성하는 단계를 구비하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.(d4) synthesizing all the blocks moved in the step (d2) or (d3) to generate the virtual image. 제14항에 있어서, 상기 (d) 단계는,15. The method of claim 14, wherein step (d) 상기 (d3) 단계에서 생성된 상기 가상 영상에서 상기 모든 블럭에 의해 채워지지 않은 영역을 보간하는 단계를 더 포함하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.And interpolating an area not filled by all the blocks in the virtual image generated in the step (d3). 제9항에 있어서, 상기 (e) 단계는,10. The method of claim 9, wherein step (e) 상기 현재 영상과 상기 가상 영상중에서 하나를 좌측 눈에 디스플레이하고, 다른 하나를 우측 눈에 디스플레이하는 것을 특징으로 하는 2차원 연속 영상의 3차원 영상 변환방법.Displaying one of the current image and the virtual image on the left eye and displaying the other on the right eye.
KR1019970077735A 1997-12-30 1997-12-30 Apparatus and method for converting 2-d video sequence to 3-d video using virtual stereoscopic video KR100263936B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019970077735A KR100263936B1 (en) 1997-12-30 1997-12-30 Apparatus and method for converting 2-d video sequence to 3-d video using virtual stereoscopic video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970077735A KR100263936B1 (en) 1997-12-30 1997-12-30 Apparatus and method for converting 2-d video sequence to 3-d video using virtual stereoscopic video

Publications (2)

Publication Number Publication Date
KR19990057669A true KR19990057669A (en) 1999-07-15
KR100263936B1 KR100263936B1 (en) 2000-08-16

Family

ID=19529638

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970077735A KR100263936B1 (en) 1997-12-30 1997-12-30 Apparatus and method for converting 2-d video sequence to 3-d video using virtual stereoscopic video

Country Status (1)

Country Link
KR (1) KR100263936B1 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100448882B1 (en) * 2002-11-14 2004-09-18 한국전자통신연구원 Stereoscopic multimedia contents authoring apparatus and method
KR100584536B1 (en) * 1999-09-29 2006-05-30 삼성전자주식회사 Image processing apparatus for image communication
KR100780467B1 (en) * 2006-09-28 2007-11-29 이관영 Apparatus and method of manufacturing three dimensional goods using sound
KR100799990B1 (en) * 2006-06-30 2008-01-31 연세대학교 산학협력단 Device and Method for transforming 2-D Image into 3-D Image
KR100888081B1 (en) * 2007-07-19 2009-03-11 주식회사 이시티 Apparatus and method for converting 2D image signals into 3D image signals
KR100890224B1 (en) * 2007-07-20 2009-03-25 연세대학교 산학협력단 Method of reconstructing a 3d scene and apparatus for performing the same
KR100927734B1 (en) * 2006-12-05 2009-11-18 한국전자통신연구원 Multi-view image generating device and method
WO2010071291A1 (en) * 2008-12-18 2010-06-24 (주)엘지전자 Method for 3d image signal processing and image display for implementing the same
WO2010138691A3 (en) * 2009-05-28 2011-08-04 Kjaya, Llc Method and system for fast access to advanced visualization of medical scans using a dedicated web portal
KR101065863B1 (en) * 2010-06-08 2011-09-19 (주)님버스테크놀로지스 A 3d movie generating method by compensating vertical component of motion vector wherebetween two pictures and a storage medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101079207B1 (en) 2009-09-02 2011-11-07 (주)리얼디스퀘어 A System And A Method For Converting Into Three Dimentional Movie
US9380285B2 (en) * 2010-12-20 2016-06-28 Samsung Display Co., Ltd. Stereo image processing method, stereo image processing device and display device

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100584536B1 (en) * 1999-09-29 2006-05-30 삼성전자주식회사 Image processing apparatus for image communication
KR100448882B1 (en) * 2002-11-14 2004-09-18 한국전자통신연구원 Stereoscopic multimedia contents authoring apparatus and method
KR100799990B1 (en) * 2006-06-30 2008-01-31 연세대학교 산학협력단 Device and Method for transforming 2-D Image into 3-D Image
KR100780467B1 (en) * 2006-09-28 2007-11-29 이관영 Apparatus and method of manufacturing three dimensional goods using sound
KR100927734B1 (en) * 2006-12-05 2009-11-18 한국전자통신연구원 Multi-view image generating device and method
KR100888081B1 (en) * 2007-07-19 2009-03-11 주식회사 이시티 Apparatus and method for converting 2D image signals into 3D image signals
KR100890224B1 (en) * 2007-07-20 2009-03-25 연세대학교 산학협력단 Method of reconstructing a 3d scene and apparatus for performing the same
WO2010071291A1 (en) * 2008-12-18 2010-06-24 (주)엘지전자 Method for 3d image signal processing and image display for implementing the same
US9571815B2 (en) 2008-12-18 2017-02-14 Lg Electronics Inc. Method for 3D image signal processing and image display for implementing the same
WO2010138691A3 (en) * 2009-05-28 2011-08-04 Kjaya, Llc Method and system for fast access to advanced visualization of medical scans using a dedicated web portal
US8701167B2 (en) 2009-05-28 2014-04-15 Kjaya, Llc Method and system for fast access to advanced visualization of medical scans using a dedicated web portal
US9106609B2 (en) 2009-05-28 2015-08-11 Kovey Kovalan Method and system for fast access to advanced visualization of medical scans using a dedicated web portal
US9749389B2 (en) 2009-05-28 2017-08-29 Ai Visualize, Inc. Method and system for fast access to advanced visualization of medical scans using a dedicated web portal
US10084846B2 (en) 2009-05-28 2018-09-25 Ai Visualize, Inc. Method and system for fast access to advanced visualization of medical scans using a dedicated web portal
KR101065863B1 (en) * 2010-06-08 2011-09-19 (주)님버스테크놀로지스 A 3d movie generating method by compensating vertical component of motion vector wherebetween two pictures and a storage medium

Also Published As

Publication number Publication date
KR100263936B1 (en) 2000-08-16

Similar Documents

Publication Publication Date Title
KR101185870B1 (en) Apparatus and method for processing 3 dimensional picture
JP4056154B2 (en) 2D continuous video 3D video conversion apparatus and method, and 3D video post-processing method
KR101385514B1 (en) Method And Apparatus for Transforming Stereoscopic Image by Using Depth Map Information
US6466205B2 (en) System and method for creating 3D models from 2D sequential image data
US6496598B1 (en) Image processing method and apparatus
KR100334722B1 (en) Method and the apparatus for generating stereoscopic image using MPEG data
US20070269136A1 (en) Method and device for generating 3d images
KR101520619B1 (en) Method and apparatus for determining view positions of stereoscopic images for stereo synchronization
JP4963124B2 (en) Video processing apparatus, video processing method, and program for causing computer to execute the same
KR100517517B1 (en) Method for reconstructing intermediate video and 3D display using thereof
JP2006512833A (en) Video filter processing for stereoscopic images
KR100263936B1 (en) Apparatus and method for converting 2-d video sequence to 3-d video using virtual stereoscopic video
KR100263935B1 (en) Apparatus and method for converting 2-d video sequence to 3-d video using conversion of motional disparity to vertical disparity
KR100335617B1 (en) Method for synthesizing three-dimensional image
KR100540732B1 (en) Apparatus for converting 2D image signal into 3D image signal
KR100607072B1 (en) Apparatus and method for converting 2D image signal into 3D image signal
KR100297831B1 (en) An apparatus for converting two dimensional image to stereoscopic image
JPH09200803A (en) Image processing unit and image processing method
KR100230447B1 (en) 3-dimension image conversion apparatus and method of 2-dimension continuous image
Kim et al. Object-based stereoscopic conversion of MPEG-4 encoded data
KR100322727B1 (en) Method and system for converting two-dimensional/stereo images
Wegner et al. Omnidirectional view synthesis and test images
KR20050018034A (en) Apparatus for converting 2D image signal into 3D image signal
JP4419139B2 (en) Depth signal generation device, depth signal generation program, pseudo stereoscopic image generation device, and pseudo stereoscopic image generation program
KR100304662B1 (en) System and method for generating stereo image using two-dimensional image sequence

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130429

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20140429

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 16

LAPS Lapse due to unpaid annual fee