KR20110070681A - Method and apparatus to generate a stereo video interact with the objects in real-world - Google Patents

Method and apparatus to generate a stereo video interact with the objects in real-world Download PDF

Info

Publication number
KR20110070681A
KR20110070681A KR1020100029957A KR20100029957A KR20110070681A KR 20110070681 A KR20110070681 A KR 20110070681A KR 1020100029957 A KR1020100029957 A KR 1020100029957A KR 20100029957 A KR20100029957 A KR 20100029957A KR 20110070681 A KR20110070681 A KR 20110070681A
Authority
KR
South Korea
Prior art keywords
interaction
space
information
stereoscopic image
virtual
Prior art date
Application number
KR1020100029957A
Other languages
Korean (ko)
Inventor
이충환
남승우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US12/968,742 priority Critical patent/US20110149042A1/en
Publication of KR20110070681A publication Critical patent/KR20110070681A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PURPOSE: A 3D image generating method and apparatus implementing feedback by interaction with a user space object are provided to express an effective interaction between a real object and a virtual object within a feedback space. CONSTITUTION: Using the space information of an 3D image for a displayed image and the user view space information of a user space, a space recognition unit calculates a feedback space(S10). The space recognition unit recognizes a real object and a virtual object within the feedback space(S20). An object recognition unit extracts the space information of the recognized real object and virtual object. An interaction analysis unit analyzes interaction(S30). An image generating unit creates a new 3D image(S40).

Description

사용자 공간 개체와 상호작용에 의한 피드백이 있는 입체 영상 생성 방법 및장치{METHOD AND APPARATUS TO GENERATE A STEREO VIDEO INTERACT WITH THE OBJECTS IN REAL-WORLD}TECHNICAL AND APPARATUS TO GENERATE A STEREO VIDEO INTERACT WITH THE OBJECTS IN REAL-WORLD}

본 발명은 입체영상 생성 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 입체 영상 공간의 개체와 실제 공간에 존재하는 개체의 상호작용을 표현하는데 적합한 입체영상 생성 장치 및 그 방법에 관한 것이다.The present invention relates to a stereoscopic image generating apparatus and a method thereof, and more particularly to a stereoscopic image generating apparatus and method suitable for expressing the interaction of the object in the stereoscopic image space and the entity existing in the real space.

본 발명은 문화체육관광부의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-045-04, 과제명: 기능 확장형 초고속 렌더러 개발].The present invention is derived from a study performed as part of the IT growth engine technology development project of the Ministry of Culture, Sports and Tourism [Task Management Number: 2006-S-045-04, Task name: Development of a function-expandable ultrafast renderer].

최근 컴퓨터 성능이 향상됨에 따라, 3차원 컴퓨터 그래픽스(CG) 기술은 영화, 광고, 게임, 애니메이션 등에서 널리 사용되고 있다. 특히, 그래픽 기술이 발전함에 따라 실제 촬영 영상에 근접 또는 동일한 수준의 영상 생성이 가능하게 되었고, 그에 따라 더욱 극사실적 영상 표현 기술을 요구하고 되었다. Recently, as computer performance is improved, 3D computer graphics (CG) technology is widely used in movies, advertisements, games, and animations. In particular, with the development of graphic technology, it is possible to generate an image that is close to or the same level as the actual photographed image, and accordingly, a more extreme realistic image expression technology is required.

특히, 입체 영상(stereo-scopic image)은 기존의 2D 디스플레이에 투영되는 3D 영상과는 다르게, 입체 영상 만의 깊이 감을 제공하여 더욱 사실적인 영상을 제작할 수 있다. 입체 영상은 공간에 있는 것처럼 보이는 영상. 실제로 3차원 영상을 재현하는 방법도 시도되고 있지만, 널리 연구되는 방법은 좌우의 눈에 각기 좌우 방향에서 본 것과 동일한 영상을 제시하여 두 눈에 시차를 주고 이것을 합성하여 하나의 입체 영상으로 보이게 하는 것이다. 좌우 양방향의 영상을 분리하여 좌우 각각의 눈에 보이게 하는 방법으로 편광 안경, 색 필터 안경 또는 스크린 등이 이용된다. 한편 종래에 입체 영상 생성 방법은, [J. Baker, "Generating Images for a Time-Multiplexed Stereoscopic Computer Graphics System," in True 3D Imaging Techniques and Display Technologies, Proc. SPIE, vol. 761, pp. 44-52, 1987]에 개시되어 있다.In particular, unlike stereoscopic 3D images projected on 2D displays, stereo-scopic images may provide more realistic images by providing a sense of depth only in stereoscopic images. Stereoscopic images are images that appear to be in space. In practice, a method of reproducing a 3D image has been attempted, but a widely studied method is to present the same image as seen from the left and right directions to the left and right eyes, and to disparage the two eyes and synthesize them to make them appear as one stereoscopic image. . Polarizing glasses, color filter glasses, or screens are used as a method of separating images in left and right directions and making them visible to the left and right eyes. Meanwhile, a stereoscopic image generation method in the related art is described in [J. Baker, "Generating Images for a Time-Multiplexed Stereoscopic Computer Graphics System," in True 3D Imaging Techniques and Display Technologies, Proc. SPIE, vol. 761, pp. 44-52, 1987.

그러나, 개시된 종래의 입체 영상 생성 방법에서는 입체 영상 제작시 생성된 입체 영상을 단순히 플레이-백(play-back)하거나 별도의 장치를 이용하여 3D 영상 내에 존재하는 가상의 개체를 조작해야만 영상 내의 가상의 개체와 상호 작용할 수 있다는 한계가 있다. However, in the disclosed conventional stereoscopic image generating method, the stereoscopic image generated when the stereoscopic image is produced is simply played back or a virtual device existing in the 3D image is manipulated by using a separate device. There is a limit to the ability to interact with objects.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 실제 공간과 영상 공간의 상호작용이 가능한 피드백 공간 및 피드백 공간내의 실제 개체를 인식하고 가상 개체와의 상호작용을 계산하여 입체 영상을 생성하는 장치 및 그 방법을 제공하고자 한다. The present invention has been made to solve the above-described problems of the prior art, an object of the present invention is to recognize the real object in the feedback space and the feedback space that can interact with the real space and the image space and to interact with the virtual object An apparatus and method for generating a stereoscopic image by calculating the present invention are provided.

본 발명에 따른 입체영상 생성 방법은, 표시영상에 대한 입체 영상의 공간 정보와 사용자 공간에 대한 사용자 뷰 공간 정보를 이용하여 피드백 공간을 계산하는 단계; 피드백 공간내의 실제 개체 및 가상 개체를 인식하고 인식된 실제 개체 및 가상 개체의 공간 정보를 추출하는 단계; 실제 개체 및 가상 개체의 공간 정보를 이용하여 상호작용 가능 여부를 판단하고, 그 판단 결과에 따라 상호작용을 해석하는 단계; 및 해석된 상호작용의 결과에 따라 새로운 입체영상을 생성하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of generating a stereoscopic image, comprising: calculating a feedback space using spatial information of a stereoscopic image of a display image and user view space information of a user space; Recognizing real objects and virtual objects in the feedback space and extracting spatial information of the recognized real objects and virtual objects; Determining whether the interaction is possible using spatial information of the real entity and the virtual entity, and analyzing the interaction according to the determination result; And generating a new stereoscopic image according to the result of the interpreted interaction.

또, 상호작용 가능 여부를 판단하는 것은, Also, determining whether or not you can interact is

상기 피드백 공간 내에 기 설정된 상호작용 가능 공간과 피드백 공간내의 실제 개체 사이의 거리를 비교하여 판단하는 것이 바람직하다.Preferably, the distance between the preset interactable space in the feedback space and the actual object in the feedback space is compared.

또한, 상호작용을 해석하는 단계는, 상호작용 가능 공간과 피드백 공간내의 실제 개체와의 거리를 측정하는 단계; 및 상호작용 가능 공간과 실제 개체 사이의 거리가 상호작용이 가능한 상태인 경우, 상호작용 정보를 생성하는 단계를 포함하는 것이 바람직하다.In addition, interpreting the interaction may include measuring a distance between the interactable space and a real object in the feedback space; And generating interaction information when the distance between the interactable space and the actual entity is in an interactable state.

또, 상호작용 정보는 실제 개체와 가상 개체의 상호작용 방향, 공간 정보를 포함하고, 상호작용을 해석하는 단계는, 상호작용 정보를 근거로 가상 개체에 대한 상호작용 시나리오를 검색하는 단계를 더 포함하는 것이 바람직하다.In addition, the interaction information includes the interaction direction and spatial information of the real object and the virtual object, and interpreting the interaction further includes retrieving an interaction scenario for the virtual object based on the interaction information. It is desirable to.

또한, 상호 작용 시나리오를 검색하는 단계 이후, 상호작용 정보의 상호작용 방향 또는 공간정보를 이용하여 접촉, 충돌 등의 상호작용을 해석하는 단계를 더 포함하는 것이 바람직하다.In addition, after the searching of the interaction scenario, it is preferable to further include the step of interpreting the interaction, such as contact, collision using the interaction direction or spatial information of the interaction information.

또, 상호작용 시나리오를 검색하는 단계에서, 상호작용 시나리오가 존재하는 경우, 가상 개체, 상호작용 방향, 공간 정보에 따라 상호작용 시나리오 영상을 저장하는 단계; 을 더 포함하는 것이 바람직하다.Also, in the searching of the interaction scenario, when the interaction scenario exists, storing the interaction scenario image according to the virtual entity, the interaction direction, and the spatial information; It is preferable to further include.

또한, 상호작용 정보는 실제 개체와 가상 개체의 상호작용 방향, 공간 정보를 포함하고, 상호작용을 해석하는 단계는, 상호작용 정보를 근거로 가상 개체에 대한 상호 작용을 위한 시뮬레이션을 검색하는 단계를 더 포함하는 것이 바람직하다.In addition, the interaction information includes the interaction direction and spatial information of the real object and the virtual object, and interpreting the interaction may include searching for a simulation for interaction with the virtual object based on the interaction information. It is preferable to further include.

또, 상호 작용을 위한 시뮬레이션을 검색하는 단계 이후, 상호작용 정보의 상호작용 방향 또는 공간정보를 이용하여 접촉, 충돌 등의 상호작용을 해석하는 단계를 더 포함하는 것이 바람직하다.In addition, after searching for the simulation for the interaction, it is preferable to further include the step of analyzing the interaction, such as contact, collision using the interaction direction or spatial information of the interaction information.

또, 상호 작용을 위한 시뮬레이션을 검색하는 단계에서, 가상 개체에 대한 상호 작용을 위한 시뮬레이션이 존재하는 경우, 가상 개체, 상호작용 방향, 공간 정보에 따라 시뮬레이션을 수행하는 단계; 을 더 포함하는 것이 바람직하다.In addition, in the searching for the simulation for the interaction, if there is a simulation for the interaction with the virtual object, performing the simulation according to the virtual object, the interaction direction, spatial information; It is preferable to further include.

또, 입체영상을 생성하는 단계는, 가상개체와 실제 개체와의 상호작용 결과를 이용하여 입체 영상을 생성하되, 상호작용 시나리오가 존재하는 경우, 가상 개체에 상호작용 시나리오를 합성하여 새로운 입체영상 생성하고, 시뮬레이션이 존재하는 경우, 가상 개체에 대한 시뮬레이션을 구성하여 새로운 입체영상을 생성하는 것이 바람직하다.In the step of generating a stereoscopic image, a stereoscopic image is generated using a result of the interaction between the virtual object and the real object. In addition, if a simulation exists, it is preferable to construct a simulation for the virtual object to generate a new stereoscopic image.

한편, 본 발명에 따른 입체 영상 생성 장치는, 표시영상에 대한 입체 영상의 공간 정보와 사용자 공간에 대한 사용자 뷰 공간 정보를 이용하여 피드백 공간을 계산하는 공간 인식부; 피드백 공간내의 실제 개체 및 가상 개체를 인식하고 인식된 실제 개체 및 가상 개체의 공간 정보를 추출하는 개체 인식부; 실제 개체 및 가상 개체의 공간 정보를 이용하여 상호작용 가능 여부를 판단하고, 그 판단 결과에 따라 상호작용을 해석하는 상호 작용 해석부; 및 해석된 상호작용의 결과에 따라 새로운 입체영상을 생성하는 이미지 생성부를 포함하는 것을 특징으로 한다.On the other hand, the stereoscopic image generating apparatus according to the present invention, a spatial recognition unit for calculating a feedback space using the spatial information of the stereoscopic image of the display image and the user view space information of the user space; An object recognition unit for recognizing real objects and virtual objects in the feedback space and extracting spatial information of the recognized real objects and virtual objects; An interaction analysis unit which determines whether the interaction is possible using spatial information of the real object and the virtual object, and analyzes the interaction according to the determination result; And an image generator for generating a new stereoscopic image according to the result of the interpreted interaction.

본 발명에 따르면, 피드백 공간내의 실제 개체와 가상 개체간의 효과적인 상호작용을 표현하여 사실적인 입체 영상을 생성할 수 있다.According to the present invention, a realistic stereoscopic image can be generated by expressing an effective interaction between a real object and a virtual object in a feedback space.

도 1 은 본 발명에 따른 사용자 공간 개체와 상호작용에 의한 피드백이 있는 입체 영상 생성 방법을 설명하는데 참조되는 도면,
도 2는 본 발명의 실시예에 따른 입체 영상 생성 장치의 구성을 예시한 도면,
도 3은 본 발명에 따른 입체 영상 생성 방법의 흐름을 도시한 도면.1 is a view referred to for explaining a method of generating a stereoscopic image with feedback by interaction with a user space entity according to the present invention;
2 is a diagram illustrating a configuration of a stereoscopic image generating apparatus according to an embodiment of the present invention;
3 is a view showing a flow of a stereoscopic image generating method according to the present invention.

이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 보다 상세하게 설명한다. 하기 설명 및 첨부 도면은 본 발명의 전반적인 이해를 돕기 위한 것이며 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. The following description and the annexed drawings are provided to aid the overall understanding of the present invention, and detailed descriptions of well-known functions and configurations that may unnecessarily obscure the subject matter of the present invention will be omitted.

도 1 은 본 발명에 따른 사용자 공간 개체와 상호작용에 의한 피드백이 있는 입체 영상 생성 방법을 설명하는데 참조되는 도면이다.
FIG. 1 is a diagram referred to for describing a method of generating a stereoscopic image having feedback by interaction with a user space entity according to the present invention.

도 1을 참조하면, 본 발명에 따른 입체 영상 생성 방법은 표시영상(Disply image)에 대한 영상 공간(20)의 정보(Space of sterero video; virtual world)와 사용자 공간(10)(Space of user; Real-world)에 대한 사용자 뷰 공간 정보(User view space)를 이용하여 피드백 공간(50 ; Feed-back space)을 계산하는 단계; 피드백 공간내의 개체(real object or Virtual object)를 인식하고 각 개체의 공간 정보를 추출하는 단계; 실제 개체(41; Real object)와 가상 개체(42 ; Virtual object)의 공간 정보를 이용하여 상호작용을 해석하는 단계; 및 상호작용의 결과에 따라 입체 이미지를 생성하는 단계를 포함하여 구성된다.
Referring to FIG. 1, a stereoscopic image generating method according to the present invention includes a space of sterero video (virtual world) and a user space (10) of a video space 20 for a disply image; Calculating a feedback space 50 using a user view space for a real-world; Recognizing an object in a feedback space (real object or virtual object) and extracting spatial information of each object; Interpreting an interaction using spatial information of a real object 41 and a virtual object 42; And generating a stereoscopic image according to the result of the interaction.

본 발명에서 표시영상(Disply image)은 디스플레이 상에 표시되는 영상을 의미한다. 그리고, 영상 공간(20) (Space of sterero video; virtual world)의 정보는 디스플레이에 의해서 표시되는 표시영상에 포함된 정보, 예를 들어, 깊이, 크기, 질감 등을 의미한다. In the present invention, a disply image means an image displayed on a display. In addition, the information of the image space 20 (Space of sterero video; virtual world) means information included in the display image displayed by the display, for example, depth, size, texture, and the like.

또, 사용자 공간(10)(Space of user; Real-world)은 영상 공간(20)과 대비되는 사용자의 공간을 의미한다. 그리고 사용자 뷰 공간 정보(User view space)은 사용자 공간(10) 중 사용자(30)의 가시범위 내의 공간을 의미한다. In addition, the space of user (Real-world) refers to the space of the user contrasted with the image space (20). The user view space information refers to a space within the visible range of the user 30 among the user space 10.

다음, 피드백 공간(50; Feed-back space)은 영상 공간(20)과 사용자 공간(10)이 상호 작용하는 공간을 의미한다. 이때, 피드백 공간내의 개체(real object or Virtual object)는 실제 개체(40; Real object)와 가상 개체(42; Virtual object)를 포함하게 된다.
Next, the feedback space 50 means a space where the image space 20 and the user space 10 interact. In this case, the real object or virtual object in the feedback space includes a real object 40 and a virtual object 42.

보다 상세히 설명하면, 본 발명에 따른 입체 영상 생성 방법은 3D 방식으로 촬영된 입체영상 정보를 디스플레이 화면을 통해 표시한다. 이때, 입체 영상 정보는 입체영상의 공간정보를 포함하게 된다. 그리고, 사용자는 디스플레이를 통해 보여지는 입체 영상을 자신의 사용자 뷰 공간 내에서 인식하게 된다. In more detail, the stereoscopic image generating method according to the present invention displays stereoscopic image information photographed in a 3D manner on a display screen. In this case, the stereoscopic image information includes spatial information of the stereoscopic image. In addition, the user recognizes the stereoscopic image shown through the display in his user view space.

본 발명에 따른 입체 영상 생성 방법은 영상 공간의 공간 정보와 사용자 뷰 공간 정보를 이용하여 피드백 공간을 생성한다. 즉, 본 발명에 따른 입체 영상 생성 방법은 영상 공간의 공간 정보와 사용자 뷰 공간 정보를 서로 비교하는 과정을 거쳐 피드백 공간을 인식한다. 예를 들어, 사용자의 위치를 기준으로 사용자와 디스플레이 사이에 형성되는 사용자 뷰 공간의 범위를 인식하고, 영상 공간으로 형성되는 공간 정보와 중복되는 공간을 피드백 공간으로 생성하게 된다.The stereoscopic image generating method according to the present invention generates a feedback space by using the spatial information of the image space and the user view space information. That is, the stereoscopic image generating method according to the present invention recognizes the feedback space by comparing the spatial information of the image space with the user view space information. For example, a range of the user view space formed between the user and the display is recognized based on the position of the user, and a space overlapping with the spatial information formed as the image space is generated as a feedback space.

그리고 본 발명에 따른 입체 영상 생성 방법은 그 생성된 피드백 공간에 대한 데이터를 이용하여 피드백 공간내의 각 개체를 탐색하고 탐색된 개체의 공간 정보를 업데이트한다. 즉, 본 발명에 따른 입체 영상 생성 방법은 피드백 공간 내에 위치하는 실제 개체의 정보, 예를 들어, 위치, 부피, 크기, 질감 등을 센서, 카메라 등을 통해 습득한다. 그리고, 실제 개체의 정보를 근거로 입체 영상으로 표시되는 가상 개체의 정보를 갱신한다. The stereoscopic image generating method according to the present invention searches for each object in the feedback space by using data on the generated feedback space and updates the spatial information of the found object. That is, the stereoscopic image generating method according to the present invention acquires information of an actual object located in the feedback space, for example, position, volume, size, texture, etc. through a sensor, a camera, and the like. Then, the information on the virtual object displayed in the stereoscopic image is updated based on the information on the actual object.

그리고, 본 발명에 따른 입체 영상 생성 방법은 영상 개체와 실제 개체의 상호작용을 분석하고, 상호작용의 효과를 계산한다. 즉, 본 발명에 따른 입체 영상 생성 방법은 영상 개체와 실제 개체와의 접촉, 동작 상황을 분석하고, 그에 따른 동작 효과 등을 계산하게 된다. The stereoscopic image generating method according to the present invention analyzes the interaction between the image object and the actual object and calculates the effect of the interaction. That is, the stereoscopic image generating method according to the present invention analyzes the contact between the image object and the actual object, the operation state, and calculates the operation effect accordingly.

다음, 본 발명에 따른 입체 영상 생성 방법은 분석된 상호작용 효과를 근거로 렌더링하여 입체 영상을 생성하는 것이다. 예를 들어, 본 발명에 따른 입체 영상 생성 방법은 실제 개체와 가상 개체의 접촉에 따라 발생되는 효과 등을 입체 영상으로 생성하게 된다.Next, the stereoscopic image generating method according to the present invention is to generate a stereoscopic image by rendering based on the analyzed interaction effect. For example, the stereoscopic image generating method according to the present invention generates an effect generated by the contact between the real object and the virtual object as a stereoscopic image.

본 발명에 따른 입체 영상 생성 방법은 일련의 과정을 통하여 종래와는 달리 상호작용이 표현되는 입체영상을 생성하게 된다.
The stereoscopic image generating method according to the present invention generates a stereoscopic image in which interaction is expressed unlike a conventional process through a series of processes.

도 2는 본 발명의 실시예에 따른 입체 영상 생성 장치의 구성을 예시한 도면이다.
2 is a diagram illustrating a configuration of a stereoscopic image generating apparatus according to an embodiment of the present invention.

도 2를 참조하면, 본 발명에 따른 입체 영상 생성 방법이 적용되는 입체 영상 생성 장치는 공간 인식부(110), 공간 인식부(110), 상호 작용 해석부(130), 이미지 생성부(140)를 포함하여 구성된다.
2, a stereoscopic image generating apparatus to which a stereoscopic image generating method according to the present invention is applied may include a spatial recognition unit 110, a spatial recognition unit 110, an interaction analyzer 130, and an image generator 140. It is configured to include.

공간 인식부(110)는 영상 제작시 영상 데이터에 입력된 깊이 정보가 포함된 3차원 정보, 즉 입체 공간 정보를 기 저장된 데이터 베이스를 통해 입력 받는다. 그리고 공간 인식부(110)는 사용자 공간에 설치된 카메라, 복수의 센서로 인식된 정보를 이용하여 사용자 공간의 공간 정보 및 사용자의 시야 정보를 입력 받는다. 여기서, 공간 인식부(110)는 사용자 공간의 공간 정보 및 사용자의 시야 정보를 통해 사용자 뷰 공간 정보를 생성하게 된다. 공간 인식부(110)는 입체 공간 정보, 사용자 뷰 공간 정보를 이용하여 영상 공간(20) 정보와 사용자 공간의 교집합인 피드백 공간을 계산한다. 예를 들어, 공간 인식부(110) 영상 공간 정보와 실제 공간의 교집합인 공간을 계산하고, 이를 피드백 공간으로 결정하게 된다.
The spatial recognition unit 110 receives three-dimensional information, that is, three-dimensional space information including depth information input to the image data during image production, through a previously stored database. The space recognition unit 110 receives the space information of the user space and the view information of the user by using information recognized by a camera and a plurality of sensors installed in the user space. Here, the space recognition unit 110 generates the user view space information through the space information of the user space and the view information of the user. The space recognizer 110 calculates a feedback space that is an intersection of the image space 20 information and the user space by using the stereoscopic space information and the user view space information. For example, the space recognizer 110 calculates a space that is an intersection of the image space information and the actual space, and determines this as the feedback space.

공간 인식부(110)는 상술한 카메라, 센서를 이용하여 주어진 사용자 공간과 피드백 공간내의 개체를 탐색하고 각 개체의 공간 정보를 생성, 업데이트 한다. 탐색된 각 개체는 디스플레이 장치로부터의 깊이를 포함한 공간 정보를 갖는 3차원 개체 정보로 업데이트된다.The space recognition unit 110 searches for objects in a given user space and feedback space by using the above-described camera and sensor, and generates and updates spatial information of each object. Each object found is updated with three-dimensional object information with spatial information including depth from the display device.

상호 작용 해석부(130)는 공간 인식부(110)로부터 생성된 데이터를 분석하여 피드백 공간의 실제 개체와 가상 개체와의 상호 작용을 분석하게 된다. 상호 작용 해석부(130)는 피드백 공간에 존재하는 각 가상 개체의 상호작용 가능 공간과 피드백 공간내의 실제 물체와의 거리를 측정한다. 그리고, 상호 작용 해석부(130)는 그 측정 결과를 이용하여 각 개체간의 거리가 상호작용이 가능한 상태인지를 판단한다. The interaction analyzer 130 analyzes the data generated from the space recognizer 110 to analyze the interaction between the real object and the virtual object in the feedback space. The interaction analyzer 130 measures a distance between the interactable space of each virtual object existing in the feedback space and the real object in the feedback space. In addition, the interaction analysis unit 130 determines whether the distance between each individual is in a state in which the interaction is possible using the measurement result.

또, 상호 작용 해석부(130)는 판단 결과 각 개체간의 상호 작용이 가능한 상태인 경우, 실제 개체와 가상 개체의 상호작용의 방향, 공간 정보를 결정한다. 그리고, 상호 작용 해석부(130)는 주어진 가상 개체의 상호 작용 시나리오의 검색하고, 실제 개체와 가상 개체의 상호 작용을 해석한다.In addition, the interaction analysis unit 130 determines the direction and spatial information of the interaction between the real object and the virtual object when the interaction between the individual objects is possible. The interaction analyzer 130 searches for the interaction scenario of the given virtual object and analyzes the interaction between the real object and the virtual object.

이때, 상호 작용 해석부(130)는 해당 가상 개체에 대한 상호작용 시나리오 영상이 존재하는 경우, 가상 개체, 상호작용 방향, 공간 정보에 따라 상호작용 시나리오 영상의 ID와 업데이트된 공간 정보를 하술된 이미지 생성부(140)에 전달한다. In this case, when the interaction scenario image for the corresponding virtual object exists, the interaction analysis unit 130 describes an ID of the interaction scenario image and updated spatial information according to the virtual object, the interaction direction, and the spatial information. Transfer to the generation unit 140.

또한, 상호 작용 해석부(130)는 해당 가상 개체에 대한 상호 작용을 위한 시뮬레이션이 존재하는 경우, 가상 개체, 상호 작용 방향에 따른 시뮬레이션 수행하고 시뮬레이션 결과를 이미지 생성부(140)에 전달한다.
In addition, when there is a simulation for interaction with the virtual object, the interaction analyzer 130 performs simulation according to the virtual object and the interaction direction, and transmits the simulation result to the image generator 140.

이미지 생성부(140)는 상술한 상호 작용 해석부(130)로부터 전달된 가상개체와 실제 개체와의 상호작용 결과를 이용하여 입체 영상을 생성하게 된다. The image generator 140 generates a stereoscopic image by using the interaction result between the virtual object and the real object transmitted from the interaction analyzer 130 described above.

여기서, 이미지 생성부(140)는 시나리오 영상이 존재하는 경우, 해당 입체영상에 대하여 상호작용이 발생한 개체에 주워진 시나리오 영상을 합성한다.Here, when the scenario image exists, the image generator 140 synthesizes the scenario image given to the object having interaction with the stereoscopic image.

또한, 이미지 생성부(140)는 시뮬레이션의 결과로 생성된 데이터를 렌더링하여 이미지를 생성하고 합성한다.
In addition, the image generator 140 generates and synthesizes an image by rendering the data generated as a result of the simulation.

도 3은 본 발명에 따른 입체 영상 생성 방법의 흐름을 도시한 도면이다.
3 is a flowchart illustrating a method of generating a stereoscopic image according to the present invention.

도 3을 참조하여, 본 발명에 따른 입체 영상 생성 방법의 일례를 설명하도록 한다. 설명에 있어서, 도 1 내지 도 2에 도시된 동일한 도면부호는 동일한 기능을 수행하는 것으로 한다.
An example of a stereoscopic image generating method according to the present invention will be described with reference to FIG. 3. In the description, the same reference numerals shown in FIGS. 1 to 2 are assumed to perform the same function.

우선, 공간 인식부(110)는 표시영상에 대한 입체 영상의 공간 정보와 사용자 공간에 대한 사용자 뷰 공간 정보를 이용하여 피드백 공간을 계산하여 결정하게 된다(S10). 즉, 공간 인식부(110)는 사용자 공간에 설치된 카메라, 복수의 센서로 인식된 정보를 이용하여 사용자 공간의 공간 정보 및 사용자의 시야 정보를 입력 받고, 이를 근거로 사용자 뷰 공간 정보를 산출한다. 그리고, 공간 인식부(110)는 기 설정된 입체 공간 정보, 사용자 뷰 공간 정보를 이용하여 영상 공간 정보와 사용자 공간의 교집합인 피드백 공간을 결정하게 된다(도 1의 도면부호 40 참조).First, the space recognition unit 110 calculates and determines a feedback space using spatial information of a stereoscopic image of the display image and user view space information of the user space (S10). That is, the space recognition unit 110 receives the space information of the user space and the view information of the user by using the information recognized by the camera and the plurality of sensors installed in the user space, and calculates the user view space information based on this. The space recognizing unit 110 determines the feedback space that is the intersection of the image space information and the user space by using preset stereoscopic space information and user view space information (see reference numeral 40 of FIG. 1).

다음, 공간 인식부(110)는 상술한 카메라, 센서를 이용하여 주어진 사용자 공간과 피드백 공간내의 개체를 탐색한다(S20). 공간 인식부(110)는 탐색된 각 개체의 공간 정보를 생성하고 업데이트를 함께 실행한다(도 1의 도면부호 41, 42 참조).Next, the space recognition unit 110 searches for an object in a given user space and a feedback space by using the camera and sensor described above (S20). The spatial recognition unit 110 generates spatial information of each searched object and executes the update together (see reference numerals 41 and 42 of FIG. 1).

이어, 상호 작용 해석부(130)는 공간 인식부(110)로부터 생성된 데이터를 분석하여 피드백 공간의 실제 개체와 가상 개체와의 상호 작용을 분석하게 된다(S30). Subsequently, the interaction analysis unit 130 analyzes the data generated from the spatial recognition unit 110 to analyze the interaction between the real object and the virtual object in the feedback space (S30).

이러한 상호 작용 분석을 보다 상세히 설명한다. This interaction analysis is described in more detail.

우선, 상호 작용 해석부(130)는 피드백 공간에 존재하는 각 가상 개체의 상호작용 가능 공간과 피드백 공간내의 실제 물체와의 거리를 측정한다. 그리고, 상호 작용 해석부(130)는 그 측정 결과를 이용하여 각 개체간의 거리가 상호작용이 가능한 상태인지를 판단한다. 이때, 상호 작용 해석부(130)는 판단 결과 각 개체간의 상호 작용이 가능한 상태인 경우, 실제 개체와 가상 개체의 상호작용의 방향, 공간 정보를 결정한다. 그리고, 상호 작용 해석부(130)는 주어진 가상 개체의 상호 작용 시나리오의 검색하고, 실제 개체와 가상 개체의 상호 작용을 해석한다. First, the interaction analyzer 130 measures a distance between an interactable space of each virtual object existing in the feedback space and a real object in the feedback space. In addition, the interaction analysis unit 130 determines whether the distance between each individual is in a state in which the interaction is possible using the measurement result. At this time, the interaction analysis unit 130 determines the direction of the interaction between the real object and the virtual object, spatial information when the interaction between the individual objects as a result of the determination. The interaction analyzer 130 searches for the interaction scenario of the given virtual object and analyzes the interaction between the real object and the virtual object.

여기서, 상호 작용 해석부(130)는 해당 가상 개체에 대한 상호작용 시나리오 영상이 존재하는 경우, 가상 개체, 상호작용 방향, 공간 정보에 따라 상호작용 시나리오 영상의 ID와 업데이트된 공간 정보를 하술된 이미지 생성부(140)에 전달한다. 예를 들어, 도 1에 도시된 실제 개체(41)와 가상 개체(42)의 거리차가 없고, 가상 개체가 위치하는 영역이 상호작용 공간일 경우, 두 개체의 충돌 또는 접촉 상태로 판단한다. 이때, 가상 개체에 대한 시나리오 영상을 검색하게 된다. 이 경우, 시나리오 영상은 실제개체(41)에 충돌된 가상개체(42)가 다른 모습으로 변경되는 등의 시나리오 영상이 될 수 있을 것이다.
Here, when the interaction scenario image for the virtual object exists, the interaction analysis unit 130 describes the ID of the interaction scenario image and the updated spatial information according to the virtual object, the interaction direction, and the spatial information. Transfer to the generation unit 140. For example, if there is no distance difference between the real object 41 and the virtual object 42 shown in FIG. 1, and the area where the virtual object is located is an interaction space, it is determined that the two objects collide or contact each other. At this time, the scenario image for the virtual entity is searched. In this case, the scenario image may be a scenario image such that the virtual object 42 collided with the real object 41 is changed to another shape.

또한, 상호 작용 해석부(130)는 해당 가상 개체에 대한 상호 작용을 위한 시뮬레이션이 존재하는 경우, 가상 개체, 상호 작용 방향에 따른 시뮬레이션 수행하고 시뮬레이션 결과를 이미지 생성부(140)에 전달한다. .예를 들어, 도 1에 도시된 실제 개체(41)와 가상 개체(42)의 거리차가 없고, 가상 개체가 위치하는 영역이 상호작용 공간일 경우, 두 개체의 충돌 또는 접촉 상태로 판단한다. 이때, 가상 개체에 대한 시뮬레이션을 검색하게 된다. 이 경우, 시뮬레이션은 실제개체(41)에 충돌된 가상개체(42)가 밀리거나, 부서지는 영상이 될 수 있을 것이다.
In addition, when there is a simulation for interaction with the virtual object, the interaction analyzer 130 performs simulation according to the virtual object and the interaction direction, and transmits the simulation result to the image generator 140. For example, if there is no distance difference between the real object 41 and the virtual object 42 shown in FIG. 1, and the area where the virtual object is located is an interaction space, it is determined that the two objects collide or contact each other. At this time, the simulation for the virtual object is searched. In this case, the simulation may be an image in which the virtual object 42 collided with the real object 41 is pushed or broken.

이미지 생성부(140)는 상술한 상호 작용 해석부(130)로부터 전달된 가상개체와 실제 개체와의 상호작용 결과를 이용하여 입체 영상을 생성하게 된다(S40). The image generator 140 generates a stereoscopic image by using the interaction result between the virtual object and the real object transferred from the interaction analyzer 130 described above (S40).

여기서, 이미지 생성부(140)는 시나리오 영상이 존재하는 경우, 해당 입체영상에 대하여 상호작용이 발생한 개체에 주워진 시나리오 영상을 합성한다. 예를 들어, 시나리오 영상은 실제개체(41)에 충돌된 가상개체(42)가 다른 모습으로 변경되는 등의 시나리오 영상일 경우, 기존의 입체 영상에 해당 시나리오 영상이 합성되게 된다. 이에 따라 사용자는 실제 개체와 가상 개체와의 상호 작용을 함께 볼 수 있게 된다.
Here, when the scenario image exists, the image generator 140 synthesizes the scenario image given to the object having interaction with the stereoscopic image. For example, when the scenario image is a scenario image in which the virtual object 42 collided with the real object 41 is changed to another state, the scenario image is synthesized with the existing stereoscopic image. This allows the user to see the interaction between real and virtual objects.

또한, 이미지 생성부(140)는 시뮬레이션의 결과로 생성된 데이터를 렌더링하여 이미지를 생성하고 합성한다. 이때, 가상 개체에 대한 시뮬레이션을 검색하게 된다. 이 경우, 시뮬레이션은 실제개체(41)에 충돌된 가상개체(42)가 밀리거나, 부서지는 영상일 경우, 기존의 입체 영상에 해당 시뮬레이션 영상이 합성되게 된다.
In addition, the image generator 140 generates and synthesizes an image by rendering the data generated as a result of the simulation. At this time, the simulation for the virtual object is searched. In this case, in the simulation, when the virtual object 42 collided with the real object 41 is pushed or broken, the simulation image is synthesized with the existing stereoscopic image.

상술한 바와 같이, 본 발명에서는 피드백 공간내의 실제 개체와 가상 개체간의 효과적인 상호작용을 표현하여 사실적인 입체 영상을 생성할 수 있다. 이에 따라 입체영상의 실제감을 배가시키고 입체 영상의 사용 범위를 확대할 수 있게 된다.
As described above, in the present invention, a realistic stereoscopic image can be generated by expressing an effective interaction between a real object and a virtual object in a feedback space. Accordingly, the realism of the stereoscopic image can be doubled and the use range of the stereoscopic image can be expanded.

이상과 같이 본 발명에 의한 사용자 공간 개체와 상호작용에 의한 피드백이 있는 입체 영상 생성 기법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.As described above, a stereoscopic image generation technique having feedback by interaction with a user space entity according to the present invention has been described with reference to the illustrated drawings, but the present invention is not limited by the embodiments and drawings disclosed herein, It can be applied to the extent that the idea is protected.

10 : 사용자 공간 20 : 영상 공간
30 : 사용자 40 : 사용자 뷰 공간
50 : 피드백 공간 110 : 공간 인식부
120 : 개체 인식부 130 : 상호 작용 해석부
140 : 이미지 생성부10: user space 20: video space
30: user 40: user view space
50: feedback space 110: space recognition unit
120: object recognition unit 130: interaction analysis unit
140: image generator

Claims (19)

표시영상에 대한 입체 영상의 공간 정보와 사용자 공간에 대한 사용자 뷰 공간 정보를 이용하여 피드백 공간을 계산하는 단계; 상기 피드백 공간내의 실제 개체 및 가상 개체를 인식하고 인식된 상기 실제 개체 및 가상 개체의 공간 정보를 추출하는 단계; 상기 실제 개체 및 가상 개체의 공간 정보를 이용하여 상호작용 가능 여부를 판단하고, 그 판단 결과에 따라 상호작용을 해석하는 단계; 및 해석된 상기 상호작용의 결과에 따라 새로운 입체영상을 생성하는 단계를 포함하는 것을 특징으로 하는 입체 영상 생성 방법.Calculating a feedback space using spatial information of the stereoscopic image of the display image and user view space information of the user space; Recognizing real and virtual objects in the feedback space and extracting spatial information of the recognized real and virtual objects; Determining whether the interaction is possible using the spatial information of the real entity and the virtual entity, and interpreting the interaction according to the determination result; And generating a new stereoscopic image according to the result of the analyzed interaction. 청구항 1에 있어서,
상기 상호작용 가능 여부를 판단하는 것은,
상기 피드백 공간 내에 기 설정된 상호작용 가능 공간과 상기 피드백 공간내의 실제 개체 사이의 거리를 비교하여 판단하는 것을 특징으로 하는 입체 영상 생성 방법.The method according to claim 1,
Determining whether the interaction is possible,
And determining a distance by comparing a distance between a preset interactable space in the feedback space and a real object in the feedback space. 청구항 2에 있어서,
상기 상호작용을 해석하는 단계는,
상기 상호작용 가능 공간과 상기 피드백 공간내의 실제 개체와의 거리를 측정하는 단계; 및
상기 상호작용 가능 공간과 상기 실제 개체 사이의 거리가 상호작용이 가능한 상태인 경우, 상호작용 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 입체 영상 생성 방법.The method according to claim 2,
Interpreting the interaction,
Measuring a distance between the interactable space and a real object in the feedback space; And
And generating interaction information when the distance between the interactable space and the real object is in an interactive state. 청구항 3에 있어서,
상기 상호작용 정보는 상기 실제 개체와 가상 개체의 상호작용 방향, 공간 정보를 포함하고,
상기 상호작용을 해석하는 단계는,
상기 상호작용 정보를 근거로 상기 가상 개체에 대한 상호작용 시나리오를 검색하는 단계를 더 포함하는 것을 특징으로 하는 입체 영상 생성 방법.The method according to claim 3,
The interaction information includes the interaction direction and spatial information of the real entity and the virtual entity,
Interpreting the interaction,
And searching for an interaction scenario for the virtual entity based on the interaction information. 청구항 4에 있어서,
상기 상호 작용 시나리오를 검색하는 단계 이후, 상기 상호작용 정보의 상호작용 방향 또는 공간정보를 이용하여 접촉, 충돌 등의 상호작용을 해석하는 단계를 더 포함하는 것을 특징으로 하는 입체 영상 생성 방법.The method according to claim 4,
After the searching of the interaction scenario, further comprising analyzing an interaction such as a contact or a collision by using the interaction direction or the spatial information of the interaction information. 청구항 5에 있어서,
상기 상호작용 시나리오를 검색하는 단계에서, 상기 상호작용 시나리오가 존재하는 경우,
상기 가상 개체, 상호작용 방향, 공간 정보에 따라 상호작용 시나리오 영상을 저장하는 단계; 를 더 포함하는 것을 특징으로 하는 입체 영상 생성 방법.The method according to claim 5,
In the step of retrieving the interaction scenario, if the interaction scenario exists,
Storing an interaction scenario image according to the virtual entity, interaction direction, and spatial information; The stereoscopic image generating method further comprises. 청구항 4에 있어서,
상기 상호작용 정보는 상기 실제 개체와 가상 개체의 상호작용 방향, 공간 정보를 포함하고,
상기 상호작용을 해석하는 단계는,
상기 상호작용 정보를 근거로 상기 가상 개체에 대한 상호 작용을 위한 시뮬레이션을 검색하는 단계를 더 포함하는 것을 특징으로 하는 입체 영상 생성 방법.The method according to claim 4,
The interaction information includes the interaction direction and spatial information of the real entity and the virtual entity,
Interpreting the interaction,
And retrieving a simulation for interacting with the virtual entity based on the interaction information. 청구항 7에 있어서,
상기 상호 작용을 위한 시뮬레이션을 검색하는 단계 이후, 상기 상호작용 정보의 상호작용 방향 또는 공간정보를 이용하여 접촉, 충돌 등의 상호작용을 해석하는 단계를 더 포함하는 것을 특징으로 하는 입체 영상 생성 방법.The method according to claim 7,
And after the searching for the simulation for the interaction, analyzing the interaction such as contact or collision by using the interaction direction or spatial information of the interaction information. 청구항 8에 있어서,
상기 상호 작용을 위한 시뮬레이션을 검색하는 단계에서, 상기 가상 개체에 대한 상호 작용을 위한 시뮬레이션이 존재하는 경우,
상기 가상 개체, 상호작용 방향, 공간 정보에 따라 시뮬레이션을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 입체 영상 생성 방법.
The method according to claim 8,
In the step of searching for the simulation for the interaction, if there is a simulation for the interaction with the virtual entity,
And performing simulation according to the virtual object, the interaction direction, and the spatial information.
청구항 1에 있어서,
상기 입체영상을 생성하는 단계는,
상기 가상개체와 실제 개체와의 상호작용 결과를 이용하여 입체 영상을 생성하되,
상호작용 시나리오가 존재하는 경우, 상기 가상 개체에 상기 상호작용 시나리오를 합성하여 새로운 입체영상 생성하고,
시뮬레이션이 존재하는 경우, 상기 가상 개체에 대한 시뮬레이션을 구성하여 새로운 입체영상을 생성하는 것을 특징으로 하는 입체 영상 생성 방법.The method according to claim 1,
Generating the stereoscopic image,
Generate a stereoscopic image using the result of the interaction between the virtual object and the real object,
If there is an interaction scenario, a new stereoscopic image is generated by synthesizing the interaction scenario with the virtual entity,
If a simulation exists, a stereoscopic image generation method comprising generating a new stereoscopic image by configuring a simulation on the virtual object. 표시영상에 대한 입체 영상의 공간 정보와 사용자 공간에 대한 사용자 뷰 공간 정보를 이용하여 피드백 공간을 계산하는 공간 인식부;
상기 피드백 공간내의 실제 개체 및 가상 개체를 인식하고 인식된 상기 실제 개체 및 가상 개체의 공간 정보를 추출하는 개체 인식부;
상기 실제 개체 및 가상 개체의 공간 정보를 이용하여 상호작용 가능 여부를 판단하고, 그 판단 결과에 따라 상호작용을 해석하는 상호 작용 해석부; 및
해석된 상기 상호작용의 결과에 따라 새로운 입체영상을 생성하는 이미지 생성부를 포함하는 것을 특징으로 하는 입체 영상 생성 장치.A spatial recognizer configured to calculate a feedback space using spatial information of a stereoscopic image of the display image and user view space information of the user space;
An object recognition unit recognizing a real object and a virtual object in the feedback space and extracting spatial information of the recognized real object and virtual object;
An interaction analysis unit which determines whether the interaction is possible using the spatial information of the real object and the virtual object, and analyzes the interaction according to the determination result; And
And an image generator for generating a new stereoscopic image according to the analyzed result of the interaction. 청구항 11에 있어서,
상기 상호작용 가능 여부를 판단하는 것은,
상기 피드백 공간 내에 기 설정된 상호작용 가능 공간과 상기 피드백 공간내의 실제 개체 사이의 거리를 비교하여 판단하는 것을 특징으로 하는 입체 영상 생성 장치.The method of claim 11,
Determining whether the interaction is possible,
And determining a distance by comparing a distance between a preset interactable space in the feedback space and a real object in the feedback space. 청구항 12에 있어서,
상기 상호작용 해석부는,
상기 상호작용 가능 공간과 상기 피드백 공간내의 실제 개체와의 거리를 측정하고, 상기 상호작용 가능 공간과 상기 실제 개체 사이의 거리가 상호작용이 가능한 상태인 경우, 상호작용 정보를 생성하는 것을 특징으로 하는 입체 영상 생성 장치.The method of claim 12,
The interaction analysis unit,
Measure the distance between the interactable space and the real object in the feedback space, and generate interaction information when the distance between the interactable space and the real object is in an interactive state; Stereoscopic image generating device. 청구항 13에 있어서,
상기 상호작용 정보는 상기 실제 개체와 가상 개체의 상호작용 방향, 공간 정보를 포함하고,
상기 상호작용 해석부는,
상기 상호작용 정보를 근거로 상기 가상 개체에 대한 상호작용 시나리오를 검색하는 것을 특징으로 하는 입체 영상 생성 장치.The method according to claim 13,
The interaction information includes the interaction direction and spatial information of the real entity and the virtual entity,
The interaction analysis unit,
And an interaction scenario for the virtual entity is searched based on the interaction information. 청구항 14에 있어서,
상기 상호작용 해석부는,
상기 상호작용 정보의 상호작용 방향 또는 공간정보를 이용하여 접촉, 충돌 등의 상호작용을 해석하는 것을 특징으로 하는 입체 영상 생성 장치.The method according to claim 14,
The interaction analysis unit,
And an interaction such as a contact or a collision, using the interaction direction or spatial information of the interaction information. 청구항 15에 있어서,
상기 상호작용 해석부는,
상기 상호작용 시나리오가 존재하는 경우,
상기 가상 개체, 상호작용 방향, 공간 정보에 따라 상호작용 시나리오 영상을 저장하는 것을 특징으로 하는 입체 영상 생성 장치.The method according to claim 15,
The interaction analysis unit,
If the interaction scenario exists,
And an interaction scenario image is stored according to the virtual entity, interaction direction, and spatial information. 청구항 14에 있어서,
상기 상호작용 정보는 상기 실제 개체와 가상 개체의 상호작용 방향, 공간 정보를 포함하고,
상기 상호작용 해석부는,
상기 상호작용 정보를 근거로 상기 가상 개체에 대한 상호 작용을 위한 시뮬레이션을 검색하는 것을 특징으로 하는 입체 영상 생성 장치.The method according to claim 14,
The interaction information includes the interaction direction and spatial information of the real entity and the virtual entity,
The interaction analysis unit,
And a search for a simulation for interacting with the virtual object based on the interaction information. 청구항 17에 있어서,
상기 상호작용 해석부는,
상기 가상 개체에 대한 상호 작용을 위한 시뮬레이션이 존재하는 경우,
상기 가상 개체, 상호작용 방향, 공간 정보에 따라 시뮬레이션을 수행하는 것을 특징으로 하는 입체 영상 생성 장치.18. The method of claim 17,
The interaction analysis unit,
If a simulation exists for interaction with the virtual entity,
And generating a simulation according to the virtual object, the interaction direction, and the spatial information. 청구항 11에 있어서,
상기 이미지 생성부는,
상기 가상개체와 실제 개체와의 상호작용 결과를 이용하여 입체 영상을 생성하되,
상호작용 시나리오가 존재하는 경우, 상기 가상 개체에 상기 상호작용 시나리오를 합성하여 새로운 입체영상 생성하고,
시뮬레이션이 존재하는 경우, 상기 가상 개체에 대한 시뮬레이션을 구성하여 새로운 입체영상을 생성하는 것을 특징으로 하는 입체 영상 생성 장치.The method of claim 11,
The image generator,
Generate a stereoscopic image using the result of the interaction between the virtual object and the real object,
If there is an interaction scenario, a new stereoscopic image is generated by synthesizing the interaction scenario with the virtual entity,
If there is a simulation, the stereoscopic image generating apparatus, characterized in that for generating a new stereoscopic image by configuring the simulation for the virtual object.
KR1020100029957A 2009-12-18 2010-04-01 Method and apparatus to generate a stereo video interact with the objects in real-world KR20110070681A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/968,742 US20110149042A1 (en) 2009-12-18 2010-12-15 Method and apparatus for generating a stereoscopic image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090126718 2009-12-18
KR20090126718 2009-12-18

Publications (1)

Publication Number Publication Date
KR20110070681A true KR20110070681A (en) 2011-06-24

Family

ID=44402155

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100029957A KR20110070681A (en) 2009-12-18 2010-04-01 Method and apparatus to generate a stereo video interact with the objects in real-world

Country Status (1)

Country Link
KR (1) KR20110070681A (en)

Similar Documents

Publication Publication Date Title
US20110149042A1 (en) Method and apparatus for generating a stereoscopic image
KR101876419B1 (en) Apparatus for providing augmented reality based on projection mapping and method thereof
JP5976019B2 (en) Theme-based expansion of photorealistic views
US8933931B2 (en) Distributed asynchronous localization and mapping for augmented reality
KR20210047278A (en) AR scene image processing method, device, electronic device and storage medium
JP6340017B2 (en) An imaging system that synthesizes a subject and a three-dimensional virtual space in real time
CN103810353A (en) Real scene mapping system and method in virtual reality
CN107066082A (en) Display methods and device
JP5055214B2 (en) Image processing apparatus and image processing method
CN107850936A (en) For the method and system for the virtual display for providing physical environment
KR20190129095A (en) Mixed Reality System with Multi-Source Virtual Content Synthesis and Method of Creating Virtual Content Using Them
CN112154405A (en) Three-dimensional push notification
KR101710000B1 (en) 3D interface device and method based motion tracking of user
KR20210114365A (en) Method and apparatus for providing virtual room
JP7150894B2 (en) AR scene image processing method and device, electronic device and storage medium
CN116097316A (en) Object recognition neural network for modeless central prediction
US20200211275A1 (en) Information processing device, information processing method, and recording medium
CN110313021B (en) Augmented reality providing method, apparatus, and computer-readable recording medium
WO2023120770A1 (en) Method and apparatus for interaction between cognitive mesh information generated in three-dimensional space and virtual objects
KR102388715B1 (en) Apparatus for feeling to remodeling historic cites
KR20110070681A (en) Method and apparatus to generate a stereo video interact with the objects in real-world
CN111176427B (en) Three-dimensional space drawing method based on handheld intelligent device and handheld intelligent device
KR100731266B1 (en) Signal process method and apparatus for 3 dimension image
KR20210042476A (en) Augmented reality providing method and system using projection technology
Raajan et al. Mixed augmented reality systems for real world integration

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application