KR101740728B1

KR101740728B1 - System and Device for Displaying of Video Data

Info

Publication number: KR101740728B1
Application number: KR1020100038192A
Authority: KR
Inventors: 김재형; 홍종철; 권봉기
Original assignee: 주식회사 비즈모델라인
Priority date: 2010-04-23
Filing date: 2010-04-23
Publication date: 2017-05-29
Also published as: KR20110118530A

Abstract

본 발명은 영상 데이터 출력 시스템에 관한 것으로, 사용자의 시선을 추적하는 시선 추적 센서를 구비한 영상 출력 장치와 연동하는 시스템에 있어서, 카메라를 통해 촬영되는 실사 영상을 판독하여 상기 실사 영상에 포함된 N(N>1)개의 객체를 식별하고 상기 식별된 N개의 객체 중 영상 출력 장치를 통해 현재 출력되는 영상 데이터에 포함된 n(1≤n≤N)개의 객체를 식별하는 객체 식별수단 및 상기 시선 추적 센서를 통해 상기 영상 데이터를 바라보는 사용자의 시선을 추적하여 상기 영상 데이터 상에 사용자의 시선이 집중되는 시선 집중 영역을 확인하고 상기 식별된 n개의 객체 중 상기 시선 집중 영역에 대응되는 적어도 하나의 시선 집중 객체를 검출하는 시선 집중 객체 검출수단을 구비하며, 상기 검출된 시선 집중 객체의 선명도를 카메라 촬영 시점의 기본 선명도보다 선명하게 출력되도록 처리하는 오토포커싱 처리수단과, 상기 검출된 시선 집중 객체와 다른 객체의 깊이를 비교하여 i(0≤i≤(n-1))개의 블러링(Blurring) 대상을 결정하고 상기 블러링 대상의 선명도를 카메라 촬영 시점의 기본 선명도보다 감소시켜 블러링 되도록 처리하는 블러링 처리수단 중 적어도 하나를 더 구비하여 이루어진다.The present invention relates to a video data output system, and more particularly, to a video data output system having a visual track sensor for tracking a user's eyes, the video data output system comprising: (1? N? N) objects included in the image data currently output through the video output device among the identified N objects (N? 1) The method includes tracking a line of sight of a user looking at the image data through a sensor to identify a line-of-sight region in which a user's line of sight is concentrated on the image data, determining at least one line of sight And a line-of-sight concentrated object detecting means for detecting a concentrated object, wherein the sharpness of the detected line- (0? I? (N-1)) of blurring objects by comparing depths of the detected line-of-sight focusing objects with those of other objects And blurring processing means for blurring the sharpness of the object to be blurred by reducing the sharpness of the object to be blurred from the basic sharpness at the time of photographing the camera.

Description

Technical Field [0001] The present invention relates to a video data output system,

본 발명은 사용자의 시선을 추적하는 시선 추적 센서를 구비한 영상 출력 장치와 연동하는 시스템에 있어서, 카메라를 통해 촬영되는 실사 영상을 판독하여 상기 실사 영상에 포함된 N(N>1)개의 객체를 식별하고 상기 식별된 N개의 객체 중 영상 출력 장치를 통해 현재 출력되는 영상 데이터에 포함된 n(1≤n≤N)개의 객체를 식별하는 객체 식별수단 및 상기 시선 추적 센서를 통해 상기 영상 데이터를 바라보는 사용자의 시선을 추적하여 상기 영상 데이터 상에 사용자의 시선이 집중되는 시선 집중 영역을 확인하고 상기 식별된 n개의 객체 중 상기 시선 집중 영역에 대응되는 적어도 하나의 시선 집중 객체를 검출하는 시선 집중 객체 검출수단을 구비하며, 상기 검출된 시선 집중 객체의 선명도를 카메라 촬영 시점의 기본 선명도보다 선명하게 출력되도록 처리하는 오토포커싱 처리수단과, 상기 검출된 시선 집중 객체와 다른 객체의 깊이를 비교하여 i(0≤i≤(n-1))개의 블러링(Blurring) 대상을 결정하고 상기 블러링 대상의 선명도를 카메라 촬영 시점의 기본 선명도보다 감소시켜 블러링 되도록 처리하는 블러링 처리수단 중 적어도 하나를 더 구비하여 이루어지는 영상 데이터 출력 시스템에 관한 것이다.A system for interfacing with a video output device having a line-of-sight sensor for tracking a line of sight of a user, the system comprising: means for reading a real image captured through a camera and storing N (N> 1) Object identification means for identifying n (1? N? N) objects included in the image data currently output through the video output device among the identified N objects, and means for identifying A line-of-sight convergence object for tracking at least one line-of-sight convergence object corresponding to the line-of-sight convergence area among the identified n objects by tracking a user's line of sight, Detecting means for detecting the sharpness of the detected eye-focused object so that the sharpness of the detected eye- (N-1) blurring objects by comparing the detected depth-of-focus objects with depths of other objects to determine blurring objects of i (0? I? (N-1) And a blurring processing means for processing the blurred image data so that the blurred image data is blurred by reducing the basic sharpness at the time of camera shooting.

영상 편집 기술과 정보 통신 기술이 융합되면서 대부분의 영상 출력 장치는 디지털 영상을 출력하는 기능을 구비하고 있다. 예를들어, 최근 영화관에서 상영하는 영화도 종래 영화 필름에서 점차 영화 컨텐츠 파일 형태로 배급되고 있다.
Most image output devices have a function of outputting digital images as a result of fusion of image editing technology and information communication technology. For example, movies that have recently been screened in movie theaters are gradually being distributed in the form of movie content files in conventional movie films.

한편 사용자가 감상하는 대부분의 영상은 영상 편집자가 편집한 영상을 그대로 출력하는 일방향적 영상을 포함하고 있다. 최근 이와 같은 문제를 해결하고자 영상 데이터 안에 사용자와 상호 작용할 수 있는 기능을 구비한 맞춤형 영상 서비스가 제공되고 있다. 예를들어, 일부 DVD의 경우 사용자가 영상 내에 포함된 각종 정보를 확인할 수 있는 인터페이스 기능을 포함하고 있다.
On the other hand, most of the images that the user enjoys include unidirectional images that directly output edited images by the image editor. In order to solve such a problem, a customized image service having a function of interacting with a user in image data is provided. For example, some DVDs include an interface function that allows the user to check various information contained in the video.

그러나 사용자와 영상 간 상호 작용 기능은 거의 이용되지 않고 있다. 이것은 상기 사용자와 영상 간 상호 작용 기능이 복잡한 이유도 있지만, 대부분의 사용자가 영상을 감상하기 전 또는 감상 중에 무엇인가를 조작하는 것을 꺼리기 때문이며, 영상을 감상한 후에는 더 이상 해당 영상에 흥미를 잃기 때문이다.
However, the interaction between users and images is rarely used. This is because the interaction function between the user and the image is complicated, but most users are reluctant to manipulate something before or during viewing the image. After viewing the image, the user is no longer interested in the image Because.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 사용자의 시선을 추적하는 시선 추적 센서를 구비한 영상 출력 장치와 연동하는 시스템에 있어서, 카메라를 통해 촬영되는 실사 영상을 판독하여 상기 실사 영상에 포함된 N(N>1)개의 객체를 식별하고 상기 식별된 N개의 객체 중 영상 출력 장치를 통해 현재 출력되는 영상 데이터에 포함된 n(1≤n≤N)개의 객체를 식별하는 객체 식별수단 및 상기 시선 추적 센서를 통해 상기 영상 데이터를 바라보는 사용자의 시선을 추적하여 상기 영상 데이터 상에 사용자의 시선이 집중되는 시선 집중 영역을 확인하고 상기 식별된 n개의 객체 중 상기 시선 집중 영역에 대응되는 적어도 하나의 시선 집중 객체를 검출하는 시선 집중 객체 검출수단을 구비하며, 상기 검출된 시선 집중 객체의 선명도를 카메라 촬영 시점의 기본 선명도보다 선명하게 출력되도록 처리하는 오토포커싱 처리수단과, 상기 검출된 시선 집중 객체와 다른 객체의 깊이를 비교하여 i(0≤i≤(n-1))개의 블러링(Blurring) 대상을 결정하고 상기 블러링 대상의 선명도를 카메라 촬영 시점의 기본 선명도보다 감소시켜 블러링 되도록 처리하는 블러링 처리수단 중 적어도 하나를 더 구비하여 이루어지는 영상 데이터 출력 시스템을 제공함에 있다.In order to solve the above problems, an object of the present invention is to provide a system for interfacing with a video output device having a visual tracker for tracking a user's eyes, Object identification means for identifying n (1? N? N) objects included in the image data currently output through the video output device among the identified N objects, A line-of-sight sensor for tracking a line of sight of the user looking at the image data to identify a line-of-sight region in which the user's line of sight is concentrated on the image data, And a line-of-sight concentrated object detecting means for detecting one line-focused object, wherein the sharpness of the detected line- (I) (0? I? (N-1)) of blurring objects to be compared with the depths of other objects, And blurring processing means for determining the blurring object to be blurred by reducing the sharpness of the blurring object to a value lower than the basic sharpness of the camera shooting time.

삭제delete

본 발명에 따른 영상 데이터 출력 시스템은, 사용자의 시선을 추적하는 시선 추적 센서를 구비한 영상 출력 장치와 연동하는 시스템에 있어서, 카메라를 통해 촬영되는 실사 영상을 판독하여 상기 실사 영상에 포함된 N(N>1)개의 객체를 식별하고 상기 식별된 N개의 객체 중 영상 출력 장치를 통해 현재 출력되는 영상 데이터에 포함된 n(1≤n≤N)개의 객체를 식별하는 객체 식별수단 및 상기 시선 추적 센서를 통해 상기 영상 데이터를 바라보는 사용자의 시선을 추적하여 상기 영상 데이터 상에 사용자의 시선이 집중되는 시선 집중 영역을 확인하고 상기 식별된 n개의 객체 중 상기 시선 집중 영역에 대응되는 적어도 하나의 시선 집중 객체를 검출하는 시선 집중 객체 검출수단을 구비하며, 상기 검출된 시선 집중 객체의 선명도를 카메라 촬영 시점의 기본 선명도보다 선명하게 출력되도록 처리하는 오토포커싱 처리수단과, 상기 검출된 시선 집중 객체와 다른 객체의 깊이를 비교하여 i(0≤i≤(n-1))개의 블러링(Blurring) 대상을 결정하고 상기 블러링 대상의 선명도를 카메라 촬영 시점의 기본 선명도보다 감소시켜 블러링 되도록 처리하는 블러링 처리수단 중 적어도 하나를 더 구비하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 영상 데이터 출력 시스템에 있어서, 상기 n개의 객체에 대한 사용자 시선 방향의 깊이(Depth)에 대응하는 객체 깊이 값을 결정하는 정보 결정수단을 더 구비하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 영상 데이터 출력 시스템에 있어서, 상기 블러링 처리수단은, 상기 시선 집중 객체와 i개의 객체 간 깊이 차이에 비례하여 상기 i개의 객체가 차등적으로 블러링 되도록 처리하는 것을 특징으로 한다.
본 발명에 따른 영상 데이터 출력 시스템에 있어서, 상기 영상 데이터는, 양안시차에 의한 입체감을 표시하는 3D 카메라를 통해 촬영된 실사 영상을 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 영상 데이터 출력 시스템에 있어서, 상기 시선 집중 객체 검출수단을 통해 검출된 시선 집중 객체에 대응하는 사운드 데이터를 증폭시키거나 또는 음성의 분별력을 향상시키는 사운드 조정수단을 더 구비하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 영상 출력 장치는, 사용자의 시선을 추적하는 시선 추적 센서를 구비한 영상 출력 장치에 있어서, 카메라를 통해 촬영되는 실사 영상을 판독하여 상기 실사 영상에 포함된 N(N>1)개의 객체를 식별하고 상기 식별된 N개의 객체 중 영상 출력 장치를 통해 현재 출력되는 영상 데이터에 포함된 n(1≤n≤N)개의 객체를 식별하는 객체 식별부와 상기 시선 추적 센서를 통해 상기 영상 데이터를 바라보는 사용자의 시선을 추적하여 상기 영상 데이터 상에 사용자의 시선이 집중되는 시선 집중 영역을 확인하고 상기 식별된 n개의 객체 중 상기 시선 집중 영역에 대응되는 적어도 하나의 시선 집중 객체를 검출하는 시선 집중 객체 검출부를 구비하며, 상기 검출된 시선 집중 객체의 선명도를 카메라 촬영 시점의 기본 선명도보다 선명하게 출력되도록 처리하는 오토포커싱 처리부와, 상기 검출된 시선 집중 객체와 다른 객체의 깊이를 비교하여 i(0≤i≤(n-1))개의 블러링(Blurring) 대상을 결정하고 상기 블러링 대상의 선명도를 카메라 촬영 시점의 기본 선명도보다 감소시켜 블러링 되도록 처리하는 블러링 처리부 중 적어도 하나를 더 구비하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 영상 출력 장치에 있어서, 상기 n개의 객체에 대한 사용자 시선 방향의 깊이(Depth)에 대응하는 객체 깊이 값을 결정하는 정보 결정부를 더 구비하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 영상 출력 장치에 있어서, 상기 블러링 처리부는, 상기 시선 집중 객체와 i개의 객체 간 깊이 차이에 비례하여 상기 i개의 객체가 차등적으로 블러링 되도록 처리하는 것을 특징으로 한다.
본 발명에 따른 영상 데이터 출력 시스템은, 사용자의 시선을 추적하는 시선 추적 센서를 구비한 영상 출력 장치와 연결된 서버의 영상 데이터 출력 시스템에 있어서, 영상 데이터의 비디오 데이터를 기반으로 상기 영상 데이터의 각 장면을 식별하는 장면 식별 정보와 상기 영상 데이터에 포함된 N(N>1)개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면 별 n(1≤n≤N)개의 객체 정보 및 각 장면 별 n개의 객체에 대한 사용자 시선 방향의 깊이(Depth)에 대응하는 객체 깊이 값을 결정하는 정보 결정수단과, 상기 결정된 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 상기 영상 데이터와 연결하여 영상매체에 저장(또는 전달)하는 영상매체 운영수단과, 상기 영상 출력 장치를 통해 상기 영상 데이터 출력 시, 상기 장면 식별 정보를 통해 상기 출력되는 영상 데이터의 장면을 식별하고, 상기 장면에 포함된 n개의 객체를 식별하는 객체 식별수단과, 상기 시선 추적 센서를 통해 사용자의 시선을 추적하여 상기 n개의 객체 중 상기 사용자의 시선이 집중되는 어느 하나의 시선 집중 객체를 검출하는 시선 집중 객체 검출수단과, 상기 검출된 시선 집중 객체를 오토포커싱(Autofocussing)하는 오토포커싱 처리수단과, 상기 장면에 포함된 시선 집중 객체와 (n-1)개의 객체의 깊이를 비교하여 상기 시선 집중 객체의 깊이를 기준으로 i(0≤i≤(n-1))개의 블러링(Blurring) 대상 객체를 결정하는 블러링 대상 결정수단과, 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 상기 i개의 블러링 대상 객체를 블러링하는 블러링 처리수단을 구비한다.A video data output system according to the present invention is a system for interoperating with a video output device having a visual tracker for tracking a user's gaze, the system comprising: Object identification means for identifying N (1? N? N) objects included in image data currently output through the video output apparatus among the N objects identified; A visual line concentrated area in which a user's gaze is concentrated on the image data is tracked by tracking a line of sight of the user looking at the image data through at least one of the identified n objects, And a line-of-sight concentrated object detecting means for detecting an object, wherein the sharpness of the detected line- (0? I? (N-1)) of blurring objects are determined by comparing the detected depth of focus and the depth of another object Further comprising at least one of blurring processing means for blurring the blurring object by reducing the sharpness of the blurring object from the basic sharpness of the camera shooting time.
The image data output system according to the present invention may further comprise an information determination unit for determining an object depth value corresponding to a depth of a user's gaze direction of the n objects.
In the image data output system according to the present invention, the blurring processing means performs processing such that the i objects are differentially blurred in proportion to a depth difference between the line-focused object and the i objects.
In the image data output system according to the present invention, the image data may include a real image photographed through a 3D camera displaying a three-dimensional effect due to binocular parallax.
The image data output system according to the present invention may further comprise sound adjusting means for amplifying sound data corresponding to the line focused object detected through the line focused object detecting means or improving discriminating power of the sound .
A video output apparatus according to the present invention is a video output apparatus having a line-of-sight sensor for tracking a line of sight of a user. The video output apparatus reads out a real image captured through a camera, An object identification unit for identifying an object and identifying n (1? N? N) objects included in the image data currently output through the video output apparatus among the identified N objects; A line-of-sight region in which a user's line of sight is concentrated on the image data, and a line-of-sight detecting unit that detects at least one line-of-sight concentration object corresponding to the line- And a concentrated object detecting unit, wherein the sharpness of the detected focused line-focused object is made clear so as to be clearer than the basic sharpness of the camera shooting time (N-1)) blurring objects by comparing depths of the detected line-of-sight-focused objects with other objects to determine the blurring object's sharpness And a blurring processing unit for blurring the blurred image by reducing it to a basic sharpness at the time of camera shooting.
The image output apparatus according to the present invention is further characterized by an information determination unit for determining an object depth value corresponding to a depth of a user's gaze direction of the n objects.
In the video output apparatus according to the present invention, the blurring processing unit performs processing such that the i objects are differentially blurred in proportion to the depth difference between the line-focused object and the i objects.
The video data output system according to the present invention is a video data output system of a server connected to a video output device having a visual track sensor for tracking a user's gaze, (1? N? N) pieces of object information for each scene corresponding to the scene identification information among N (N> 1) objects included in the image data and n pieces of objects An object depth value corresponding to a depth of a user's gaze direction to a scene direction of the scene, and an object determination unit for determining the determined scene identification information, n object information for each scene and n object depth values for each scene, (Or transmitting) the image data to an image medium, and when the image data is outputted through the image output device, Object identification means for identifying a scene of the output image data through information and for identifying n objects included in the scene, and means for tracking a user's gaze through the gaze tracking sensor, Eye focusing object detecting means for detecting any one eye focusing object to which a line of sight is focused, autofocus processing means for autofocusing the detected line focusing object, Blurring object determining means for determining i (0? I? (N-1)) blurring target objects based on the depth of the line-of-sight focusing object by comparing depths of the objects And blurring processing means for blurring the i-blurred object in proportion to a depth difference between the eye-focused object and the i-blurred object.

본 발명에 따르면, 상기 영상 데이터 출력 시스템에서 상기 정보 결정수단은 상기 각 장면 별 n개의 객체 중 상기 영상 데이터의 오디오 데이터를 기반으로 각 장면 별 사운드와 연관된 n’(0≤n’≤n)개의 사운드 객체 정보와 상기 n’개의 사운드 객체 별 사운드 데이터를 더 결정하고, 상기 영상매체 운영수단은 상기 n’개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터를 상기 영상 데이터와 연결하여 상기 영상매체에 유지시킬 수 있다..
According to the present invention, in the video data output system, the information determination means determines n '(0? N? N) number of audio data related to sound of each scene based on audio data of the video data among n objects Wherein the sound object information and the sound data for each of the n 'sound objects are further determined, and the image medium operating means connects the n' sound object information and the sound data for each sound object to the image data, You can do it ..

본 발명에 따르면, 상기 영상 데이터 출력 시스템은, 상기 영상매체에 상기 영상 데이터의 각 장면 별 사운드와 연관된 n’(0≤n’≤n)개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터가 유지되는 경우, 상기 시선 집중 객체 검출수단을 통해 시선 집중 객체가 검출되면, 상기 시선 집중 객체가 상기 사운드 객체에 상응하는지 확인하는 사운드 객체 확인수단과, 시선 집중 사운드 객체가 확인되면, 상기 시선 집중 사운드 객체의 사운드 데이터를 증폭시키거나 또는 음성의 분별력을 향상시키는 사운드 조정수단을 더 구비할 수 있다.
According to the present invention, in the image data output system, n '(0? N? N) sound object information and sound data for each sound object associated with sound of each scene of the image data are held on the image medium A sound object confirmation means for confirming whether the line-of-sight concentration object corresponds to the sound object when the line-of-sight concentration object is detected through the line-of-sight concentrated object detection means; And sound adjusting means for amplifying the sound data or improving the discrimination power of the sound.

본 발명에 따르면, 상기 영상 데이터 출력 시스템에서 상기 사운드 조정수단은 상기 장면에 포함된 (n-1)개의 객체 중 상기 사운드 데이터와 연관되며 상기 시선 집중 사운드 객체를 제외한 j(0≤j≤(n-1))개의 사운드 객체를 결정한 후, 상기 시선 집중 사운드 객체와 상기 j개의 사운드 객체 간 깊이 차이에 비례하여 상기 j개의 사운드 객체의 사운드 데이터를 감소시키거나 또는 음성의 분별력을 감소시킬 수 있다.According to the present invention, in the image data output system, the sound adjusting means may be configured to select one of the (n-1) number of objects included in the scene, j (0? -1)) sound objects, and then reduce the sound data of the j sound objects or decrease the discrimination power of the sound in proportion to the depth difference between the line-focused sound object and the j sound objects.

본 발명에 따르면, 상기 영상 데이터 출력 시스템에서 상기 영상 데이터는 M(M>1)개의 서로 다른 결말을 포함하여 구성되며, 상기 정보 결정수단은 상기 각 장면 별 n개의 객체 중 상기 M개의 다른 결말과 연관된 n”(0≤n’≤n)개의 스토리 분기 객체 정보를 더 결정하고, 상기 영상매체 운영수단은 상기 n”개의 스토리 분기 객체 정보를 상기 영상 데이터와 연결하여 상기 영상매체에 유지시킬 수 있다.
According to the present invention, in the image data output system, the image data includes M (M > 1) different endings, and the information determination means determines the M different endings among the n objects Quot; n " (0 &le; n ' n) pieces of story branch object information, and the image medium operating means may connect the n & .

본 발명에 따르면, 상기 영상 데이터 출력 시스템은, 상기 영상매체에 상기 영상 데이터의 서로 다른 M(M>1)개의 결말과 연관된 n”(0≤n’≤n)개의 스토리 분기 객체 정보가 유지되는 경우, 상기 시선 집중 객체 검출수단을 통해 시선 집중 객체가 검출되면, 상기 시선 집중 객체가 상기 스토리 분기 객체에 상응하는지 확인하는 스토리 분기 객체 확인수단과, 시선 집중 스토리 분기 객체가 확인되면, 상기 영상 데이터의 결말을 상기 M개의 서로 다른 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 제m(1≤m≤M) 결말로 결정하는 스토리 분기수단을 더 구비할 수 있다.
According to the present invention, in the image data output system, n (0? N? N) pieces of story branch object information associated with different M (M> 1) endings of the image data are held in the image medium A story branch object checking unit for determining whether the line focused object corresponds to the story branch object when the line focused object is detected through the line focused object detecting unit; (1? M? M) ending associated with the line-of-sight concentrated story branch object among the M different ending points.

본 발명에 따르면, 상기 영상 데이터 출력 시스템에서 상기 영상 데이터는, 카메라를 통해 촬영된 실사 영상에 포함된 실사 객체의 식별이 가능한 실사 영상 데이터, 텍스쳐가 매핑/렌더링된 폴리곤으로 구성된 가상 영상에 포함된 폴리곤에 대응하는 가상 객체의 식별이 가능한 가상 영상 데이터, 상기 실사 영상과 가상 영상이 결합된 영상에 포함된 실사 객체와 가상 객체 중 적어도 하나의 객체 식별이 가능한 실사/가상 영상 데이터, 양안시차에 의한 입체감을 표시하는 3D 카메라를 통해 촬영된 실사 입체 영상에 포함된 실사 입체감 객체의 식별이 가능한 실사 입체 영상 데이터, 상기 양안시차에 의한 입체감이 표시되도록 구성된 폴리곤에 텍스쳐를 매핑/렌더링하여 구성된 가상 입체 영상에 포함된 가상 입체감 객체의 식별이 가능한 가상 입체 영상 데이터, 및 상기 실사 입체 영상과 가상 입체 영상이 결합된 입체 영상에 포함된 실사 입체감 객체와 가상 입체감 객체 중 적어도 하나의 입체감 객체의 식별이 가능한 실사/가상 입체 영상 데이터를 적어도 하나 포함할 수 있다.
According to the present invention, in the image data output system, the image data includes at least one of real image data capable of identifying a real image included in a real image captured through a camera, a virtual image including polygons mapped / Real image / virtual image data capable of identifying at least one of a real image object and a virtual object included in an image obtained by combining the real image and virtual image, real image / virtual image data capable of identifying a virtual object corresponding to the polygon, Real stereoscopic image data capable of identifying a real stereoscopic image object included in a real stereoscopic image photographed through a 3D camera displaying a stereoscopic effect, a virtual stereoscopic image formed by mapping / rendering a texture to a polygon configured to display a stereoscopic effect by the binocular disparity A virtual three-dimensional object Data, and the inspection three-dimensional image and the live-action three-dimensional object and a virtual three-dimensional possible that at least one of the identification of three-dimensional objects of the object inspection / virtual three-dimensional image data in the virtual three-dimensional image is a stereoscopic image combination may include at least one.

본 발명에 따른 영상 데이터 출력 시스템은, 영상 데이터의 비디오 데이터를 기반으로 각 장면을 식별하는 장면 식별 정보와 상기 영상 데이터에 포함된 N(N>1)개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면 별 n(1≤n≤N)개의 객체 정보 및 각 장면 별 n개의 객체에 대한 사용자 시선 방향의 깊이(Depth)를 표시하는 객체 깊이 값을 상기 영상 데이터와 연결하여 유지하는 영상매체와, 상기 영상 데이터 출력 시, 상기 영상 데이터의 각 장면에 포함된 n개의 객체를 식별하고, 시선 추적 센서를 통해 상기 n개의 객체 중 상기 사용자의 시선이 집중되는 어느 하나의 시선 집중 객체를 검출하여 오토포커싱(Autofocussing)하는 영상 출력 장치를 구비하며, 상기 영상매체는 상기 영상 데이터를 저장하는 저장매체 또는 상기 영상 데이터를 상기 영상 출력 장치로 전송하는 전달매체 중 적어도 하나를 포함한다.
The image data output system according to the present invention includes scene identification information for identifying each scene based on video data of image data, and scene identification information for identifying each scene corresponding to the scene identification information among N (N > 1) An image medium for holding n (1? N? N) object information for each scene and an object depth value indicating a depth of a user's gaze direction for n objects for each scene in association with the image data; Wherein when the image data is output, n objects included in each scene of the image data are identified, and any one of the n eyes focused on the user's gaze is detected through the gaze tracking sensor, Wherein the image medium includes a storage medium for storing the image data or the image data to the image output device And a transmission medium for transmitting the data.

본 발명에 따르면, 상기 영상 데이터 출력 시스템에서 상기 영상 출력 장치는 상기 시선 집중 객체와 (n-1)개의 객체의 깊이를 비교하여 상기 시선 집중 객체의 깊이를 기준으로 i(0≤i≤(n-1))개의 블러링(Blurring) 대상 객체를 결정하고, 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 상기 i개의 블러링 대상 객체를 블러링할 수 있다.
According to the present invention, in the image data output system, the image output apparatus compares depths of the line-of-sight focusing object and (n-1) objects and calculates i (0? I? -1) blurring target objects and blurring the i blurred objects in proportion to the difference in depth between the eye focused object and the i blurred object.

본 발명에 따른 영상 출력 장치는, 사용자의 시선을 추적하는 시선 추적 센서를 구비하고 영상매체로부터 전달되는 영상 데이터를 출력하는 영상 출력 장치에 있어서, 영상 데이터의 비디오 데이터를 기반으로 각 장면을 식별하는 장면 식별 정보와 상기 영상 데이터에 포함된 N(N>1)개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면 별 n(1≤n≤N)개의 객체 정보 및 각 장면 별 n개의 객체에 대한 사용자 시선 방향의 깊이(Depth)를 표시하는 객체 깊이 값을 확인하는 정보 확인부와, 상기 영상 데이터 출력 시, 상기 장면 식별 정보를 통해 상기 출력되는 영상 데이터의 장면을 식별하고, 상기 장면에 포함된 n개의 객체를 식별하는 객체 식별부와, 상기 시선 추적 센서를 통해 사용자의 시선을 추적하여 상기 n개의 객체 중 상기 사용자의 시선이 집중되는 어느 하나의 시선 집중 객체를 검출하는 시선 집중 객체 검출부와, 상기 검출된 시선 집중 객체를 오토포커싱(Autofocussing)하는 오토포커싱 처리부와, 상기 시선 집중 객체와 (n-1)개의 객체의 깊이를 비교하여 상기 시선 집중 객체의 깊이를 기준으로 i(0≤i≤(n-1))개의 블러링(Blurring) 대상 객체를 결정하는 블러링 대상 결정부와, 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 상기 i개의 블러링 대상 객체를 블러링하는 블러링 처리부를 구비할 수 있다.
A video output apparatus according to the present invention is a video output apparatus having a visual tracker for tracking a user's gaze and outputting video data transmitted from an image medium, wherein the video output apparatus identifies each scene based on video data of the video data (1? N? N) pieces of object information for each scene corresponding to the scene identification information among N (N > 1) objects included in the image data, And a scene depth determination unit for determining an object depth value indicating a depth of a line of sight direction, and a scene identification unit for identifying a scene of the output image data through the scene identification information at the time of outputting the image data, An object identification unit for identifying a plurality of objects, and an eye recognition unit for tracking a line of sight of the user through the eye tracking sensor, And an autofocusing unit for autofocusing the detected line-of-sight focusing object, and comparing depths of the line-of-sight focusing object and (n-1) A blurring object determining unit for determining i (0? I? (N-1)) blurring target objects based on the depth of the line-of-sight focused object; And a blurring processing unit for blurring the i objects to be blurred in proportion to the depth difference between them.

본 발명에 따르면, 영상 데이터에 포함된 복수의 객체 중 사용자의 시선이 집중되는 객체를 더욱 선명하게 출력하는 이점이 있다.
According to the present invention, there is an advantage that an object in which the user's line of sight is concentrated among a plurality of objects included in the image data is output more clearly.

본 발명에 따르면, 영상 데이터에 포함된 복수의 객체 중 사용자의 시선이 집중되는 객체와 연관된 사운드를 보다 명확하게 출력하는 이점이 있다.
According to the present invention, there is an advantage that a sound associated with an object in which a user's line of sight is concentrated among a plurality of objects included in image data is output more clearly.

본 발명에 따르면, 영상 데이터에 포함된 복수의 객체 중 사용자의 시선이 집중되는 객체와 연관된 결말이 출력되도록 하는 이점이 있다.
According to the present invention, there is an advantage that an ending associated with an object in which a user's line of sight is concentrated among a plurality of objects included in image data is output.

도 1은 본 발명의 실시 방법에 따른 영상 출력 시스템 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시 방법에 따른 영상 데이터의 오토포커싱/블러링 과정을 도시한 도면이다.
도 3은 본 발명의 일 실시 방법에 따른 영상 데이터의 사운드 조정 과정을 도시한 도면이다.
도 4는 본 발명의 일 실시 방법에 따른 영상 데이터의 스토리 분기 과정을 도시한 도면이다.
도 5는 본 발명의 실시 방법에 따른 영상 출력 장치 구성을 도시한 도면이다.
도 6은 본 발명의 다른 일 실시 방법에 따른 영상 데이터의 오토포커싱/블러링 과정을 도시한 도면이다.
도 7은 본 발명의 다른 일 실시 방법에 따른 영상 데이터의 사운드 조정 과정을 도시한 도면이다.
도 8은 본 발명의 다른 일 실시 방법에 따른 영상 데이터의 스토리 분기 과정을 도시한 도면이다.1 is a diagram illustrating a configuration of a video output system according to an embodiment of the present invention.
2 is a diagram illustrating a process of autofocusing / blurring image data according to an embodiment of the present invention.
3 is a diagram illustrating a process of adjusting sound of image data according to an embodiment of the present invention.
4 is a diagram illustrating a story branching process of image data according to an embodiment of the present invention.
5 is a diagram showing a configuration of a video output apparatus according to an embodiment of the present invention.
6 is a diagram illustrating a process of autofocusing / blurring image data according to another embodiment of the present invention.
7 is a diagram illustrating a process of adjusting sound of image data according to another embodiment of the present invention.
8 is a diagram illustrating a story branching process of video data according to another embodiment of the present invention.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
The operation principle of the preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings and description. It should be understood, however, that the drawings and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention, and are not to be construed as limiting the present invention. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The terms used below are defined in consideration of the functions of the present invention, which may vary depending on the user, intention or custom of the operator. Therefore, the definition should be based on the contents throughout the present invention.

아울러 하기에 도시되는 실시예에서 본 발명의 기술적 특징을 보다 명확하게 설명하기 위해 개수를 N, n, M, i, j 등의 식별부호로 표시하거나, 각 용어의 서두에 "제m"와 같은 형태의 식별부호를 첨부하여 설명할 것이나, 상기 식별부호는 각 용어를 식별하기 위한 것일 뿐 상기 식별부호에 의해 각 용어가 다른 기능과 역할을 수행하는 것으로 구별 또는 한정되는 것은 결코 아님을 명백하게 밝혀두는 바이다.
In order to more clearly illustrate the technical features of the present invention in the embodiments shown below, the number may be represented by an identification code such as N, n, M, i, j, It is to be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention as defined in the appended claims. Come on.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
As a result, the technical idea of the present invention is determined by the claims, and the following embodiments are merely means for effectively explaining the technical idea of the present invention to a person having ordinary skill in the art to which the present invention belongs Only.

도면1은 본 발명의 실시 방법에 따른 영상 데이터 출력 시스템 구성을 도시한 도면이다.
FIG. 1 is a diagram showing a configuration of a video data output system according to an embodiment of the present invention.

보다 상세하게 본 도면1은 사용자의 시선을 추적하여 영상 데이터의 각 장면에 포함된 n(n≥1)개의 객체 중 사용자의 시선이 집중되는 시선 집중 객체를 오토포커싱(Autofocussing)하되, 상기 사용자의 시선 방향에 대한 깊이 차이에 따라 상기 (n-1)개의 객체 중 i(0≤i≤(n-1))개의 객체를 상기 시선 집중 객체와의 깊이(Depth) 차이에 따라 블러링(Blurring)하는 시스템 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 영상 데이터 출력 시스템 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
In more detail, FIG. 1 illustrates a method of autofocusing a gaze focused object in which a user's gaze is concentrated among n (n? 1) objects included in each scene of the image data by tracking a user's gaze, (0? I? (N-1)) of the (n-1) objects are blurred according to the depth difference with the line-of- The present invention is not limited thereto and various changes and modifications may be made without departing from the scope of the present invention by those skilled in the art by referring to and / It is to be understood that the invention may be practiced otherwise than as specifically described herein, but it is to be understood and appreciated that the invention includes all such contemplated embodiments, This feature is not limited.

예컨대, 본 도면1에서 상기 영상 데이터 출력 시스템을 구성하는 각각의 수단들은 어느 하나의 서버에 구비되는 서버 구성요소 형태로 구현되거나, 또는 각 수단이 별도의 서버 형태로 구현되거나, 또는 두개 이상의 수단이 조합되어 서버 형태로 구현되거나, 또는 일부 수단은 서버 형태로 구현되고 나머지 수단은 서버의 구성요소 형태로 구현되거나, 또는 일수 수단은 서버 형태(또는 서버의 구성요소 형태)로 구현되고 나머지 수단은 영상 출력 장치(170)에 구현되는 것이 모두 가능하며, 상기 수단들의 구현 방식에 의해 본 발명이 한정되지 아니함을 명백하게 밝혀두는 바이다.
For example, in FIG. 1, each means constituting the image data output system may be implemented in the form of a server component provided in any one of the servers, or each means may be implemented as a separate server, or two or more means Alternatively, some of the means may be implemented in the form of a server and the remaining means may be implemented in the form of a component of the server, or the day means may be implemented in the form of a server (or a component of the server) Output device 170. It is evident that the present invention is not limited by the implementation of the above means.

본 발명에 따르면, 상기 영상 데이터 출력 시스템은, 영상 데이터의 비디오 데이터와 오디오 데이터를 출력하는 영상 출력 장치(170)와, 상기 영상 출력 장치(170)를 통해 출력할 영상 데이터를 저장하고, 상기 영상 데이터를 상기 영상 출력 장치(170)로 전달하여 출력시키는 영상매체 운영수단(100)을 구비하며, 본 발명의 실시 방법에 따라 상기 영상매체 운영수단(100) 측에 상기 본 발명에 따른 수단들이 구비되거나, 또는 상기 본 발명에 따른 수단 중 일부는 상기 영상매체 운영수단(100) 측에 구비되고 나머지 일부는 영상 출력 장치(170) 측에 구비되는 형태로 상기 영상 데이터 출력 시스템을 구현한다. 본 도면1은 편의상 상기 본 발명에 따른 수단들이 상기 영상매체 운영수단(100) 측에 구비되는 것으로 도시하여 본 발명의 특징을 설명하기로 한다.
According to the present invention, the video data output system includes a video output device 170 for outputting video data and audio data of video data, and a video output device 170 for storing video data to be outputted through the video output device 170, And an image medium operating means 100 for transmitting data to the image output apparatus 170 and outputting the data to the image output apparatus 170. According to the embodiment of the present invention, Or a part of the means according to the present invention is provided on the side of the image medium operating means 100 and the remaining part of the means is provided on the side of the video output device 170. 1, for the sake of convenience, features of the present invention will be described by showing that the means according to the present invention is provided on the side of the image medium operating means 100. FIG.

상기 영상매체 운영수단(100)은 상기 영상 출력 장치(170)로 출력할 비디오 데이터와 오디오 데이터를 포함하는 영상 데이터를 저장하는 저장매체(105)와, 상기 영상 데이터를 상기 영상 출력 장치(170)로 전달하는 전달매체(110)를 포함하며, 상기 영상 데이터는 상기 저장매체(105)에 저장되고 상기 전달매체(110)를 통해 전달 가능한 영상 데이터 구조를 포함한다.
The image medium operating unit 100 includes a storage medium 105 for storing image data including video data and audio data to be output to the image output apparatus 170, And the image data is stored in the storage medium 105 and includes an image data structure that can be transmitted through the transmission medium 110. [

본 발명에 따르면, 상기 영상 데이터는, 카메라를 통해 촬영된 실사 영상에 포함된 실사 객체의 식별이 가능한 실사 영상 데이터를 포함할 수 있다. 여기서, 상기 실사 영상 데이터는 카메라를 통해 피사체를 촬영하고 필요에 따라 일련의 편집 과정을 거친 모든 영상 데이터를 포함한다.
According to the present invention, the image data may include real image data capable of identifying a real image object included in the real image photographed through the camera. Here, the real image data includes all image data obtained by photographing a subject through a camera and having undergone a series of editing processes as needed.

또는, 상기 영상 데이터는, 텍스쳐가 매핑/렌더링된 폴리곤으로 구성된 가상 영상에 포함된 폴리곤에 대응하는 가상 객체의 식별이 가능한 가상 영상 데이터를 포함할 수 있다. 여기서, 상기 가상 영상 데이터는 드로잉 도구를 통해 폴리곤 데이터를 작성하고, 이미지 편집 도구를 통해 텍스쳐 데이터를 작성한 후, 상기 폴리곤 데이터에 텍스처 데이터를 매핑/렌더링하여 구성된 모든 영상 데이터를 포함한다.
Alternatively, the image data may include virtual image data capable of identifying a virtual object corresponding to a polygon included in a virtual image composed of polygons mapped / rendered with a texture. The virtual image data includes polygon data through a drawing tool, texture data through an image editing tool, and all the image data constructed by mapping / rendering texture data to the polygon data.

또는, 상기 영상 데이터는, 상기 실사 영상과 가상 영상이 결합된 영상에 포함된 실사 객체와 가상 객체 중 적어도 하나의 객체 식별이 가능한 실사/가상 영상 데이터를 포함할 수 있다. 여기서, 상기 실사/가상 영상 데이터는 상기 카메라를 통해 촬영/편집된 실사 영상 데이터와 상기 텍스쳐가 매핑/렌더링된 폴리곤으로 구성된 영상 데이터를 결합하여 생성된 모든 영상 데이터를 포함한다. 예를들어, 상기 실사/가상 영상 데이터는 블루스크린 앞에서 실사 영상 데이터를 촬영하고, 상기 실사 영상 데이터에 가상 영상 데이터를 결합한 영상 데이터를 포함할 수 있다.
Alternatively, the image data may include real image / virtual image data capable of identifying at least one of a real image object and a virtual object included in the combined image of the real image and the virtual image. Here, the real image / virtual image data includes all image data generated by combining real image data photographed / edited through the camera and image data composed of polygons mapped / rendered with the texture. For example, the real image / virtual image data may include real image data before the blue screen, and image data obtained by combining virtual image data with the real image data.

또는, 상기 영상 데이터는, 양안시차에 의한 입체감을 표시하는 3D 카메라를 통해 촬영된 실사 입체 영상에 포함된 실사 입체감 객체의 식별이 가능한 실사 입체 영상 데이터를 포함할 수 있다. 여기서, 상기 실사 입체 영상 데이터는 2개의 렌즈를 구비한 3D 카메라를 통해 동일한 피사체를 촬영한 후 상기 2개의 렌즈로 촬영한 각각의 실사 영상 데이터를 조합하여 필요에 따라 편집하여 양안시차에 의한 입체감이 표시되도록 구성된 모든 영상 데이터를 포함한다.
Alternatively, the image data may include real image stereoscopic image data capable of identifying a real image sensation object included in a real image sensed by a 3D camera displaying a stereoscopic effect due to binocular parallax. Here, the real stereoscopic image data is obtained by photographing the same object through a 3D camera having two lenses, combining the real image data photographed by the two lenses, editing the stereoscopic image data as necessary, And includes all image data configured to be displayed.

또는, 상기 영상 데이터는, 상기 양안시차에 의한 입체감이 표시되도록 구성된 폴리곤에 텍스쳐를 매핑/렌더링하여 구성된 가상 입체 영상에 포함된 가상 입체감 객체의 식별이 가능한 가상 입체 영상 데이터를 포함할 수 있다. 여기서, 상기 가상 입체 영상 데이터는 드로잉 도구를 통해 폴리곤 데이터를 작성하되 상기 3D 카메라의 2개의 렌즈를 통해 피사체를 촬영한 것처럼 어느 하나의 폴리곤 데이터에 양안시차가 발생하도록 시점 변화를 적용하고, 각 폴리곤 데이터에 상기 시점 변화를 적용한 텍스쳐 데이터를 매핑/렌더링하여 구성된 모든 영상 데이터를 포함한다.
Alternatively, the image data may include virtual stereoscopic image data capable of identifying a virtual stereoscopic object included in a virtual stereoscopic image configured by mapping / rendering a texture to a polygon configured to display stereoscopic effect due to the binocular parallax. Here, the virtual stereoscopic image data is generated by generating polygon data through a drawing tool. The stereoscopic image data is obtained by applying a viewpoint change to a polygon data such that a binocular parallax is generated as if a subject is photographed through two lenses of the 3D camera, And all the image data constructed by mapping / rendering the texture data to which the viewpoint change is applied.

또는, 상기 영상 데이터는, 상기 실사 입체 영상과 가상 입체 영상이 결합된 입체 영상에 포함된 실사 입체감 객체와 가상 입체감 객체 중 적어도 하나의 입체감 객체의 식별이 가능한 실사/가상 입체 영상 데이터를 포함할 수 있다. 여기서, 상기 실사/가상 입체 영상 데이터는 3D 카메라를 통해 양안시차가 발생하도록 촬영/편집된 실사 입체 영상 데이터와 상기 양안시차가 발생하도록 구성된 가상 입체 영상 데이터를 결합하여 생성된 모든 영상 데이터를 포함한다. 예를들어, 상기 실사/가상 입체 영상 데이터는 블루스크린 앞에서 실사 입체 영상 데이터를 촬영하고, 상기 실사 입체 영상 데이터에 가상 입체 영상 데이터를 결합한 영상 데이터를 포함할 수 있다.
Alternatively, the image data may include real / virtual stereoscopic image data capable of identifying at least one stereoscopic object among a real stereoscopic object and a virtual stereoscopic object included in the stereoscopic image combined with the real stereoscopic image and the virtual stereoscopic image have. Here, the real image / virtual stereoscopic image data includes all the image data generated by combining the real stereoscopic image data photographed / edited so that the binocular parallax occurs through the 3D camera and the virtual stereoscopic image data configured to generate the binocular parallax . For example, the real / virtual stereoscopic image data may include real image stereoscopic image data before a blue screen, and image data obtained by combining virtual stereoscopic image data with real stereoscopic image data.

본 발명의 일 실시 방법에 따르면, 상기 영상 데이터는 방송 데이터를 포함할 수 있다. 이 경우 상기 영상 출력 장치(170)는 디스플레이장치와 셋탑박스를 포함하고, 상기 영상매체 운영수단(100)은 상기 방송 데이터를 저장하는 저장매체(105)를 구비하고 상기 방송 데이터를 상기 셋탑박스로 전달하는 전달매체(110)를 구비한 방송 시스템을 포함할 수 있다.
According to an embodiment of the present invention, the image data may include broadcast data. In this case, the video output apparatus 170 includes a display device and a set-top box, and the video medium operating means 100 includes a storage medium 105 for storing the broadcast data, And a broadcast system having a delivery medium 110 for delivering the broadcast data.

상기 영상 데이터가 상기 방송 데이터를 포함하는 경우, 상기 저장매체(105)는 상기 방송 시스템에 구비된 카메라장치 또는 영상저장매체(105)를 포함하고, 상기 전달매체(110)는 상기 방송 시스템과 셋탑박스를 연결하는 무선 주파수 방송매체(110), 또는 유선(또는 케이블) 방송매체(110), 또는 유선(또는 케이블) 영상신호 전송매체(110) 중 적어도 하나의 매체를 포함할 수 있다.
When the image data includes the broadcast data, the storage medium 105 includes a camera device or an image storage medium 105 provided in the broadcast system, Or a wired (or cable) video signal transmission medium 110. The wireless broadcast media 110 may include at least one of a wireless communication medium 110, a wired (or cable) broadcast medium 110,

또는, 상기 영상 데이터는 주문형 비디오를 포함할 수 있다. 이 경우 상기 영상 출력 장치(170)는 디스플레이장치와 셋탑박스를 적어도 하나 포함하고, 상기 영상매체 운영수단(100)은 상기 주문형 비디오를 저장하는 저장매체(105)를 구비하고 상기 주문형 비디오를 상기 셋탑박스로 전달하는 전달매체(110)를 구비한 주문형 비디오 시스템을 포함할 수 있다.
Alternatively, the video data may include video on demand. In this case, the video output apparatus 170 includes at least one display apparatus and a set-top box, and the video medium operating means 100 includes a storage medium 105 for storing the video on demand type, And may include a video-on-demand system having a transmission medium 110 for delivering to a box.

상기 영상 데이터가 상기 주문형 비디오를 포함하는 경우, 상기 저장매체(105)는 상기 주문형 비디오 시스템에 구비된 영상저장매체(105)를 포함하고, 상기 전달매체(110)는 상기 주문형 비디오 시스템과 셋탑박스를 연결하는 무선 주파수 통신매체(110), 또는 유선(또는 케이블) 통신매체(110), 또는 유선(또는 케이블) 영상신호 전송매체(110) 중 적어도 하나의 매체를 포함할 수 있다.
Wherein the storage medium (105) comprises an image storage medium (105) included in the video-on-demand system, and the transmission medium (110) (Or cable) communication medium 110, or a wired (or cable) video signal transmission medium 110, which couples the wireless communication medium 110 to the wireless communication medium 110.

본 발명의 다른 일 실시 방법에 따르면, 상기 영상 데이터는 영화관에서 상영하는 영화 데이터를 포함할 수 있다. 이 경우 상기 영상 출력 장치(170)는 영화관에 입장한 관객이 착용하는 고글을 포함하고, 상기 영상매체 운영수단(100)은 상기 영화 데이터를 저장하는 저장매체(105)를 구비하고 상기 영화 데이터의 비디오 데이터를 스크린에 출력함과 동시에 스피커를 통해 상기 영화 데이터의 오디오 데이터를 출력하는 영화 상영 시스템을 포함할 수 있다. 상기 영상 데이터가 영화 데이터를 포함하는 경우, 상기 영화 상영 시스템은 상기 스크린을 통해 기 설정된 기본 값으로 포커싱(또는 블러링)된 영화 데이터를 출력하고, 상기 고글은 상기 스크린에 표시되는 영화 데이터와 사용자의 시선을 일치 시켜 상기 스크린에 출력되는 영화 데이터를 사용자의 시선에 따라 오토포커싱(또는 블러링)하는 증강현실 장치를 포함할 수 있다.
According to another embodiment of the present invention, the image data may include movie data displayed in a movie theater. In this case, the video output device 170 includes goggles worn by a viewer who enters the movie theater, and the video medium operating means 100 includes a storage medium 105 for storing the movie data, And a movie screening system for outputting the video data to the screen and outputting the audio data of the movie data through a speaker. When the image data includes movie data, the movie screening system outputs movie data focused (or blurred) to a preset default value through the screen, and the goggles are displayed on the screen, (Or blurring) the movie data output to the screen in accordance with the user ' s line of sight.

상기 영상 데이터가 상기 영화 데이터를 포함하는 경우, 상기 저장매체(105)는 상기 영화 상영 시스템에 구비된 영상저장매체(105)를 포함하고, 상기 전달매체(110)는 상기 영화 데이터를 스크린에 출력하는 영사장치와 상기 사용자의 고글과 유선/무선으로 통신하는 통신매체(110)를 포함할 수 있다.
When the image data includes the movie data, the storage medium 105 includes an image storage medium 105 provided in the movie screening system, and the transmission medium 110 outputs the movie data to a screen And a communication medium 110 for wirelessly communicating with the user's goggles.

본 발명의 또다른 일 실시 방법에 따르면, 상기 영상 데이터는 통신망을 통해 다수의 사용자가 참여하는 게임 데이터를 포함할 수 있다. 이 경우 상기 영상 출력 장치(170)는 디스플레이장치와 게임장치를 포함하고, 상기 영상매체 운영수단(100)은 상기 게임 데이터를 저장하는 저장매체(105)를 구비하고 상기 게임 데이터를 상기 게임장치로 전달하는 전달매체(110)를 구비한 게임 시스템을 포함할 수 있다.
According to another embodiment of the present invention, the video data may include game data in which a plurality of users participate through a communication network. In this case, the video output device 170 includes a display device and a game device, and the video medium operating means 100 includes a storage medium 105 for storing the game data, And a game system having a transmission medium 110 for delivering the game medium.

상기 영상 데이터가 상기 게임 데이터를 포함하는 경우, 상기 저장매체(105)는 상기 게임 시스템에 구비된 게임 저장매체(105) 또는 상기 게임장치에 구비된 저장매체(105) 중 적어도 하나를 포함하고, 상기 전달매체(110)는 상기 게임 시스템과 게임장치를 유선/무선으로 통신하는 통신매체(110)를 포함할 수 있다.
When the video data includes the game data, the storage medium 105 includes at least one of a game storage medium 105 provided in the game system or a storage medium 105 provided in the game device, The transmission medium 110 may include a communication medium 110 for wired / wireless communication between the game system and the game device.

본 발명에 따르면, 상기 영상 출력 장치(170)는 사용자의 시선을 추적하는 시선 추적 센서(165)를 구비하며, 상기 시선 추적 센서(165)는 상기 영상 데이터 출력 시스템과 통신 연결되거나, 또는 상기 영상 추적 장치를 경유하여 상기 영상 데이터 출력 시스템과 통신 연결될 수 있다. 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 상기 시선 추적 센서(165)가 사용자의 시선을 추적하는 기술 구성을 기 숙지하고 있을 것이므로, 이에 대한 상세한 설명은 생략하기로 한다.
According to the present invention, the image output apparatus 170 includes a line-of-sight sensor 165 for tracking a user's line of sight, and the line-of-sight sensor 165 may be connected to the image data output system, And can be communicatively coupled to the video data output system via a tracking device. Those skilled in the art will appreciate that the eye-tracking sensor 165 knows the technology of tracking the user's gaze, and thus a detailed description thereof will be omitted.

도면1을 참조하면, 상기 영상 데이터 출력 시스템은, 상기 영상 데이터의 비디오 데이터를 기반으로 상기 영상 데이터의 각 장면을 식별하는 장면 식별 정보와 상기 영상 데이터에 포함된 N(N>1)개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면 별 n(1≤n≤N)개의 객체 정보 및 각 장면 별 n개의 객체에 대한 사용자 시선 방향의 깊이(Depth)에 대응하는 객체 깊이 값을 결정하는 정보 결정수단(120)을 구비하며, 상기 영상매체 운영수단(100)은 상기 결정된 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 객체 깊이 값을 상기 영상 데이터와 연결하여 영상매체에 저장(또는 전달)한다.
Referring to FIG. 1, the image data output system includes scene identification information for identifying each scene of the image data based on video data of the image data, and scene identification information for identifying N (N> 1) Information determining means for determining n (1? N? N) object information for each scene corresponding to the scene identification information and an object depth value corresponding to a depth of a user's gaze direction for n objects for each scene, The image medium operating unit 100 stores (or delivers) the determined scene identification information, n pieces of object information and object depth values for each scene in association with the image data.

상기 정보 결정수단(120)은 상기 영상매체 운영수단(100)의 저장매체(105)에 저장된 영상 데이터의 비디오 데이터를 판독하거나 또는 상기 영상 데이터의 비디오 데이터를 관리자 단말(도시생략)로 제공한 후 상기 관리자 단말로부터 입력되는 적어도 하나의 입력 값을 이용하여 상기 영상 데이터의 각 장면을 식별하는 장면 식별 정보를 결정한다.
The information determining means 120 reads the video data of the video data stored in the storage medium 105 of the video medium operating means 100 or provides the video data of the video data to an administrator terminal And determines scene identification information for identifying each scene of the video data using at least one input value input from the administrator terminal.

여기서, 상기 장면 식별 정보는, 상기 영상 데이터의 재생 시간 정보, 비디오 프레임 구간 정보, 장면 정보를 포함하며, 상기 영상 데이터가 게임 데이터인 경우 맵(map) 위치 정보를 포함할 수 있다.
Here, the scene identification information includes play time information of the video data, video frame duration information, and scene information, and may include map position information when the video data is game data.

상기 장면 식별 정보가 결정되면, 상기 정보 결정수단(120)은 상기 영상매체 운영수단(100)의 저장매체(105)에 저장된 영상 데이터의 비디오 데이터를 판독하거나 또는 상기 영상 데이터의 비디오 데이터를 관리자 단말로 제공한 후 상기 관리자 단말로부터 입력되는 적어도 하나의 입력 값을 이용하여 상기 영상 데이터에 포함된 N(N>1)개의 객체 중 상기 결정된 장면 식별 정보에 대응하는 각 장면에 포함된 n(1≤n≤N)개의 객체를 식별하는 객체 정보를 결정하고, 상기 결정된 n개의 객체에 대하여 사용자의 시선 방향에 대한 각 객체의 깊이에 대응하는 객체 깊이 값을 결정한다.
When the scene identification information is determined, the information determining means 120 reads the video data of the video data stored in the storage medium 105 of the video medium operating means 100, (N > = 1) included in each scene corresponding to the determined scene identification information among N (N > 1) objects included in the image data using at least one input value input from the administrator terminal n &le; N) of the object, and determines an object depth value corresponding to the depth of each object with respect to the user's gaze direction for the determined n objects.

여기서, 상기 객체 정보는 상기 영상 출력 장치(170)를 통해 출력되는 영상 데이터에 포함된 비디오 데이터에 대응하는 각 장면에 포함된 n개의 객체 중 오토포커싱 또는 블러링이 가능한 객체를 식별하는 정보이다.
Here, the object information is information for identifying an object capable of auto focusing or blurring among n objects included in each scene corresponding to the video data included in the image data output through the video output device 170. [

본 발명의 일 실시 방법에 따라 상기 영상 데이터 내에 각 장면에 포함된 n개의 객체를 식별하는 태그 정보(또는 메타 정보)가 포함된 경우, 상기 객체 정보는 상기 태그 정보(또는 메타 정보)를 포함할 수 있다. 예를들어, 상기 영상 데이터에 가상 객체(또는 가상 입체감 객체)가 포함되어 있다면, 상기 가상 객체(또는 가상 입체감 객체)는 상기 영상 데이터를 구성하는 과정에서 상기 객체를 식별하는 태그 정보(또는 메타 정보)가 포함될 수 있으며, 상기 객체 정보는 상기 가상 객체(또는 가상 입체감 객체)에 대응하는 태그 정보(또는 메타 정보)를 포함할 수 있다.
According to an embodiment of the present invention, when tag information (or meta information) for identifying n objects included in each scene is included in the image data, the object information includes the tag information (or meta information) . For example, if a virtual object (or a virtual three-dimensional object) is included in the image data, the virtual object (or virtual three-dimensional object) may include tag information ), And the object information may include tag information (or meta information) corresponding to the virtual object (or a virtual three-dimensional object).

본 발명의 다른 일 실시 방법에 따라 상기 영상 데이터에 상기 객체 정보에 대응하는 태그 정보(또는 메타 정보)가 포함되지 않은 경우, 상기 객체 정보는 상기 영상 출력 장치(170)의 디스플레이 화면을 정의하는 x-y 2차원 좌표계 상에 각 객체 영역을 표시하는 좌표 영역 값을 포함할 수 있다. 예를들어, 상기 영상 데이터에 실사 객체(또는 실사 입체감 객체)가 포함되어 있다면, 상기 객체 정보는 상기 디스플레이 상에서 상기 실사 객체(또는 실사 입체감 객체)가 표시되는 2차원 좌표 영역 값을 포함할 수 있다.
According to another embodiment of the present invention, when the tag information (or meta information) corresponding to the object information is not included in the image data, the object information may include xy Dimensional coordinate system and a coordinate area value indicating each object area on the two-dimensional coordinate system. For example, if the image data includes a real image object (or a real image three-dimensional object), the object information may include a two-dimensional coordinate image area on which the real image object (or real image three-dimensional object) is displayed .

상기 객체 깊이 값은 상기 객체 정보에 대응하는 각 객체에 대하여 상기 영상 데이터를 관람하는 사용자의 시선 방향에 대한 깊이를 결정하는 값이다.
The object depth value is a value for determining a depth of a user's viewing direction for viewing the image data for each object corresponding to the object information.

본 발명의 일 실시 방법에 따라 상기 영상 데이터 내에 각 장면에 포함된 n개의 객체에 대한 시선 방향 기준 깊이에 대응하는 태그 정보(또는 메타 정보)가 포함된 경우, 상기 객체 깊이 값은 상기 태그 정보(또는 메타 정보)를 포함할 수 있다. 예를들어, 상기 영상 데이터에 가상 객체(또는 가상 입체감 객체)가 포함되어 있다면, 상기 가상 객체(또는 가상 입체감 객체)는 상기 영상 데이터를 구성하는 과정에서 상기 객체 정보에 대한 깊이 값에 대응하는 태그 정보(또는 메타 정보)가 포함될 수 있으며, 상기 객체 깊이 값은 상기 가상 객체(또는 가상 입체감 객체)에 대응하는 태그 정보(또는 메타 정보)를 포함할 수 있다.
According to an embodiment of the present invention, when the tag information (or meta information) corresponding to the gaze direction reference depth for n objects included in each scene is included in the image data, Or meta information). For example, if a virtual object (or a virtual three-dimensional object) is included in the image data, the virtual object (or virtual three-dimensional object) may include a tag corresponding to a depth value of the object information Information (or meta information), and the object depth value may include tag information (or meta information) corresponding to the virtual object (or virtual three-dimensional object).

본 발명의 다른 일 실시 방법에 따라 상기 영상 데이터에 상기 객체 깊이 값에 태그 정보(또는 메타 정보)가 포함되지 않은 경우, 상기 객체 깊이 값은 상기 영상 출력 장치(170)의 디스플레이 화면을 정의하는 x-y 2차원 좌표계에 상기 사용자 시선 방향에 대응하는 z-축을 부가한 3차원 좌표계 상의 z-축 좌표 값을 포함할 수 있다. 예를들어, 상기 영상 데이터에 실사 객체(또는 실사 입체감 객체)가 포함되어 있다면, 상기 객체 깊이 값은 상기 실사 객체(또는 실사 입체감 객체)를 촬영하는 카메라의 시점을 기준으로 하는 객체들의 전/후 위치 관계, 상기 카메라 촬영 시점의 카메라 초점을 따라 판독되는 상기 카메라와 각 객체 간 거리 관계, 상기 영상 데이터에 포함된 각 객체의 클리핑을 통해 판독되는 객체 간 전/후 위치 관계 중 적어도 하나의 관계를 통해 결정될 수 있다.
According to another embodiment of the present invention, when the tag information (or meta information) is not included in the object depth value in the image data, the object depth value may be xy Axis coordinate values on a three-dimensional coordinate system in which a z-axis corresponding to the user's gaze direction is added to the two-dimensional coordinate system. For example, if the image data includes a real image object (or a real image three-dimensional object), the object depth value may be a value obtained by dividing the actual image of the real image A positional relation, at least one of a distance relation between the camera and each object read along the camera focus at the time of camera shooting, and a front / back positional relationship between objects read through clipping of each object included in the image data Lt; / RTI >

상기 영상 데이터의 각 장면을 식별하는 장면 식별 정보와, 상기 영상 데이터에 포함된 N개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면에 포함된 n개의 객체 정보와, 상기 각 장면 별 n개의 객체 깊이 값이 결정되면, 상기 영상매체 운영수단(100)은 상기 결정된 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 상기 영상 데이터와 연결하여 저장매체(105)에 저장한 후, 상기 영상 출력 장치(170)로 상기 영상 데이터를 전달하는 과정에서 상기 영상 데이터에 상기 저장된 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 연결하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달하거나, 또는 상기 영상 데이터 출력 시스템에 구비된 적어도 하나의 수단과 연동하여 상기 영상 출력 장치(170)에 구비된 시선 추적 센서(165)를 통해 사용자의 시선이 집중된 시선 집중 객체를 확인한 후 상기 저장된 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 통해 상기 각 장면 별 n개의 객체 중 시선 집중 객체를 오토포커싱 하고 나머지 (n-1)개의 객체 중 i개의 객체를 블러링한 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달할 수 있다.
A scene identification information for identifying each scene of the image data; n pieces of object information included in each scene corresponding to the scene identification information among N pieces of objects included in the image data; When the value is determined, the image medium operating means 100 connects the determined scene identification information, n pieces of object information for each scene and n pieces of object depth values for each scene to the image data and stores them in the storage medium 105 And then transmits the image data to the image output apparatus 170. In the process of transmitting the image data, n pieces of object information for each scene and n pieces of object depth values for each scene are connected to the image data, (110) to the image output apparatus (170), or in cooperation with at least one means provided in the image data output system A visual line focused object in which a user's eyes are focused is checked through a line tracking sensor 165 provided in an output apparatus 170, and then each stored scene identification information, n pieces of object information for each scene, and n pieces of object depth values And focuses the eye focused object among the n objects of each scene and blops the i objects out of the remaining (n-1) objects to form the image data through the transmission medium 110, (170).

또는, 상기 영상매체 운영수단(100)은 상기 영상 출력 장치(170)로 상기 영상 데이터를 전달하는 과정에서 상기 정보 결정수단(120)을 통해 실시간 결정되는 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 상기 영상 데이터에 연결하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달하거나, 또는 상기 영상 데이터 출력 시스템에 구비된 적어도 하나의 수단과 연동하여 상기 영상 출력 장치(170)에 구비된 시선 추적 센서(165)를 통해 사용자의 시선이 집중된 시선 집중 객체를 확인한 후 상기 저장된 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 통해 상기 각 장면 별 n개의 객체 중 시선 집중 객체를 오토포커싱 하고 나머지 (n-1)개의 객체 중 i개의 객체를 블러링한 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달할 수 있다.
Alternatively, the image medium operating unit 100 may transmit each scene identification information determined in real time through the information determination unit 120 and n objects Information and depth values of n objects for each scene are connected to the image data and transmitted to the image output apparatus 170 through the transmission medium 110 or at least one means provided in the image data output system A visual line focused object in which a user's gaze is concentrated is checked through a gaze tracking sensor 165 provided in the video output apparatus 170, and then each stored scene identification information, n pieces of object information for each scene, and n Eye focus object among the n objects of each scene using the object depth values of the scene and blurring i objects among the remaining (n-1) And transmits the data to the image output apparatus 170 through the transmission medium 110. [

본 발명으로 확장되는 일 실시 방법에 따르면, 상기 정보 결정수단(120)은 상기 각 장면 별 n개의 객체 중 상기 영상 데이터의 오디오 데이터를 기반으로 각 장면 별 사운드와 연관된 n’(0≤n’≤n)개의 사운드 객체 정보와 상기 n’개의 사운드 객체 별 사운드 데이터를 결정하고, 상기 영상매체 운영수단(100)은 상기 n’개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터를 상기 영상 데이터와 연결하여 상기 영상매체에 유지시킬 수 있다.
According to one embodiment of the present invention, the information determination unit 120 determines n '(0 < n < n) associated with sound of each scene based on audio data of the image data among n objects of each scene. n 'pieces of sound object information and sound data for each of the n' sound objects, and the image medium operating unit 100 connects the n 'pieces of sound object information and the sound data for each sound object to the image data And can be held on the image medium.

상기 영상 데이터의 비디오 데이터를 기반으로 결정되는 각 장면 별 n개의 객체 중 적어도 하나의 객체는 상기 영상 데이터의 오디오 데이터에 대응하는 사운드 데이터의 원천(Source)에 대응하는 사운드 객체일 수 있다. 예를들어, 상기 영상 데이터에 한 명의 남성 캐릭터와 한 명의 여성 캐릭터 및 테이블과 쇼파를 포함하는 4개의 객체가 포함된 경우, 상기 테이블과 쇼파는 상기 영상 데이터의 오디와 데이터와 연관되지 않지만, 상기 남성 캐릭터와 여성 캐릭터에 대응하는 객체는 상기 영상 데이터의 오디오 데이터에 포함된 음성 데이터(=사운드 데이터)을 발성하는 원천으로 연관될 수 있다.
At least one object among n objects of each scene determined based on the video data of the image data may be a sound object corresponding to a source of sound data corresponding to the audio data of the image data. For example, if the image data includes one male character, one female character, four objects including a table and a couch, the table and the couch are not associated with the audio data and the data of the video data, The object corresponding to the male character and the female character may be related as a source for uttering voice data (= sound data) included in the audio data of the video data.

상기 정보 결정수단(120)은 상기 영상매체 운영수단(100)의 저장매체(105)에 저장된 영상 데이터와 연결된 자막 데이터(도시생략)를 판독하거나 또는 상기 영상 데이터를 관리자 단말(도시생략)로 제공한 후 상기 관리자 단말로부터 입력되는 적어도 하나의 객체-사운드 연결 값을 이용하여 상기 영상 데이터의 비디오 데이터를 기반으로 결정된 각 장면 별 n개의 객체 중 상기 영상 데이터의 오디오 데이터를 대한 각 장면 별 사운드 데이터의 원천에 대응하는 n’(0≤n’≤n)개의 사운드 객체를 결정하고, 상기 결정된 사운드 객체를 식별하는 사운드 객체 정보와 상기 n’개의 사운드 객체가 원천인 n’개의 사운드 객체 별 사운드 데이터를 더 결정할 수 있다.
The information determining means 120 reads the caption data (not shown) connected to the video data stored in the storage medium 105 of the video medium operating means 100 or provides the video data to an administrator terminal The audio data of each of the scenes and the audio data of the respective scenes from among n objects of each scene determined based on the video data of the video data using at least one object- Determining n '(0? N? N) sound objects corresponding to the source, determining sound object information for identifying the determined sound object and sound data for n' sound objects You can decide more.

상기 정보 결정수단(120)에 의해 n’개의 사운드 객체 정보와 n’개의 사운드 객체 별 사운드 데이터가 결정되면, 상기 영상매체 운영수단(100)은 상기 n’개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터를 상기 영상 데이터와 연결하여 저장매체(105)에 저장한 후, 상기 영상 출력 장치(170)로 상기 영상 데이터를 전달하는 과정에서 상기 영상 데이터에 상기 저장된 n’개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터를 더 연결하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달하거나, 또는 상기 영상 데이터 출력 시스템에 구비된 적어도 하나의 수단과 연동하여 사용자의 시선이 집중된 사운드 객체를 확인한 후 상기 시선 집중 사운드 객체의 사운드 데이터를 증폭시키거나 또는 음성의 분별력을 향상시키고 나머지 (n-1)개의 객체 중 j(0≤j≤(n-1))개의 사운드 객체의 사운드 데이터를 감소시키거나 또는 음성의 분별력을 감소시킨 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달할 수 있다.
If n 'pieces of sound object information and n' pieces of sound data for each sound object are determined by the information determination unit 120, the image medium operating unit 100 calculates n 'pieces of sound object information and sound And the sound data is stored in the storage medium 105 in connection with the image data. Then, in the process of transmitting the image data to the image output device 170, n 'pieces of sound object information stored in the image data, And transmits the sound data to the image output apparatus 170 via the transmission medium 110. In addition, the sound image data output system may be connected to at least one means provided in the image data output system, The sound data of the line-of-sight concentrated sound object is amplified or the sound discrimination power is improved and the remaining (n-1) The sound data of the sound objects j (0? J? (N-1)) are reduced or the sound data of the sound j is reduced, ). &Lt; / RTI >

또는, 상기 영상매체 운영수단(100)은 상기 영상 출력 장치(170)로 상기 영상 데이터를 전달하는 과정에서 상기 정보 결정수단(120)을 통해 실시간 결정되는 상기 n’개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터를 상기 영상 데이터에 더 연결하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달하거나, 또는 상기 영상 데이터 출력 시스템에 구비된 적어도 하나의 수단과 연동하여 사용자의 시선이 집중된 사운드 객체를 확인한 후 상기 시선 집중 사운드 객체의 사운드 데이터를 증폭시키거나 또는 음성의 분별력을 향상시키고 나머지 (n-1)개의 객체 중 j개의 사운드 객체의 사운드 데이터를 감소시키거나 또는 음성의 분별력을 감소시킨 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달할 수 있다.
Alternatively, the image medium operating unit 100 may transmit the n 'pieces of sound object information, determined in real time through the information determination unit 120, to each sound object in the process of transmitting the image data to the image output apparatus 170, And transmits the sound data to the image output apparatus 170 via the transmission medium 110. The image data output system 170 is connected to at least one means provided in the image data output system, The sound data of the line-focused sound object is amplified or the sound discrimination power of the sound is improved and the sound data of the j sound objects of the remaining (n-1) And transmits the reduced image data to the image output apparatus 170 through the transmission medium 110. [

본 발명으로 확장되는 다른 일 실시 방법에 따르면, 상기 영상 데이터는 M(M>1)개의 서로 다른 결말을 포함하여 구성될 수 있으며, 이 경우 상기 정보 결정수단(120)은 상기 각 장면 별 n개의 객체 중 상기 M개의 다른 결말과 연관된 n”(0≤n’≤n)개의 스토리 분기 객체 정보를 더 결정하고, 상기 영상매체 운영수단(100)은 상기 n”개의 스토리 분기 객체 정보를 상기 영상 데이터와 연결하여 상기 영상매체에 유지시킬 수 있다.
According to another embodiment of the present invention, the image data may include M (M> 1) different endings. In this case, the information determination unit 120 may determine n (0 &le; n &le; n) pieces of story branch object information associated with the M different endings of the object, and the image medium operating means (100) And can be maintained in the image medium.

본 발명에 따르면, 상기 영상 데이터는 어느 하나의 결말로 귀결되는 영상 데이터가 아니라 복수의 결말을 귀결되거나, 또는 아예 확정된 결말 자체가 존재하지 않는 영상 데이터일 수 있다. 예를들어, 상기 영상 데이터는 10개의 서로 다른 결말을 지닌 영화 데이터 또는 주문형 비디오거나, 또는 아예 확정된 결말이 존재하지 않는 게임 데이터일 수 있다.
According to the present invention, the image data may not be image data that results in any one ending but may be a plurality of endings, or image data that does not have a definite ending. For example, the video data may be movie data with ten different endings, video on demand, or game data that does not have a definite ending.

상기와 같이 영상 데이터가 복수의 결말로 귀결되거나 또는 아예 확정된 결말 자체가 존재하지 않아 M개의 서로 다른 결말을 지닐 수 있는 영상 데이터인 경우, 상기 정보 결정수단(120)은 상기 영상매체 운영수단(100)의 저장매체(105)에 저장된 영상 데이터와 연결된 스토리 데이터(도시생략) 또는 자막 데이터(도시생략)를 판독하거나 또는 상기 영상 데이터를 관리자 단말(도시생략)로 제공한 후 상기 관리자 단말로부터 입력되는 적어도 하나의 객체-스토리 연결 값을 이용하여 상기 영상 데이터의 비디오 데이터를 기반으로 결정된 각 장면 별 n개의 객체 중 상기 M개의 다른 결말과 연관된 n”(0≤n’≤n)개의 스토리 분기 객체를 더 결정할 수 있다.
In the case where the image data is image data that results in a plurality of endings or can have M different endings because there is no definite ending, the information determining means 120 may determine that the image data operating means (Not shown) or caption data (not shown) connected to the image data stored in the storage medium 105 of the storage medium 105 or provides the image data to an administrator terminal (0? N? N) number of story branch objects associated with the M different endings among n objects of each scene determined based on the video data of the video data using at least one object- Can be further determined.

상기 정보 결정수단(120)에 의해 n”개의 스토리 분기 객체 정보가 결정되면, 상기 영상매체 운영수단(100)은 상기 n”개의 스토리 분기 객체 정보를 상기 영상 데이터와 연결하여 저장매체(105)에 저장한 후, 상기 영상 출력 장치(170)로 상기 영상 데이터를 전달하는 과정에서 상기 영상 데이터에 상기 저장된 n”개의 스토리 분기 객체 정보를 더 연결하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달하거나, 또는 상기 영상 데이터 출력 시스템에 구비된 적어도 하나의 수단과 연동하여 사용자의 시선이 집중된 스토리 분기 객체를 확인한 후 상기 M개의 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 어느 하나의 제m(1≤m≤M) 결말로 상기 영상 데이터의 스토리를 분기한 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달할 수 있다.
When n " pieces of story branch object information are determined by the information determination unit 120, the video medium operating unit 100 connects the n " pieces of story branch object information to the video data and transmits the result to the storage medium 105 (N ') pieces of story branch object information are further connected to the image data in the process of transferring the image data to the image output apparatus 170, 170), or in cooperation with at least one means provided in the image data output system, to identify a story branch object in which a user's line of sight is concentrated, and then select any one of the M ending story branch objects M (1 < / = m < M), and outputs the image data to the image output device To the tooth 170.

또는, 상기 영상매체 운영수단(100)은 상기 영상 출력 장치(170)로 상기 영상 데이터를 전달하는 과정에서 상기 정보 결정수단(120)을 통해 실시간 결정되는 상기 n”개의 스토리 분기 객체 정보를 상기 영상 데이터에 더 연결하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달하거나, 또는 상기 영상 데이터 출력 시스템에 구비된 적어도 하나의 수단과 연동하여 사용자의 시선이 집중된 스토리 분기 객체를 확인한 후 상기 M개의 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 어느 하나의 제m 결말로 상기 영상 데이터의 스토리를 분기한 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달할 수 있다.
Alternatively, the image medium operating means 100 may transmit the n " story branch object information determined in real time through the information determining means 120 in the course of delivering the image data to the image output apparatus 170, Data is transmitted to the video output apparatus 170 through the transmission medium 110 or linked with at least one means provided in the video data output system to identify a story branch object in which the user's attention is focused A story of the image data is branched into one m-th ending associated with the line-of-sight concentrated story branching object among the M ending images, and the image data is divided into the image output device 170 through the delivery medium 110 .

도면1을 참조하면, 상기 영상 데이터 출력 시스템은, 상기 영상 출력 장치(170)를 통해 상기 영상 데이터 출력 시, 상기 장면 식별 정보를 통해 상기 출력되는 영상 데이터의 장면을 식별하고, 상기 장면에 포함된 n개의 객체를 식별하는 객체 식별수단(125)과, 상기 시선 추적 센서(165)를 통해 사용자의 시선을 추적하여 상기 n개의 객체 중 상기 사용자의 시선이 집중되는 어느 하나의 시선 집중 객체를 검출하는 시선 집중 객체 검출수단(115)과, 상기 검출된 시선 집중 객체를 오토포커싱(Autofocussing)하는 오토포커싱 처리수단(130)과, 상기 장면에 포함된 시선 집중 객체와 (n-1)개의 객체의 깊이를 비교하여 상기 시선 집중 객체의 깊이를 기준으로 i(0≤i≤(n-1))개의 블러링(Blurring) 대상 객체를 결정하는 블러링 대상 결정수단(135)과, 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 상기 i개의 블러링 대상 객체를 블러링하는 블러링 처리수단(140)을 구비하며, 본 발명의 실시 방법에 따라 상기 객체 식별수단(125), 시선 집중 객체 검출수단(115), 오토포커싱 처리수단(130), 블러링 대상 결정수단(135) 및 블러링 처리수단(140) 중 적어도 하나의 수단은 상기 영상 출력 장치(170)에 구비될 수 있음을 명백하게 밝혀두는 바이다.
1, the image data output system identifies a scene of the output image data through the scene identification information when the image data is outputted through the image output device 170, an object identifying means 125 for identifying n objects, and a line-focused object detecting means for detecting any one line-focused object in which the user's line of sight is concentrated among the n objects by tracking the line of sight of the user through the line- An eye focus concentrated object detecting means 115, an autofocus processing means 130 for autofocusing the detected eye focus concentrated objects, a depth of sight focused object and (n-1) Blurring object determining means 135 for determining i (0? I? (N-1)) blurring target objects based on the depth of the line-of-sight focused object, i And blurring processing means (140) for blurring the i blurred objects in proportion to the depth difference between the blurred objects. In accordance with the method of the present invention, the object identification means (125) It is evident that at least one of the detecting means 115, the auto focusing means 130, the blurring object determining means 135 and the blurring means 140 can be provided in the image output apparatus 170 I will reveal.

본 발명의 일 실시 방법에 따르면, 상기 영상매체 운영수단(100)은 상기 저장매체(105)에 저장된 영상 데이터에 상기 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 연결하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달할 수 있으며, 이 경우 상기 객체 식별수단(125), 시선 집중 객체 검출수단(115), 오토포커싱 처리수단(130), 블러링 대상 결정수단(135) 및 블러링 처리수단(140)은 상기 영상 출력 장치(170)에 구비된다.
According to an embodiment of the present invention, the image medium operating means 100 may store the scene identification information, n pieces of object information for each scene, and n object depths for each scene in the image data stored in the storage medium 105 In this case, the object identification means 125, the focused object detection means 115, the autofocus processing means 130, and the autofocus processing means 130 may be connected to each other via the transmission medium 110. In this case, The blurring object determining means 135, and the blurring processing means 140 are provided in the video output apparatus 170.

본 발명의 다른 일 실시 방법에 따라 상기 영상 데이터 출력 시스템에서 상기 영상 출력 장치(170)에 구비된 시선 추적 센서(165)를 통해 사용자의 시선이 집중된 시선 집중 객체를 확인한 후 상기 저장된 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 통해 상기 각 장면 별 n개의 객체 중 시선 집중 객체를 오토포커싱 하고 나머지 (n-1)개의 객체 중 i개의 객체를 블러링한 영상 데이터를 구성하여 상기 영상 출력 장치(170)로 전달하는 경우, 상기 객체 식별수단(125)은 상기 저장매체(105)에 저장된 장면 식별 정보를 통해 상기 영상매체 운영수단(100)이 상기 영상 출력 장치(170)로 전달하는 영상 데이터에 대한 장면을 식별하고, 상기 장면 식별 정보와 연결된 n개의 객체 정보를 통해 상기 장면에 포함된 n개의 객체를 식별한다.
According to another embodiment of the present invention, in the image data output system, a gaze focused object in which a user's gaze is focused is checked through a gaze tracking sensor 165 provided in the video output apparatus 170, And focuses the eye focus object among n objects of each scene through n object information for each scene and n object depth values for each scene and blops i objects out of the remaining (n-1) objects The object identification means 125 identifies the object to be displayed by the image medium operating means 100 through the scene identification information stored in the storage medium 105, And identifies n objects included in the scene through n object information linked to the scene identification information, All.

상기 시선 집중 객체 검출수단(115)은 상기 영상 출력 장치(170)에 구비된 시선 추적 센서(165)와 통신 연결하거나, 또는 상기 영상 출력 장치(170)를 통해 상기 시선 추적 센서(165)와 통신 연결한 후, 상기 시선 추적 센서(165)를 통해 상기 영상 데이터를 관람하는 사용자의 시선을 추적하여 상기 영상 데이터 중 상기 영상 데이터의 화면 영역 중 상기 사용자의 시선이 집중되는 시선 집중 점(또는 영역)을 검출하고, 상기 시선 집중 점(또는 영역)과 상기 영상 출력 장치(170)로 전달되는 영상 데이터의 장면으로부터 식별된 n개의 객체 위치를 비교하여 상기 객체 식별수단(125)에 의해 식별된 n개의 객체 중 상기 사용자의 시선이 집중되는 어느 하나의 시선 집중 객체를 검출한다.
The line-of-sight concentrated object detecting unit 115 communicates with the line-of-sight tracking sensor 165 provided in the video output apparatus 170 or communicates with the line-of-sight tracking sensor 165 through the video output apparatus 170 (Or region) in which the user's line of sight is concentrated in the screen region of the image data, by tracking the line of sight of the user viewing the image data through the line-of-sight sensor 165, And compares n object positions identified from the line of sight focused point (or area) and the scene of the image data transmitted to the video output device 170 to determine n object positions identified by the object identification means 125 And detects any one line-focused object in which the user's line of sight is concentrated among the objects.

상기 영상 데이터의 장면에 포함된 n개의 객체 중 사용자의 시선이 집중된 시선 집중 객체가 검출되면, 상기 오토포커싱 처리수단(130)은 상기 검출된 시선 집중 객체를 오토포커싱 처리한다.
When the sight line focused object in which the user's line of sight is concentrated among n objects included in the scene of the image data is detected, the auto focusing processing unit 130 autofocuses the detected line focused object.

여기서, 오토포커싱 처리는 상기 장면에 포함된 n개의 객체 중 상기 시선 집중 객체의 선명도를 선택하여 집중적으로 상기 원래 영상 데이터에 포함된 상기 객체의 기본 선명도보다 집중적으로 향상시키는 영상 처리 기법으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 상기 오토포커싱 처리 구성에 대한 기술적 특징을 숙지하고 있을 것이므로, 상기 오토포커싱에 대응하는 영상 처리 기법에 대한 상세한 설명은 편의상 생략하기로 한다.
Here, the autofocusing processing is an image processing technique for intensively selecting the sharpness of the focused object among n objects included in the scene and intensively improving the basic sharpness of the object included in the original image data, As a person skilled in the art will appreciate the technical features of the auto focusing process, a detailed description of the image processing technique corresponding to the auto focusing will be omitted for the sake of convenience.

예를들어, 상기 검출된 시선 집중 객체의 원래 기본 선명도가 상기 영상 데이터의 원근감 표시 방법(또는 카메라 촬영 시점의 초점 거리)에 따라 블러링되어 있더라도, 상기 오토포커싱 처리수단(130)은 상기 시선 집중 객체의 선명도를 상기 영상 데이터의 원근감 표시(또는 카메라 초점 거리)와 무관하게 상기 기본 선명도보다 집중적으로 향상시킨다.
For example, even if the original basic sharpness of the detected line-of-sight focused object is blurred according to the perspective display method of the image data (or the focal distance at the time of camera photographing), the auto focusing processing means The sharpness of the object is intensively improved more than the basic sharpness regardless of the perspective of the image data (or the camera focal length).

또한, 상기 시선 집중 객체가 검출되는 경우, 상기 블러링 대상 결정수단(135)은 상기 영상 데이터의 장면에 포함된 n개의 객체 중 상기 시선 집중 객체를 제외한 나머지 (n-1)개의 객체를 확인하고, 상기 n개의 객체 정보와 연결된 n개의 객체 깊이 값을 비교하고, 상기 시선 집중 객체의 깊이를 기준으로 상기 (n-1)개의 객체 중 선명도를 감소시킬 i(0≤i≤(n-1))개의 블러링 대상 객체 또는 상기 영상 데이터의 기본 선명도를 그대로 유지한 ((n-1)-i)개의 포커스 유지 대상 객체를 결정한다.
In addition, when the line-focused object is detected, the blurring object determination unit 135 identifies the remaining (n-1) objects excluding the line-focused object among the n objects included in the scene of the image data (N-1) to reduce the sharpness of the (n-1) objects based on the depth of the eye-focused object, ) Of blurred objects or ((n-1) -i) focus maintaining target objects in which the basic sharpness of the image data remains unchanged.

예를들어, 상기 블러링 대상 결정수단(135)은 상기 (n-1)개의 객체 중 상기 시선 집중 객체의 깊이보다 더 깊은 깊이의 객체를 상기 i개의 블러링 대상 객체에 포함시킬 수 있다. 또는 상기 블러링 대상 결정수단(135)은 상기 (n-1)개의 객체 중 사용자의 시선을 기준으로 디스플레이 화면의 2차 평면 상에서 상기 시선 집중 객체 근처에 위치하는 객체를 상기 i개의 블러링 대상 객체에 포함시킬 수 있다.
For example, the blurring object determining unit 135 may include an object having a depth deeper than the depth of the line-focused object among the (n-1) objects in the i blurring object. Alternatively, the blurring object determining means 135 may determine an object positioned near the line focused object on the secondary plane of the display screen based on the user's gaze among the (n-1) .

또는, 상기 블러링 대상 결정수단(135)은 상기 (n-1)개의 객체 중 상기 시선 집중 객체의 깊이보다 얕은 깊이의 객체를 상기 ((n-1)-i)개의 포커스 유지 대상 객체에 포함시킬 수 있다. 또는 상기 블러링 대상 결정수단(135)은 상기 (n-1)개의 객체 중 사용자의 시선을 기준으로 디스플레이 화면의 2차 평면 상에서 상기 시선 집중 객체로부터 일정 거리 이상 떨어져 있는 객체를 상기 ((n-1)-i)개의 포커스 유지 대상 객체에 포함시킬 수 있다.
Alternatively, the blurring object determining means 135 may include an object having a depth shallower than a depth of the line-focused object among the (n-1) objects in the ((n-1) . Or the blurring object determining means 135 determines an object located at a predetermined distance or more from the line-of-sight focusing object on the secondary plane of the display screen based on the user's gaze among the (n-1) 1) -i) focus keeping target objects.

만약 상기 블러링 대상 결정수단(135)에 의해 i개의 블러링 대상 객체(또는 ((n-1)-i)개의 포커스 유지 대상 객체)가 결정되면, 상기 블러링 처리수단(140)은 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 상기 i개의 블러링 대상 객체의 선명도를 상기 오토포커싱된 시선 집중 객체의 선명도(또는 상기 i개의 블러링 대상 객체의 기본 선명도)보다 감소시키되, ((n-1)-i)개의 포커스 유지 대상 객체의 선명도는 그대로 유지시킨다.
If the blurring object determining means 135 determines i blurring object (or ((n-1) -i) focus maintaining object), the blurring processing means 140 determines The sharpness of the i blurred object is reduced in proportion to the difference in depth between the focused object and the i blurred object, from the sharpness of the autofocused focused object (or the basic sharpness of the i blurred object) , (n-1) -i) focus maintaining target objects remain intact.

본 발명의 실시 방법에 따르면, 상기 i개의 블러링 대상 객체를 블러링하는 경우, 상기 블러링 처리수단(140)은 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 블러링하는 크기를 결정할 수 있다. 여기서, 상기 블러링 크기는 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 선형 비례하거나, 또는 로그함수 비례 관계를 포함할 수 있다.
According to the method of the present invention, when the i blurring object is blurred, the blurring processing means 140 blurs in proportion to the depth difference between the line-focused object and the i blurring object The size can be determined. Here, the blurring size may be linearly proportional to the depth difference between the line-focused object and the i blurring object, or may include a logarithmic function proportional relationship.

상기 오토포커싱 처리수단(130)에 의해 상기 영상 데이터에 포함된 장면의 시선 집중 객체가 오토포커싱되면, 상기 영상매체 운영수단(100)은 상기 시선 집중 객체가 오토포커싱된 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달한다.
When the focused object of the scene included in the image data is autofocused by the autofocus processing means 130, the visual medium operating means 100 forms the autofocused image data, To the image output apparatus 170 through the medium 110. [

또는, 상기 오토포커싱 처리수단(130)에 의해 상기 영상 데이터에 포함된 장면의 시선 집중 객체가 오토포커싱되고, 상기 블러링 처리수단(140)에 의해 상기 장면에 포함된 n개의 객체 중 i개의 블러링 대상 객체가 블러링되면, 상기 영상매체 운영수단(100)은 상기 시선 집중 객체가 오토포커싱되고 i개의 블러링 대상 객체가 블러링된 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달한다.
Alternatively, the eye focusing object of the scene included in the image data may be autofocused by the autofocus processing means 130, and the blurring processing means 140 may perform blurring processing on the i blur When the object to be ringed is blurred, the image medium operating means 100 constructs blurred image data of the blurred object, and the i-th focused object is autofocused, To the output device 170.

본 발명으로 확장되는 일 실시 방법에 따라 상기 영상매체에 n’개의 사운드 객체 정보와 n’개의 사운드 객체 별 사운드 데이터가 유지되는 경우, 상기 영상 데이터 출력 시스템은, 상기 시선 집중 객체 검출수단(115)을 통해 시선 집중 객체가 검출되면, 상기 시선 집중 객체가 상기 사운드 객체에 상응하는지 확인하는 사운드 객체 확인수단(145)과, 시선 집중 사운드 객체가 확인되면, 상기 시선 집중 사운드 객체의 사운드 데이터를 증폭시키거나 또는 음성의 분별력을 향상시키는 사운드 조정수단(150)을 더 구비할 수 있으며, 본 발명의 실시 방법에 따라 상기 사운드 객체 확인수단(145)과 사운드 조정수단(150) 중 적어도 하나의 수단은 상기 영상 출력 장치(170)에 구비될 수 있음을 명백하게 밝혀두는 바이다.
According to one embodiment of the present invention, when n 'pieces of sound object information and n' pieces of sound data per sound object are maintained in the image medium, the image data output system includes the line- (145) for confirming whether the line-of-sight-focused object corresponds to the sound object when the line-of-sight-focused object is detected through the line-focused sound object, Or at least one of the sound object confirmation means 145 and the sound adjustment means 150 may be provided in accordance with the method of the present invention, And the video output apparatus 170 can be provided.

상기 정보 결정수단(120)에 의해 n’개의 사운드 객체 정보와 n’개의 사운드 객체 별 사운드 데이터가 결정되고, 상기 영상매체 운영수단(100)이 상기 영상 출력 장치(170)로 상기 영상 데이터를 전달하는 경우, 상기 시선 집중 객체 검출수단(115)을 통해 시선 집중 객체가 검출되면, 상기 사운드 객체 확인수단(145)은 상기 저장매체(105)로부터 상기 시선 집중 객체에 대응하는 객체 정보를 확인하고, 상기 시선 집중 객체 정보가 상기 저장매체(105)에 저장된 사운드 객체 정보와 동일한 객체를 식별하는지 확인한다.
N 'pieces of sound object information and n' pieces of sound data per sound object are determined by the information determination unit 120 and the image medium operating unit 100 transmits the image data to the image output apparatus 170 The sound object confirmation means 145 confirms the object information corresponding to the line focused object from the storage medium 105, and if the line focused object is detected through the line focused object detection means 115, Whether or not the line-of-sight focused object information identifies the same object as the sound object information stored in the storage medium 105. [

만약 상기 시선 집중 객체가 사운드 객체로 확인되면, 상기 사운드 조정수단(150)은 상기 저장매체(105)로부터 상기 시선 집중 사운드 객체와 연관된 사운드 데이터를 확인하고, 상기 확인된 시선 집중 객체와 연관된 사운드 데이터의 음향을 증폭시켜 상기 영상 데이터의 오디오 데이터에 포함시키거나, 또는 상기 사운드 객체와 연관된 사운드 데이터가 음성 데이터인 경우 상기 음성 데이터의 음성 분별력을 향상시켜 상기 영상 데이터의 오디오 데이터에 포함시킬 수 있으며, 상기 영상매체 운영수단(100)은 상기 시선 집중 사운드 객체의 사운드 데이터가 증폭되거나 또는 음성 분별력이 향상된 오디오 데이터를 포함하는 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달한다.
If the line-focused object is recognized as a sound object, the sound adjusting means 150 confirms the sound data associated with the line-focused sound object from the storage medium 105, The audio data of the audio data may be amplified and included in the audio data of the video data, or may be included in the audio data of the video data if the sound data associated with the sound object is audio data, The image medium operating unit 100 constructs the image data including the audio data of the line-of-sight concentrated sound object or the audio data whose audio discrimination power is improved, and transmits the image data to the image output apparatus 170 through the transmission medium 110. [ .

또한, 상기 사운드 조정수단(150)은 상기 장면에 포함된 (n-1)개의 객체 중 상기 사운드 데이터와 연관되지만 상기 사용자의 시선이 집중되지 않은 j(0≤j≤(n-1))개의 사운드 객체를 결정하고, 상기 시선 집중 사운드 객체와 상기 j개의 사운드 객체 간 깊이 차이에 비례하여 상기 j개의 사운드 객체에 대한 사운드 데이터의 음향을 감소시키거나 또는 음성의 분별력을 감소시켜 상기 영상 데이터의 오디오 데이터에 포함시킬 수 있으며, 상기 영상매체 운영수단(100)은 상기 j개의 일반 사운드 객체의 사운드 데이터가 감소되거나 또는 음성 분별력이 감소된 오디오 데이터를 포함하는 영상 데이터를 구성하여 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달한다.
In addition, the sound adjusting means 150 may be configured to adjust the number of j (0? J? (N-1)) pieces of the sound data associated with the sound data among the Determining a sound object, reducing the sound of the sound data for the j sound objects in proportion to the depth difference between the line-of-sight concentrated sound object and the j sound objects, or reducing the sound discrimination power, And the image medium operating means 100 constructs image data including audio data whose j sound data of the j general sound objects is reduced or whose voice discrimination power is reduced, To the video output device 170 through the video output device 170.

여기서, 상기 시선 집중 사운드 객체와 j개의 일반 사운드 객체 간 깊이 차이에 비례하여 사운드 데이터의 음향을 증폭/감소하거나 음성 분별력을 향상/감소하는 비례식은 선형 비례, 또는 로그함수 비례 관계를 포함할 수 있다.
Here, the proportional expression for amplifying / reducing or increasing / decreasing the sound discrimination power of the sound data in proportion to the depth difference between the line-focused sound object and the j general sound objects may include linear proportional or logarithmic function proportional relation .

본 발명으로 확장되는 일 실시 방법에 따라 상기 영상매체에 n”개의 스토리 분기 객체 정보가 유지되는 경우, 상기 영상 데이터 출력 시스템은, 상기 시선 집중 객체 검출수단(115)을 통해 시선 집중 객체가 검출되면, 상기 시선 집중 객체가 상기 스토리 분기 객체에 상응하는지 확인하는 스토리 분기 객체 확인수단(155)과, 시선 집중 스토리 분기 객체가 확인되면, 상기 영상 데이터의 결말을 상기 M개의 서로 다른 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 제m 결말로 결정하는 스토리 분기수단(160)을 더 구비할 수 있으며, 본 발명의 실시 방법에 따라 상기 스토리 분기 객체 확인수단(155)과 스토리 분기수단(160) 중 적어도 하나의 수단은 상기 영상 출력 장치(170)에 구비될 수 있음을 명백하게 밝혀두는 바이다.
When n "pieces of story branch object information are maintained in the image medium according to an embodiment of the present invention, the image data output system may be configured such that, when a line focused object is detected through the eye focused object detecting unit 115 A story branch object check means (155) for checking whether the line focused object corresponds to the story branch object, and if the line focused story branch object is identified, checking the ending of the image data among the M different endings The story branching means 160 may further include a story branching means 160 for determining a m-th ending point associated with the story branching object 160. In accordance with the method of the present invention, at least one of the story branching object checking means 155 and the story branching means 160 It is clear that the means of the video output apparatus 170 can be provided in the video output apparatus 170.

상기 정보 결정수단(120)에 의해 n”개의 스토리 분기 객체 정보가 결정되고, 상기 영상매체 운영수단(100)이 상기 영상 출력 장치(170)로 상기 영상 데이터를 전달하는 경우, 상기 시선 집중 객체 검출수단(115)을 통해 시선 집중 객체가 검출되면, 상기 스토리 분기 객체 확인수단(155)은 상기 저장매체(105)로부터 상기 시선 집중 객체에 대응하는 객체 정보를 확인하고, 상기 시선 집중 객체 정보가 상기 저장매체(105)에 저장된 스토리 분기 객체 정보와 동일한 객체를 식별하는지 확인한다.
N "pieces of story branch object information are determined by the information determination unit 120 and when the image medium operating unit 100 delivers the image data to the image output apparatus 170, When the sight line concentrated object is detected through the means 115, the story branch object check means 155 confirms the object information corresponding to the line focused object from the storage medium 105, And confirms whether the same object as the story branch object information stored in the storage medium 105 is identified.

만약 상기 시선 집중 객체가 스토리 분기 객체로 확인되면, 상기 스토리 분기수단(160)은 상기 저장매체(105)로부터 상기 영상 데이터의 결말을 상기 M개의 결말 중 시선 집중 스토리 분기 객체와 연관된 제m 결말을 결정하고, 상기 영상매체 운영수단(100)은 상기 제m 결말에 대응하는 영상 데이터를 상기 전달매체(110)를 통해 상기 영상 출력 장치(170)로 전달한다.
If the line-focused object is identified as a story branch object, the story branching means 160 stores the ending of the image data from the storage medium 105 as a m-th ending associated with the line-concentrated story branching object among the M ending And the image medium operating means 100 transmits the image data corresponding to the m-th ending to the image output apparatus 170 through the transmission medium 110. [

도면2는 본 발명의 일 실시 방법에 따른 영상 데이터의 오토포커싱/블러링 과정을 도시한 도면이다.
2 is a diagram illustrating a process of auto-focusing / blurring image data according to an embodiment of the present invention.

보다 상세하게 본 도면2는 상기 도면1에 도시된 영상 데이터 출력 시스템에서 영상 출력 장치(170)로 전달하는 영상 데이터의 각 장면에 포함된 n개의 객체 중 사용자의 시선이 집중되는 시선 집중 객체를 오토포커싱하고, 상기 사용자의 시선 방향에 대한 깊이 차이에 따라 상기 (n-1)개의 객체 중 i개의 객체를 상기 시선 집중 객체와의 깊이 차이에 따라 블러링하여 상기 영상 출력 장치(170)로 전달하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 오토포커싱/블러링 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
2 is a block diagram illustrating an example of an image data output system according to an embodiment of the present invention. Referring to FIG. 2, And blinks i objects of the (n-1) objects according to the depth difference with respect to the line-of-sight focusing object according to the depth difference of the user's gaze direction and transmits the blurred image to the image output apparatus 170 2, and various modifications to the auto-focusing / blurring process (e. G., Some steps may be omitted). &Lt; RTI ID = 0.0 > Or alternatively, the order is changed). However, the present invention includes all the above-mentioned embodiments, The technical features are not limited by the method alone.

도면2를 참조하면, 상기 정보 결정수단(120)은 영상 데이터의 비디오 데이터를 기반으로 상기 영상 데이터의 각 장면을 식별하는 장면 식별 정보와 상기 영상 데이터에 포함된 N개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체에 대한 사용자 시선 방향의 깊이에 대응하는 객체 깊이 값을 결정하고(200), 상기 영상매체 운영수단(100)은 상기 결정된 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 상기 영상 데이터와 연결하여 저장한다(205).
Referring to FIG. 2, the information determination unit 120 determines the scene identification information for identifying each scene of the image data based on the video data of the image data, and the scene identification information of the N objects included in the image data, The image medium operating means 100 determines n object information for each corresponding scene and an object depth value corresponding to the depth of the user's gaze direction for n objects for each scene, N object information for each scene and n object depth values for each scene in association with the image data (205).

만약 상기 영상 데이터를 영상 출력 장치(170)로 전달하여 출력한다면(210), 상기 객체 식별수단(125)은 상기 장면 식별 정보를 통해 상기 영상 출력 장치(170)로 전달되어 출력되는 출력 대상 영상 데이터의 장면을 식별하고, 상기 장면 식별 정보와 연결된 각 장면 별 n개의 객체 정보를 통해 상기 장면에 포함된 n개의 객체를 식별한다(215).
If the image data is transmitted to the image output apparatus 170 and then output to the image output apparatus 170, the object identification means 125 identifies the object image data to be output to the image output apparatus 170 through the scene identification information, And identifies n objects included in the scene through the n object information for each scene connected to the scene identification information (215).

만약 상기 영상 데이터의 장면에 포함된 n개의 객체가 식별되지 않으면(220), 상기 영상매체 운영수단(100)은 상기 영상 출력 장치(170)로 상기 출력 대상 영상 데이터를 전달하여 출력시키며(225), 상기 영상 데이터의 전달이 완료될 때까지 상기 과정을 반복한다(265).
If n objects included in the scene of the image data are not identified 220, the image medium operating means 100 transmits the output target image data to the image output device 170, , And repeats the process until the transmission of the image data is completed (265).

반면 상기 영상 데이터의 장면에 포함된 n개의 객체가 식별되면(220), 상기 시선 집중 객체 검출수단(115)은 상기 영상 출력 장치(170)에 구비된 시선 추적 센서(165)를 통해 상기 영상 데이터를 관람하는 사용자의 시선을 추적하여 상기 장면에 포함된 n개의 객체 중 상기 사용자의 시선이 집중되는 시선 집중 객체를 검출한다(230).
On the other hand, if n objects included in the scene of the image data are identified 220, the focused-line-of-sight detecting means 115 may detect the focused image data through the line-of-sight sensor 165 provided in the image output apparatus 170, (230) for detecting a line-focused object in which the user's line of sight is concentrated among n objects included in the scene.

만약 상기 사용자의 시선이 집중되는 시선 집중 객체가 검출되면(235), 상기 오토포커싱 처리수단(130)은 상기 영상 데이터에 포함된 n개의 객체 중 상기 검출된 시선 집중 객체의 선명도를 향상시키는 오토포커싱을 처리한다(240).
If an eye focused object in which the user's eyes are focused is detected (235), the auto focus processing means 130 performs auto focus processing to improve the sharpness of the detected focused eye object among n objects included in the image data (240).

또한, 상기 블러링 대상 결정수단(135)은 상기 저장된 각 장면 별 n개의 객체 깊이 값을 비교하여 상기 장면에 포함된 (n-1)개의 객체 중 상기 시선 집중 객체의 깊이를 기준으로 상기 (n-1)개의 객체 중 선명도를 감소시킬 i개의 블러링 대상 객체를 결정한다(245).
The blurring object determining means 135 compares n depth values of objects stored in the scene with the depth values of the eye focused object among the (n-1) -1) number of objects to be blurred (step 245).

만약 상기 i개의 블러링 대상 객체가 결정되지 않으면(250), 상기 영상매체 운영수단(100)은 상기 시선 집중 객체를 기준으로 오토포커싱된 영상 데이터를 상기 영상 출력 장치(170)로 전달하여 출력시키며(260), 상기 영상 데이터의 전달이 완료될 때까지 상기 과정을 반복한다(265).
If the i blurring object is not determined (250), the image medium operating means 100 transmits the image data that has been autofocused on the basis of the eye-focused object to the image output apparatus 170 and outputs the same (260), and repeats the process until the transmission of the image data is completed (265).

반면 상기 i개의 블러링 대상 객체가 결정되면(250), 상기 블러링 처리수단(140)은 상기 영상 데이터에 포함된 i개의 블러링 대상 객체를 블러링 처리하고(255), 영상매체 운영수단(100)은 상기 시선 집중 객체를 기준으로 오토포커싱 및 블러링된 영상 데이터를 상기 영상 출력 장치(170)로 전달하여 출력시키며(260), 상기 영상 데이터의 전달이 완료될 때까지 상기 과정을 반복한다(265).
On the other hand, when the i blurring object is determined 250, the blurring processing means 140 blurring i blurring objects included in the image data 255, 100 transmits the auto-focusing and blurred image data to the image output device 170 based on the line-focused object, and outputs the auto-focused and blurred image data to the image output device 170 until the transfer of the image data is completed (265).

도면3은 본 발명의 일 실시 방법에 따른 영상 데이터의 사운드 조정 과정을 도시한 도면이다.
FIG. 3 is a diagram illustrating a process of adjusting sound of image data according to an embodiment of the present invention.

보다 상세하게 본 도면3은 상기 도면1에 도시된 영상 데이터 출력 시스템에서 영상 출력 장치(170)로 전달하는 영상 데이터의 각 장면에 포함된 n개의 객체 중 사운드와 연관된 n’개의 사운드 객체와 사운드 데이터를 결정한 후, 상기 도면2에 도시된 과정을 통해 검출된 시선 집중 객체가 상기 사운드 객체와 매칭되면, 상기 시선 집중 사운드 객체와 연관된 사운드 데이터를 증폭하거나 또는 음성 분별력을 향상시켜 상기 영상 출력 장치(170)로 전달하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 사운드 조정 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
More specifically, FIG. 3 illustrates n 'number of sound objects associated with a sound among n objects included in each scene of image data transmitted from the image data output system shown in FIG. 1 to the image output device 170, If the detected focused line object is matched with the sound object, the sound data associated with the line-focused sound object is amplified or the sound discrimination power is improved, and the image output device 170 It will be understood by those skilled in the art that reference to and / or modification of FIG. 3 may be used to provide various implementations of the sound conditioning process (e.g., Omitted, or changed in order), but the present invention can be applied to all of the above- And the technical features thereof are not limited only by the method shown in FIG.

도면3을 참조하면, 상기 정보 결정수단(120)은 영상 데이터의 비디오 데이터를 기반으로 상기 영상 데이터의 각 장면 별 n개의 객체 정보 중 상기 영상 데이터의 오디오 데이터에 포함된 사운드와 연관된 n’개의 사운드 객체와 사운드 데이터를 결정하고(300), 상기 영상매체 운영수단(100)은 상기 결정된 n’개의 사운드 객체 정보와 사운드 데이터를 상기 영상 데이터와 연결하여 저장한다(305).
Referring to FIG. 3, the information determination unit 120 determines n 'sound (s) associated with sound included in the audio data of the video data among n object information for each scene of the video data, based on the video data of the video data. The object and sound data are determined (300). The image medium operating means 100 stores the determined n 'sound object information and sound data in connection with the image data (305).

만약 상기 도면2에 도시된 과정을 통해 시선 집중 객체가 검출되면(310), 상기 사운드 객체 확인수단(145)은 상기 시선 집중 객체가 상기 사운드 객체와 매칭되는지 확인한다(315).
If a line-focused object is detected through the process shown in FIG. 2 (310), the sound object checking unit 145 checks whether the line-focused object matches the sound object (315).

만약 상기 시선 집중 객체가 상기 사운드 객체와 매칭되지 않으면(320), 상기 영상매체 운영수단(100)은 상기 영상 출력 장치(170)로 상기 출력 대상 영상 데이터를 전달하여 출력시키며(325), 상기 영상 데이터의 전달이 완료될 때까지 상기 도면2 및 본 도면3에 도시된 과정을 반복한다(265).
If the focused line object does not match the sound object 320, the image medium operating unit 100 transmits the output target image data to the image output apparatus 170 and outputs the output target image data 325, The process shown in FIG. 2 and FIG. 3 is repeated until the transfer of the data is completed (265).

반면 상기 시선 집중 객체가 상기 사운드 객체와 매칭되면(320), 상기 사운드 조정수단(150)은 상기 시선 집중 사운드 객체와 연관된 사운드 데이터의 음향을 증폭하거나 또는 음성 분별력을 향상시킨다(330).
On the other hand, if the line focused object is matched 320 with the sound object, the sound adjusting means 150 amplifies the sound of the sound data associated with the line-of-sight focused sound object or improves the speech discrimination.

또한, 상기 사운드 조정수단(150)은 상기 (n-1)개의 객체 중 j개의 일반 사운드 객체를 확인한다(335).
Also, the sound adjusting unit 150 identifies j general sound objects among the (n-1) objects (335).

만약 상기 j개의 일반 사운드 객체가 확인되지 않으면(340), 상기 영상매체 운영수단(100)은 상기 시선 집중 사운드 객체와 연관된 사운드 데이터의 음향이 증폭되거나 또는 음성 분별력을 향상된 영상 데이터를 상기 영상 출력 장치(170)로 전달하여 출력시키며(350), 상기 영상 데이터의 전달이 완료될 때까지 상기 도면2 및 본 도면3에 도시된 과정을 반복한다(265).
If the j general sound objects are not identified (340), the image medium operating means (100) determines whether the sound of the sound data associated with the line-of-sight focused sound object is amplified or the sound- (350), and repeats the process shown in FIG. 2 and FIG. 3 until the transfer of the image data is completed (265).

반면 상기 j개의 일반 사운드 객체가 확인되면(340), 상기 사운드 조정수단(150)은 j개의 일반 사운드 객체와 연관된 사운드 데이터의 사운드 데이터의 음향을 감소하거나 또는 음성 분별력을 감소시키고(345), 상기 영상매체 운영수단(100)은 상기 시선 집중 사운드 객체와 연관된 사운드 데이터의 음향이 증폭되거나 또는 음성 분별력을 향상되고, 상기 j개의 일반 사운드 객체와 연관된 사운드 데이터의 음향이 감소되거나 또는 음성 분별력이 감소된 영상 데이터를 상기 영상 출력 장치(170)로 전달하여 출력시키며(350), 상기 영상 데이터의 전달이 완료될 때까지 상기 도면2 및 본 도면3에 도시된 과정을 반복한다(265).
If, on the other hand, the j general sound objects are identified (340), the sound adjusting means 150 reduces (345) the sound of the sound data of the sound data associated with the j general sound objects, The visual medium operating means 100 may be configured such that the sound of the sound data associated with the line-of-sight focused sound object is amplified or the sound discrimination is enhanced, the sound of the sound data associated with the j general sound objects is reduced, The image data is transmitted to the image output device 170 and output (350). The process shown in FIG. 2 and FIG. 3 is repeated until the transmission of the image data is completed (265).

도면4는 본 발명의 일 실시 방법에 따른 영상 데이터의 스토리 분기 과정을 도시한 도면이다.
FIG. 4 is a diagram illustrating a story branching process of image data according to an embodiment of the present invention.

보다 상세하게 본 도면4는 상기 도면1에 도시된 영상 데이터 출력 시스템에서 영상 출력 장치(170)로 전달하는 영상 데이터의 각 장면에 포함된 n개의 객체 중 M개의 결말과 연관된 n”개의 스토리 분기 객체를 결정한 후, 상기 도면2에 도시된 과정을 통해 검출된 시선 집중 객체가 상기 스토리 분기 객체와 매칭되면, 상기 M개의 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 제m 결말에 대응하는 영상 데이터를 상기 영상 출력 장치(170)로 전달하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 스토리 분기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
4 shows n " story branch objects associated with M endings among n objects included in each scene of the image data transmitted from the image data output system shown in FIG. 1 to the image output apparatus 170 If the detected eye focused object is matched with the story branch object, the image data corresponding to the m < th > ending associated with the eye focused concentrated story branch object, And the image output apparatus 170. It should be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the present invention by referring to and / For example, some steps may be omitted or the order may be altered), but the present invention is not limited to any of the above- And the technical features thereof are not limited only by the method shown in FIG.

도면4를 참조하면, 상기 정보 결정수단(120)은 영상 데이터의 비디오 데이터를 기반으로 상기 영상 데이터의 각 장면 별 n개의 객체 정보 중 상기 영상 데이터에 대한 M개의 별말과 연관된 n”개의 스토리 분기 객체를 결정하고(400), 상기 영상매체 운영수단(100)은 상기 결정된 n”개의 스토리 분기 객체 정보를 상기 영상 데이터와 연결하여 저장한다(405).
Referring to FIG. 4, the information determination unit 120 determines n 'pieces of story branch objects (hereinafter referred to as " n " (400), and the image medium operating means 100 stores the determined n " pieces of story branch object information in association with the image data (405).

만약 상기 도면2에 도시된 과정을 통해 시선 집중 객체가 검출되면(410), 상기 스토리 분기 객체 확인수단(155)은 상기 시선 집중 객체가 상기 스토리 분기 객체와 매칭되는지 확인한다(415).
If a line-focused object is detected through the process shown in FIG. 2 (410), the story branching object checking unit 155 determines whether the line-focused object matches the story branching object (415).

만약 상기 시선 집중 객체가 상기 스토리 분기 객체와 매칭되지 않으면(420), 상기 영상매체 운영수단(100)은 상기 영상 출력 장치(170)로 상기 출력 대상 영상 데이터를 전달하여 출력시키며(425), 상기 영상 데이터의 전달이 완료될 때까지 상기 도면2 및 본 도면4에 도시된 과정을 반복한다(265).
If the gaze concentration object does not match the story branch object 420, the image medium operating means 100 transmits the output target image data to the image output apparatus 170 and outputs the output target image data to the image output apparatus 170 in operation 425, The process shown in FIG. 2 and FIG. 4 is repeated until the transfer of the image data is completed (265).

반면 상기 시선 집중 객체가 상기 스토리 분기 객체와 매칭되면(420), 상기 스토리 분기수단(160)은 상기 M개의 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 제m 결말을 확인하고(430), 상기 영상매체 운영수단(100)은 상기 M개의 스토리 분기 영상 데이터 중 상기 제m결말에 대응하는 영상 데이터를 확인한 후(435), 상기 확인된 제m 결말에 대응하는 영상 데이터를 상기 영상 출력 장치(170)로 전달하여 출력시키며(440), 상기 영상 데이터의 전달이 완료될 때까지 상기 도면2 및 본 도면4에 도시된 과정을 반복한다(265).
Meanwhile, if the line-of-sight concentrated object is matched with the story branch object 420, the story branching unit 160 confirms the m-th ending associated with the line-of-sight concentrated story branch object among the M endings 430, The media operating means 100 confirms the image data corresponding to the m-th ending of the M story branch image data (435), and transmits the image data corresponding to the confirmed m-th ending image to the image output apparatus 170 (440), and repeats the process shown in FIG. 2 and FIG. 4 until the transmission of the image data is completed (265).

도면5는 본 발명의 실시 방법에 따른 영상 출력 장치(500) 구성을 도시한 도면이다.
5 is a diagram illustrating a configuration of a video output apparatus 500 according to an embodiment of the present invention.

보다 상세하게 본 도면5는 영상매체(530)로부터 전달되는 영상 데이터를 출력하는 영상 출력 장치(500)에서 사용자의 시선을 추적하여 상기 영상 데이터의 각 장면에 포함된 n(n≥1)개의 객체 중 사용자의 시선이 집중되는 시선 집중 객체를 오토포커싱하되, 상기 사용자의 시선 방향에 대한 깊이 차이에 따라 상기 (n-1)개의 객체 중 i(0≤i≤(n-1))개의 객체를 상기 시선 집중 객체와의 깊이 차이에 따라 블러링하는 장치 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면5를 참조 및/또는 변형하여 상기 영상 출력 장치(500) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면5에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. 편의상 상기 도면1과 중복되는 구성의 상세 설명을 생략한다.
5 shows an example in which n (n > = 1) objects included in each scene of the image data are tracked by a video output apparatus 500 that outputs image data transmitted from an image medium 530, (0? I? (N-1)) objects among the (n-1) objects according to the depth difference in the gaze direction of the user, FIG. 5 is a block diagram illustrating a configuration of a device for blurring according to a depth difference from the line-of-sight focused object. Referring to FIG. 5 and / or modified by the person skilled in the art, It will be appreciated that various implementations of the configuration (e.g., some of the components may be omitted, or subdivided, or combined) may be inferred from a configuration of the present invention, It becomes, to which the technical feature that is not limited to the exemplary method shown in the figure 5. For the sake of convenience, the detailed description of the configuration overlapping with that of FIG. 1 will be omitted.

상기 영상매체(530)는 상기 영상 출력 장치(500)로 출력할 비디오 데이터와 오디오 데이터를 포함하는 영상 데이터를 저장하는 저장매체(예컨대, CD-ROM 저장매체, DVD-ROM 저장매체, 이동식디스크 저장매체, 하드디스크 저장매체 등)와, 상기 영상 데이터를 상기 영상 출력 장치(500)로 전달하는 전달매체(예컨대, CD-ROM 인터페이스, DVD-ROM 인터페이스, 이동식디스크 연결 인터페이스, 통신망 접속 인터페이스 등)를 포함한다.
The image medium 530 may include a storage medium (e.g., a CD-ROM storage medium, a DVD-ROM storage medium, a removable disk storage medium) for storing image data including video data and audio data to be output to the video output apparatus 500 (E.g., a CD-ROM interface, a DVD-ROM interface, a removable disk connection interface, and a communication network access interface) for transferring the video data to the video output device 500 .

본 발명에 따르면, 상기 영상 데이터는, 카메라를 통해 촬영된 실사 영상에 포함된 실사 객체의 식별이 가능한 실사 영상 데이터, 텍스쳐가 매핑/렌더링된 폴리곤으로 구성된 가상 영상에 포함된 폴리곤에 대응하는 가상 객체의 식별이 가능한 가상 영상 데이터, 상기 실사 영상과 가상 영상이 결합된 영상에 포함된 실사 객체와 가상 객체 중 적어도 하나의 객체 식별이 가능한 실사/가상 영상 데이터, 양안시차에 의한 입체감을 표시하는 3D 카메라를 통해 촬영된 실사 입체 영상에 포함된 실사 입체감 객체의 식별이 가능한 실사 입체 영상 데이터, 상기 양안시차에 의한 입체감이 표시되도록 구성된 폴리곤에 텍스쳐를 매핑/렌더링하여 구성된 가상 입체 영상에 포함된 가상 입체감 객체의 식별이 가능한 가상 입체 영상 데이터, 및 상기 실사 입체 영상과 가상 입체 영상이 결합된 입체 영상에 포함된 실사 입체감 객체와 가상 입체감 객체 중 적어도 하나의 입체감 객체의 식별이 가능한 실사/가상 입체 영상 데이터를 적어도 하나 포함할 수 있다.
According to the present invention, the image data includes virtual image data capable of identifying a real image object included in a real image photographed through a camera, a virtual object corresponding to a polygon included in a virtual image composed of polygons to which a texture is mapped / Real image / virtual image data capable of identifying at least one of a real image object and a virtual object included in an image in which the real image and the virtual image are combined, a 3D camera displaying a stereoscopic effect due to binocular parallax, A virtual three-dimensional object image included in a virtual three-dimensional image formed by mapping / rendering a texture to a polygon configured to display a three-dimensional sensation due to the binocular disparity, The virtual stereoscopic image data capable of identifying the virtual stereoscopic image, The inspection three-dimensional object and a three-dimensional virtual capable of at least one of the identified three-dimensional objects of the object inspection / virtual three-dimensional image data included in the virtual three-dimensional image is combined three-dimensional image may include at least one.

본 발명에 따르면, 상기 영상 출력 장치(500)는 사용자의 시선을 추적하는 시선 추적 센서(525)를 구비하며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 상기 시선 추적 센서(525)가 사용자의 시선을 추적하는 기술 구성을 기 숙지하고 있을 것이므로, 이에 대한 상세한 설명은 생략하기로 한다.
According to the present invention, the image output apparatus 500 includes a line-of-sight sensor 525 for tracking a line of sight of a user, and if the person skilled in the art is familiar with the present invention, ) Is aware of the technical configuration for tracking the user's gaze, and thus a detailed description thereof will be omitted.

도면5를 참조하면, 상기 영상 출력 장치(500)는, 상기 영상매체(530)로부터 영상 데이터를 인터페이스하여 입력하는 영상매체 인터페이스부(535)와, 디스플레이로 상기 영상 데이터의 비디오 데이터를 출력하는 비디오 출력부(510)와, 스피커로 상기 영상 데이터의 오디오 데이터를 출력하는 오디오 출력부(515)와, 상기 시선 추적 센서(525)를 통해 사용자의 시선을 추적하는 시선 추적부(520) 및 상기 영상매체 인터페이스부(535)를 통해 입력되는 영상 데이터로부터 비디오 데이터를 추출하여 상기 비디오 출력부(510)를 통해 출력하고 상기 영상 데이터로부터 오디오 데이터를 추출하여 상기 오디오 출력부(515)를 통해 출력하는 영상 출력 제어부(505)를 구비하며,
5, the video output apparatus 500 includes an image medium interface unit 535 for interfacing with the video data from the video medium 530, and a video output unit for outputting video data of the video data An audio output unit 515 for outputting audio data of the video data to a speaker, a gaze tracking unit 520 for tracking a user's gaze through the gaze tracking sensor 525, An audio output unit 515 for outputting audio data from the video data through the video output unit 510, extracting audio data from the video data input through the media interface unit 535, And an output control unit 505,

상기 영상매체 인터페이스부(535)는 상기 영상 데이터를 유지하는 영상매체(530)로부터 상기 영상 출력 제어부(505)로 영상 데이터를 입력하는 인터페이스 장치의 총칭이다. 만약 상기 영상매체(530)에 상기 영상 데이터에 대한 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값이 유지되고 있는 경우, 상기 영상매체 인터페이스부(535)는 상기 영상 데이터와 상기 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 연결하여 상기 영상 출력 제어부(505)로 인터페이스할 수 있다.
The video medium interface unit 535 is a general term for an interface device for inputting video data from the video medium 530 holding the video data to the video output controller 505. If the image medium 530 holds each scene identification information for the image data, n object information for each scene, and n object depth values for each scene, the image medium interface unit 535 transmits It is possible to connect the image data, each scene identification information, n object information for each scene, and n object depth values for each scene to the image output control unit 505.

본 발명으로 확장되는 일 실시 방법에 따라 상기 영상매체(530)에 n’개의 사운드 객체 정보와 n’개의 사운드 객체 별 사운드 데이터가 유지되는 경우, 상기 영상매체 인터페이스부(535)는 상기 영상 데이터와 상기 n’개의 사운드 객체 정보와 n’개의 사운드 객체 별 사운드 데이터를 더 연결하여 상기 영상 출력 제어부(505)로 인터페이스할 수 있다.
According to one embodiment of the present invention, when n 'pieces of sound object information and n' pieces of sound data per sound object are maintained in the video medium 530, the video medium interface unit 535 outputs video data The n 'pieces of sound object information and the sound data of n' sound objects may be further connected to the image output control unit 505.

본 발명으로 확장되는 일 실시 방법에 따라 상기 영상매체(530)에 n”개의 스토리 분기 객체 정보가 유지되는 경우, 상기 영상매체 인터페이스부(535)는 상기 영상 데이터와 상기 n”개의 스토리 분기 객체 정보를 더 연결하여 상기 영상 출력 제어부(505)로 인터페이스할 수 있다.
According to one embodiment of the present invention, when n " pieces of story branch object information are maintained in the video medium 530, the video medium interface unit 535 divides the video data and the n & And can interface with the video output controller 505.

예를들어, 상기 영상매체 인터페이스부(535)는 상기 영상매체(530)가 CD-ROM을 포함하는 경우 CD-ROM 인터페이스 장치를 포함할 수 있고, 상기 영상매체(530)가 DVD-ROM을 포함하는 경우 상기 DVD-ROM 인터페이스 장치를 포함할 수 있고, 상기 영상매체(530)가 이동식디스크를 포함하는 경우 상기 이동식디스크 연결 장치를 포함할 수 있고, 상기 영상매체(530)가 통신망에 구비된 저장매체를 포함하는 경우 통신망 접속 장치를 포함할 수 있다.
For example, the video medium interface unit 535 may include a CD-ROM interface device when the video medium 530 includes a CD-ROM, and the video medium 530 may include a DVD-ROM And may include the DVD-ROM interface device. If the video medium 530 includes a removable disk, the video media 530 may include the removable disk connection device, and the video medium 530 may include a storage And may include a network connection device when it includes a medium.

상기 영상 출력 제어부(505)는 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터로부터 비디오 데이터와 오디오 데이터를 추출하여 상기 비디오 출력부(510)와 오디오 출력부(515)를 통해 출력하는 물리적 장치(또는 물리적 장치와 결합된 프로그램 코드)의 총칭으로서, 본 도면5는 편의상 본 발명에 따른 영상 데이터에 포함된 시선 집중 객체의 오토포커싱/블러링을 처리하는 프로그램 코드 형태의 기능 구성부를 본 영상 출력 제어부(505) 내에 도시하여 설명하기로 한다.
The video output control unit 505 extracts video data and audio data from the video data to be interfaced through the video media interface unit 535 and outputs the video data and audio data through the video output unit 510 and the audio output unit 515 FIG. 5 is a general term for a device (or a program code combined with a physical device). FIG. 5 is a block diagram showing a functional configuration of a program code form for processing autofocusing / blurring of a focused object, Output control unit 505 will be described.

도면5를 참조하면, 상기 영상 출력 장치(500)는, 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터의 비디오 데이터를 기반으로 각 장면을 식별하는 장면 식별 정보와 상기 영상 데이터에 포함된 N(N>1)개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면 별 n(1≤n≤N)개의 객체 정보 및 각 장면 별 n개의 객체에 대한 사용자 시선 방향의 깊이를 표시하는 객체 깊이 값을 확인하는 정보 확인부(540)와, 상기 영상 데이터 출력 시, 상기 장면 식별 정보를 통해 상기 출력되는 영상 데이터의 장면을 식별하고, 상기 장면에 포함된 n개의 객체를 식별하는 객체 식별부(545)와, 상기 시선 추적 센서(525)를 통해 사용자의 시선을 추적하여 상기 n개의 객체 중 상기 사용자의 시선이 집중되는 어느 하나의 시선 집중 객체를 검출하는 시선 집중 객체 검출부(550)와, 상기 검출된 시선 집중 객체를 오토포커싱하는 오토포커싱 처리부(555)와, 상기 시선 집중 객체와 (n-1)개의 객체의 깊이를 비교하여 상기 시선 집중 객체의 깊이를 기준으로 i(0≤i≤(n-1))개의 블러링(Blurring) 대상 객체를 결정하는 블러링 대상 결정부(560)와, 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 상기 i개의 블러링 대상 객체를 블러링하는 블러링 처리부(565)를 구비한다.
Referring to FIG. 5, the video output apparatus 500 includes scene identification information for identifying each scene based on video data of video data interfaced through the video medium interface unit 535, (1? N? N) pieces of object information for each scene corresponding to the scene identification information among N (N> 1) objects and an object depth value indicating a depth of a user's gaze direction for n An object identifying unit 545 for identifying a scene of the output image data through the scene identification information and identifying n objects included in the scene at the time of outputting the image data, A line-of-sight detection sensor 525 for tracking a line of sight of the user and detecting any one line-focused object in which the user's line of sight is concentrated among the n objects, An autofocus processing unit 555 for autofocusing the detected focused line focused object, and a controller for comparing the depth of the line focused object and (n-1) a blurring object determining unit 560 for determining a blurring object to be blurred according to the depth difference between the eye focused object and i blurring object, And a blurring processing unit 565 for blurring the i blurring object.

본 발명의 일 실시 방법에 따라 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터에 상기 영상 데이터에 대한 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값이 연결된 경우, 상기 정보 확인부(540)는 상기 영상 데이터와 연결된 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 확인할 수 있다.
According to an embodiment of the present invention, n pieces of object information for each scene and n object depth values for each scene are added to image data interfaced through the image medium interface unit 535, When connected, the information verifying unit 540 can check each scene identification information connected to the image data, n object information for each scene, and n object depth values for each scene.

본 발명의 일 실시 방법에 따라 상기 영상매체 인터페이스부(535)를 통해 상기 영상 데이터만 인터페이스되는 경우, 상기 정보 확인부(540)는 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터의 비디오 데이터를 판독하여 상기 영상 데이터의 각 장면을 식별하는 장면 식별 정보를 확인한다.
According to an embodiment of the present invention, when only the image data is interfaced through the image medium interface unit 535, the information identifying unit 540 may check the video data of the video data Reads the data, and confirms scene identification information for identifying each scene of the video data.

상기 장면 식별 정보가 확인되면, 상기 정보 확인부(540)는 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터의 비디오 데이터를 판독하여 상기 영상 데이터에 포함된 N개의 객체 중 상기 확인된 장면 식별 정보에 대응하는 각 장면에 포함된 n(1≤n≤N)개의 객체를 식별하는 객체 정보를 확인하고, 상기 확인된 n개의 객체에 대하여 사용자의 시선 방향에 대한 각 객체의 깊이에 대응하는 객체 깊이 값을 확인한다.
When the scene identification information is confirmed, the information verifying unit 540 reads the video data of the video data to be interfaced through the video medium interface unit 535 and outputs the verified scene among the N objects included in the video data Identifies object information for identifying n (1? N? N) objects included in each scene corresponding to the identification information, and for each of the identified n objects, Check the object depth value.

여기서, 상기 객체 정보는 상기 영상 출력 장치(500)를 통해 출력되는 영상 데이터에 포함된 비디오 데이터에 대응하는 각 장면에 포함된 n개의 객체 중 오토포커싱 또는 블러링이 가능한 객체를 식별하는 정보이다.
Here, the object information is information for identifying an object capable of auto focusing or blurring among n objects included in each scene corresponding to the video data included in the image data output through the video output apparatus 500. [

상기 영상 데이터의 각 장면을 식별하는 장면 식별 정보와, 상기 영상 데이터에 포함된 N개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면에 포함된 n개의 객체 정보와, 상기 각 장면 별 n개의 객체 깊이 값이 확인되면, 상기 영상 출력 제어부(505)는 상기 시선 추적부(520)를 통해 사용자의 시선을 추적하여 상기 사용자의 시선이 집중된 시선 집중 객체를 확인한 후 상기 영상 출력 장치(500)에 구비된 적어도 하나의 기능 구성부와 연동하여 상기 각 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값을 통해 상기 각 장면 별 n개의 객체 중 시선 집중 객체를 오토포커싱 하고 나머지 (n-1)개의 객체 중 i개의 객체를 블러링한 영상 데이터를 구성하여 출력할 수 있다.
A scene identification information for identifying each scene of the image data; n pieces of object information included in each scene corresponding to the scene identification information among N pieces of objects included in the image data; The image output control unit 505 tracks the user's gaze through the gaze tracking unit 520 to check the gaze focused object focused on the user, Focusing on a line focused object among n objects of each scene through each scene identification information, n pieces of object information for each scene, and n pieces of object depth values for each scene, in cooperation with at least one function constituent part, and blurring i objects out of n-1) objects.

본 발명으로 확장되는 일 실시 방법에 따르면, 상기 정보 확인부(540)는 상기 각 장면 별 n개의 객체 중 상기 영상 데이터의 오디오 데이터를 기반으로 각 장면 별 사운드와 연관된 n’(0≤n’≤n)개의 사운드 객체 정보와 상기 n’개의 사운드 객체 별 사운드 데이터를 확인하고, 상기 영상 출력 제어부(505)는 상기 n’개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터를 통해 상기 n’개의 사운드 객체 중 사용자의 시선이 집중된 사운드 객체의 음향을 증가시키거나 또는 음성 분별력을 향상시켜 출력할 수 있다.
According to one embodiment of the present invention, the information identifying unit 540 determines n '(0 < n < n) associated with sound of each scene based on audio data of the image data among n objects of each scene. n 'pieces of sound object information and n' pieces of sound object-specific sound data, and the image output control unit 505 receives the n 'pieces of sound object information and the n' sound objects It is possible to increase the sound of the sound object in which the user's line of sight is concentrated, or to improve the sound discrimination power and output the sound.

만약 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터에 상기 영상 데이터에 대한 n’개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터가 연결된 경우, 상기 정보 확인부(540)는 상기 영상 데이터와 연결된 n’개의 사운드 객체 정보와 각 사운드 객체 별 사운드 데이터를 확인할 수 있다.
If n 'pieces of sound object information for the image data and sound data for respective sound objects are connected to the image data interfaced through the image medium interface unit 535, the information identifying unit 540 checks the image data, You can see the n 'sound object information connected and the sound data for each sound object.

반면 상기 영상매체 인터페이스부(535)를 통해 상기 영상 데이터만 인터페이스되는 경우, 상기 정보 확인부(540)는 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터와 연결된 자막 데이터(도시생략)를 판독하여 상기 영상 데이터의 비디오 데이터를 기반으로 확인된 각 장면 별 n개의 객체 중 상기 영상 데이터의 오디오 데이터를 대한 각 장면 별 사운드 데이터의 원천에 대응하는 n’개의 사운드 객체를 확인하고, 상기 확인된 사운드 객체를 식별하는 사운드 객체 정보와 상기 n’개의 사운드 객체가 원천인 n’개의 사운드 객체 별 사운드 데이터를 더 확인할 수 있다.
On the other hand, when only the image data is interfaced through the image medium interface unit 535, the information identifying unit 540 displays caption data (not shown) connected to the image data to be interfaced through the image medium interface unit 535 Identifying n 'sound objects corresponding to the source of the sound data for each scene of the audio data of the video data among n objects of each scene identified based on the video data of the video data, Sound object information for identifying a sound object, and sound data for n 'sound objects where the n' sound objects are the source.

상기 정보 확인부(540)에 의해 n’개의 사운드 객체 정보와 n’개의 사운드 객체 별 사운드 데이터가 확인되면, 상기 영상 출력 제어부(505)는 상기 시선 추적부(520) 및 상기 영상 출력 장치(500)에 구비된 적어도 하나의 기능 구성부와 연동하여 사용자의 시선이 집중된 시선 집중 사운드 객체를 확인한 후 상기 시선 집중 사운드 객체의 사운드 데이터를 증폭시키거나 또는 음성의 분별력을 향상시키고 나머지 (n-1)개의 객체 중 j개의 사운드 객체의 사운드 데이터를 감소시키거나 또는 음성의 분별력을 감소시킨 영상 데이터를 구성하여 출력할 수 있다.
If the n 'pieces of sound object information and the sound data of n' sound objects are identified by the information verifying unit 540, the image output control unit 505 controls the gaze tracking unit 520 and the video output device 500 (N-1) -th sound intensity data of the line-of-sight sound object is amplified or the sound discrimination power of the sound is concentrated, It is possible to reduce the sound data of j sound objects among the number of objects, or to construct and output image data with reduced speech discrimination power.

본 발명으로 확장되는 다른 일 실시 방법에 따르면, 상기 영상 데이터는 M개의 서로 다른 결말을 포함하여 구성될 수 있으며, 이 경우 상기 정보 확인부(540)는 상기 각 장면 별 n개의 객체 중 상기 M개의 다른 결말과 연관된 n”개의 스토리 분기 객체 정보를 더 확인하고, 상기 영상 출력 제어부(505)는 상기 M개의 결말 중 상기 n”개의 스토리 분기 객체 정보와 연관된 제m 결말로 상기 영상 데이터의 스토리를 분기하여 출력할 수 있다.
According to another embodiment of the present invention, the image data may include M different endings. In this case, the information identifying unit 540 may identify the M The image output control unit 505 further confirms n " pieces of story branch object information related to another ending, and the image output control unit 505 branches the story of the image data to the m ' ending associated with the n & And output it.

만약 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터에 상기 영상 데이터에 대한 n”개의 스토리 분기 객체 정보가 연결된 경우, 상기 정보 확인부(540)는 상기 영상 데이터와 연결된 n”개의 스토리 분기 객체 정보를 확인할 수 있다.
If n " pieces of story branch object information related to the image data are connected to the image data interfaced through the image medium interface unit 535, the information verifying unit 540 determines n " Object information can be confirmed.

반면 상기 영상매체 인터페이스부(535)를 통해 상기 영상 데이터만 인터페이스되는 경우, 상기 정보 확인부(540)는 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터와 연결된 스토리 데이터(도시생략) 또는 자막 데이터(도시생략)를 판독하여 상기 영상 데이터의 비디오 데이터를 기반으로 확인된 각 장면 별 n개의 객체 중 상기 M개의 다른 결말과 연관된 n”개의 스토리 분기 객체를 더 확인할 수 있다.
In contrast, when only the image data is interfaced through the image medium interface unit 535, the information identifying unit 540 may store story data (not shown) connected to the image data to be interfaced through the image medium interface unit 535, Subtitle data (not shown) may be read to identify n " story branch objects associated with the M different endings among n objects for each scene identified based on the video data of the video data.

상기 정보 확인부(540)에 의해 n”개의 스토리 분기 객체 정보가 확인되면, 상기 영상 출력 제어부(505)는 상기 시선 추적부(520) 및 상기 영상 출력 장치(500)에 구비된 적어도 하나의 기능 구성부와 연동하여 사용자의 시선이 집중된 시선 집중 스토리 분기 객체를 확인한 후 상기 M개의 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 어느 하나의 제m 결말로 상기 영상 데이터의 스토리를 분기한 영상 데이터를 구성하여 출력할 수 있다.
When the n 'pieces of story branch object information are confirmed by the information checking unit 540, the image output control unit 505 controls at least one function provided in the gaze tracking unit 520 and the image output apparatus 500 The method comprising the steps of: identifying a line-of-sight concentrated branching object in which a user's line of sight is concentrated in association with a construction unit, and branching the story of the image data into a m-th ending point associated with the line- And output it.

상기 객체 식별부(545)는 상기 정보 확인부(540)를 통해 확인되는 장면 식별 정보를 통해 상기 영상매체 인터페이스부(535)를 통해 인터페이스되는 영상 데이터에 대한 장면을 식별하고, 상기 장면 식별 정보와 연결된 n개의 객체 정보를 통해 상기 장면에 포함된 n개의 객체를 식별한다.
The object identification unit 545 identifies the scene of the image data to be interfaced through the image medium interface unit 535 through the scene identification information confirmed through the information identification unit 540, And identifies n objects included in the scene through n connected object information.

상기 시선 집중 객체 검출부(550)는 상기 시선 추적부(520)와 연동하여 상기 시선 추적 센서(525)를 통해 상기 영상 데이터를 관람하는 사용자의 시선을 추적하여 상기 영상 데이터 중 상기 영상 데이터의 화면 영역 중 상기 사용자의 시선이 집중되는 시선 집중 점(또는 영역)을 검출하고, 상기 시선 집중 점(또는 영역)과 상기 영상 데이터의 장면으로부터 식별된 n개의 객체 위치를 비교하여 상기 객체 식별부(545)에 의해 식별된 n개의 객체 중 상기 사용자의 시선이 집중되는 어느 하나의 시선 집중 객체를 검출한다.
The line-of-sight concentrated object detecting unit 550 tracks the line of sight of the user who views the image data through the line-of-sight tracking sensor 525 in cooperation with the line-of-sight tracking unit 520, (Or region) in which the user's line of sight is concentrated, and compares the n-th object position identified from the scene of the image data with the line-of-sight concentration point (or region) Which is one of the n objects identified by the user.

상기 영상 데이터의 장면에 포함된 n개의 객체 중 사용자의 시선이 집중된 시선 집중 객체가 검출되면, 상기 오토포커싱 처리부(555)는 상기 검출된 시선 집중 객체의 선명도를 향상시켜 오토포커싱 처리한다.
When a line-focused object in which the user's line of sight is concentrated among the n objects included in the scene of the image data is detected, the auto-focus processing unit 555 improves the sharpness of the detected line-focused object to perform autofocus processing.

또한, 상기 블러링 대상 결정부(560)는 상기 영상 데이터의 장면에 포함된 n개의 객체 중 상기 시선 집중 객체를 제외한 나머지 (n-1)개의 객체를 확인하고, 상기 n개의 객체 정보와 연결된 n개의 객체 깊이 값을 비교하고, 상기 시선 집중 객체의 깊이를 기준으로 상기 (n-1)개의 객체 중 선명도를 감소시킬 i(0≤i≤(n-1))개의 블러링 대상 객체 또는 상기 영상 데이터의 기본 선명도를 그대로 유지한 ((n-1)-i)개의 포커스 유지 대상 객체를 결정한다.
In addition, the blurring object determining unit 560 identifies the remaining (n-1) objects excluding the focused object among the n objects included in the scene of the image data, and the n (0? I? (N-1)) number of blurring objects or images (i, j) that reduce the sharpness of the (n-1) objects based on the depth of the line- ((N-1) -i) focus maintaining target objects in which the basic sharpness of the data is maintained as it is.

만약 상기 블러링 대상 결정부(560)에 의해 i개의 블러링 대상 객체(또는 ((n-1)-i)개의 포커스 유지 대상 객체)가 결정되면, 상기 블러링 처리부(565)는 상기 시선 집중 객체와 i개의 블러링 대상 객체 간 깊이 차이에 비례하여 상기 i개의 블러링 대상 객체의 선명도를 상기 오토포커싱된 시선 집중 객체의 선명도(또는 상기 i개의 블러링 대상 객체의 기본 선명도)보다 감소시키되, ((n-1)-i)개의 포커스 유지 대상 객체의 선명도는 그대로 유지시킨다.
If the blurring object determining unit 560 determines i blurring object (or ((n-1) -i) focus maintaining object), the blurring processing unit 565 calculates (I) reducing the sharpness of the i-blurred object to be smaller than the sharpness of the autofocused focused-line object (or the basic sharpness of the i-blurred object) in proportion to a difference in depth between the object and i- ((n-1) -i) focus maintaining target objects remain intact.

상기 오토포커싱 처리부(555)에 의해 상기 영상 데이터에 포함된 장면의 시선 집중 객체가 오토포커싱되면, 상기 영상 출력 제어부(505)는 상기 시선 집중 객체가 오토포커싱된 영상 데이터를 출력한다.
When the focused object of the scene included in the image data is autofocused by the autofocus processing unit 555, the image output control unit 505 outputs the image data obtained by autofocusing the focused object.

또는, 상기 오토포커싱 처리부(555)에 의해 상기 영상 데이터에 포함된 장면의 시선 집중 객체가 오토포커싱되고, 상기 블러링 처리부(565)에 의해 상기 장면에 포함된 n개의 객체 중 i개의 블러링 대상 객체가 블러링되면, 상기 영상 출력 제어부(505)는 상기 시선 집중 객체가 오토포커싱되고 i개의 블러링 대상 객체가 블러링된 영상 데이터를 출력한다.
Alternatively, the eye focusing object of the scene included in the image data may be auto-focused by the autofocus processing unit 555, and the blurring processing unit 565 may perform blurring processing on the i blurring object When the object is blurred, the image output control unit 505 outputs image data in which the eye focused object is autofocused and i blurred objects are blurred.

본 발명으로 확장되는 일 실시 방법에 따라 상기 n’개의 사운드 객체 정보와 n’개의 사운드 객체 별 사운드 데이터가 확인되는 경우, 상기 영상 출력 장치(500)는, 상기 시선 집중 객체 검출부(550)를 통해 시선 집중 객체가 검출되면, 상기 시선 집중 객체가 상기 사운드 객체에 상응하는지 확인하는 사운드 객체 확인부(570)와, 시선 집중 사운드 객체가 확인되면, 상기 시선 집중 사운드 객체의 사운드 데이터를 증폭시키거나 또는 음성의 분별력을 향상시키는 사운드 조정부(575)를 더 구비할 수 있다.
According to an embodiment of the present invention, when the n 'pieces of sound object information and the sound data of n' pieces of sound objects are identified, the image output apparatus 500 receives the sound object information A sound object identifying unit 570 for determining whether the line-of-sight concentrated object corresponds to the sound object when the line-of-sight focused object is detected; and a sound object identifying unit 570 for amplifying the sound data of the line- And a sound adjusting unit 575 for improving the discriminating power of the voice.

상기 정보 확인부(540)에 의해 n’개의 사운드 객체 정보와 n’개의 사운드 객체 별 사운드 데이터가 확인되고, 상기 시선 집중 객체 검출부(550)를 통해 시선 집중 객체가 검출되면, 상기 사운드 객체 확인부(570)는 상기 시선 집중 객체가 상기 n’개의 사운드 객체 중 어느 하나와 매칭되는지 확인한다.
N 'pieces of sound object information and n' pieces of sound data for each sound object are identified by the information verifying unit 540. When a line focused object is detected through the line focused object detecting unit 550, The controller 570 checks whether the line-focused object matches any one of the n 'sound objects.

만약 상기 시선 집중 객체가 사운드 객체와 매칭되면, 상기 사운드 조정부(575)는 상기 시선 집중 사운드 객체와 연관된 사운드 데이터를 확인하고, 상기 확인된 시선 집중 객체와 연관된 사운드 데이터의 음향을 증폭시켜 상기 영상 데이터의 오디오 데이터에 포함시키거나, 또는 상기 사운드 객체와 연관된 사운드 데이터가 음성 데이터인 경우 상기 음성 데이터의 음성 분별력을 향상시켜 상기 영상 데이터의 오디오 데이터에 포함시킬 수 있으며, 상기 영상 출력 제어부(505)는 상기 시선 집중 사운드 객체의 사운드 데이터가 증폭되거나 또는 음성 분별력이 향상된 오디오 데이터를 포함하는 영상 데이터를 출력한다.
If the line focused object matches the sound object, the sound adjustment unit 575 confirms the sound data associated with the line focused sound object, amplifies the sound of the sound data associated with the confirmed line focused object, Or if the sound data associated with the sound object is voice data, the voice discrimination power of the voice data can be enhanced and included in the audio data of the video data. The sound data of the line-of-sight concentrated sound object is amplified or the audio data including audio data with improved speech discrimination power is output.

또한, 상기 사운드 조정부(575)는 상기 장면에 포함된 (n-1)개의 객체 중 상기 사운드 데이터와 연관되지만 상기 사용자의 시선이 집중되지 않은 j(0≤j≤(n-1))개의 사운드 객체를 결정하고, 상기 시선 집중 사운드 객체와 상기 j개의 사운드 객체 간 깊이 차이에 비례하여 상기 j개의 사운드 객체에 대한 사운드 데이터의 음향을 감소시키거나 또는 음성의 분별력을 감소시켜 상기 영상 데이터의 오디오 데이터에 포함시킬 수 있으며, 상기 영상 출력 제어부(505)는 상기 j개의 일반 사운드 객체의 사운드 데이터가 감소되거나 또는 음성 분별력이 감소된 오디오 데이터를 포함하는 영상 데이터를 출력한다.
In addition, the sound adjusting unit 575 adjusts the number of j (0? J? (N-1)) sound signals that are related to the sound data among the (n-1) Determining sound data for the j sound objects in accordance with a depth difference between the line-focused sound object and the j sound objects, or reducing the sound discrimination power of the j sound objects, And the image output control unit 505 outputs image data including audio data in which the sound data of the j general sound objects is reduced or the voice discrimination power is reduced.

본 발명으로 확장되는 일 실시 방법에 따라 상기 n”개의 스토리 분기 객체 정보가 확인되는 경우, 상기 영상 출력 장치(500)는, 상기 시선 집중 객체 검출부(550)를 통해 시선 집중 객체가 검출되면, 상기 시선 집중 객체가 상기 스토리 분기 객체에 상응하는지 확인하는 스토리 분기 객체 확인부(580)와, 시선 집중 스토리 분기 객체가 확인되면, 상기 영상 데이터의 결말을 상기 M개의 서로 다른 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 제m 결말로 결정하는 스토리 분기부(585)를 더 구비할 수 있다.
When the n 'pieces of story branch object information are identified according to an embodiment extended to the present invention, the image output apparatus 500 may display the gaze focused object through the gaze focused object detector 550, A story branch object checking unit 580 for checking whether a line-of-sight concentrated object corresponds to the story branch object, if the line focused story branch object is identified, And a story branching unit 585 for determining the m-th ending associated with the object.

상기 정보 확인부(540)에 의해 n”개의 스토리 분기 객체 정보가 확인되고, 상기 시선 집중 객체 검출부(550)를 통해 시선 집중 객체가 검출되면, 상기 스토리 분기 객체 확인부(580)는 상기 시선 집중 객체가 상기 n”개의 스토리 분기 객체 중 어느 하나와 매칭되는지 확인한다.
N "pieces of story branch object information are identified by the information verifying unit 540, and when the line focused object is detected through the line focused object detecting unit 550, the story branch object verifying unit 580 identifies the line focused object &Quot; matches one of the n " story branching objects.

만약 상기 시선 집중 객체가 스토리 분기 객체와 매칭되면, 상기 스토리 분기부(585)는 상기 영상 데이터의 결말을 상기 M개의 결말 중 시선 집중 스토리 분기 객체와 연관된 제m 결말을 결정하고, 상기 영상 출력 제어부(505)는 상기 제m 결말에 대응하는 영상 데이터를 출력한다.
If the line-focused object matches the story branching object, the story branching unit 585 determines the m-th ending point associated with the line-concentrated story branching object among the M ending points of the image data, (505) outputs image data corresponding to the m-th end.

도면6은 본 발명의 다른 일 실시 방법에 따른 영상 데이터의 오토포커싱/블러링 과정을 도시한 도면이다.
6 is a diagram illustrating a process of auto-focusing / blurring image data according to another embodiment of the present invention.

보다 상세하게 본 도면6은 상기 도면5에 도시된 영상 출력 장치(500)에서 영상매체(530)로부터 인터페이스되는 영상 데이터의 각 장면에 포함된 n개의 객체 중 사용자의 시선이 집중되는 시선 집중 객체를 오토포커싱하고, 상기 사용자의 시선 방향에 대한 깊이 차이에 따라 상기 (n-1)개의 객체 중 i개의 객체를 상기 시선 집중 객체와의 깊이 차이에 따라 블러링하여 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6을 참조 및/또는 변형하여 상기 오토포커싱/블러링 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면6에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
In more detail, FIG. 6 is a diagram illustrating an example of a scene-focused object in which a user's gaze is concentrated among n objects included in each scene of video data interfaced from the video medium 530 in the video output apparatus 500 shown in FIG. 5 And blurring i objects of the (n-1) objects according to a depth difference with respect to the line-of-sight focusing object according to a depth difference of the user's gaze direction, Those skilled in the art will be able to refer and / or modify FIG. 6 to illustrate various implementations of the auto-focusing / blurring process (e.g., omitting some steps or changing the order). However, it should be understood that the present invention includes all of the above-described methods of practicing the invention, Gong is not limited.

도면6을 참조하면, 상기 영상 출력 장치(500)는 영상매체(530)로부터 인터페이스되는 영상 데이터의 각 장면을 식별하는 장면 식별 정보와 상기 영상 데이터에 포함된 N개의 객체 중 상기 장면 식별 정보에 대응하는 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체에 대한 사용자 시선 방향의 깊이에 대응하는 객체 깊이 값을 확인한다(600).
Referring to FIG. 6, the video output apparatus 500 includes scene identification information for identifying each scene of video data to be interfaced from the video medium 530 and corresponding scene identification information among N objects included in the video data The object depth information corresponding to the depth of the user's gaze direction with respect to the n object information of each scene and each scene is checked (600).

만약 상기 영상 데이터에 대한 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값이 확인되지 않으면(605), 상기 영상 출력 장치(500)는 상기 영상매체(530)로부터 인터페이스된 영상 데이터를 출력하고(610), 상기 영상 데이터의 출력이 완료될 때까지 상기 과정을 반복한다(660).
If the scene identification information for the image data, n object information for each scene, and n object depth values for each scene are not confirmed (605), the image output apparatus 500 receives the image data from the image medium 530 (610), and repeats the process until the output of the image data is completed (660).

반면 상기 영상 데이터에 대한 장면 식별 정보와 각 장면 별 n개의 객체 정보 및 각 장면 별 n개의 객체 깊이 값이 확인되면(605), 상기 영상 출력 장치(500)는 상기 장면 식별 정보를 통해 상기 영상 출력 장치(500)로 전달되어 출력되는 출력 대상 영상 데이터의 장면을 식별하고, 상기 장면 식별 정보와 연결된 각 장면 별 n개의 객체 정보를 통해 상기 장면에 포함된 n개의 객체를 식별한다(615).
On the other hand, if scene identification information on the image data, n object information for each scene, and n object depth values for each scene are confirmed (605), the image output apparatus 500 displays the image output The scene of the output target image data transmitted to and output from the apparatus 500 is identified and n objects included in the scene are identified through n object information for each scene connected to the scene identification information.

만약 상기 영상 데이터의 장면에 포함된 n개의 객체가 식별되지 않으면(620), 상기 영상 출력 장치(500)는 상기 영상매체(530)로부터 인터페이스된 영상 데이터를 출력하고(610), 상기 영상 데이터의 출력이 완료될 때까지 상기 과정을 반복한다(660).
If n objects included in the scene of the image data are not identified 620, the image output apparatus 500 outputs 610 interfaced image data from the image medium 530, The above process is repeated until the output is completed (660).

반면 상기 영상 데이터의 장면에 포함된 n개의 객체가 식별되면(620), 상기 영상 출력 장치(500)는 상기 시선 추적 센서(525)를 통해 상기 영상 데이터를 관람하는 사용자의 시선을 추적하여 상기 장면에 포함된 n개의 객체 중 상기 사용자의 시선이 집중되는 시선 집중 객체를 검출한다(625).
On the other hand, if n objects included in the scene of the image data are identified (620), the image output device 500 tracks the user's gaze of viewing the image data through the gaze tracking sensor 525, A line-focused object in which the user's line of sight is concentrated is detected (625).

만약 상기 사용자의 시선이 집중되는 시선 집중 객체가 검출되면(630), 상기 영상 출력 장치(500)는 상기 영상 데이터에 포함된 n개의 객체 중 상기 검출된 시선 집중 객체의 선명도를 향상시키는 오토포커싱을 처리한다(635).
If an eye-focused object in which the eye of the user is concentrated is detected (630), the image output apparatus 500 displays an auto-focusing function for improving the sharpness of the detected eye-focused object among n objects included in the image data (635).

또한, 상기 영상 출력 장치(500)는 상기 저장된 각 장면 별 n개의 객체 깊이 값을 비교하여 상기 장면에 포함된 (n-1)개의 객체 중 상기 시선 집중 객체의 깊이를 기준으로 상기 (n-1)개의 객체 중 선명도를 감소시킬 i개의 블러링 대상 객체를 결정한다(640).
In addition, the image output apparatus 500 may compare n depth values of objects stored in the respective scenes to calculate depth values of the (n-1) th objects based on the depth of the eyesight focused object among (n-1) The number of blurring objects to be blurred is determined (step 640).

만약 상기 i개의 블러링 대상 객체가 결정되지 않으면(645), 상기 영상 출력 장치(500)는 상기 시선 집중 객체를 기준으로 오토포커싱된 영상 데이터를 출력하고(655), 상기 영상 데이터의 출력이 완료될 때까지 상기 과정을 반복한다(660).
If the i objects to be blurred are not determined (645), the image output apparatus 500 outputs the auto-focused image data based on the line focused object (655), and the output of the image data is completed The process is repeated 660.

반면 상기 i개의 블러링 대상 객체가 결정되면(645), 상기 영상 출력 장치(500)는 상기 영상 데이터에 포함된 i개의 블러링 대상 객체를 블러링 처리하고(650), 상기 시선 집중 객체를 기준으로 오토포커싱 및 블러링된 영상 데이터를 출력하고(655), 상기 영상 데이터의 출력이 완료될 때까지 상기 과정을 반복한다(660).
On the other hand, if the i blurring object is determined (645), the image output apparatus 500 blops the i blurring object included in the image data (650) The auto focusing and blurred image data is output (655), and the process is repeated until the output of the image data is completed (660).

도면7은 본 발명의 다른 일 실시 방법에 따른 영상 데이터의 사운드 조정 과정을 도시한 도면이다.
7 is a diagram illustrating a process of adjusting sound of image data according to another embodiment of the present invention.

보다 상세하게 본 도면7은 상기 도면5에 도시된 영상 출력 장치(500)에서 영상매체(530)로부터 인터페이스되는 영상 데이터의 각 장면에 포함된 n개의 객체 중 사운드와 연관된 n’개의 사운드 객체와 사운드 데이터를 결정한 후, 상기 도면6에 도시된 과정을 통해 검출된 시선 집중 객체가 상기 사운드 객체와 매칭되면, 상기 시선 집중 사운드 객체와 연관된 사운드 데이터를 증폭하거나 또는 음성 분별력을 향상시켜 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면7을 참조 및/또는 변형하여 상기 사운드 조정 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면7에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
In more detail, FIG. 7 shows n 'sound objects associated with a sound among n objects included in each scene of image data interfaced from the image medium 530 in the image output apparatus 500 shown in FIG. 5, 6 is a flowchart illustrating a process of amplifying sound data associated with the line-of-sight-focused sound object or improving the sound discrimination power when the line-focused object detected through the process shown in FIG. 6 is matched with the sound object Those skilled in the art will appreciate that reference to and / or modification of FIG. 7 may be applied to various implementations of the sound conditioning process (e.g., some steps may be omitted, However, it should be understood that the present invention includes all of the above- The technical features thereof are not limited only by the implementation method shown in FIG.

도면7을 참조하면, 상기 영상 출력 장치(500)는 상기 영상매체(530)로부터 인터페이스되는 영상 데이터의 비디오 데이터를 기반으로 상기 영상 데이터의 각 장면 별 n개의 객체 정보 중 상기 영상 데이터의 오디오 데이터에 포함된 사운드와 연관된 n’개의 사운드 객체와 사운드 데이터를 확인한다(700).
Referring to FIG. 7, the video output apparatus 500 includes a video output unit 500 for outputting audio data of the video data among the n pieces of object information for each scene of the video data, based on video data of video data interfaced from the video medium 530 Identify 700 sound objects and sound data associated with the included sound (700).

만약 상기 n’개의 사운드 객체 정보와 사운드 데이터가 확인되지 않으면(705), 상기 영상 출력 장치(500)는 상기 영상매체(530)로부터 인터페이스된 영상 데이터를 출력하고(710), 상기 영상 데이터의 출력이 완료될 때까지 상기 도면6 및 본 도면7에 도시된 과정을 반복한다(660).
If the n 'pieces of sound object information and sound data are not confirmed 705, the image output apparatus 500 outputs interfaced image data from the image medium 530 (710), and outputs the image data The process shown in FIG. 6 and FIG. 7 is repeated (660).

반면 상기 n’개의 사운드 객체 정보와 사운드 데이터가 확인되면(705), 상기 영상 출력 장치(500)는 상기 시선 집중 객체가 상기 사운드 객체와 매칭되는지 확인한다(715).
If the n 'pieces of sound object information and sound data are confirmed (705), the image output apparatus 500 confirms whether the line-focused object matches the sound object (715).

만약 상기 시선 집중 객체가 상기 사운드 객체와 매칭되지 않으면(720), 상기 영상 출력 장치(500)는 상기 영상매체(530)로부터 인터페이스된 영상 데이터를 출력하고(710), 상기 영상 데이터의 출력이 완료될 때까지 상기 도면6 및 본 도면7에 도시된 과정을 반복한다(660).
If the line-of-sight concentration object does not match the sound object 720, the image output apparatus 500 outputs the interfaced image data from the image medium 530 in step 710. If the output of the image data is completed The process shown in FIG. 6 and FIG. 7 is repeated (660).

반면 상기 시선 집중 객체가 상기 사운드 객체와 매칭되면(720), 상기 영상 출력 장치(500)는 상기 시선 집중 사운드 객체와 연관된 사운드 데이터의 음향을 증폭하거나 또는 음성 분별력을 향상시킨다(725).
If the focused line object is matched with the sound object 720, the image output apparatus 500 amplifies the sound of the sound data associated with the line-of-sight focused sound object or improves the speech discrimination 725.

또한, 상기 영상 출력 장치(500)는 상기 (n-1)개의 객체 중 j개의 일반 사운드 객체를 확인한다(730).
Also, the video output apparatus 500 identifies j general sound objects among the (n-1) objects (730).

만약 상기 j개의 일반 사운드 객체가 확인되지 않으면(735), 상기 영상 출력 장치(500)는 상기 시선 집중 사운드 객체와 연관된 사운드 데이터의 음향이 증폭되거나 또는 음성 분별력을 향상된 영상 데이터를 출력하고(740), 상기 영상 데이터의 출력이 완료될 때까지 상기 도면6 및 본 도면7에 도시된 과정을 반복한다(660).
If the j general sound objects are not identified 735, the image output apparatus 500 outputs 740 the sound data of the sound data associated with the line-focused sound object or amplified audio data, , And repeats the process shown in FIG. 6 and FIG. 7 until the output of the image data is completed (660).

반면 상기 j개의 일반 사운드 객체가 확인되면(740), 상기 영상 출력 장치(500)는 j개의 일반 사운드 객체와 연관된 사운드 데이터의 사운드 데이터의 음향을 감소하거나 또는 음성 분별력을 감소시키고(740), 상기 시선 집중 사운드 객체와 연관된 사운드 데이터의 음향이 증폭되거나 또는 음성 분별력을 향상되고, 상기 j개의 일반 사운드 객체와 연관된 사운드 데이터의 음향이 감소되거나 또는 음성 분별력이 감소된 영상 데이터를 출력하고(740), 상기 영상 데이터의 출력이 완료될 때까지 상기 도면6 및 본 도면7에 도시된 과정을 반복한다(660).
If the j general sound objects are identified (740), the video output device 500 reduces (740) the sound of the sound data of the sound data associated with the j general sound objects or reduces the sound discrimination power, (740) outputting image data in which the sound of the sound data associated with the line-of-sight focused sound object is amplified or improved in speech discrimination, the sound of the sound data associated with the j general sound objects is reduced or the speech discrimination is reduced, The process shown in FIG. 6 and FIG. 7 is repeated until the output of the image data is completed (660).

도면8은 본 발명의 다른 일 실시 방법에 따른 영상 데이터의 스토리 분기 과정을 도시한 도면이다.
FIG. 8 is a diagram illustrating a story branching process of image data according to another embodiment of the present invention.

보다 상세하게 본 도면8은 상기 도면5에 도시된 영상 출력 장치(500)에서 영상매체(530)로부터 인터페이스되는 영상 데이터의 각 장면에 포함된 n개의 객체 중 M개의 결말과 연관된 n”개의 스토리 분기 객체를 결정한 후, 상기 도면6에 도시된 과정을 통해 검출된 시선 집중 객체가 상기 스토리 분기 객체와 매칭되면, 상기 M개의 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 제m 결말에 대응하는 영상 데이터를 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면8을 참조 및/또는 변형하여 상기 스토리 분기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면8에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
More specifically, FIG. 8 illustrates n " story branches associated with M endings among n objects included in each scene of video data interfaced from the video medium 530 in the video output apparatus 500 shown in FIG. When the focused line object detected through the process shown in FIG. 6 is matched with the story branching object, the image data corresponding to the m-th ending point associated with the line-focused concentrated story branching object among the M ending If the person skilled in the art is familiar with the present invention, it is possible to refer to and / or modify the FIG. 8 so as to perform various operations on the story branching process (for example, , Or a method in which the order is changed), but the present invention includes all of the above-described embodiments, The technical features are not limited only by the method shown in FIG.

도면8을 참조하면, 상기 영상 출력 장치(500)는 상기 영상매체(530)로부터 인터페이스되는 영상 데이터의 비디오 데이터를 기반으로 상기 영상 데이터의 각 장면 별 n개의 객체 정보 중 상기 영상 데이터에 대한 M개의 별말과 연관된 n”개의 스토리 분기 객체를 결정한다(800).
Referring to FIG. 8, the video output apparatus 500 may include M pieces of M pieces of image data of n pieces of object information for each scene of the video data, based on video data of video data to be interfaced from the video medium 530 N " story branch objects associated with the star are determined (800).

만약 상기 n”개의 스토리 분기 객체가 확인되지 않으면(805), 상기 영상 출력 장치(500)는 상기 영상매체(530)로부터 인터페이스된 영상 데이터를 출력하고(810), 상기 영상 데이터의 출력이 완료될 때까지 상기 도면6 및 본 도면8에 도시된 과정을 반복한다(660).
If the n " story branch objects are not identified (805), the video output apparatus 500 outputs interfaced video data from the video medium 530 (810), and the output of the video data is completed The process shown in FIG. 6 and FIG. 8 is repeated (660).

반면 상기 n”개의 스토리 분기 객체가 확인되면(805), 상기 영상 출력 장치(500)는 상기 시선 집중 객체가 상기 스토리 분기 객체와 매칭되는지 확인한다(815).
On the other hand, if the n " story branch objects are identified (805), the image output apparatus 500 checks 815 whether the line focused object matches the story branch object.

만약 상기 시선 집중 객체가 상기 스토리 분기 객체와 매칭되지 않으면(820), 상기 영상 출력 장치(500)는 상기 영상매체(530)로부터 인터페이스된 영상 데이터를 출력하고(810), 상기 영상 데이터의 출력이 완료될 때까지 상기 도면6 및 본 도면8에 도시된 과정을 반복한다(660).
If the line-of-sight concentration object does not match the story branch object 820, the image output apparatus 500 outputs interfaced image data from the image medium 530 (810) The process shown in FIG. 6 and FIG. 8 is repeated until the process is completed (660).

반면 상기 시선 집중 객체가 상기 스토리 분기 객체와 매칭되면(820), 상기 영상 출력 장치(500)는 상기 M개의 결말 중 상기 시선 집중 스토리 분기 객체와 연관된 제m 결말을 확인하고(825), 상기 M개의 스토리 분기 영상 데이터 중 상기 제m결말에 대응하는 영상 데이터를 확인한 후(830), 상기 확인된 제m 결말에 대응하는 영상 데이터를 출력하고(835), 상기 영상 데이터의 출력이 완료될 때까지 상기 도면6 및 본 도면8에 도시된 과정을 반복한다(660).
If the line focused object is matched with the story branch object (820), the image output apparatus 500 confirms (825) the m-th ending associated with the line focused story branch object among the M endings (825) (830) the image data corresponding to the m-th ending of the story branch image data, and outputs the image data corresponding to the confirmed m-th ending image (835) The process shown in FIG. 6 and FIG. 8 is repeated (660).

100 : 영상매체 운영수단 105 : 저장매체
110 : 전달매체 115 : 시선 집중 객체 검출수단
120 : 정보 결정수단 125 : 객체 식별수단
130 : 오토포커싱 처리수단 135 : 블러링 대상 결정수단
140 : 블러링 처리수단 145 : 사운드 객체 확인수단
150 : 사운드 조정수단 155 : 스토리 분기 객체 확인수단
160 : 스토리 분기수단 165 : 시선 추적 센서100: image medium operating means 105: storage medium
110: transmission medium 115: line-of-sight concentrated object detection means
120: information determination means 125: object identification means
130: auto focusing processing means 135: blurring object determining means
140: Blurring processing means 145: Sound object identification means
150: sound adjusting means 155: story branch object checking means
160: story branching means 165: eye tracking sensor

Claims

1. A system for interfacing with a video output device having a line-of-sight sensor for tracking a line of sight of a user,
(N > 1) objects included in the real image by reading a real image photographed through a camera, and recognizing N (1) objects included in the image data currently output through the image output device among the identified N objects &Lt; / RTI > N) < / RTI > And
A line-of-sight sensor for tracking a line of sight of the user looking at the image data to identify a line-of-sight region in which the user's line of sight is concentrated on the image data, And a line focused object detecting means for detecting one line focused object,
An autofocus processing means for processing the detected sight line focused object such that the sharpness of the detected sight line focused object is more clearly output than the basic sharpness of the camera shooting time;
Determining a blurring object of i (0? I? (N-1)) by comparing depths of the detected line-of-sight-focused object and other objects and comparing the sharpness of the blurring object with the basic sharpness of the camera- And blurring processing means for performing blurring processing for reducing blurring of the image data.

The method according to claim 1,
Further comprising information determining means for determining an object depth value corresponding to a depth of a user's gaze direction of the n objects.

delete

2. The image processing apparatus according to claim 1,
Wherein the processing is performed such that the i objects are differentially blurred in proportion to a depth difference between the line-focused object and the i objects.

2. The image processing apparatus according to claim 1,
And a real image captured through a 3D camera for displaying a stereoscopic effect due to a binocular disparity.

The method according to claim 1,
Further comprising sound adjusting means for amplifying the sound data corresponding to the line-of-sight concentrated object detected by the line-of-sight concentrated object detecting means or for improving the discriminating power of the sound.

1. A video output apparatus having a line-of-sight sensor for tracking a line of sight of a user,
(N > 1) objects included in the real image by reading a real image photographed through a camera, and recognizing N (1) objects included in the image data currently output through the image output device among the identified N objects N) < / RTI >
A line-of-sight sensor for tracking a line of sight of the user looking at the image data to identify a line-of-sight region in which the user's line of sight is concentrated on the image data, And a line-focused object detecting unit for detecting one line-focused object,
An autofocus processing unit for processing the detected line-focused object so that the sharpness of the detected line-focused object is more clearly displayed than the basic sharpness of the camera taken at the time of shooting;
Determining a blurring object of i (0? I? (N-1)) by comparing depths of the detected line-of-sight-focused object and other objects and comparing the sharpness of the blurring object with the basic sharpness of the camera- And a blurring processing unit for blurring the blurred image data.

8. The method of claim 7,
And an information determination unit for determining an object depth value corresponding to a depth of a user's gaze direction of the n objects.

delete

The image processing apparatus according to claim 7,
Wherein the processing is performed such that the i objects are differentially blurred in proportion to a depth difference between the line-focused object and the i objects.