KR101915578B1 - 시점 기반 오브젝트 피킹 시스템 및 그 방법 - Google Patents

시점 기반 오브젝트 피킹 시스템 및 그 방법 Download PDF

Info

Publication number
KR101915578B1
KR101915578B1 KR1020170074875A KR20170074875A KR101915578B1 KR 101915578 B1 KR101915578 B1 KR 101915578B1 KR 1020170074875 A KR1020170074875 A KR 1020170074875A KR 20170074875 A KR20170074875 A KR 20170074875A KR 101915578 B1 KR101915578 B1 KR 101915578B1
Authority
KR
South Korea
Prior art keywords
image
original image
masking
coordinate information
sprite
Prior art date
Application number
KR1020170074875A
Other languages
English (en)
Inventor
나경건
최광진
Original Assignee
(주)에프엑스기어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에프엑스기어 filed Critical (주)에프엑스기어
Priority to KR1020170074875A priority Critical patent/KR101915578B1/ko
Priority to CN201710479700.7A priority patent/CN109145686A/zh
Priority to US15/633,683 priority patent/US20180364800A1/en
Priority to JP2017126455A priority patent/JP6370446B1/ja
Application granted granted Critical
Publication of KR101915578B1 publication Critical patent/KR101915578B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G06K9/3241—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Abstract

실시예들은 원본 영상에서 오브젝트를 포함하는 오브젝트 영역을 추출하고, 추출된 오브젝트 영역의 오브젝트 마스킹 이미지 및 상기 원본 영상을 전송하도록 구성된 전송장치 및 상기 전송장치로부터 상기 오브젝트 마스킹 이미지 및 상기 원본 영상을 수신하고, 상기 원본 영상을 표시하며, 상기 원본 영상을 바라보는 사용자의 시점을 기초로 표시되는 원본 영상 내 오브젝트를 피킹 하도록 구성된 재생장치를 포함하는 시점 기반 오브젝트 피킹 시스템 및 이들을 통한 시점 기반 오브젝트 피킹 방법에 관련된다. 본 발명에 따르면 종래의 가상 현실(Virtual Reality) 기기의 디코딩(decoding) 한계를 극복하고 초고해상도를 가지는 영상에서 피킹을 구현할 수 있다.

Description

시점 기반 오브젝트 피킹 시스템 및 그 방법{SYSTEM FOR PICKING AN OBJECT BASE ON VIEW-DIRECTION AND METHOD THEREOF}
실시예들은 영상 내 오브젝트를 피킹하는 시스템 및 방법에 관한 것으로서 더욱 구체적으로는 사용자의 시점을 기반으로한 피킹 시스템 및 방법에 대한 것이다.
최근 각종 영상기기의 발달과 더불어, 사용자들은 영상기기를 통해 더욱 생동감과 입체감이 가미된 영상을 감상하고자 하는 요구가 증대되고 있다. 영상기기 사업자들은 이러한 요구에 발맞추어 영상 콘텐츠 처리 방식을 변형하여 입체감 있는 영상을 제공하거나, 영상제공 기기에 다양한 부가수단을 연결하여 사용자로 하여금 실제와 가상을 구분하기 어려울 정도의 영상을 제공하고 있다. 예를 들어, 양안의 시각차를 이용하여 서로 다른 각도에서 촬영된 영상을 디스플레이에 동시에 표시함으로써 입체감 있는 영상을 제공하거나, 사용자의 시야 각도를 영상 전체로 덮어 파노라마(panorama) 형태로 제공함으로써 사용자가 실제 영상의 환경에 참여한 듯한 효과를 제공하는 기술 등이 있다.
또한 촬영된 영상을 표시함과 동시에 영상 내 오브젝트들을 피킹하여 사용자가 오브젝트를 확인하고 제어할 수 있는 기술이 이용되고 있다. 그런데 종래 오브젝트 피킹은 원본영상 그 자체로부터 오브젝트를 식별하고 피킹함으로써 영상처리에 큰 부담이 되는 문제가 있다.
특히, 현재 상용된 VR 기기는 대부분 스마트폰(smartphone)과 같은 모바일 기기를 활용한 형태로서, VR 기기에서 하드웨어 가속에 의해 디코딩(decoding) 가능한 최대 해상도가 4k 수준인데 4k 영상을 재생하면서 피킹을 수행할 경우 영상의 끊김이 매우 심하게 발생하거나 영상의 화질을 낮추어야 하는 문제가 있었다.
미국등록특허 9576363 B2
위와 같은 문제를 해결하기 위해서, 원본 영상 대비 낮은 화질의 오브젝트에 대한 마스킹 이미지를 이용하여 오브젝트 피킹을 구현하는 시스템, 장치 및 방법이 요구된다.
본 발명의 기술적 과제는 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 시점 기반 오브젝트 피킹 시스템은 원본 영상에서 오브젝트를 포함하는 오브젝트 영역을 추출하고, 추출된 오브젝트 영역의 오브젝트 마스킹 이미지 및 상기 원본 영상을 전송하도록 구성된 전송장치 및 상기 전송장치로부터 상기 오브젝트 마스킹 이미지 및 상기 원본 영상을 수신하고, 상기 원본 영상을 표시하며, 상기 원본 영상을 바라보는 사용자의 시점을 기초로 표시되는 원본 영상 내 오브젝트를 피킹 하도록 구성된 재생장치를 포함한다.
일 실시예에 있어서, 상기 전송장치는, 상기 원본 영상 내 상기 오브젝트 영역의 좌표 정보를 더 추출하도록 구성되며, 상기 재생장치는, 상기 전송장치로부터 상기 좌표 정보를 수신하고, 상기 사용자의 시점과 상기 좌표 정보를 기초로 표시되는 원본 영상 내 오브젝트를 피킹하도록 구성될 수 있다.
일 실시예에 있어서, 상기 오브젝트 마스킹 이미지는, 배경으로부터 오브젝트가 분리되고, 상기 원본 영상보다 해상도가 낮은 이미지일 수 있다.
본 발명의 일 실시예에 따른 시점 기반 오브젝트 피킹 가능 영상 전송장치는 원본 영상에서 오브젝트를 포함하는 오브젝트 영역을 추출하고 추출된 오브젝트 영역의 오브젝트 마스킹 이미지를 생성하는 오브젝트 마스킹 이미지 생성부, 상기 원본 영상 내 상기 오브젝트 영역의 좌표 정보를 추출하도록 구성된 좌표 정보 추출부, 상기 원본 영상, 상기 오브젝트 마스킹 이미지 및 상기 좌표 정보를 재생장치에 제공하도록 구성된 전송부를 포함한다.
일 실시예에 있어서, 1) 원본 영상에 포함되는 오브젝트 마스킹 이미지가 복수개인 경우, 적어도 둘 이상의 오브젝트 마스킹 이미지가 결합된 스프라이트 이미지를 생성하거나, 2)원본 영상이 연속하는 복수개의 영상인 경우, 각 원본 영상에 포함되는 동일한 오브젝트에 대한 오브젝트 마스킹 이미지가 결합된 스프라이트 이미지를 생성하도록 구성된 스프라이트 이미지 생성부를 더 포함하고, 상기 전송부는 상기 스프라이트 이미지를 상기 재생장치에 제공할 수 있다.
일 실시예에 있어서, 상기 오브젝트 마스킹 이미지는, 배경으로부터 오브젝트가 분리되고, 상기 원본 영상보다 해상도가 낮은 이미지일 수 있다.
일 실시예에 있어서, 이전 프레임의 원본 영상과 현재 프레임의 원본 영상을 비교함으로써, 현재 원본 영상 내 오브젝트 영역의 변화값을 계산하도록 구성된 계산부를 더 포함하되, 상기 전송부는 상기 좌표 정보를 대신하거나 함께 상기 변화값을 상기 재생장치로 전송하고, 상기 변화값은 오브젝트 영역의 이동, 크기변화, 및 회전 중 적어도 하나에 관련될 수 있다.
본 발명의 일 실시예에 따른 시점 기반 오브젝트 피킹 가능 영상 재생장치는 원본 영상, 상기 원본 영상에 포함되는 적어도 하나의 오브젝트 영역에 대한 오브젝트 마스킹 이미지 및 상기 원본 영상 내 상기 오브젝트 영역의 좌표 정보를 수신하도록 구성된 수신부, 수신한 원본 영상을 표시하도록 구성된 표시부, 표시되는 원본 영상을 바라보는 사용자의 시점을 검출하도록 구성된 시점 검출부 및 검출된 사용자의 시점, 상기 좌표 정보 및 상기 오브젝트 마스킹 이미지를 기초로 표시되는 원본 영상 내 오브젝트를 피킹하도록 구성된 오브젝트 피킹부를 포함한다.
일 실시예에 있어서, 상기 오브젝트 피킹부는, 검출된 사용자의 시점이 표시되는 원본 영상 내 오브젝트 또는 그 주변부를 향하는 경우, 사용자의 시점이 향하는 오브젝트와 오브젝트 마스킹 이미지를 비교하여 오브젝트를 피킹할 수 있다.
일 실시예에 있어서, 상기 오브젝트 피킹부는, 상기 좌표 정보를 기초로 상기 원본 영상에 대응되는 가상공간 상의 좌표계 상에서의 상기 오브젝트 영역의 텍스처 좌표 정보를 계산하고, 계산된 텍스처 좌표 정보를 기초로 오브젝트를 피킹하도록 구성될 수 있다.
일 실시예에 있어서, 이전 프레임의 원본 영상과 현재 프레임의 원본 영상을 비교함으로써, 현재 원본 영상 내 오브젝트 영역의 변화값을 계산하도록 구성된 계산부를 더 포함하되, 상기 변화값은 오브젝트 영역의 이동, 크기변화, 및 회전 중 적어도 하나에 관련된 것이고, 상기 오브젝트 피킹부는 상기 변화값을 기초로 오브젝트 영역의 좌표 정보를 보정할 수 있다.
일 실시예에 있어서, 상기 원본 영상과 상기 오브젝트 마스킹 이미지는 시간 동기된 것이 수 있다.
일 실시예에 있어서, 상기 오브젝트 피킹부는, 검출된 사용자의 시점이 상기 오브젝트 영역 내 또는 그로부터 소정 범위 내 위치하는 경우, 상기 오브젝트 영역을 분할하고, 분할된 오브젝트 영역과 수신한 오브젝트 마스킹 이미지를 기초로 오브젝트를 검출할 수 있다.
일 실시예에 있어서, 1) 원본 영상에 포함되는 오브젝트 마스킹 이미지가 복수개인 경우, 적어도 둘 이상의 오브젝트 마스킹 이미지는 결합되어 스프라이트 이미지로 상기 수신부에 수신되거나, 2)원본 영상이 연속하는 복수개의 영상인 경우, 각 원본 영상에 포함되는 동일한 오브젝트에 대한 오브젝트 마스킹 이미지가 결합된 스프라이트 이미지가 상기 수신부에 수신될 수 있다.
본 발명의 일 실시예에 따른 시점 기반 오브젝트 피킹 가능 영상 전송방법은 전송장치가, 원본 영상에서 오브젝트를 포함하는 오브젝트 영역을 추출하는 단계, 전송장치가, 추출된 오브젝트 영역의 오브젝트 마스킹 이미지를 생성하는 단계, 전송장치가, 상기 원본 영상 내 상기 오브젝트 영역의 좌표 정보를 추출하는 단계, 전송장치가, 상기 원본 영상, 상기 오브젝트 마스킹 이미지 및 상기 좌표 정보를 재생장치에 제공하는 단계를 포함한다.
일 실시예에 있어서,
전송장치가, 1) 원본 영상에 포함되는 상기 오브젝트 마스킹 이미지가 복수개인 경우, 적어도 둘 이상의 오브젝트 마스킹 이미지가 결합된 스프라이트 이미지를 생성하거나 2)원본 영상이 연속하는 복수개의 영상인 경우, 각 원본 영상에 포함되는 동일한 오브젝트에 대한 오브젝트 마스킹 이미지가 결합된 스프라이트 이미지를 생성하는 단계 및 상기 스프라이트 이미지를 상기 재생장치에 제공하는 단계를 더 포함할 수 있다.
일 실시예에 있어서, 상기 오브젝트 마스킹 이미지는, 배경으로부터 오브젝트가 분리되고, 상기 원본 영상보다 해상도가 낮은 이미지일 수 있다.
본 발명의 일 실시예에 따른 시점 기반 오브젝트 피킹 가능 영상 재생방법은 영상 재생장치가, 원본 영상, 상기 원본 영상에 포함되는 적어도 하나의 오브젝트 영역에 대한 오브젝트 마스킹 이미지 및 상기 원본 영상 내 상기 오브젝트 영역의 좌표 정보를 수신하는 단계, 영상 재생장치가, 수신한 원본 영상을 표시하는 단계, 영상 재생장치가, 표시되는 원본 영상을 바라보는 사용자의 시점을 검출하는 단계, 및 영상 재생장치가, 검출된 사용자의 시점, 상기 좌표 정보, 및 상기 오브젝트 마스킹 이미지를 기초로 표시되는 원본 영상 내 오브젝트를 피킹하는 단계를 포함한다.
일 실시예에 있어서, 상기 피킹하는 단계는, 검출된 사용자의 시점이 표시되는 원본 영상 내 오브젝트 또는 그 주변부를 향하는 경우, 사용자의 시점이 향하는 오브젝트와 오브젝트 마스킹 이미지를 비교하여 오브젝트를 피킹할 수 있다.
일 실시예에 있어서, 영상 재생장치가, 이전 프레임의 원본 영상과 현재 프레임의 원본 영상을 비교함으로써, 현재 원본 영상 내 오브젝트 영역의 변화값을 계산하는 단계를 더 포함하되, 상기 변화값은 오브젝트 영역의 이동, 크기변화, 및 회전 중 적어도 하나에 관련된 것이고, 상기 피킹하는 단계는, 상기 변화값을 기초로 오브젝트 영역의 좌표 정보를 보정할 수 있다.
본 발명의 일 측면에 의하면, 원본 영상 대비 처리량이 적은 저화질의 마스킹 이미지를 이용함으로써 고화질 광 시야각 영상을 순조롭게 재생하고 그 안에 포함된 오브젝트를 피킹할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 시점 기반 오브젝트 피킹 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 원본 영상을 나타낸다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따라 생성된 오브젝트 마스킹 이미지를 나타낸다.
도 4는 본 발명의 일 실시예에 따라 재생장치(20)에서 표시되는 원본 영상(100')과 사용자 시점(a1, a2)을 나타낸다.
도 5는 본 발명의 일 실시예에 따른 시점 기반 오브젝트 피킹 가능 영상 전송방법의 순서도 이다.
도 6은 본 발명의 일 실시예에 따른 시점 기반 오브젝트 피킹 가능 영상 재생방법의 순서도이다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은 본 발명의 일 실시예에 따른 시점 기반 오브젝트 피킹 시스템의 블록도이다.
도 1을 참조하면, 본 실시예에 따른 시점 기반 오브젝트 피킹 시스템은 원본 영상에서 오브젝트를 포함하는 오브젝트 영역을 추출하고, 추출된 오브젝트 영역의 오브젝트 마스킹 이미지 및 상기 원본 영상을 전송하도록 구성된 전송장치(10) 및 상기 전송장치로부터 오브젝트 마스킹 이미지 및 상기 원본 영상을 수신하고, 상기 원본 영상을 표시하며, 표시되는 원본 영상을 바라보는 사용자의 시점을 기초로 표시되는 원본 영상 내 오브젝트를 피킹 하도록 구성된 재생장치(20)를 포함한다. 본 시점 기반 오브젝트 피킹 시스템에서 적어도 재생장치(20)는 사용자의 머리에 착용하는 헤드 마운트형 디스플레이 장치(Head-Mounted Device; HMD) 형태로 구현될 수 있다. 여기서 피킹(picking)은 영상 내 특정 오브젝트가 적어도 부분적으로 배경과 분리되어 표시되거나 글로우 효과 처리되거나, 실루엣 처리되는 등 다양한 렌더링 효과로서 시각적으로 변화가 발생하는 경우뿐만 아니라 사용자가 제어 가능하도록 선택되는 것도 의미할 수 있다.
또한 본 명세서에서 원본 영상은 광 시야각 영상일 수 있으며, 바람직하게는 360도 영상일 수 있으나 이에 제한되는 것은 아니다. 또한 원본 영상은 정지영상이거나 동영상일 수 있다.
실시예들에 따른 시점 기반 오브젝트 피킹 시스템 및 이에 포함된 각 장치는, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 시점 기반 오브젝트 피킹 시스템, 이에 포함된 각 장치 및 각 장치를 구성하는 각 부(unit)는, 특정 형식 및 내용의 데이터를 처리, 저장 및/또는 송수신하기 위한 장치 및 이에 관련된 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부", "서버", "장치", 및 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 오브젝트(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
일 실시예에서, 전송장치(10)와 재생장치(20)는 서로 물리적으로 구분되는 별개의 장치로 구성되며, 유선 및/또는 무선 네트워크를 통하여 상호간에 통신 가능하게 연결된다. 또한, 상기 네트워크는 광역 네트워크 또는 근거리 네트워크일 수 있다. 전송장치(10)에서는 원본 영상을 처리한 데이터를 상기 네트워크를 통하여 재생장치(20)에 전송하며, 재생장치(20)에서는 처리된 데이터를 수신한 후 원본 영상을 가상 공간상의 좌표계에 투영하여 사용자가 볼 수 있도록 표시하며, 사용자의 시점에 따라 원본 영상에 포함된 오브젝트를 피킹할 수 있다.
다른 실시예에서는 전송장치(10)와 재생장치(20)가 하나의 장치에 통합될 수도 있다. 예를 들어, 사용자의 머리에 착용하는 HMD 내에 전송장치(10) 및 재생장치(20)가 모두 내장되며, 동일한 하나 또는 복수의 처리수단(예컨대, 마이크로프로세서)를 이용하여 전송장치(10)와 재생장치(20)가 모두 구현될 수 있다. 따라서, 도 1에 도시된 블록도에서 각각의 장치(10, 20) 및 이에 포함된 각 부는 별도의 블록으로 도시되었으나, 이는 시스템을 해당 시스템에서 수행하는 동작을 기준으로 구분한 것이며, 반드시 서로 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다.
일 실시예에서, 전송장치(10)는 오브젝트 마스킹 이미지 생성부(11), 좌표 정보 추출부(12) 및 전송부(13)를 포함한다. 실시예에 따라서 전송장치(10)는 스프라이트 이미지 생성부(14) 또는 계산부(15)를 더 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 원본 영상을 나타낸다. 도 2의 원본 영상은 360도 카메라로 촬영한 영상을 2차원 평면상에 표시한 영상이다. 도 2를 참조하면 원본 영상(100) 내에는 다수의 오브젝트들(211,221,231)이 포함되나 특정 오브젝트(211,221)에 대하여만 오브젝트 영역 (210,220)이 설정된 것이 나타난다.오브젝트 마스킹 이미지 생성부(11)는 원본 영상(100)에서 오브젝트를 포함하는 오브젝트 영역 (210,220)을 추출하도록 구성된다. 오브젝트 영역 (210,220)의 범위는 사용자 입력에 의해 정해질 수 있다. 도 2에서 오브젝트 영역 이미지는 사각형인 것으로 도시되었으나 원, 삼각형 또는 자유롭게 지정된 비정형 형태 등 다양한 형태가 될 수 있다.
오브젝트 마스킹 이미지 생성부(11)는 추출된 오브젝트 영역을 이용하여 배경과 오브젝트가 분리되는 오브젝트 마스킹 이미지를 생성할 수 있다. 도 3a 및 도 3b는 본 발명의 일 실시예에 따라 생성된 오브젝트 마스킹 이미지를 나타낸다. 오브젝트 마스킹 이미지는 원본 영상보다 해상도가 낮은 이미지일 수 있다. 이처럼 낮은 해상도의 오브젝트 마스킹 이미지를 이용함으로써 고해상도의 원본 영상을 재생하면서도 그 안에 포함된 오브젝트를 피킹함에 있어서 소요되는 부하를 효과적으로 줄일 수 있다.또한 일 실시예에서 오브젝트의 변화가 크지 않은 재생구간도 존재할 수 있기 때문에 영상 처리량을 줄이기 위해 오브젝트 마스킹 이미지 생성부(11)는 오브젝트 영역의 변화를 체크하여 키프레임 단위로 오브젝트 마스킹 이미지를 생성할 수도 있다. 이 경우 후술한 좌표 정보 추출부(12)는 키프레임에 대하여만 오브젝트 영역 좌표를 추출할 수도 있다.
좌표 정보 추출부(12)는 원본 영상 내 상기 오브젝트 영역(210, 220)에 대한 좌표 정보를 추출할 수 있다. 이러한 좌표 정보는 이후 재생장치에서 원본 영상을 표시할 때, 오브젝트 영역의 위치를 계산할 때 이용될 수 있다.
도 2 및 도 3a를 참조하면 복수개의 오브젝트 영역이 추출된 케이스가 나타난다. 이와 같이 원본 영상 내 오브젝트 영역이 복수개인 경우, 스프라이트 이미지 생성부(14)는 적어도 둘 이상의 오브젝트 영역에 대한 오브젝트 마스킹 이미지가 결합된 스프라이트 이미지(200)를 생성하도록 구성될 수 있다. 도 3a을 참조하면 서로 다른 두 개의 오브젝트 영역 (210,220)이 결합된 스프라이트 이미지(200)가 나타난다.
도 2 및 도 3b를 참조하면 서로 다른 프레임의 원본 영상에 있어서 동일한 오브젝트에 대한 오브젝트 영역이 추출된 케이스가 나타난다. 스프라이트 이미지 생성부(14)는 원본 영상이 연속하는 복수개의 영상인 경우, 각 원본 영상에 포함되는 동일한 오브젝트(221; 221a, 221b, 221c)에 대한 오브젝트 마스킹 이미지(220a, 220b, 220c)가 결합된 스프라이트 이미지(200)를 생성할 수 있다. 도 3b에 있어서, 각 오브젝트 마스킹 이미지(220a, 220b, 220c)는 연속하는 원본 영상 또는 키프레임 단위의 원본영상에 포함되는 오브젝트(221)에 대한 오브젝트 마스킹 이미지를 나타낸다.
도 3a와 도 3b를 참조하면, 스프라이트 이미지 생성부(14)는 각 프레임 별로 복수개의 서로 다른 오브젝트를 포함하도록 스프라이트 이미지를 생성할 수도 있고(도 3a) 각 오브젝트 별로 서로 다른 프레임에 대하여 스프라이트 이미지를 생성할 수도 있다(도 3b).
도 3b의 케이스를 더 살펴보면, 예컨대 원본 영상의 프레임 수가 1024 프레임이면 제1 오브젝트에 대하여 제1 오브젝트 마스킹 이미지가 1024 개 생성될 수 있다. 제1 오브젝트 마스킹 이미지의 해상도를 64x64 로 설정하면 제1 오브젝트에 대한 제1 스프라이트 이미지의 해상도는 2048x2048이 될 수 있다. 즉 제1 스프라이트 이미지에는 64x64 해상도의 오브젝트 마스킹 이미지 1024 개 포함될 수 있다.
또한 원본 영상의 프레임 수가 4096 개이고 제1 오브젝트에 대한 64x64 해상도의 오브젝트 마스킹 이미지이면 4장의 2048x2048 해상도의 스프라이트 이미지가 필요하게 된다. 마찬가지로 다른 제2 오브젝트가 더 있다면 4장의 2048x2048 해상도의 스프라이트 이미지가 추가로 필요하게 된다. 또한 이 경우 각 오브젝트 영역의 좌표 정보 또한 프레임 수 만큼 추출될 수 있다.
또한 원본 영상을 전송하기 전에 미리 스프라이트 이미지와 오브젝트 영역 좌표 정보가 먼저 재생장치 등으로 전송될 수도 있다.일 실시예에서 계산부(15)는 이전 프레임의 원본 영상과 현재 프레임의 원본 영상을 비교함으로써, 현재 원본 영상 내 오브젝트 영역의 변화값을 계산하도록 구성될 수 있다. 예컨대 계산값은 오브젝트 영역의 이동(translation), 크기변화(scale), 및 회전(rotation) 중 적어도 하나에 관련된 것일 수 있다.이러한 계산값은 재생장치에서 원본영상이 재생될 때, 원본 영상에 표시되는 오브젝트 영역의 위치 계산을 용이하게 할 수 있다.
전송부(13)는 원본 영상, 오브젝트 마스킹 이미지(또는 스프라이트 이미지) 및 좌표 정보를 재생장치(20)에 전송할 수 있으며, 계산값을 더 전송할 수 있다. 이 때, 오브젝트 마스킹 이미지(또는 스프라이트 이미지), 좌표 정보 및 계산값은 메타 데이터 형태로 전송될 수 있다.
전송장치(10)와 재생장치(20)가 별개의 장치로 구성될 경우, 전송부(13)는 상기 정보들을 네트워크를 통한 전송 방법으로 송신할 수 있다. 그러나, 전송장치(10)와 재생장치(20)가 동일한 장치로 집적화된 경우, 전송부(14)에 의한 전송 과정이란 메모리 등 일시적 및/또는 비일시적 기억 매체를 통해 다른 프로세서에서 활용 가능하도록 데이터를 제공하는 것을 의미하는 것일 수도 있다.
일 실시예에 따른 재생장치(20)는 수신부(21), 표시부(22), 시점 검출부(23) 및 오브젝트 피킹부(24)를 포함할 수 있다. 실시예에 따라서 재생장치(20)는 계산부(25)를 더 포함할 수 있다.
수신부(21)는 전송장치(10)의 전송부(14)로부터 원본 영상, 오브젝트 마스킹 이미지(또는 스프라이트 이미지) 및 좌표 정보를 수신할 수 있으며, 계산값을 더 수신할 수도 있다.
도 4는 본 발명의 일 실시예에 따라 재생장치(20)에서 표시되는 원본 영상(100')과 사용자 시점(a1, a2)을 나타낸다. 표시부(22)는 수신한 원본 영상을 표시할 수 있다. 예컨대 표시부(22)는 수신한 원본 영상을 가상 공간 상의 좌표계(예컨대 구형 좌표계)에 텍스처(texture) 형태로 매핑(mapping)함으로써 원본 영상을 표시할 수 있다.
시점 검출부(23)는 표시되는 원본 영상을 바라보는 사용자의 시점을 검출하도록 구성될 수 있다. 사용자의 시점 결정을 위해서 시점 검출부(23)는 센서로부터 획득한 다양한 센싱정보를 이용할 수 있다. 예컨대 센서는 자이로 센서, 가속도 센서, IMU(Inertial Measurement Unit) 센서, GPS(Global Positioning System) 센서 및 비전센서 중 적어도 하나를 포함할 수 있으나 이에 제한되는 것은 아니다.
도 4를 참조하면 표시되는 원본 영상(100')을 바라보는 사용자의 시점이 나타난다. 구체적으로 오브젝트(211)을 바라보는 시점(a1)과 오브젝트(231)을 바라보는 시점(a2)이 각각 나타난다.
오브젝트 피킹부(24)는 검출된 사용자의 시점, 상기 좌표 정보 및 오브젝트 마스킹 이미지를 기초로 표시되는 원본 영상(100') 내 오브젝트를 피킹하도록 구성될 수 있다. 오브젝트 피킹부(24)는 사용자의 시점이 재생되는 원본 영상(100')내 오브젝트(211) 또는 그 주변부(오브젝트로부터 소정 거리 이격된 범위)를 향하는 경우, 사용자의 시점이 향하는 오브젝트와 오브젝트 마스킹 이미지를 비교하여 오브젝트(210)를 피킹할 수 있다. 즉 오브젝트 마스킹 이미지는 배경과 오브젝트가 구분되어 있으므로 재생되는 영상(100') 내 오브젝트(211)가 배경과 분리되어 피킹될 수 있다.
예컨대 오브젝트 피킹부(24)는 검출된 사용자의 시점이 상기 오브젝트 영역 내 또는 그로부터 소정 범위 내 위치하는 경우, 상기 오브젝트 영역을 분할하고, 분할된 오브젝트 영역과 수신한 오브젝트 마스킹 이미지를 기초로 오브젝트를 검출하고 검출된 오브젝트를 피킹할 수 있다. 이와 같이 영상 분할을 통해서 영상처리부하를 효과적으로 줄일 수 있다.
오브젝트 피킹부(24)는, 원본 영상(100)에 대응되는 가상공간 상의 좌표계상에서의 상기 오브젝트 영역의 좌표 정보와 상기 오브젝트 마스킹 이미지를 이용하여 상기 표시되는 원본 영상 내 오브젝트를 피킹할 수 있다. 즉 오브젝트 피킹부(24)는 사용자 시점이 가리키는 가상공간 상의 텍스처 좌표계(texture coordinates) 상의 좌표를 계산하고 계산된 텍스처 좌표계 상의 좌표의 픽셀 정보들을 기초로 피킹을 수행할 수 있다.
도 3과 도 4를 참조하면 오브젝트(231)에 대하여는 오브젝트 영역이 추출되지 아니하였으므로 사용자의 시점(a2)이 오브젝트(231)을 향하더라도 피킹이 일어나지 않는다. 오브젝트 영역이 추출된 오브젝트(211)에 대하여는 사용자의 시점(a2)이 오브젝트(211)를 향하자 피킹이 일어남을 알 수 있다.
일 실시예에서 계산부(25)는 이전 프레임의 원본 영상과 현재 프레임의 원본 영상을 비교함으로써, 현재 원본 영상 내 오브젝트 영역의 변화값을 계산하도록 구성될 수 있다. 이러한 변화값은 오브젝트 영역의 이동, 크기변화, 및 회전 중 적어도 하나에 관련된 것일 수 있다. 이 경우 오브젝트 피킹부(24)는 상기 변화값을 기초로 오브젝트 영역의 좌표 정보 또는 오브젝트 영역의 가상공간 상의 텍스처 좌표계 상의 좌표를 보정할 수 있다.
전송장치(10) 또는 재생장치(20)에 의해 처리되는 상기 원본 영상과 상기 오브젝트 마스킹 이미지는 각 프레임에 대한 타임 코드 정보를 이용하여 시간 동기 될 수 있다.
도 5는 본 발명의 일 실시예에 따른 시점 기반 오브젝트 피킹 가능 영상 전송방법의 순서도 이다. 도 5를 참조하면 시점 기반 오브젝트 피킹 가능 영상 전송방법은 전송장치가, 원본 영상에서 오브젝트를 포함하는 오브젝트 영역을 추출하는 단계(S110), 전송장치가, 추출된 오브젝트 영역의 오브젝트 마스킹 이미지를 생성하는 단계(S120), 전송장치가, 상기 원본 영상 내 상기 오브젝트 영역의 좌표 정보를 추출하는 단계(S130), 전송장치가, 상기 원본 영상, 상기 오브젝트 마스킹 이미지 및 상기 좌표 정보를 재생장치에 제공하는 단계(S140)를 포함할 수 있다.
다른 일 실시예에서 시점 기반 오브젝트 피킹 가능 영상 전송방법은 전송장치가, 상기 오브젝트 마스킹 이미지가 복수개인 경우, 적어도 둘 이상의 오브젝트 마스킹 이미지가 결합된 스프라이트 이미지를 생성하고, 상기 스프라이트 이미지를 상기 재생장치에 제공하는 단계를 더 포함할 수 있다. 여기서 상기 오브젝트 마스킹 이미지는, 배경으로부터 오브젝트가 분리되고, 상기 원본 영상보다 해상도가 낮은 이미지일 수 있다.
도 6은 본 발명의 일 실시예에 따른 시점 기반 오브젝트 피킹 가능 영상 재생방법의 순서도이다. 도 6을 참조하면 시점 기반 오브젝트 피킹 가능 영상 재생방법은 영상 재생장치가, 원본 영상, 상기 원본 영상에 포함되는 적어도 하나의 오브젝트 영역에 대한 오브젝트 마스킹 이미지 및 상기 원본 영상 내 상기 오브젝트 영역의 좌표 정보를 수신하는 단계(S210), 영상 재생장치가, 상기 원본 영상을 표시하는 단계(S220), 영상 재생장치가, 표시되는 원본 영상을 바라보는 사용자의 시점을 검출하는 단계(S230) 및 영상 재생장치가, 검출된 사용자의 시점, 상기 좌표 정보 및 상기 오브젝트 마스킹 이미지를 기초로 상기 표시되는 원본 영상 내 오브젝트를 피킹하는 단계(S240)를 포함한다. 상기 피킹하는 단계(S240)는 검출된 사용자의 시점이 표시되는 원본 영상 내 오브젝트 또는 그 주변부를 향하는 경우, 사용자의 시점이 향하는 오브젝트와 오브젝트 마스킹 이미지를 비교하여 상기 오브젝트 영역 이미지 내 오브젝트를 피킹할 수 있다.
또한 시점 기반 오브젝트 피킹 가능 영상 재생방법은 영상 재생장치가, 이전 프레임의 원본 영상과 현재 프레임의 원본 영상을 비교함으로써, 현재 원본 영상 내 오브젝트 영역의 변화값을 계산하는 단계를 더 포함할 수 있다. 이 경우 피킹하는 단계(S240)는, 상기 변화값을 기초로 오브젝트 영역의 좌표 정보를 보정할 수 있다.
이상의 과정을 통하여, 종래의 기기에서와 같은 디코딩 한계로 인한 해상도의 제약을 극복하고, 11k 등 초고해상도를 가지는 광 시야각 영상을 재생하면서 그 안의 오브젝트를 피킹할 수 있다.
이상에서 설명한 실시예들에 따른 광 시야각 영상 전송 및 재생 방법들은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (19)

  1. 원본 영상에서 오브젝트를 포함하는 오브젝트 영역을 추출하고, 추출된 오브젝트 영역의 오브젝트 마스킹 이미지 및 상기 원본 영상을 전송하도록 구성된 전송장치;
    상기 전송장치로부터 상기 오브젝트 마스킹 이미지 및 상기 원본 영상을 수신하고, 상기 원본 영상을 표시하며, 상기 원본 영상을 바라보는 사용자의 시점을 기초로 표시되는 원본 영상 내 오브젝트를 피킹 하도록 구성된 재생장치를 포함하되,
    상기 전송장치는, 1) 원본 영상에 포함되는 오브젝트 마스킹 이미지가 복수개인 경우, 적어도 둘 이상의 오브젝트 마스킹 이미지가 결합된 스프라이트 이미지를 생성하거나, 2)원본 영상이 연속하는 복수개의 영상인 경우, 각 원본 영상에 포함되는 동일한 오브젝트에 대한 오브젝트 마스킹 이미지가 결합된 스프라이트 이미지를 생성하도록 구성된 스프라이트 이미지 생성부를 포함하는 시점 기반 오브젝트 피킹 시스템.
  2. 제1항에 있어서,
    상기 전송장치는, 상기 원본 영상 내 상기 오브젝트 영역의 좌표 정보를 더 추출하도록 구성되며,
    상기 재생장치는, 상기 전송장치로부터 상기 좌표 정보를 수신하고, 상기 사용자의 시점과 상기 좌표 정보를 기초로 표시되는 원본 영상 내 오브젝트를 피킹하도록 구성되는 것을 특징으로 하는 시점 기반 오브젝트 피킹 시스템.
  3. 제1항에 있어서,
    상기 오브젝트 마스킹 이미지는,
    배경으로부터 오브젝트가 분리되고, 상기 원본 영상보다 해상도가 낮은 이미지인 것을 특징으로 하는 시점 기반 오브젝트 피킹 시스템.
  4. 원본 영상에서 오브젝트를 포함하는 오브젝트 영역을 추출하고 추출된 오브젝트 영역의 오브젝트 마스킹 이미지를 생성하는 오브젝트 마스킹 이미지 생성부;
    상기 원본 영상 내 상기 오브젝트 영역의 좌표 정보를 추출하도록 구성된 좌표 정보 추출부;
    상기 원본 영상, 상기 오브젝트 마스킹 이미지 및 상기 좌표 정보를 재생장치에 제공하도록 구성된 전송부를 포함하되,
    1) 원본 영상에 포함되는 오브젝트 마스킹 이미지가 복수개인 경우, 적어도 둘 이상의 오브젝트 마스킹 이미지가 결합된 스프라이트 이미지를 생성하거나, 2)원본 영상이 연속하는 복수개의 영상인 경우, 각 원본 영상에 포함되는 동일한 오브젝트에 대한 오브젝트 마스킹 이미지가 결합된 스프라이트 이미지를 생성하도록 구성된 스프라이트 이미지 생성부를 더 포함하고,
    상기 전송부는 상기 스프라이트 이미지를 상기 재생장치에 제공하는 시점 기반 오브젝트 피킹 가능 영상 전송장치.
  5. 삭제
  6. 제4항에 있어서,
    상기 오브젝트 마스킹 이미지는,
    배경으로부터 오브젝트가 분리되고, 상기 원본 영상보다 해상도가 낮은 이미지인 것을 특징으로 하는 시점 기반 오브젝트 피킹 가능 영상 전송장치.
  7. 제4항에 있어서,
    이전 프레임의 원본 영상과 현재 프레임의 원본 영상을 비교함으로써, 현재 원본 영상 내 오브젝트 영역의 변화값을 계산하도록 구성된 계산부를 더 포함하되,
    상기 전송부는 상기 좌표 정보를 대신하거나 함께 상기 변화값을 상기 재생장치로 전송하고,
    상기 변화값은 오브젝트 영역의 이동, 크기변화, 및 회전 중 적어도 하나에 관련된 것을 특징으로 하는 시점 기반 오브젝트 피킹 가능 영상 전송장치.
  8. 원본 영상, 상기 원본 영상에 포함되는 적어도 하나의 오브젝트 영역에 대한 오브젝트 마스킹 이미지 및 상기 원본 영상 내 상기 오브젝트 영역의 좌표 정보를 수신하도록 구성된 수신부;
    수신한 원본 영상을 표시하도록 구성된 표시부;
    표시되는 원본 영상을 바라보는 사용자의 시점을 검출하도록 구성된 시점 검출부; 및
    검출된 사용자의 시점, 상기 좌표 정보 및 상기 오브젝트 마스킹 이미지를 기초로 표시되는 원본 영상 내 오브젝트를 피킹하도록 구성된 오브젝트 피킹부를 포함하되,
    1) 원본 영상에 포함되는 오브젝트 마스킹 이미지가 복수개인 경우, 적어도 둘 이상의 오브젝트 마스킹 이미지는 결합되어 스프라이트 이미지로 상기 수신부에 수신되거나, 2)원본 영상이 연속하는 복수개의 영상인 경우, 각 원본 영상에 포함되는 동일한 오브젝트에 대한 오브젝트 마스킹 이미지가 결합된 스프라이트 이미지가 상기 수신부에 수신되는, 시점 기반 오브젝트 피킹 가능 영상 재생장치.
  9. 제8항에 있어서,
    상기 오브젝트 피킹부는,
    검출된 사용자의 시점이 표시되는 원본 영상 내 오브젝트 또는 그 주변부를 향하는 경우, 사용자의 시점이 향하는 오브젝트와 오브젝트 마스킹 이미지를 비교하여 오브젝트를 피킹하는 것을 특징으로 하는 시점 기반 오브젝트 피킹 가능 영상 재생장치.
  10. 제8항에 있어서,
    상기 오브젝트 피킹부는,
    상기 좌표 정보를 기초로 상기 원본 영상에 대응되는 가상공간 상의 좌표계 상에서의 상기 오브젝트 영역의 텍스처 좌표 정보를 계산하고, 계산된 텍스처 좌표 정보를 기초로 오브젝트를 피킹하도록 구성된 것을 특징으로 하는 시점 기반 오브젝트 피킹 가능 영상 재생장치.
  11. 제8항에 있어서,
    이전 프레임의 원본 영상과 현재 프레임의 원본 영상을 비교함으로써, 현재 원본 영상 내 오브젝트 영역의 변화값을 계산하도록 구성된 계산부를 더 포함하되, 상기 변화값은 오브젝트 영역의 이동, 크기변화, 및 회전 중 적어도 하나에 관련된 것이고,
    상기 오브젝트 피킹부는 상기 변화값을 기초로 오브젝트 영역의 좌표 정보를 보정하는 것을 특징으로 하는 시점 기반 오브젝트 피킹 가능 영상 재생장치.
  12. 제9항에 있어서,
    상기 오브젝트 피킹부는,
    검출된 사용자의 시점이 상기 오브젝트 영역 내 또는 그로부터 소정 범위 내 위치하는 경우, 상기 오브젝트 영역을 분할하고, 분할된 오브젝트 영역과 수신한 오브젝트 마스킹 이미지를 기초로 오브젝트를 검출하는 것을 특징으로 하는 시점 기반 오브젝트 피킹 가능 영상 재생장치.
  13. 삭제
  14. 전송장치가, 원본 영상에서 오브젝트를 포함하는 오브젝트 영역을 추출하는 단계;
    전송장치가, 추출된 오브젝트 영역의 오브젝트 마스킹 이미지를 생성하는 단계;
    전송장치가, 상기 원본 영상 내 상기 오브젝트 영역의 좌표 정보를 추출하는 단계;
    전송장치가, 상기 원본 영상, 상기 오브젝트 마스킹 이미지 및 상기 좌표 정보를 재생장치에 제공하는 단계;
    전송장치가, 1) 원본 영상에 포함되는 상기 오브젝트 마스킹 이미지가 복수개인 경우, 적어도 둘 이상의 오브젝트 마스킹 이미지가 결합된 스프라이트 이미지를 생성하거나 2)원본 영상이 연속하는 복수개의 영상인 경우, 각 원본 영상에 포함되는 동일한 오브젝트에 대한 오브젝트 마스킹 이미지가 결합된 스프라이트 이미지를 생성하는 단계를 포함하는 시점 기반 오브젝트 피킹 가능 영상 전송방법.
  15. 제14항에 있어서,
    상기 스프라이트 이미지를 상기 재생장치에 제공하는 단계를 더 포함하는 것을 특징으로 하는 시점 기반 오브젝트 피킹 가능 영상 전송방법.
  16. 제14항에 있어서,
    상기 오브젝트 마스킹 이미지는,
    배경으로부터 오브젝트가 분리되고, 상기 원본 영상보다 해상도가 낮은 이미지인 것을 특징으로 하는 시점 기반 오브젝트 피킹 가능 영상 전송방법.
  17. 영상 재생장치가, 원본 영상, 상기 원본 영상에 포함되는 적어도 하나의 오브젝트 영역에 대한 오브젝트 마스킹 이미지 및 상기 원본 영상 내 상기 오브젝트 영역의 좌표 정보를 수신하는 단계;
    영상 재생장치가, 수신한 원본 영상을 표시하는 단계;
    영상 재생장치가, 표시되는 원본 영상을 바라보는 사용자의 시점을 검출하는 단계; 및
    영상 재생장치가, 검출된 사용자의 시점, 상기 좌표 정보, 및 상기 오브젝트 마스킹 이미지를 기초로 표시되는 원본 영상 내 오브젝트를 피킹하는 단계를 포함하되,
    1) 원본 영상에 포함되는 오브젝트 마스킹 이미지가 복수개인 경우, 적어도 둘 이상의 오브젝트 마스킹 이미지는 결합되어 스프라이트 이미지로 영상 재생장치에 수신되거나, 2)원본 영상이 연속하는 복수개의 영상인 경우, 각 원본 영상에 포함되는 동일한 오브젝트에 대한 오브젝트 마스킹 이미지가 결합된 스프라이트 이미지가 영상 재생장치에 수신되는 시점 기반 오브젝트 피킹 가능 영상 재생방법.
  18. 제17항에 있어서,
    상기 피킹하는 단계는,
    검출된 사용자의 시점이 표시되는 원본 영상 내 오브젝트 또는 그 주변부를 향하는 경우, 사용자의 시점이 향하는 오브젝트와 오브젝트 마스킹 이미지를 비교하여 오브젝트를 피킹하는 것을 특징으로 하는 시점 기반 오브젝트 피킹 가능 영상 재생방법.
  19. 제17항에 있어서,
    영상 재생장치가, 이전 프레임의 원본 영상과 현재 프레임의 원본 영상을 비교함으로써, 현재 원본 영상 내 오브젝트 영역의 변화값을 계산하는 단계를 더 포함하되, 상기 변화값은 오브젝트 영역의 이동, 크기변화, 및 회전 중 적어도 하나에 관련된 것이고,
    상기 피킹하는 단계는, 상기 변화값을 기초로 오브젝트 영역의 좌표 정보를 보정하는 것을 특징으로 하는 시점 기반 오브젝트 피킹 가능 영상 재생방법.
KR1020170074875A 2017-06-14 2017-06-14 시점 기반 오브젝트 피킹 시스템 및 그 방법 KR101915578B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170074875A KR101915578B1 (ko) 2017-06-14 2017-06-14 시점 기반 오브젝트 피킹 시스템 및 그 방법
CN201710479700.7A CN109145686A (zh) 2017-06-14 2017-06-22 基于视点的对象拾取系统及其方法
US15/633,683 US20180364800A1 (en) 2017-06-14 2017-06-26 System for Picking an Object Base on View-Direction and Method Thereof
JP2017126455A JP6370446B1 (ja) 2017-06-14 2017-06-28 視点基盤のオブジェクトピッキングシステム及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170074875A KR101915578B1 (ko) 2017-06-14 2017-06-14 시점 기반 오브젝트 피킹 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101915578B1 true KR101915578B1 (ko) 2018-11-06

Family

ID=63104322

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170074875A KR101915578B1 (ko) 2017-06-14 2017-06-14 시점 기반 오브젝트 피킹 시스템 및 그 방법

Country Status (4)

Country Link
US (1) US20180364800A1 (ko)
JP (1) JP6370446B1 (ko)
KR (1) KR101915578B1 (ko)
CN (1) CN109145686A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11216953B2 (en) 2019-03-26 2022-01-04 Samsung Electronics Co., Ltd. Apparatus and method for image region detection of object based on seed regions and region growing
WO2021112273A1 (ko) * 2019-12-03 2021-06-10 네오컨버전스 주식회사 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7120924B1 (en) * 2000-02-29 2006-10-10 Goldpocket Interactive, Inc. Method and apparatus for receiving a hyperlinked television broadcast
US7113185B2 (en) * 2002-11-14 2006-09-26 Microsoft Corporation System and method for automatically learning flexible sprites in video layers
US9200901B2 (en) * 2008-06-19 2015-12-01 Microsoft Technology Licensing, Llc Predictive services for devices supporting dynamic direction information
WO2011060525A1 (en) * 2009-11-19 2011-05-26 Esight Corporation Image magnification on a head mounted display
CN102420985B (zh) * 2011-11-29 2014-01-22 宁波大学 一种多视点视频对象提取方法
US9269011B1 (en) * 2013-02-11 2016-02-23 Amazon Technologies, Inc. Graphical refinement for points of interest
US10380799B2 (en) * 2013-07-31 2019-08-13 Splunk Inc. Dockable billboards for labeling objects in a display having a three-dimensional perspective of a virtual or real environment
JP6725827B2 (ja) * 2015-07-31 2020-07-22 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
JP6684559B2 (ja) * 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US10511892B2 (en) * 2016-12-30 2019-12-17 DISH Technologies L.L.C. Systems and methods for facilitating content discovery based on augmented context

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
한대영 외, "대화형 멀티미디어 방송을 위한 객체 저장 방법", 한국콘텐츠학회논문지 제9권 제2호, pp. 51-59, 2009.2.*

Also Published As

Publication number Publication date
JP2019004441A (ja) 2019-01-10
CN109145686A (zh) 2019-01-04
JP6370446B1 (ja) 2018-08-08
US20180364800A1 (en) 2018-12-20

Similar Documents

Publication Publication Date Title
US10499002B2 (en) Information processing apparatus and information processing method
US10701332B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium
US11481982B2 (en) In situ creation of planar natural feature targets
US9940720B2 (en) Camera and sensor augmented reality techniques
US9412205B2 (en) Extracting sensor data for augmented reality content
US10645298B2 (en) Methods, devices and systems for automatic zoom when playing an augmented scene
US10958890B2 (en) Method and apparatus for rendering timed text and graphics in virtual reality video
US9728011B2 (en) System and method for implementing augmented reality via three-dimensional painting
KR20200146040A (ko) 깊이 추정 시스템의 자가 감독 훈련
US9508147B2 (en) Information processing apparatus and method
CN109743892B (zh) 虚拟现实内容的显示方法和装置
CN109743626B (zh) 一种图像显示方法、图像处理方法和相关设备
CN102196280A (zh) 方法、客户端设备和服务器
KR20130051501A (ko) 다중 사용자 증강 현실을 위한 온라인 참조 생성 및 추적
US20160210761A1 (en) 3d reconstruction
KR102450236B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
KR101915578B1 (ko) 시점 기반 오브젝트 피킹 시스템 및 그 방법
US20190295324A1 (en) Optimized content sharing interaction using a mixed reality environment
KR101308184B1 (ko) 윈도우 형태의 증강현실을 제공하는 장치 및 방법
JP2018033107A (ja) 動画の配信装置及び配信方法
US20200211275A1 (en) Information processing device, information processing method, and recording medium
US20210037230A1 (en) Multiview interactive digital media representation inventory verification
KR101773929B1 (ko) 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램
CN105630170B (zh) 一种信息处理方法及电子设备
US11615767B2 (en) Information processing apparatus, information processing method, and recording medium

Legal Events

Date Code Title Description
GRNT Written decision to grant