KR101947372B1 - Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd - Google Patents

Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd Download PDF

Info

Publication number
KR101947372B1
KR101947372B1 KR1020170112367A KR20170112367A KR101947372B1 KR 101947372 B1 KR101947372 B1 KR 101947372B1 KR 1020170112367 A KR1020170112367 A KR 1020170112367A KR 20170112367 A KR20170112367 A KR 20170112367A KR 101947372 B1 KR101947372 B1 KR 101947372B1
Authority
KR
South Korea
Prior art keywords
image
hmd
value
screen
position correction
Prior art date
Application number
KR1020170112367A
Other languages
English (en)
Inventor
이상호
Original Assignee
주식회사 그루크리에이티브랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 그루크리에이티브랩 filed Critical 주식회사 그루크리에이티브랩
Priority to KR1020170112367A priority Critical patent/KR101947372B1/ko
Priority to PCT/KR2017/011845 priority patent/WO2019045174A1/ko
Priority to US15/801,368 priority patent/US10445888B2/en
Application granted granted Critical
Publication of KR101947372B1 publication Critical patent/KR101947372B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/378—Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

HMD에 위치 보정 영상을 제공하는 방법 및 HMD에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 HMD가 제공된다. 본 발명의 일 실시예에 따른 HMD에 위치 보정 영상을 제공하는 방법은, 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하는 단계; HMD 사용자의 머리 움직임에 따른 회전 정보를 획득하는 단계; 상기 오브젝트 거리 및 상기 회전 정보를 이용하여 영상의 위치 보정값을 산출하는 단계; 및 상기 위치 보정값에 따라 상기 영상을 변환시켜 상기 HMD에 제공하는 단계를 포함한다.

Description

HMD에 위치 보정 영상을 제공하는 방법 및 HMD에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 HMD{METHOD OF PROVIDING POSITION CORRECTED IMAGES TO A HEAD MOUNT DISPLAY AND METHOD OF DISPLAYING POSITION CORRECTED IMAGES TO A HEAD MOUNT DISPLAY, AND A HEAD MOUNT DISPLAY FOR DISPLAYING THE POSITION CORRECTED IMAGES}
본 발명은 HMD에 위치 보정 영상을 제공하는 방법 및 HMD에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 HMD에 관한 것이다.
가상현실(VR; Virtual Reality)이란 인공적으로 생성된 가상의 공간으로 3차원 시각 효과 등을 통해 현실성을 부여하는 공간이다. 가상현실 구현을 위한 기술은 사용자의 입력을 실시간으로 처리하여 현실 세계에 있는 것 같은 느낌을 받을 수 있는 기술로, 멀티미디어를 뛰어 넘는 차세대 기술이다.
이러한 가상현실은 HMD(Head Mount Display, 헤드 마운트 디스플레이)와 같은 장치를 통해 이용할 수 있다. HMD는 사용자의 머리(head)에 착용하여 눈 앞의 스크린에 렌즈를 통해 객체(object)가 입체감을 가지면서 보이도록 한다.
사람이 지각하는 입체감은 보고자 하는 물체의 위치에 따라 수정체 두께의 변화 정도, 좌우 눈과 물체와의 각도 차이, 좌우 눈에 보이는 물체의 위치 및 형태 차이, 물체의 운동에 따라 생기는 시차, 관찰자의 심리적 요인 등 여러 요소가 복합적으로 작용하여 생긴다. 특히, 사람의 눈은 초점 조절(accomodation)과 좌우 눈에 의한 두 시선을 보고자 하는 물체 위에 하나로 모으는 폭주(vergence) 조절이 동시에 일어난다.
일반적으로, HMD는 고정 스크린 방식을 사용하고 있으며, HMD를 착용하고 있는 사용자의 눈과 영상의 객체 간의 거리의 변화에 따른 눈의 초점 조절(accomodation)과 좌우 눈의 수렴(convergence)을 정확히 반영하지 못하고 있다.
즉, HMD에서 사용자가 영상을 볼 때, 눈의 초점이 스크린에 맞춰져 있으나, 좌우 눈의 수렴(convergence)은 주목하고 있는 객체에 맞추어져 있어 불일치가 발생하며, 이에 따라 사용자가 눈의 피로가 증가하고, 어지럼증을 느끼게 된다.
대한민국 공개특허 2012-0051308호 (2012.05.22. 공개) 대한민국 공개특허 2013-0078990호 (2013.07.10. 공개)
본 발명은 상기 문제점을 해결하기 위한 것으로, 영상 정보 및 사용자의 머리 회전 정보를 이용하여 컨버전스를 조절한 위치 보정 영상을 HMD에 제공하고 표시할 수 있는 HMD에 위치 보정 영상을 제공하는 방법 및 HMD에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 HMD를 제공한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 HMD에 위치 보정 영상을 제공하는 방법은, 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하는 단계; HMD 사용자의 머리 움직임에 따른 회전 정보를 획득하는 단계; 상기 오브젝트 거리 및 상기 회전 정보를 이용하여 영상의 위치 보정값을 산출하는 단계; 및 상기 위치 보정값에 따라 상기 영상을 변환시켜 상기 HMD에 제공하는 단계를 포함한다.
또한, 상기 회전 정보를 획득하는 단계는, 상기 사용자를 기준으로 상기 HMD의 스크린에 대해 깊이 방향에 대한 회전 정보인 롤값을 획득하는 단계를 포함할 수 있다.
또한, 상기 영상의 위치 보정값을 산출하는 단계는, 상기 오브젝트 거리를 기초로 하여 상기 HMD의 스크린 및 상기 HMD 사용자에 의해 형성되는 스크린 디스패러티값을 산출하며, 상기 스크린 디스패러티값 및 상기 롤값을 기초로 상기 위치 보정값을 산출하는 단계를 포함할 수 있다.
또한, 상기 영상의 위치 보정값을 산출하는 단계는, 상기 스크린 디스패러티값을 이용하여 상기 영상을 이동시키는 이동 행렬을 생성하며, 상기 롤값을 이용하여 상기 영상을 회전시키는 롤 회전 행렬을 생성하고, 상기 이동 행렬 및 상기 롤 회전 행렬을 이용하여 상기 영상을 변환하는 변환 행렬을 생성할 수 있다.
또한, 상기 회전 정보를 획득하는 단계는, 상기 사용자를 기준으로 상기 HMD의 스크린에 대해 깊이 방향에 대한 회전 정보인 롤값, 지면을 기준으로 상기 HMD의 스크린에 대해 수평 방향에 대한 회전 정보인 피치값, 지면을 기준으로 상기 HMD의 스크린에 대해 수직 방향에 대한 회전 정보인 요값을 획득하는 단계를 포함할 수 있다.
또한, 상기 영상의 위치 보정값을 산출하는 단계는, 상기 오브젝트 거리를 기초로 하여 상기 HMD의 스크린 및 상기 HMD 사용자에 의해 형성되는 스크린 디스패러티값을 산출하며, 상기 스크린 디스패러티값 및 상기 롤값, 상기 피치값, 상기 요값을 기초로 상기 위치 보정값을 산출하는 단계를 포함할 수 있다.
그리고, 상기 영상의 위치 보정값을 산출하는 단계는, 상기 스크린 디스패러티값을 이용하여 상기 영상을 이동시키는 이동 행렬을 생성하며, 상기 롤값, 상기 피치값, 상기 요값을 이용하여 상기 영상을 회전시키는 회전 행렬을 생성하고, 상기 이동 행렬 및 상기 회전 행렬을 이용하여 상기 영상을 변환하는 변환 행렬을 생성할 수 있다.
상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 HMD에 위치 보정 영상을 표시하는 방법은, 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하는 단계; HMD 사용자의 머리 움직임에 따른 회전 정보를 획득하는 단계; 상기 오브젝트 거리 및 상기 회전 정보를 이용하여 영상의 위치 보정값을 산출하는 단계; 상기 위치 보정값에 따라 상기 영상을 변환하여 위치 보정 영상을 생성하는 단계; 상기 위치 보정 영상을 스케일링하는 단계; 및 상기 스케일링된 위치 보정 영상을 상기 HMD의 스크린에 표시하는 단계를 포함한다.
또한, 상기 위치 보정 영상을 스케일링하는 단계는, 상기 HMD의 시야각 및 스크린 해상도를 기초로 상기 위치 보정 영상을 스케일링하는 단계를 포함할 수 있다.
그리고, 상기 HMD의 스크린에 표시하는 단계는, 상기 HMD으로부터 소정 거리를 벗어난 영역에 대해 초점을 블러링 처리하는 단계를 포함할 수 있다.
상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 위치 보정 영상을 표시하는 HMD는, 디스플레이부; 사용자의 움직임을 감지하며, 사용자의 머리 움직임에 따른 회전 정보를 획득하는 센서부; 상기 회전 정보를 기초로 입력 영상을 실시간으로 변환하여 제공하는 영상 위치 보정부; 및 상기 영상 위치 보정부에서 제공되는 위치 보정 영상을 상기 디스플레이부에 표시하는 제어부를 포함하며, 상기 영상 위치 보정부는, 상기 입력 영상의 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하며, 상기 오브젝트 거리 및 상기 회전 정보를 이용하여 상기 영상의 위치 보정값을 산출하고, 상기 위치 보정값에 따라 상기 영상을 변환시켜 상기 위치 보정 영상을 제공한다.
또한, 상기 위치 보정 영상을 표시하는 HMD는, 영상을 저장하는 저장부; 및 외부와 통신하며, 외부로부터 영상을 전송받는 통신부를 더 포함할 수 있다.
또한, 상기 센서부는, 상기 사용자를 기준으로 상기 HMD의 스크린에 대해 깊이 방향에 대한 회전 정보인 롤값, 지면을 기준으로 상기 HMD의 스크린에 대해 수평 방향에 대한 회전 정보인 피치값, 지면을 기준으로 상기 HMD의 스크린에 대해 수직 방향에 대한 회전 정보인 요값을 획득할 수 있다.
또한, 상기 영상 위치 보정부는, 상기 오브젝트 거리를 기초로 하여 상기 HMD의 스크린 및 상기 HMD 사용자에 의해 형성되는 스크린 디스패러티값을 산출하며, 상기 롤값, 상기 피치값, 상기 요값 중 상기 롤값이 포함된 적어도 하나의 값 및 상기 스크린 디스패러티값을 기초로 상기 위치 보정값을 산출할 수 있다.
또한, 상기 영상 위치 보정부는, 상기 스크린 디스패러티값을 이용하여 상기 영상을 이동시키는 이동 행렬을 생성하며, 상기 롤값, 상기 피치값, 상기 요값 중 상기 롤값이 포함된 적어도 하나의 값을 이용하여 상기 영상을 회전시키는 회전 행렬을 생성하고, 상기 이동 행렬 및 상기 회전 행렬을 이용하여 상기 영상을 변환하는 변환 행렬을 생성할 수 있다.
또한, 상기 제어부는, 상기 위치 보정 영상을 스케일링하고, 상기 스케일링 영상을 상기 디스플레이부에 표시할 수 있다.
그리고, 상기 제어부는, 상기 HMD의 시야각 및 상기 디스플레이부의 스크린 해상도를 기초로 상기 위치 보정 영상을 스케일링할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따르면, 영상 정보 및 사용자의 머리 회전 정보를 이용하여 컨버전스를 조절함으로써, 종래의 HMD의 물리적인 구성을 변경하지 않고, 위치 보정 영상을 HMD에 제공하고 표시할 수 있다.
또한, 위치 보정 영상을 HMD에 제공하고 표시함으로써, 사용자의 눈의 피로를 감시시키고, 어지럼증을 저감할 수 있다.
도 1은 본 발명의 일 실시예에 따른 HMD에 위치 보정 영상을 제공하는 방법의 순서를 도시한 도면이다.
도 2는 HMD 사용자의 머리 움직임에 따른 회전 방향을 설명하기 위한 도면이다.
도 3은 HMD의 영상 기술 개요를 설명하기 위한 도면이다.
도 4a 내지 도 4c는 컨버전스를 조절하는 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 HMD에 위치 보정 영상을 표시하는 방법의 순서를 도시한 도면이다.
도 6은 영상을 스케일링하는 일 실시예를 설명하기 위한 도면이다.
도 7은 HMD 사용자의 눈에 대한 호럽터(horopter)와 파넘(panum) 영역을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 위치 보정 영상을 표시하는 HMD를 포함하는 시스템을 개략적으로 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 위치 보정 영상을 표시하는 HMD의 구성을 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "이루어지다(made of)"는 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 본 발명에 대하여 첨부된 도면에 따라 보다 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 HMD에 위치 보정 영상을 제공하는 방법의 순서를 도시한 도면이다. 또한, 도 2는 HMD 사용자의 머리 움직임에 따른 회전 방향을 설명하기 위한 도면이다. 또한, 도 3은 HMD의 영상 기술 개요를 설명하기 위한 도면이다. 그리고, 도 4a 내지 도 4c는 컨버전스를 조절하는 일 실시예를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 HMD에 위치 보정 영상을 제공하는 방법은, 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하며(S110), HMD 사용자의 머리 움직임에 따른 회전 정보를 획득하고(S120), 상기 오브젝트 거리 및 상기 회전 정보를 이용하여 영상의 위치 보정값을 산출하고(S130), 상기 위치 보정값에 따라 상기 영상을 변환시켜 상기 HMD에 제공한다 (S140).
여기에서, 오브젝트 거리를 추출하는 경우(S110), HMD에 저장된 영상 또는 외부에서 HMD로부터 전송되는 영상의 영상 정보로부터 오브젝트 거리를 추출할 수 있다.
이러한 영상 정보에는 파일이름, 파일 용량, 플레이 시간, 프레임 수, 해상도 정보 등과 함께, 객체의 정보가 포함된다. 구체적으로, 객체 이름, 객체 방향, 객체의 이동 거리, 객체와의 거리, 객체 비율, 객체 위도, 객체 경도 등을 들 수 있다. 그러므로, 영상 정보에 포함된 객체의 정보 중에서 객체와의 거리를 추출할 수 있으며, 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출할 수 있다.
여기에서, 회전 정보를 획득하는 경우(S120), HMD의 사용자를 기준으로 상기 HMD의 스크린에 대해 깊이 방향에 대한 회전 정보인 롤값, 지면을 기준으로 상기 HMD의 스크린에 대해 수평 방향에 대한 회전 정보인 피치값, 지면을 기준으로 상기 HMD의 스크린에 대해 수직 방향에 대한 회전 정보인 요값 중 적어도 하나를 획득할 수 있다.
도 2에 도시한 바와 같이, HMD의 스크린에 대해 깊이 방향을 z축, 지면을 기준으로 상기 HMD의 스크린에 대해 수평 방향을 x축, 지면을 기준으로 상기 HMD의 스크린에 대해 수직 방향을 y축으로 표현할 수 있으며, z축을 기준으로 한 회전이 롤(roll), x축을 기준으로 한 회전이 피치(pitch), y축을 기준으로 한 회전이 요(yaw)가 된다.
바람직하게는, 롤값, 피치값, 요값 중 상기 롤값이 포함된 적어도 하나의 값을 획득할 수 있다. 즉, 영상의 위치 보정값을 산출하기 위해, HMD의 스크린에 대해 깊이 방향에 대한 회전 정보인 롤값을 사용하며, 보조적으로 피치값, 요값을 사용할 수 있다. HMD 사용자의 눈의 초점(accomodation)은 스크린에 맞추어져 있지만, 좌우 눈의 수렴(convergence)은 보고자 주목하는 타겟 오브젝트(target object)에 모아지는 불일치 현상이 일어나므로, 컨버전스(convergence) 조절이 필요하다. 이에 따라, HMD에 제공되어 표시되는 영상에서는 영상의 깊이(depth)가 중요한 역할을 한다. 그러므로, HMD의 사용자를 기준으로 상기 HMD의 스크린에 대해 깊이 방향에 대한 회전 정보인 롤값이 컨버전스(convergence) 조절에 중요한 요소가 된다.
참고로, 회전 정보는 HMD에 구비된 센서를 이용하여 획득할 수 있다. 일반적으로, HMD는 세 방향의 가속도를 측정할 수 있는 3축 가속도 센서, 세 방향의 각속도를 측정할 수 있는 3축 자이로 센서, 세 방향의 지자기를 측정할 수 있는 3축 지자기 센서를 구비할 수 있다. 자이로 센서에서 측정한 각속도 데이터는 단위 시간당 각도 변화량을 의미하며, 각속도 데이터를 적분하면 각도가 되므로 자이로 센서는 HMD 사용자의 머리 회전을 계산하기 위한 센서이다. 또한, 각 변화율(angular rate)은 자이로 센서 및/또는 지자기 센서를 사용하여 측정할 수 있다. 또한, 지자기 센서가 없더라도, 가속도 센서가 측정한 가속도 데이터를 이용하여 롤(roll) 및 피치(pitch) 값을 계산하고, 상기 계산된 롤 및 피치 값으로부터 요값을 계산할 수도 있다.
여기에서, 영상의 위치 보정값을 산출하는 경우(S130), 오브젝트 거리를 기초로 하여 HMD의 스크린 및 상기 HMD 사용자에 의해 형성되는 스크린 디스패러티값을 산출하며, 롤값, 피치값, 요값 중 상기 롤값이 포함된 적어도 하나의 값 및 상기 스크린 디스패러티값을 기초로 위치 보정값을 산출한다.
도 3에 도시한 바와 같이, 사용자의 좌안(L)과 우안(R)의 시차(disparity)를 이용하여 상기 좌안(L)과 우안(R)에 각각 대응되는 한 쌍의 스크린(15a, 15b)을 통해 가상적으로 입체감을 느낄 수 있다. 사용자의 눈 바로 앞에 가상의 스크린(Virtual Screen)을 띄운 후, 눈으로 초점(accomodation)을 맞추고, 컨버전스(convergence)를 조절하여 가상의 입체 영상을 구현할 수 있다. 이때, 사용자의 좌안(L)과 우안(R)의 동공 간 거리 IPD(Inter Pupillary Distance)는 60~70mm 정도이다.
사용자의 좌안(L)과 우안(R)의 동공 간 거리 IPD에 의해 발생하는 스크린 디스패러티값을 산출할 수 있다. 스크린 디스패러티(screen disparity)는 스크린(15a, 15b)에서 좌우 대응점의 수평 이격거리가 된다.
도 4a 내지 도 4c에서, 사용자의 좌안(L)과 우안(R)의 동공 간 거리 IPD를 e라 표현할 수 있고, Z는 사용자의 눈으로부터 고정된 스크린까지의 거리를 의미한다. 이때, p는 패럴럭스(parallax)를 의미하고, d는 스크린 디스패리티(screen disparity)를 의미한다.
이때, 도 4a는 제로 패럴럭스(zero parallax) 상태이며, Accomodation-Convergence 정합이 이루어진다. 도 4b는 타겟 오브젝트가 컨버전스 포인트 뒤에 있어서 스크린면 뒤로 들어가 보이는 포지티브 패럴럭스(positive parallax) 상태이며, 도 4c는 타겟 오브젝트가 컨버전스 포인트 앞에 있어서 스크린면 앞으로 돌출되어 보이는 네거티브 패럴럭스(negative parallax) 상태이고, 컨버전스 조절이 요구된다.
상기 스크린 디스패러티값을 이용하여 영상을 이동시킬 수 있으며, 타겟 오브젝트의 깊이 값이 고정된 스크린 거리 보다 크면 (+) 값을, 상기 타겟 오브젝트의 깊이 값이 상기 고정된 스크린 거리 보다 작으면 (-) 값을 산출할 수 있다. HMD는 사용자의 좌안(L)과 우안(R)에 각각 대응되는 한 쌍의 스크린(15a, 15b)이므로, 스크린 디스패러티값 d에 따른 영상의 이동값 h는 다음의 수학식 1과 같이 표현할 수 있다.
Figure 112017085415454-pat00001
다시 도 4b를 참조하면, 포지티브 패럴럭스(positive parallax) 상태이고, 다음의 수학식 2 및 3과 같이 표현할 수 있다.
Figure 112017085415454-pat00002
Figure 112017085415454-pat00003
상기 수학식 2 및 3으로부터 다음의 수학식 4가 도출된다.
Figure 112017085415454-pat00004
다시 도 4c를 참조하면, 네거티브 패럴럭스(negative parallax) 상태이고, 다음의 수학식 5 및 6과 같이 표현할 수 있다.
Figure 112017085415454-pat00005
Figure 112017085415454-pat00006
상기 수학식 5 및 6으로부터 다음의 수학식 7이 도출된다.
Figure 112017085415454-pat00007
따라서, 상기 수학식 1은 상기 수학식 4 및 7로부터 다음의 수학식 8이 된다.
Figure 112017085415454-pat00008
이후, 상기 h에 회전 정보를 적용하여 영상을 대각으로(diagonally) 이동시킬 수 있다. 요값, 피치값, 롤값이 h에 적용될 수 있다.
특히, h는 영상을 HMD의 스크린에 대해 수평 방향으로 이동시키는 값이 된다. 도 2를 참조하면, h는 영상을 x축 상에서 이동시키는 값이 되며, 사용자의 머리 회전에 따라 상기 h에 가장 큰 영향을 미치는 회전 정보는 롤값이 된다. 그러므로, 본 발명의 실시예에서는 요값, 피치값, 롤값 중 롤값을 h에 적용하여 위치 보정값을 산출한 후, 상기 산출된 위치 보정값에 요값 및/또는 피치값을 적용하여 위치 보정값을 더욱 정확히 산출할 수 있다.
그런데, 상기 롤값, 상기 피치값, 상기 요값 중 상기 롤값이 포함된 적어도 하나의 값 및 상기 스크린 디스패러티값을 기초로 위치 보정값을 산출하게 된다. 상기 롤값, 상기 피치값, 상기 요값에 영상의 이동값이 적용되므로, 벡터 성분이 4개가 되므로, 상기 수학식 8의 h는 다음의 수학식 9의 이동 행렬로 표현할수 있다.
Figure 112017085415454-pat00009
또한, 피치값, 요값, 롤값을 각각
Figure 112017085415454-pat00010
,
Figure 112017085415454-pat00011
,
Figure 112017085415454-pat00012
라 하자. 도 2를 참조하면,
Figure 112017085415454-pat00013
,
Figure 112017085415454-pat00014
,
Figure 112017085415454-pat00015
는 각각 x축, y축, z축을 기준으로 한 회전 정보이므로, 다음의 수학식 10 내지 12와 같은 회전 행렬로 표현할 수 있다.
Figure 112017085415454-pat00016
Figure 112017085415454-pat00017
Figure 112017085415454-pat00018
편의상, 피치값을 이용하여 영상을 회전시키는 회전 행렬을 피치 회전 행렬, 요값을 이용하여 영상을 회전시키는 회전 행렬을 요 회전 행렬, 롤값을 이용하여 영상을 회전시키는 회전 행렬을 롤 회전 행렬이라 한다.
상기 수학식 9 내지 수학식 12를 이용하여 변환 행렬을 생성할 수 있다.
즉, 스크린 디스패러티값을 이용하여 영상을 이동시키는 이동 행렬을 생성하며, 롤값, 피치값, 요값 중 상기 롤값이 포함된 적어도 하나의 값을 이용하여 상기 영상을 회전시키는 회전 행렬을 생성하고, 상기 이동 행렬 및 상기 회전 행렬을 이용하여 상기 영상을 변환하는 변환 행렬을 생성할 수 있다. 이러한 변환 행렬에 의해 영상의 위치가 변환되는 위치 보정 영상을 제공할 수 있다.
예를 들어, 상기 수학식 9의 이동 행렬 및 상기 수학식 12의 롤 회전 행렬을 이용하여 아래의 수학식 13의 변환 행렬을 생성할 수 있다.
Figure 112017085415454-pat00019
또한, 상기 수학식 9의 이동 행렬 및 상기 수학식 10 내지 12의 회전 행렬을 이용하여 아래의 수학식 14의 변환 행렬을 생성할 수 있다.
Figure 112017085415454-pat00020
구체적으로, 영상을 변환시킬 수 있는 변환 행렬은 4개가 생성될 수 있다. 이러한 변환 행렬을 이용하여 사용자의 머리 움직임을 반영하여 영상을 대각 방향으로 이동시킬 수 있고, 이를 통해 컨버전스가 조절되어 사용자의 시선이 제로 패럴럭스(zero parallax) 상태가 되도록 할 수 있다.
따라서, 초점(accomodation)을 맞추고, 컨버전스(convergence)가 조절된 위치 보정 영상을 HMD에 제공하여 사용자의 눈의 피로를 감시시키고, 어지럼증을 저감할 수 있는 가상의 입체 영상을 구현할 수 있다.
도 5는 본 발명의 일 실시예에 따른 HMD에 위치 보정 영상을 표시하는 방법의 순서를 도시한 도면이다. 또한, 도 6은 영상을 스케일링하는 일 실시예를 설명하기 위한 도면이다. 그리고, 도 7은 HMD 사용자의 눈에 대한 호럽터(horopter)와 파넘(panum) 영역을 설명하기 위한 도면이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 HMD에 위치 보정 영상을 표시하는 방법은, 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하며(S210), HMD 사용자의 머리 움직임에 따른 회전 정보를 획득하고(S220), 상기 오브젝트 거리 및 상기 회전 정보를 이용하여 영상의 위치 보정값을 산출하고(S230), 상기 위치 보정값에 따라 상기 영상을 변환하여 위치 보정 영상을 생성하고(S240), 상기 위치 보정 영상을 스케일링하고(S50), 상기 스케일링된 위치 보정 영상을 상기 HMD의 스크린에 표시한다(S60). 이때, 단계 S210 내지 S240은 상술한 본 발명의 일 실시예에 따른 HMD에 위치 보정 영상을 제공하는 방법과 동일하므로 상세한 설명은 생략하도록 한다.
여기에서, 위치 보정값에 따라 영상을 변환하여 위치 보정 영상을 생성하는 경우(S240), 영상의 이동 정보에 회전 정보를 적용하여 영상의 위치를 보정할 수 있다. 이러한 위치 보정 영상은 HMD에 제공되며, 이후 HMD의 스크린에 디스플레이된다.
구체적으로, 상술한 바와 같이, 스크린 디스패러티값을 이용하여 영상을 이동시키는 이동 행렬을 생성하며, 롤값을 포함하여 피치값 및/또는 요값을 함께 이용하여 상기 영상을 회전시키는 회전 행렬을 생성하고, 상기 이동 행렬 및 상기 회전 행렬을 이용하여 상기 영상을 변환하는 변환 행렬을 생성하고, 상기 변환 행렬을 적용하여 위치 보정 영상을 생성할 수 있다.
여기에서, 위치 보정 영상을 스케일링하는 경우(S250), HMD의 시야각 및 스크린 해상도를 기초로 상기 위치 보정 영상을 스케일링할 수 있다. 도 6에 도시한 바와 같이, 가상 환경에서의 객체를 실제 표시되는 스크린에 맞추어 크기 변환할 수 있다. 도 6에서, SSw는 가상 환경에서의 가상 스크린의 크기를 도시하며, FOV는 HMD의 시야각이며, Zp는 오브젝트까지의 거리이고, h는 가상 환경에서의 오브젝트의 이동값이다. 또한, SSv는 스크린 해상도이며, hpixel은 실제 스크린에서 픽셀의 시프트값이다.
가상 환경에서의 관계는 다음의 수학식 15와 같다.
Figure 112017085415454-pat00021
가상 환경은 실제 스크린과 다음의 수학식 16과 같은 비례 관계를 가질 수 있다.
Figure 112017085415454-pat00022
상기 수학식 15 및 16으로부터 다음의 수학식 17이 도출된다.
Figure 112017085415454-pat00023
상기 수학식 17을 적용하여 컨버전스가 조절되도록 변환된 영상을 스케일링할 수 있다.
여기에서, 스케일링된 위치 보정 영상을 HMD의 스크린에 표시하는 경우(S260), HMD으로부터 소정 거리를 벗어난 영역에 대해 초점을 블러링 처리할 수 있다.
도 7에 도시한 바와 같이, 눈의 초점 조절 및 컨버전스 조절이 맞게 이루어져 정합된 0점들을 연결한 선(horopter)으로부터 일정 범위이 영역을 파넘의 퓨전 영역(Panum's Fusion Area)이라 한다. 상기 파넘의 퓨전 영역을 벗어난 경우, 객체(object)가 하나로 보이지 않고, 2개로 보이게 된다. 좌우 눈(L, R)으로부터 가까운 쪽의 복시 현상은 Crossed Disparity이고, 먼 쪽의 복시 현상은 Unrossed Disparity이다. 초점 조절이 안 되어 파넘의 퓨전 영역을 벗어나 오브젝트가 2개로 보임으로써, HMD 사용자가 어지럼증을 느낄 수 있다.
그러므로, 파넘의 퓨전 영역을 벗어난 오브젝트들에 대해서는 초점을 블러링 처리함으로써, 미스매치에 따른 눈의 시각 피로도를 줄이고, 어지럼증을 예방할 수 있다.
도 8은 본 발명의 일 실시예에 따른 위치 보정 영상을 표시하는 HMD를 포함하는 시스템을 개략적으로 도시한 도면이다. 또한, 도 9는 본 발명의 일 실시예에 따른 위치 보정 영상을 표시하는 HMD의 구성을 도시한 도면이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 위치 보정 영상을 표시하는 HMD를 포함하는 시스템은, 위치 보정 영상을 표시하는 HMD(100) 및 상기 HMD(100)와 네트워크(50)를 통해 통신하는 외부 장치(200)를 포함한다. 또한, 상기 시스템은 위치 보정 영상을 표시하는 HMD(100) 및 상기 HMD(100)와 케이블(60)을 통해 통신하는 외부 장치(200)를 포함할 수 있다.
네트워크(50)는 유선 네트워크뿐만 아니라 무선 네트워크를 포함함은 물론이다. 여기에서, 무선 네트워크는 원거리 무선 통신 또는 근거리 무선 통신 모두가 가능할 것이며, 블루투스(Bluetooth), 지그비(Zigbee), NFC(Near Field Communication), 와이브리(Wibree) 등 여러 무선 통신 방식이 사용될 수 있다.
케이블(60)은 외부 장치(200)와 HMD(100)를 직접 연결하는 물리적인 통신선으로써, HDMI 케이블 등 공지의 케이블이 사용될 수 있음은 당업자에게 자명하다 할 것이다.
외부 장치(200)는 네트워크(50)를 통해 위치 보정 영상을 표시하는 HMD(100)와 통신하며, 상기 HMD(100)에 네트워크(50)를 통해 영상을 전송할 수 있고, HMD(100)로부터 영상을 전송받을 수도 있다. 예를 들어, 외부 장치(200)에서 상기 HMD(100)로 영상을 전송하고, 상기 HMD(100)는 전송된 영상을 위치 보정하여 위치 보정 영상을 표시하고, 상기 위치 보정 영상 및 이에 관련된 정보, 데이터 등을 상기 외부 장치(200)에 전송하여 저장할 수 있다. 이렇게 외부 장치(200)에 저장된 위치 보정 영상 및 정보, 데이터 등은 다른 HMD(100)에 전송되어 다른 HMD(100) 사용자의 컨버전스를 조절하는데 도움이 될 수 있다.
도 9를 참조하면, 위치 보정 영상을 표시하는 HMD(100)는, 디스플레이부(110), 사용자의 움직임을 감지하며, 사용자의 머리 움직임에 따른 회전 정보를 획득하는 센서부(120), 상기 회전 정보를 기초로 입력 영상을 실시간으로 변환하여 제공하는 영상 위치 보정부(130), 상기 영상 위치 보정부에서 제공되는 위치 보정 영상을 상기 디스플레이부에 표시하는 제어부(140)를 포함할 수 있다. 또한, 위치 보정 영상을 표시하는 HMD(100)는, 영상을 저장하는 저장부(150), 외부와 통신하며, 외부로부터 영상을 전송받는 통신부(160), 영상을 획득하는 카메라부(170) 등을 더 포함할 수 있다.
디스플레이부(110)는 좌우 눈에 각각 대응하는 한 쌍으로 이루어지며, 저장부(150)에 저장된 영상 또는 통신부(160)를 통해 외부로부터 전송받는 영상을 표시(display)한다. 특히, 영상의 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하며, 상기 오브젝트 거리 및 회전 정보를 이용하여 현재 표시되고 있는 영상의 위치 보정값을 산출하고, 상기 위치 보정값에 따라 상기 현재 표시되고 있는 영상을 변환시킨 위치 보정 영상을 제공받아 디스플레이할 수 있다.
센서부(120)는 사용자의 움직임을 감지하며, 사용자의 머리 움직임에 따른 회전 정보를 획득한다. 이러한 센서부(120)는 세 방향의 가속도를 측정할 수 있는 3축 가속도 센서, 세 방향의 각속도를 측정할 수 있는 3축 자이로 센서, 세 방향의 지자기를 측정할 수 있는 3축 지자기 센서를 구비할 수 있다. 특히, 자이로 센서에서 측정한 각속도 데이터는 단위 시간당 각도 변화량을 의미하며, 각속도 데이터를 적분하면 각도가 되므로 자이로 센서는 HMD 사용자의 머리 회전을 계산하기 위한 센서가 된다.
영상 위치 보정부(130)는 입력 영상의 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하며, 상기 오브젝트 거리 및 상기 회전 정보를 이용하여 상기 영상의 위치 보정값을 산출하고, 상기 위치 보정값에 따라 상기 영상을 변환시켜 상기 위치 보정 영상을 제공한다.
구체적으로, 상기 영상 위치 보정부(130)는 상기 오브젝트 거리를 기초로 하여 상기 HMD의 스크린 및 상기 HMD 사용자에 의해 형성되는 스크린 디스패러티값을 산출하며, 상기 롤값, 상기 피치값, 상기 요값 중 상기 롤값이 포함된 적어도 하나의 값 및 상기 스크린 디스패러티값을 기초로 상기 위치 보정값을 산출할 수 있다. 예를 들어, 상기 영상 위치 보정부(130)는 상기 스크린 디스패러티값을 이용하여 상기 영상을 이동시키는 이동 행렬을 생성하며, 상기 롤값, 상기 피치값, 상기 요값 중 상기 롤값이 포함된 적어도 하나의 값을 이용하여 상기 영상을 회전시키는 회전 행렬을 생성하고, 상기 이동 행렬 및 상기 회전 행렬을 이용하여 상기 영상을 변환하는 변환 행렬을 생성할 수 있다. 이러한 변환 행렬을 이용하여 영상의 위치가 보정되는 위치 보정 영상을 생성할 수 있다. 이의 구체적인 프로세스에 대해서는, 상술하여 설명하였으므로 상세한 설명은 생략하도록 한다.
이러한 영상 위치 보정부(130)는 별도의 모듈로 구성될 수도 있으나, 제어부(140)의 일부 구성이 될 수 있다. 특히, 영상 위치 보정부(130)는 HMD(100)에서 실행될 수 있는 프로그램으로 구현될 수 있다. 영상 위치 보정부(130)가 별도의 물리적 구성물이 아닌, HMD(100)에서 실행될 수 있는 프로그램으로 구현됨으로써, 종래의 HMD를 하드웨어적으로 변경하는 것이 아니라, 소프트웨어적으로 변경함으로써, 컨버전스를 조절할 수 있고, 위치 보정 영상을 HMD에 제공할 수 있다.
제어부(140)는 디스플레이부(110), 센서부(120), 영상 위치 보정부(130), 저장부(150), 통신부(160), 카메라부(170) 등을 제어한다. 예를 들어, 제어부(140)는 영상 위치 보정부(130)에서 제공되는 위치 보정 영상을 디스플레이부(110)에 표시한다.
또한, 제어부(140)는 상기 위치 보정 영상을 스케일링하고, 상기 스케일링 영상을 상기 디스플레이부(110)에 표시한다. 구체적으로, 제어부(140)는 HMD(100)의 시야각 및 디스플레이부(110)의 스크린 해상도를 기초로 상기 위치 보정 영상을 스케일링할 수 있다. 이의 구체적인 프로세스에 대해서는, 상술하여 설명하였으므로 상세한 설명은 생략하도록 한다.
저장부(150)는 영상을 미리 저장하거나, 또는 외부 장치(200) 등으로부터 전송되는 영상을 저장하며, 상기 영상과 함께 관련 데이터 및 정보 등도 저장할 수 있다. 특히, 저장부(150)는 각종 데이터 및 정보 등을 데이터베이스화하여 저장할 수 있고, 저장부(150)와 외부 장치(200)에 이중으로 데이터 및 정보를 저장하여 데이터의 안정성을 높일 수 있다.
통신부(160)는 네트워크(50)를 통해 영상 등 각종 정보를 전송받는다. 통신부(160)를 통해 전송되는 영상은 실시간으로 디스플레이부(110)에 출력되거나, 저장부(150)에 저장될 수 있다.
한편, 본 발명의 일 실시예에 따른 개인 HMD에 위치 보정 영상을 제공하는 방법 및 HMD에 위치 보정 영상을 표시하는 방법은 소프트웨어 및 하드웨어에 의해 하나의 모듈로 구현 가능하며, 전술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 롬(ROM), 플로피 디스크, 하드 디스크 등의 자기적 매체, CD, DVD 등의 광학적 매체 및 인터넷을 통한 전송과 같은 캐리어 웨이브와 같은 형태로 구현된다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네크워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
그리고, 본 발명의 실시예에서 사용되는 구성요소 또는 '~부'는 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소 또는 '~부'는 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: HMD (Head Mount Dispaly)
110: 디스플레이부 120: 센서부
130: 영상 위치 보정부 140: 제어부
150: 저장부 160: 통신부

Claims (17)

  1. 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하는 단계;
    HMD 사용자의 머리 움직임에 따른 회전 정보를 획득하는 단계;
    상기 오브젝트 거리 및 상기 회전 정보를 이용하여 영상의 위치 보정값을 산출하는 단계; 및
    상기 위치 보정값에 따라 상기 영상을 변환시켜 상기 HMD에 제공하는 단계를 포함하고,
    상기 회전 정보를 획득하는 단계는, 상기 사용자를 기준으로 상기 HMD의 스크린에 대해 깊이 방향에 대한 회전 정보인 롤값을 획득하는 단계를 포함하는, HMD에 위치 보정 영상을 제공하는 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 영상의 위치 보정값을 산출하는 단계는,
    상기 오브젝트 거리를 기초로 하여 상기 HMD의 스크린 및 상기 HMD 사용자에 의해 형성되는 스크린 디스패러티값을 산출하며, 상기 스크린 디스패러티값 및 상기 롤값을 기초로 상기 위치 보정값을 산출하는 단계를 포함하는, HMD에 위치 보정 영상을 제공하는 방법.
  4. 제 3항에 있어서,
    상기 영상의 위치 보정값을 산출하는 단계는,
    상기 스크린 디스패러티값을 이용하여 상기 영상을 이동시키는 이동 행렬을 생성하며, 상기 롤값을 이용하여 상기 영상을 회전시키는 롤 회전 행렬을 생성하고, 상기 이동 행렬 및 상기 롤 회전 행렬을 이용하여 상기 영상을 변환하는 변환 행렬을 생성하는, HMD에 위치 보정 영상을 제공하는 방법.
  5. 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하는 단계;
    HMD 사용자의 머리 움직임에 따른 회전 정보를 획득하는 단계;
    상기 오브젝트 거리 및 상기 회전 정보를 이용하여 영상의 위치 보정값을 산출하는 단계; 및
    상기 위치 보정값에 따라 상기 영상을 변환시켜 상기 HMD에 제공하는 단계를 포함하고,
    상기 회전 정보를 획득하는 단계는, 상기 사용자를 기준으로 상기 HMD의 스크린에 대해 깊이 방향에 대한 회전 정보인 롤값, 지면을 기준으로 상기 HMD의 스크린에 대해 수평 방향에 대한 회전 정보인 피치값, 지면을 기준으로 상기 HMD의 스크린에 대해 수직 방향에 대한 회전 정보인 요값을 획득하는 단계를 포함하는, HMD에 위치 보정 영상을 제공하는 방법.
  6. 제 5항에 있어서,
    상기 영상의 위치 보정값을 산출하는 단계는,
    상기 오브젝트 거리를 기초로 하여 상기 HMD의 스크린 및 상기 HMD 사용자에 의해 형성되는 스크린 디스패러티값을 산출하며, 상기 스크린 디스패러티값 및 상기 롤값, 상기 피치값, 상기 요값을 기초로 상기 위치 보정값을 산출하는 단계를 포함하는, HMD에 위치 보정 영상을 제공하는 방법.
  7. 제 6항에 있어서,
    상기 영상의 위치 보정값을 산출하는 단계는,
    상기 스크린 디스패러티값을 이용하여 상기 영상을 이동시키는 이동 행렬을 생성하며, 상기 롤값, 상기 피치값, 상기 요값을 이용하여 상기 영상을 회전시키는 회전 행렬을 생성하고, 상기 이동 행렬 및 상기 회전 행렬을 이용하여 상기 영상을 변환하는 변환 행렬을 생성하는, HMD에 위치 보정 영상을 제공하는 방법.
  8. 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하는 단계;
    HMD 사용자의 머리 움직임에 따른 회전 정보를 획득하는 단계;
    상기 오브젝트 거리 및 상기 회전 정보를 이용하여 영상의 위치 보정값을 산출하는 단계;
    상기 위치 보정값에 따라 상기 영상을 변환하여 위치 보정 영상을 생성하는 단계;
    상기 위치 보정 영상을 스케일링하는 단계; 및
    상기 스케일링된 위치 보정 영상을 상기 HMD의 스크린에 표시하는 단계를 포함하고,
    상기 위치 보정 영상을 스케일링하는 단계는, 상기 HMD의 시야각 및 스크린 해상도를 기초로 상기 위치 보정 영상을 스케일링하는 단계를 포함하는, HMD에 위치 보정 영상을 표시하는 방법.
  9. 삭제
  10. 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하는 단계;
    HMD 사용자의 머리 움직임에 따른 회전 정보를 획득하는 단계;
    상기 오브젝트 거리 및 상기 회전 정보를 이용하여 영상의 위치 보정값을 산출하는 단계;
    상기 위치 보정값에 따라 상기 영상을 변환하여 위치 보정 영상을 생성하는 단계;
    상기 위치 보정 영상을 스케일링하는 단계; 및
    상기 스케일링된 위치 보정 영상을 상기 HMD의 스크린에 표시하는 단계를 포함하고,
    상기 HMD의 스크린에 표시하는 단계는, 상기 HMD으로부터 소정 거리를 벗어난 영역에 대해 초점을 블러링 처리하는 단계를 포함하는, HMD에 위치 보정 영상을 표시하는 방법.
  11. 디스플레이부;
    사용자의 움직임을 감지하며, 사용자의 머리 움직임에 따른 회전 정보를 획득하는 센서부;
    상기 회전 정보를 기초로 입력 영상을 실시간으로 변환하여 제공하는 영상 위치 보정부; 및
    상기 영상 위치 보정부에서 제공되는 위치 보정 영상을 상기 디스플레이부에 표시하는 제어부를 포함하며,
    상기 영상 위치 보정부는, 상기 입력 영상의 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하며, 상기 오브젝트 거리 및 상기 회전 정보를 이용하여 상기 영상의 위치 보정값을 산출하고, 상기 위치 보정값에 따라 상기 영상을 변환시켜 상기 위치 보정 영상을 제공하고,
    상기 센서부는, 상기 사용자를 기준으로 HMD의 스크린에 대해 깊이 방향에 대한 회전 정보인 롤값, 지면을 기준으로 상기 HMD의 스크린에 대해 수평 방향에 대한 회전 정보인 피치값, 지면을 기준으로 상기 HMD의 스크린에 대해 수직 방향에 대한 회전 정보인 요값을 획득하는, 위치 보정 영상을 표시하는 HMD.
  12. 제 11항에 있어서,
    영상을 저장하는 저장부; 및
    외부와 통신하며, 외부로부터 영상을 전송받는 통신부를 더 포함하는, 위치 보정 영상을 표시하는 HMD.
  13. 삭제
  14. 제 11항에 있어서,
    상기 영상 위치 보정부는,
    상기 오브젝트 거리를 기초로 하여 상기 HMD의 스크린 및 상기 HMD 사용자에 의해 형성되는 스크린 디스패러티값을 산출하며, 상기 롤값, 상기 피치값, 상기 요값 중 상기 롤값이 포함된 적어도 하나의 값 및 상기 스크린 디스패러티값을 기초로 상기 위치 보정값을 산출하는, 위치 보정 영상을 표시하는 HMD.
  15. 제 14항에 있어서,
    상기 영상 위치 보정부는,
    상기 스크린 디스패러티값을 이용하여 상기 영상을 이동시키는 이동 행렬을 생성하며, 상기 롤값, 상기 피치값, 상기 요값 중 상기 롤값이 포함된 적어도 하나의 값을 이용하여 상기 영상을 회전시키는 회전 행렬을 생성하고, 상기 이동 행렬 및 상기 회전 행렬을 이용하여 상기 영상을 변환하는 변환 행렬을 생성하는, 위치 보정 영상을 표시하는 HMD.
  16. 제 11항에 있어서,
    상기 제어부는,
    상기 위치 보정 영상을 스케일링하고, 상기 스케일링 영상을 상기 디스플레이부에 표시하는, 위치 보정 영상을 표시하는 HMD.
  17. 디스플레이부;
    사용자의 움직임을 감지하며, 사용자의 머리 움직임에 따른 회전 정보를 획득하는 센서부;
    상기 회전 정보를 기초로 입력 영상을 실시간으로 변환하여 제공하는 영상 위치 보정부; 및
    상기 영상 위치 보정부에서 제공되는 위치 보정 영상을 상기 디스플레이부에 표시하는 제어부를 포함하며,
    상기 영상 위치 보정부는, 상기 입력 영상의 영상 정보로부터 타겟 오브젝트까지의 오브젝트 거리를 추출하며, 상기 오브젝트 거리 및 상기 회전 정보를 이용하여 상기 영상의 위치 보정값을 산출하고, 상기 위치 보정값에 따라 상기 영상을 변환시켜 상기 위치 보정 영상을 제공하고,
    상기 제어부는, HMD의 시야각 및 상기 디스플레이부의 스크린 해상도를 기초로 상기 위치 보정 영상을 스케일링하는, 위치 보정 영상을 표시하는 HMD.
KR1020170112367A 2017-09-04 2017-09-04 Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd KR101947372B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170112367A KR101947372B1 (ko) 2017-09-04 2017-09-04 Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
PCT/KR2017/011845 WO2019045174A1 (ko) 2017-09-04 2017-10-25 Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
US15/801,368 US10445888B2 (en) 2017-09-04 2017-11-02 Method of providing position-corrected image to head-mounted display and method of displaying position-corrected image to head-mounted display, and head-mounted display for displaying the position-corrected image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170112367A KR101947372B1 (ko) 2017-09-04 2017-09-04 Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd

Publications (1)

Publication Number Publication Date
KR101947372B1 true KR101947372B1 (ko) 2019-05-08

Family

ID=65517351

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170112367A KR101947372B1 (ko) 2017-09-04 2017-09-04 Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd

Country Status (3)

Country Link
US (1) US10445888B2 (ko)
KR (1) KR101947372B1 (ko)
WO (1) WO2019045174A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170521B1 (en) * 2018-09-27 2021-11-09 Apple Inc. Position estimation based on eye gaze
CN111782051A (zh) * 2020-07-03 2020-10-16 中图云创智能科技(北京)有限公司 一种将虚拟视野回正到用户视野的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120051308A (ko) 2010-11-12 2012-05-22 삼성전자주식회사 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
KR20130078990A (ko) 2012-01-02 2013-07-10 성균관대학교산학협력단 입체영상촬영장치에서의 주시각 제어장치
KR20160022921A (ko) * 2013-06-24 2016-03-02 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 모바일 디바이스 착용 시의 머리 움직임 추적

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4883517B2 (ja) * 2004-11-19 2012-02-22 学校法人福岡工業大学 三次元計測装置および三次元計測方法並びに三次元計測プログラム
JP4594136B2 (ja) * 2005-03-09 2010-12-08 キヤノン株式会社 画像処理方法、画像処理装置
US20060250322A1 (en) * 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
JP5402293B2 (ja) * 2009-06-22 2014-01-29 ソニー株式会社 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
KR101036600B1 (ko) * 2009-12-18 2011-05-24 주식회사 비전소프트텍 투명스크린을 이용한 3차원 가상현실 시스템 및 가상영상 표시방법
US9632315B2 (en) * 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
WO2012147702A1 (ja) * 2011-04-28 2012-11-01 シャープ株式会社 ヘッドマウントディスプレイ
KR101315303B1 (ko) * 2011-07-11 2013-10-14 한국과학기술연구원 착용형 디스플레이 장치 및 컨텐츠 디스플레이 방법
US9269012B2 (en) * 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
JP6353214B2 (ja) * 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US9715113B2 (en) * 2014-03-18 2017-07-25 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
NZ764952A (en) * 2014-05-30 2022-05-27 Magic Leap Inc Methods and system for creating focal planes in virtual and augmented reality
GB2528699B (en) * 2014-07-29 2017-05-03 Sony Computer Entertainment Europe Ltd Image processing
JP6290754B2 (ja) * 2014-09-11 2018-03-07 株式会社パスコ 仮想空間表示装置、仮想空間表示方法及びプログラム
US10152119B2 (en) * 2014-12-11 2018-12-11 Htc Corporation Head-mounted display apparatus and calibration method thereof
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
KR20160147636A (ko) * 2015-06-15 2016-12-23 삼성전자주식회사 헤드 마운티드 디스플레이 장치
KR101844306B1 (ko) * 2015-12-31 2018-04-02 서울대학교산학협력단 디스플레이 보정을 제공하는 머리착용형 디스플레이 장치 및 디스플레이 보정 방법
US10326976B2 (en) * 2016-06-17 2019-06-18 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for providing personal 3-dimensional image using convergence matching algorithm
US10607398B2 (en) * 2016-07-04 2020-03-31 Colopl, Inc. Display control method and system for executing the display control method
KR20180082658A (ko) * 2017-01-09 2018-07-19 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 헤드 마운트 표시 장치의 영상 보정 방법
WO2018199701A1 (en) * 2017-04-28 2018-11-01 Samsung Electronics Co., Ltd. Method for providing content and apparatus therefor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120051308A (ko) 2010-11-12 2012-05-22 삼성전자주식회사 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
KR20130078990A (ko) 2012-01-02 2013-07-10 성균관대학교산학협력단 입체영상촬영장치에서의 주시각 제어장치
KR20160022921A (ko) * 2013-06-24 2016-03-02 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 모바일 디바이스 착용 시의 머리 움직임 추적

Also Published As

Publication number Publication date
US10445888B2 (en) 2019-10-15
WO2019045174A1 (ko) 2019-03-07
US20190073778A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
US11914147B2 (en) Image generation apparatus and image generation method using frequency lower than display frame rate
US11989842B2 (en) Head-mounted display with pass-through imaging
JP5113426B2 (ja) 頭部装着型表示装置、及びその制御方法
EP0702494B1 (en) Three-dimensional image display apparatus
US6570566B1 (en) Image processing apparatus, image processing method, and program providing medium
US20160267720A1 (en) Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
WO2010084716A1 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
JPH10188034A (ja) 立体画像生成装置および距離演算装置
JP2017142569A (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
CN108398787B (zh) 增强现实显示设备、方法和增强现实眼镜
JP2012079291A (ja) プログラム、情報記憶媒体及び画像生成システム
US20230156176A1 (en) Head mounted display apparatus
JP6844210B2 (ja) 視覚的顕著性マップ生成装置、視覚的顕著性マップ生成方法及びプログラム
JP6708444B2 (ja) 画像処理装置および画像処理方法
JP4270347B2 (ja) 距離演算装置
CN112655202A (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
KR101947372B1 (ko) Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
WO2017191703A1 (ja) 画像処理装置
KR20140115637A (ko) 다수 사용자에 입체 영상을 제공하는 시스템 및 그 방법
JP5037713B1 (ja) 立体画像表示装置および立体画像表示方法
JP2950160B2 (ja) 立体映像表示装置
CN108471939A (zh) 一种潘弄区测量方法、装置以及可穿戴显示设备
KR20190046387A (ko) Hmd 영상 보정 방법 및 hmd에 보정 영상을 표시하는 방법
JP2017142769A (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム

Legal Events

Date Code Title Description
G170 Publication of correction