KR102056985B1 - 가상 현실 인터랙션 방법 및 그 장치 - Google Patents

가상 현실 인터랙션 방법 및 그 장치 Download PDF

Info

Publication number
KR102056985B1
KR102056985B1 KR1020180085601A KR20180085601A KR102056985B1 KR 102056985 B1 KR102056985 B1 KR 102056985B1 KR 1020180085601 A KR1020180085601 A KR 1020180085601A KR 20180085601 A KR20180085601 A KR 20180085601A KR 102056985 B1 KR102056985 B1 KR 102056985B1
Authority
KR
South Korea
Prior art keywords
layer
foreground area
mesh deformation
virtual reality
sphere
Prior art date
Application number
KR1020180085601A
Other languages
English (en)
Inventor
최수미
윤여진
최강현
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020180085601A priority Critical patent/KR102056985B1/ko
Application granted granted Critical
Publication of KR102056985B1 publication Critical patent/KR102056985B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

가상 현실 인터랙션 방법 및 그 장치가 개시된다. 가상 현실 인터랙션 방법은 360도 2D 영상에서 움직임이 적용될 전경 영역과 움직임이 적용되지 않을 배경 영역을 각각 분리한 후 전경 영역 레이어와 배경 영역 레이어를 구성하는 단계; (b) 상기 전경 영역 레이어와 상기 배경 영역 레이어를 독립적으로 서로 다른 구(sphere) 모델에 각각 매핑한 후 중첩하여 가상 현실 장면을 구성하는 단계; 및 (c) 상기 구성된 가상 현실 장면에서 사용자 인터랙션이 적용될 타겟 전경 영역의 속성에 따라 다른 메시 변형 알고리즘을 적용하는 단계를 포함한다.

Description

가상 현실 인터랙션 방법 및 그 장치{Method and apparatus for virtual reality interaction}
본 발명은 가상 현실 인터랙션 방법 및 그 장치에 관한 것이다.
모든 객체가 3D객체로 이루어진 가상현실 콘텐츠에서는 사용자가 가상 객체를 잡거나 던지는 인터랙션 방법을 쉽게 사용할 수 있지만 360도 영상 콘텐츠에서는 사용자가 인터랙션을 할 수 있는 3D 객체가 존재하지 않는다. 따라서, 360도 영상 콘텐츠에서의 인터랙션 방법은 많은 연구가 진행되지 못하고 있다.
최근 360도 영상 콘텐츠의 인터랙션 방법으로, 360도 영상 콘텐츠에서 화면의 회전을 돕기 위해 휴대폰 등의 모바일 기기의 중력센서를 이용하는 방법, 데스트톱 사용자를 위해 360도 영상 콘텐츠에 GUI를 추가하거나 마우스 회전으로 화면의 회전을 돕는 방법으로 적용되고 있다. 또한, 360도 영상 콘텐츠에 등장하는 인물이 입고 있는 옷이나 등장인물이 사용하는 물건에 대한 정보를 제공하기 위한 하이퍼링크나 가격 정보를 삽입해 사용자에게 정보를 제공하는 방법을 이용하여 360도 영상 콘텐츠에 인터랙션을 제공하고 있다.
그러나 이러한 방법들은 360도 영상 콘텐츠에서 추가적인 정보를 제공하거나 360도 영상 콘텐츠 관람에 있어 기기나 장소의 제약을 보완하는 방법으로 사용되었고 360도 영상 콘텐츠에서 직관적인 인터랙션을 제공하지 못하여 몰입감을 증대시키지 못하는 문제점이 있다.
본 발명은 가상 현실 인터랙션 방법 및 그 장치를 제공하기 위한 것이다.
또한, 본 발명은 다중 레이어를 이용하여 사용자가 움직일 영역과 움직이지 않을 영역을 각각 분리한 후 서로 다른 메시 변형 알고리즘을 각 레이어에 적용하여 자연스러운 인터랙션을 제공할 수 있는 가상 현실 인터랙션 방법 및 그 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 가상 현실 인터랙션 방법이 제공된다.
본 발명의 일 실시예에 따르면, (a) 360도 2D 영상에서 움직임이 적용될 전경 영역과 움직임이 적용되지 않을 배경 영역을 각각 분리한 후 전경 영역 레이어와 배경 영역 레이어를 구성하는 단계; (b) 상기 전경 영역 레이어와 상기 배경 영역 레이어를 독립적으로 서로 다른 구(sphere) 모델에 각각 매핑한 후 중첩하여 가상 현실 장면을 구성하는 단계; 및 (c) 상기 구성된 가상 현실 장면에서 사용자 인터랙션이 적용될 타겟 전경 영역의 속성에 따라 다른 메시 변형 알고리즘을 적용하는 단계를 포함하는 가상 현실 인터랙션 방법이 제공될 수 있다.
사용자 인터랙션 2D 또는 3D 객체가 상기 서로 다른 구 모델 사이에 독립된 레이어로 구성될 수 있다.
상기 (b) 단계는, 상기 전경 영역 레이어를 제1 구 모델에 매핑하는 단계; 상기 배경 영역 레이어를 제2 구 모델에 매핑하는 단계; 및 상기 제1 구 모델과 상기 제2 구 모델을 중첩하여 상기 가상 현실 장면을 구성하는 단계를 포함하되, 상기 제1 구 모델과 상기 제2 구 모델은 상이한 크기를 가질 수 있다.
상기 전경 영역 레이어와 상기 배경 영역 레이어는 서로 다른 해상도로 서로 다른 구 모델에 매핑되되, 상기 전경 영역 레이어가 상기 배경 영역 레이어보다 더 높은 해상도로 구 모델에 매핑될 수 있다.
상기 (c) 단계는, 상기 구성된 가상 현실 장면에서 사용자 인터랙션을 위해 특정 지점(point)가 선택되면, 상기 선택된 특정 지점을 중심으로 상기 특정 지점에 위치된 상기 타겟 전경 영역의 속성에 따라 서로 다른 메시 변형 알고리즘을 적용할 수 있다.
상기 (c) 단계는, 상기 타겟 전경 영역의 속성이 유체인 경우, 제1 메시 변형 알고리즘을 상기 타겟 전경 영역 레이어에 매핑된 구 모델에 적용하는 단계; 및 상기 타겟 전경 영역의 속성이 탄성인 경우, 제2 메시 변형 알고리즘을 상기 타겟 전경 영역 레이어에 매핑된 구 모델에 적용하는 단계를 포함할 수 있다.
상기 제1 메시 변형 알고리즘은 파동 방정식 또는 사인 기반 함수를 이용하는 물 시뮬레이션에 기반한 메시 변형 알고리즘이며, 상기 제2 메시 변형 알고리즘은 거리 기반 함수를 이용한 메시 변형 알고리즘이다.
상기 (b) 단계는, 상기 전경 영역 레이어가 복수인 경우, 각각의 전경 영역 레이어는 서로 다른 구 모델에 매핑되되, 상기 서로 다른 구 모델 중첩시 상기 전경 영역의 우선 순위에 따라 상위 배치 순서가 결정될 수 있다.
본 발명의 다른 측면에 따르면, 가상 현실 인터랙션을 위한 장치가 제공된다.
본 발명의 일 실시예에 따르면, 가상 현실 인터랙션 장치에 있어서, 360도 2D 영상에서 움직임이 적용될 전경 영역과 움직임이 적용되지 않을 배경 영역을 각각 분리한 후 전경 영역 레이어와 배경 영역 레이어를 구성하는 전처리부; 상기 전경 영역 레이어와 상기 배경 영역 레이어를 독립적으로 서로 다른 구 모델에 각각 매핑하는 매핑부; 상기 전경 영역 레이어와 상기 배경 영역 레이어가 각각 매핑된 서로 다른 구 모델을 중첩하여 하나의 가상 현실 장면을 구성하는 장면 구성부; 및 상기 구성된 가상 현실 장면에서 사용자 인터랙션이 적용될 타겟 전경 영역의 속성에 따라 서로 다른 메시 변형 알고리즘을 적용하는 메시 변형부를 포함하는 가상 현실 인터랙션 장치가 제공될 수 있다.
상기 매핑부는, 상기 전경 영역 레이어를 제1 구 모델에 매핑하고, 제1 기하 모델에 매핑하고, 상기 배경 영역 레이어를 제2 구 모델에 매핑하되, 상기 제1 구 모델과 상기 제2 구 모델은 서로 다른 크기 및 해상도를 가질 수 있다.
상기 메시 변형부는, 상기 구성된 가상 현실 장면에서 사용자 인터랙션을 위해 특정 지점(point)가 선택되면, 상기 선택된 특정 지점을 중심으로 상기 특정 지점에 위치된 상기 타겟 전경 영역의 속성에 따라 서로 다른 메시 변형 알고리즘을 적용할 수 있다.
본 발명의 일 실시예에 따른 가상 현실 인터랙션 방법 및 그 장치를 제공함으로써, 다중 레이어를 이용하여 사용자가 움직일 영역과 움직이지 않을 영역을 각각 분리한 후 서로 다른 메시 변형 알고리즘을 각 레이어에 적용하여 자연스러운 인터랙션을 제공할 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 가상 현실 인터랙션 장치의 구성을 개략적으로 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 360도 영상을 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 전경 영역과 배경 영역을 각 레이어로 구성하는 것을 설명하기 위해 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 전경 영역에 대한 제1 메시 변형을 예시한 도면.
도 5는 본 발명의 일 실시예에 따른 거리 기반 함수의 역제곱 원리를 설명하기 위해 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 전경 영역에 대한 제2 메시 변형을 예시한 도면.
도 7은 본 발명의 일 실시예에 따른 가상 현실 인터랙션 방법을 나타낸 순서도.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 가상 현실 인터랙션 장치의 구성을 개략적으로 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 360도 영상을 예시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 전경 영역과 배경 영역을 각 레이어로 구성하는 것을 설명하기 위해 도시한 도면이며, 도 4는 본 발명의 일 실시예에 따른 전경 영역에 대한 제1 메시 변형을 예시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 거리 기반 함수의 역제곱 원리를 설명하기 위해 도시한 도면이며, 도 6은 본 발명의 일 실시예에 따른 전경 영역에 대한 제2 메시 변형을 예시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 가상 현실 인터랙션 장치(100)는 입력부(110), 전처리부(115), 매핑부(120), 장면 구성부(125), 메시 변형부(130), 디스플레이부(135), 메모리(140) 및 프로세서(145)를 포함하여 구성된다.
입력부(110)는 2D 영상을 입력받는다. 여기서, 2D 영상은 360도 영상일 수 있다. 도 2에 360도 2D 영상이 예시되어 있다. 입력부(110)는 이외에도 가상 현실 장면을 구성하기 위해 필요한 다른 영상, 3D 객체 정보를 더 입력받을 수도 있다. 물론 이외에도 가상 현실 장면에 적용할 2D 객체 또는 3D 객체를 별도의 레이어로 더 입력받을 수도 있다.
전처리부(115)는 2D 영상에서 움직임이 적용될 전경 영역과 움직임이 적용되지 않을 배경 영역을 각각 분리한 후 각각의 레이어로 구성한다.
예를 들어, 도 3을 참조하여 이에 대해 상세히 설명하기로 한다. 도 3의 (a)와 같이 360도 2D 영상이 입력되는 것을 가정하기로 한다. 전처리부(115)는 움직임이 적용될 전경 영역으로, 물을 분리하고, 전경 영역 레이어로 구성할 수 있다. 또한, 움직임이 적용되지 않을 배경 영역으로, 하늘, 흙 등을 분리하여 각각을 배경 영역 레이어로 구성할 수 있다.
이외에도, 새와 거북이 등이 전경 영역으로 2D 영상과는 별도로 입력될 수도 있으며, 이들 또한 움직임이 적용될 전경 영역으로써, 각각의 전경 영역 레이어로 구성될 수 있다.
이외에도, 전처리부(115)는 입력부(110)를 통해 2D 영상 형태의 전경 영역 이외에도 3D 객체를 전경 영역으로써 입력받아 전경 영역 레이어로 구성할 수 있다.
또한, 전처리부(115)는 각 전경 영역에 대해 속성을 설정할 수도 있다.
본 발명의 일 실시예에서는 전경 영역에 대해 하나의 전경 영역 레이어가 구성되고 배경 영역에 대해 하나의 배경 영역이 구성되는 것을 가정하여 이를 중심으로 설명하기로 한다.
다른 예를 들어, 전경 영역이 복수인 경우, 복수의 전경 영역 레이어가 구성될 수도 있음은 당연하다. 이는 배경 영역에 대해서도 동일하게 적용될 수 있다.
매핑부(120)는 전처리부(115)를 통해 구성된 전경 영역 레이어와 배경 영역 레이어를 독립적으로 서로 다른 기하 모델에 각각 매핑한다. 여기서, 기하 모델은 구(sphere) 모델일 수 있다. 본 명세서에서는 기하 모델이 구인 것을 가정하여 이를 중심으로 설명하나 기하 모델은 구 이외에도 다른 형상일 수도 있다. 이러한 기하 모델은 폴리곤 형태로 표현될 수 있으며, 예를 들어, 삼각형 메시로 표현될 수 있다.
예를 들어, 물, 새, 거북이가 각각 전경 영역으로 분리되어 제1 전경 영역 레이어 내지 제3 전경 영역 레이어로 구성되어 있다고 가정하기로 한다.
또한, 땅과 하늘이 각각 배경 영역으로 분리되어 제1 배경 영역 레이어와 제2 배경 영역 레이어로 구성되어 있다고 가정하기로 한다.
매핑부(120)는 제1 기하 모델에 제1 전경 영역 레이어 내지 제3 전경 영역 레이어를 각각 매핑할 수 있다. 또한, 매핑부(120)는 제2 기하 모델이 제1 배경 영역 레이어 내지 제2 배경 영역 레이어를 각각 매핑할 수 있다.
이와 같이, 하나의 기하 모델에 복수의 전경 영역 레이어 또는 복수의 배경 영역 레이어를 매핑하는 경우, 각 전경 영역 레이어 또는 배경 영역 레이어의 우선 순위에 따라 상단 또는 하단에 배치할 수도 있다.
또한, 제1 기하 모델과 제2 기하 모델의 크기는 동일할 수도 있으며 상이할 수도 있다. 또한, 구현 방법에 따라 제1 기하 모델과 제2 기하 모델은 각각 다른 형상일 수도 있음은 당연하다. 예를 들어, 젼경 객체 레이어가 매핑되는 제1 기하 모델이 배경 영역 레이어가 매핑되는 제2 기하 모델보다 미세하게 작은 사이즈로 구성될 수 있다.
또한, 제1 기하 모델과 제2 기하 모델에 각각의 전경 영역 레이어와 배경 영역 레이어를 매핑함에 있어 해상도를 다르게 설정하여 매핑할 수도 있다. 예를 들어, 움직임이 적용될 전경 영역 레이어의 해상도를 배경 영역 레이어의 해상도보다 높게 설정하여 매핑할 수도 있다.
본 발명의 일 실시예에서는 제1 전경 영역 레이어 내지 제3 전경 영역이 하나의 기하 모델에 매핑(즉, 복수의 전경 영역 레이어가 하나의 기하 모델에 매핑)되고, 제1 배경 영역 레이어 내지 제2 배경 영역 레이어가 하나의 기하 모델에 매핑되는 것을 가정하여 이를 중심으로 설명하고 있다. 그러나 구현 방법에 따라 전경 영역 레이어가 복수인 경우, 복수의 전경 영역 레이어는 독립적으로 서로 다른 기하 모델에 매핑될 수도 있다. 마찬가지로, 배경 영역 레이어가 복수인 경우, 복수의 배경 영역 레이어는 독립적으로 서로 다른 기하 모델에 매핑될 수도 있음은 당연하다.
장면 구성부(125)는 복수의 전경 레이어가 매핑된 제1 기하 모델과 복수의 배경 영역 레이어가 매핑된 제2 기하 모델을 중첩하여 하나의 가상 현실 장면을 구성한다.
이때, 장면 구성부(125)는 복수의 배경 영역 레이어가 매핑된 제2 기하 모델을 하위에 배치시키고, 복수의 전경 영역 레이어가 매핑된 제1 기하 모델을 제2 기하 모델의 상위에 배치시켜 하나의 가상 현실 장면을 구성할 수 있다.
또한, 장면 구성부(125)는 복수의 기하 모델 사이에 사용자 인터랙션 레이어를 별도로 구성할 수도 있다. 이러한 사용자 인터랙션 레이어는 360도 2D 영상에서 추출된 전경 영역 레이어와는 무관하며, 2D 또는 3D 객체가 포함될 수 있다.
메시 변형부(130)는 구성된 가상 현실 장면에서 사용자 인터랙션을 위해 특정 지점이 선택되면, 선택된 특정 지점에 위치된 전경 영역(타겟 전경 영역이라 칭하기로 함)의 속성에 따른 메시 변형 알고리즘을 타겟 전경 영역 레이어이 매핑된 기하 모델에 적용한다. 이하에서, 메시 변형은 별도의 설명이 없더라도 선택된 특정 지점에 위치된 전경 영역 레이어가 매핑된 기하 모델에 적용되는 것으로 이해되어야 할 것이다.
예를 들어, 타겟 전경 영역의 속성이 물과 같은 "유체"라고 가정하기로 한다. 메시 변형부(130)는 "유체"에 따라 제1 메시 변형 알고리즘을 해당 타겟 전경 영역이 매핑된 구 모델에 적용할 수 있다. 또한, 타겟 전경 영역의 속성이 풍선 등과 같은 "탄성"이라고 가정하기로 한다. 메시 변형부(130)는 "탄성"에 따른 제2 메시 변형 알고리즘을 타겟 전경 영역이 매핑된 구 모델에 적용할 수 있다.
여기서, 제1 메시 변형 알고리즘은 파동 방정식에 기반한 메시 변형 알고리즘 또는 사인 기반 함수를 이용한 물 시뮬레이션에 따른 메시 변형 알고리즘일 수 있다. 또한, 제2 메시 변형 알고리즘은 거리 기반 함수를 이용한 메시 변형 알고리즘일 수 있다. 파동 방정식, 사인 기반 함수, 거리 기반 함수를 이용한 메시 변형 알고리즘은 설명의 편의를 도모하기 위해 제시된 일 예일 뿐이며, 공지된 다양한 메시 변형 알고리즘이 각각의 객체 속성에 따라 상이하게 적용될 수 있다.
또한, 이해와 설명의 편의를 도모하기 위해 전경 영역의 속성이 "유체"와 "탄성"인 것으로 구분하여 설명하고 있으나, 전경 영역의 속성 분류는 이외에도 다양하게 적용될 수 있음은 당연하다. 또한, 전경 영역의 속성이 다양하게 분류됨에 따라 적용 가능한 메시 변형 알고리즘의 종류 또한 달라질 수 있음은 당연하다. 이는 구현에 따라 적절하게 적용될 수 있다.
제1 메시 변형 알고리즘이 파동 방정식에 기반한 메시 변형 알고리즘인 것을 가정하여 이에 대해 간략하게 설명하기로 한다.
예를 들어, 천수 효과(ripple effects)와 같은 물 표면의 동적인 움직임을 표현하기 위해 2차원 파동 방정식을 이용할 수 있다. 파동 방정식은 수학식 1과 같이 나타낼 수 있다.
Figure 112018072761972-pat00001
여기서, c는 파동 속도(wave speed)를 나타내고, h는 파동 속도(c)에 따른 메시 표면의 높이 변위를 나타낸다. 또한, t는 파동의 지속 시간을 나타내고,
Figure 112018072761972-pat00002
와
Figure 112018072761972-pat00003
는 2D 메시(mesh)의 좌표(vertex)를 나타낸다. 여기서, 2D 메시의 좌표는 물에 따른 전경 영역의 레이어가 매핑된 전경 기하 모델의 좌표일 수 있다.
2차 편미분 방정식(second-order partial differential equation)을 수치적으로 풀기 위해, 편미분을 정규 공간 격자 간격(
Figure 112018072761972-pat00004
)과 시간 간격을 사용하여 대체함으로써 이산화할 수 있다. 이를 수학식으로 나타내면 수학식 2와 같다.
Figure 112018072761972-pat00005
높이 변위(
Figure 112018072761972-pat00006
)는 t시점의 높이 변위(
Figure 112018072761972-pat00007
)와 (t-1) 시점의 높이 변위(
Figure 112018072761972-pat00008
)로부터 추론될 수 있다. 이를 수학식으로 나타내면 수학식 3과 같다.
Figure 112018072761972-pat00009
이러한 명시적인 방법은 그래픽 프로세서(GPU) 쉐이더(shader)를 기반으로 쉽고 빠르게 구현될 수 있다. 또한, 물 시뮬레이션을 위한 안정성을 증가시키기 위해 감쇠 계수(
Figure 112018072761972-pat00010
)가 신규 높이 변위에 추가될 수 있다.
이를 수학식으로 나타내면, 수학식 4와 같다.
Figure 112018072761972-pat00011
본 발명의 일 실시예에서는 자연스럽게 사라지는 잔물결 효과를 생성하기 위해 감쇠 계수(
Figure 112018072761972-pat00012
)를 0.985로 적용하였다. 도 4는 감쇠 계수에 따른 물 시뮬레이션 결과를 도시한 도면이다.
지금까지 파동 방정식에 기반한 메시 변형 알고리즘에 대해 간략하게 설명하였으며, 거리 기반 함수를 이용한 메시 변형 방법에 대해 간략하게 설명하기로 한다.
다중 레이어를 이용하여 가상 세계 장면 구성이 완료되면, 이미 전술한 바와 같이, 사용자가 움직일 전경 영역에 메시 변형 알고리즘이 적용될 수 있다. 이미 전술한 바와 같이, 움직임 전경 영역에 위치된 전경 영역의 속성이 "탄성"인 경우 거리 기반 함수를 이용한 메시 변형 알고리즘이 적용될 수 있다.
예를 들어, 다중 레이어를 이용한 가상 세계 장면 구성이 완료된 이후, 사용자가 인터랙션을 위해 특정 지점(point)을 입력(선택)한 경우를 가정하기로 한다. 특정 지점(point)는 광선 투사법을 통해 획득될 수 있다. 360도 영상에서 사용자는 기하 모델의 내부에 위치하고 광선의 위치 또한 기하 모델의 내부에 위치하므로, 수학식 5와 같이 광선의 방향을 반대로 하여 기하 모델의 내부에서 특정 점에 대응하는 특정 지점을 입력받는다.
Figure 112018072761972-pat00013
특정 지점(point)가 선택되면 특정 지점(point)에서 멀어질수록 점진적으로, 에너지를 감소시켜 메쉬 변형을 진행하기 위해 역제곱 원리를 사용할 수 있다(도 5 참조). 본 발명의 일 실시예에 따른 메시 변형 알고리즘은 수학식 6과 같이 시간에 따른 속도와 가속도 관계식에 따라 정의될 수 있다.
Figure 112018072761972-pat00014
수학식 6에서
Figure 112018072761972-pat00015
는 속도의 변화량을 나타내고,
Figure 112018072761972-pat00016
는 가속도를 나타내며,
Figure 112018072761972-pat00017
는 시간의 변화량을 나타낸다. 수학식 6에서 속도의 변화량(
Figure 112018072761972-pat00018
)를 알기 위해서는 가속도(
Figure 112018072761972-pat00019
)를 구해야 하는 가속도(
Figure 112018072761972-pat00020
)는 수학식 7에 의해 도출될 수 있다.
Figure 112018072761972-pat00021
수학식 7은 역제곱 원리를 수학식으로 나타낸 것이다. 가속도(
Figure 112018072761972-pat00022
)는 미리 전역 변수로 입력받은 힘의 크기(F)를
Figure 112018072761972-pat00023
으로 나눈 해이다.
Figure 112018072761972-pat00024
은 사용자가 선택한 임의의 점(point)가 입력되었을 때 기하 모델의 모든 정점과 사용자가 선택한 임의의 점(point)의 거리 벡터(d)를 이용하여 만약 거리 벡터(d)가 0이 될 때, 힘의 크기(F)를 최대로 만들기 위해 1을 거리 벡터(d)에 더해 가속도(
Figure 112018072761972-pat00025
)를 구할 수 있다.
수학식 7을 통해 속도의 변화량(
Figure 112018072761972-pat00026
)을 구하게 되면, 수학식 8과 같이 정점의 속도(
Figure 112018072761972-pat00027
)를 구할 수 있다.
Figure 112018072761972-pat00028
속도의 변화량(
Figure 112018072761972-pat00029
)는 방향이 없기 때문에 방향을 구하기 위해서는 기하 모델의 모든 정점과 사용자가 선택한 임의의 점(point) 사이의 거리 벡터(d)를 정규화한다. 이어, 수학식 6에서 구한 속도의 변화량(
Figure 112018072761972-pat00030
)을 곱해 정점의 속도(
Figure 112018072761972-pat00031
)에 저장한다. 수학식 8을 이용하여 모든 정점의 속도(
Figure 112018072761972-pat00032
)가 구해지면 기하 모델의 모든 정점에 각 정점의 속도(
Figure 112018072761972-pat00033
)를 곱해 메시 변형을 진행할 수 있다.
도 6은 힘의 크기 F에 따른 메시 변형의 결과를 나타낸 것이다.
디스플레이부(135)는 구성된 가상 세계 장면을 출력하기 위한 수단이다. 예를 들어, 디스플레이부(135)는 액정화면일 수 있다.
메모리(140)는 본 발명의 일 실시예에 따른 다중 레이어를 중첩하여 구성된 가상 현실 장면에서 전경 영역의 속성에 따라 상이한 메시 변형 알고리즘을 적용하여 자연스러운 사용자 인터랙션을 제공하는 방법을 수행하기 위해 필요한 다양한 알고리즘, 명령어들을 저장한다.
프로세서(145)는 본 발명의 일 실시예에 따른 가상 현실 인터랙션 장치(100)의 내부 구성 요소들(예를 들어, 입력부(110), 전처리부(115), 매핑부(120), 장면 구성부(125), 메시 변형부(130), 디스플레이부(135), 메모리(140) 등)을 제어하기 위한 수단이다.
도 7은 본 발명의 일 실시예에 따른 가상 현실 인터랙션 방법을 나타낸 순서도이다.
단계 710에서 가상 현실 인터랙션 장치(100)가 360도 2D 영상을 입력받는다.
단계 715에서 가상 현실 인터랙션 장치(100)는 2D 영상에서 움직임이 적용될 전경 영역과 움직임이 적용되지 않을 배경 영역을 각각 분리하여 전경 영역 레이어와 배경 영역 레이어를 각각 구성한다.
단계 720에서 가상 현실 인터랙션 장치(100)는 전경 영역 레이어와 배경 영역 레이어를 독립적으로 서로 다른 기하 모델에 각각 매핑한 후 중첩하여 가상 현실 장면을 구성한다. 전경 영역 레이어가 매핑될 기하 모델과 배경 영역 레이어가 매핑될 기하 모델의 해상도는 동일할 수도 있으며, 상이할 수도 있다. 본 발명의 일 실시예에서는 전경 영역 레이어가 매핑된 기하 모델은 사용자 인터랙션을 위한 메시 변형이 적용되므로, 배경 영역 레이어가 매핑될 기하 모델보다 해상도가 더 높을 수 있다.
단계 725에서 가상 현실 인터랙션 장치(100)는 구성된 가상 현실 장면에서 사용자 인터랙션을 위한 특정 지점을 선택받는다.
단계 730에서 가상 현실 인터랙션 장치(100)는 가상 현실 장면에서 특징 지점에 위치된 전경 영역의 속성에 따라 상이한 메시 변형 알고리즘을 전경 영역 레이어에 적용한다. 이때, 가상 현실 인터랙션 장치(100)는 이미 전술한 바와 같이, 선택된 특정 지점을 중심으로 전경 영역의 속성에 따라 서로 다른 메시 변형 알고리즘을 적용할 수 있다. 이는 도 1에서 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
전술한 바와 같이, 본 발명의 일 실시예에 따르면 360도 2D 영상을 움직임이 적용될 전경 영역과 움직임이 적용되지 않을 배경 영역으로 구분한 후 다중 레이어로 구성한 후 다른 메시 변형 알고리즘을 각각의 레이어마다 동시에 적용하여 사용자 인터랙션이 가능하도록 할 수 있다.
상술한 본 발명의 일 실시예에 따른 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
100: 가상 현실 인터랙션 장치
110: 입력부
115: 전처리부
120: 매핑부
125: 장면 구성부
130: 메시 변형부
135: 디스플레이부
140: 메모리
145: 프로세서

Claims (12)

  1. (a) 360도 2D 영상에서 움직임이 적용될 전경 영역과 움직임이 적용되지 않을 배경 영역을 각각 분리한 후 전경 영역 레이어와 배경 영역 레이어를 구성하는 단계;
    (b) 상기 전경 영역 레이어와 상기 배경 영역 레이어를 독립적으로 서로 다른 기하 모델에 각각 매핑한 후 중첩하여 가상 현실 장면을 구성하는 단계-상기 서로 다른 기하 모델은 각각 구(sphere) 형상의 폴리곤 형태로 구성된 기하 모델이고, 사용자 인터랙션 2D 또는 3D 객체는 상기 서로 다른 기하 모델 사이에 독립된 레이어로 구성됨; 및
    (c) 상기 구성된 가상 현실 장면에서 사용자 인터랙션이 적용될 타겟 전경 영역의 속성에 따라 다른 메시 변형 알고리즘을 적용하는 단계를 포함하되,
    상기 (b) 단계는,
    상기 전경 영역 레이어를 제1 구 모델에 매핑하는 단계;
    상기 배경 영역 레이어를 제2 구 모델에 매핑하는 단계; 및
    상기 제1 구 모델과 상기 제2 구 모델을 중첩하여 상기 가상 현실 장면을 구성하는 단계를 포함하되,
    상기 제1 구 모델과 상기 제2 구 모델은 상이한 크기를 가지며,
    상기 (c) 단계는,
    상기 구성된 가상 현실 장면에서 사용자 인터랙션을 위해 특정 지점(point)가 선택되면, 상기 선택된 특정 지점을 중심으로 상기 특정 지점에 위치된 상기 타겟 전경 영역의 속성에 따라 서로 다른 메시 변형 알고리즘을 상기 타겟 전경 영역 레이어에 매핑된 구 모델에 적용하되,
    상기 타겟 전경 영역의 속성이 유체이면, 파동 방정식 또는 사인 기반 함수를 이용하는 물 시뮬레이션에 기반한 메시 변형 알고리즘을 상기 타겟 전경 영역 레이어에 매핑된 구 모델에 적용하며, 상기 타겟 전경 영역의 속성이 탄성이면, 거리 기반 함수를 이용한 메시 변형 알고리즘을 상기 타겟 전경 영역 레이어에 매핑된 구 모델에 적용하되,
    상기 거리 기반 함수를 이용한 메시 변형 알고리즘은,
    역제곱 원리를 기초로 하기 수학식에 의해 각 정점의 속도를 도출한 후 도출된 정점의 속도를 상기 타겟 전경 영역 레이어에 매핑된 구 모델의 모든 정점에 곱하여 메시 변형하며,
    상기 파동 방정식 또는 사인 기반 함수를 이용하는 물 시뮬레이션에 기반한 메시 변형 알고리즘은,
    파동 방정식에 기반하여 높이 변위를 도출한 후 감쇠 계수를 적용한 물 시뮬레이션에 기반하여 메시 변형하는 것을 특징으로 하는 가상 현실 인터랙션 방법.
    [수학식1]
    Figure 112019122328642-pat00041

    여기서, v는 정점을 나타내며, d는 특정 지점과 정점 사이의 거리 벡터(d)를 나타내고,
    Figure 112019122328642-pat00042
    는 속도의 변화량을 나타내며,
    Figure 112019122328642-pat00043
    는 가속도를 나타내고, F는 힘의 크기를 나타내며,
    Figure 112019122328642-pat00044
    는 시간의 변화량을 나타냄.

  2. 삭제
  3. 삭제
  4. 제1 항에 있어서,
    상기 전경 영역 레이어와 상기 배경 영역 레이어는 서로 다른 해상도로 서로 다른 구 모델에 매핑되되,
    상기 전경 영역 레이어가 상기 배경 영역 레이어보다 더 높은 해상도로 구 모델에 매핑되는 것을 특징으로 하는 가상 현실 인터랙션 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1 항에 있어서,
    상기 (b) 단계는,
    상기 전경 영역 레이어가 복수인 경우, 각각의 전경 영역 레이어는 서로 다른 구 모델에 매핑되되,
    상기 서로 다른 구 모델 중첩시 상기 전경 영역의 우선 순위에 따라 상위 배치 순서가 결정되는 가상 현실 인터랙션 방법.
  9. 제1 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체 제품.
  10. 가상 현실 인터랙션 장치에 있어서,
    360도 2D 영상에서 움직임이 적용될 전경 영역과 움직임이 적용되지 않을 배경 영역을 각각 분리한 후 전경 영역 레이어와 배경 영역 레이어를 구성하는 전처리부;
    상기 전경 영역 레이어와 상기 배경 영역 레이어를 독립적으로 서로 다른 기하 모델에 각각 매핑하는 매핑부-상기 서로 다른 기하 모델은 각각 구(sphere) 형상의 폴리곤 형태로 구성된 기하 모델임;
    상기 전경 영역 레이어와 상기 배경 영역 레이어가 각각 매핑된 서로 다른 구 모델을 중첩하여 하나의 가상 현실 장면을 구성하는 장면 구성부; 및
    상기 구성된 가상 현실 장면에서 사용자 인터랙션이 적용될 타겟 전경 영역의 속성에 따라 서로 다른 메시 변형 알고리즘을 적용하는 메시 변형부를 포함하되,
    사용자 인터랙션 2D 또는 3D 객체는 상기 서로 다른 기하 모델 사이에 독립된 레이어로 구성되되,
    상기 매핑부는,
    상기 전경 영역 레이어를 제1 구 모델에 매핑하고,
    제1 기하 모델에 매핑하고, 상기 배경 영역 레이어를 제2 구 모델에 매핑하되,
    상기 제1 구 모델과 상기 제2 구 모델은 서로 다른 크기 및 해상도를 가지며,
    상기 메시 변형부는,
    상기 구성된 가상 현실 장면에서 사용자 인터랙션을 위해 특정 지점(point)가 선택되면, 상기 선택된 특정 지점을 중심으로 상기 특정 지점에 위치된 상기 타겟 전경 영역의 속성에 따라 서로 다른 메시 변형 알고리즘을 적용하되,
    상기 타겟 전경 영역의 속성이 유체이면, 파동 방정식 또는 사인 기반 함수를 이용하는 물 시뮬레이션에 기반한 메시 변형 알고리즘을 상기 타겟 전경 영역 레이어에 매핑된 구 모델에 적용하며, 상기 타겟 전경 영역의 속성이 탄성이면, 거리 기반 함수를 이용한 메시 변형 알고리즘을 상기 타겟 전경 영역 레이어에 매핑된 구 모델에 적용하되,
    상기 거리 기반 함수를 이용한 메시 변형 알고리즘은,
    역제곱 원리를 기초로 하기 수학식에 의해 각 정점의 속도를 도출한 후 도출된 정점의 속도를 상기 타겟 전경 영역 레이어에 매핑된 구 모델의 모든 정점에 곱하여 메시 변형하며,
    상기 파동 방정식 또는 사인 기반 함수를 이용하는 물 시뮬레이션에 기반한 메시 변형 알고리즘은,
    파동 방정식에 기반하여 높이 변위를 도출한 후 감쇠 계수를 적용하여 물 시뮬레이션하여 메시 변형하는 것을 특징으로 하는 가상 현실 인터랙션 장치.
    [수학식1]
    Figure 112019122328642-pat00045

    여기서, v는 정점을 나타내며, d는 특정 지점과 정점 사이의 거리 벡터(d)를 나타내고,
    Figure 112019122328642-pat00046
    는 속도의 변화량을 나타내며,
    Figure 112019122328642-pat00047
    는 가속도를 나타내고, F는 힘의 크기를 나타내며,
    Figure 112019122328642-pat00048
    는 시간의 변화량을 나타냄.




  11. 삭제
  12. 삭제
KR1020180085601A 2018-07-23 2018-07-23 가상 현실 인터랙션 방법 및 그 장치 KR102056985B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180085601A KR102056985B1 (ko) 2018-07-23 2018-07-23 가상 현실 인터랙션 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180085601A KR102056985B1 (ko) 2018-07-23 2018-07-23 가상 현실 인터랙션 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR102056985B1 true KR102056985B1 (ko) 2019-12-17

Family

ID=69056614

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180085601A KR102056985B1 (ko) 2018-07-23 2018-07-23 가상 현실 인터랙션 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102056985B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495585A (zh) * 2020-11-11 2022-05-13 郑州畅想高科股份有限公司 一种机械间检修vr模拟培训方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053694A (ja) * 2004-08-10 2006-02-23 Riyuukoku Univ 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
JP2017117008A (ja) * 2015-12-21 2017-06-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作受付方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053694A (ja) * 2004-08-10 2006-02-23 Riyuukoku Univ 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
JP2017117008A (ja) * 2015-12-21 2017-06-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作受付方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Van Zuijlen et al. Higher order time integration through smooth mesh deformation for 3D fluid structure interaction simulations. Journal of Computational Physics, 2007년, pp. 414-430. 1부.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495585A (zh) * 2020-11-11 2022-05-13 郑州畅想高科股份有限公司 一种机械间检修vr模拟培训方法

Similar Documents

Publication Publication Date Title
US10769848B1 (en) 3D object reconstruction using photometric mesh representation
US11055921B2 (en) System and method for dense, large scale scene reconstruction
US10349033B2 (en) Three-dimensional map generating and displaying apparatus and method
CN109771951B (zh) 游戏地图生成的方法、装置、存储介质和电子设备
US11928779B2 (en) Multi-resolution voxel meshing
JP2021111380A (ja) 入力映像に含まれた客体の３次元ポーズの推定のためのデータを生成する方法、コンピュータシステムおよび推論モデルを構築する方法
KR101851303B1 (ko) 3차원 공간 재구성 장치 및 방법
CN112991537B (zh) 城市场景重建方法、装置、计算机设备和存储介质
KR102056985B1 (ko) 가상 현실 인터랙션 방법 및 그 장치
Tukur et al. SPIDER: A framework for processing, editing and presenting immersive high-resolution spherical indoor scenes
Szabó et al. Data processing for virtual reality
CN1628327A (zh) 自动三维建模系统和方法
CN116362966A (zh) 图像处理方法和装置
CN113139992A (zh) 多分辨率体素网格化
Semmo et al. Interactive image filtering for level-of-abstraction texturing of virtual 3D scenes
CN115035224A (zh) 图像处理和重构图像生成的方法和装置
CN116824082B (zh) 虚拟地形的绘制方法、装置、设备、存储介质及程序产品
US11915349B1 (en) Extrusion technique for curve rendering
US11455780B2 (en) Graphical user interface for creating data structures used for computing simulated surfaces for animation generation and other purpose
Krompiec et al. Deformable strokes towards temporally coherent video painting
US20230177722A1 (en) Apparatus and method with object posture estimating
US20240112394A1 (en) AI Methods for Transforming a Text Prompt into an Immersive Volumetric Photo or Video
Semmo et al. Automated image-based abstraction of aerial images
Aghilar et al. Scalable Cloud-Native Pipeline for Efficient 3D Model Reconstruction from Monocular Smartphone Images
Liu et al. A Simulation System for Scene Synthesis in Virtual Reality

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant