KR101746648B1 - 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법 - Google Patents

3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법 Download PDF

Info

Publication number
KR101746648B1
KR101746648B1 KR1020160021170A KR20160021170A KR101746648B1 KR 101746648 B1 KR101746648 B1 KR 101746648B1 KR 1020160021170 A KR1020160021170 A KR 1020160021170A KR 20160021170 A KR20160021170 A KR 20160021170A KR 101746648 B1 KR101746648 B1 KR 101746648B1
Authority
KR
South Korea
Prior art keywords
image frame
camera module
image
frame
information
Prior art date
Application number
KR1020160021170A
Other languages
English (en)
Inventor
진사욱
이상곤
정재원
김경현
Original Assignee
주식회사 언리얼파크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 언리얼파크 filed Critical 주식회사 언리얼파크
Priority to KR1020160021170A priority Critical patent/KR101746648B1/ko
Application granted granted Critical
Publication of KR101746648B1 publication Critical patent/KR101746648B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06K9/00744—
    • G06K9/4671—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

본 발명은 카메라 모듈, 3차원 객체 제공 프로그램이 저장된 메모리 및 프로그램을 실행하는 프로세서를 포함한다. 이때, 프로세서는 프로그램의 실행에 따라, 카메라 모듈로부터 실시간으로 입력되는 영상 프레임과 복수의 키 프레임에 포함된 어느 하나의 키 프레임과의 비교를 수행하고, 입력되는 영상 프레임과 어느 하나의 키 프레임이 상이한 경우, 입력되는 영상 프레임을 새로운 키 프레임으로 설정하며, 설정된 새로운 키 프레임에 기초하여, 맵을 확장하고, 확장된 맵에 기초하여, 입력된 영상 프레임에 대응하는 3차원 공간 좌표를 복원하고, 복원된 3차원 공간 좌표에 따라, 3차원 객체를 영상 프레임에 표현한다.

Description

3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법{APPARATUS AND METHOD OF MARKERLESS AUGMENTED REALITY FOR 3D OBJECT REPRESENTATION}
본 발명은 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법에 관한 것이다.
증강현실은 가상 환경에 가상의 객체를 결합하는 가상현실과 달리, 실제 현실에 가상의 객체를 결합시킬 수 있다. 그러므로 증강현실은 현실에 다양한 응용이 가능하다.
증강현실을 구현하기 위한 증강현실장치는 카메라 모듈, 센서 모듈, 디스플레이 모듈 등의 하드웨어 기술과 정합(registration) 기술, 인식(recognition) 기술, 컴퓨터 비전(computer vision)등의 소프트웨어 기술이 필요하다. 이러한 기술들을 통하여, 증강현실장치는 증강현실을 사용하는 사용자의 주변 정보 및 시선, 자세, 동작 등을 파악할 수 있다. 그리고 증강현실장치는 파악된 정보에 기초한 가상의 객체를 생성하고, 생성된 가상의 객체를 현실과 일치시켜 사용자에 전달한다.
이때, 증강현실장치는 실제 현실의 영상에 가상의 객체를 생성하기 위해 가상의 객체와 실제 영상 간의 매개체가 요구된다. 그리고 증강현실장치는 이러한 매개체를 지속적으로 추적 인식하여 기준이 되는 좌표계를 설정한다. 그러므로 증강현실장치는 추적 및 인식을 위해 기계, 자기, 광학 등의 마커(marker)를 사용한다.
증강현실장치에서 추적 및 인식을 위하여 사용되는 기술 중 광학이 비교적 높은 정밀도를 보인다. 따라서, 종래의 증강현실장치는 마커를 이용한 광학 트랙킹(optical tracking)이 주류를 이루고 있다. 그러나 광학 기반의 트랙킹 방법은 조명에 영향을 많이 받게 될 수 있다. 이를 극복하기 위해서 증강현실장치는 적외선 (infrared; IR) 마커를 사용하는 방법을 사용하기도 한다.
최근에는 마커가 없이도 트레킹이 가능한 마커리스 트레킹(markerless tracking) 기법이 연구되고 있다. 마커리스 트레킹 기법은 인공적으로 설정된 마커가 아니라 현실 세계 속에서의 특정 객체로부터 특징점을 추출하고, 이를 트랙킹 할 수 있다.
종래의 마커리스 증강현실기술인 PTAM(parallel tracking and mapping)은 RGB 컬러 영상 프레임으로부터 특징점을 추출하고, 영상 프레임 별로 특징점 간의 상관관계에 기초하여, 3차원 공간에 대한 맵을 생성한다. 그리고 RTAM은 생성된 맵을 기준으로 카메라 위치를 산출한다. RTAM은 5점 알고리즘에 기초하여, 맵을 생성하므로 생성되는 맵이 안정적이지 못하다는 단점이 있다.
이와 관련되어, 한국 등록특허공보 제10-1506610호(발명의 명칭: "증강현실 제공 장치 및 그 방법")는 카메라부, 영상 인식부, 객체 추출부, 광고 정보 획득부, 합성부 및 디스플레이부를 포함하는 증강현실 제공 장치를 개시하고 있다. 이 특허는 영상 인식부 및 객체 추출부를 통하여, 두 개의 카메라 모듈을 포함하는 카메라부를 통하여 촬영되는 영상에 포함된 객체를 인식하고, 객체를 추출한다. 그리고 이 특허는 합성부를 통하여, 추출된 객체와 대응되는 컨텐츠 정보 및 광고 정보를 영상에 합성하여, 디스플레이부를 통하여 디스플레이한다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 증강현실에서 3차원 객체를 표현하기 위한 마커리스 증강현실장치 및 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 3차원 객체 표현을 위한 마커리스 증강현실장치는 카메라 모듈, 3차원 객체 제공 프로그램이 저장된 메모리 및 프로그램을 실행하는 프로세서를 포함한다. 이때, 프로세서는 프로그램의 실행에 따라, 카메라 모듈로부터 실시간으로 입력되는 영상 프레임과 복수의 키 프레임에 포함된 어느 하나의 키 프레임과의 비교를 수행하고, 입력되는 영상 프레임과 어느 하나의 키 프레임이 상이한 경우, 입력되는 영상 프레임을 새로운 키 프레임으로 설정하며, 설정된 새로운 키 프레임에 기초하여, 맵을 확장하고, 확장된 맵에 기초하여, 입력된 영상 프레임에 대응하는 3차원 공간 좌표를 복원하고, 복원된 3차원 공간 좌표에 따라, 3차원 객체를 영상 프레임에 표현한다.
또한, 본 발명의 제 2 측면에 따른 마커리스 증강현실장치에서의 3차원 객체 표현 방법은 카메라 모듈로부터 실시간으로 입력되는 영상 프레임과 복수의 키 프레임 중 어느 하나와의 비교를 수행하는 단계; 입력되는 영상 프레임과 어느 하나의 키 프레임이 상이한 경우, 입력되는 영상 프레임을 새로운 키 프레임으로 설정하는 단계; 설정된 새로운 키 프레임에 기초하여, 맵을 확장하는 단계; 확장된 맵에 기초하여, 입력된 영상 프레임에 대응하는 3차원 공간 좌표를 복원하는 단계; 및 3차원 공간 좌표에 따라, 3차원 객체를 영상 프레임에 표현하는 단계를 포함한다.
본 발명은 하나의 카메라 모듈에 의해 실시간으로 입력된 영상 프레임 내의 특징점을 추적할 수 있다. 또한, 본 발명은 별도의 마커 및 특정 객체가 없이 영상 프레임 내의 특징에 기초하여, 가상의 객체와 현실의 객체 간의 분리된 느낌 없이 맵을 생성하여 사용자에게 제공할 수 있다. 그러므로 본 발명은 사용자에게 현실감 있는 증강현실을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 마커리스 증강현실장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 3차원 공간 추출의 예시도이다.
도 3은 본 발명의 일 실시예에 따른 3차원 객체의 예시도이다.
도 4는 본 발명의 일 실시예에 따른 3차원 객체 표현 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
다음은 도 1내지 도 3을 참조하여, 본 발명의 일 실시예에 따른 마커리스 증강현실장치(100)를 설명한다.
도 1은 본 발명의 일 실시예에 따른 마커리스 증강현실장치(100)의 블록도이다.
본 발명의 일 실시예에 따른 마커리스 증강현실장치(100)는 카메라 모듈(110)을 통하여 실시간으로 디스플레이되는 영상 프레임에 3차원 객체를 정합할 수 있다. 이때, 마커리스 증강현실장치(100)는 모바일 장치일 수 있다.
마커리스 증강현실장치(100)는 카메라 모듈(110), 디스플레이 모듈(120), 메모리(130) 및 프로세서(140)를 포함한다.
카메라 모듈(110)은 실시간으로 영상 프레임을 수집한다. 이때, 카메라 모듈(110)은 마커리스 증강현실장치(100)에 탑재되거나, 마커리스 증강현실장치(100)와 연결될 수 있다. 또한, 카메라 모듈(110)은 마커리스 증강현실장치(100)에 포함된 영상 센서일 수 있다.
또한, 카메라 모듈(110)은 보정(calibration)된 것일 수 있다. 만약, 카메라 모듈(110)이 보정된 경우, 카메라 모듈(110)은 보정에 사용된 보정 파라미터를 저장하거나, 프로세서(140)로 보정 파라미터를 전달 할 수 있다.
디스플레이 모듈(120)은 카메라 모듈(110)을 실시간으로 3차원 객체를 정합한 영상 프레임을 디스플레이 할 수 있다.
메모리(130)는 영상 프레임에 3차원 객체를 정합하는 프로그램이 저장된다. 이때, 메모리(130)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.
프로세서(140)는 메모리(130)에 저장된 프로그램을 실행한다.
먼저, 프로세서(140)는 카메라 모듈(110)을 통하여, 실시간으로 입력되는 연속 프레임으로부터 초기 맵(initialize map)을 생성할 수 있다.
구체적으로 초기 맵을 생성하기 위하여, 프로세서(140)는 연속 프레임으로부터 특징점(feature point)을 추출할 수 있다. 이때, 특징점 추출 방법은 SIFT(scale invariant feature transform), SUFR(speeded-up robust feature) 및 FAST(features from accelerated segment test) 중 적어도 하나가 될 수 있으나, 이에 한정된 것은 아니다.
도 2는 본 발명의 일 실시예에 따른 3차원 공간 추출의 예시도이다.
프로세서(140)는 연속된 프레임으로부터 추출된 특징점에 대하여, 3차원 좌표를 추출할 수 있다.
이때, 사람이 오른쪽 눈과 왼쪽 눈을 통하여, 물체를 입체적으로 보는 것과 같이 프로세서(140)는 오른쪽 눈에 대응하는 영상 이미지 및 왼쪽 눈에 대응하는 영상 이미지에 기초하여, 3차원 좌표를 추출할 수 있다. 그러므로 3차원 좌표를 추출하기 위하여, 프로세서(140)는 하나의 카메라 모듈(110)로부터 실시간으로 연속되어 입력되는 영상 프레임 중 복수의 영상 이미지를 사람의 왼쪽 눈에 대응하는 제 1 영상 이미지(200) 및 사람의 오른쪽 눈에 대응하는 제 2 영상 이미지(210)로 선택할 수 있다.
그리고 프로세서(140)는 선택된 제 1 영상 이미지(200) 및 제 2 영상 이미지(210)에 기초하여, 기초행렬(fundamental matrix)를 산출할 수 있다.
이때, 기초 행렬을 산출하기 위하여, 프로세서(140)는 제 1 영상 이미지(200) 및 제 2 영상 이미지(210)를 정규화(normalization)할 수 있다.
그리고 프로세서(140)는 정규화된 이미지에 기초하여, 옵티컬 플로우(optical flow)를 산출할 수 있다. 이를 위하여, 프로세서(140)는 제 1 영상 이미지(200) 및 제 2 영상 이미지(210) 각각에 대하여, 피라미드 형태로 1/2 이미지, 1/4 이미지, 1/8 이미지, 1/16 이미지 및 1/32 이미지를 확보할 수 있다. 그리고 프로세서(140)는 확보한 이미지의 최상위 이미지에서 옵티컬 플로우를 산출할 수 있다.
프로세서(140)는 제 1 영상 이미지(200) 및 제 2 영상 이미지(210)로부터 산출된 옵티컬 플로우에 기초하여, 제 1 영상 이미지(200) 및 제 2 영상 이미지(210)를 서로 매칭할 수 있다. 그리고 프로세서(140)는 서로 매칭된 제 1 영상 이미지(200) 및 제 2 영상 이미지(210)를 통하여, 기초 행렬을 산출할 수 있다.
예를 들어, 프로세서(140)는 RANSAC(random sample consensus) 알고리즘에 기초하여, 제 1 영상 이미지(200) 및 제 2 영상 이미지(210)로부터 추출된 특징점을 매칭하고 기초 행렬을 산출할 수 있다. 또한, 프로세서(140)는 기계학습 알고리즘에 기초하여, 제 1 영상 이미지(200) 및 제 2 영상 이미지(210)로부터 추출된 특징점을 매칭하고 기초 행렬을 산출할 수 있으나, 이에 한정된 것은 아니다.
이때, 산출된 기초 행렬은 보정된 카메라 모듈(110)을 통하여, 생성된 제 1 영상 이미지(200) 및 제 2 영상 이미지(210)에 기초하여 생성된 것일 수 있다. 그러므로 프로세서는 제 1 영상 이미지(200) 및 제 2 영상 이미지(210)에서 카메라 모듈(110)의 보정 파라미터를 제거한 후, 필수 행렬(essential matrix)를 생성할 수 있다.
예를 들어, 프로세서(140)는 카메라 모듈(110)의 보정 파라미터에 대한 역행렬에 기초하여, 기초 행렬로부터 필수 행렬을 산출할 수 있다.
이와 같이 산출된 필수 행렬은 제 1 영상 이미지(200) 및 제 2 영상 이미지(210)의 관계 정보를 포함할 수 있다. 즉, 프로세서(140)는 필수 행렬을 통하여, 제 1 영상 이미지(200) 및 제 2 영상 이미지(210) 사이의 거리 및 회전 정보 등을 추출할 수 있다.
프로세서(140)는 필수 행렬을 통하여, 제 1 영상 이미지(200) 및 제 2 영상 이미지(210)로부터 3차원 좌표를 추출할 수 있다. 예를 들어, 프로세서(140)는 특이값 분해(singular values decomposed; SVD) 및 삼각화(triangulate)를 이용할 수 있다.
예를 들어, 필수 행렬 E=[t]X R에 포함된 제 1 영상 이미지(200)에 대한 투영 행렬이 단위 행렬 및 원점을 통하여 구성된 P1=[I|O]이면, 프로세서(140)는 제 2 영상 이미지(210)에 대한 투영 행렬은 P1=[R|t]이 될 수 있다. 그러므로 프로세서(140)는 필수 행렬에 대한 특이값 분해(singular values decomposed)를 통해 제 1 영상 이미지(200)에 대한 상대적인 제 2 영상 이미지(210)의 위치 정보를 추출할 수 있다.
그리고 프로세서(140)는 추출된 제 1 영상 이미지(200)의 위치 정보 및 제 2 영상 이미지(210)의 위치 정보에 대한 삼각화(triangulate)를 통해, 3차원 공간 좌표를 복원할 수 있다.
프로세서(140)는 위의 과정을 통하여 추출된 복수의 3차원 좌표의 공분산 행렬(covariance matrix)에 대한 고유값 분해(eigen decomposition)를 수행할 수 있다. 이때, 3차원 좌표에 포함된, x축, y축 및 z 축에 대한 공분산 행렬은 다음 수학식 1과 같이 기대값 함수 E를 통하여, 정의될 수 있다.
Figure 112016017723764-pat00001
수학식 1에서 m x , m y 및 m z 는 각각의 축에 대한 평균값을 의미한다.
프로세서(140)는 고유값 분해를 통하여, 3개의 고유값(eigen value)을 산출할 수 있다. 이때, 산출된 3개의 고유값은 각각 서로 직교(orthogonal)하다. 그러므로 산출된 3개의 고유값은 각각 3개의 축을 의미할 수 있다.
그러므로 프로세서(140)는 산출된 3개의 고유값을 통하여, 입력되는 영상 프레임 상의 평면의 기울기를 산출할 수 있다. 프로세서(140)는 이와 같이 산출된 평면의 기울기 및 추출된 복수의 3차원 좌표를 통하여, 초기 맵을 설정할 수 있다.
종래의 마커리스 증강현실장치(100)는 동일한 객체를 포함하는 복수의 이미지를 추출하여, 초기 맵을 구현한다. 그러나 본 발명의 일 실시예에 따른, 마커리스 증강현실장치(100)는 앞에서 설명한 과정을 통하여, 동일한 개체 포함 여부와 관계없이, 복수의 영상 이미지를 이용하여 초기 맵을 구현할 수 있다.
그리고 프로세서(140)는 설정된 초기 맵에 3차원 객체를 표현할 수 있다.
도 3은 본 발명의 일 실시예에 따른 3차원 객체의 예시도이다.
도 3을 참조하면, 프로세서(140)는 설정된 초기 맵에 기초하여, 실시간으로 입력되는 영상 프레임(300)에 3차원 객체(310)를 정합할 수 있다. 그리고 3차원 객체(310)가 정합된 영상 프레임(300)을 디스플레이 모듈(120)에 디스플레이할 수 있다.
이때, 3차원 객체(310)는 영상 프레임(300) 내에서 움직이는 3차원 객체일 수 있다. 또한, 3차원 객체(310)는 사용자가 생성하거나, 미리 증강현실장치(100)에 포함된 복수의 3차원 객체 중 사용자가 선택한 것일 수 있다.
한편, 프로세서(140)는 카메라 모듈(110)이 움직임에 따라, 초기 맵을 확장할 수 있다.
초기 맵을 확장하기 위하여, 프로세서(140)는 카메라 모듈(110)로부터 실시간으로 입력되는 영상 프레임과 키 프레임 집합에 포함된 키 프레임을 비교한다.
이때, 키 프레임은 연속적으로 입력되는 영상 프레임 중 이전에 입력된 영상 프레임과 일정 거리 이상 차이가 나는 영상 프레임일 수 있다. 그리고 키 프레임 집합은 프로세서(140)가 키 프레임으로 선택한 복수의 영상 프레임을 포함하는 집합이 될 수 있다. 또한, 비교에 사용되는 키 프레임은 키 프레임 집합에 최근에 추가된 키 프레임일 수 있다.
키 프레임과 비교를 수행하는 영상 프레임은 가장 최근에 추가된 키 프레임으로부터 미리 정해진 프레임 수 이상 차이가 나는 영상 프레임일 수 있다. 이때, 미리 정해진 프레임 수는 20 프레임이 될 수 있으나, 이에 한정된 것은 아니다.
프로세서(140)는 초기 맵 설정 시 사용되었던 특징점 추출 방법과 동일한 방법을 통하여, 영상 프레임으로부터 특징점을 추출할 수 있다. 그리고 프로세서(140)는 영상 프레임으로부터 추출된 특징점 및 키 프레임으로부터 추출된 특징점 간의 거리를 산출할 수 있다. 프로세서(140)는 산출된 거리가 미리 설정된 값 이상인 경우, 입력되는 영상 프레임을 새로운 키 프레임으로 설정할 수 있다.
예를 들어, 거리는 유클리드 거리(Euclidean distance) 및 맨하탄 거리(Manhattan distance) 등을 사용하여 산출할 수 있다. 또한, 거리는 코사인 유사도(cosine similarity) 및 상관계수(Correlation Coefficient) 기반 유사도에 기초하여 산출될 수 있으나, 이에 한정된 것은 아니다.
그리고 프로세서(140)는 설정된 새로운 키 프레임에 기초하여, 초기 맵을 확장한다. 프로세서(140)는 확장된 맵에 기초하여, 3차원 객체에 대한 3차원 공간 좌표를 복원하고, 3차원 객체를 영상 프레임에 표현한다.
한편, 프로세서(140)는 카메라 모듈(110)이 이동하면, 이동하는 카메라 모듈(110)의 정보를 산출하여, 트레킹(tracking)할 수 있다.
구체적으로 프로세서(140)는 앞에서 설명한 특징점 추출 방법을 통하여, 입력되는 영상 프레임으로부터 특징점을 추출할 수 있다. 프로세서(140)는 추출된 특징점에 기초하여, 3차원 좌표를 생성 수 있다.
프로세서(140)는 3차원 좌표를 다시 입력된 영상 프레임에 투영할 수 있다. 만약, 투영된 3차원 좌표가 미리 정해진 값 이상인 경우, 로드리그 회전 식(Rodrigues' rotation formula)에 기초하여, 영상의 회전 행렬(rotation matrix) 및 이동 행렬(translation matrix)을 산출할 수 있다. 프로세서(140)는 산출된 회전 행렬 및 이동 행렬에 기초하여, 현재의 카메라 모듈(110)의 정보를 산출할 수 있다.
이때, 카메라 모듈(110)의 정보는 현재 카메라 모듈의 위치 및 현재 카메라 모듈의 회전 정보를 포함할 수 있다. 이때, 현재 카메라 모듈의 정보는 이전에 입력된 영상 프레임으로부터 산출된 카메라의 정보에 대한 상대적인 값일 수 있다. 또는, 현재 카메라 모듈의 정보는 초기 맵 생성시 산출된 카메라 모듈의 정보에 대한 상대적인 값일 수 있으나, 이에 한정된 것은 아니다.
그리고 프로세서(140)는 생성된 3차원 좌표에 기초하여, 카메라 모듈(110)의 정보를 산출할 수 있다.
다시 도 3을 참조하면, 카메라 모듈(110)이 이동하거나, 회전하면, 프로세서(140)는 산출된 카메라 모듈(110)에 기초하여, 3차원 객체(310)의 거리 및 각도를 조절할 수 있다.
본 발명의 일 실시예에 따른 마커리스 증강현실장치(100)에 포함된 3차원 객체 제공 프로그램은 마커리스 증강현실 개발을 위한 소프트웨어 개발 키트(software development kit; SDK) 형태로 개발자에게 제공될 수 있다. 그러므로 개발자는 마커리스 증강현실 개발을 위한 소프트웨어 개발 키트를 통하여, 다양한 마커리스 증강현실 어플리케이션을 개발할 수 있다.
다음은 도 4를 참조하여, 본 발명의 일 실시예에 따른 마커리스 증강현실장치(100)에서의 3차원 객체 표현 방법을 설명한다.
도 4는 본 발명의 일 실시예에 따른 3차원 객체 표현 방법의 순서도이다.
마커리스 증강현실장치(100)는 카메라 모듈(110)로부터 실시간으로 입력되는 영상 프레임과 복수의 키 프레임 중 어느 하나와의 비교를 수행한다(S400).
마커리스 증강현실장치(100)는 입력되는 영상 프레임과 비교하는 키 프레임이 상이한 경우, 입력되는 영상 프레임을 새로운 키 프레임으로 설정한다(S410).
그리고 마커리스 증강현실장치(100)는 설정된 새로운 키 프레임에 기초하여, 맵을 확장한다(S420).
마커리스 증강현실장치(100)는 확장된 맵에 기초하여, 입력된 영상 프레임에 대응하는 3차원 공간 좌표를 복원한다(S430).
그리고 마커리스 증강현실장치(100)는 복원된 3차원 공간 좌표에 기초하여, 3차원 객체를 영상 프레임에 표현한다(S440).
마커리스 증강현실장치(100)는 입력되는 영상 프레임과 복수의 키 프레임 중 어느 하나와의 비교를 수행하기 이전에, 초기 맵을 설정할 수 있다.
구체적으로 마커리스 증강현실장치(100)는 카메라 모듈(110)로부터 실시간으로 입력되는 영상 프레임으로부터 추출된 복수의 영상 이미지에 기초하여, 입력되는 영상 프레임에 대응하는 3차원 좌표를 생성할 수 있다. 그리고 마커리스 증강현실장치(100)는 생성된 3차원 좌표에 기초하여, 초기 맵을 설정할 수 있다.
또한, 마커리스 증강현실장치(100)는 3차원 객체를 영상 프레임에 표현한 이후에, 카메라 모듈(110)의 이동에 따라 3차원 공간 좌표를 트레킹하여, 3차원 객체를 표현할 수 있다.
이를 위하여, 마커리스 증강현실장치(100)는 실시간으로 입력되는 영상 프레임에 대하여, 카메라 모듈(110)의 정보를 산출할 수 있다. 이때, 카메라 모듈(110)의 정보는 카메라 모듈(110)의 위치 및 카메라 모듈(110)의 회전 정보를 포함할 수 있다. 그리고 마커리스 증강현실장치(100)는 산출된 카메라 모듈(110) 정보에 기초하여, 3차원 공간 좌표를 트레킹할 수 있다.
본 발명의 일 실시예에 따른 3차원 객체 표현을 위한 마커리스 증강현실장치(100) 및 방법은 하나의 카메라 모듈(110)에 의해 실시간으로 입력된 영상 프레임 내의 특징점을 추적할 수 있다. 또한, 3차원 객체 표현을 위한 마커리스 증강현실장치(100) 및 방법은 별도의 마커 및 특정 객체가 없이 영상 프레임 내의 특징에 기초하여, 가상의 객체와 현실의 객체 간의 분리된 느낌 없이 맵을 생성하여 사용자에게 제공할 수 있다. 그러므로 3차원 객체 표현을 위한 마커리스 증강현실장치(100) 및 방법은 사용자에게 현실감있는 증강현실을 제공할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능한 기록 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능한 기록 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 마커리스 증강현실장치
110: 카메라 모듈
120: 디스플레이 모듈
130: 메모리
140: 프로세서

Claims (11)

  1. 3차원 객체 표현을 위한 마커리스 증강현실장치에 있어서,
    카메라 모듈,
    3차원 객체 정합 프로그램이 저장된 메모리 및
    상기 프로그램을 실행하는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램의 실행에 따라, 상기 카메라 모듈로부터 실시간으로 입력되는 영상 프레임으로부터 두 개의 영상 이미지를 추출하고, 상기 두 영상 이미지의 관계 정보를 산출하며, 상기 관계 정보에 기초하여, 상기 두 영상 이미지를 매칭하여 상기 영상 프레임에 대응하는 3차원 공간 좌표를 복원하고,
    영상 프레임과 복수의 키 프레임에 포함된 어느 하나의 키 프레임과의 비교를 수행하고,
    상기 입력되는 영상 프레임과 상기 어느 하나의 키 프레임이 상이한 경우, 상기 입력되는 영상 프레임을 새로운 키 프레임으로 설정하며,
    상기 영상 프레임의 3차원 좌표에 기초하여, 기설정된 맵을 확장하고,
    상기 영상 프레임의 복원된 3차원 공간 좌표에 따라, 상기 3차원 객체를 상기 영상 프레임에 표현하되,
    상기 두 영상 이미지의 관계 정보는 상기 두 영상 이미지 간의 거리 및 회전 정보를 포함하는, 마커리스 증강현실장치.
  2. 제 1 항에 있어서,
    상기 프로세서는 상기 복수의 키 프레임 중 가장 최근에 키 프레임으로 설정된 키 프레임과 상기 입력되는 영상 프레임 간의 거리를 산출하고,
    상기 산출된 거리가 미리 설정된 값 이상인 경우, 상기 입력되는 영상 프레임을 상기 새로운 키 프레임으로 설정하는, 마커리스 증강현실장치.
  3. 제 2 항에 있어서,
    상기 프로세서는 상기 입력되는 영상 프레임과 상기 가장 최근에 키 프레임으로 설정된 키 프레임이 미리 설정된 프레임 이상 차이가 나는 경우, 상기 거리를 산출하는, 마커리스 증강현실장치.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 프로세서는 상기 카메라 모듈을 통하여, 실시간으로 입력되는 영상 프레임으로부터 상기 카메라 모듈의 정보를 산출하고,
    상기 산출된 카메라 모듈 정보에 기초하여, 상기 3차원 공간 좌표를 트레킹하되,
    상기 카메라 모듈의 정보는 상기 카메라 모듈의 위치 및 상기 카메라 모듈의 회전 정보를 포함하는, 마커리스 증강현실장치.
  6. 제 5 항에 있어서,
    상기 프로세서는 상기 입력되는 영상 프레임으로부터 추출된 특징점 및 로드리그 회전 식(Rodrigues' rotation formula)에 기초하여, 상기 입력되는 복수의 영상 프레임에 대응하는 상기 카메라 모듈의 정보를 산출하는 것인, 마커리스 증강현실장치.
  7. 제 6 항에 있어서,
    상기 프로세서는 SIFT(scale invariant feature transform), SUFR(speeded-up robust feature) 및 FAST(features from accelerated segment test) 중 적어도 하나에 기초하여, 상기 입력되는 영상 프레임으로부터 상기 특징점을 추출하는, 마커리스 증강현실장치.
  8. 마커리스 증강현실장치에서의 3차원 객체 표현 방법에 있어서,
    카메라 모듈로부터 실시간으로 입력되는 영상 프레임으로부터 두 개의 영상 이미지를 추출하고 상기 두 영상 이미지의 관계 정보를 산출하는 단계;
    상기 관계 정보에 기초하여 상기 두 영상 이미지를 매칭하여 상기 영상 프레임에 대응하는 3차원 공간 좌표를 복원하는 단계;
    상기 영상 프레임과 복수의 키 프레임 중 어느 하나와의 비교를 수행하는 단계;
    상기 입력되는 영상 프레임과 상기 어느 하나의 키 프레임이 상이한 경우, 상기 입력되는 영상 프레임을 새로운 키 프레임으로 설정하는 단계;
    상기 영상 프레임의 3차원 좌표에 기초하여, 기설정된 맵을 확장하는 단계; 및
    상기 영상 프레임의 3차원 공간 좌표에 따라 상기 3차원 객체를 상기 영상 프레임에 표현하는 단계를 포함하되,
    상기 두 영상 이미지의 관계 정보는 상기 두 영상 이미지 간의 거리 및 회전 정보를 포함하는, 3차원 객체 표현 방법.
  9. 삭제
  10. 제 8 항에 있어서,
    상기 3차원 객체를 상기 영상 프레임에 표현하는 단계 이후에,
    상기 카메라 모듈을 통하여, 실시간으로 입력되는 영상 프레임으로부터 상기 카메라 모듈의 정보를 산출하는 단계; 및
    상기 산출된 카메라 모듈 정보에 기초하여, 상기 3차원 공간 좌표를 트레킹하는 단계를 포함하되,
    상기 카메라 모듈의 정보는 상기 카메라 모듈의 위치 및 상기 카메라 모듈의 회전 정보를 포함하는, 3차원 객체 표현 방법.
  11. 제 8 항 및 제 10 항 중 어느 한 항에 기재된 방법을 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020160021170A 2016-02-23 2016-02-23 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법 KR101746648B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160021170A KR101746648B1 (ko) 2016-02-23 2016-02-23 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160021170A KR101746648B1 (ko) 2016-02-23 2016-02-23 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법

Publications (1)

Publication Number Publication Date
KR101746648B1 true KR101746648B1 (ko) 2017-06-14

Family

ID=59217942

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160021170A KR101746648B1 (ko) 2016-02-23 2016-02-23 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법

Country Status (1)

Country Link
KR (1) KR101746648B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110120100A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 图像处理方法、装置及识别跟踪系统
KR102209025B1 (ko) * 2020-04-07 2021-01-28 한밭대학교 산학협력단 스마트 팩토리 구축을 위한 마커리스 기반의 ar 구현 방법 및 시스템
CN112884048A (zh) * 2021-02-24 2021-06-01 浙江商汤科技开发有限公司 在输入图像中确定注册图像的方法及相关装置、设备
KR20220021076A (ko) * 2020-08-12 2022-02-22 태나다 주식회사 동영상 데이터에 3차원 가상객체를 합성하는 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5668091B2 (ja) * 2007-05-22 2015-02-12 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング ３ｄカメラポーズ推定方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5668091B2 (ja) * 2007-05-22 2015-02-12 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング ３ｄカメラポーズ推定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
유재상 외 2명,"증강 책을 위한 적응형 키프레임 기반 트래킹", 정보과학회논문지 : 컴퓨팅의 실제 및 레터 16(4), 2010.4, 502-506(2010.4.)*

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110120100A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 图像处理方法、装置及识别跟踪系统
CN110120100B (zh) * 2018-02-06 2023-07-14 广东虚拟现实科技有限公司 图像处理方法、装置及识别跟踪系统
KR102209025B1 (ko) * 2020-04-07 2021-01-28 한밭대학교 산학협력단 스마트 팩토리 구축을 위한 마커리스 기반의 ar 구현 방법 및 시스템
WO2021206209A1 (ko) * 2020-04-07 2021-10-14 한밭대학교 산학협력단 스마트 팩토리 구축을 위한 마커리스 기반의 ar 구현 방법 및 시스템
KR20220021076A (ko) * 2020-08-12 2022-02-22 태나다 주식회사 동영상 데이터에 3차원 가상객체를 합성하는 방법 및 장치
KR102419290B1 (ko) * 2020-08-12 2022-07-12 태나다 주식회사 동영상 데이터에 3차원 가상객체를 합성하는 방법 및 장치
CN112884048A (zh) * 2021-02-24 2021-06-01 浙江商汤科技开发有限公司 在输入图像中确定注册图像的方法及相关装置、设备

Similar Documents

Publication Publication Date Title
JP7250709B2 (ja) 畳み込み画像変換を使用して同時位置特定およびマッピングを実施する方法およびシステム
JP6768156B2 (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
US10380763B2 (en) Hybrid corner and edge-based tracking
US20220358770A1 (en) Scene reconstruction in three-dimensions from two-dimensional images
US10033985B2 (en) Camera pose estimation apparatus and method for augmented reality imaging
Vieira et al. On the improvement of human action recognition from depth map sequences using space–time occupancy patterns
JPH11259660A (ja) 三次元動作復元システム
CN112889091A (zh) 使用模糊特征的相机位姿估计
KR20130073812A (ko) 객체 포즈 추정을 위한 장치 및 방법
KR101746648B1 (ko) 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법
US10636190B2 (en) Methods and systems for exploiting per-pixel motion conflicts to extract primary and secondary motions in augmented reality systems
KR101851303B1 (ko) 3차원 공간 재구성 장치 및 방법
US10380758B2 (en) Method for tracking subject head position from monocular-source image sequence
CN109298778B (zh) 追踪系统及其方法
Viyanon et al. AR furniture: Integrating augmented reality technology to enhance interior design using marker and markerless tracking
McIlroy et al. Kinectrack: 3d pose estimation using a projected dense dot pattern
KR102083293B1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
US20200211275A1 (en) Information processing device, information processing method, and recording medium
CN112200917A (zh) 一种高精度增强现实方法及系统
McIlroy et al. Kinectrack: Agile 6-dof tracking using a projected dot pattern
Díaz Barros et al. Real-time head pose estimation by tracking and detection of keypoints and facial landmarks
US11967107B2 (en) Information processing apparatus and method of estimating position and orientation of image capturing apparatus
Barros et al. Real-time monocular 6-dof head pose estimation from salient 2d points
JP3668168B2 (ja) 動画像処理装置
US20230274384A1 (en) Image alignment using corner and line features

Legal Events

Date Code Title Description
GRNT Written decision to grant