KR20180133052A - 360도 이미지 및 비디오 기반의 증강현실 콘텐츠 저작 방법 - Google Patents

Abstract

360도 이미지 및 비디오 기반의 증강현실 콘텐츠 저작 방법이 개시된다. 본 발명의 일 실시예에 따른 증강현실 콘텐츠 저작 방법은 360도 이미지와 비디오가 수신되면 상기 수신된 360도 이미지와 비디오로부터 카메라의 위치 정보와 피사체의 특징점 정보 중 적어도 하나를 포함하는 정보를 획득하는 단계; 가상 콘텐츠가 상기 360도 이미지와 비디오 상에 배치되면 상기 가상 콘텐츠의 현실 공간에서의 위치 및 방향을 산출하는 단계; 및 상기 산출된 위치 및 방향에 기초하여 상기 배치된 가상 콘텐츠를 현실 공간에 등록하는 단계를 포함한다.

Description

360도 이미지 및 비디오 기반의 증강현실 콘텐츠 저작 방법 {Method for authoring augmented reality contents based on 360 degree image and video}

본 발명은 증강현실 콘텐츠 저작 기술에 관한 것으로, 상세하게는 360도 이미지 및 비디오를 기반으로 증강현실 콘텐츠를 저작할 수 있는 방법에 관한 것이다.

근래에 들어, 컴퓨터와 스마트 폰, 테블릿PC 등의 모바일 기기를 통해 인터넷 사용이 자유로워짐에 따라 기존 인쇄물의 형태로 제공되어 왔던 지리 정보가 디지털 형태로 변환되고 있고, 기술적 제약이나 한계가 상당 부분 해소되어 보다 다양하고 자세한 정보가 사용자에게 제공되고 있다. 이러한 지리 정보 제공의 발전으로 인해 사용자는 찾고자 하는 지리 정보를 검색을 통해 손쉽게 얻을 수 있다.

하지만, 사용자가 필요로 하는 정보의 양이 많아지고 다양화됨에 따라 단순한 지리 검색에 대한 정보 제공뿐만 아니라, 검색된 지리 정보에 해당되는 다양한 정보를 포함하는 콘텐츠를 추가로 제공하는 기술에 대한 수요가 증가하게 되었다. 이러한 필요성에 의해 지리 정보에 다양한 콘텐츠를 덧붙여 제공하는 증강현실 기술이 개발되었다.

증강현실(Augmented Reality: AR) 기술은 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이다.

본 발명은 이러한 증강현실 콘텐츠를 저작하는 저작 방법을 제안한다.

본 발명의 실시예들은, 상세하게는 360도 이미지 및 비디오를 기반으로 증강현실 콘텐츠를 저작할 수 있는 방법을 제공한다.

본 발명의 일 실시예에 따른 증강현실 콘텐츠 저작 방법은 360도 이미지와 비디오가 수신되면 상기 수신된 360도 이미지와 비디오로부터 카메라의 위치 정보와 피사체의 특징점 정보 중 적어도 하나를 포함하는 정보를 획득하는 단계; 가상 콘텐츠가 상기 360도 이미지와 비디오 상에 배치되면 상기 가상 콘텐츠의 현실 공간에서의 위치 및 방향을 산출하는 단계; 및 상기 산출된 위치 및 방향에 기초하여 상기 배치된 가상 콘텐츠를 현실 공간에 등록하는 단계를 포함한다.

상기 산출하는 단계는 제1 지점에서 촬영된 360도 이미지와 비디오로부터 획득된 상기 카메라의 위치 정보와 상기 가상 콘텐츠로의 방향 정보 그리고 제2 지점에서 촬영된 360도 이미지와 비디오로부터 획득된 상기 카메라의 위치 정보와 상기 가상 콘텐츠로의 방향 정보에 기초하여 상기 가상 콘텐츠의 현실 공간에서의 위치 정보를 산출할 수 있다.

상기 산출하는 단계는 다수의 이미지 시퀀스 프레임에서 SfM(Structure from Motion) 방식으로 특징점 공간에서의 3차원 구성을 실시하고 비전 기반 트래킹함으로써, 상기 가상 콘텐츠의 현실 공간에서의 위치 정보를 산출할 수 있다.

본 발명의 실시예들에 따르면, 360도 이미지 및 비디오를 기반으로 증강현실 콘텐츠를 저작할 수 있다.

본 발명의 실시예들에 따르면, 실제 물리세계에서 활용 가능한 증강현실 콘텐츠를 저작하는 것으로, 본 발명에 의해 저작된 증강현실 콘텐츠는 가상현실에서도 그대로 지원될 수 있기에, 기존의 저작도구들과 달리 가상현실과 증강현실 모두를 커버할 수 있다.

본 발명은 가상현실을 기반으로 증강현실을 지원하는 콘텐츠를 저작할 수 있다.

이러한 본 발명은 포털 지도서비스의 거리 뷰 기능을 활용한 증강현실 저작이 가능하고, 야외 환경에서 증강현실을 구현하려는 모든 서비스에 적용 가능하다. 즉, 본 발명은 기존 포털 지도 서비스에 어렵지 않게 접목되어 증강현실 콘텐츠를 저작할 수 있기 때문에 증강현실 콘텐츠 저작 대중화에 기여할 수 있다.

도 1은 본 발명의 일 실시예에 따른 증강현실 콘텐츠 저작 방법을 설명하기 위한 동작 흐름도를 나타낸 것이다.
도 2는 360도 이미지와 비디오, 가상 콘텐츠에 대한 일 예시도를 나타낸 것이다.
도 3 내지 도 6은 센서 기반으로 가상 콘텐츠의 위치 정보를 산출하는 과정을 설명하기 위한 예시도들을 나타낸 것이다.
도 7은 비젼 기반으로 가상 콘텐츠의 위치 정보를 산출하는 방식을 설명하기 위한 예시도들을 나타낸 것이다.
도 8은 가상 콘텐츠의 방향 정보를 산출하는 방식을 설명하기 위한 예시도들을 나타낸 것이다.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

본 발명의 실시예들은, 360도 이미지 및 비디오를 기반으로 증강현실 콘텐츠를 저작하는 것을 그 요지로 한다.

도 1은 본 발명의 일 실시예에 따른 증강현실 콘텐츠 저작 방법을 설명하기 위한 동작 흐름도를 나타낸 것이다.

도 1에 도시된 바와 같이, 본 발명에 따른 증강현실 콘텐츠 저작 방법은 360도 이미지, 비디오 및 가상 콘텐츠 등을 포함하는 기반 데이터가 수신되면, 수신된 360도 이미지와 비디오로부터 위치 정보와 특징점 중 적어도 하나를 포함하는 정보를 취득(또는 획득)한다.

예컨대, 본 발명은 도 2a에 도시된 바와 같이 실제 360도 이미지와 비디오가 수신되면, 수신된 360도 이미지와 비디오로부터 360도 이미지와 비디오를 촬영하는 카메라의 위치 정보(예를 들어, 3차원 위치 정보) 및 360도 이미지와 비디오에 포함된 피사체의 특징점 정보를 취득한다.

또한, 본 발명은 360도 이미지와 비디오로부터 이미지와 비디오에 포함된 특정 피사체로의 카메라 3차원 방향 정보 또는 자세 정보 등을 획득할 수도 있다.

360도 이미지와 비디오로부터 카메라의 위치 정보와 피사체의 특징점 정보가 획득된 후 사용자에 의해 360도 이미지와 비디오 상에 가상 콘텐츠가 배치되면 배치된 가상 콘텐츠의 현실 공간에서의 위치와 방향을 산출한다.

여기서, 360도 이미지와 비디오 상에 가상 콘텐츠가 배치되면 데이터 취득 장소 또는 가상 콘텐츠가 배치된 3차원 방향 정보를 획득할 수 있다.

예를 들어, 도 2b에 도시된 바와 같이, 360도 이미지와 비디오 상에 가상 콘텐츠(210)가 배치되거나 도 2c에 도시된 바와 같이 저작 도구의 화면 상에서 가상 콘텐츠가 배치되면, 이렇게 배치된 가상 콘텐츠에 대해 현실 공간에서의 위치 정보와 방향 정보를 산출한다.

여기서, 가상 콘텐츠에 대해 산출되는 현실 공간에서의 위치 정보와 방향 정보는 센서 기반 또는 비젼 기반으로 산출될 수 있으며, 이에 대해 도 3 내지 도 8을 참조하여 설명한다.

도 3 내지 도 6은 센서 기반으로 가상 콘텐츠의 위치 정보를 산출하는 과정을 설명하기 위한 예시도들을 나타낸 것이다.

도 3 내지 도 6을 참조하면, 센서 기반으로 가상 콘텐츠의 위치 정보를 산출하기 위해서, 360도 이미지와 비디오를 촬영한 카메라의 위치 정보(Px, Py, Pz)에서 배치된 가상 콘텐츠까지의 길이(l)를 알아야 한다. 도 3에 도시된 (dx, dy, dz)는 360도 이미지와 비디오를 촬영한 카메라에서 가상 콘텐츠로의 방향 정보 예를 들어, 방향 벡터(또는 데이터 취득 장소의 방향 정보)일 수 있다.

도 3에 도시된 바와 같이, 카메라의 위치(Px, Py, Pz)에서 가상 콘텐츠까지의 방향 벡터 길이(l)를 알기 위하여, 다른 지점에서 콘텐츠를 다시 등록함으로써, 가상 콘텐츠에 대한 위치 정보를 산출할 수 있다.

구체적으로, 다른 지점에서 촬영된 360도 이미지와 비디오가 다시 등록되면, 다른 지점에서 촬영된 360도 이미지와 비디오로부터 카메라의 위치 정보와 피사체의 특징점 등의 정보를 취득한다. 여기서도, 도 4에 도시된 바와 같이, 다른 지점에서의 카메라 위치 정보(P'x, P'y, P'z)를 알 수 있지만, 해당 위치 정보(P'x, P'y, P'z)에서 가상 콘텐츠까지의 방향 정보 예를 들어, 방향 벡터(또는 데이터 취득 장소의 방향 정보)인 (d'x, d'y, d'z) 길이(l') 또한 알 수 있다.

따라서, 도 5에 도시된 바와 같이, 두 개 이상 다른 촬영 지점에서 나온 위치 정보 및 방향 벡터를 취합하여 가상 콘텐츠의 위치를 산출할 수 있다. 구체적으로, 도 6에 도시된 바와 같이, 제1 지점의 위치 정보(P), 제1 방향 벡터(d), 제2 지점의 위치 정보(P'), 제2 방향 벡터(d') 그리고 가상 콘텐츠의 위치 정보(C)의 관계를 이용하여 가상 콘텐츠의 위치 정보(C)를 산출할 수 있다.

구체적으로, 아래 <수학식 1> 내지 <수학식 4>의 과정을 통해 제1 방향 벡터 길이(l)를 구함으로써, 가상 콘텐츠의 위치 정보(Cx, Cy, Cz)를 산출할 수 있다.

[수학식 1]

[수학식 2]

[수학식 3]

[수학식 4]

도 7은 비젼 기반으로 가상 콘텐츠의 위치 정보를 산출하는 방식을 설명하기 위한 예시도들을 나타낸 것으로, 도 7에 도시된 바와 같이, 다수의 이미지 시퀀스 프레임에서 SfM(Structure from Motion) 방식으로 특징점 공간에서의 3차원 구성을 실시하여 이를 가지고 비전 기반 트래킹함으로써, 비젼 기반으로 가상 콘텐츠의 위치 정보를 산출할 수 있다.

이 때, 3차원 구성이 이루어진 다음에는 복수의 360도 이미지와 비디오 상에 가상 콘텐츠의 배치가 필요 없을 수 있다.

도 8은 가상 콘텐츠의 방향 정보를 산출하는 방식을 설명하기 위한 예시도들을 나타낸 것으로, 도 8에 도시된 바와 같이, 산출된 가상 콘텐츠의 위치 정보(C)의 노멀 벡터(Normal Vector)에 대해 위치 정보를 산출하는 방식과 동일한 연산 과정을 통해 가상 콘텐트의 방향 정보를 산출할 수 있다.

여기서, 본 발명은 방향 정보를 노멀 벡터의 양 끝점을 산출하는 방식으로 산출함으로써, 가상 콘텐츠의 방향 정보를 산출할 수 있다.

다시 도 1을 참조하면, 도 3 내지 도 8을 통해 가상 콘텐츠의 위치 정보와 방향 정보가 산출되면, 배치된 가상 콘텐츠에 대해 산출된 위치 정보와 방향 정보에 기초하여 배치된 가상 콘텐츠를 현실 공간에서 등록한다.

이렇게 현실 공간에 등록된 가상 콘텐츠는 저장되고 이후 증강 현실로 시각화될 수 있다.

예컨대, 본 발명을 이용하여 가상 콘텐츠를 현실 세계(또는 현실 공간)에 등록하고, 가상 콘텐츠가 등록된 지점 인식 또는 트래킹을 통한 사용자 자세를 추정함으로써, 사용자 위치 및 자세에 맞게 가상 콘텐츠 증강을 통한 시각화를 제공할 수 있다.

이 때, 3차원 현실 세계에 가상 콘텐츠를 등록하는 다양한 방법이 있을 수 있다. 일 예로, 학습된 특정 이미지(마커), 센서 정보 기반 콘텐츠 증강 방식이 있을 수 있으며, 다른 일 예로 현실 공간에 대응되는 가상 공간 예를 들어, 3차원 지도, 저작도구 상의 가상 공간 등에 가상 콘텐츠를 등록할 수도 있다.

이와 같이, 본 발명에 따른 증강 현실 콘텐츠 저작 방법은 360도 이미지 및 비디오를 기반으로 현실 공간에서의 증강현실 시각화 지원이 가능한 증강 현실 콘텐츠를 저작할 수 있다.

이러한 본 발명은 360도 이미지를 활용해서 현실 공간에서의 3차원 좌표를 추정하고 이를 기반으로 콘텐츠를 현실 공간에 등록함으로써, 증강 현실을 지원하는 콘텐츠를 저작할 수 있다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (3)

1. 360도 이미지와 비디오가 수신되면 상기 수신된 360도 이미지와 비디오로부터 카메라의 위치 정보와 피사체의 특징점 정보 중 적어도 하나를 포함하는 정보를 획득하는 단계;
   가상 콘텐츠가 상기 360도 이미지와 비디오 상에 배치되면 상기 가상 콘텐츠의 현실 공간에서의 위치 및 방향을 산출하는 단계; 및
   상기 산출된 위치 및 방향에 기초하여 상기 배치된 가상 콘텐츠를 현실 공간에 등록하는 단계
   를 포함하는 증강현실 콘텐츠 저작 방법.
   
2. 제1항에 있어서,
   상기 산출하는 단계는
   제1 지점에서 촬영된 360도 이미지와 비디오로부터 획득된 상기 카메라의 위치 정보와 상기 가상 콘텐츠로의 방향 정보 그리고 제2 지점에서 촬영된 360도 이미지와 비디오로부터 획득된 상기 카메라의 위치 정보와 상기 가상 콘텐츠로의 방향 정보에 기초하여 상기 가상 콘텐츠의 현실 공간에서의 위치 정보를 산출하는 것을 특징으로 하는 증강현실 콘텐츠 저작 방법.
   
3. 제1항에 있어서,
   상기 산출하는 단계는
   다수의 이미지 시퀀스 프레임에서 SfM(Structure from Motion) 방식으로 특징점 공간에서의 3차원 구성을 실시하고 비전 기반 트래킹함으로써, 상기 가상 콘텐츠의 현실 공간에서의 위치 정보를 산출하는 것을 특징으로 하는 증강현실 콘텐츠 저작 방법.
   

Images