KR102178383B1 - 드론 동영상에 lod 기반 증강현실 부가정보를 합성하여 재생하는 방법 - Google Patents

Abstract

본 발명은 드론 동영상에 LOD 기반 증강 현실 부가 정보를 합성하여 재생하는 방법에 관한 것이다.
본 발명은, 드론 동영상에 증강현실 부가정보를 합성하여 재생하는 방법에 있어서,
증강현실 부가정보들을 분류하는 레이어들이 지정되는 단계;
상기 레이어들의 재생 여부를 결정하는 LOD옵션들이 상기 지정된 레이어들을 이용하여 형성되는 단계;
상기 형성된 LOD 옵션들 중에서 특정 LOD 옵션이 선택되는 단계;
원시 드론 동영상이 렌더링되는 단계;
상기 선택된 특정 LOD옵션에 대응하는 증강현실 부가정보가 렌더링되는 단계;
상기 렌더링된 증강현실 부가정보가 상기 렌더링된 원시 드론 동영상에 합성되어 증강현실 부가정보 합성 드론 동영상이 형성되는 단계를 포함하는 것을 특징으로 한다.
이상과 같은 본 발명을 이용하면, 본 발명은 드론 동영상에 LOD 기반 증강 현실 부가정보를 합성하여 재생하는 방법을 제공하여 사용자가 증강현실 동영상에 삽입되는 특정한 증강현실 부가정보를 용이하게 선택하여 재생할 수 있게 된다.

Description

드론 동영상에 LOD 기반 증강현실 부가정보를 합성하여 재생하는 방법{Playing Method of Drone Moving Picture with Augment Reality Additional Information based on LOD}

본 발명은 드론 동영상에 LOD 기반 증강현실 부가정보를 합성하여 재생하는 방법에 관한 것이다.

드론은 도1과 같이 소형 비행장치의 일종으로 주로 카메라를 탑재하여 방송용 또는 감시용 또는 측량용으로 사용되어 도2와 같은 항공 영상을 촬영하는데에 많이 활용되어 왔다.

또한, 최근에는 드론의 가격이 저렴해지고 소형화됨에 따라 개인들이 드론을 구매하여 드론을 이용하여 각종 동영상을 촬영하여 유튜브나 페이스북 등에 올려서 친구들과 동영상을 공유하는 사례들이 많이 늘어나고 있다.

그래서, 도3의 좌측 상부 및 하부 도면과 같이 드론 동영상에서 특정 물체에 적색의 박스나 타원을 추가하여 동영상에서 이 특정 물체를 계속 추종하게 하거나, 도3의 우측 도면과 같이 골프장의 동영상에서 홀컵까지의 거리가 계속 표시되거나 특정 위치에 서클(골퍼의 타입(남자, 여자, 시니어)에 따라 출발지점을 나타내는 흰색 서클, 적색 서클 등)이 계속 표시되게 하는 것과 같이, 촬영자의 의도를 표현하거나 타인에게 정보를 설명하기 위해 드론으로 촬영된 동영상에 다양한 증강현실 부가정보(예: 텍스트, 도형, 이미지 등)를 삽입해야 하는 필요성이 대두되고 있다.

그런데, 드론 동영상에 증강현실 부가정보를 삽입(이하에서는 증강현실 부가정보가 삽입된 동영상을 증강현실 동영상이라고도 약칭하고, 증강현실 정보가 삽입되지 않은 동영상을 원시 동영상이라고도 약칭함)하는 것은 화면에서 연속적으로 위치가 변경되는 특정 타겟(예: 도3의 특정인, 도4의 특정 장소)을 추종하면서 이 타켓에 증강현실 부가정보를 추가하는 것이기에, 영화와 같은 동영상에서 자막을 추가하는 것처럼 화면의 고정된 특정 위치에 증강현실 부가정보를 표시하는 방법을 적용할 수가 없다.

그래서, 본 출원인의 선행 출원인 2018-49780호(2018.04.30. 출원)에서는 드론 동영상에 부가정보로서 증강현실 부가정보를 삽입하는 방법을 제시하였고, 본 출원인의 선행 출원인 2018-49796호(2018.04.30. 출원)에서는 드론 동영상에 증강현실 부가 정보가 삽입된 후에 유튜브 등과 같은 동영상 SNS 사이트에서 배포되고 나면 수정이 불가능하기 때문에 원시 동영상과 증강현실 부가정보를 별도의 파일로 분리하여 저작하고 증강현실 부가정보는 도5와 같은 구조의 관리 파일을 통해서 관리하며 도6과 같은 방식으로 관리 파일을 수정 및 편집하는 방법을 제시하였다.

그런데, 일반적으로 적용 가능한 증강현실 부가정보들은 텍스트들, 라인들, 도형들 등으로 다양한 종류가 있고 텍스트 종류라도 한국어, 영어, 일본어, 중국어 등과 같이 다양한 텍스트가 적용 가능하기 때문에, 증강현실 동영상의 생성자(creator)는 다수의 사용자(user)가 필요하다고 생각되는 모든 증강현실 부가정보를 편집하여 증강현실 부가정보 관리파일에 저장하여 관리하게 되지만, 특정 사용자 입장에서는 자신에게 불필요한 정보까지 증강현실 부가정보 관리파일에 저장되어 있어서 증강현실 동영상 재생시 불필요한 정보까지 재생하게 된다.

따라서, 종래기술에서는 사용자가 최종적으로 원하는 증강현실 부가정보들을 증강현실 부가정보 파일에서 선택하는 방법을 제공하지 않기 때문에, 불필요한 증강현실 부가정보들을 어쩔 수 없이 재생하게 되어 증강현실 부가정보의 과다에 인하여 정보 획득이 어려워지고 집중력도 저하되게 된다.

또한, 증강현실 동영상 생성자가 특정 사용자만을 고려하여 증강현실 부가정보 파일을 생성하게 되면, 불필요한 정보는 없게 되지만 그 사용자가 극히 제한되는 문제를 초래한다.

그래서, 예를 들어 골프코스 증강현실 동영상을 고려하면, 티박스에서 공략지점에 대한 증강현실 부가정보를 제공할 때에, 공략거리를 미터(m)로 표시한 경우와 야드(Yard)로 표시할 경우의 2가지 거리 정보 표시 방법의 필요하게 되는데, 종래기술에서는 2가지의 거리 정보 중에서 하나의 거리 정보를 선택하는 방법이 존재하지 않기 때문에, 증강현실 동영상 생성자는 2개의 거리 표시 증강현실 부가정보를 항상 병행하여 동영상에 삽입하는 방법을 선택하거나, 아니면 두 개의 증강현실 부가정보 파일을 생성하는 방법을 선택해야 한다.

한국특허출원번호 2018-49796호(2018.04.30. 출원) 한국특허출원번호 2018-49780호(2018.04.30. 출원)

이상과 같은 종래기술의 문제점을 감안하여, 본 발명은 드론 동영상에 LOD 기반 증강현실 부가정보를 합성하여 재생하는 방법을 제공하여 사용자가 증강현실 동영상에 삽입되는 특정한 증강현실 부가정보를 용이하게 선택하여 재생할 수 있게 한다.

이러한 과제를 해결하기 위한 본 발명은, 드론 동영상에 증강현실 부가정보를 합성하여 재생하는 방법에 있어서,

증강현실 부가정보들을 분류하는 레이어들이 지정되는 단계;

상기 레이어들의 재생 여부를 결정하는 LOD옵션들이 상기 지정된 레이어들을 이용하여 형성되는 단계;

상기 형성된 LOD 옵션들 중에서 특정 LOD 옵션이 선택되는 단계;

원시 드론 동영상이 렌더링되는 단계;

상기 선택된 특정 LOD옵션에 대응하는 증강현실 부가정보가 렌더링되는 단계;

상기 렌더링된 증강현실 부가정보가 상기 렌더링된 원시 드론 동영상에 합성되어 증강현실 부가정보 합성 드론 동영상이 형성되는 단계를 포함하는 것을 특징으로 한다.

이상과 같은 본 발명을 이용하면, 본 발명은 드론 동영상에 LOD 기반 증강 현실 부가정보를 합성하여 재생하는 방법을 제공하여 사용자가 증강현실 동영상에 삽입되는 특정한 증강현실 부가정보를 용이하게 선택하여 재생할 수 있게 된다.

도1은 일반적인 드론의 형상을 도시함.
도2는 드론에서 촬영한 동영상을 도시함.
도3은 본 발명에서 증강현실 부가정보가 추가된 드론 동영상들을 나타냄.
도4는 본 발명에서 드론 촬영된 원시 영상과 편집 영상의 비교를 나타냄.
도5는 본 발명에 따른 증강현실 부가정보에 대한 관리 파일 구조를 도시함.
도6은 본 발명에서 증강현실 부가정보를 편집하여 저장하는 순서를 도시함.
도7은 본 발명에서 레이어 별로 지정된 증강현실 부가정보의 종류를 도시함.
도8은 본 발명에 따른 레이어화된 증강현실 부가정보가 드론 동영상에 합성되어 재생되는 동영상 재생기의 재생 과정을 도시함.
도9는 본 발명에 따른 레이어화된 증강현실 부가정보가 드론 동영상에 합성되어 재생되는 동영상 재생기의 재생 사례를 도시함.

이제, 본 발명에서 최종적으로 원하는 증강현실 부가정보들이 삽입된 드론 동영상을 용이하게 선택할 수 있게 하는 증강현실 부가정보와 드론 동영상의 합성 및 재생 방법에 대해 도7 내지 도9를 참고로 하여 설명하기로 한다.

먼저, 본 발명에서 적용되는 증강현실 부가정보의 종류에 따른 레이어 구분에 대해 설명한다.

본 발명의 도6에 나타난 관리 파일은 XML로 구현되고, XML로 관리 파일을 기술할 때에 증강현실 부가정보가 텍스트, 라인, 2차원 형상, 3차원 형상, 이미지, 플래시의 어느 종류에 해당하는지를 나타내는 인덱스가 부가되기 때문에, 본 발명에서는 이 인덱스를 이용하여, 예를 들면 도7과 같이 텍스트는 레이어0, 라인은 레이어1, 2차원 형상은 레이어2, 3차원 형상은 레이어3, 이미지는 레이어4, 플레시는 레이어5로 구분한다.

그래서, 동일한 드론 동영상이라도 용도에 따라 상이한 종류(상이한 레이어)의 증강현실 부가정보가 추가될 수 있기 때문에, 본 발명에서는 도6의 관리 파일을 형성시에 사용 가능한 모든 증강현실 부가정보(4-1, 4-2....)와 증강현실 부가정보 출현 3차원 좌표(5-1, 5-2.....)와 증강현실 부가정보 출현 시간 동기화 정보(6-1, 6-2 .....)를 저작하여 관리 파일에 저장해 놓고, 드론 동영상의 용도(적용 분야) 및 재생 필요성에 따라 적절한 레이어 레벨을 선택하여 이 선택된 레이어에 해당하는 증강 현실 부가정보들을 드론 동영상에 추가하여 재생하게 된다.

이제, 본 발명에서 사용되는 레이어화된 증강현실 부가정보 합성 동영상 재생기에서의 재생 과정을 도8을 참고로 하여 설명한다.

먼저, 재생기는 도5와 같은 구조의 관리 파일을 읽어서 파싱하여, 재생하고자 하는 원본 동영상 파일 이름(1)에 해당하는 특정 드론 동영상 파일(11)을 획득한다(S11).

또한, 재생기는 파싱된 관리 파일에서 특정 드론 동영상 파일에 대응하는 레어어화된 증강현실 부가정보 파일들(4-1, 4-2 .....)을 획득한다(S12).

이제, 사용자는 드론 동영상의 용도(적용 분야) 및 재생 필요성에 따라 재생해야 하는 레이어 레벨을 LOD(Layer of Display) 옵션을 통해 결정(선택)한다(S13).

여기서 LOD 옵션은 각각의 LOD 옵션이 단일의 레이어 레벨을 선택하게 하는 것(예를 들면, LOD 0 --> 레이어 0, LOD 1 --> 레이어 1, LOD 2 --> 레이어 2 ....)도 가능하고, 각각의 LOD 옵션이 그 옵션 번호 이하의 레이어 레벨들 모두를 선택하게 하는 것(예를 들면, LOD 0 --> 레이어 0, LOD 1 --> 레이어 0과 레이어 1, LOD 2 --> 레이어 0과 레이어 1과 레이어 2)도 가능하며, 각각의 LOD 옵션이 임의의 방식으로 해당 레이어를 선택하게 하는 것(예를 들면, LOD 0 --> 레이어 0, LOD 1 --> 레이어 0과 레이어 2, LOD 2 --> 레이어 0과 레이어 1과 레이어 3)도 가능하는 등, 다양한 방식으로 각각의 LOD 옵션이 재생하게 되는 증강현실 부가정보의 레이어 레벨들을 지정하는 것이 가능하다.

그리고 나서, 획득된 특정 드론 동영상 파일이 렌더링되고(S14), 선택된 LOD 옵션에 대응하는 레이어들의 증강현실 부가정보들이 렌더링되어(S15), 증강현실 정보 출현 3차원 좌표와 증강현실 정보 출현 시간 동기화 정보를 이용하여 렌더링된 증강현실 부가정보가 렌더링된 드론 동영상에 시간축 기반으로 합성되어(S16), 증강 현실 부가정보 합성 드론 동영상이 형성되게 된다(S17). 물론, 증강현실 부가정보의 렌더링이 원시 동영상과 별개로 시간축과 및 3차원 공간을 기반으로 수행되는 것도 가능하다. 이는 가상현실 및 컴퓨터 그래픽스에서 통상적으로 수행하는 방법으로, 3차원 공간을 정의하고, 뷰잉 카메라(viewing camera) 위치를 시간축(timeline)에 따라서 이동하면서 렌더링하는 3차원 공간 네이게이션 방법을 이용하면 용이하게 부가정보를 시간축에 재생할 수 있기 때문이다.

다음으로, 도9를 참고로 하여 사용자가 선택한 LOD 옵션에 따라 증간현실 부가정보가 드론 동영상에 표시되는 사례를 설명한다.

도9의 좌측에 원시 드론 동영상이 도시되어 있고, 가운데에 표시 가능한 증강현실 부가정보가 레이어 별로 도시되어 있으며, LOD옵션이 레이어2만 표시하는 옵션인 경우에 대하여 우측의 상단에는 레이어2의 좌측 증강현실 부가정보가 드론 동영상에 합성되어 표시되는 것이 도시되어 있으며 우측 하단에는 레이어2의 우측 증강현실 부가정보가 드론 동영상에 합성되어 표시되는 것이 도시되어 있다.

결국, 본 발명에서는 증강현실 부가정보 파일에 레이어 개념을 도입하여 증강현실 부가정보의 종류별로 별도의 레이어를 설정하고 사용자가 LOD옵션을 선택하여 추가하고자 하는 증강현실 부가정보의 레이어들을 결정하여 해당 레이어의 증강현실 부가정보가 합성된 드론 동영상이 재생되게 함으로써, 사용자는 LOD 옵션을 변경하여 표시되는 증강현실 부가정보 합성 드론 동영상을 차례로 보면서 최종적으로 원하는 증강현실 부가정보가 삽입된 드론 동영상을 용이하게 얻게 된다.

한편, 본 발명에서는 본 발명의 바람직한 실시예를 설명하였지만, 본 발명은 이러한 실시예에 한정되는 것이 아니라, 본 발명의 정신을 벗어나지 않는 범위 내에서 다양한 변형이나 변경이 가능하다는 점에 유의해야 한다.

예를 들면, 상기에서는 증강현실 부가정보의 종류별로 별도의 레이어를 설정하는 방식을 설명하였지만, 동일한 종류인 텍스트라도 다양한 텍스트를 LOD옵션으로 선택 가능하게 하게 하는 것도 가능하고, LOD 옵션을 다층 구조로 형성하여 LOD옵션 1단계에서는 증강 현실 정보의 종류를 선택하고 LOD옵션 2단계에서는 동일 종류의 증강 현실 정보 중에서 선택하는 방식으로 구성하는 것도 가능하다.

그래서, 예를 들어 증강현실 동영상에 텍스트가 삽입되는 경우에, 언어별로 다른 레이어를 할당하여 관리하면, 한국인은 한국어 관련 LOD 옵션을 선택하여 한국어 텍스트가 삽입된 증강현실 동영상을 재생하고, 미국인은 영어 관련 LOD 옵션을 선택하여 영어 텍스트가 삽입된 증강현실 동영상을 재생하는 것이 가능해진다.

또한, 상기에서 언급한 골프 코스에서 2가지의 거리 표시 방법의 증강 현실 부가정보가 필요한 경우에, 본 발명에서는 증강현실 동영상 생성자는 하나의 증강현실 부가정보 파일에서 두 개의 정보를 저장하여 관리하고, 사용자가 증강현실 동영상 재생시 LOD 옵션을 선택하여 미터 거리 정보와 야드 거리정보 중 자신에게 맞는 거리 표시 증강현실이 삽입된 증강현실 동영상을 재생할 수 있게 된다.

Claims (8)

1. 드론 동영상에 증강현실 부가정보를 합성하여 재생하는 방법에 있어서,
   촬영자의 의도를 표현하거나 타인에게 정보를 설명하기 위해 드론 동영상에 삽입되는 부가 정보인 증강현실 부가정보들을 분류하는 레이어들이 지정되는 단계;
   상기 레이어들의 재생 여부를 결정하는 LOD옵션들이 상기 지정된 레이어들을 이용하여 형성되는 단계;
   상기 형성된 LOD 옵션들 중에서 특정 LOD 옵션이 선택되는 단계;
   원시 드론 동영상이 렌더링되는 단계;
   상기 선택된 특정 LOD옵션에 대응하는 증강현실 부가정보가 렌더링되는 단계;
   상기 렌더링된 증강현실 부가정보가 상기 렌더링된 원시 드론 동영상에 합성되어 증강현실 부가정보 합성 드론 동영상이 형성되는 단계를 포함하는 것을 특징으로 하는 드론 동영상에 증강현실 부가정보를 합성하여 재생하는 방법.
2. 제1항에 있어서,
   상기 LOD 옵션들 각각은 단일의 레이어 레벨을 지정하는 것을 특징으로 하는 드론 동영상에 증강현실 부가정보를 합성하여 재생하는 방법.
3. 제1항에 있어서,
   상기 LOD 옵션들 각각은 그 옵션 번호 이하의 레이어 레벨들 모두를 지정하는 것을 특징으로 하는 드론 동영상에 증강현실 부가정보를 합성하여 재생하는 방법.
4. 제1항에 있어서,
   상기 증강현실 부가정보들의 분류는, 증강현실 부가정보들의 종류를 이용하여 분류되는 것을 특징으로 하는 드론 동영상에 증강현실 부가정보를 합성하여 재생하는 방법.
5. 제4항에 있어서,
   상기 증강현실 부가정보들의 종류는 증강현실 부가정보들의 종류를 구별하는 인덱스에 의해 인식되는 것을 특징으로 하는 드론 동영상에 증강현실 부가정보를 합성하여 재생하는 방법.
6. 제4항에 있어서,
   상기 증강현실 부가정보들의 종류는 텍스트, 라인, 도형, 이미지, 플래시 중 적어도 하나의 종류를 포함하는 것을 특징으로 하는 드론 동영상에 증강현실 부가정보를 합성하여 재생하는 방법.
7. 제1항에 있어서,
   상기 증강현실 부가정보의 합성은 원시 동영상과 증강현실 부가정보의 렌더링 결과를 시간축 기반으로 합성하여 수행되는 것을 특징으로 하는 드론 동영상에 증강현실 부가정보를 합성하여 재생하는 방법.
8. 제1항에 있어서,
   상기 증강현실 부가정보의 렌더링은 원시 동영상과는 별개로 시간축 및 3차원 공간을 기반으로 수행되는 것을 특징으로 하는 드론 동영상에 증강현실 부가정보를 합성하여 재생하는 방법.

Images