KR20060065159A

KR20060065159A - 3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치

Info

Publication number: KR20060065159A
Application number: KR1020040103916A
Authority: KR
Inventors: 김희관; 송영남
Original assignee: (주)제니텀 엔터테인먼트 컴퓨팅; 한국문화콘텐츠진흥원
Priority date: 2004-12-10
Filing date: 2004-12-10
Publication date: 2006-06-14
Also published as: KR101086068B1

Abstract

본 발명은 3차원 마커 인지 방법 및 이를 이용한 증강현실 및 복합현실 제공 방법 및 시스템에 관한 것으로, 가상개체로 이용될 실사의 영상데이터를 수집하기 위한 영상데이터 수집장치와, 수집된 영상데이터로부터 가상개체로 사용될 마커를 인지 및 추적하여 마커 ID를 추출하여 가상개체 정보를 생성하기 위한 입력영상 처리장치와, 영상데이터 수집 장치 및 입력영상 처리장치를 통해 생성된 가상개체 정보를 증강현실 기술을 이용하여 처리 및 출력하기 위한 출력영상 처리장치 및 출력영상 처리장치로부터 출력되는 영상데이터를 전달받아 디스플레이하기 위한 디스플레이 장치를 포함하는 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 장치를 제공한다.

증강현실, 복합현실, 3차원 마커

Description

3차원 마커 인지 방법 및 이를 이용한 증강현실 및 복합현실 제공 방법 및 장치{3 DIMENSIONAL MARKER DETECTION METHOD AND DEVICE AND METHOD FOR PROVIDING AUGMENTED REALITY AND MIXED REALITY USING THE SAME}

도 1 은 본 발명에 의한 증강현실 및 복합현실 시스템 구현을 위한 3차원 마커 인지 방법 구현 장치에 대한 일실시예의 구성도,

도 2 는 본 발명에 의한 증강현실 및 복합현실 시스템 구현을 위한 3차원 마커 인지 방법에 대한 일실시예 흐름도,

도 3은 본 발명에 따른 실사영상내의 3차원 마커 이미지에서 마커 ID를 추출하는 방법의 일실시예를 나타낸 참고도,

도 4는 본 발명에 의한 증강현실 및 복합현실 시스템 구현을 위한 3차원 마커에 대한 2차원 이미지의 일실시예를 나타낸 도면이다.

<도면의 주요부분에 대한 부호의 설명>

10 : 영상데이터 수집장치 11 : 입력개체 처리부

12 : 영상데이터 처리부 13 : 디스플레이 장치

111 : 개체 인식부 112 : 개체 추적부

113 : 개체 ID 추출부 121 : 입력 제어부

122 : 개체 ID 매핑 데이터베이스

123 : 영상데이터 처리부 124 : 영상 데이터 출력부

본 발명은 3차원 마커 인지 방법 및 이를 이용한 증강현실 및 복합현실 제공 방법 및 시스템에 관한 것으로, 보다 상세하게는 적은 메모리 용량, 느린 CPU 속도, 적은 네트워크 밴드위스(Bandwidth) 등의 기술적 제약을 지닌 휴대폰이나 PDA와 같은 저가형 임베디드 장치의 카메라 입력부를 통해서 획득된 실사영상(Live Video Stream)으로부터 특정 마커(Marker)를 인지(Detection)하고, 이를 이용하여 증강현실 및 복합현실 시스템을 구현하는 방법에 관한 것이다.

종래의 증강현실 및 복합현실 시스템에서 사용되는 개체를 인지하기 위한 방법은 가상적인 마커의 사용 여부에 따라서 가상 마커(Artificial Marker)와 마커리스(Marker-less)의 2가지 방법으로 구분된다.

가상 마커(Artificial Marker) 방법은 동일한 형태와 크기의 물리적인 마커를 실사영상으로부터 입력받아 해당 마커를 인지하고, 그에 따른 마커의 위치, 방향 등을 영상입력 장치로부터의 상대적인 데이터로 계산하여 가상의 개체가 보여질 포즈 및 위치를 예측하는 방법으로서, 물리적인 마커 인지를 위해서 패턴 비교 (Pattern Matching) 방식을 사용했는데, 이 방식에서는 물리적인 마커를 하나 이상 미리 등록하여 가지고 있어야 하며, 유동적으로 마커 정보를 변경할 수 없다는 단점이 있다. 특히, 하나의 어플리케이션에서 여러 개의 가상 개체를 표현 하기 위해서는 해당 수만큼의 마커를 등록해야 함은 물론, 어플리케이션 구동시 마커들을 미리 메모리에 적재해야 하기 때문에, 비교적 많은 메모리 용량이 필요하다는 단점이 있다.

또한, 마커리스(Marker-less) 방법은 가상의 물리적인 마커를 사용하는 대신 실세계의 물체(Object)를 마커로 등록하여 가상 마커처럼 사용하는 방법으로서, 이 방식 또한 등록된 마커를 별도로 가지고 있어야 하며, 마커를 비교 및 추적하기 위해서는 시스템 리소스를 많이 사용한다는 단점이 있다. 특히, 휴대폰, PDA 등과 같이 시스템 리소스가 충분하지 않은 저가형의 소위 로-앤드(low-end) 단말기에는 적합하지 않다.

본 발명은, 상기한 바와 같은 문제점을 해결하기 위해 제안된 것으로서, 패턴 매칭 방식의 2차원의 평면 마커를 사용하지 않고, 3개의 면을 가진 데카르트 좌표 형태의 3차원의 마커를 이용하여 실사 영상 내에 포함 된 3차원 마커를 인지하는 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 이러한 방법으로 인지된 마커로부터 마커 ID를 추출하고, 추출된 ID로부터 가상개체의 정보를 획득하고, 수집 장치를 통해 입력된 영상에 가 상 영상을 투영할 수 있도록 함으로써, 증강 현실 및 복합 현실 시스템을 구현하는 방법 및 장치를 제공하는 것을 목적으로 한다.

상기한 바와 같은 목적을 달성하기 위하여 본 발명은, 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 방법 및 장치로서, 가상개체로 이용될 실사의 영상데이터를 수집하기 위한 영상데이터 수집장치; 상기 수집된 영상데이터로부터 가상개체로 사용될 마커를 인지 및 추적하여 마커 ID를 추출하여 가상개체 정보를 생성하기 위한 입력영상 처리장치; 상기 영상데이터 수집 장치 및 상기 입력영상 처리장치를 통해 생성된 가상개체 정보를 증강현실 기술을 이용하여 처리 및 출력하기 위한 출력영상 처리장치; 및 상기 출력영상 처리장치로부터 출력되는 영상데이터를 전달받아 디스플레이하기 위한 디스플레이 장치를 포함하는 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 장치를 제공한다.

상기 입력영상 처리장치는, 상기 영상데이터 수집 장치로부터 입력된 데이터를 이용하여 가상개체로 사용될 마커를 인지하는 마커 인지부; 상기 인지된 마커 영상데이터로부터 가상개체로 사용될 마커를 추적하는 마커 추적부; 및 상기 추적된 개체로부터 마커 ID를 추출하는 마커 ID 추출부를 포함하도록 구성할 수 있다.

또한, 상기 입력영상 처리장치는,상기 영상데이터 수집 장치로부터 입력된 실사 영상데이터와 상기 입력영상 처리장치로부터 인지 및 추적되고 추출된 마커 ID 정보를 입력받아 전달하기 위한 입력제어부; 상기 마커 ID 정보에 대한 가상영 상 정보가 저장되어 있는 가상영상 정보 데이터베이스; 상기 입력제어부로부터 전달받은 가상개체 정보와 실사 영상데이터 및 상기 가상영상 정보 데이터베이스에 저장되어 있는 가상영상 정보를 이용하여 정합된 영상데이터를 생성하기 위한 영상데이터 처리부; 및 상기 영상데이터 처리부로부터 또는 상기 입력제어부로부터 전달받은 영상데이터를 출력하기 위한 영상 출력부를 포함하여 구성할 수 있다.

또한, 상기 입력영상 처리장치의 마커 추적부는,적어도 하나 이상의 영상데이터 수집 장치로부터 획득된 실사 영상을 이용하며, 추가 트래커(tracker) 장치를 더 포함하도록 구성할 수도 있다.

또한, 상기 입력영상 처리 장치에서 인지 및 추적되는 마커는, 3개의 면으로 구성된 3차원의 데카르트 좌표의 형태로 구성되며, 4개의 칼라정보를 가진 원형의 반점 형태로부터 마커 ID를 추출하는 것을 특징으로 한다.

한편, 본 발명은, 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 방법에 있어서, 영상데이터 수집 장치가 가상개체로 이용될 실사의 영상을 수집하는 제 1 단계; 상기 수집된 영상데이터에서 가상개체로 이용될 마커를 인지하는 제 2 단계; 상기 인지된 마커 영상데이터에서 가상개체로 이용될 마커를 추적하는 제 3 단계; 상기 인지된 마커 영상데이터에서에서 마커 ID를 추출하는 제 4 단계; 상기 생성된 마커 데이터를 이용하여 디스플레이될 가상영상의 포즈추정을 수행하는 제 5 단계; 및 상기 포즈추정 정보를 이용하여 상기 실사 영상과 상기 가상 영상의 실시간 정합을 수행하는 제 6 단계를 포함하는 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공방법을 제공한다.

또한, 본 발명은, 마이크로프로세서를 구비한 증강현실 및 복합현실 구현장치에, 영상데이터 수집 장치가 가상개체로 이용될 실사영상을 수집하는 제 1 기능; 상기 입력영상 처리장치가 상기 영상데이터 수집 장치로부터 입력받은 실사영상에서 가상개체로 이용될 마커를 인지하는 제 2 기능; 상기 인지된 마커 영상데이터에서 가상개체로 이용될 마커를 추적하는 제 3 기능; 상기 인지된 마커 영상데이터에서 가상개체로 이용될 마커 ID를 추출하는 제 4 기능; 상기 추출된 마커 ID를 이용하여 가상영상정보 데이터베이스로부터 가상영상 데이터를 획득하는 제 5 기능; 상기 입력영상 처리장치로부터 생성된 가상개체 데이터를 이용하여 디스플레이될 가상영상의 포즈추정을 수행하는 제 6 기능; 상기 출력영상 처리장치가 상기 영상데이터 수집 장치로부터 입력된 실사 영상데이터 및 상기 입력영상 처리장치로부터 입력된 가상개체 데이터와 가상영상의 포즈추정 정보를 이용하여 상기 실사 영상과 상기 가상 영상의 실시간 정합을 수행하고 처리하여 디스플레이 장치로 출력하는 제 7 기능; 및 상기 디스플레이 장치가 상기 영상데이터 처리장치로부터 전달받은 정합된 영상데이터를 디스플레이하는 제 8 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

이하, 첨부 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

도 1은 본 발명에 의한 증강현실 및 복합현실 시스템 구현을 위한 3차원 마 커 인지 방법의 구현장치에 대한 일실시예의 구성도이다.

도면에 도시한 바와 같이, 본 발명의 3차원 마커 인지 방법 구현장치는, 실사의 영상을 수집하기 위한 영상데이터 수집 장치(10), 상기 수집된 영상데이터에서 가상개체로 이용될 마커를 인지 및 추적하고, 이를 통해 마커 ID 정보를 생성하기 위한 입력데이터 처리부(11), 상기 영상데이터 수집 장치(10)와 입력데이터 처리부(11)를 통해 가공된 영상데이터를 증강현실을 이용하여 처리하고 디스플레이 장치(13)로 출력하기 위한 출력영상 처리부(12)를 포함한다.

상기 입력데이터 처리부(11)는 영상데이터 수집 장치(10)로부터 수집된 실사 영상데이터(14)를 이용하여 가상개체로 사용될 마커를 인지하는 마커 인지부(111)와, 인지된 마커를 추적하는 마커 추적부(112), 마커 인지부(111)로부터 인지된 마커로부터 마커 ID를 추출하는 마커 ID 추출부(113)를 포함한다.

상기 출력데이터 처리부(12)는 상기 영상데이터 수집장치(10)에서 수집된 실사 영상데이터(15)를 영상출력부(124)로 전달하거나, 입력데이터 처리부(11)에서 추출된 가상개체정보(116), 그리고 마커 ID 정보(16)를 영상데이터 처리부(123)로 전달하기 위한 입력제어부(121), 가상개체 정보를 이용하여 실사 영상데이터(15)와 정합하기 위해 필요한 정보가 저장되어 있는 가상영상 정보 데이터베이스(122), 입력 제어부(121)로부터 전달받은 가상객체 정보(127)와 가상영상 정보 데이터베이스(122)에 저장되어 있는 가상영상 정보(125)를 바탕으로 데이터를 처리하여 영상출 력부(124)로 전달하기 위한 영상데이터 처리부(123) 및 상기 영상데이터 처리부(123)로부터 전달받은 가상 영상데이터와 상기 입력 제어부(121)를 통하여 전달받은 실사 영상데이터를 디스플레이 장치(13)으로 출력하기 위한 영상출력부(124)를 포함한다.

도 2 는 본 발명에 따른 증강현실 및 복합현실 시스템 구현을 위한 3차원 마커(Marker) 인지 방법에 대한 일실시예의 흐름도이다.

먼저, 입력영상 처리장치(11)는 영상데이터 수집 장치(10)에 의해 획득된 실사 영상데이터(14)를 이용하여 마커를 인지하고, 인지된 마커를 추적하고, 마커 ID를 추출한 후 출력데이터 처리장치(12)로 가상개체 정보(16)를 전달한다.

이후, 출력데이터 처리장치(12)는 입력데이터 처리장치(11)로부터 전달된 마커 ID 정보(16)가 가상영상 정보 데이터베이스(122)에 저장되어 있는 정보와 적절하게 정합될 수 있는지를 판단하여, 해당 가상개체에 대한 가상 영상을 획득하고 이를 영상출력부(124)를 통해 디스플레이 장치(13)로 출력하거나, 입력영상 처리장치(11)로부터 전달된 가상개체 정보(16)가 가상영상 정보 데이터베이스(122)에 저장된 정보와 정합될 수 없는 것이라면 입력 제어부(121)를 통해 전달된 영상데이터 수집 장치(10)로부터의 실사 영상데이터(15)을 영상출력부(124)로 전달하여 디스플레이 장치(13)로 출력하도록 한다.

다음으로, 상기 설명한 도 1 및 도 2를 참조로 하여 상기 입력영상 처리장치(11)와 출력영상 처리장치(12)의 동작을 보다 상세히 설명한다

본 발명의 방법에서는 입력영상 처리장치(11)에서의 해당 마커 인지 및 추적, 마커 ID 추출은 영상데이터 수집 장치(10)로부터 전달되는 2차원 실사영상을 바탕으로 하여 가상 개체의 영상으로 투영될 실제 세계의 3차원 마커를 인지하게 되는데, 이 과정에서 R/G/B 칼라 정보를 이용하여 3개 라인(축)의 좌표를 획득하고, 3개의 면에 포함된 원형 반점(斑点, Blob)를 검출하고, 검출된 블러브들로부터 마커 ID정보를 추출할 수 있다.

상기의 과정에서 획득된 정보를 이용하여 가상영상 정보 데이터베이스(122)에 저장된 가상영상 정보와의 비교를 통해 입력영상 수집 장치(11)로부터 마커의 상대적인 위치 및 방향 정보를 계산하게 되고, 영상데이터 처리장치(12)는 상기의 정보들을 바탕으로 가상영상 정보 데이터베이스(122)에 저장되어 있는 정의된 3차원 가상영상 모델 데이터가 실사 영상데이터에 정합될 위치와 방향 등의 정보를 결정하게 된다.

도 3은 상기 과정에서 실사 영상내의 3차원 마커 이미지에서 마커 인지 및 마커 ID를 추출하는 방법을 보여준다.

도 3을 참조하면, 본 발명의 방법에서는 영상데이터 수집 장치(10)로부터 전 달되는 2차원 실사영상을 바탕으로 하여 가상 개체의 영상으로 투영될 실제 세계의 3차원 마커를 인지하게 되는데, 이 과정에서 실사 영상내의 3차원 마커 이미지는 3개의 축이 연결된 3차원의 데카르트 좌표 형태로 먼저 칼라 정보를 이용하여 중심 라인을 검출하고, 검출된 라인의 양 끝점(P0,P3)의 좌표를 획득하고, 상기 검출된 양 끝점(P0,P3)에 연결된 다른 2개의 라인을 검출하고, 각 라인의 양 끝점(P0,P1,P2)의 좌표를 획득할 수 있게 된다.

이러한 기본 데이터를 이용하여 각각의 면에 포함된 원형의 반점(斑点, Blob)를 검출하고, 검출된 블러브들로부터 마커 ID정보를 추출할 수 있게 된다. 하나의 블러브는 각각 4가지 상태의 색상(하양, 빨강, 초록, 하늘색)정보로 구성되며, 각 면에는 4개의 블러브를 포함 하며, 3개의 면으로 구성되므로 하나의 3차원 마커로 최대 4^3*4 = 16,777,216개의 마커 ID를 표현할 수 있다. 본 발명의 방법에서는 실사영상에서의 마커의 인지, 추적 및 마커 ID 추출 과정에서 발생할 수 있는 처리시간의 지연 등을 방지하기 위해 한 면의 블러브 수를 4개로 제한했지만, 한 면에 포함되는 블러브의 수는 4개 이상 생성이 가능하다.

도 4는 본 발명에 따른 증강현실 및 복합현실 시스템 구현을 위한 3차원 마커(Marker)에 대한 2차원 이미지의 일실시예이다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.

이상에서 본 발명의 바람직한 실시예를 참조하여 본 발명의 구성을 설명하였으나, 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변환 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

본 발명에 의하면, 증강현실 또는 복합현실 시스템을 구현함에 있어서, 종래 일적으로 사용되는 특정 형태의 마커를 이용하지 않고, 실사 영상에서 전달되는 2차원 이미지를 분석하여 칼라 정보를 이용하여 마커를 자동 인지하고, 인지된 마커 이미지를 분석하고 마커 ID를 추출하고, 인지된 마커를 실시간 추적하여 마커의 위치 및 방향 정보를 추출할 수 있으며, 이러한 방법에 의해 추출된 마커 ID, 위치 및 방향정보로 부터 증강현실 또는 복합현실 시스템의 실사영상에 투영되어 합성될 가상개체를 선택하고, 마커의 위치 및 방향정보로부터 합성될 가상개체의 위치 및 방향을 판단할 수 있으므로, 저가형의 임베디드 장치에서도 저렴하고 효율적인 증 강현실 및 복합현실 시스템을 구현할 수 있다.

또한, 다양한 가상 영상 정보들을 미리 정의된 가상영상 정보 데이터베이스에 저장하고 이를 통해 합성될 가상영상의 획득을 하게 되므로, 가상영상 정보 데이터베이스의 내용에 추가, 수정, 삭제만으로도 보다 융통성있는 증강현실 및 복합현실 응용시스템을 구현할 수 있다.

Claims

3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 방법 및 장치로서,

가상개체로 이용될 실사의 영상데이터를 수집하기 위한 영상데이터 수집장치;

상기 수집된 영상데이터로부터 가상개체로 사용될 마커를 인지 및 추적하여 마커 ID를 추출하여 가상개체 정보를 생성하기 위한 입력영상 처리장치;

상기 영상데이터 수집 장치 및 상기 입력영상 처리장치를 통해 생성된 가상개체 정보를 증강현실 기술을 이용하여 처리 및 출력하기 위한 출력영상 처리장치; 및

상기 출력영상 처리장치로부터 출력되는 영상데이터를 전달받아 디스플레이하기 위한 디스플레이 장치

를 포함하는 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 장치.
제 1 항에 있어서,

상기 입력영상 처리장치는,

상기 영상데이터 수집 장치로부터 입력된 데이터를 이용하여 가상개체로 사 용될 마커를 인지하는 마커 인지부;

상기 인지된 마커 영상데이터로부터 가상개체로 사용될 마커를 추적하는 마커 추적부; 및

상기 추적된 개체로부터 마커 ID를 추출하는 마커 ID 추출부

를 포함하는 것을 특징으로 하는 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 장치.
제 1 항에 있어서,

상기 입력영상 처리장치는,

상기 영상데이터 수집 장치로부터 입력된 실사 영상데이터와 상기 입력영상 처리장치로부터 인지 및 추적되고 추출된 마커 ID 정보를 입력받아 전달하기 위한 입력제어부;

상기 마커 ID 정보에 대한 가상영상 정보가 저장되어 있는 가상영상 정보 데이터베이스;

상기 입력제어부로부터 전달받은 가상개체 정보와 실사 영상데이터 및 상기 가상영상 정보 데이터베이스에 저장되어 있는 가상영상 정보를 이용하여 정합된 영상데이터를 생성하기 위한 영상데이터 처리부; 및

상기 영상데이터 처리부로부터 또는 상기 입력제어부로부터 전달받은 영상데이터를 출력하기 위한 영상 출력부

를 포함하는 것을 특징으로 하는 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 장치.
제 2 항에 있어서,

상기 입력영상 처리장치의 마커 추적부는,

적어도 하나 이상의 영상데이터 수집 장치로부터 획득된 실사 영상을 이용하며, 추가 트래커(tracker) 장치를 더 포함하는 것을 특징으로 하는 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 장치.
제 2 항에 있어서,

상기 입력영상 처리 장치에서 인지 및 추적되는 마커는,

3개의 면으로 구성된 3차원의 데카르트 좌표의 형태로 구성되며,

4개의 칼라정보를 가진 원형의 반점 형태로부터 마커 ID를 추출하는 것을 특징으로 하는 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 장치.
3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 방법에 있어서,

영상데이터 수집 장치가 가상개체로 이용될 실사의 영상을 수집하는 제 1 단 계;

상기 수집된 영상데이터에서 가상개체로 이용될 마커를 인지하는 제 2 단계;

상기 인지된 마커 영상데이터에서 가상개체로 이용될 마커를 추적하는 제 3 단계;

상기 인지된 마커 영상데이터에서에서 마커 ID를 추출하는 제 4 단계;

상기 생성된 마커 데이터를 이용하여 디스플레이될 가상영상의 포즈추정을 수행하는 제 5 단계; 및

상기 포즈추정 정보를 이용하여 상기 실사 영상과 상기 가상 영상의 실시간 정합을 수행하는 제 6 단계

를 포함하는 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공방법.
마이크로프로세서를 구비한 증강현실 및 복합현실 구현장치에,

영상데이터 수집 장치가 가상개체로 이용될 실사영상을 수집하는 제 1 기능;

상기 입력영상 처리장치가 상기 영상데이터 수집 장치로부터 입력받은 실사영상에서 가상개체로 이용될 마커를 인지하는 제 2 기능;

상기 인지된 마커 영상데이터에서 가상개체로 이용될 마커를 추적하는 제 3 기능;

상기 인지된 마커 영상데이터에서 가상개체로 이용될 마커 ID를 추출하는 제 4 기능;

상기 추출된 마커 ID를 이용하여 가상영상정보 데이터베이스로부터 가상영상 데이터를 획득하는 제 5 기능;

상기 입력영상 처리장치로부터 생성된 가상개체 데이터를 이용하여 디스플레이될 가상영상의 포즈추정을 수행하는 제 6 기능;

상기 출력영상 처리장치가 상기 영상데이터 수집 장치로부터 입력된 실사 영상데이터 및 상기 입력영상 처리장치로부터 입력된 가상개체 데이터와 가상영상의 포즈추정 정보를 이용하여 상기 실사 영상과 상기 가상 영상의 실시간 정합을 수행하고 처리하여 디스플레이 장치로 출력하는 제 7 기능; 및

상기 디스플레이 장치가 상기 영상데이터 처리장치로부터 전달받은 정합된 영상데이터를 디스플레이하는 제 8 기능

을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.