KR20120137021A - 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법 - Google Patents

Abstract

본 발명은 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법에 관한 것으로, 종래 증강현실 기반 크로마키 방법에서 사용자가 등록하는 배경을 단순히 정적인 가상공간이 아닌 인터랙션 기술을 활용한 가상객체의 조작으로 동적인 가상공간을 이용하며, 상기 가상공간에서 앞, 뒤쪽의 보여지는 순서를 효율적으로 지정하기 위해 중첩 레이어를 지원한다. 본 발명에서 증강현실 처리는 마커를 기반으로 가상객체를 증강시키며, 상기 가상객체의 크기, 이동, 회전 등의 인터랙션 처리를 통해 사용자가 원하는 형태로 조작하여 상기 가상공간에 배치시킨다. 중첩 레이어 처리는 검출되는 전경, 등록하는 배경, 증강되는 가상객체 등을 개별 레이어로서 동일한 x, y축 좌표 값으로 정합시키고 사용자가 z축 좌표 값을 기반으로 우선순위를 지정하는 것을 특징으로 한다.
본 발명에 따르면, 증강현실 기반 인터랙션과 중첩 레이어를 기반으로 크로마키 처리가 이루어지기 때문에 사용자는 자신이 원하는 촬영 컨셉에 맞춰 다양한 형태의 동적인 가상스튜디오를 실시간으로 구성할 수 있다.

Description

중첩 레이어를 활용한 증강현실 기반의 크로마키 방법{Authoring Method of Augmented Reality base Chroma-Key using Overlay Layer}

본 발명은 증강현실 기반 크로마키 방법의 동적인 가상공간을 표현하는 과정에서 요구되는 가상객체와 레이어 순서를 제어하는 기술을 효과적으로 제공하기 위한 방법에 관한 것이다.

종래 한국특허출원 제2008-0108757호(2008.11.04)에 게시된 삼차원 개인 광고 방송 서비스 제공 장치와 방법 및 인터넷 방송 수신 장치는 도 1에 도시한 바와 같이, 효율적인 광고 방송 서비스 제공을 위해 광고 상품을 표현하는데 있어 증강현실 기술을 기반으로 가상객체를 추가시켜 처리하는 것으로서,

블루스크린 배경에서 촬영된 카메라 영상, 삼차원 가상 배경 영상, 광고 물품의 삼차원 광고 객체 영상, 및 광고 물품을 소개하는 이차원 영상을 입력받는 영상 입력부; 상기 입력된 영상들을 가지고 가상현실 기법과 증강현실(Augmented Reality) 기법을 이용하여 삼차원 광고 방송 콘텐츠를 생성하는 콘텐츠 생성부; 및 상기 콘텐츠 생성부에 의해 생성된 삼차원 광고 방송 콘텐츠를 전용으로 할당된 인터넷 프로토콜 텔레비전(Internet Protocol Television)방송 채널을 통해 스트리밍 전송하는 영상 전송부;를 포함하며, 블루스크린 배경에서 촬영되어 입력된 카메라 영상에서 크로마키 기법을 이용하여 배경을 제거하고, 가상현실기법을 이용하여 상기 제거된 배경에 삼차원 가상 배경 영상을 삽입하고, 상기 삼차원 가상 배경 영상이 삽입된 영상에 광고 물품을 소개하는 이차원 영상을 배치하며, 상기 카메라 영상에서 영상 패턴을 인식하여 인식된 영상 패턴 위치에 광고 물품의 삼차원 광고 객체 영상을 매핑하여 삼차원 광고 방송 콘텐츠를 생성하는 단계; 광고 물품에 대한 상세 설명이 담긴 메타데이터를 입력받는 단계; 및 상기 생성된 삼차원 광고 방송 콘텐츠와 상기 광고 물품의 삼차원 광고 객체 영상 및 상기 입력된 메타데이터를 먹싱하여 전용으로 할당된 인터넷 프로토콜 텔레비전(Internet Protocol Television) 방송 채널을 통해 스트리밍 전송하는 단계;를 포함하는 것을 특징으로 한다.

그러나, 상기 종래기술을 이용한 서비스는 단순히 상품을 증강시켜 보여주기만 할 뿐 크기, 이동, 회전 등의 특정한 인터랙션이 지원되지 않고 있으며, 기존 증강현실 기술의 문제점으로 상기 증강된 상품 가상객체의 위치가 항상 앞쪽에만 지정될 수밖에 없다는 한계점이 있었다.

이에 대하여, 본 발명은 마커를 기반으로 증강되는 가상객체의 인터랙션과 레이어 순서를 제어하기 위하여 크기, 이동, 회전 등의 인터랙션 처리, 알파채널 기반의 중첩 레이어를 활용하여 각 레이어의 순서 조절을 통해 가상객체가 앞, 뒤쪽 등 사용자가 원하는 곳에 위치시킬 수 있도록 시스템을 구성한다.

본 발명은 상기 종래의 증강현실 기반 크로마키 방법의 한계점을 해결하기 위하여 안출된 것으로, 사용자가 가상객체를 증강시키고 원하는 형태로 조작할 수 있도록 크기, 이동, 회전 등의 인터랙션을 지원한다. 이는 정적인 가상공간이 아닌 동적인 가상공간을 지원할 수 있도록 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법을 제공하는데 그 목적이 있다.

또한, 입력받는 영상에서 검출되는 전경, 사용자가 등록하는 배경 및 증강시키는 가상객체 등의 영상 데이터를 합성하는데 있어 알파채널을 기반으로 한 중첩 레이어를 통해 투명도와 앞, 뒤쪽의 순서를 지정할 수 있도록 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법을 제공하는데 다른 목적이 있다.

본 발명은 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법에 관한 것으로서, 증강현실 기반의 크로마키 방법에 있어서, 초기 처리 영상을 입력받는 영상입력, 조명, 그림자 등에 강인한 영상 확보를 위한 전처리, 입력받은 영상의 전/배경 분리에 따른 전경검출, 검출된 전경 영상 내에서 마커검출 여부를 확인하는 마커검출, 마커가 검출되었을 시 가상객체의 증강 및 인터랙션 처리 과정을 진행하는 증강현실 처리, 새로운 배경을 등록하는 배경등록, 레이어의 우선순위 값 기준에 따른 중첩 레이어 처리, 처리된 영상을 출력하는 영상출력을 포함하여 처리를 진행하는 것을 특징으로 한다.

본 발명에 따르면, 증강현실 기반 인터랙션과 중첩 레이어를 기반으로 크로마키 처리가 이루어지기 때문에 사용자는 자신이 원하는 촬영 컨셉에 맞춰 다양한 형태의 동적인 가상스튜디오를 실시간으로 구성할 수 있다.

도 1은 종래기술에 의한 삼차원 개인 광고방송 서비스 제공 시스템의 구성도
도 2는 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법의 전체 순서도
도 3은 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법의 증강현실 처리 순서도
도 4는 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법의 중첩 레이어 처리 순서도

이하, 첨부된 도면을 참조하여 본 발명에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법을 상세히 설명한다.

도 2는 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법의 전체 순서도이다. 도 2에 도시한 바와 같이, 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법은, 웹캠으로부터 영상을 입력받는 영상입력(100), 조명, 그림자 등에 강인한 영상 확보를 위한 전처리(200), 입력받은 영상의 전/배경 분리에 따른 전경검출(300), 검출된 전경 영상 내에서 마커검출 여부를 확인하는 마커검출(400), 마커가 검출되었을 시 가상객체의 증강 및 인터랙션 처리 과정을 진행하는 증강현실 처리(500), 새로운 배경을 등록하는 배경등록(600), 레이어의 우선순위 값 기준에 따른 중첩 레이어 처리(700), 처리된 영상을 출력하는 영상출력(800)으로 이루어진다.

상기 마커검출(400)에서 마커가 검출되었을 경우에는 상기 증강현실 처리(500)를 거친 후, 상기 배경등록(600) 과정을 진행하며, 마커가 검출되지 않았을 경우에는 상기 마커검출(400) 과정을 반복하여 진행한다.

상기 배경등록(600)은 사용자가 원하는 형태의 이미지를 배경DB를 통해 불러와 기본적인 배경으로 이용하며, 상기 중첩 레이어 처리(700)는 상기 전경검출(300)을 통해 검출된 전경과 상기 증강현실 처리(500)를 통해 증강되는 가상객체, 상기 배경등록(600)을 통해 등록된 배경 등을 중첩 레이어에 기반하여 처리한다.

도 3은 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법의 증강현실 처리 순서도이다. 도 3에 도시한 바와 같이, 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법에서의 증강현실 처리는, 크게 마커를 인식하는 단계(510); 가상객체를 증강시키는 단계(520); 증강된 가상객체의 초기 위치를 제어하는 단계(530); 인터랙션 발생 여부를 확인하는 단계(540); 인터랙션을 처리하는 단계(550)로 구성되어 있으며, 각 단계의 처리에 대한 상세한 설명은 다음과 같다.

상기 마커를 인식하는 단계(510)는 상기 마커검출(400)을 통해 검출 된 상기 마커내부의 이미지 패턴을 확인하기 위해 템플릿 매칭을 진행하는 단계로서 사용자가 사전에 등록시켜 놓은 마커패턴DB와 비교분석을 통해 인식을 진행한다. 상기 가상객체를 증강시키는 단계(520)는 상기 마커패턴DB와 비교분석을 통해 해당 패턴에 부합되는 가상객체를 사용자가 사전에 등록시켜 놓은 가상객체DB를 통해 확인하고 증강시킨다. 상기 증강된 가상객체의 초기 위치를 제어하는 단계(530)는 상기 증강된 가상객체를 사용자가 원하는 초기 증강 위치를 선정할 수 있도록 위치 값을 제어한다. 상기 인터랙션 발생 여부를 확인하는 단계(540)는 크기, 이동, 회전 등의 인터랙션 발생여부를 확인하고 인터랙션이 발생하였을 경우 인터랙션을 처리하는 단계(550)를 진행하며, 인터랙션이 발생되지 않았을 경우 배경등록(600) 과정을 진행한다.

즉, 상기 증강현실 처리는, 상기 증강현실 처리(500)에서 검출된 마커를 마커패턴DB를 통해 인식하는 단계(510); 상기 증강현실 처리(500)에서 인식된 마커에 부합하는 가상객체를 증강시키는 단계(520); 상기 증강현실 처리(500)에서 증강된 가상객체의 초기 위치를 제어하는 단계(530); 상기 증강현실 처리(500)에서 인터랙션 발생 여부를 확인하는 단계(540); 상기 증강현실 처리(500)에서 인터랙션을 처리하는 단계(550);를 포함하여 이루어진다.

도 4는 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법의 중첩 레이어 처리 순서도이다. 도 4에 도시한 바와 같이, 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법에서의 중첩 레이어 처리는, 크게 영상을 정합하는 단계(710); 중첩 레이어의 우선순위를 지정하는 단계(720); 영상을 합성하는 단계(730)로 구성되어 있으며, 각 단계의 처리에 대한 상세한 설명은 다음과 같다.

상기 영상을 정합하는 단계는(710) 상기 검출된 전경, 상기 등록된 배경, 상기 증강된 가상객체를 각각의 개별 레이어로서 처리를 진행하며, 서로 다른 각 레이어의 좌표공간을 하나의 좌표공간으로서 정합시킨다. 상기 중첩 레이어의 우선순위를 지정하는 단계(720)는 상기 정합된 레이어의 좌표공간을 기반으로 z축의 좌표 값을 지정하여 각 레이어의 앞, 뒤쪽의 우선순위를 정하고 레이어를 중첩시킨다.

상기 영상을 합성하는 단계(730)는 상기 순서가 정해진 중첩 레이어의 영상들을 합성시키기 위해 알파채널을 이용하며, 크게 알파채널 생성 단계(731); 레이어 마스크 생성 단계(732); 알파 값 설정 단계(733); 알파채널 믹서 단계(734);로 구성된다. 상기 알파 값 설정 단계(733)의 알파 값은 0에서 1까지의 실수 값을 가지며, 이는 영상간의 투명도를 설정하는데 이용된다.

즉, 상기 중첩 레이어 처리는, 상기 중첩 레이어 처리(700)에서 동일한 좌표 공간으로서 영상을 정합하는 단계(710); 상기 중첩 레이어 처리(700)에서 중첩 레이어의 우선순위를 지정하는 단계(720); 상기 중첩 레이어 처리(700)에서 알파채널 생성 단계(731); 레이어 마스크 생성 단계(732); 알파 값 설정 단계(733); 알파채널 믹서 단계(734)를 거쳐 영상을 합성하는 단계(730);를 포함하여 이루어진다.

따라서, 본 발명은 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법에 관한 것으로, 종래 증강현실 기반 크로마키 방법에서 사용자가 등록하는 배경을 단순히 정적인 가상공간이 아닌 인터랙션 기술을 활용한 가상객체의 조작으로 동적인 가상공간을 이용하며, 상기 가상공간에서 앞, 뒤쪽의 보여지는 순서를 효율적으로 지정하기 위해 중첩 레이어를 지원한다. 본 발명에서 증강현실 처리는 마커를 기반으로 가상객체를 증강시키며, 상기 가상객체의 크기, 이동, 회전 등의 인터랙션 처리를 통해 사용자가 원하는 형태로 조작하여 상기 가상공간에 배치시킨다. 중첩 레이어 처리는 검출되는 전경, 등록하는 배경, 증강되는 가상객체 등을 개별 레이어로서 동일한 x, y축 좌표 값으로 정합시키고 사용자가 z축 좌표 값을 기반으로 우선순위를 지정하는 것을 특징으로 한다.

본 발명에 따르면, 증강현실 기반 인터랙션과 중첩 레이어를 기반으로 크로마키 처리가 이루어지기 때문에 사용자는 자신이 원하는 촬영 컨셉에 맞춰 다양한 형태의 동적인 가상스튜디오를 실시간으로 구성할 수 있다.

상기한 바와 같은 구성 및 작용은 하나의 실시예로서 본 발명의 청구범위를 제한하는 것은 아니며, 본 발명의 기술적 사상을 변경하지 아니하는 범위 내에서 다양한 변경과 수정이 가능함은 본 발명이 속하는 분야에 종사하는 자에게는 자명한 것이다.

100...영상입력
200...전처리
300...전경검출
400...마커검출
500...증강현실처리
600...배경등록
700...중첩 레이어 처리
800...영상출력

Claims (3)

1. 증강현실 기반의 크로마키 처리에 있어서,
   웹캠으로부터 영상을 입력받는 영상입력(100), 조명, 그림자 등에 강인한 영상 확보를 위한 전처리(200), 입력받은 영상의 전/배경 분리에 따른 전경검출(300), 검출된 전경 영상 내에서 마커검출 여부를 확인하는 마커검출(400), 마커가 검출되었을 시 가상객체의 증강 및 인터랙션 처리 과정을 진행하는 증강현실 처리(500), 새로운 배경을 등록하는 배경등록(600), 레이어의 우선순위 값 기준에 따른 중첩 레이어 처리(700), 처리된 영상을 출력하는 영상출력(800)을 포함하여 이루어지는 것을 특징으로 하는 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법
2. 제 1항에 있어서,
   상기 증강현실 처리는,
   크게 마커를 인식하는 단계(510); 가상객체를 증강시키는 단계(520); 증강된 가상객체의 초기 위치를 제어하는 단계(530); 인터랙션 발생 여부를 확인하는 단계(540); 인터랙션을 처리하는 단계(550)로 구성되는 것을 특징으로 하는 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법
3. 제 1항에 있어서,
   상기 중첩 레이어 처리는,
   크게 영상을 정합하는 단계(710); 중첩 레이어의 우선순위를 지정하는 단계(720); 영상을 합성하는 단계(730)로 구성되는 것을 특징으로 하는 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법

Images