KR20170053198A - 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스 및 뎁스 이미지를 이용한 증강현실 데이터처리방법 - Google Patents

Abstract

본 발명은 무마커식 증강현실의 구현에 있어, 모바일 기기에 촬영되는 영상 내지 이미지의 뎁스(Depth)를 인식하는 하나 이상의 센서를 적용하여, 상기 센서로부터의 인식된 오브젝트의 뎁스 이미지를 이용하여 무마커 증강현실을 구현하는 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스 및 뎁스 이미지를 이용한 증강현실 데이터처리방법에 관한 것이다.

Description

뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스 및 뎁스 이미지를 이용한 증강현실 데이터처리방법{Markerless augmented reality data processing device using depth images and augmented reality data processing method using a depth image}

본 발명은 증강현실 구현 디바이스 및 증강현실 구현방법에 관한 것으로 보다 상세하게는, 뎁스 영상 내지 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스 및 뎁스 이미지를 이용한 증강현실 데이터처리방법에 관한 것이다.

증강현실(Augmented Reality, AR)은 실제와 가상 사이의 영역인 혼합현실(Mixed Reality)의 한 종류로, 현실의 정보에 가상의 정보를 합성해 사물이나 이의 영상 내지 이미지의 정보를 증강시키는 것을 의미하며, 현실의 정보에 추가적인 가상 정보를 덧붙여 사물에 대한 인간의 감각과 인식을 확장한다는 측면에서 확장현실이라고 불리기도 한다.

한편, 최근에는 스마트폰, 태블릿 컴퓨터과 같이 카메라가 탑재된 모바일 기기의 확산에 힘입어 증강현실 기술의 적용 영역이 모바일까지 넓어지고 모바일 기기에 GPS 등 위치 및 방향과 기울기를 감지하는 각종 센서 부품이 장착되면서, 모바일 기기를 이용하여 현실 객체의 위치 및 높이와 방향을 감지하여 증강현실을 구현할 수 있는 기반이 갖추어져 있으며, 이러한 휴대 가능한 모바일 기기를 기반으로 하는 증강현실 시스템을 모바일 증강현실이라고 한다.

증강현실의 구현에 있어, 가상정보인 콘텐츠를 구현하는 위치 즉, 영상 내지 이미지의 맵핑 위치를 정확히 인지하는 트랙킹 기술이 필수적이며, 이러한 트랙킹 기술은 하드웨어 자원이 제한된 모바일 증강현실에서 특히 중요한 요소이다.

이에 따라, 증강현실 기술은 어떠한 트랙킹 기술을 기반으로 구현되는 지에 따라서, 위치기반 증강현실, 마커인식 증강현실, 및 무마커식 증강현실 등으로 분류된다.

위치기반 증강현실은 GPS 등을 통해 수집한 위치 정보를 이용하여 가상정보인 콘텐츠를 증강현실 기기에 제공하여 디스플레이하는 방식이며, 마커인식 증강현실은 카메라를 통해 인식가능한 특정 마커를 통해 인식되는 정보를 이용하여 가상정보인 콘텐츠를 증강현실 기기에 제공하여 디스플레이하는 방식이다.

한편, 무마커식 증강현실은 마커를 사용하지 않고, 예컨대, 오브젝트 즉, 특정 이미지, 사진, 그림, 또는 실물 자체를 인식하여 오브젝트 자체의 정보를 사용하거나 인식된 오브젝트의 특정 정보를 사용하여 증강현실 기기에 가상정보인 콘텐츠를 제공하여 디스플레이하는 방식으로, 모바일 증강현실의 구현에 가장 적합한 방식으로 평가된다.

무마커식 증강현실의 경우 오브젝트의 형태 즉, 형상, 모양 또는 색체가 변화하는 경우 오브젝트의 인식에 오류가 발생하여, 적용환경상의 여러 제약 조건이 있거나, 오브젝트의 컬러 영상 내지 이미지를 그대로 인식처리하므로 그 연산과정 과정이 복잡하여 고 부하가 요구되므로, 실시간 영상 처리 또는 이를 통한 증강현실처리를 수행하는 고 사양의 처리성능의 모바일 기기가 요구된다.

이에 따라, 현재 모바일 기기의 고 사양화에 따라 일부 무마커식 증강현실을 채용하여 탑재된 카메라의 이미지 센서를 통한 비젼인식에 의하여 모바일 증강현실이 구현되고 있다.

그러나, 이와 같이 모바일 증강현실을 구현하는 모바일 기기에 있어서 전원소모가 과도하게 증가하고 발열이 커지는 문제가 필연적으로 발생하고 있으며, 촬영영상 내지 이미지의 현실의 오브젝트의 실시간 형태 변화 즉, 형상, 모양 또는 색채의 실시간 변화에 대응하지 못해 현실의 오브젝트를 인식하지 못하는 오류가 빈번히 발생하는 기술적인 문제가 발생하고 있어, 모바일 증강현실이 보편적으로 보급되고 있지는 못한 실정이다.

대한민국 등록특허공보 10-1319667 호 (발명의 명칭 : 증강현실 제공 시스템 및 그 방법과 이에 사용되는 관심 영역 트래킹 방법 및 단말기, 공고일 2013년10월17일) 대한민국 공개특허공보 공개번호 10-2012-0030196 호(발명의 명칭 : 뎁스 영상 생성 장치 및 방법, 공개일: 2012년03월28일)

이에 따라, 본 발명은 무마커식 증강현실의 구현에 있어, 모바일 기기에 촬영되는 영상 내지 이미지의 뎁스(Depth)를 인식하는 하나 이상의 센서를 적용하여, 상기 센서로부터의 인식된 오브젝트의 뎁스 이미지를 이용하여 무마커 증강현실을 구현하는 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스 및 뎁스 이미지를 이용한 증강현실 데이터처리방법을 제공하는 것을 목적으로 한다.

또한, 모바일 증강현실의 구현에 있어, 모바일 기기의 부하를 감소시키고 전원소모를 최소화함으로써, 발열이 커지는 문제를 해결하고, 현실의 오브젝트의 형태 변화에 대한 대응의 정확도 즉, 오브젝트의 인식과 오브젝트의 트랙킹의 정확도를 향상시키는 새로운 개념의 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스 및 뎁스 이미지를 이용한 증강현실 데이터처리방법을 제공하는 것을 목적으로 한다.

나아가, 모바일 증강현실의 구현에 있어, 모바일 기기에 요구되는 부하를 감소시킴으로써 상대적으로 저 사양의 처리성능의 모바일 기기로도 실시간 영상처리 내지 모바일 증강현실처리가 가능한 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스 및 뎁스 이미지를 이용한 증강현실 데이터처리방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위하여, 본 발명은 일측면에서 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스에 관한 것으로, 오브젝트를 포함하는 영상을 촬영하고 촬영된 영상을 처리하여 촬영 영상의 뎁스 이미지와 촬영 영상의 컬러 이미지인 촬영 이미지를 생성하여 출력하는 영상촬영장치부(10); 사용자 I/F를 통한 사용자의 선택입력에 따라 일반 촬영 모드 및 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리모드를 선택적으로 수행하도록 영상촬영장치부(10)의 영상촬영을 제어하는 촬영 이미지 처리부(20); 상기 영상촬영장치부(10)로부터 촬영 영상의 뎁스 이미지를 수신하여 수신된 뎁스 이미지에 포함된 오브젝트의 정보를 분석하여 당해 오브젝트를 인식하는 뎁스 이미지 처리부(30); 실시간으로 상기 오브젝트의 타겟의 위치정보를 연산하여 위치정보를 포함하는 타겟위치트랙킹정보를 생성하는 타겟위치트랙킹부(40); 촬영 이미지 처리부(20)로부터 촬영 영상의 촬영 이미지를 수신하고, 상기 뎁스 이미지 처리부(30)로부터 인식된 오브젝트의 타겟정보를 수신하여 3D객체 DB(51)를 검색하여 해당 오브젝트에 맵핑될 3D객체의 이미지를 호출하고, 상기 타겟위치트랙킹부(40)로부터 수신되는 인식된 오브젝트의 타겟위치트랙킹정보와 수신한 촬영 영상의 촬영 이미지 및 검색된 3D객체의 이미지를 AR 디스플레이처리부(60)로 전송하는 AR 영상 처리부(50); 및 수신되는 타겟위치트랙킹정보에 따라 오브젝트의 촬영 이미지에 3D객체 이미지를 맵핑하여 합성하고 합성된 영상을 모바일 기기의 디스플레이(70)에 전송하여 디스플레이 되도록 하는 AR 디스플레이처리부(60)를 포함한다.

바람직하게는, 상기 영상촬영장치부(10)는, 뎁스 이미지 센서모듈(12)과 컬러 이미지 센서모듈(13)의 동작을 제어하는 모듈제어부(11)와 상기 모듈제어부(11)의 제어에 따라 촬영 영상의 뎁스 이미지를 생성하는 뎁스 이미지 센서모듈(12) 및 촬영 영상의 컬러 이미지인 촬영 이미지를 생성하는 컬러 이미지 센서모듈(13)을 포함하여 구성된다.

여기서, 바람직하게는, 상기 촬영 이미지 처리부(20)는 카메라모듈제어부(21), 촬영 이미지수신처리부(22)를 포함하여 구성되며, 상기 카메라모듈제어부(21)는 사용자 I/F부로부터 사용자의 선택입력을 수신하여 영상촬영장치부(10)를 제어하며, 일반 촬영 모드 시 컬러 이미지 센서모듈(13)만을 활성화하는 제어신호를 모듈제어부(11)로 전송하고, 증강현실 데이터처리 모드 시 뎁스 이미지 센서모듈(12)과 컬러 이미지 센서모듈(13)을 활성화하는 제어신호를 모듈제어부(11)에 전송한다.

여기서, 촬영 이미지수신처리부(22)는 상기 영상촬영장치부(10)의 모듈제어부(11)를 통해 일반 촬영 모드 시 컬러 이미지인 촬영 이미지를 수신하여 디스플레이부에 전송하여 디스플레이되도록 하며, 증강현실 데이터처리 모드 시 촬영 이미지를 AR 영상처리부(50)로 전송하는 것이 바람직하다,

또한, 바람직하게는, 상기 뎁스 이미지 처리부(30)는 사전 설정된 타겟정보가 저장되는 타겟정보 DB(31), 뎁스 이미지 센서모듈(12)을 제어하는 제어신호를 모듈제어부(11)에 전송하는 뎁스 이미지 모듈제어부(32), 영상촬영장치부(10)의 모듈제어부(11)를 통해 뎁스 이미지를 수신하여 타겟인식처리부(34)로 전송하는 뎁스 이미지 수신처리부(33), 및 뎁스 이미지 수신처리부(33)로부터 수신된 뎁스 이미지를 분석하여 수신된 뎁스 이미지에 포함된 오브젝트를 타겟정보 DB(31)에 저장된 타겟정보와 비교하여 일치하는 타겟정보를 추출하는 방식으로 오브젝트를 타겟으로 인식하고 인식된 오브젝트의 타겟정보를 AR 영상 처리부(50)에 전송하며, 인식된 오브젝트의 타겟정보를 타겟위치트랙킹부(40)로 전송하는 타겟인식처리부(34)를 포함하며, 상기 오브젝트의 타겟정보에는 타겟의 아이디와 타겟의 특징점 정보가 포함되어, 상기 AR 영상 처리부(50)로는 타겟의 아이디가 타겟정보로 전송될 수 있다.

여기서 바람직하게는, 상기 특징점 정보는 오브젝트의 뎁스 이미지의 뎁스 값으로 구성된다.

또한, 바람직하게는, 상기 뎁스 이미지 처리부(30)는 사용자I/F부의 사용자의 제어명령에 따라 오브젝트의 타겟정보를 생성하여 타겟정보 DB(31)에 저장하는 타겟등록처리부(35)를 더 포함한다. 상기 오브젝트의 타겟정보는 타겟의 아이디와 타겟의 특징점 정보가 포함되며, 상기 특징점 정보는 오브젝트의 뎁스 이미지의 뎁스 값으로 구성될 수 있다.

바람직하게는, 상기 타겟위치트랙킹부(40)는 상기 오브젝트의 뎁스 이미지와 인식된 오브젝트의 타겟정보를 기초로 실시간으로 해당 오브젝트의 타겟의 위치 정보를 연산하여 타겟의 위치 변화를 트랙킹하며, 변화되는 타겟의 위치정보를 생성하며, 생성된 타겟의 위치정보를 타겟위치트랙킹정보생성부(42)에 전송하는 타겟위치연산부(41), 및 상기 타겟의 위치정보를 포함하는 타겟위치트랙킹정보를 생성하여 AR 영상 처리부(50)에 전송하는 타겟위치트랙킹정보생성부(42)를 포함하여 구성된다.

여기서, 바람직하게는, 상기 타겟위치트랙킹부(40)는 촬영 영상의 뎁스 이미지로부터 인식된 오브젝트인 타겟의 기울기 값을 연산하는 기울기 값 연산부(43)를 더 포함하여 구성되어 상기 타겟위치트랙킹정보생성부(42)는 타겟의 위치정보에 연산된 타겟의 기울기 값을 포함하여 타겟위치트랙킹정보를 생성한다.

또한, 여기서, 상기 기울기 값의 연산은 오브젝트의 뎁스 이미지의 각 픽셀의 뎁스 값의 비교를 통해 수행되는 것이 바람직하다.

아울러, 바람직하게는, 상기 기울기 값 연산부(43)는 모바일 기기의 동작센서정보처리부(80)로부터 모바일 기기의 기울기 값을 수신하여, 타겟의 기울기 값을 보정하는 타겟의 기울기 보정 값을 생성하여 타겟위치트랙킹정보생성부(42)에 전송하며, 타겟위치트랙킹정보생성부(42)는 타겟의 위치정보에 타겟의 기울기 보정 값을 타겟의 기울기 값으로 포함하여 타겟위치트랙킹정보를 생성한다.

한편, 바람직하게는, AR 영상 처리부(50)는 인식된 오브젝트인 타겟 상에 맵핑될 이미지인 3D객체가 타겟 아이디와 연관되어 저장된 3D객체 DB(51), 촬영 이미지수신처리부(22)로부터 증강현실 데이터처리 모드 시 촬영 이미지를 수신하여 AR 디스플레이처리부(60)로 전송하는 촬영 이미지 수신부(52), 타겟인식처리부(34)로부터 인식된 오브젝트인 타겟의 아이디를 수신하여 3D객체 DB(51)를 검색하여 타겟의 아이디에 연관된 오브젝트인 타겟 상에 맵핑될 이미지인 3D객체를 호출하여 AR 디스플레이처리부(60)로 전송하는 타겟정보수신부(53), 및 타겟위치트랙킹정보생성부(42)로부터 상기 타겟의 위치정보를 포함하는 타겟위치트랙킹정보를 실시간으로 수신하여 AR 디스플레이처리부(60)로 전송하는 타겟트랙킹정보처리부(54)를 포함하여 구성된다.

다른 측면에서 본 발명은 뎁스 이미지를 이용한 증강현실 데이터처리방법으로, 영상촬영장치부(10)의 영상 촬영을 제어하여, 상기 영상촬영장치부(10)로부터 촬영 영상의 뎁스 이미지를 수신하는 뎁스 이미지 수신단계(S110), 수신된 뎁스 이미지에 포함된 오브젝트를 타겟정보 DB(31)에 저장된 타겟정보와 비교하여 일치하는 타겟정보를 갖는 타겟을 검색하여 오브젝트인 타겟을 인식하고, 인식된 오브젝트인 타겟의 아이디를 포함하는 타겟정보를 생성하여 출력하는 타겟 인식단계(S120), 상기 타겟 인식단계(S120)에서 뎁스 이미지와 인식된 오브젝트의 타겟정보를 기초로 실시간으로 해당 오브젝트의 타겟의 위치정보를 연산하여 타겟 위치의 변화를 트랙킹하며, 변화되는 위치정보를 포함하는 타겟위치트랙킹정보를 생성하여 출력하는 타겟 위치트랙킹단계(S130), 인식된 오브젝트인 타겟의 아이디를 수신하여 3D객체 DB(51)를 검색하여 타겟의 아이디에 연관된 타겟 상에 맵핑될 이미지인 3D객체를 호출하고, 수신되는 촬영 이미지에 호출한 3D객체를 맵핑하는 과정으로, 수신되는 타겟위치트랙킹정보에 따라 3D객체를 촬영 이미지상에 맵핑하여 합성하는 3D객체 맵핑단계(S140), 및 상기 타겟위치트랙킹정보에 따라 맵핑하여 합성되는 증강현실 영상을 실시간 렌더링하여 디스플레이하는 AR 영상 생성단계(S150)를 포함하여 수행된다.

바람직하게는, 타겟정보 DB(31)에 타겟정보를 사전 설정하여 저장하는 타겟 DB 구성단계(S100)를 더 포함하여 수행된다.

또한, 바람직하게는, 상기 타겟위치트랙킹 단계(S130)에서 모바일 기기의 기울기 값을 이용하여 타겟위치트랙킹정보를 보정함으로써 해당 객체의 타겟 위치의 변화를 가상적으로 트랙킹한다.

상술한 바와 같은 본 발명에 의하면, 무마커식 증강현실의 구현에 있어, 모바일 기기에 촬영되는 영상 내지 이미지의 뎁스(Depth)를 인식하는 하나 이상의 센서를 적용하여, 상기 센서로부터의 인식된 오브젝트의 뎁스 이미지를 이용하여 무마커 증강현실을 구현하는 새로운 방식의 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스 및 뎁스 이미지를 이용한 증강현실 데이터처리방법을 제공할 수 있다.

또한, 본 발명의 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스 및 뎁스 이미지를 이용한 증강현실 데이터처리방법에 의하면, 모바일 증강현실의 구현에 있어, 모바일 기기의 부하를 감소시키고 전원소모를 최소화함으로써, 발열이 커지는 문제를 해결하고, 현실의 오브젝트의 형태 변화에 대한 대응의 정확도 즉, 오브젝트의 인식과 오브젝트의 트랙킹의 정확도를 향상시키는 효과를 갖는다.

나아가, 본 발명의 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스 및 뎁스 이미지를 이용한 증강현실 데이터처리방법에 의하면 모바일 증강현실의 구현에 있어, 모바일 기기에 요구되는 부하를 감소시킴으로써 상대적으로 저 사양의 처리성능의 모바일 기기로도 실시간 영상처리 내지 모바일 증강현실처리가 가능한 효과를 갖는다.

도 1은 본 발명의 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스의 구성도.
도 2는 본 발명의 일 실시예의 영상촬영장치부(10)를 설명하기 위한 도면.
도 3은 본 발명의 일 실시예의 촬영 이미지 처리부(20)를 설명하기 위한 도면.
도 4는 본 발명의 일 실시예의 뎁스 이미지 처리부(30) 및 타겟위치트랙킹부(40)를 설명하기 위한 도면.
도 5는 본 발명의 일 실시예의 AR 영상 처리부(50)를 설명하기 위한 도면.
도 6은 본 발명의 뎁스 이미지를 이용한 증강현실 데이터처리방법의 흐름도.
도 7은 본 발명의 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스에서의 뎁스 이미지를 이용한 증강현실 데이터처리방법의 세부 수행도.
도 8은 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스에서의 뎁스 이미지를 이용한 증강현실 데이터처리방법의 구현예를 설명하기 위한 도면.
도 9는 본 발명의 일 실시예의 타겟정보 구성 단계에서 타겟정보 DB(31)의 타겟정보 생성 과정을 설명하기 위한 도면.
도 10a는 본 발명의 타겟의 위치계산 방법의 구현예를 설명하기 위한 도면.
도 10b 내지 도 10d는 본 발명의 타겟의 기울기 계산 원리 및 본 발명의 타겟의 위치 정보생성 방법을 설명하기 위한 도면.
도 11a은 타겟 위치트랙킹단계에서의 기울기 값 보정 과정을 설명하기 위한도면.
도 11b은 타겟 위치트랙킹단계에서의 기울기 값 보정 과정의 흐름도
도 12는 본 발명의 일 실시예의 3D객체 맵핑단계 및 AR 영상생성단계를 설명하기 위한 도면.
도 13은 본 발명이 스마트 기기에 구현된 경우의 스마트 기기의 구성도.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시 예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시 예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조, 기능 및 특성은 일 실시 예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시 예로 구현될 수 있다. 또한, 각각의 개시된 실시 예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는 적절하게 설명된다면 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

본 발명의 다양한 실시 예들은 뎁스 이미지를 이용한 마커리스 증강현실 구현 디바이스와 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 방법들을 개시한다.

본 명세서에 있어서, 본 발명의 뎁스 이미지를 이용한 마커리스 증강현실 구현 디바이스는 본 발명이 모바일 기기(스마트 디바이스)의 하나의 구성모듈로 구현된 경우의 한 예이며, 실시예에 따라서는 모바일 기기나 스마트 디바이스로 구현되지 않고 본 발명을 구현하는 독립적인 전용 디바이스로 구성될 수 있다.

이에 따라, 본 발명은 도 1에 도시된 것보다 많거나 적은 구성요소 또는 상이한 구성요소의 구성(configuration)을 가질 수 있으며, 도 1에 도시한 여러 구성요소는 하나 이상의 신호 처리 및/또는 애플리케이션 전용 집적 회로(application specific integrated circuit), 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어 둘의 조합으로 구현될 수 있으며, 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 제어를 위한 별도의 제어부(미도시)를 포함하며, 특정 시스템의 하나의 구성모듈로 구현되는 경우 제어부(미도시)는 해당 시스템의 범용 또는 전용 중앙처리장치에 의하여 구현될 수 있다.

본 명세서에 있어서, "뎁스 이미지(a depth image)"는 "뎁스 맵(a depth map)"과 함께 3차원 이미지 또는 영상에 관한 뎁스 값(depth values)의 집합 또는 데이터 구조를 의미한다.

상기 "뎁스 이미지" 또는 "뎁스 맵"을 구성하는 "뎁스 값(depth value)"은 오브젝트를 포함하는 촬영 영상의 픽셀로부터 관찰 시점까지의 거리를 표시하는 값으로, 2차원 이미지를 구성하는 모든 픽셀에 대한 뎁스 값은 "뎁스 이미지" 또는 "뎁스 맵"에 저장될 수 있으며, "뎁스 이미지" 또는 "뎁스 맵"은 촬영 영상의 디지털 이미지가 처리되어 각 픽셀이 촬영 디바이스로부터 해당 픽셀까지의 거리정보만을 가지고 있으며, 상기 거리정보는 통상 256 개의 정보 즉 0~255의 데이터 형태로 표기되며, 그레이스케일 이미지의 형태로 화면상에 표시될 수 있다.

"촬영 이미지"는 일반적인 카메라에 의하여 촬영되는 오브젝트를 포함하는 "컬러 이미지" 또는 영상으로 컬러 디스플레이되는 이미지 또는 영상을 의미한다.

"촬영 영상"은 오브젝트를 포함하는 촬영된 영상으로 "뎁스 이미지"와 "촬영 이미지"를 포함하며, 하나의 영상으로 촬영되어 "뎁스 이미지"와 "촬영 이미지"로 분리 처리가 가능한 영상 데이터이거나, "뎁스 이미지"와 "촬영 이미지"가 별개의 센서를 통해 분리되어 촬영된 2개의 영상 데이터의 집합을 의미한다.

상기 "촬영 영상", "뎁스 이미지(a depth image)", "촬영 이미지", 및 "컬러 이미지"는 정지 이미지(a still image) 내지 정지 영상에 한정되지 않고, 동적인 이미지 내지 동영상을 포함하는 개념으로 사용된다.

"오브젝트"는 증강현실의 구현 즉, 3D객체의 맵핑을 위하여 촬영 영상에서 인식되거나 식별되어야 하는 타겟이 되는 객체를 의미하며, "타겟"은 오브젝트를 지칭하며, "타겟"은 인식되거나 식별된 오브젝트인 "타겟"의 의미로 사용된다.

도 1은 본 발명의 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스의 구성도이다.

도 1을 참조하면, 본 발명의 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스는 영상촬영장치부(10), 촬영 이미지 처리부(20), 뎁스 이미지 처리부(30), 타겟위치트랙킹부(40), AR 영상처리부(50), AR 디스플레이처리부(60), 디스플레이(70), 동작센서정보처리부(80)를 포함하여 구성된다.

영상촬영장치부(10)는 촬영 이미지 처리부(20)의 제어에 따라 오브젝트를 포함하는 영상을 촬영하고 촬영 영상을 처리하여 오브젝트를 포함하는 촬영 영상의 뎁스 이미지와 컬러 이미지인 촬영 이미지를 생성하여 출력하는 기능을 수행한다.

도 2는 본 발명의 일 실시예의 영상촬영장치부(10)의 구성도이다.

도 2를 참조하면, 본 실시예의 영상촬영장치부(10)는 촬영 이미지 처리부(20) 또는 뎁스 이미지 처리부(30)의 제어신호를 수신하여 뎁스 이미지 센서모듈(12)과 컬러 이미지 센서모듈(13)의 동작을 제어하는 모듈제어부(11)와 상기 모듈제어부(11)의 제어에 따라 구조 광을 이용하여 촬영 영상의 뎁스 이미지를 생성하는 뎁스 이미지 센서모듈(12) 및 촬영 영상의 컬러 이미지인 촬영 이미지를 생성하는 컬러 이미지 센서모듈(13)을 포함하여 구성된다.

상기 뎁스 이미지 센서모듈(12) 및 컬러 이미지 센서모듈(13)은 복수의 센서의 집합체로 구현되거나 단일의 센서 모듈로 구현될 수 있으며, 실시예에 따라서는 뎁스 이미지를 생성하는 뎁스 이미지 센서는 TOF(Time-of-flight)방식의 센서가 사용될 수 있고, 뎁스 이미지를 생성하는 뎁스 이미지 센서와 컬러 이미지를 생성하는 컬러 이미지 센서가 물리적으로 집적된 센서 또는 센서모듈이 사용될 수 있다.

또한 실시예에 따라서는 기존의 뎁스 카메라 모듈과 일반 카메라 모듈의 집합으로 구현되어, 촬영 영상을 처리하여 동기화된 뎁스 이미지와 컬러 이미지인 촬영 이미지를 동시에 출력하도록 구성될 수 있다.

나아가, 실시예에 따라서는 구조 광을 사용하는 뎁스 이미지 센서를 사용하지 않고 촬영 영상의 영상 정보 내지 데이터에서 뎁스 이미지 내지 뎁스 맵을 추출하는 방식이 사용될 수 있다. 이 경우 촬영 영상의 영상 데이터를 처리하여 이로부터 촬영 영상의 뎁스 이미지 내지 뎁스 맵을 추출하는 영상처리 소프트웨어가 포함된다.

촬영 이미지 처리부(20)는 상기 영상촬영장치부(10)의 영상촬영을 제어하며, 사용자 I/F를 통한 사용자의 선택입력에 따라 일반 촬영 모드 또는 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 모드를 선택적으로 수행하도록 영상촬영장치부(10)의 영상 촬영을 제어한다.

일반 촬영 모드 시에는 촬영 이미지 처리부(20)는 상기 영상촬영장치부(10)로부터 컬러 이미지인 촬영 이미지를 수신하여 디스플레이에 표시하는 하는 기능을 수행하며, 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 모드 시에는 수신된 촬영 이미지를 AR 영상처리부(50)로 전송한다.

도 3은 본 발명의 일 실시예의 촬영 이미지 처리부(20)를 설명하기 위한 도면이다.

도 3을 참조하면, 촬영 이미지 처리부(20)는 카메라모듈제어부(21), 촬영 이미지수신처리부(22)를 포함하여 구성되며, 카메라모듈제어부(21)는 사용자 I/F부로부터 사용자의 선택입력, 예컨대 일반 촬영 모드 또는 증강현실 데이터처리 모드의 선택입력을 수신하여 영상촬영장치부(10)를 제어하여, 일반 촬영 모드 시 컬러 이미지 센서모듈(13)만을 활성화하는 제어신호를 모듈제어부(11)로 전송하고, 증강현실 데이터처리 모드 시 뎁스 이미지 센서모듈(12)과 컬러이미지 센서모듈(13)을 활성화하는 제어신호를 모듈제어부(11)에 전송한다.

촬영 이미지수신처리부(22)는 상기 영상촬영장치부(10)의 모듈제어부를 통해 일반 촬영 모드 시 촬영 이미지인 컬러이미지를 수신하여 디스플레이부에 전송하여 디스플레이되도록 하며, 증강현실 데이터처리 모드 시 수신된 촬영 이미지를 AR 영상처리부(50)로 전송한다.

뎁스 이미지 처리부(30)는 사용자 I/F를 통한 사용자의 선택입력에 따라 증강현실 데이터처리 모드 시, 상기 영상촬영장치부(10)가 뎁스 이미지를 생성하도록 제어하며, 상기 영상촬영장치부(10)로부터 촬영 영상의 뎁스 이미지를 수신하여 수신된 뎁스 이미지를 분석하여 이에 포함된 오브젝트를 타겟정보 DB(31)에 저장된 타겟정보와 비교하여 일치하는 타겟정보를 검색하는 방법 예컨대, 뎁스 이미지를 분석하여 이에 포함된 오브젝트의 정보로 특징점 정보를 추출하고 추출된 특징점 정보를 타겟정보 DB(31)에 저장된 특징점 정보를 포함하는 타겟정보와 순차적으로 대조하여 검색하는 방법으로 타겟정보 DB(31)에 저장된 타겟 중 동일한 특징점 정보를 갖는 타겟을 해당 오브젝트로 인식한다.

오브젝트의 정보와 일치하는 타겟정보를 갖는 타겟이 검색되어 해당 오브젝트가 인식되면 인식된 오브젝트의 타겟정보를 AR 영상 처리부(50)에 전송하며, 오브젝트의 타겟정보에는 타겟의 아이디와 타겟의 특징점 정보가 포함되어, 상기 AR 영상 처리부(50)로는 타겟의 아이디가 타겟정보로 전송되고, 타겟의 아이디와 타겟의 특징점 정보가 타겟 정보로 타겟위치트랙킹부(40)로 전송된다.

본 발명에 있어서 특징점 정보는 오브젝트의 뎁스 이미지의 뎁스 값으로 구성되어, 오브젝트의 인식을 위한 특징점 정보가 뎁스 값으로 구성된 촬영 영상의 뎁스 이미지에서 추출되고, 이를 통해 오브젝트인 타겟을 인식하고, 이를 오브젝트인 타겟의 트랙킹에 사용함으로써, 오브젝트의 인식과 타겟의 트랙킹의 정확도를 향상시키며, 모바일 기기의 부하가 감소하여 상대적으로 저 사양의 모바일 기기로도 실시간 영상처리 내지 모바일 증강현실처리가 가능하게 된다. 상기 오브젝트의 인식을 위한 뎁스 이미지를 분석하여 이에 포함된 오브젝트의 특징점을 추출하는 과정 내지 특징점을 설정하는 방법은 다양한 공지의 영상 처리 내지 영상에서의 객체 인식 및 추출방법에 의하여 구현될 수 있다.

타겟위치트랙킹부(40)는 오브젝트의 뎁스 이미지와 인식된 오브젝트의 타겟정보를 기초로 실시간으로 해당 오브젝트의 타겟의 위치정보 즉, 3차원 위치 값 (x,y,z 값)을 연산하는 방식으로 타겟 위치의 변화를 트랙킹하여, 변화되는 위치정보를 포함하는 타겟위치트랙킹정보를 생성하여 AR 영상 처리부(50)에 전송한다. 타겟 위치의 변화를 트랙킹에 있어서도 오브젝트인 타겟의 뎁스 이미지 전체를 사용하기 않고 오브젝트의 뎁스 값으로 구성된 특징점 정보만을 사용할 수도 있다.

실시예에 따라서는 타겟위치트랙킹정보에는 오브젝트의 뎁스 이미지로부터 연산되는 오브젝트의 3차원 위치 값에 부가하여, 상기 3차원 위치 값으로 부터 연상되는 인식된 오브젝트인 타겟의 기울기 값이 더 포함될 수 있으며, 상기 기울기 값의 연산은 오브젝트의 뎁스 이미지의 각 픽셀의 뎁스 값의 비교를 통해 수행된다.

또한, 모바일 기기의 동작센서정보처리부(80)로부터 모바일 기기의 기울기 값을 수신하여, 타겟의 기울기 값을 보정하는 타겟의 기울기 보정 값을 생성하여 타겟의 위치정보에 타겟의 기울기 보정 값을 타겟의 기울기 값으로 포함하여 타겟위치트랙킹정보를 생성할 수도 있다.

도 4는 본 발명의 일 실시예의 뎁스 이미지 처리부(30) 및 타겟위치트랙킹부(40)를 설명하기 위한 도면이다.

도 4를 참조하면, 뎁스 이미지 처리부(30)는 타겟정보 DB(31), 뎁스 이미지모듈제어부(32), 뎁스 이미지수신처리부(33), 타겟인식처리부(34) 및 타겟등록처리부(35)를 포함하여 구성된다.

타겟정보 DB(31)에는 사전 설정된 타겟정보가 저장되며, 사용자는 타겟등록처리부(35)를 통하여 타겟정보를 사전 설정, 추가, 변경할 수 있다. 타겟정보는 다양한 타겟 즉, 손 모양, 평면상의 모양 등 다양한 타겟의 형태에 대한 정보가 해당 타겟에 할당된 타겟 아이디와 연관되어 저장되며, 형태에 대한 정보로는 객체의 특징점 정보가 사용된다.

상기 특징점 정보는 뎁스 값으로 구성된 뎁스 이미지 형태로 저장될 수 있으며, 실시예에 따라서는 특징점 정보로 오브젝트의 뎁스 이미지의 뎁스 값만이 저장될 수도 있다.

뎁스 이미지모듈제어부(32)는 증강현실데이터처리 모드 시 사용자I/F부의 사용자의 제어명령을 수신하여 이에 따라, 뎁스 이미지 센서모듈(12)을 제어하는 제어신호를 모듈제어부(11)에 전송한다.

뎁스 이미지수신처리부(33)는 증강현실 데이터처리 모드 시 영상촬영장치부(10)의 모듈제어부(11)를 통하여 뎁스 이미지를 수신하여 타겟인식처리부(34)로 전송하며, 타겟정보 등록시 타겟등록처리부(35)의 제어에 따라 영상촬영장치부(10)의 모듈제어부(11)를 통하여 뎁스 이미지를 수신하여 타겟등록처리부(35)로 전송하여 타겟정보로서 타겟 아이디가 할당되어 타겟정보 DB(31)에 저장되도록 한다.

타겟인식처리부(34)는 증강현실 데이터처리 모드 시 뎁스 이미지수신처리부(33)로부터 수신된 뎁스 이미지를 분석하여 이에 포함된 오브젝트의 정보를 타겟정보 DB(31)에 저장된 타겟정보와 비교하여 일치하는 타겟정보를 추출하는 방식으로 오브젝트를 타겟으로 인식한다. 예컨대, 뎁스 이미지에 포함된 오브젝트의 특징점을 추출하고 이와 동일한 특징점 정보를 포함하는 타겟정보를 타겟정보 DB(31)에서 검색하여 동일한 특징점을 갖는 타겟의 아이디를 출력하는 방법으로 해당 오브젝트를 인식 처리하여, 인식된 오브젝트의 타겟정보 즉, 타겟 아이디를 AR 영상 처리부(50)에 전송하며, 인식된 오브젝트의 타겟정보로 타겟의 아이디와 뎁스 값으로 구성된 타겟의 특징점 정보 또는 타겟의 뎁스 이미지를 타겟위치트랙킹부(40)로 전송한다

타겟등록처리부(35)는 사용자I/F부의 사용자의 제어명령에 따라 타겟정보를 생성하여 타겟정보 DB(31)에 저장하는 기능을 수행한다.

도 4를 참조하면, 타겟위치트랙킹부(40)는 타겟위치연산부(41), 타겟위치트랙킹정보생성부(42), 및 기울기 값 연산부(43)를 포함하여 구성된다.

타겟위치연산부(41)는 상기 오브젝트의 뎁스 이미지와 인식된 오브젝트의 타겟정보를 기초로 실시간으로 해당 오브젝트의 타겟의 위치정보 즉, 3차원 위치 값(x,y,z 값)을 연산하는 방식으로 타겟 위치의 변화를 트랙킹하여, 변화되는 타겟의 위치정보를 생성하며, 생성된 위치정보를 타겟위치트랙킹정보생성부(42)에 전송한다.

타겟의 3 차원 위치 값인 타겟 위치 또는 타겟 위치의 변화를 뎁스 값으로 구성된 뎁스 이미지의 분석을 통해 수행함으로써 변화되는 타겟의 위치정보의 연산에 소요되는 모바일 기기의 부하를 감소하고 3 차원 위치 값의 연산 및 이를 통한 오브젝트의 트랙킹의 정확도를 향상시킨다.

타겟위치트랙킹정보생성부(42)는 상기 타겟의 위치정보를 포함하는 타겟위치트랙킹정보를 생성하여 AR 영상 처리부(50)에 전송한다. 상기 타겟위치트랙킹정보의 생성 및 전송은 실시간으로 수행된다.

기울기 값 연산부(43)는 오브젝트의 뎁스 이미지로부터 인식된 오브젝트의 기울기 값을 연산하며, 기울기 값의 연산은 오브젝트의 뎁스 이미지의 뎁스 값의 비교를 통해 기울기 값을 연산할 수 있다.

예컨대, 오브젝트의 세로방향 양끝단 경계부분 및 가로방향 양끝단의 경계부분의 픽셀의 뎁스 값을 비교하여 낮은 뎁스 값을 가진 쪽으로 기운 것으로 판단하는 방식으로 수행된다.

실시예에 따라서는 기울기 값 연산부(43)는 모바일 기기의 동작센서정보처리부(80)로부터 모바일 기기의 기울기 값을 수신하여, 타겟의 기울기 값을 보정하는 타겟의 기울기 보정 값을 생성하여 타겟위치트랙킹정보생성부(42)에 전송하며, 타겟위치트랙킹정보생성부(42)는 타겟의 위치정보에 타겟의 기울기 보정 값을 타겟의 기울기 값으로 포함하여 타겟위치트랙킹정보를 생성할 수도 있다.

이에 따라, 타겟의 위치트랙킹이 일시적으로 중단된 경우에도 모바일 기기의 기울기 값을 타겟의 기울기 보정 값 내지 타겟의 기울기 값으로 사용하여 가상적으로 타겟위치트랙킹을 지속할 수 있다.

AR 영상 처리부(50)는 촬영 이미지 처리부(20)로부터 수신된 컬러 이미지인 촬영 이미지를 수신하고, 상기 뎁스 이미지 처리부(30)로부터 수신된 인식된 오브젝트의 타겟정보 즉, 타겟 아이디를 기초로 3D객체 DB(51)를 검색하여 해당 촬영 영상 내지 이에 포함된 오브젝트에 맵핑 될 3D객체를 호출하고, 상기 타겟위치트랙킹부(40)로부터 수신되는 인식된 오브젝트인 타겟의 타겟위치트랙킹정보와 컬러 이미지인 촬영 이미지 및 검색된 3D객체의 이미지를 AR 디스플레이처리부(60)로 전송한다.

도 5는 본 발명의 일 실시예의 AR 영상 처리부(50)를 설명하기 위한 도면이다.

도 5를 참조하면, AR 영상 처리부(50)는 3D객체 DB(51), 촬영 이미지수신부(52), 타겟정보수신부(53), 타겟트랙킹정보처리부(54)를 포함하여 구성된다.

3D객체 DB(51)에는 인식된 오브젝트인 타겟 상에 맵핑될 이미지인 3D객체가 타겟 아이디와 연관되어 저장된다.

촬영 이미지수신부(52)는 촬영 이미지수신처리부(22)로부터 증강현실데이터처리 모드 시 촬영 이미지를 수신하여 AR 디스플레이처리부(60)로 전송한다.

타겟정보수신부(53)는 타겟인식처리부(34)로부터 인식된 오브젝트의 타겟의 아이디를 수신하여 3D객체 DB(51)를 검색하여 타겟의 아이디에 연관된 타겟 상에 맵핑될 이미지인 3D객체를 호출하여 AR 디스플레이처리부(60)로 전송한다.

타겟트랙킹정보처리부(54) 타겟위치트랙킹정보생성부(42)로부터 상기 타겟의 위치정보를 포함하는 타겟위치트랙킹정보를 실시간으로 수신하여 AR 디스플레이처리부(60)로 전송한다.

AR 디스플레이처리부(60)는 촬영 이미지수신부(52)로부터 수신되는 촬영 이미지에 타겟정보수신부(53)로부터 수신한 3D객체의 이미지를 맵핑하여 합성하며, 모바일 기기의 디스플레이(70)에 전송하며, 3D객체의 이미지의 맵핑은 수신되는 타겟위치트랙킹정보에 따라 수행된다.

상기 타겟위치트랙킹정보에 따른 맵핑 및 합성은 수신되는 타겟위치트랙킹정보의 변화에 동기되어 연속적으로 수행되며 이를 통해 맵핑된 3D객체의 트랙킹이 이루어진다.

실시예에 따라서는 AR 영상 DB(미도시)를 추가로 포함되어 AR 디스플레이처리부(60)는 합성되는 영상을 AR 영상 DB(미도시)에 별도 저장하는 기능을 수행할 수도 있다.

디스플레이(70)는 증강현실 데이터처리 모드 시 AR 디스플레이처리부(60)로부터 전송되는 합성 영상을 표시하며, 일반 촬영 모드 시에는 촬영 이미지 처리부(20)로부터 촬영 이미지를 수신하여 표시한다.

동작센서정보처리부(80)는 모바일 기기의 동작센서의 출력신호를 수신하여 모바일 기기의 기울기 값을 연산하도록 기울기 값 연산부(43)에 필요한 출력신호를 전송하는 기능을 수행한다.

이하, 본 발명의 뎁스 이미지를 이용한 증강현실 데이터처리방법은 상술한 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스에 의하여 수행되며, 도면을 참조하여 뎁스 이미지를 이용한 증강현실 데이터처리방법을 상술한 바와 중복되지 않는 범위에서 상세히 설명한다.

도 6은 본 발명의 뎁스 이미지를 이용한 증강현실 데이터처리방법의 흐름도이고, 도 7은 본 발명의 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스에서의 뎁스 이미지를 이용한 증강현실 데이터처리방법의 세부 수행도이다.

도 6을 참조하면, 본 발명은 기본적으로 뎁스 이미지 수신단계(S110), 타겟 인식단계(S120), 타겟 위치트랙킹단계(S130), 3D객체 맵핑단계(S140), AR 영상 생성단계(S150)를 포함하여 수행되며, 사전에 타겟 DB 구성단계(S100)를 수행하여 타겟 DB를 구성한다.

뎁스 이미지 수신단계(S110)는 상기 영상촬영장치부(10)의 영상 촬영을 제어하며, 영상촬영장치부(10)로부터 촬영 영상의 뎁스 이미지를 수신하는 과정이다.

타겟 인식단계(S120)는 수신된 뎁스 이미지에 포함된 오브젝트를 타겟정보 DB(31)에 저장된 타겟정보와 비교하여 일치하는 타겟정보를 갖는 타겟을 검색하여 오브젝트를 인식하고, 인식된 오브젝트인 타겟의 아이디를 포함하는 오브젝트의 타겟정보를 생성하여 출력하는 과정이다.

상기 타겟정보에는 타겟의 아이디와 타겟의 특징점 정보가 포함되며, 상기 특징점 정보는 뎁스 값으로 구성될 수 있다.

타겟 위치트랙킹단계(S130)는 상기 타겟 인식단계(S120)에서 뎁스 이미지와 인식된 오브젝트의 타겟정보를 기초로 실시간으로 해당 오브젝트인 타겟의 위치정보를 연산하여 타겟 위치의 변화를 트랙킹하여, 변화되는 위치정보를 포함하는 타겟위치트랙킹정보를 생성하여 출력하는 과정이다.

3D객체 맵핑단계(S140)는 인식된 오브젝트인 타겟의 아이디를 수신하여 3D객체 DB(51)를 검색하여 타겟의 아이디에 연관된 타겟 상에 맵핑될 이미지인 3D객체를 호출하고, 수신되는 촬영 이미지에 호출한 3D객체를 맵핑하는 과정으로, 수신되는 타겟위치트랙킹정보에 따라 맵핑하여 합성하는 과정이다.

AR 영상 생성단계(S150)는 상기 타겟위치트랙킹정보에 따라 맵핑하여 합성되는 증강현실 영상을 실시간 렌더링하여 디스플레이하는 과정이다.

타겟 DB 구성단계(S100)는 타겟정보 DB(31)에 타겟정보를 사전 설정하여 저장하는 과정이다.

상기 뎁스 이미지를 이용한 증강현실 데이터처리방법은 상술한 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스에 의하여 수행된다.

도 7을 참조하면, 주로 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스의 뎁스 이미지 처리부(30), 타겟위치트랙킹부(40) 및 동작센서정보처리부(80)에 의하여 수행되는 뎁스 이미지 처리과정(710)과 촬영 이미지 처리부(20) AR 영상처리부(50), AR 디스플레이처리부(60), 및 디스플레이(70)에 의하여 수행되는 증강현실 영상을 포함하는 디스플레이 이미지 처리과정(720)으로 구분되어 설명될 수 있다.

뎁스 이미지 처리과정(710)은 증강현실데이터처리 모드 시 뎁스 이미지 센서모듈(12) 및 컬러이미지 센서모듈(13)을 활성화하는 촬영 이미지 처리부(20)의 제어신호에 따라 뎁스 이미지센서모듈을 작동시키는 과정(711), 영상촬영장치부(10)가 오브젝트의 뎁스 이미지를 송신하고 뎁스 이미지 처리부(30)가 이를 수신처리하고(712), 뎁스 이미지를 분석하여 해당 오브 젝트의 정보 예컨대 특징점 정보를 추출하고 이를 타겟정보 DB(31)에 저장된 타겟정보와 비교하여 일치하는 타겟정보를 검색하는 분석과정(713)을 수행하며, 동일한 타겟정보를 갖는 타겟이 확인되면(714) 인식된 오브젝트인 타겟의 아이디를 전송한다. 이어 인식된 오브젝트인 타겟에 대한 뎁스 이미지를 기초로 해당 오브젝트인 타겟의 위치정보 즉, 3차원 위치 값(x,y,z 값)을 연산하여 생성하고(715), 저장하며(716), 실시간으로 해당 오브젝트인 타겟의 위치정보 위치 값(x,y,z 값)을 연산하는 방식으로 타겟 위치의 변화를 트랙킹하는 과정(171)을 반복적으로 수행하여, 타겟위치트랙킹정보를 생성한다.

본 발명에 있어서 타겟의 3 차원 위치 값의 연산을 뎁스 값으로 구성된 뎁스 이미지의 분석을 통해 수행함으로써 타겟의 3 차원 위치 값의 연산에 소모되는 모바일 기기의 부하가 감소하고, 타겟의 3 차원 위치 값의 연산 및 이를 통한 오브젝트의 트랙킹의 정확도를 향상시켜 상대적으로 저 사양의 모바일 기기로도 실시간 영상처리 내지 모바일 증강현실처리가 가능하게 된다.

실시예에 따라서는 모바일 기기의 동작센서정보처리부(80)로부터 모바일 기기의 기울기 값을 수신하여, 타겟의 기울기 보정 값을 생성하여 타겟위치트랙킹정보에 포함시켜 타겟의 위치정보를 보정하거나 보충할 수 있다. 이를 통해 상술한 오브젝트인 객체의 인식 또는 3차원 위치 값(x,y,z 값)의 연산의 빈도를 줄여, 결과적으로 모바일 단말의 부하를 감소시킬 수 있으며, 객체의 인식 또는 3차원 위치 값(x,y,z 값)의 연산이 일시 중단된 경우에도 타겟의 기울기 보정 값에 따라 타겟위치트랙킹정보를 보정함으로써 중단없이 타겟 위치의 변화를 트랙킹하여 증강현실 영상으로 표시할 수 있는 효과를 가져올 수 있다.

증강현실 영상을 포함하는 디스플레이 이미지 처리과정(720)은 증강현실데이터처리 모드 시 뎁스 이미지 센서모듈(12) 및 컬러이미지 센서모듈(13)을 활성화하는 촬영 이미지 처리부(20)의 제어신호에 따라 컬러이미지 센서모듈을 작동시키는 과정(721)이 수행되고, 촬영 이미지 내지 컬러이미지를 디스플레이에 디스플레이 한다(722), 이어 상술한 타겟정보 DB(31)에 저장된 타겟정보와 비교하여 일치하는 타겟정보를 검색하여 타겟이 확인된 해당 타겟의 아이디를 수신하여 해당 3D객체를 로딩하고(723), 수신되는 타겟위치트랙킹정보에 따라 3D객체를 컬러 이미지인 촬영 이미지의 사전 설정된 위치에 맵핑하고(724), 실시간으로 수신되는 타겟위치트랙킹정보에 따라 3D객체의 위치를 변경하여 트랙킹하며(725), 컬러 이미지인 촬영 이미지상에 3D객체를 합성하여 증강현실 영상을 표시함으로써 화면상 컬러 이미지인 촬영 이미지에 3D객체를 표현한다(726).

도 8은 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스에서의 뎁스 이미지를 이용한 증강현실 데이터처리방법의 구현예를 설명하기 위한 도면으로, 도 8을 참조하면, 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스에서의 뎁스 이미지를 이용한 증강현실 데이터처리방법은 본 발명의 뎁스 이미지를 이용한 마커리스 증강현실 구현 디바이스를 구성하는 어플리케이션의 구동에 의하여 다음과 같은 일련의 과정을 통해 수행된다.

영상촬영장치부(10)로부터 각각 뎁스 이미지와 현재 디바이스에서 촬영되는 촬영 이미지를 수신하며 여기서 뎁스 이미지는 디스플레이에 표시되지 않는다.

(1) 디바이스에서 증강현실 데이터처리 어플리케이션이 실행되어 증강현실 데이터처리 모드가 개시되면 영상촬영장치부(10)가 활성화되어 3D객체 DB가 로딩된다.

(2) 영상촬영장치부(10)로부터 뎁스 이미지를 수신한다.

(3) 수신된 뎁스 이미지를 받아 분석하여 오브젝트이 특징점을 추출하여 저장된 타겟정보와 비교하여 뎁스 이미지에 포함된 오브젝트인 타겟을 인식한다.

(4) 인식된 오브젝트인 타겟의 위치를 추적한다.

(5) 인식된 오브젝트와 연관된 3D객체를 타겟의 위치 값에 따라 배치 즉, 맵핑하여 촬영 이미지와 합성하여 디스플레이에 표시한다.

도 9는 본 발명의 일 실시예의 타겟정보 구성 단계에서 타겟정보 DB(31)의 타겟정보 생성 과정을 설명하기 위한 도면이다.

도 9를 참조하면, 타겟 DB 구성단계(S100)는 타겟정보 DB(31)에 타겟정보를 사전 설정하여 저장하는 과정으로 본 발명의 뎁스 이미지를 이용한 마커리스 증강현실 구현 디바이스의 뎁스 이미지 처리부(30)를 통해 타겟정보 DB가 구성되며, 타겟정보 DB의 타겟정보를 설정하는 방법은 본 발명의 뎁스 이미지를 이용한 마커리스 증강현실 구현 디바이스를 구성하는 어플리케이션의 구동에 의하여 다음과 같은 일련의 과정을 통해 수행된다.

(1) 타겟 DB 구성 어플리케이션을 실행하여, 영상촬영장치부 및 뎁스 이미지 처리부가 활성화되고 타겟 등록 모드가 실행된다.

(2) 등록모드가 실행되면 뎁스 이미지센서모듈이 작동되어 뎁스 이미지를 도 9(B)와 같이 디스플레이에 프리뷰로 표시된다.

도 9(B)에 있어 디스플레이 상단 영역a에는 뎁스 이미지 화면과 가이드라인이 뎁스뷰로 표시되고, 영역b에는 사전 설정된 방식으로 뎁스 이미지에서 뎁스 값을 기초로 특징점을 추출하여 표시한 특징점 추출 뷰 화면이 디스플레이 된다. 영역c에는 뎁스조절 슬라이더가 표시되어 사용자의 입력에 따라, 뎁스 이미지의 뎁스 값 또는 이미지 밝기 값 등을 조정할 수 있으며, 영역d의 촬영버튼은 최종 사용자가 영역d의 촬영버튼을 터치하여 최종 타겟을 설정한 뒤 촬영하여 DB에 저장/기록하도록 한다.

(3) 도 9(A)에서와 같이 촬영 시 타겟이 되는 오브젝트에서 적정한 거리에서 촬영하고, 화면에 타겟이 되는 오브젝트의 평면부분이 표시되도록 영역a의 가이드라인에 따라 영상촬영장치부의 위치를 조정한다.

(4) 영역c의 뎁스조절 슬라이더를 이용하여 등록할 타겟의 특징점이 표시될 수 있도록 뎁스 값을 조정한다.

(5) 최종 조정이 끝나면 영역d의 촬영버튼을 터치에 따라 사진을 촬영한다.

(6) 자체적으로 특정 타겟 아이디로 설정되어 DB에 저장/등록한다.

도 10a는 본 발명의 타겟의 위치계산 방법의 구현예를 설명하기 위한 도면이다.

도 10a를 참조하면, 상술한 타겟의 위치는 전체 디스플레이에서의 위치 값(좌표값)을 찾는 과정으로 뎁스 이미지와 인식된 오브젝트인 타겟정보를 기초로 실시간으로 해당 오브젝트인 타겟의 위치정보 즉, 3차원 위치 값 (x,y,z 값)을 연산하는 과정으로 뎁스 이미지로부터 수평 및 수직으로 픽셀을 읽어 해당 객체의 x, y 축의 위치를 다음과 같이 추출한다. 기본적으로 모바일 기기의 디스플레이는 2D 의 좌표로 표현하기 때문에 3D객체가 배치되기 이전에는 2D의 위치 값 즉 x, y로 객체인 오브젝트의 중심축을 추출한다.

(1) 뎁스 이미지의 좌표 X₀,Y₀ ~ Xn, Yn (n값은 뎁스 이미지의 가로 및 세로 pixel의 수)에서 X₀, X₁, X_{2 ,} X₃ ...~Xn, Y₀좌표까지 뎁스 이미지의 pixel의 컬러 값 을 읽은 후 다음 pixel의 Y₁, Y₂, Y₃, ....~Yn 읽어 X, Y의 모든 pixel의 컬러 값을 읽는 방식으로, 뎁스 이미지 전체 pixel의 컬러 값을 순차적으로 읽는다. 여기서 본 발명에 있어서는 컬러 값은 그레이 스케일로 표현된 각 픽셀의 뎁스 값으로, 다음과 같은 프로그램 코드로 구현된다.

- Code(C#).

. depthImagePixelWidth.Length : 이미지의 x축 pixel의 수

. depthImagePixelHeight.Length : 이미지의 y축 pixel의 수

. depthImage : 뎁스 이미지

. depthValue : 읽어드린 좌표의 뎁스 값 변수

// 이미지에서 pixel단위로 컬러 값을 얻는 방법 //

for(y=0; y<depthImagePixelWidth.Length; y++)

{

for(x=0; x<depthImagePixelHeight.Length; x++)

{

depthValue = depthImage.GetPixels(x, y, depthImagePixelWidth, depthImagePixelHeight);

}

}

(2) pixel의 뎁스 값인 컬러 값을 읽는 과정에서 그 값이(0~255중 255에 가까운 값 또는 타겟정보 DB에서 정한 기준값)이 가장 큰 pixel들을 별도로 buffer에 저장하며 pixel을 모두 읽어 변화가 없을 때까지의 값을 저장한다.

(3) pixel을 읽을 때 가장 먼저 큰 값의 pixel에 도달 했을때 pixel을 수평과 수직방향으로 순차적으로 읽어서 기준 값보다 클 경우 그 값을 기록하며 그 값이 작을 때까지 계속 읽는다. Pixel의 읽을 경우 그 시작점의 위치가 특징점이 되며 값이 작은 후 다시 값이 클 경우에 다시 그 특징점으로 인식하여 별도 비교값으로 저장한다.

(4) 그 값들을 계속해서 읽으면 가로의 크기와 세로의 크기를 알게 된다. 전체 크기의 가로와 세로의 절반 값에 해당하는 값이 중심의 위치 값이며 그 중심 값이 해당하는 pixel의 좌표가 뎁스 이미지에서 표시되는 오브젝트인 타겟의 위치가 된다.

(5) 그리고 가로와 세로의 크기로 타겟의 크기를 정의할 수 있다.

(6) 크기를 추출한 상태에서 추출한 이미지의 중심을 기준으로 상단 부분과 하단 부분에 대한 저장된 pixel의 값을 비교하여 낮은 값을 가진 쪽으로 3차원 x의 회전값이 증가하여 세로방향에 대한 기울기가 정해진다.

(7) 또한 이미지의 중심을 기준으로 좌측과 우측 부분에 대한 저장된 pixel의 값을 비교하여 낮은 값을 가진 쪽으로 3차원 z값의 회전값이 증가하여 가로방향에 대한 기울기가 정해진다.

(8) 이미지상에서 타겟의 위치 값이 추출되고 기울기 값이 정해지면 타겟에 위치값과 기울기 값을 적용하고 지정된 타겟정보에 따른 3D객체를 위치시켜 맵핑한 후 트랙킹한다.

도 10b 및 도 10c는 본 발명의 타겟의 기울기 계산 원리 및 구현예를 설명하기 위한 도면이다.

도 10b를 참조하여, 본 발명의 타겟의 기울기 계산 원리 및 구현예를 보다 상세히 설명한다. 객체의 기울기 값은 뎁스 이미지의 픽셀의 컬러 값과 해당 정렬에 의해서 정한다. 뎁스 이미지의 픽셀의 컬러 값은 가장 가까운 값은 픽셀의 "0"값으로 색으로 하면 흰색이 된다. 이 값은 거리 설정에 의해 정의될 수 있다. 기본적으로 0~255 단계로 적용하며 도 10b에서와 같이 방식으로 정한다.

즉, 도 10b에서와 같이 촬영하는 모바일 기기에 가까운 부분은 그레이 스케일로 표현된 각 픽셀의 뎁스 값이 0에 가까워지고 먼 거리에 있는 부분은 255 에 가까워지며, 거리에 따른 컬러 값으로 표시된 뎁스 값을 기준을 어플리케이션에서 일정한 범위 값으로 설정할 수 있다.

도 10c를 참조하면, 뎁스 이미지의 객체의 중심을 기준으로 좌측과 우측 부분에 대한 저장된 pixel의 컬러 값으로 표시된 뎁스 값을 비교하여 낮은 값을 가진 쪽으로 3차원 z값의 회전 값이 증가하여 가로 방향에 대한 기울기가 정해지며, 동일한 방법으로 가로 방향에 대한 기울기 값 등이 연산되어, 뎁스 이미지의 컬러 값 분석을 통해 각 축(x, y, z)의 각도를 추출할 수 있으며 이를 기초로 3D객체의 디스플레이되는 각도로 증강현실 영상 합성시 설정할 수 있다. 또한, 인식되는 뎁스 이미지의 기울기의 평균값을 추출하여 평균 각도 값을 추출하여 3D객체의 기울기 축(회전 축)에 반영하도록 3D객체의 각도를 증강현실 영상 합성시 설정하여 증강현실 영상으로 디스플레이에 표시할 수 있다.

도 10d는 본 발명의 타겟트랙킹정보의 생성 방법을 설명하기 위한 도면으로 상술한 바와 같이 특징점의 데이터는 특징점을 갖는 뎁스 이미지 촬영시 z값이 수직으로 되게 하여 촬영하여 특징점의 기본 위치의 z값은 위로 향하게 되며, 뎁스 값인 컬러 값을 분석하여 모바일 디바이스에서 먼 부분과 가까운 부분을 식별하고, 상기 식별결과와 뎁스 값에 따라 객체의 기울기 값 1 또는 기울기 값 2를 추출하여 인식된 객체의 뎁스 값을 타겟의 3차원 위치 값으로 환산하여 타겟트랙킹정보의 생성한다.

도 11a는타겟 위치트랙킹단계에서의 기울기 값 보정 과정을 설명하기 위한 도면이며, 도 11b는 타겟 위치트랙킹단계에서의 기울기 값 보정 과정의 흐름도이다.

실시예에 따라서는 타겟위치트랙킹정보에는 오브젝트의 뎁스 이미지로부터 연산되는 오브젝트의 3차원 위치 값에 부가하여, 모바일 기기의 동작센서정보처리부로부터 수신된 모바일 기기의 기울기 값이 타겟의 기울기 보정 값으로 포함된다.

도 11a에서와 같이, 오브젝트인 객체의 형태가 동적으로 변화하는 경우 등 객체의 인식 또는 3차원 위치 값(x,y,z 값)의 연산이 일시 중단될 수 있으며, 이 경우 모일 기기의 동작센서정보처리부로부터 수신된 모바일 기기의 기울기 값을 타겟의 기울기 값 또는 기울기 보정 값으로 타겟위치트랙킹정보를 보정함으로써 중단없이 타겟 위치의 변화를 가상적으로 트랙킹하여 합성되는 3D객체의 기울기 값을 설정하고, 맵핑되는 위치를 보정함으로써 증강현실 영상으로 표시할 수 있게 된다.

도 11b의 타겟 위치트랙킹단계에서의 기울기 값 보정 과정의 흐름도를 참조하면, 상술한 3D객체의 트랙킹 과정에서 객체의 인식 또는 3차원 위치 값(x,y,z 값)의 연산이 일시 중단되어, 특징점의 추출의 정보를 기준으로 모바일 기기의 기울기 값을 이용하여 타겟위치트랙킹정보를 보정함으로써 해당 객체의 타겟 위치의 변화를 가상적으로 트랙킹하여 당해 3D객체의 기울기 값을 설정하여 해당 객체에 대한 증강현실 영상의 표시를 계속할 것인지, 새로운 오브젝트인 객체 인식과정을 수행할 것인지를 판단한다.

3D객체의 위치 트랙킹과정에서 추출되는 특징점을 확인하여 특징의 수를 판단하고(1101) 특징점 추출이 아주 낮은 경우는 새로운 오브젝트가 존재할 가능성이 높으므로, 촬영 영상의 뎁스 이미지 분석에서부터의 일련의 과정을 새로이 시작한다.

반면 특징점의 추출이 일부 이루어져 낮은 경우(즉, 특징점의 수가 줄었지만 일부분이 기존의 위치와 맞을 경우) 직전 저장된 타겟의 3 차원 위치 값에 모바일 기기의 동작센서의 기울기 값 즉, 모바일 기기의 동작센서의 3차원 축 값(x축, y축, z축)을 기울기 보정 값으로 적용하고(1102)이를 통해 가상적인 3 차원 위치 값을 연산하여 3D객체의 위치에 대입하고(1104), 3D객체의 위치 트랙킹을 지속하며105), 상기 기울기 보정 값을 3D객체의 기울기 값으로 설정하여 해당 객체에 대한 증강현실 영상을 표시한다.

도 12는 본 발명의 일 실시예의 3D객체 맵핑단계 및 AR 영상생성단계를 설명하기 위한 도면으로 상술한 바와 같은 원리 및 구현예에 따라 3D객체 맵핑단계 및 AR 영상생성단계에서 뎁스 이미지를 통해 오브젝트를 인식하고 인식된 오브젝트인 객체의 위치를 추적/트랙킹하며, 상기 위치 값을 포함한 타겟위치트랙킹정보에 따라 촬영 이미지에 로딩된 3D객체를 맵핑하여 합성하고 변화되는 타겟위치트랙킹정보에 따라 생성되는 증강현실 영상을 실시간 렌더링하여 디스플레이함으로써 뎁스 이미지를 이용한 증강현실 데이터처리방법이 구현된다.

도 13은 본 발명의 실시 예에 따른 모바일 기기의 세부 구성을 나타내는 도면이다. 도 13을 참조하면, 모바일 기기(1300)는, 프로세서(1310), 메모리(1320), 버스(1330), 입출력 인터페이스(1340), 디스플레이(1350), 통신 인터페이스(1360) 중 적어도 하나를 포함할 수 있다. 어떤 실시 예에서는, 모바일 기기(1300)는, 상기 구성요소들 중 적어도 하나를 생략하거나 다른 구성 요소를 추가적으로 구비할 수 있다.

상기 버스(1330)는, 예를 들면, 상기 구성요소들(1310 내지 1360)을 서로 연결하고, 상기 구성요소들 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.

상기 프로세서(1310)는, 중앙처리장치(central processing unit(CPU)), 애플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 상기 프로세서(810)는, 예를 들면, 상기 모바일 기기(1300)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터처리를 실행할 수 있다.

상기 메모리(1320)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 상기 메모리(1320)는, 예를 들면, 상기 모바일 기기(1300)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시 예에 따르면, 상기 메모리(1320)는 소프트웨어 및/또는 프로그램을 저장할 수 있다. 상기 프로그램은, 예를 들면, 커널(1324), 미들웨어(1323), 애플리케이션 프로그래밍 인터페이스(application programming interface(API))(1322), 및/또는 애플리케이션 프로그램(또는 "애플리케이션")(1321) 등을 포함할 수 있다. 상기 커널(1324), 미들웨어(1323), 또는 API(1322)의 적어도 일부는, 운영 체제(operating system(OS))라 불릴 수 있다.

상기 커널(1324)은, 예를 들면, 다른 프로그램들(예: 미들웨어(1323), API(1322), 또는 애플리케이션 프로그램(1321))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(1330), 프로세서(1310), 또는 메모리(1320) 등)을 제어 또는 관리할 수 있다. 또한, 상기 커널(1324)은 상기 미들웨어(1323), 상기 API(1322), 또는 상기 애플리케이션 프로그램(1321)에서 상기 모바일 기기(1300)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.

상기 미들웨어(1323)는, 예를 들면, 상기 API(1322) 또는 상기 애플리케이션 프로그램(1321)이 상기 커널(1324)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어(1323)는 상기 애플리케이션 프로그램(1321)으로부터 수신된 작업 요청들과 관련하여, 예를 들면, 상기 애플리케이션 프로그램(1321) 중 적어도 하나의 애플리케이션에 상기 모바일 기기(1300)의 시스템 리소스(예: 버스(1330), 프로세서(1310), 또는 메모리(1320) 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 제어(예: 스케쥴링 또는 로드 밸런싱)를 수행할 수 있다.

상기 API(1322)는, 예를 들면, 상기 애플리케이션(1321)이 상기 커널(1324) 또는 상기 미들웨어(1323)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.

상기 입출력 인터페이스(1340)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 상기 모바일 기기(1300)의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 상기 입출력 인터페이스(1340)는 상기 모바일 기기(1300)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.

상기 디스플레이(1350)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical systems(MEMS)) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 상기 디스플레이(1350)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)를 표시할 수 있다. 상기 디스플레이(1350)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다.

상기 통신 인터페이스(1360)는, 예를 들면, 상기 모바일 기기(1300)와 외부 장치(예: 통신사 서버(140)) 간의 통신을 설정할 수 있다. 예를 들면, 상기 통신 인터페이스(1360)는 무선 통신 또는 유선 통신을 통해서 통신 네트워크(130)에 연결되어 상기 외부 장치(예: 통신사 서버(140))와 통신할 수 있다.

상기 무선 통신은, 예를 들면, 셀룰러 통신 프로토콜로서, 예를 들면, LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro, 또는 GSM 등 중 적어도 하나를 사용할 수 있다. 상기 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232), 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 상기 통신 네트워크(telecommunications network)는, 예를 들면, 컴퓨터 네트워크(computer network)(예: LAN 또는 WAN), 인터넷, 또는 전화 망(telephone network) 중 적어도 하나를 포함할 수 있다.

또한 상술한 설명에서, 용어들 '시스템', '장치', '~부'는 단일 프로세싱 디바이스 또는 복수의 프로세싱 디바이스들일 수 있다. 그러한 프로세싱 디바이스는 마이크로 프로세서, 마이크로 컨트롤러, 디지털 신호 처리기, 마이크로 컴퓨터, 중앙 처리 유닛, 필드 프로그래머블 게이트 어레이, 프로그래머블 로직 디바이스, 스테이트 머신, 로직 회로, 아날로그 회로, 디지털 회로, 및/또는 상기 회로 및/또는 동작 지시들의 하드 코딩에 기반하여 신호들(아날로그 및/또는 디지털)을 조작하는 소정의 디바이스일 수 있다. 상기 프로세싱 모듈, 모듈, 프로세싱 회로, 및/또는 프로세싱 유닛은 단일 메모리 디바이스, 복수의 메모리 디바이스들, 및/또는 상기 프로세싱 모듈, 모듈, 프로세싱 회로, 및/또는 프로세싱 유닛의 내장된 회로일 수 있는 결합된 메모리 및/또는 집적된 메모리 엘리먼트를 가질 수 있다. 그러한, 메모리 디바이스는 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 휘발성 메모리, 비휘발성 메모리, 정적 메모리, 동적 메모리, 플래시 메모리, 캐시 메모리, 및/또는 디지털 정보를 저장하는 소정의 디바이스일 수 있다. 만약, 상기 프로세싱 모듈, 모듈, 프로세싱 회로, 및/또는 프로세싱 유닛이 하나 이상의 프로세싱 디바이스를 포함한다면, 상기 프로세싱 디바이스들은 집중적으로 위치될 수 있거나(즉, 유선 및/또는 무선 버스 구조를 통해 함께 직접적으로 연결된), 분산되어 위치될 수 있음(예컨대, 근거리 통신망 및/또는 광역 네트워크를 통한 간접적인 연결을 통한 클라우드 컴퓨팅)을 주목하여야 한다. 만약, 상기 프로세싱 모듈, 모듈, 프로세싱 회로, 및/또는 프로세싱 유닛이 정적 머신, 아날로그 회로, 디지털 회로, 및/또는 회로, 저장하는 메모리 및/또는 메모리 구성요소를 통해 하나 이상의 그 기능들을 구현한다면, 그 대응하는 동작 지시들은 상기 정적 머신, 아날로그 회로, 디지털 회로, 및/또는 논리 회로를 포함하는 회로의 내부에 내장되거나 외부에 있을 수 있음을 더 주목하여야 한다. 상기 메모리 엘리먼트는 저장할 수 있으며, 상기 프로세싱 모듈, 모듈, 프로세싱 회로, 및/또는 프로세싱 유닛은 상기 도면들 중 하나 이상에서 나타내는 단계들 및/또는 기능들 중 적어도 일부에 대응하는 하드 코딩된 및/또는 동작 지시들을 실행한다는 것을 여전히 더 주목하여야 한다. 그러한 메모리 디바이스 또는 메모리 엘리먼트는 제조의 부품 내에서 포함될 수 있다.

본 발명은 특정 기능들 및 그의 관계들의 성능을 나타내는 방법 단계들의 목적을 가지고 위에서 설명되었다. 이러한 기능적 구성 요소들 및 방법 단계들의 경계들 및 순서는 설명의 편의를 위해 여기에서 임의로 정의되었다. 상기 특정 기능들 및 관계들이 적절히 수행되는 한 대안적인 경계들 및 순서들이 정의될 수 있다. 임의의 그러한 대안적인 경계들 및 순서들은 그러므로 상기 청구된 발명의 범위 및 사상 내에 있다. 추가로, 이러한 기능적 구성 요소들의 경계들은 설명의 편의를 위해 임의로 정의되었다. 어떠한 중요한 기능들이 적절히 수행되는 한 대안적인 경계들이 정의될 수 있다. 마찬가지로, 흐름도 블록들은 또한 어떠한 중요한 기능성을 나타내기 위해 여기에서 임의로 정의되었을 수 있다. 확장된 사용을 위해, 상기 흐름도 블록 경계들 및 순서는 정의되었을 수 있으며 여전히 어떠한 중요한 기능을 수행한다. 기능적 구성 요소들 및 흐름도 블록들 및 순서들 둘 다의 대안적인 정의들은 그러므로 청구된 본 발명의 범위 및 사상 내에 있다. 당업자는 또한 여기에서의 상기 기능적 구성 요소들 및 다른 도시된 블록들, 모듈들, 및 구성요소들이 도시된 바와 같이 또는 분리된 구성요소들, 반도체 집적 회로(ASIC)들, 적절한 소프트웨어를 실행하는 프로세서들 및 그와 유사한 또는 임의의 조합에 의해 구현될 수 있음을 인지할 것이다.

본 발명은 또한 하나 이상의 실시예들의 용어로, 적어도 부분적으로 설명되었을 수 있다. 본 발명의 실시예는 본 발명, 그 측면, 그 특징, 그 개념, 및/또는 그 예를 나타내기 위해 여기에서 사용된다. 본 발명을 구현하는 장치, 제조의 물건, 머신, 및/또는 프로세스의 물리적인 실시예는 여기에 설명된 하나 이상의 실시예들을 참조하여 설명된 하나 이상의 측면들, 특징들, 개념들, 예들 등을 포함할 수 있다. 더구나, 전체 도면에서, 실시예들은 상기 동일한 또는 상이한 참조 번호들을 사용할 수 있는 상기 동일하게 또는 유사하게 명명된 기능들, 단계들, 모듈들 등을 통합할 수 있으며, 그와 같이, 상기 기능들, 단계들, 모듈들 등은 상기 동일한 또는 유사한 기능들, 단계들, 모듈들 등 또는 다른 것들일 수 있다.

한편, 용어 "~처리부"는 본 발명의 다양한 실시예들의 설명에서 사용된다. 모듈은 하나 이상의 출력 신호들을 생성하기 위해 하나 이상의 입력 신호들의 처리와 같은 하나 이상의 기능들을 수행하기 위해 하드웨어를 통해 구현되는 기능적 블록을 포함한다. 상기 기능적 블록을 구현하는 하드웨어는 소프트웨어 및/또는 펌웨어를 결합하여 직접 동작할 수 있다. 여기에서 사용된 바와 같이, 모듈은 자체적으로 모듈인 하나 이상의 서브-모듈들을 포함할 수 있다.

본 발명의 여러가지 기능들 및 특정들의 특별한 조합들이 여기에 분명히 설명된 반면, 이러한 특징들 및 기능들의 다른 조합들이 마찬가지로 가능하다. 본 발명은 여기에 개시된 특정한 예들에 제한되지 않으며, 이러한 다른 조합들을 명백히 통합한다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

10 : 영상촬영장치부 20 : 촬영 이미지 처리부
30 : 뎁스 이미지 처리부 40 : 타겟위치트랙킹부
50 : AR 영상처리부 60 : AR 디스플레이처리부
70 : 디스플레이 80 : 동작센서정보처리부

Claims (15)

1. 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스에 있어서,
   오브젝트를 포함하는 영상을 촬영하고 촬영된 영상을 처리하여 촬영 영상의 뎁스 이미지와 촬영 영상의 컬러 이미지인 촬영 이미지를 생성하여 출력하는 영상촬영장치부(10);
   사용자 I/F를 통한 사용자의 선택입력에 따라 일반 촬영 모드 및 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리모드를 선택적으로 수행하도록 영상촬영장치부(10)의 영상촬영을 제어하는 촬영 이미지 처리부(20);
   상기 영상촬영장치부(10)로부터 촬영 영상의 뎁스 이미지를 수신하여 수신된 뎁스 이미지에 포함된 오브젝트의 정보를 분석하여 당해 오브젝트를 인식하는 뎁스 이미지 처리부(30);
   실시간으로 상기 오브젝트의 타겟의 위치정보를 연산하여 위치정보를 포함하는 타겟위치트랙킹정보를 생성하는 타겟위치트랙킹부(40);
   촬영 이미지 처리부(20)로부터 촬영 영상의 촬영 이미지를 수신하고, 상기 뎁스 이미지 처리부(30)로부터 인식된 오브젝트의 타겟정보를 수신하여 3D객체 DB(51)를 검색하여 해당 오브젝트에 맵핑될 3D객체의 이미지를 호출하고, 상기 타겟위치트랙킹부(40)로부터 수신되는 인식된 오브젝트의 타겟위치트랙킹정보와 수신한 촬영 영상의 촬영 이미지 및 검색된 3D객체의 이미지를 AR 디스플레이처리부(60)로 전송하는 AR 영상 처리부(50); 및
   수신되는 타겟위치트랙킹정보에 따라 오브젝트의 촬영 이미지에 3D객체 이미지를 맵핑하여 합성하고 합성된 영상을 모바일 기기의 디스플레이(70)에 전송하여 디스플레이 되도록 하는 AR 디스플레이처리부(60)를 포함하는 것을 특징으로 하는 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스.
2. 제1 항에 있어서,
   상기 영상촬영장치부(10)는, 뎁스 이미지 센서모듈(12)과 컬러 이미지 센서모듈(13)의 동작을 제어하는 모듈제어부(11)와 상기 모듈제어부(11)의 제어에 따라 촬영 영상의 뎁스 이미지를 생성하는 뎁스 이미지 센서모듈(12) 및 촬영 영상의 컬러 이미지인 촬영 이미지를 생성하는 컬러 이미지 센서모듈(13)을 포함하여 구성되는 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스.
3. 제2 항에 있어서,
   상기 촬영 이미지 처리부(20)는 카메라모듈제어부(21), 촬영 이미지수신처리부(22)를 포함하여 구성되며, 상기 카메라모듈제어부(21)는 사용자 I/F부로부터 사용자의 선택입력을 수신하여 영상촬영장치부(10)를 제어하며, 일반 촬영 모드 시 컬러 이미지 센서모듈(13)만을 활성화하는 제어신호를 모듈제어부(11)로 전송하고, 증강현실 데이터처리 모드 시 뎁스 이미지 센서모듈(12)과 컬러 이미지 센서모듈(13)을 활성화하는 제어신호를 모듈제어부(11)에 전송하는 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스.
4. 제3 항에 있어서,
   촬영 이미지수신처리부(22)는 상기 영상촬영장치부(10)의 모듈제어부(11)를 통해 일반 촬영 모드 시 컬러 이미지인 촬영 이미지를 수신하여 디스플레이부에 전송하여 디스플레이되도록 하며, 증강현실 데이터처리 모드 시 촬영 이미지를 AR 영상처리부(50)로 전송하는 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스
5. 제2 항에 있어서,
   상기 뎁스 이미지 처리부(30)는
   사전 설정된 타겟정보가 저장되는 타겟정보 DB(31),
   뎁스 이미지 센서모듈(12)을 제어하는 제어신호를 모듈제어부(11)에 전송하는 뎁스 이미지 모듈제어부(32),
   영상촬영장치부(10)의 모듈제어부(11)를 통해 뎁스 이미지를 수신하여 타겟인식처리부(34)로 전송하는 뎁스 이미지 수신처리부(33), 및
   뎁스 이미지 수신처리부(33)로부터 수신된 뎁스 이미지를 분석하여 이에 포함된 오브젝트를 타겟정보 DB(31)에 저장된 타겟정보와 비교하여 일치하는 타겟정보를 추출하는 방식으로 오브젝트를 타겟으로 인식하고 인식된 오브젝트의 타겟정보를 AR 영상 처리부(50)에 전송하며, 인식된 오브젝트의 타겟정보를 타겟위치트랙킹부(40)로 전송하는 타겟인식처리부(34)를 포함하며, 상기 오브젝트의 타겟정보에는 타겟의 아이디와 타겟의 특징점 정보가 포함되어, 상기 AR 영상 처리부(50)로 타겟의 아이디가 타겟정보로 전송되는 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스.
6. 제5 항에 있어서,
   상기 특징점 정보는 오브젝트의 뎁스 이미지의 뎁스 값으로 구성된 것을 특징으로 하는 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스.
7. 제5 항에 있어서,
   상기 뎁스 이미지 처리부(30)는 사용자I/F부의 사용자의 제어명령에 따라 오브젝트의 타겟정보를 생성하여 타겟정보 DB(31)에 저장하는 타겟등록처리부(35)를 더 포함하는 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스.
8. 제5 항에 있어서,
   상기 타겟위치트랙킹부(40)는 상기 오브젝트의 뎁스 이미지와 인식된 오브젝트의 타겟정보를 기초로 실시간으로 해당 오브젝트의 타겟의 위치 정보를 연산하여 타겟의 위치 변화를 트랙킹하며, 변화되는 타겟의 위치정보를 생성하며, 생성된 타겟의 위치정보를 타겟위치트랙킹정보생성부(42)에 전송하는 타겟위치연산부(41), 및 상기 타겟의 위치정보를 포함하는 타겟위치트랙킹정보를 생성하여 AR 영상 처리부(50)에 전송하는 타겟위치트랙킹정보생성부(42)를 포함하여 구성되는 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스.
9. 제8 항에 있어서,
   상기 타겟위치트랙킹부(40)는 촬영 영상의 뎁스 이미지로부터 인식된 오브젝트인 타겟의 기울기 값을 연산하는 기울기 값 연산부(43)를 더 포함하여 구성되어 상기 타겟위치트랙킹정보생성부(42)는 타겟의 위치정보에 연산된 타겟의 기울기 값을 포함하여 타겟위치트랙킹정보를 생성하는 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스.
10. 제9 항에 있어서,
    상기 기울기 값의 연산은 오브젝트의 뎁스 이미지의 각 픽셀의 뎁스 값의 비교를 통해 수행되는 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스.
11. 제9 항에 있어서,
    상기 기울기 값 연산부(43)는 모바일 기기의 동작센서정보처리부(80)로부터 모바일 기기의 기울기 값을 수신하여, 타겟의 기울기 값을 보정하는 타겟의 기울기 보정 값을 생성하여 타겟위치트랙킹정보생성부(42)에 전송하며, 타겟위치트랙킹정보생성부(42)는 타겟의 위치정보에 타겟의 기울기 보정 값을 타겟의 기울기 값으로 포함하여 타겟위치트랙킹정보를 생성하는 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스
12. 제8 항에 있어서,
    AR 영상 처리부(50)는
    인식된 오브젝트인 타겟 상에 맵핑될 이미지인 3D객체가 타겟 아이디와 연관되어 저장된 3D객체 DB(51),
    촬영 이미지수신처리부(22)로부터 증강현실 데이터처리 모드 시 촬영 이미지를 수신하여 AR 디스플레이처리부(60)로 전송하는 촬영 이미지 수신부(52),
    타겟인식처리부(34)로부터 인식된 오브젝트인 타겟의 아이디를 수신하여 3D객체 DB(51)를 검색하여 타겟의 아이디에 연관된 오브젝트인 타겟 상에 맵핑될 이미지인 3D객체를 호출하여 AR 디스플레이처리부(60)로 전송하는 타겟정보수신부(53), 및
    타겟위치트랙킹정보생성부(42)로부터 상기 타겟의 위치정보를 포함하는 타겟위치트랙킹정보를 실시간으로 수신하여 AR 디스플레이처리부(60)로 전송하는 타겟트랙킹정보처리부(54)를 포함하여 구성되는 뎁스 이미지를 이용한 마커리스 증강현실 데이터처리 디바이스.
13. 뎁스 이미지를 이용한 증강현실 데이터처리방법에 있어서,
    영상촬영장치부(10)의 영상 촬영을 제어하며, 상기 영상촬영장치부(10)로부터 촬영 영상의 뎁스 이미지를 수신하는 뎁스 이미지 수신단계(S110),
    수신된 뎁스 이미지에 포함된 오브젝트를 타겟정보 DB(31)에 저장된 타겟정보와 비교하여 일치하는 타겟정보를 갖는 타겟을 검색하여 오브젝트인 타겟을 인식하고, 인식된 오브젝트인 타겟의 아이디를 포함하는 타겟정보를 생성하여 출력하는 타겟 인식단계(S120),
    상기 타겟 인식단계(S120)에서 뎁스 이미지와 인식된 오브젝트의 타겟정보를 기초로 실시간으로 해당 오브젝트의 타겟의 위치정보를 연산하여 타겟 위치의 변화를 트랙킹하며, 변화되는 위치정보를 포함하는 타겟위치트랙킹정보를 생성하여 출력하는 타겟 위치트랙킹단계(S130),
    인식된 오브젝트인 타겟의 아이디를 수신하여 3D객체 DB(51)를 검색하여 타겟의 아이디에 연관된 타겟 상에 맵핑될 이미지인 3D객체를 호출하고, 수신되는 촬영 이미지에 호출한 3D객체를 맵핑하는 과정으로, 수신되는 타겟위치트랙킹정보에 따라 3D객체를 촬영 이미지상에 맵핑하여 합성하는 3D객체 맵핑단계(S140), 및
    상기 타겟위치트랙킹정보에 따라 맵핑하여 합성되는 증강현실 영상을 실시간 렌더링하여 디스플레이하는 AR 영상 생성단계(S150)를 포함하여 수행되는 뎁스 이미지를 이용한 증강현실 데이터처리방법.
14. 제13 항에 있어서,
    타겟정보 DB(31)에 타겟정보를 사전 설정하여 저장하는 타겟 DB 구성단계(S100)를 더 포함하여 수행되는 뎁스 이미지를 이용한 증강현실 데이터처리방법.
15. 제13 항에 있어서,
    상기 타겟위치트랙킹 단계(S130)에서 모바일 기기의 기울기 값을 이용하여 타겟위치트랙킹정보를 보정함으로써 해당 객체의 타겟 위치의 변화를 가상적으로 트랙킹하는 뎁스 이미지를 이용한 증강현실 데이터처리방법.

Images