KR20130095488A

KR20130095488A - 스마트기기에서 증강현실을 이용한 3차원 모델 제공장치 및 방법

Info

Publication number: KR20130095488A
Application number: KR1020120016962A
Authority: KR
Inventors: 정도성
Original assignee: 국민대학교산학협력단
Priority date: 2012-02-20
Filing date: 2012-02-20
Publication date: 2013-08-28

Abstract

본 발명은 스마트기기에서 증강현실을 통해 현실세계의 실제객체에 대응하는 가상의 3차원 모델을 제공하여 그 3차원 모델에 대한 편집이 가능하도록 하는 스마트기기에서 3차원 모델 제공장치 및 제공방법에 관한 것이다.
본 발명에 따른 스마트기기에서 증강현실을 이용한 3차원 모델 제공장치는, 미리 설정된 규칙을 포함하는 마커(marker); 상기 마커의 설정된 규칙에 대응하는 다수의 가상의 3차원 모델을 저장하는 데이터베이스(DB); 스마트기기에 장착되며 실제 환경 및 상기 마커를 촬영하는 카메라; 상기 스마트기기에서의 증강현실 모드에서 상기 카메라에 의해 상기 마커를 포함한 실제 환경의 객체를 촬영하면 상기 실제 환경의 객체 이미지 및 증강현실을 이용하여 상기 마커의 설정된 규칙에 대응하는 다수의 3차원 모델을 상기 데이터베이스(DB)에서 검색하여 상기 스마트기기의 디스플레이에 제공하는 모델제공부; 상기 스마트기기의 디스플레이에 제공된 다수의 가상의 3차원 모델 중 하나를 선택하기 위한 입력/선택부; 및 상기 3차원 모델의 형상 및 색상을 편집하기 위한 편집부를 포함한다.

Description

스마트기기에서 증강현실을 이용한 3차원 모델 제공장치 및 방법{APPARATUS AND METHOD FOR PROVIDING THREE-DIMENSIONAL MODEL IN THE SMART DEVICE}

본 발명은 스마트기기에서 증강현실을 이용한 3차원 모델 제공장치 및 방법에 관한 것으로서, 특히 스마트기기에서 증강현실을 통해 현실세계의 실제객체에 대응하는 가상의 3차원 모델을 제공하여 그 3차원 모델에 대한 편집이 가능하도록 하는 스마트기기에서 3차원 모델 제공장치 및 제공방법에 관한 것이다.

최근 기능이 제한되어 있지 않고 애플리케이션(application) 프로그램을 통해 상당 부분 기능을 변경하거나 확장할 수 있는 스마트기기(smart device)에 대한 기술개발이 급격히 발전하고 있다. 대표적인 스마트기기로는 스마트폰과 스마트패드 등이 있다. 이러한 스마트기기의 기술발전에 따라 카메라와 디스플레이가 혼합된 증강현실(Augmented Reality: AR)이 점차 대중화되고 있다. 증강현실은 현실의 이미지에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술이다.

연구 초기에는 증강현실환경을 구성하는 방법과 실제 객체와 가상 객체를 일치하기 위한 등록문제가 주를 이루었고 사용자가 실제 체감할 수 없는 정보에 대한 지식을 전달하는 용도로 연구되었으나, 최근에는 단순한 지식전달 기능을 넘어 교육, 디자인, 관광, 산업분야 등 다양한 활용방안에 대하여 연구가 진행되고 있다

하지만, 디자인 분야에서의 종래기술의 경우 아직까지는 카메라를 이용하여 실제 이미지를 획득하고 그 획득된 실제 이미지를 직접 확인하면서 새로운 3차원 모델을 디자인하는 시도가 있을 뿐이므로 실제 제품이나 구조 등과 동일한 3차원 모델을 구현하는 데는 한계가 있다. 이 경우 특정 제품의 외관 형상(shape)을 기본으로 하여 새로운 3차원 모델을 응용하여 디자인하는 경우 그 특정 제품에 대한 외관 형상를 제시하지 못하므로 새로운 3차원 모델을 디지인하기가 어렵다는 문제점이 있다.

본 발명은 상기한 종래기술의 요구에 따라 제안된 것으로서, 스마트기기에서 증강현실을 통해 실제객체에 대응하는 가상의 3차원 모델을 제공하고 그 3차원 모델에 대한 편집기능을 제공할 수 있는 스마트기기에서 3차원 모델 제공장치 및 제공방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명에 따른 스마트기기에서 증강현실을 이용한 3차원 모델 제공장치는,

미리 설정된 규칙을 포함하는 마커(marker); 상기 마커의 설정된 규칙에 대응하는 다수의 가상의 3차원 모델을 저장하는 데이터베이스(DB); 스마트기기에 장착되며 실제 환경 및 상기 마커를 촬영하는 카메라; 상기 스마트기기에서의 증강현실 모드에서 상기 카메라에 의해 상기 마커를 포함한 실제 환경의 객체를 촬영하면 상기 실제 환경의 객체 이미지 및 증강현실을 이용하여 상기 마커의 설정된 규칙에 대응하는 다수의 3차원 모델을 상기 데이터베이스(DB)에서 검색하여 상기 스마트기기의 디스플레이에 제공하는 모델제공부; 상기 스마트기기의 디스플레이에 제공된 다수의 가상의 3차원 모델 중 하나를 선택하기 위한 입력/선택부; 및 상기 3차원 모델의 형상 및 색상을 편집하기 위한 편집부를 포함한다.

본 발명에서, 상기 가상의 3차원 모델은 육면체, 원기둥, 구(sphere) 형상의 프레임으로 제공된다.

본 발명에서, 상기 편집부는 상기 디스플레이에 제공된 가상의 3차원 모델의 반경(radius), 높이(high), 챔퍼(chamfer), 색상(color) 중 적어도 하나 이상에 대한 편집을 수행한다.

또한, 상기 목적을 달성하기 위한 본 발명에 따른 스마트기기에서 증강현실을 이용한 3차원 모델 제공방법은,

스마트기기에 장착된 카메라를 이용하여 실제 환경의 객체 및 미리 설정된 규칙을 포함하는 마커(marker)를 촬영하는 단계; 상기 스마트기기의 디스플레이에 상기 객체의 이미지와 함께 상기 마커의 규칙에 대응하는 3차원 모델을 다수의 3차원 모델을 저장하는 데이터베이스(DB)로부터 검색하여 증강현실 애플리케이션을 이용하여 표시하는 단계; 상기 디스플레이에 상기 3차원 모델에 대한 편집기능을 표시하는 단계; 및 상기 표시된 편집기능을 이용하여 상기 표시된 3차원 모델의 반경(radius), 높이(high), 챔퍼(chamfer), 색상(color) 중 적어도 하나 이상에 대한 편집을 수행하는 단계를 포함한다.

본 발명에서, 상기 3차원 모델은 육면체, 원기둥, 구(sphere) 형상의 프레임으로 표시된다.

본 발명에 의하면 스마트기기에서 증강현실을 통해 실제 객체의 이미지를 제공하고 그 실제 객체의 형상(shape)에 대응하는 가상의 3차원 모델을 제공함으로써 실제객체에 대해 보다 쉽게 디자인할 수 있도록 한다.

또한, 본 발명에 의하면 스마트기기에서 증강현실을 통해 획득된 실제 객체의 형상에 따른 가상의 3차원 모델을 다수 개로 설정하여 제공할 수 있으므로 디자인 구현시 다양한 형태로 변형이 가능하다.

나아가, 본 발명에 의하면 실제 제품을 디자인하는 경우 그 제품에 대응하는 가상의 3차원 모델을 제공함으로써 더 현실성 있고 리얼감을 줄 수 있다.

도 1은 본 발명의 실시 예에 따른 스마트기기에서 증강현실을 이용한 3차원 모델 제공장치의 구성도.
도 2는 본 발명에 따른 스마트기기에서 증강현실을 구현하기 위한 마커의 일 예시도.
도 3은 본 발명에 따른 스마트기기에서의 3차원 모델의 예시도.
도 4는 본 발명의 실시 예에 따른 스마트기기에서의 3차원 모델 제공을 위한 예시도.
도 5는 본 발명의 실시 예에 따른 스마트기기에서 증강현실을 이용한 3차원 모델 제공방법의 흐름도.

본 발명은 다양한 변경이 가능하고 여러 가지의 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 예에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

도 1은 본 발명의 실시 예에 따른 스마트기기에서 증강현실을 이용한 3차원 모델 제공장치의 구성도이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 3차원 모델 제공장치(100)는 마커(marker)(110), 입력/선택부(120), 카메라(130), 모델제공부(140), 편집부(150), 데이터베이스(DB:database)(160) 및 제어부(170)를 포함하여 구성된다.

마커(marker)(110)는 증강현실을 실현하기 위하여 인위적으로 생성된 표식의 일종으로서 이러한 표식은 미리 설정된 규칙을 포함한다. 이러한 마커(110)는 카메라(130)로 판독함으로써 미리 설정된 규칙에 대응하는 증강현실에 따른 가상 모델을 제공하도록 하기 위한 것이다. 이때, 본 실시 예에서 마커(110)는 문자, 기호, 도형 또는 이들의 조합으로 구현될 수 있으며 이들 문자, 기호, 도형 또는 이들 조합의 형태, 크기, 배열, 색상 등이 미리 설정된 규칙에 따라 형성될 수 있다.

여기서, 본 발명은 이러한 마커(110)에 인위적인 표식에 한정되지 않고 다양한 객체로 구현될 수도 있다. 예컨대, 책표지, 사진 등과 같은 자연객체로 구현될 수도 있다. 본 발명의 다른 실시 예에서는 이러한 자연객체를 카메라(130)로 판독해 이에 대응하는 방식으로 증강현실을 구현할 수도 있다. 더 나아가, 본 발명의 또 다른 실시 예에서는 손가락 등과 같이 비정형화된 객체로도 마커(110)를 구현할 수도 있다.

입력/선택부(120)는 스마트기기에서 사용자로부터 다양한 명령 및 정보를 입력받고 원하는 정보 및 데이터를 선택하기 위해 마련된다. 이로써, 사용자는 입력/선택부(120)를 이용하여 스마트기기에서 사용자정보, 애플리케이션 실행, 각종 명령을 입력하고 다수의 기능을 선택할 수 있다. 이러한 입력/선택부(120)는 예컨대, 키보드, 터치패드, 음성인식, 마우스, 터치스크린 등으로 구현될 수 있다.

데이터베이스(DB)(160)는 마커(110)의 설정된 규칙에 대응하는 다수의 가상의 3차원 모델을 저장한다. 이러한 가상의 3차원 모델은 다양한 형태를 포함한다. 예컨대, 본 실시 예에서는 육면체, 원기둥, 구(sphere) 형상의 프레임으로 제공될 수 있다.

카메라(130)는 스마트기기에 장착되며 주변환경에 대한 영상 및 이미지를 촬영한다. 특히, 본 실시 예에서는 실제 환경의 객체 및 마커(110)를 동시에 또는 선택적으로 촬영하도록 한다.

모델제공부(140)는 스마트기기에서 증강현실 구현을 위해 카메라(130)에 의해 마커(110)를 포함한 실제 환경의 객체를 촬영하면 실제 환경의 객체 이미지 및 증강현실을 통해 마커(110)의 설정된 규칙에 대응하는 가상의 3차원 모델을 데이터베이스(DB)(160)에서 검색하여 스마트기기의 디스플레이에 제공한다. 다시 말하면 실제 환경에 존재하는 객체는 물론이고, 증강현실을 통해 마커(110)의 규칙에 대응하는 3차원 가상 모델을 디스플레이에 표시하도록 하는 것이다. 증강현실은 스마트기기에서 애플리케이션(application) 프로그램으로 구현됨이 바람직하며, 본 실시 예에서는 디스플레이에 증강현실을 구현하는 기술에서만 카메라(130)가 작동하도록 설정됨이 바람직하다. 이때, 증강현실 애플리케이션을 구현하기 위해 카메라(130)를 통해 특정 코드를 인식할 수 있는 마커(110)가 필요하다.

편집부(150)는 스마트기기의 디스플레이에 제공된 가상의 3차원 모델의 형상 및 색상을 편집하기 위한 것이다. 이러한 편집부(150)는 디스플레이에 제공된 3차원 모델의 반경(radius), 높이(high), 챔퍼(chamfer), 색상(color) 등에 대한 편집을 수행할 수 있다. 이는 가상의 3차원 모델을 원하는 형태로 디자인하기 위한 것이다.

제어부(170)는 스마트기기의 전반적인 동작을 제어하며, 특히 본 실시 예에 따른 증강현실 및 가상의 3차원 모델제공을 위해 각 기능부들의 동작을 각각 제어한다.

도 2는 본 발명에 따른 스마트기기에서 증강현실을 구현하기 위한 마커의 일 예시도이다.

도 2의 일례를 참조하면, 본 발명의 일 실시 예에 따른 마커(110)는 미리 설정된 규칙에 따라 일정한 모양으로 구현된다. 스마트기기에서 증강현실 애플리케이션을 실행하는 경우 이러한 마커(110)를 카메라(130)를 통해 촬영하게 되면 그 마커(110)에 대응하는 가상의 3차원 모델을 증강현실을 통해 스마트기기의 디스플레이에 제공하도록 한다. 도 2에서는 일례로서 다수의 흑백의 도형으로 마커(110)를 도시하고 있으나, 다른 실시 예에서는 문자나 기호 등으로 구현될 수도 있으며, 이들은 형태, 크기, 배열, 색상 등이 미리 설정된 규칙에 따라 구현됨이 바람직하다.

한편, 상기한 바와 같이 본 발명의 다른 예에서는 문자, 기호, 도형 또는 이들의 조합 외에도 책표지, 사진, 그림 등과 같은 자연객체로도 마커(110)를 구현할 수도 있고, 손가락 등과 같은 비정형화된 객체로도 물론 구현할 수도 있음을 밝혀둔다.

도 3은 본 발명에 따른 스마트기기에서의 3차원 모델의 예시도이다.

도 3의 (a)는 3차원 모델의 예시도이고, (b)는 스마트폰에서 디스플레이되는 가상의 3차원 모델의 예시도이며, (c)는 스마트패드에서 증강현실을 통해 디스플레이되는 가상의 3차원 모델의 예시도이다.

먼저, 도 3의 (a)에서는 스마트기기에서 증강현실을 통해 디스플레이 하기 위한 3차원 모델로서, 이러한 3차원 모델의 형상은 디자인하고자 하는 실제 환경의 객체 이미지를 기본적인 프레임이다. 이러한 3차원 모델은 예컨대 육면체, 원기둥, 구(sphere) 형상의 프레임으로 제공되며 각각 제품, 환경 및 컨트롤의 카테고리별로 구분된다. 일례로 도면부호 31로 표시된 3차원 모델은 휴대폰에 대응하는 기본 형상을 가지므로 휴대폰을 디자인하는데 이용될 수 있으며, 또한 도면부호 32로 표시된 3차원 모델은 세탁기에 대응하는 기본 형상으로서 세탁기를 디자인하는데 이용될 수 있다. 이와 같이 실제로 존재하는 객체에 대응하는 각각의 3차원 모델은 스마트기기에서 디자인하기 위해 회전, 가공, 수정, 삭제, 추가 등의 각종 편집이 가능함은 물론이다.

도 3의 (b)는 실제 스마트폰에 디스플레이되는 가상의 3차원 모델로서 우측에 표시된 다수의 3차원 모델 중 선택된 하나를 나타내고 있다. 이러한 3차원 모델은 예컨대 휴지통, 볼라드, 가로등, 망원경 등을 디자인할 때 적용될 수 있다.

도 3의 (c)는 실제 스마트패드에서 마커(110)를 촬영하고 증강현실 애플리케이션을 실행하여 마커(110)의 설정된 규칙에 대응하는 가상의 3차원 모델을 디스플레이하는 일례를 도시하고 있다. 도 3의 (c)를 참조하면, 실제 환경에서는 3개의 휴대폰(31a,32a,33a)과 마커(110)가 놓여있고, 이를 스마트기기(34)의 카메라(미도시)를 이용하여 촬영하고 있다. 이때, 스마트기기(34)의 디스플레이에는 3개의 휴대폰(31a,32a,33a)에 대해서는 각각의 이미지(31b,32b,33b)가 표시되고 마커(110)에 대해서는 증강현실을 통해 3차원 모델(310)로 표시됨을 알 수 있다.

한편, 본 실시 예에서 다수의 3차원 모델은 각각 제품, 환경 및 컨트롤의 카테고리별로 구분됨이 바람직하다. 이러한 제품, 환경, 컨트롤은 바람직하게는 일상생활에 사용되는 형상을 기본으로 하고 있다. 예컨대, 제품의 카테고리는 TV, 컴퓨터, 주방가전, 생활가전, 디지털기기 형상의 프레임을 포함하고, 환경의 카테고리는 편의시설, 공급시설, 정보매체 형상의 프레임을 포함하며, 컨트롤의 카테고리는 다이얼, 버튼, 슬라이드 형상의 프레임을 포함한다. 물론, 본 발명은 이에 한정되지 않고 다양한 형상의 프레임을 더 포함할 수도 있다.

도 4는 본 발명의 실시 예에 따른 스마트기기에서 편집한 3차원 모델의 예시도이다.

도 4를 참조하면, 좌측에는 기본적인 3차원 모델을 디스플레이하고 있고 우측에는 이에 대하여 편집을 수행한 결과를 도시하고 있다. 좌측의 A부분이 우측의 A'로 수정된 것을 확인할 수 있다. 이러한 편집은 애플리케이션을 통해 구현이 가능하다. 본 실시 예에서는 반경(radius), 높이(high), 챔퍼(chamfer), 색상(color) 중 적어도 하나 이상의 편집이 가능하도록 설정하였으며, 도 4에서는 일례로서 챔퍼(chamfer)의 편집기능을 이용하여 A'와 같은 편집을 수행한 예를 도시하고 있다.

도 5는 본 발명의 실시 예에 따른 스마트기기에서 증강현실을 이용한 3차원 모델 제공방법의 흐름도이다.

도 5를 참조하면, 본 발명에 따른 스마트기기에서 증강현실을 이용한 3차원 모델 제공방법에서는 스마트기기에서 증강현실 애플리케이션을 실행하고(S101), 스마트기기에 장착된 카메(130)라를 이용하여 실제 환경의 객체 및 미리 설정된 규칙을 포함하는 마커(marker)(110)를 촬영한다(S103).

이와 같이 촬영된 객체 및 마커(110)에 대한 이미지는 스마트기기의 디스플레이에 다르게 표시되는데, 실제 환경의 객체에 대해서는 그 형상 그대로의 이미지가 표시되지만 마커(110)에 대해서는 미리 설정된 규칙에 대응하는 3차원 모델이 표시된다(S105). 이는 스마트기기에 미리 설치된 증강현실 애플리케이션의 실행에 의해 구현됨이 바람직하다. 이러한 증강현실 애플리케이션 및 구현기술은 공지기술이므로 상세설명은 생략한다. 여기서, 증강현실을 이용한 3차원 모델의 표시과정은 다수의 3차원 모델을 미리 저장하고 있는 데이터베이스(DB)(160)로부터 상기 규칙에 대응하는 3차원 모델을 검색하여 표시하도록 한다. 본 실시 예에서 바람직하게는 3차원 모델은 육면체, 원기둥, 구(sphere) 형상의 프레임으로 표시된다.

계속해서, 스마트기기의 디스플레이에는 상기 표시된 3차원 모델에 대한 적어도 하나 이상의 편집기능을 표시한다(S107). 본 실시 예에서는 일례로 3차원 모델의 반경(radius), 높이(high), 챔퍼(chamfer), 색상(color) 중 적어도 하나 이상의 편집기능을 제공한다. 이어, 상기 표시된 편집기능을 이용하여 3차원 모델을 편집한다(S109).

이상에서 설명한 본 발명은 바람직한 실시 예들을 통하여 상세하게 설명되었지만, 본 발명은 이러한 실시 예들의 내용에 한정되는 것이 아님을 밝혀둔다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 비록 실시 예에 제시되지 않았지만 첨부된 청구항의 기재 범위 내에서 다양한 본 발명에 대한 모조나 개량이 가능하며, 이들 모두 본 발명의 기술적 범위에 속함은 너무나 자명하다 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

최근 증강현실 기술은 교육, 디자인, 관광, 산업분야 등 다양한 활용방안에 대하여 연구가 진행되고 있다. 특히 디자인 분야에서는 실제 환경의 객체를 확인하면서 새로운 제품 또는 응용부분을 디자인하는 경우 실제 환경의 객체와 증강현실을 통해 제공하는 가상의 3차원 모델을 함께 확인하면서 디자인함으로써 보다 정확하고 쉽고 편리하게 제품을 디자인할 수 있게 된다.

이러한 측면에서 볼 때, 본 발명은 스마트기기에서 증강현실을 통해 실제 환경의 객체 이미지를 제공하고 그 객체의 형상(shape)에 대응하는 가상의 3차원 모델을 제공함으로써 쉽게 디자인할 수 있도록 한다. 따라서, 본 발명은 산업디자인 분야에서 매우 유용하게 적용될 수 있다.

110 : 마커(marker) 120 : 입력/선택부
130 : 카메라 140 : 모델제공부
150 : 편집부 160 : 데이터베이스(DB)
170 : 제어부

Claims

미리 설정된 규칙을 포함하는 마커(marker);
상기 마커의 설정된 규칙에 대응하는 다수의 가상의 3차원 모델을 저장하는 데이터베이스(DB);
스마트기기에 장착되며 실제 환경 및 상기 마커를 촬영하는 카메라;
상기 스마트기기에서의 증강현실 모드에서 상기 카메라에 의해 상기 마커를 포함한 실제 환경의 객체를 촬영하면 상기 실제 환경의 객체 이미지 및 증강현실을 이용하여 상기 마커의 설정된 규칙에 대응하는 다수의 3차원 모델을 상기 데이터베이스(DB)에서 검색하여 상기 스마트기기의 디스플레이에 제공하는 모델제공부;
상기 스마트기기의 디스플레이에 제공된 다수의 가상의 3차원 모델 중 하나를 선택하기 위한 입력/선택부; 및
상기 3차원 모델의 형상 및 색상을 편집하기 위한 편집부; 를 포함하는 스마트기기에서 증강현실을 이용한 3차원 모델 제공장치.
제1항에 있어서,
상기 가상의 3차원 모델은 육면체, 원기둥, 구(sphere) 형상의 프레임으로 제공되는 것을 특징으로 하는 스마트기기에서 증강현실을 이용한 3차원 모델 제공장치.
제1항에 있어서, 상기 편집부는,
상기 디스플레이에 제공된 가상의 3차원 모델의 반경(radius), 높이(high), 챔퍼(chamfer), 색상(color) 중 적어도 하나 이상에 대한 편집을 수행하는 것을 특징으로 하는 스마트기기에서 증강현실을 이용한 3차원 모델 제공장치.
스마트기기에 장착된 카메라를 이용하여 실제 환경의 객체 및 미리 설정된 규칙을 포함하는 마커(marker)를 촬영하는 단계;
상기 스마트기기의 디스플레이에 상기 객체의 이미지와 함께 상기 마커의 규칙에 대응하는 3차원 모델을 다수의 3차원 모델을 저장하는 데이터베이스(DB)로부터 검색하여 증강현실 애플리케이션을 이용하여 표시하는 단계;
상기 디스플레이에 상기 3차원 모델에 대한 편집기능을 표시하는 단계; 및
상기 표시된 편집기능을 이용하여 상기 표시된 3차원 모델의 반경(radius), 높이(high), 챔퍼(chamfer), 색상(color) 중 적어도 하나 이상에 대한 편집을 수행하는 단계; 를 포함하는 스마트기기에서 증강현실을 이용한 3차원 모델 제공방법.
제4항에 있어서,
상기 3차원 모델은 육면체, 원기둥, 구(sphere) 형상의 프레임으로 표시됨을 특징으로 하는 스마트기기에서 증강현실을 이용한 3차원 모델 제공방법.