KR20130137074A

KR20130137074A - 3차원 지도를 이용한 증강 정보 제공 장치 및 방법

Info

Publication number: KR20130137074A
Application number: KR1020130027752A
Authority: KR
Inventors: 정진회; 이공욱; 백성환; 신대규; 이준호; 조익환
Original assignee: 삼성전자주식회사
Priority date: 2012-06-06
Filing date: 2013-03-15
Publication date: 2013-12-16

Abstract

본 발명에 따른 3차원 지도를 이용한 증강 정보 제공 장치는, 카메라와, 상기 카메라를 통하여 실시간으로 획득되며 제1 객체가 포함되는 현재 영상을 표시하는 디스플레이, 및 상기 실시간으로 획득되는 현재 영상과 상기 제1 객체를 미리 촬영하여 저장된 실사 3차원 이미지를 혼합하여 상기 디스플레이에 표시되도록 제어하는 제어부를 포함하는 것을 특징으로 한다.

Description

3차원 지도를 이용한 증강 정보 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY INFORMATION BY USING 3 DIMENSION MAP}

본 발명은 카메라를 이용한 증강 현실(Augmented Reality, AR) 제공 장치 및 방법에 관한 것으로서, 특히 3차원 지도(3 Dimension Map)를 이용한 증강 정보 제공 장치 및 방법에 관한 것이다.

최근 모바일(mobile) 장치에서 제공하는 다양한 서비스 및 부가 기능들이 점차 확대되고, 그 중에서도 카메라 기능은 필수적인 기능으로 여겨지고 있다. 이러한 모바일 장치의 효용 가치를 높이고 사용자들의 다양한 욕구를 만족시키기 위해서 카메라를 구비한 모바일 장치와 이러한 이동 단말기의 다양한 서비스 및 부가 기능들을 접목시키는 활용이 필요하다. 이러한 활용의 한 예로써, 사용자에게 카메라 영상 내의 객체에 대한 각종 다양한 정보를 보여주는 방법이 있으며, 이를 위해 증강 현실 기술이 적용될 수 있다.

일반적으로, 증강 현실은 현실 세계를 바탕으로 사용자가 표현하고자 하는 가상 객체를 결합하는 것을 의미한다. 즉, 실제 환경에 가상의 사물을 결합하여 원래의 환경에 존재하는 물체인 것처럼 표현을 하는 것이다. 사용자의 카메라의 위치나 포즈가 변하거나 가상 객체를 입힐 현실 속의 객체가 움직이더라도 가상 객체를 오차없이 정확한 위치에 증강시켜야 하기 때문에 최근에는 실시간 영상 인식 기술이 많이 활용되는 추세이다.

기존의 증강 현실 서비스들은 현재 촬영 중인 카메라 영상과 미리 저장된 데이터베이스 영상들을 비교함으로써 추출된 증강 정보를 카메라 영상 위에 증강하여 보여 주는 것을 기본으로 하고 있다. 그러나, 위와 같이 기존의 증강 현실 서비스는 카메라를 통하여 획득되는 실시간 영상을 활용하기 때문에 카메라의 시야(Field Of View, FOV)에 의한 제약을 받는다. 예를 들어, 상기 카메라를 휴대하는 모바일 장치의 사용자가 수많은 빌딩들이 위치한 도심 거리를 지나가고 있을 경우, 상기 카메라는 상기 카메라의 렌즈가 향하는 방향의 맨 앞에 있는 빌딩만을 촬영할 수 있을 뿐, 상기 맨 앞의 빌딩에 의해 가려진 다른 건물 또는 거리는 촬영할 수 없게 된다. 이에 따라, 상기 맨 앞의 빌딩 뒤에 위치하는 다른 건물 또는 거리에 대한 정보는 사용자에게 제공되지 못하며, 이들에 대한 증강 정보 역시 제공되지 못하는 문제가 있다.

본 발명의 목적은 3D 지도를 이용하여 카메라를 통하여 획득되는 현재 영상에 포함된 객체들에 대한 다양한 정보를 제공할 수 있는 장치 및 방법을 제공함에 있다.

또한 본 발명의 다른 목적은 3D 지도를 이용하여 카메라를 통하여 획득되는 현재 영상에 포함된 객체들에 대하여 증강 정보를 제공할 수 있는 장치 및 방법을 제공함에 있다.

상기와 같은 본 발명의 목적들 중 적어도 하나는 하기의 구성요소들에 의해 달성될 수 있다.

또한, 본 발명에 따른 3차원 지도를 이용한 증강 정보 제공 방법은, 상기 모바일 장치에 고정된 카메라를 이용하여 제1 객체가 포함되는 현재 영상을 실시간으로 획득하는 단계와, 상기 실시간으로 획득되는 현재 영상과 상기 제1 객체를 미리 촬영하여 저장된 실사 3차원 이미지를 혼합하여 상기 디스플레이에 표시하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 3D 지도를 이용하여 카메라를 통하여 획득되는 현재 영상에 포함된 객체들에 대한 다양한 정보를 제공할 수 있는 이점이 있다.

본 발명에 따르면, 3D 지도를 이용하여 카메라를 통하여 획득되는 현재 영상 내에서 차량의 주행 경로를 명확하게 표시할 수 있는 이점이 있다.

또한 본 발명에 따르면 3D 지도를 이용하여 카메라를 통하여 획득되는 현재 영상에 포함된 객체들 중 사용자의 관심 객체를 다른 객체가 가리고 있더라도 상기 관심 객체에 대한 증강 정보를 효율적으로 제공할 수 있는 이점이 있다.

도 1은 본 발명의 일 실시예에 따른 모바일 장치를 나타내는 개략적인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 모바일 장치의 사시도이다.
도 3은 본 발명의 일 실시예에 따른 실사 3D 맵 제공부의 구성을 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 3차원 지도를 이용한 증강 정보 제공 방법을 설명하기 위한 개략적인 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 3차원 지도를 이용한 증강 정보 제공 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 3차원 지도를 이용한 증강 정보 제공 방법을 설명하기 위한 도면이다.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 다만, 본 발명이 예시적 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.

도 1은 본 발명의 일 실시예에 따른 모바일 장치를 나타내는 개략적인 블록도이다.

도 1을 참조하면, 장치(100)는 이동통신 모듈(120), 서브통신 모듈(130) 및 커넥터(165)를 이용하여 외부장치(도시되지 아니함)와 연결될 수 있다. “외부장치”는 다른 장치(도시되지 아니함), 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC(도시되지 아니함) 및 서버(도시되지 아니함)를 포함한다.

도 1을 참조하면, 장치(100)는 터치스크린(190) 및 터치스크린 컨트롤러(195)를 포함한다. 또한, 장치(100)는 제어부(110), 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 저장부(175) 및 전원공급부(180)를 포함한다. 서브통신 모듈(130)은 무선랜 모듈(131) 및 근거리통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오재생 모듈(142) 및 동영상재생 모듈(143) 중 적어도 하나를 포함한다. 카메라 모듈(150)은 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함하고, 입/출력 모듈(160)은 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 및 키패드(166) 중 적어도 하나를 포함한다.

제어부(110)는 CPU(111), 장치(100)의 제어를 위한 제어프로그램이 저장된 롬(ROM, 112) 및 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 장치(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부버스(bus)를 통해 상호 연결될 수 있다.

제어부(110)는 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS 모듈(155), 입/출력 모듈(160), 센서 모듈(170), 저장부(175), 전원공급부(180), 터치스크린(190) 및 터치스크린 컨트롤러(195)를 제어할 수 있다.

이동통신 모듈(120)은 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 장치(100)가 외부 장치와 연결되도록 한다. 이동통신 모듈(120)은 장치(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다.

서브통신 모듈(130)은 무선랜 모듈(131)과 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리통신 모듈(132)만 포함하거나 또는 무선랜 모듈(131)과 근거리통신 모듈(132)을 모두 포함할 수 있다.

무선랜 모듈(131)은 제어부(110)의 제어에 따라 무선 AP(access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리통신 모듈(132)은 제어부(110)의 제어에 따라 장치(100)와 화상형성장치(도시되지 아니함) 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association) 등이 포함될 수 있다.

장치(100)는 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 장치(100)는 성능에 따라 이동통신 모듈(120), 무선랜 모듈(131), 및 근거리통신 모듈(132)들의 조합을 포함할 수 있다.

멀티미디어 모듈(140)은 방송통신 모듈(141), 오디오재생 모듈(142) 또는 동영상재생 모듈(143)을 포함할 수 있다. 방송통신 모듈(141)은 제어부(110)의 제어에 따라 방송통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 오디오재생 모듈(142)는 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 동영상 파일(예, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 재생할 수 있다. 동영상재생 모듈(143)은 디지털 오디오 파일을 재생할 수 있다.

멀티미디어 모듈(140)은 방송통신 모듈(141)을 제외하고 오디오재생 모듈(142)과 동영상재생 모듈(143)을 포함할 수 있다. 또한, 멀티미디어 모듈(140)의 오디오재생 모듈(142) 또는 동영상재생 모듈(143)은 제어부(100)에 포함될 수 있다.

카메라 모듈(150)은 제어부(110)의 제어에 따라 정지이미지 또는 동영상을 촬영하는 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함할 수 있다. 또한, 제1 카메라(151) 또는 제2 카메라(152)는 촬영에 필요한 광량을 제공하는 보조 광원(예, 플래시(도시되지 아니함))를 포함할 수 있다. 제1 카메라(151)는 상기 장치(100) 전면에 배치되고, 제2 카메라(152)는 상기 장치(100)의 후면에 배치될 수 있다. 달리 취한 방식으로, 제1 카메라(151)와 제2 카메라(152)는 인접(예, 제1 카메라(151)와 제2 카메라(152)의 간격이 1 cm 보다 크고, 8 cm 보다는 작은)하게 배치되어 3차원 정지이미지 또는 3차원 동영상을 촬영할 수 있다.

GPS 모듈(155)은 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 장치(100)까지 전파도달시간(Time of Arrival)을 이용하여 장치(100)의 위치를 산출할 수 있다.

입/출력 모듈(160)은 복수의 버튼(161), 마이크(162), 스피커(163), 진동모터(164), 커넥터(165), 및 키패드(166) 중 적어도 하나를 포함할 수 있다.

버튼(161)은 상기 장치(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼(도시되지 아니함), 볼륨버튼(도시되지 아니함), 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼(161) 중 적어도 하나를 포함할 수 있다.

마이크(162)는 제어부(110)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다.

스피커(163)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140) 또는 카메라 모듈(150)의 다양한 신호(예, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 장치(100) 외부로 출력할 수 있다. 스피커(163)는 장치(100)가 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(163)는 상기 장치(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.

진동모터(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 장치(100)는 다른 장치(도시되지 아니함)로부터 음성통화가 수신되는 경우, 진동모터(164)가 동작한다. 상기 장치(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동모터(164)는 터치스크린(190) 상을 터치하는 사용자의 터치 동작 및 터치스크린(190) 상에서의 터치의 연속적인 움직임에 응답하여 동작할 수 있다.

커넥터(165)는 장치(100)와 외부장치(도시되지 아니함) 또는 전원소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 제어부(110)의 제어에 따라 커넥터(165)에 연결된 유선 케이블을 통해 장치(100)의 저장부(175)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)에서부터 데이터를 수신할 수 있다. 커넥터(165)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)에서부터 전원이 입력되거나 배터리(도시되지 아니함)를 충전할 수 있다.

키패드(166)는 장치(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 장치(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치스크린(190)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 장치(100)에 형성되는 물리적인 키패드(도시되지 아니함)는 장치(100)의 성능 또는 구조에 따라 제외될 수 있다.

센서 모듈(170)은 장치(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서모듈(170)은 사용자의 장치(100)에 대한 접근여부를 검출하는 근접센서, 장치(100) 주변의 빛의 양을 검출하는 조도센서(도시되지 아니함), 또는 장치(100)의 동작(예, 장치(100)의 회전, 장치(100)에 가해지는 가속도 또는 진동)을 검출하는 모션센서(도시되지 아니함)를 포함할 수 있다. 적어도 하나의 센서는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(110)로 전송할 수 있다. 센서모듈(170)의 센서는 장치(100)의 성능에 따라 추가되거나 삭제될 수 있다.

저장부(175)는 제어부(110)의 제어에 따라 이동통신 모듈(120), 서브통신 모듈(130), 멀티미디어 모듈(140), 카메라 모듈(150), GPS모듈(155), 입/출력 모듈(160), 센서 모듈(170), 터치스크린(190)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 장치(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다.

“저장부”라는 용어는 저장부(175), 제어부(110)내 롬(112), 램(113) 또는 장치(100)에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.

전원공급부(180)는 제어부(110)의 제어에 따라 장치(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 장치(100)에 전원을 공급한다. 또한, 전원공급부(180)는 커넥터(165)와 연결된 유선 케이블을 통해 외부의 전원소스(도시되지 아니함)에서부터 입력되는 전원을 장치(100)로 공급할 수 있다.

터치스크린(190)은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 유저 인터페이스를 제공할 수 있다. 터치스크린(190)은 유저 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다. 터치스크린(190)은 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 터치가능한 입력 수단(예, 스타일러스 펜)을 통해 적어도 하나의 터치를 입력받을 수 있다. 또한, 터치스크린(190)은 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력받을 수 있다. 터치스크린(190)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치스크린 컨트롤러(195)로 전송할 수 있다.

본 발명에서 터치는 터치스크린(190)과 사용자의 신체 또는 터치 가능한 입력 수단과의 접촉에 한정되지 않고, 비접촉(예, 터치스크린(190)과 사용자의 신체 또는 터치 가능한 입력 수단과 검출가능한 간격이 1 mm 이하)을 포함할 수 있다. 터치스크린(190)에서 검출가능한 간격은 장치(100)의 성능 또는 구조에 따라 변경될 수 있다.

터치스크린(190)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.

터치스크린 컨트롤러(195)는 터치스크린(190)에서부터 수신된 아날로그 신호를 디지털 신호(예, X와 Y좌표)로 변환하여 제어부(110)로 전송한다. 제어부(110)는 터치스크린 컨트롤러(195)로부터 수신된 디지털 신호를 이용하여 터치스크린(190)을 제어할 수 있다. 예를 들어, 제어부(110)는 터치에 응답하여 터치스크린(190)에 표시된 단축 아이콘(도시되지 아니함)이 선택되게 하거나 또는 단축 아이콘(도시되지 아니함)을 실행할 수 있다. 또한, 터치스크린 컨트롤러(195)는 제어부(110)에 포함될 수도 있다.

도 2는 본 발명의 일 실시예에 따른 모바일 장치의 사시도이다.

도 2를 참조하면, 장치(100)의 전면(100a) 중앙에는 터치스크린(190)이 배치된다. 상기 터치스크린(190)은 장치(100)의 전면(100a)의 대부분을 차지하도록 크게 형성된다. 장치(100)의 전면(100a) 가장자리에는 제1 카메라(151)와 조도 센서(170a)가 배치될 수 있다. 장치(100)의 측면(100b)에는 예를 들어 전원/리셋 버튼(160a), 음량 버튼(161b), 스피커(163), 방송 수신을 위한 지상파 DMB 안테나(141a), 마이크(미도시), 커넥터(미도시) 등이 배치되고, 장치(100)의 후면(미도시)에는 제2 카메라(미도시)가 배치될 수 있다.

상기 터치스크린(190)은 메인 화면(210) 및 하단 바(220)를 포함한다.

상기 메인 화면(210)은 하나 또는 복수의 어플리케이션들이 실행되는 영역이다. 도 2에서는, 상기 터치스크린(190)에 홈 화면이 표시된 예를 나타낸다. 홈 화면은 장치(100)의 전원을 켰을 때 상기 터치스크린(190) 상에 표시되는 첫 화면이다. 홈 화면에는 장치(100)에 저장된 다수의 어플리케이션을 실행하기 위한 실행키들(212)이 행들과 열들로 정렬되어 표시된다. 상기 실행키들(212)은 아이콘들, 버튼들, 또는 텍스트 등으로 형성될 수 있다. 각 실행키(212)가 터치되면, 터치된 실행키(212)에 대응하는 어플리케이션이 실행되어 상기 메인 화면(210)에 표시된다.

상기 하단 바(220)는 터치스크린(190)의 하단에서 수평방향으로 길게 신장되며(elongated), 표준 기능 버튼들(222 내지 228)을 포함한다.

또한, 상기 터치스크린(190)의 상단에는 배터리 충전상태, 수신신호의 세기, 현재 시각과 같은 장치(100)의 상태를 표시하는 상단 바(미도시)가 형성될 수 있다.

한편, 장치(100)의 운영체제(operating system, OS) 또는 상기 장치(100)에서 실행되는 어플리케이션에 따라, 터치스크린(190) 상에 하단 바(220) 및 상단 바(미도시)가 표시되지 않을 수 있다. 만약, 터치스크린(190) 상에 하단 바(220) 및 상단 바(미도시)가 모두 표시되지 않는 경우에는, 상기 메인 화면(210)은 터치스크린(190)의 전체 영역에 형성될 수 있다. 또한, 하단 바(220) 및 상단 바(미도시)는 반투명하게 상기 메인 화면(210) 상에 중첩되어 표시될 수도 있다.

도 3은 본 발명의 일 실시예에 따른 실사 3D 맵 제공부의 구성을 나타내는 블록도이다.

도 3을 참조하면, 상기 3D 맵 제공부(300)는 맵 데이터베이스(Map DB, 310), 제어부(320), 및 통신부(330)를 포함한다.

상기 맵 데이터베이스(Map DataBase, 310)는 도시 또는 거리를 카메라로 촬영한 실사 이미지로 이루어진 실사 3차원(3D) 맵을 저장한다. 여기서 실사 3D 맵이란 차량 또는 항공기 등을 이용하여 실제 거리를 촬영하고, 상기 촬영된 실사를 이용하여 구현된 3D 맵을 의미한다. 이러한 실사 3D 맵은 차량에 장착된 스트레오 카메라를 이용하여 도시 또는 거리를 촬영함으로써 촬영된 영상 내에 포함된 객체들의 3차원 좌표(x축, y축, z축 좌표들)뿐만 아니라 상기 촬영에 사용된 카메라와 상기 객체들간의 거리에 대응하는 뎁스(depth) 정보를 얻을 수 있다. 또한, 이러한 실사 3D 맵은 항공기를 이용하여 넓은 지역에 대한 다수의 2차원 영상들을 촬영하고, 촬영된 영상들 중 인접한 2개의 2D 영상간의 겹치는 영역에서 뎁스(depth) 정보를 추출하고 3차원 매핑(mapping)을 통한 3차원 모델링에 의하여 구현될 수도 있다. 또한 상기 실사 3D 맵에 포함된 각 객체들을 다수의 3차원 정보 및 뎁스 정보를 갖게 된다. 예를 들어 상기 각 객체를 표시하는 다수의 픽셀(pixel)들 각각이 3차원 정보 및 뎁스 정보를 가질 수 있다. 이에 따라 상기 실사 3D 맵은 특정 빌딩의 위치뿐만 아니라 상기 특정 빌딩의 전면, 후면, 측면들과 같은 빌딩의 윤곽을 구분할 수 있고, 또한 상기 빌딩의 각 층을 구분할 수 있다. 이와 대조적으로, 기존 2D 맵에서는 단순히 GPS 정보만을 이용하였기 때문에 특정 건물에 대해서는 하나의 위치 정보만을 제공하였을 뿐, 특정 건물의 전면, 후면 또는 각 층을 세부적으로 구분하지 못하였다는 점에 상기 실사 3D 맵과 차이가 있다.

제어부(320)는 통신부(330)를 통하여 모바일 장치(100)로부터 상기 저장된 3차원 영상 및 증강 정보를 요청을 수신하며, 상기 요청에 응답하여 3차원 영상 및 증강 정보를 모바일 장치(100)로 제공한다. 상기 제어부(320)에 의하여 모바일 장치(100)로 제공되는 3차원 영상 및 증강 정보에 대해서는 이하에서 상세하게 설명될 것이다.

도 4는 본 발명의 일 실시예에 따른 3차원 지도를 이용한 증강 정보 제공 방법을 설명하기 위한 개략적인 순서도이다.

도 4를 참조하면, 모바일 장치(100)의 제어부(110)는 카메라(150)를 이용하여 외부 영상을 획득한다(S401). 상기 외부 영상은 실시간으로 획득될 수 있으며, 상기 획득된 외부 영상은 디스플레이(190)에 표시될 수 있다. 상기 외부 영상에는 복수의 객체들이 포함될 수 있다. 예를 들어, 상기 외부 영상에는 빌딩들, 거리들, 차량들, 및 보행자들과 같은 다양한 객체들이 포함될 수 있다. 그러나, 상기 모바일 장치(100)가 사용자에 의해 파지된 위치 또는 상기 모바일 장치(100)가 장착된 차량의 높이, 그리고 상기 카메라(150)의 시야(FOV) 등의 제약으로 인하여, 상기 외부 영상 내에서 상기 복수의 객체들 중 제1 객체는 다른 적어도 하나의 제2 객체에 가려서 보이지 않게 된다.

상기 모바일 장치(100)의 제어부(110)는 상기 제1 객체에 대한 증강 정보를 3D 맵 제공부(300)에 요청한다(S402). 상기 단계(S402)에서 모바일 장치(100)는 GPS 모듈(155)에 의해 획득된 GPS 정보(위치 정보), 상기 센서모듈(170)에 의해 획득된 상기 카메라(150)가 지향하는 방향 정보, 및 상기 카메라(150)에 의해 획득된 상기 외부 영상을 상기 3D 맵 제공부(300)에 전송한다. 상기 증강 정보에는 상기 제1 객체에 대하여 미리 촬영된 3차원 영상이 포함된다. 또한, 상기 증강 정보에는 차량 내비게이션 정보, 빌딩의 명칭, 빌딩들 내부에 위치한 상점의 정보, 광고 정보 등 관심 지점(Point Of Interest, POI)에 대한 다양한 정보가 포함될 수 있다.

상기 3D 맵 제공부(300)는 상기 모바일 장치(100)로부터 수신된 상기 GPS 정보, 카메라(150)가 지향하는 방향 정보, 및 외부 영상과, 미리 저장된 실사 3D 맵을 비교하여(S403), 상기 제1 객체에 매칭되는 미리 저장된 3D 영상을 획득한다(S404).

상기 3D 맵 제공부(300)는 상기 획득된 상기 제1 객체에 매칭되는 미리 저장된 3D 영상을 상기 모바일 장치(100)로 전송한다(S404). 또한, 상기 3D 맵 제공부(300)는 상기 모바일 장치(100)에 상기 획득된 미리 저장된 3D 영상뿐만 아니라 소정의 증강 정보를 추가로 전송할 수 있다.

상기 모바일 장치(100)의 제어부(110)는 상기 카메라(150)에 의해 획득된 외부 영상과 상기 제1 객체의 적어도 일부에 대응하여 3D 맵 제공부(300)로부터 수신된 미리 저장된 3D 영상이 합성된 합성 영상이 디스플레이(190)에 표시되도록 제어한다(S407). 이를 위하여 제어부(110)는 상기 카메라(150)에 의해 획득된 외부 영상과 상기 제1 객체의 적어도 일부에 대응하여 3D 맵 제공부(300)로부터 수신된 미리 저장된 3D 영상이 합성된 합성 영상을 생성하여 상기 디스플레이(190)에 표시할 수 있다. 또한, 상기 합성 영상은 3D 맵 제공부(300)에서 생성되어 상기 모바일 장치(100)로 제공될 수도 있다. 상기 3D 맵 제공부(300)는 상기 모바일 장치(100)로부터 원격에 위치한 서버로 구성되거나, 상기 모바일 장치(100) 내부에 형성될 수도 있다.

도 5는 본 발명의 다른 실시예에 따른 3차원 지도를 이용한 증강 정보 제공 방법을 설명하기 위한 도면이다.

도 5의 (a)는 종래의 2D 맵을 이용한 내비게이션 시스템에서 주행 방향을 표시하는 예를 나타낸다. 도 5 (a)를 참조하면, 모바일 장치(400)의 디스플레이(410)에는 2D 맵이 표시되며, 도로(420)의 사거리 주변에 복수의 빌딩들(431~436)이 위치한다. 상기 2D 맵은 컴퓨터 그래픽으로 이루어질 수 있다. 이때 상기 모바일 장치(400)를 휴대한 사용자 또는 상기 모바일 장치(400)를 장착한 차량이 상기 도로(420)의 사거리에서 오른쪽으로 주행하도록 안내하고자 할 경우 주행 방향을 안내하는 화살표(440)가 빌딩D(434)와 빌딩E(435) 사이에 위치한 도로(420) 상에 정확하게 표시되지 못하고, 빌딩들E,F(435,436) 위에 들뜬 상태로(floated) 표시된다. 이는 2D 맵에서는 경우 상기 빌딩들D,E(434,435) 및 도로(420)의 GPS 위치만을 알고 있을 뿐, 상기 빌딩들D,E(434,435)의 3차원 윤곽이 정확하게 인식되지 못하기 때문이다.

반면, 도 5의 (b)는 실사 3D 맵을 이용한 내비게이션 시스템에서 주행 방향을 표시하는 예를 나타낸다. 도 5 (b)를 참조하면 3D 맵의 경우 각 객체의 3차원 정보 및 뎁스 정보를 갖고 있기 때문에, 상기 빌딩들D,E(434,435) 의 전면, 후면, 좌측면, 우측면, 높이 등의 3차원 윤곽을 정확하게 알 수 있고, 이에 따라 상기 주행 방향을 표시하는 화살표(440)가 빌딩D(434)의 전면과 빌딩E(435)의 후면 사이의 도로(420)에 위치하도록 표시될 수 있다. 이 경우 비록 실사 3D 맵을 이용하기 때문에 상기 화살표(440)가 들떠 보이지 않고 상기 도로(420) 상에 그려진 것처럼 표시될 수 있다. 상기 3D 맵은 카메라에 의해 촬영된 실사 영상으로 이루어질 수 있다 그러나, 도 5(b)에서는 상기 화살표(440)의 일부가 상기 빌딩E(435)에 가려지기 때문에 사용자가 정확한 주행 방향 및 목적지를 인식하는데 어려움이 있다.

도 5의 (c)는 본 발명의 일 실시예에 따라 실사 3D 맵을 이용한 내비게이션 시스템에서 주행 방향을 표시하는 예를 나타낸다. 도 5 (c)에서는 모바일 장치(100)의 디스플레이(190) 상에 카메라(150)를 통하여 실시간으로 촬영되는 외부 영상이 표시된다. 상기 외부 영상에는 도로(420)와 상기 도로(420) 주변에 위치한 복수의 빌딩들(431~436)이 포함한다.

본 발명의 일 실시예에 따르면 모바일 장치(100)의 제어부(110)는 빌딩D(436)의 전방에 위치한 빌딩들E,F(435,436)의 투명도를 조절함으로써, 상기 빌딩D(436)의 전체 모습이 디스플레이(190) 상에 표시될 수 있다. 여기서, 상기 빌딩D(436)는 제1 객체이고, 상기 빌딩들E,F(435,436)을 제2 객체로 칭할 수 있다. 예를 들어, 도 5(c)에서는 상기 빌딩들E,F(435,436)가 반투명하게 표시된 상태를 나타내기 위하여 상기 빌딩들E,F(435,436)의 윤곽이 점선으로 표시되어 있다. 또한, 모바일 장치(100)의 제어부(110)는 상기 빌딩들E,F(435,436)을 투명하게 처리함으로써, 상기 디스플레이(190) 상에 상기 빌딩들E,F(435,436)이 표시되지 않도록 할 수 있다. 그리고, 상기 빌딩D(434) 위에는 상기 모바일 장치(100)를 파지한 사용자 또는 상기 모바일 장치(100)가 장착된 차량의 주행 방향을 안내하는 화살표(440)가 상기 빌딩D(434)의 전방에서 상기 도로(420) 상에 위에 표시되어 있다. 이와 같이 본 발명에 따르면 상기 주행 방향을 표시하는 화살표(440)가 카메라(150)에 의해 실시간으로 획득되는 외부 영상 내에서 도로 상에 직접 그려진 것처럼 표시될 수 있다. 또한 상기 화살표(440)는 빌딩들E,F(435,436)에 의하여 가려지지 않기 때문에, 사용자는 상기 화살표(440)를 통하여 정확한 주행 방향 및 목적지를 인식할 수 있게 된다.

한편, 모바일 장치(100)의 카메라(150)에 의해 실시간으로 획득되는 외부 영상에서는 상기 빌딩들E,F(435,436)이 상기 빌딩D(434)의 일부 또는 전부를 가리고 있다. 그런데, 만약 위에서 설명한 바와 같이 상기 빌딩들E,F(435,436)을 투명 또는 반투명하게 표시할 경우, 상기 빌딩D(434)에서 상기 빌딩들E,F(435,436)에 의해 가려져 있던 영역(434-1)에 대한 정보가 존재하지 않기 때문에, 상기 가려진 영역(434-1)과 가려지지 않은 영역(434-2) 사이에 영상이 매끄럽지 않게 표시된다. 이를 해결하기 위하여 본 발명의 일 실시예에서는 상기 빌딩D(434)에 대하여 미리 촬영된 영상 중 상기 가려진 영역(434-1)에 대응되는 영상을 3D 맵 제공부(300)로부터 수신하여 상기 가려진 영역(434-1)에 표시한다. 이에 따라 상기 빌딩D(434)의 상기 가려진 영역(434-1)에는 3D 맵 제공부(300)로부터 수신된 미리 촬영된 영상이 표시되고, 그 외 상기 빌딩D(434)의 가려지지 않은 영역(434-2)과 다른 객체들(420, 431,432,433,434)은 카메라(150)로부터 실시간으로 촬영된 영상이 혼합되어 표시된다. 상기 제어부(110)는 입력모듈(160)을 통하여 사용자 명령이 있거나 또는 상기 화살표(440)의 적어도 일부가 다른 객체들(435,436)에 의해 가려진다고 판단할 시, 상기 빌딩들E,F(435,436)을 투명 또는 반투명하게 표시하거나, 상기 현재 영상과 3D 맵 제공부로부터 수신된 미리 촬영된 영상을 합성하여 표시할 것인지 여부를 결정할 수 있다.

도 6은 본 발명의 다른 실시예에 따른 3차원 지도를 이용한 증강 정보 제공 방법을 설명하기 위한 도면이다.

도 6의 (a)는 모바일 장치(100)의 디스플레이(190) 상에 카메라(150)를 통하여 실시간으로 촬영되는 외부 영상이 표시된다. 상기 외부 영상에는 제1 객체(610)와 제2 객체(620)가 포함된다. 이때 상기 카메라(150)는 프리뷰(preview) 모드일 수 있다. 이와 같은 프리뷰 모드에서 상기 제2 객체(620)를 제거하기 위한 사용자 명령이 입력되면, 예를 들어 사용자에 의해 상기 제2 객체(620)가 태핑(tapping)되거나 또는 플리킹(flicking)되면, 제어부(110)는 상기 사용자 명령에 응답하여 상기 제2 객체(620)를 투명하게 하거나 또는 반투명하게 조절함으로써, 상기 제2 객체(620)에 가려져 있던 제1 객체(610)의 윤곽이 모두 표시되도록 제어한다. 이와 달리, 상기 제어부(110)는 사용자에 의해 터치스크린(190) 상에서 제1 객체(610)가 롱 프레스(long press)될 경우 상기 제1 객체(610)가 선택된 것으로 판단하여, 상기 제1 객체(610)의 전방에 위치한 제2 객체(620)를 투명 또는 반투명하게 처리할 수도 있다.

도 6(b)에 도시된 바와 같이, 제어부(110)는 제1 객체(610) 중 상기 제2 객체(620)에 의해 가려진 부분(611)에는 앞서 설명한 바와 같이 3D 맵 제공부(300)로부터 수신된 미리 촬영된 영상이 표시되고, 제1 객체(610)의 상기 부분(611)을 제외한 다른 부분들은 카메라(150)에 의해 실시간으로 촬영되는 현재 영상이 표시되도록, 상기 미리 촬영된 영상과 현재 영상을 합성하여 표시할 수 있다. 이에 따라 사용자는 카메라(150)의 프리뷰 모드에 의하여 표시되는 영상 중 사용자가 원하는 특정 빌딩 또는 특정 객체의 전체 합성 영상을 볼 수 있고, 상기 합성된 영상을 통하여 사용자는 상기 제1 객체(610)가 자신의 원하는 목적지가 맞는지 여부를 용이하게 식별할 수 있다.

또한, 도 6(c)에 도시된 바와 같이, 제2 객체(620)가 투명 또는 반투명하게 처리된 상태에서 상기 제2 객체(620) 후방에 위치하였던 제1 객체(610)의 표면 상에 건물 정보, 상점 정보 및 광고 정보 등을 표시할 수 있다. 도 6 (c)에서는 제1 객체(610)인 빌딩의 1층 외벽에 “Tom's coffee”라고 증강 정보를 디스플레이함으로써, 사용자는 상기 제1 객체(610)의 1층이 자신의 약속 장소임을 확인할 수 있다. 상기 증강 정보는 상기 3D 맵 제공부(300)로부터 전송받을 수 있다. 또한 상기 제1 객체(600) 상에 디스플레이되는 증강 정보는 상기 모바일 장치(100)의 저장부(175)에 저장된 사용자의 스케쥴 정보(예를 들어, “오늘 오후 14:00에 Tom's coffee에서 Alice와 미팅이 있음”), 또는 상기 저장부(175)에 저장된 Alice의 사진, 또는 Alice로부터 수신하거나 그녀에게 송신한 메시지(예를 들어, “오늘 오후 14:00에 만날 때 부탁한 서류 꼭 가져와줘!”)와 같이 상기 제1 객체(175)와 관련된 사용자의 과거 또는 현재의 관심사에 대한 정보들이 포함될 수 있다. 이로 인하여 사용자는 자신의 약속 장소 및 해야 할 일등을 용이하게 확인할 수 있는 이점이 있다.

본 발명의 실시예들에 따른 3차원 지도를 이용한 증강 정보 제공 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 그래픽 화면 갱신 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

또한, 본 발명에 따른 3차원 지도를 이용한 증강 정보 제공 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 3차원 지도를 이용한 증강 정보 제공 방법을 수행하도록 하는 지시들을 포함하는 프로그램을 저장하기 위한 메모리와, 상기 차원 지도를 이용한 증강 정보 제공 장치의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 차원 지도를 이용한 증강 정보 제공 장치의 요청 또는 자동으로 해당 프로그램을 상기 송수신 장치로 전송하는 제어부를 포함할 수 있다.

100: 모바일 장치 110: 제어부
150: 카메라 모듈 160: 입출력 모듈
175 : 저장부 155: GPS 모듈
190: 터치스크린 210: 메인 화면
212 : 실행키들 220 : 하단 바
300 : 3D 맵 제공부 310: 실사 3D 맵 DB
320: 제어부 330: 통신부
434, 610: 제1 객체 435,436,620: 제2 객체

Claims

모바일 장치에서 3차원 지도를 이용한 증강 정보 제공 장치에 있어서,
카메라;
상기 카메라를 통하여 실시간으로 획득되며 제1 객체가 포함되는 현재 영상을 표시하는 디스플레이; 및
상기 실시간으로 획득되는 현재 영상과 상기 제1 객체를 미리 촬영하여 저장된 실사 3차원 이미지를 혼합하여 상기 디스플레이에 표시되도록 제어하는 제어부를 포함하는 것을 특징으로 하는 3차원 지도를 이용한 증강 정보 제공 장치.
제1항에 있어서,
상기 제어부는, 상기 현재 영상 중 일부 영역에 상기 실사 3차원 이미지가 삽입되어 표시되도록 제어하는 것을 특징으로 하는 3차원 지도를 이용한 증강 정보 제공 장치.
제2항에 있어서,
상기 현재 영상은 상기 제1 객체와, 상기 제1 객체의 전방에 위치하여 상기 제1 객체의 적어도 일부를 가리는 적어도 하나의 제2 객체를 포함하며,
상기 제어부는, 상기 적어도 하나의 제2 객체의 적어도 일부가 투명하거나 반투명하게 표시되도록 제어하는 것을 특징으로 하는 3차원 지도를 이용한 증강 정보 제공 장치.
제1항에 있어서,
상기 현재 영상은 상기 제1 객체와, 상기 제1 객체의 전방에 위치하여 상기 제1 객체의 적어도 일부를 가리는 적어도 하나의 제2 객체를 포함하며,
상기 제어부는, 상기 현재 영상 중 일부 영역에 상기 실사 3차원 이미지가 삽입되어 표시되고, 상기 적어도 하나의 제2 객체의 적어도 일부가 투명하거나 반투명하게 표시되도록 제어함과 아울러, 상기 제1 객체와 상기 적어도 하나의 제2 객체 사이에 상기 모바일 장치의 주행 경로가 표시되도록 제어하는 것을 특징으로 하는 3차원 지도를 이용한 증강 정보 제공 장치.
제1항에 있어서,
상기 실사 3차원 이미지는 각 영상의 픽셀들에 대한 3차원 정보 및 뎁스 정보를 포함하는 것을 특징으로 하는 3차원 지도를 이용한 증강 정보 제공 장치.
제1항에 있어서,
상기 제어부는 3D 맵 제공부로 상기 모바일 장치의 위치 정보, 방향 정보, 및 상기 현재 영상을 전송하고,
상기 실사 3차원 이미지는 상기 3D 맵 제공부에 의하여 상기 모바일 장치의 위치 정보, 방향 정보, 및 상기 현재 영상을 근거로 매칭된 것임을 특징으로 하는 3차원 지도를 이용한 증강 정보 제공 장치.
제1항에 있어서, 상기 제어부는 상기 제1 객체 상에 상기 모바일 장치 내에 저장된 정보를 표시하는 것을 특징으로 하는 3차원 지도를 이용한 증강 정보 제공 장치.
모바일 장치에서 3차원 지도를 이용한 증강 정보 제공 방법에 있어서,
상기 모바일 장치에 고정된 카메라를 이용하여 제1 객체가 포함되는 현재 영상을 실시간으로 획득하는 단계; 및
상기 실시간으로 획득되는 현재 영상과 상기 제1 객체를 미리 촬영하여 저장된 실사 3차원 이미지를 혼합하여 상기 디스플레이에 표시하는 단계를 포함하는 것을 특징으로 하는 3차원 지도를 이용한 증강 정보 제공 방법.
제8항에 있어서,
상기 현재 영상 중 일부 영역에 상기 실사 3차원 이미지가 삽입되어 표시되도록 제어하는 것을 특징으로 하는 3차원 지도를 이용한 증강 정보 제공 방법.
제9항에 있어서,
상기 현재 영상은 상기 제1 객체와, 상기 제1 객체의 전방에 위치하여 상기 제1 객체의 적어도 일부를 가리는 적어도 하나의 제2 객체를 포함하며,
상기 적어도 하나의 제2 객체의 적어도 일부는 투명하거나 반투명하게 표시되는 것을 특징으로 하는 3차원 지도를 이용한 증강 정보 제공 방법.
제8항에 있어서,
상기 현재 영상은 상기 제1 객체와, 상기 제1 객체의 전방에 위치하여 상기 제1 객체의 적어도 일부를 가리는 적어도 하나의 제2 객체를 포함하며,
상기 현재 영상 중 일부 영역에 상기 실사 3차원 이미지가 삽입되어 표시되고, 상기 적어도 하나의 제2 객체의 적어도 일부가 투명하거나 반투명하게 표시되며, 상기 제1 객체와 상기 적어도 하나의 제2 객체 사이에 상기 모바일 장치의 주행 경로가 표시되는 것을 특징으로 하는 3차원 지도를 이용한 증강 정보 제공 방법.
제8항에 있어서,
상기 실사 3차원 이미지는 각 영상의 픽셀들에 대한 3차원 정보 및 뎁스 정보를 포함하는 것을 특징으로 하는 3차원 지도를 이용한 증강 정보 제공 방법.
제8항에 있어서,
상기 모바일 장치는 3D 맵 제공부로 상기 모바일 장치의 위치 정보, 방향 정보, 및 상기 현재 영상을 전송하고,
상기 실사 3차원 이미지는 상기 3D 맵 제공부에 의하여 상기 모바일 장치의 위치 정보, 방향 정보, 및 상기 현재 영상을 근거로 매칭된 것임을 특징으로 하는 3차원 지도를 이용한 증강 정보 제공 방법.
제8항에 있어서, 상기 모바일 장치는 상기 제1 객체 상에 상기 모바일 장치 내에 저장된 정보를 표시하는 것을 특징으로 하는 3차원 지도를 이용한 증강 정보 제공 방법.