KR20150071335A

KR20150071335A - 이동 단말기, 어플리케이션 제공 시스템 및 어플리케이션 동작방법

Info

Publication number: KR20150071335A
Application number: KR1020130158234A
Authority: KR
Inventors: 손정봉; 석 현 문
Original assignee: 손정봉; 석 현 문
Priority date: 2013-12-18
Filing date: 2013-12-18
Publication date: 2015-06-26

Abstract

본 발명에 따른 이동 단말기는 어플리케이션 서버와 증강현실 구현을 위한 데이터를 송수신하고, SNS 서버와 구현된 증강현실 데이터를 송수신하는 무선 통신부; 화상 프레임을 촬영하는 카메라부; 상기 화상 프레임에서 기설정된 문구류 표지를 인식하고, 상기 기설정된 문구류 표지에 매칭되는 가상현실 데이터를 수신하여, 증강현실을 구축하는 제어부; 를 포함하는 것을 특징으로 한다.
본 발명 의하여, 문구류, 특히, 시리즈로 구현된 문구류에 대한 광고효과를 증대시킬 수 있고, 광고와 동시에 학습효과도 제공할 수 있으며, SNS와 증강현실 어플리케이션의 연동을 통해 사용자에게 광고 참여를 유도할 수 있는 효과가 있다.

Description

이동 단말기, 어플리케이션 제공 시스템 및 어플리케이션 동작방법 {MOBILE TERMINAL, APPLICATION PROVISION SYSTEM AND APPLICATION OPERATING METHOD}

본 발명은 이동 단말기, 어플리케이션 제공시스템 및 그 동작 방법에 관한 것으로, 좀더 상세히 증강현실을 문구류에 적용한 어플리케이션이 설치된 이동 단말기와 위 어플리케이션의 동작을 지원하는 어플리케이션 서버와 그 동작방법에 관한 것이다.

증강현실(Augmented Reality, AR)이란 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 새로운 환경을 생성한 것을 의미한다.

즉, 사용자가 보고 있는 실사 영상에 컴퓨터 그래픽으로 만들어진 가상환경, 예를 들면, 3차원 가상환경을 정합함으로써 구현된 현실을 증강현실이라고 할 수 있다.

여기서, 3차원 가상환경은 사용자가 바라보는 실사 영상에서 필요한 정보를 제공해주고, 3차원 가상영상은 실사영상과 정합되어 사용자의 몰입도를 높일 수 있다.

즉, 단순 가상현실 기술에 비하여 3차원 가상환경에 실사영상도 같이 제공하여 현실환경과 가상환경과의 구분이 모호해지게 함으로써, 보다 나은 현실감을 제공할 수 있다.

이러한 증강현실 시스템의 장점에 기인하여, 최근 전세계적으로 증강현실을 접목한 기술에 대해 활발한 연구/개발이 진행되고 있다.

한편, 단말기는 이동 가능 여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)으로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다.

이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다. 이러한 단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및/또는 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다.

특히, 앞서 설명한 증강현실 기술에 대한 연구가 시작된 이래 다양한 분야에서 이 기술을 응용하려는 연구가 이어져왔고, 최근 이동 단말기의 어플리케이션 분야에서도 이 기술을 접목하려는 연구가 활발히 이루어지고 있다.

이동 단말기는 최근 휴대폰, PDA(personal digital assistants), UMPC(ultra mobile personal computer) 등 모바일기기의 컴퓨팅 능력 향상 및 무선 네트워크 장치의 발달로 핸드 헬드 증강현실 시스템이 가능해졌다.

이러한 시스템이 가능해지면서 모바일 기기를 사용한 증강현실 어플리케이션이 다수 개발되었다. 그리고 모바일 기기의 보급이 매우 빠르게 보편화되어 증강현실 어플리케이션을 접할 수 있는 환경이 조성되고 있는 상황이다.

더불어, 단말기의 증강현실을 이용한 다양한 부가서비스에 대한 사용자 요구가 증대하고 있다.

본 발명의 실시예는 촬영되는 이미지 속 스마트 문구류에 반응하는 증강현실 어플리케이션을 이용하여 광고 효과를 증대시킴과 동시에 스마트 문구류와 관련된 학습 페이지를 제공할 수 있는 증강현실을 이용한 어플리케이션이 설치된 단말기, 어플리케이션 서버 및 그 동작방법을 제공하고자 한다.

상술한 바와 같은 본 발명의 목적을 달성하기 위한 증강현실 어플리케이션 제공시스템은 증강현실 어플리케이션을 실행하고, 카메라를 동작시켜 화상 프레임을 촬영하고, 상기 화상 프레임에서 증강현실이 구현될 문구류 표지가 인식하여 상기 문구류 표지에 매칭되는 가상현실 데이터를 어플리케이션 서버로 요청하고, 상기 어플리케이션 서버로부터 가상현실 데이터를 전송받아서 상기 화상 프레임과 가상현실 데이터를 정합하여 증강현실을 구축하고, 상기 증강현실을 터치 스크린과 음향 출력모듈을 통해 출력하는 이동 단말기; 및 상기 이동 단말기의 요청에 따라서 증강현실 어플리케이션 서비스를 제공하고, 상기 이동 단말기로부터 상기 문구류 표지 정보가 전송되면 이에 매칭되는 가상현실 데이터를 검색하여 상기 이동 단말기로 전송하는 어플리케이션 서버; 를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 이동 단말기는 어플리케이션 서버와 증강현실 구현을 위한 데이터를 송수신하고, SNS 서버와 구현된 증강현실 데이터를 송수신하는 무선 통신부; 화상 프레임을 촬영하는 카메라부; 상기 화상 프레임에서 기설정된 문구류 표지를 인식하고, 상기 기설정된 문구류 표지에 매칭되는 가상현실 데이터를 수신하여, 증강현실을 구축하는 제어부; 를 포함하는 것을 특징으로 한다.

그리고, 본 발명에 따른 어플리케이션 동작방법은 증강현실 어플리케이션을 실행하는 단계; 카메라를 동작시켜 화상 프레임을 촬영하는 단계; 상기 화상 프레임에서 증강현실이 구현될 문구류 표지가 인식하는 단계; 상기 문구류 표지에 매칭되는 가상현실 데이터를 어플리케이션 서버로 요청하는 단계; 상기 어플리케이션 서버로부터 가상현실 데이터를 전송받는 단계; 상기 화상 프레임과 가상현실 데이터를 정합하여 증강현실을 구축하는 단계; 및 상기 증강현실 이미지를 터치 스크린으로 출력하고, 상기 증강현실 효과음을 음향 출력모듈을 통해 출력하는 단계;를 포함하는 것을 특징으로 한다.

본 발명 의하여, 문구류, 특히, 시리즈로 구현된 문구류에 대한 광고효과를 증대시킬 수 있고, 광고와 동시에 학습효과도 제공할 수 있으며, SNS와 증강현실 어플리케이션의 연동을 통해 사용자에게 광고 참여를 유도할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른, 증강현실을 이용한 어플리케이션 제공 시스템을 나타내는 도면이다.
도 2는 본 발명의 실시예와 관련된 이동 단말기의 블록 구성도(block diagram)이다.
도 3은 본 발명의 실시 예에 따른, 어플리케이션 서버의 구성을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른, 증강현실 어플리케이션의 동작을 나타내는 흐름도이다.
도 5는 본 발명의 실시예에 따른, 증강현실과 SNS를 접목하여 광고효과를 증대시키는 방법을 나타내는 흐름도이다.
도 6은 본 발명의 실시예에 따른, 어플리케이션 서버가 동작하는 과정을 나타내는 흐름도이다.
도 7은 본 발명의 실시예에 따른, 증강현실 이미지가 이동 단말기에 표시된 모습을 나타낸다.
도 8은 본 발명의 실시예에 따른, 학습 페이지가 이동 단말기에 표시된 모습을 나타낸다.

이하에서는, 본 실시예에 대하여 첨부되는 도면을 참조하여 상세하게 살펴보도록 한다. 다만, 본 실시예가 개시하는 사항으로부터 본 실시예가 갖는 발명의 사상의 범위가 정해질 수 있을 것이며, 본 실시예가 갖는 발명의 사상은 제안되는 실시예에 대하여 구성요소의 추가, 삭제, 변경 등의 실시변형을 포함한다고 할 것이다.

본 발명과 관련되는 이동 단말기의 설명에 사용되는 접미수 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트폰, 태블릿 PC, 노트북 컴퓨터, 디지털방송용 단말기, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다. 그러나, 본 명세서에 기재되는 실시예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수 있다.

< 이동 단말기, 어플리케이션 서버 실시예 >

도 1은 본 발명의 실시예에 따른, 증강현실을 이용한 어플리케이션 제공 시스템을 나타내는 도면이다.

도 1을 참조하면, 본 발명의 실시예에 따른 어플리케이션 제공 시스템은 이동 단말기(100)와, 서버저장부와 서버제어부와 서버통신부로 구성된 어플리케이션 서버(200)와, SNS 서버(300)와, 통신망(400)으로 구성된다.

먼저, 상기 통신망(400)은 이동 단말기(100)와 어플리케이션 서버(200)와 SNS 서버(300) 간의 송수신을 위한 통로를 제공하는 역할을 한다. 여기서, 통신망(400)은 이동 단말기(100)와 어플리케이션 서버(200) 사이의 증강현실 어플리케이션 실행을 위한 데이터를 송수신하는 동작을 수행한다. 이와 같은 기능을 수행하는 통신망(400)은 인터넷 프로토콜(IP, Internet Protocol)을 통하여 대용량 데이터의 송수신 서비스 및 끊기는 현상이 없는 데이터 서비스를 제공하는 아이피망으로, 아이피를 기반으로 서로 다른 망을 통합한 아이피망 구조인 올 아이피(All IP)망 일 수 있다. 또한, 통신망(30)은 유선통신망, 이동통신망, Wibro(Wireless Broadband)망, HSDPA(High Speed Downlink Packet Access)망, 위성통신망 및 와이파이(WI-FI, Wireless Fidelity)망 중 하나일 수 있다.

그리고, 상기 어플리케이션 서버(200)는 서버저장부에 저장된 증강현실 어플리케이션 프로그램을 이동 단말기(100)에 전송할 수 있고, 어플리케이션이 설치된 이동 단말기(100)에서 전송된 요청에 따라서 필요한 데이터를 서버저장부에서 검색하여 서버통신부를 통해 이동 단말기(100)로 전송할 수 있다.

좀더 상세히, 어플리케이션 서버(200)의 서버저장부에는 증강현실이 적용될 문구류에 그려진 이미지와, 문구류에 정합되어 증강현실을 구현할 3D 가상 이미지가 매칭되어 저장된다.

예를 들어, 노트 표지에 그려진 곤충 이미지와, 이에 정합될 3D 가상이미지로 나무에서 움직이는 곤충이 표현된 3D 동영상이 해당될 수 있으며, 상기 3D 가상 이미지는 360도 전면이 제작되어, 증강현실 이미지를 제공하는 이동 단말기(100) 사용자의 조작에 따라서 다양한 시점으로 관찰될 수 있다.

이하에서는 편의상 증강현실이 적용될 문구를 대표하여 노트로 설명하며, 노트 표지에 그려진 이미지(이하 노트 표지)에 가상현실 이미지로 3D 동영상이 정합되어 증강현실이 구현된다.

또한, 서버저장부에는 3D 가상 이미지뿐만 아니라 노트 표지에 매칭되는 교육 페이지와 다양한 언어로 구현된 사운드가 함께 매칭되어 저장될 수 있다.

서버제어부는 이동 단말기(100)에서 노트 표지 정보가 송신되는 경우 서버통신부를 통해 전송받아 노트 표지에 매칭되는 3D 가상 이미지 등을 서버통신부(230)를 통해 이동 단말기(100)로 전송할 수 있다.

그 밖에, 이동 단말기(100)의 요청에 따라서 증강현실 어플리케이션이 적용되는 문구류를 판매하는 인터넷 쇼핑몰을 제공할 수도 있다.

그리고, 이동 단말기(100)는 사용자의 요청에 따라 어플리케이션 서버(200)로부터 전송받아 설치된 증강현실 어플리케이션을 실행한다.

이동 단말기(100)는 카메라(121)를 통해 증강현실이 구현될 스마트 문구류가 촬영되면, 확인된 스마트 문구류와 매칭되는 3차원 가상 이미지를 어플리케이션 서버(200)로 전송받고 카메라에서 촬영된 스마트 문구류를 정합하여 증강현실 이미지를 터치 스크린에 출력한다.

즉, 본 실시예의 이동 단말기(100)는 카메라를 통해 문구류가 촬영되면 미리 제작된 가상 이미지를 촬영된 문구류의 마커에 정합하여 증강현실 이미지로 출력함으로써, 사용자의 흥미를 유발하여 광고효과를 증진시킬 수 있다.

또한, 이동 단말기(100)는 터치스크린에 표시된 다양한 UI 조작을 수신하면, 단순한 가상 이미지가 아닌 문구류의 표지와 관련된 학습 페이지를 제공할 수 있고, 가상 이미지에 같은 종류의 문구류, 예를 들어, 시리즈로 다양한 곤충이 각각 그려진 노트 표지들을 같이 표시하여 광고와 동시에 어플리케이션 서버(200)가 제공하는 판매 페이지의 링크를 제공할 수 있다.

그리고, 이동 단말기(100)는 음향 출력 모듈을 통해 문구류의 이미지에 해당하는 소리를 출력할 수도 있다. 이때, 사용자가 터치 스크린에 표시된 UI 제어에 따라서 다양한 언어로 같은 의미에 소리를 제공할 수도 있으며, 이를 통해 사용자에게 외국어 교육을 제공할 수 있다.

이하에서는 이러한 동작을 하는 이동 단말기(100) 및 어플리케이션 서버( 200)의 구체적인 구성에 대하여 상세히 설명한다.

먼저, 이동 단말기(100)의 세부적인 구성에 대하여 설명하면 다음과 같다.

도 2는 본 실시예와 관련되는 이동 단말기의 구성을 보여주는 블록도이다.

이동 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 센싱부(140), 출력부(150), 저장부(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1의 이동 단말기는 필수 구성요소들로만 도시된 것이 아니기 때문에, 다른 구성요소를 더 포함하거나 도시된 구성요소들 중 일부가 포함되지 않는 단말기로도 구현될 수 있다.

이동 단말기의 각 구성요소를 순서대로 살펴본다.

무선 통신부(110)는 이동 단말기와 무선 통신 시스템 사이, 또는 이동 단말기들 사이의 무선 통신을 가능하게 하는 역할을 수행하며, 특히, 본 실시예에서는 증강현실 어플리케이션에 관한 데이터를 어플리케이션 서버와 주고 받을 수 있으며, SNS 서버도 이를 통해 데이터 송수신이 가능하다.

이러한 무선 통신부(110)는 하나 이상의 모듈을 포함하여 구성될 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 및 위치 정보 모듈 등을 포함할 수 있다.

이동통신 모듈은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신하며, 송수신 대상의 무선 신호는 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 나타내는 것으로서, 이동 단말기(100)에 내장되어 구성되거나 외장 연결가능하도록 구성될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless Lan)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.

이하에서는 이동 단말기(100)에 구성되는 A/V 입력부(120)에 대해서 설명하여 본다.

A/V 입력부(120)는 오디오 신호 및/또는 비디오 신호를 입력받는 역할을 수행하며, 예를 들면, 카메라(121)와 마이크(122)가 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의하여 획득되는 정지영상 또는 동영상의 화상 프레임을 처리한다. 그리고, 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.

카메라(121)에서 처리되는 화상 프레임은 저장부(160)에 저장되거나 무선 통신부(110)를 통하여 무선으로 전달될 수 있으며, 제어부(180)로 전송되어 데이터 처리가 이루어질 수 있다.

예를 들어, 카메라(121)를 통해 스마트 문구류가 촬영되는 경우, 제어부(180)는 촬영된 이미지로부터 이를 인식하고 매칭되는 가상이미지를 정합하여 디스플레이부(151)에 표시할 수 있다.

또한, 카메라(121)는 디스플레이(151) 전면을 촬영하기 위한 카메라와, 반대편에 해당하는 단말기 후면측을 촬영하기 위한 카메라를 포함할 수 있으며, 복수개의 카메라들로부터 촬영되는 영상 및 음성 신호를 수신하는 것도 가능하다.

이동 단말기의 센싱부(140)는 이동 단말기의 다양한 작동 상태, 동작, 움직임 등을 확인하기 위한 역할을 수행하며, 센싱부(140)에 의하여 센싱되는 정보에 따라 이동 단말기의 동작이 제어될 수 있다.

그리고, 상기 센싱부(140)는 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱하는 것 역시 가능하다.

이동 단말기의 출력부(150)는 시각, 청각 또는 촉각과 관련되는 출력을 발생시키기 위한 것으로서, 디스플레이부(151), 음향 출력 모듈(152), 알람부(153) 및 햅틱 모듈(154) 등을 포함할 수 있다.

디스플레이부(151)는 이동 단말기에서 처리되는 정보를 표시하는 역할을 수행하며, 예를 들어, 이동 단말기가 통화 모드인 경우에 통화와 관련되는 UI 또는 GUI를 표시하고, 이동 단말기가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영되는 영상이나 수신되는 영상을 표시하거나 그와 관련되는 UI, GUI를 표시한다.

본 실시예에서는 제어부(180)에서 정합된 증강현실 이미지 또는 어플리케이션 서버(200)에서 무선 통신부(110)를 통해 수신된 증강현실 이미지를 표시할 수 있다.

이러한 디스플레이부(151)는 액정 디스플레이(LCD), 박막 트랜지스터 액정 디스플레이(TFT LCD), 유기 발광 다이오드(OLED), 플렉서블 디스플레이, 3차원 디스플레이 등으로 이루어질 수 있다. 이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이것은 투명 디스플레이라 할 수 있으며, 이러한 투명 디스플레이의 예로는 TOLED(Transparent OLED)가 될 수 있다. 그리고, 디스플레이(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있으며, 이 경우 사용자는 단말기 바디의 디스플레이(151)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.

그리고, 디스플레이(151)와 터치 동작을 감지하기 위한 센서(터치 센서)가 상호 레이어 구조를 이루는 경우(터치 스크린)에, 디스플레이(151)는 출력 장치 이외의 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태가 될 수 있다.

터치 센서는 디스플레이(151)의 특정 영역에 가해지는 압력, 또는 디스플레이(151)의 특정 영역에 발생되는 정전 용량의 변화, 또는 디스플레이(151)의 특정 영역에 발생되는 자기장 변화를 전기적인 입력 신호로 변환하도록 구성될 수 있다. 터치 센서는 터치되는 위치 및 면적뿐만 아니라, 터치 순간의 압력까지도 검출할 수 있도록 구성될 수 있다.

터치 센서에 의하여 터치 입력이 감지되는 경우에, 그에 대응하는 신호는 터치 제어기로 보내지며, 터치 제어기는 수신한 신호에 대응되는 데이터를 제어부(180)로 전송한다. 이러한 과정을 통하여, 제어부(180)는 디스플레이에 터치가 있는지 여부, 디스플레이의 어느 영역에 터치가 이루어졌는지 여부, 디스플레이의 어느 영역에 어느 정도의 필압으로 터치가 이루어졌는지 여부 등을 확인할 수 있다.

본 실시예에서는 디스플레이부(151)와 터치 센서가 결합된 터치 스크린이 구비된 이동 단말기(100)로, 이하 설명에서는 디스플레이부(151)와 터치센서를 합쳐 터치 스크린으로 설명한다.

또한, 출력부(150)의 음향 출력 모듈(152)은 호신호 수신, 통화 모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 저장부(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 이동 단말기에서 수행되는 기능(호신호 수신음, 메시지 수신음 등)과 관련되는 음향 시호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.

이동 단말기의 저장부(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장되거나, 입/출력되는 데이터들(예를 들어, 전화번호부, 메시지, 오디오, 영상 등)의 임시 저장을 위한 역할을 수행할 수 있다. 상기 저장부(160)에는 상기 데이터들 각각에 대한 사용 빈도도 함께 저장될 수 있다. 그리고, 터치 스크린에 사용자의 터치가 입력되는 경우에, 출력하고자 하는 다양한 패턴의 진동 및 음향에 대한 데이터가 상기 저장부(160)에 저장될 수 있다.

상기 저장부(160)는 플래시 저장부 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 저장부(SD 등), 램(RAM), SRAM(Static RAM), 롬(ROM), EEPROM(Electrically Erasable Programmable ROM), PROM(Programmable ROM), 자기 저장부, 자기 디스크, 광 디스크 중 어느 하나의 타입으로 이루어진 저장매체가 될 수 있다. 그리고, 이동 단말기는 인터넷상에서 상기 저장부(160)의 저장 기능을 수행하는 웹 스토리지와 관련하여 동작할 수도 있다.

이동 단말기의 제어부(180)는 이동 단말기의 전체적인 동작 각각을 제어하며, 예를 들어, 음성 통화, 데이터 통신, 화상 통화 등에 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수 있다. 멀티미디어 모듈(181)은 제어부(180)내에 구현되거나, 별도의 부재/장치로 구현될 수 있다.

상기 제어부(180)는 터치 스크린 상에서 행하여지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 수행할 수 있다.

이동 단말기의 전원 공급부(190)는 제어부(180)의 제어에 따라 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

여기에서 설명되는 다양한 실시예는, 예를 들어, 소프트웨어, 하드웨어 또는 이들이 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(micro-processors), 기타 기능 수행을 위한 전기적인 유닛 중 어느 하나로 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(180) 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 저장부(160)에 저장되고, 제어부(180)에 의하여 실행/동작될 수 있다.

이하에서는 상기 어플리케이션 서버(200)의 구성요소에 대해 상세히 설명하며, 앞서 설명한 이동 단말기(100)의 기재에서 중복되는 기술적인 내용은 생략하기로 한다.

도 3은 본 발명의 실시 예에 따른, 어플리케이션 서버의 구성을 나타내는 도면이다.

도 3을 참조하면, 본 발명에 따른 광고 어플리케이션 서버(200)는 서버제어부(210), 서버저장부(220) 및 서버통신부(230)를 포함하여 구성된다.

서버통신부(230)는 단말기(100)와 증강현실 어플리케이션 서비스를 위한 데이터를 송수신한다.

서버저장부(220)는 적어도 하나의 문구류에 표시된 이미지와 3D 가상이미지를 매핑하여 저장한다. 또한, 문구류에 표시된 이미지와 매핑되는 학습 페이지, 광고 정보 및 음향 효과 등이 3D 가상이미지와 함께 매핑되어 저장될 수 있다.

즉, 서버제어부(210)는 이동 단말기(10)로부터 문구류에 표시된 이미지에 해당되는 마커 정보를 수신하여, 수신된 마커에 매칭된 가상이미지와 그 밖의 보조 데이터를 서버저장부(220)에서 검색하고, 이를 서버통신부(230)를 통해 이동 단말기(10)로 전송한다.

또한, 상기 서버저장부(220)에는 증강현실이 적용된 문구류들을 판매하는 인터넷 쇼핑몰 페이지에 관한 정보가 저장될 수 있다.

서버제어부(210)는 이동 단말기(10)의 요청에 따라서 인터넷 쇼핑몰 페이지를 제공할 수 있다.

<동작 방법 실시예 >

이상 증강현실 어플리케이션을 구동하기 위한 이동 단말기 및 이를 보조하는 어플리케이션 서버의 구성요소에 대해 상세히 설명하였다.

이하에서는 도 4 내지 도 5를 참조하여, 증강현실 어플리케이션의 동작 과정에 대해 좀더 상세히 설명한다.

도 4는 본 발명의 실시예에 따른, 증강현실 어플리케이션의 동작을 나타내는 흐름도이고, 도 5는 본 발명의 실시예에 따른, 증강현실과 SNS를 접목하여 광고효과를 증대시키는 방법을 나타내는 흐름도이며, 도 6은 본 발명의 실시예에 따른, 어플리케이션 서버가 동작하는 과정을 나타내는 흐름도이다.

도 4를 참조하면, 증강현실 어플리케이션이 설치된 이동 단말기(100)의 제어부(180)는 사용자의 명령을 수신하여 증강현실 어플리케이션을 실행한다. (S101)

제어부(180)는 어플리케이션 동작과 관련된 매뉴얼을 제공하기 위하여 시작 페이지를 터치 스크린에 표시할 수 있으나, 이 단계는 생략될 수 있다.

이후, 제어부(180)는 증강현실을 구현하기 위하여 카메라(121)를 동작시키고, 카메라(121)를 통해 전송되는 화상 프레임을 터치 스크린에 출력함과 동시에 화상 프레임에 증강현실이 구현될 이미지가 포함되었는지를 검색한다.

제어부(180)는 카메라(121)에서 촬영되는 스마트 문구류(이하 '노트')의 표지에 표시된 증강현실이 구현될 이미지를 인식하면 다음 단계를 진행한다. (S102)

제어부(180)는 증강현실이 구현될 이미지에 대한 정보를 저장부(160)의 기 설정된 기준 정보에서 검색한다. (S103)

이후, 제어부(180)는 무선 통신부(110)를 통해 검색된 이미지 정보를 어플리케이션 서버(200)로 송신한다. (S104)

그 다음, 무선 통신부(110)를 통해 어플리케이션 서버(200)로부터 이미지 정보에 매칭되는 증강현실 구현을 위한 데이터를 수신한다. (S105)

증강현실 구현을 위한 데이터로는 이미지 정보에 매칭되는 3D 가상 이미지, 교육 페이지, 인터넷 쇼핑몰 링크, SNS 서버 연동 및 효과음 등이 해당될 수 있다.

본 실시예에서는 이동 단말기(100)의 요청시에 가상현실 구현을 위한 데이터를 어플리케이션 서버(200)가 전송해주는 것으로 기술하나, 증강현실 어플리케이션 설치시 증강현실 구현을 위한 데이터를 함께 저장부(160)에 저장하여 서버(200)와의 연동 없이 빠르게 증강현실을 구현하는 방법도 가능하다.

한편, 제어부(180)는 증강현실 구현을 위한 데이터를 무선 통신부(110)로부터 전송받으면, 이를 카메라(121)를 통해 전송되는 화상프레임과 정합하여 증강현실을 구축한다. (S106)

예를 들어, 제어부(180)는 카메라(121)로 촬영되는 노트 표지의 이미지에 3D 가상이미지가 구현될 마커를 검색하고 3D 가상이미지를 마커 위에 구현하여 증강현실 이미지를 구현할 수 있다. 또한, 3D 가상이미지와 함께 UI로 다양한 아이콘을 제공하여 외국어 설명과 같은 효과음을 제공할 수 있으며, 증강현실이 구현된 노트 표지 시리즈를 아이콘으로 제공하고 터치시 쇼핑몰 링크로 연동시킬 수 있다.

이후, 제어부(180)는 사용자에 요청에 따라서 증강현실 이미지와 교육 페이지를 표시할 수 있고, 음향 출력 모듈(152)를 통해 효과음을 출력할 수 있다. (S107, S108)

도 7은 본 발명의 실시예에 따른, 증강현실 이미지가 이동 단말기에 표시된 모습을 나타내고, 도 8은 본 발명의 실시예에 따른, 학습 페이지가 이동 단말기에 표시된 모습을 나타낸다.

도 7을 참조하면, 이동 단말기(100)의 카메라(121)를 통해 노트 표지(200)가 실사로 촬영되어 터치 스크린에 표시되고 있으며, 가상이미지인 3D 이미지(250)와 노트 표지 시리즈(500)와 효과음 아이콘(400)과, 조작방법 등이 표시되어 증강현실 이미지가 구현된다.

제어부(180)는 사용자의 터치 조작을 통해 3D 이미지 관찰 시점을 변경할 수 있는 UI를 제공하며, 효과음 아이콘(400)인 각 국기를 클릭하면 국기에 해당하는 언어로 증강현실에 대한 설명을 소리로 출력한다.

또한, 제어부(180)는 노트 표지 시리즈(500) 아이콘을 링크로, 이를 클릭하면 해당 노트를 판매하는 쇼핑몰로 연결되도록 하여 광고 효과를 증대할 수 있다.

도 8을 참조하면, 노트 표지 이미지에 대한 교육 페이지가 터치 스크린에 표시된 것이다.

제어부(180)는 사용자의 요청에 따라서 학습 페이지로 화면을 전환할 수 있어서, 사용자에게 교육 컨텐츠를 제공하는 것도 가능하다.

한편, 광고 효과 증대를 위해 증강현실 어플리케이션과 SNS (Social Networking Service)를 연동할 수 있다.

도 5는 본 발명의 실시예에 따른, 증강현실 어플리케이션과 SNS 서버의 연동을 통한 광고 방법을 나타내는 흐름도이다.

제어부(180)는 증강현실이 구현된 이미지에 SNS 연동 아이콘을 제공할 수 있다. (S201)

SNS 연동 아이콘의 터치가 있는 경우, 제어부(180)는 현재 출력되는 화면의 증강현실 이미지를 저장한다. (S202)

제어부(180)는 전송의 편의 또는 SNS와의 연동을 위하여 증강현실 이미지를 데이터베이스로 변환한다. (S203)

이후, 제어부(180)는 SNS 서버(300)와 연결한다. 이때, 사용자의 SNS 계정으로 로그인하는 페이지를 제공할 수 있다. (S204)

제어부(180)는 SNS 서버(300)에 증강현실 이미지를 바로 개재할 수 있도록 증강현실 이미지가 포함된 입력창을 제공할 수 있다. (S205)

다만, 어플리케이션 서버(200)와 SNS 서버(300)가 연동된 경우에만 이러한 서비스를 제공할 수 있을 것이며, 연동이 되지 않는 SNS 사이트와는 단순한 링크 연결만 가능할 것이다.

이후, 제어부(180)는 사용자가 SNS에 증강현실 이미지를 개재했다면 이를 어플리케이션 서버(200)로 알린다. (S206)

이때, 어플리케이션 서버(200)는 SNS에 증강현실 이미지를 개재하였다면 그에 상응하는 쇼핑몰 포인트 등을 제공하여 사용자에게 참여를 유도할 수 있다.

즉, 증강현실 어플리케이션은 SNS와의 연동을 쉽게 할 수 있도록 하여, 사용자가 증강현실이 구현된 문구류에 대한 홍보를 참여하도록 유도함으로써, 광고 효과를 증대시킬 수 있다.

도 6은 본 발명의 실시예에 따른, 어플리케이션 서버가 증강현실 어플리케이션을 보조하는 과정을 나타내는 흐름도이다.

먼저, 서버통신부(230)는 이동 단말기로부터 증강현실 구현을 위한 데이터 요청을 수신한다. (S301)

서버제어부(230)는 요청된 정보와 매칭되는 증강현실 구현을 위한 데이터를 서버저장부(220)에서 검색한다. (S302)

서버통신부(230)는 검색된 증강현실 구현을 위한 데이터를 이동 단말기(100)에 송신한다. (S303)

이후, 서버통신부(230)는 이동 단말기(100)로부터 SNS에 증강현실 이미지 개재사실을 수신한다. (S304)

이때, 서버제어부(210)는 SNS 서버와 연동하여 개재사실을 확인할 수 있다. (S305)

SNS 개재사실이 확인되면, 서버제어부(210)는 이동 단말기(100) 사용자의 포인트를 지급한다. (S306)

예를 들어, 증강현실 어플리케이션을 통해 증강현실 이미지를 SNS에 개재하면, 서버제어부(210)는 증강현실이 적용된 문구류를 판매하는 당사 쇼핑몰에 포인트를 제공할 수 있다.

전술한 본 실시예에 의하여, 문구류, 특히, 시리즈로 구현된 문구류 판매에 대한 광고효과를 증대시킬 수 있고, 광고와 동시에 학습효과도 제공할 수 있으며, SNS와 증강현실 어플리케이션의 연동을 통해 사용자에게 광고 참여를 유도할 수 있는 효과가 있다.

한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.

100: 이동 단말기
200: 어플리케이션 서버
300: SNS 서버

Claims

증강현실 어플리케이션을 실행하고, 카메라를 동작시켜 화상 프레임을 촬영하고, 상기 화상 프레임에서 증강현실이 구현될 문구류 표지가 인식하여 상기 문구류 표지에 매칭되는 가상현실 데이터를 어플리케이션 서버로 요청하고, 상기 어플리케이션 서버로부터 가상현실 데이터를 전송받아서 상기 화상 프레임과 가상현실 데이터를 정합하여 증강현실을 구축하고, 상기 증강현실을 터치 스크린과 음향 출력모듈을 통해 출력하는 이동 단말기; 및
상기 이동 단말기의 요청에 따라서 증강현실 어플리케이션 서비스를 제공하고, 상기 이동 단말기로부터 상기 문구류 표지 정보가 전송되면 이에 매칭되는 가상현실 데이터를 검색하여 상기 이동 단말기로 전송하는 어플리케이션 서버; 를 포함하는 어플리케이션 제공시스템.
제 1 항에 있어서,
상기 증강현실 어플리케이션과 연동되는 SNS 서버가 더 포함되는 어플리케이션 제공시스템.
제 1 항에 있어서,
상기 가상현실 데이터는 3D 동영상, 효과음, 학습 페이지 및 상기 문구류 시리즈 표지가 포함된 어플리케이션 제공시스템.
제 3 항에 있어서,
상기 문구류 시리즈 표지에는 상기 문구류를 파는 쇼핑몰 페이지가 링크되는 어플리케이션 제공시스템.
어플리케이션 서버와 증강현실 구현을 위한 데이터를 송수신하고, SNS 서버와 구현된 증강현실 데이터를 송수신하는 무선 통신부;
화상 프레임을 촬영하는 카메라부;
상기 화상 프레임에서 기설정된 문구류 표지를 인식하고, 상기 기설정된 문구류 표지에 매칭되는 가상현실 데이터를 수신하여, 증강현실을 구축하는 제어부; 를 포함하는 이동 단말기.
제 5 항에 있어서,
상기 가상현실 데이터는 3D 동영상, 효과음, 학습 페이지 및 상기 문구류 시리즈 표지가 포함된 이동 단말기.
제 6 항에 있어서,
상기 가상현실 데이터로 SNS 서버 연동 아이콘이 더 포함된 이동 단말기.
증강현실 어플리케이션을 실행하는 단계;
카메라를 동작시켜 화상 프레임을 촬영하는 단계;
상기 화상 프레임에서 증강현실이 구현될 문구류 표지가 인식하는 단계;
상기 문구류 표지에 매칭되는 가상현실 데이터를 어플리케이션 서버로 요청하는 단계;
상기 어플리케이션 서버로부터 가상현실 데이터를 전송받는 단계;
상기 화상 프레임과 가상현실 데이터를 정합하여 증강현실을 구축하는 단계; 및
상기 증강현실 이미지를 터치 스크린으로 출력하고, 상기 증강현실 효과음을 음향 출력모듈을 통해 출력하는 단계;를 포함하는 어플리케이션 동작방법.
제 8 항에 있어서,
상기 구현된 증강현실 이미지를 SNS에 개재하고 이를 상기 어플리케이션 서버로 알리는 단계;를 더 포함하는 어플리케이션 동작방법.
제 8 항에 있어서,
상기 증강현실 이미지에 매칭되는 학습 페이지를 터치 스크린으로 출력하는 단계;를 더 포함하는 어플리케이션 동작방법.