KR102099834B1 - 전자장치 및 전자장치의 동작방법 - Google Patents

Abstract

전자장치 및 전자장치의 동작방법이 개시된다. 본 발명의 실시예들은, 증강현실 영상을 표시하도록 이루어지는 헤드마운트 디스플레이에 접속하는 무선 통신부와, 카메라를 이용하여 주변의 영상을 순차적으로 획득하고, 상기 획득된 영상에서 다수의 특징점을 추출하고, 순차적으로 획득된 복수의 영상에서 동일 특징점을 매칭한 결과에 따라 상기 추출된 특징점의 이동 경로를 파악하여 3차원의 맵을 생성하는 제어부를 포함한다. 또한, 상기 제어부는, 상기 생성된 맵을 기초로 상기 카메라의 위치와 방향에 맞게 사용자 입력이 가능한 가상 오브젝트를 합성한 증강현실 영상을 상기 접속된 헤드마운트 디스플레이에 전송하도록 상기 무선 통신부를 제어할 수 있다.

Description

전자장치 및 전자장치의 동작방법{ELECTRIC DEVICE AND OPERATION METHOD THEREOF}

본 발명은 전자장치 및 전자장치의 동작방법에 관한 것으로, 좀 더 구체적으로 증강현실 영상을 표시할 수 있는 헤드마운트 디스플레이와 접속가능한 전자장치 및 이의 동작방법에 관한 것이다.

전자장치는 휴대폰, 스마트폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이터(navigator) 등과 같은 이동 단말기와 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기를 모두 포함하는 전자기기를 의미한다.

이와 같은 전자장치는 기능이 다양화됨에 따라, 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다. 나아가 전자장치의 기능 지지 및 증대를 위해, 전자장치의 구조적인 부분 및 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다.

이러한 개량에 힘입어, 최근에는 상기 전자장치에 증강현실(Augmented Reality, AR) 기술이 적용되어서 다용한 용도로 활용되고 있다. 이와 같은 증강현실은 가상 현실(Virtual Reality)의 한 분야로서, 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 의미한다. 이와 같은 증강현실의 화면은 상기 전자장치와 유선 또는 무선으로 연결된 웨어러블 장치, 예를 들어 헤드마운트 디스플레이(head mounted display)를 이용하여 표시할 수 있다.

한편, 이와 같은 헤드마운트 디스플레이는 상기한 전자장치와 연결되어, 상기 전자장치의 입출력장치로 기능할 수도 있다. 이를 위해, 헤드마운트 디스플레이에 배치된 레이저 프로젝트를 이용하여 빛을 조사하는 방식으로 실제 눈에 보이는 입출력장치를 구현할 수 있다.

그러나 이와 같은 방식은 사용자뿐만 아니라 주변의 다른 사람들까지 입출력장치 및 이를 통해 입출력되는 내용을 볼 수 있어서 개인의 사생활을 보호할 수 없었다. 또한, 빛이 조사되는 거리에 따라 움직임에 따른 진폭이 커져서 원하지 않는 위치에 입출력장치가 표시되거나 또는 갑작스럽게 입출력장치의 위치가 변경되는 등 사용자에게 불편함을 주었다.

이에, 본 발명의 실시예들은, 주변 영상에 대한 3차원 맵을 생성하고 생성된 맵에 사용자 입력이 가능한 가상 오브젝트를 합성시켜서 획득한 증강현실 영상을 연결된 헤드마운트 디스플레이에 표시할 수 있도록 한 전자장치 및 전자장치의 동작방법을 제공하는데 그 목적이 있다.

이를 위해, 본 발명의 일 실시 예에 따른 전자장치는, 증강현실 영상을 표시하도록 이루어지는 헤드마운트 디스플레이에 접속하는 무선 통신부와; 카메라를 이용하여 주변의 영상을 순차적으로 획득하고, 상기 획득된 영상에서 다수의 특징점을 추출하고, 순차적으로 획득된 복수의 영상에서 동일 특징점을 매칭한 결과에 따라 상기 추출된 특징점의 이동 경로를 파악하여 3차원의 맵을 생성하는 제어부를 포함하고, 상기 제어부는, 상기 생성된 맵을 기초로 상기 카메라의 위치와 방향에 맞게 사용자 입력이 가능한 가상 오브젝트를 합성한 증강현실 영상을 상기 접속된 헤드마운트 디스플레이에 전송하도록 상기 무선 통신부를 제어하는 것을 특징으로 한다.

일 실시예에서, 상기 카메라가 상기 헤드마운트 디스플레이에 고정 설치된 경우이면, 상기 제어부는, 상기 헤드마운트 디스플레이의 이동 경로를 추적하여서 주변의 영상을 촬영하고, 상기 헤드마운트 디스플레이의 이동 경로를 따라 상기 증강현실 영상을 이동하여 디스플레이하도록 제어하는 것을 특징으로 한다.

일 실시예에서, 상기 카메라는 상기 헤드마운트 디스플레이를 장착한 사용자의 양 안의 앞에 구비된 단일의 스테레오 카메라인 것을 특징으로 한다.

일 실시예에서, 상기 제어부는, 상기 카메라 및 상기 맵의 특징점의 위치 중 적어도 하나가 변경되면, 변경된 위치를 추적하여 상기 맵을 업데이트하고, 상기 업데이트된 맵을 기준으로 상기 가상 오브젝트를 상기 업데이트된 맵 위에 합성하는 것을 특징으로 한다.

일 실시예에서, 상기 제어부는, 상기 가상 오브젝트상에 사용자 입력이 검출되면, 상기 검출된 사용자 입력의 위치를 추적하여 대응하는 기능을 실행하고, 상기 실행 결과를 상기 헤드마운트 디스플레이의 일 영역에 표시하도록 제어하는 것을 특징으로 한다.

일 실시예에서, 상기 사용자 입력은, 포인팅 장치나 사용자의 손가락을 이용하여 상기 가상 오브젝트가 표시된 특정 영역이나 특정 지점을 포인팅하거나 상기 포인팅 후 기설정된 방향으로 이동하는 제스처에 의하여 이루어지는 것을 특징으로 한다.

일 실시예에서, 상기 제어부는, 상기 카메라를 이용하여 획득된 영상으로부터 상기 사용자의 손가락을 검출하고, 검출된 손가락의 위치를 추적하여 상기 카메라로부터 이격된 상기 가상 오브젝트와 상기 검출된 손가락 간의 거리 차 및 상기 검출된 손가락이 향하는 방향에 근거하여 상기 특정 영역 또는 상기 특정 지점에 대한 포인팅 여부를 인식하는 것을 특징으로 한다.

일 실시예에서, 상기 가상 오브젝트는 사용자 입력이 가능한 복수의 키를 포함하는 입력 장치이고, 상기 제어부는, 포인팅된 상기 특정 영역 또는 특정 지점에 대한 포인팅 좌표가 상기 가상 오브젝트 안의 특정 키인 경우, 상기 특정 키에 매핑되는 텍스트를 출력할 수 있는 출력 영역을 상기 가상 오브젝트와 함께 상기 헤드마운트 디스플레이에 표시하도록 제어하는 것을 특징으로 한다.

일 실시예에서, 상기 가상 오브젝트는 가상의 터치패드를 포함하는 입출력 장치이고, 상기 제어부는, 포인팅된 상기 특정 영역 또는 특정 지점에 대한 포인팅 좌표를 생성하고, 상기 포인팅 좌표에 대응하는 상기 가상 오브젝트 안의 증강 현실 속에 제1 증강현실 영상을 합성하여 상기 헤드마운트 디스플레이에 표시하도록 제어하는 것을 특징으로 한다.

일 실시예에서, 상기 가상 오브젝트는 가상의 터치패드를 포함하는 입출력 장치이고, 상기 제어부는, 포인팅된 상기 특정 영역 또는 특정 지점을 시작점으로 하는 드래그 입력이 있는 경우, 상기 드래그 입력의 위치와 방향에 대응되게 상기 가상 오브젝트 안의 증강 현실 속에 제2 증강현실 영상을 합성하여 상기 헤드마운트 디스플레이에 표시하도록 제어하는 것을 특징으로 한다.

일 실시예에서, 상기 무선 통신부는 외부 장치와 접속하여 데이터 정보를 송수신하고, 상기 제어부는, 제어신호에 근거하여, 상기 생성된 맵의 3차원 데이터 정보와 상기 가상 오브젝트의 데이터 정보를 상기 접속된 외부 장치로 전송하도록 상기 무선 통신부를 제어하는 것을 특징으로 한다.

일 실시예에서, 상기 제어부는, 기설정된 우선순위에 근거하여 상기 전송된 데이터 정보들을 기초로 하여 상기 접속된 외부장치에 표시되는 가상 오브젝트에 대한 사용자 인터렉션의 허용 여부를 결정하고, 상기 결정된 결과를 상기 접속된 외부 장치로 전송하도록 상기 무선 통신부를 제어하는 것을 특징으로 한다.

또한, 본 발명의 실시예에 따른 전자장치의 동작방법은 증강현실 영상을 표시할 수 있도록 이루어지는 헤드마운트 디스플레이에 접속하는 단계와; 카메라를 이용하여 주변의 영상을 순차적으로 획득하는 단계와; 상기 획득된 영상에서 다수의 특징점을 추출하는 단계와; 상기 순차적으로 획득된 복수의 영상에서 동일 특징점을 매칭하고, 상기 매칭에 근거하여 상기 추출된 특징점의 이동 경로를 파악하여 3차원의 맵을 생성하는 단계와; 상기 생성된 맵을 기초로 상기 카메라의 위치와 방향에 맞게 가상의 터치패드를 포함하는 가상 오브젝트를 합성한 증강현실 영상을 상기 접속된 헤드마운트 디스플레이에 전송하는 단계를 포함하여 이루어진다.

일 실시예에서, 상기 카메라 및 상기 맵의 특징점의 위치 중 적어도 하나의 변경에 대응하여 상기 맵을 업데이트하는 단계와; 상기 업데이트된 맵을 기초로 상기 가상 오브젝트를 상기 업데이트된 맵 위에 합성하는 단계를 더 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 가상 오브젝트상에 사용자 입력이 검출되면, 상기 검출된 사용자 입력의 위치를 추적하여 대응하는 기능을 실행하는 단계와; 상기 실행 결과를 상기 헤드마운트 디스플레이의 일 영역에 표시하도록 제어하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 실시예에 따른 전자장치 및 전자장치의 동작방법에 의하면, 사용자 입력이 가능한 가상 오브젝트를 포함하는 증강현실 영상과, 이를 이용한 사용자 입력에 대응하는 화면변화를 전자장치와 연결된 헤드마운트 디스플레이에 제공하여서 헤드마운트 디스플레이를 착용한 사용자만 볼 수 있도록 함으로써, 개인의 사생활 및 정보를 보호할 수 있다.

또한, 본 발명의 실시예에 따른 전자장치 및 전자장치의 동작방법에 의하면, 카메라 주변의 등록되지 않은 임의의 장면, 오브젝트, 텍스쳐 등으로부터 추출된 다수의 특징점을 이용하여서 생성한 3차원 맵 위에 사용자 입력이 가능한 가상 오브젝트를 합성한 증강현실 영상을 카메라의 위치를 추적하여 표시함으로써, 사용자가 원하는 위치와 방향에 입출력장치가 표시되어 사용자 편의를 제공할 수 있다.

나아가, 본 발명의 실시예에 따른 전자장치 및 전자장치의 동작방법에 의하면, 전자장치와 연결된 헤드마운트 디스플레이에 가상 오브젝트를 이용한 입력과 출력을 함께 표시하도록 구현함으로써 전자장치의 동작을 편리하게 제어할 수 있다.

도 1은 본 발명에 실시예에 따른 전자장치 및 전자장치와 연결된 헤드마운트 디스플레이의 예시를 보여주는 개념도이다.
도 2는 본 발명의 실시예에 따른 전자장치의 세부적인 구성을 보여주는 블록도이다.
도 3은 본 발명의 실시예에 따른 전자장치에 연결가능한 헤드마운트 디스플레이의 일 예를 나타낸 도면이다.
도 4 및 도 5는 본 발명의 실시예에 따른 전자장치의 동작방법을 설명하기 위한 흐름도들이다.
도 6a 내지 도 6g는 도 4 및 도 5의 동작방법을 설명하기 위한 개념도들이다.
도 7은 본 발명의 실시예에 따라, 사용자 입력이 가능한 복수의 키를 포함하는 가상 오브젝트를 헤드마운트 디스플레이에 표시하는 모습을 보여주는 도면이다.
도 8a 및 도 8b는 본 발명의 실시예에 따라, 가상의 터치패드를 포함하는 가상 오브젝트를 헤드마운트 디스플레이에 표시하는 모습을 보여주는 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 전자장치 및 전자장치의 동작방법을 상세하게 설명하기로 한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세하게 설명하기 위하여, 본 발명의 실시 예가 첨부된 도면을 참조하여 설명한다. 하지만, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통해 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

또한, 본 명세서에서 설명되는 전자장치에는 휴대폰, 스마트폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이터(navigator), 디지털 TV, 데스크탑 컴퓨터 등이 포함될 수 있다.

먼저, 도 1은 본 발명에 실시예에 따른 전자장치 및 전자장치와 연결된 헤드마운트 디스플레이의 예시를 보여주는 개념도이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 전자장치(100)는 헤드마운트 디스플레이(200)와 유선 또는 무선으로 통신 가능하게 연결될 수 있다.

헤드마운트 디스플레이(200)와 통신 가능하게 연결되는 전자장치(100)는 도 1에 도시된 바와 같이 휴대폰, 스마트폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이터(navigator), 디지털 TV, 데스크탑 컴퓨터 등일 수 있다.

또한, 상기 헤드마운트 디스플레이(200)는 휴대가능한 안경형, 반지형, 목걸이형, 의류장착형 등과 같은 다양한 형태의 웨어러블 장치일 수 있고 환경에 따라 신체에 장착할 필요가 없는 경우에는 상기한 전자장치의 예시들 중 어느 하나로 구현될 수도 있다.

상기 전자장치(100)에 출력되는 화면정보, 예를 들어 컨텐츠를 전송하여 상기 헤드마운트 디스플레이(200)에 표시되도록 할 수 있다. 또한, 상기 헤드마운트 디스플레이(200)는 구비된 센서를 통해 수집된 데이터를 상기 전자장치(100)로 전송해줄 수 있다. 또한, 상기 전자장치(100)는 접속된 다른 외부 기기로부터 수신된 데이터를 상기 헤드마운트 디스플레이(200)와 공유할 수도 있다.

상기 전자장치(100)는 인터페이스를 통해 사용자로부터 입력받은 특정 명령을 연결된 헤드마운트 디스플레이(200)로 전송하여 관련된 동작을 제어할 수 있다. 또한, 상기 전자장치(100)는 상기 헤드마운트 디스플레이(200)로부터 수신된 데이터에 근거하여 관련된 동작을 수행하거나 소정의 화면정보나 음향을 출력시킬 수 있다.

전자장치(100)와 헤드마운트 디스플레이(200)는 예를 들어 블루투스(Bluetooth) 등의 근거리 통신 규격, 와이 파이(Wi-Fi) 등의 무선 인터넷 규격, USB(Universal Serial Bus) 등의 외부 장치 인터페이스 규격 등을 이용하여 연결될 수 있다.

이와 같이 전자장치(100)와 헤드마운트 디스플레이(200)가 연결되면, 상기 헤드마운트 디스플레이(200)는 전자장치(100)로부터 전송되는 제어신호에 따라 증강현실 화면을 표시할 수 있고, 전자장치(100)로부터 제공된 음향 신호를 출력할 수도 있다.

또한, 상기 헤드마운트 디스플레이(200)는 구비된 카메라를 통해 획득한 영상 데이터를 연결된 전자장치(10)로 전송하여, 상기 전자장치(100)에서 사용자의 시선 추적과 제스쳐 입력의 인식이 가능하도록 할 수 있다. 한편, 전자장치(100)에 구비된 카메라를 통해 획득한 영상 데이터를 헤드마운트 디스플레이(200)에 표시하도록 제어하는 것도 가능하다. 또한, 헤드마운트 디스플레이(200)는 전자장치(100)의 상태 정보를 더 표시할 수 있다.

도 2는 본 발명의 실시예에 따른 전자장치(100)의 예로 이동 단말기의 세부적인 구성을 보여주는 블록도이다.

도 2를 참조하면, 상기 전자장치(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190)를 포함할 수 있다. 도 2에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 전자장치가 구현될 수 있다.

이하에서, 전자장치(100)의 구성요소들(110~190)에 대해 차례대로 살펴본다.

무선 통신부(110)는 전자장치(100)와 무선 통신 시스템 사이, 또는 전자장치(100)와 전자장치(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115)을 포함할 수 있다.

방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및 방송 관련 정보를 수신한다. 여기서, 방송 관련 정보는 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련된 정보를 의미한다. 그리고, 방송 관련 정보는 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에, 방송 관련 정보는 이동통신 모듈(112)에 의해 수신될 수 있다. 방송 수신 모듈(111)을 통해 수신되는 방송 신호 및 방송 관련 정보는 메모리(160)에 저장될 수 있다.

이동통신 모듈(112)은 이동 통신망 상에서 기지국, 외부의 단말기, 서버 중 적어도 하나와 무선 신호를 송수신한다. 이러한 무선 신호는 음성 호 신호, 화상 통화 호 신호, 문자 메시지 또는 멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈로서, 전자장치(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.

근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.

위치정보 모듈(115)은 전자장치(100)의 위치를 획득하기 위한 모듈로서, 그것의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.

계속해서 도 2를 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 및 비디오 신호를 입력받고, 입력받은 신호를 이용하여 사용자를 추적하기 위한 것으로, 여기에는 카메라(121), 마이크(122), 적외선 센서(미도시) 등이 포함될 수 있다. 카메라(121)는 화상 통화 모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상, 동영상 등의 화상 프레임을 처리한다. 카메라(121)에 의해 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다. 그리고, 이러한 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수 있다.

마이크(122)는 통화 모드, 녹음 모드, 음성선택 모드 등에서 외부로부터 입력되는 음향 신호를 전기적인 음성 데이터로 처리한다. 통화 모드에서 마이크(122)에 의해 처리된 음성 데이터는 이동통신 모듈(112)을 통해 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호가 입력되는 과정에서 발생하는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.

사용자 입력부(130)는 사용자가 전자장치(100)의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압 및 정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.

센싱부(140)는 사용자 접촉 유무, 전자장치(100)의 개폐 상태, 위치, 방위, 가속, 감속 등과 같은 전자장치(100)의 현재 상태를 감지하여 전자장치(100)의 동작을 제어하기 위한 감지 신호를 발생시킨다. 예를 들어, 전자장치(100)가 슬라이드 폰 형태인 경우, 센싱부(140)는 슬라이드 폰의 개폐 여부를 감지할 수 있다. 또한, 센싱부(140)는 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 감지할 수도 있다.

센싱부(140)는 근접 센서(141)를 포함할 수 있다. 또한, 감지부(140)는 디스플레이부(151)에 대한 터치 동작을 감지하는 터치 센서(미도시됨)를 포함할 수 있다.

터치 센서는 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다. 터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 압력까지도 검출할 수 있도록 구성될 수 있다.

터치 센서와 디스플레이부(151)가 상호 레이어 구조를 이루는 경우에는, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 이러한 디스플레이부(151)는 ‘터치 스크린’으로 호칭할 수 있다.

터치 스크린을 통한 터치 입력이 있는 경우, 그것에 대응하는 신호들은 터치 제어기(미도시됨)로 보내진다. 터치 제어기는 터치 센서로부터 전달되는 신호들을 처리한 다음 처리된 신호들에 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부를 알 수 있게 된다.

터치 스크린이 정전식인 경우에는 감지 대상의 근접에 따른 전계의 변화로 감지 대상의 근접을 검출하도록 구성될 수 있다. 이러한 터치 스크린은 근접 센서(141)로 분류될 수 있다.

근접 센서(141)는 감지 대상의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서(141)는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다. 근접 센서(141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다.

이하에서 설명의 편의를 위해, 감지 대상이 터치 스크린상에 접촉되지 않으면서 근접하는 행위를 “근접 터치(proximity touch)”라고 칭하고, 터치 스크린 상에 감지 대상이 접촉되는 행위를 “접촉 터치(contact touch)”라고 칭한다.

근접 센서(141)는 근접 터치의 유무와 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 이러한 근접 터치 유무 및 근접 터치 패턴에 상응하는 정보는 터치 스크린에 출력될 수 있다.

출력부(150)는 시각, 청각, 촉각 등과 관련된 출력을 발생시킨다. 출력부(150)는 디스플레이부(151), 음향 출력 모듈(153), 알람부(154) 및 햅틱 모듈(155)를 포함할 수 있다.

디스플레이부(151)는 전자장치(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 전자장치(100)가 통화 모드에서 동작하는 경우에는, 디스플레이부(151)는 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 전자장치(100)가 화상 통화 모드 또는 촬영 모드에서 동작하는 경우에는, 디스플레이부(151)는 촬영된 영상, 수신된 영상, UI 또는 GUI 등을 표시한다.

디스플레이부(151)는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT- LCD), 유기 발광 다이오드(Organic Light Emitting Diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중 적어도 하나를 포함할 수 있다.

디스플레이부(151)에 포함되는 적어도 하나의 디스플레이(또는 디스플레이 소자)는 그것을 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭할 수 있는데, 이러한 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 본체에서 디스플레이부(151)가 차지하는 영역을 통해 단말기 본체의 후방에 위치한 사물을 볼 수 있다.

디스플레이부(151)는 전자장치(100)의 구현 형태에 따라 2개 이상 존재할 수 있다. 예를 들어, 전자장치(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 위치할 수 있고, 또한 서로 다른 면에 각각 위치할 수도 있다.

또한, 상기 디스플레이부(151)는 입체영상을 표시하는 입체 디스플레이부(152)로서 구성될 수 있다.

여기서, 입체영상은 3차원 입체영상(3-dimensional stereoscopic image)을 나타내며, 3차원 입체 영상(3-dimensional stereoscopic image)은 모니터나 스크린 상에서 사물이 위치한 점진적 깊이(depth)와 실체(reality)를 현실 공간과 동일하게 느낄 수 있도록 한 영상이다. 3차원 입체 영상은 양안시차(binocular disparity)를 이용하여 구현된다. 양안시차란 떨어져 있는 두 눈의 위치에 의하여 이루어지는 시차를 의미하는 것으로, 두 눈이 서로 다른 2차원 화상을 보고 그 화상들이 망막을 통하여 뇌로 전달되어 융합되면 입체 영상의 깊이 및 실제감을 느낄 수 있게 된다.

상기 입체 디스플레이부(152)에는 스테레오스코픽 방식(안경 방식), 오토 스테레오스코픽 방식(무안경 방식), 프로젝션 방식(홀로그래픽 방식) 등의 3차원 디스플레이 방식이 적용될 수 있다. 가정용 텔레비전 수신기 등에 많이 이용되는 스테레오스코픽 방식에는 휘스톤 스테레오스코프 방식 등이 있다.

상기 오토 스테레오스코픽 방식의 예로서, 패럴렉스 배리어(parallex barrier) 방식, 렌티큘러(lenticular) 방식, 집적영상(integral imaging) 방식, 스위츠블 렌즈(switchable lens) 등이 있다. 프로젝션 방식에는 반사형 홀로그래픽 방식, 투과형 홀로그래픽 방식 등이 있다.

일반적으로 3차원 입체 영상은 좌 영상(좌안용 영상)과 우 영상(우안용 영상)으로 구성된다. 좌 영상과 우 영상이 3차원 입체 영상으로 합쳐지는 방식에 따라, 좌 영상과 우 영상을 한 프레임 내 상하로 배치하는 탑-다운(top-down) 방식, 좌 영상과 우 영상을 한 프레임 내 좌우로 배치하는 L-to-R(left-to-right, side by side) 방식, 좌 영상과 우 영상의 조각들을 타일 형태로 배치하는 체커 보드(checker board) 방식, 좌 영상과 우 영상을 열 단위 또는 행 단위로 번갈아 배치하는 인터레이스드(interlaced) 방식, 그리고 좌 영상과 우 영상을 시간 별로 번갈아 표시하는 시분할(time sequential, frame by frame) 방식 등으로 나뉜다.

또한, 3차원 썸네일 영상은 원본 영상 프레임의 좌 영상 및 우 영상으로부터 각각 좌 영상 썸네일 및 우 영상 썸네일을 생성하고, 이를 합쳐서 하나의 3차원 썸네일 영상을 생성할 수 있다. 일반적으로 썸네일(thumbnail)은 축소된 화상 또는 축소된 정지영상을 의미한다. 이렇게 생성된 좌 영상 썸네일과 우 영상 썸네일은 좌 영상과 우 영상의 시차에 대응하는 깊이감(depth)만큼 화면 상에서 좌우 거리차를 두고 표시됨으로써 입체적인 공간감을 나타낼 수 있다.

3차원 입체영상의 구현에 필요한 좌 영상과 우 영상은 입체 처리부(미도시)에 의하여 입체 디스플레이부(152)에 표시될 수 있다. 입체 처리부는 3D 영상을 입력받아 이로부터 좌 영상과 우 영상을 추출하거나, 2D 영상을 입력받아 이를 좌 영상과 우 영상으로 전환하도록 이루어진다.

입체 디스플레이부(152)와 터치 센서가 상호 레이어 구조를 이루는 경우(이하, '입체 터치스크린'이라 함)나, 입체 디스플레이부(152)와 터치 동작을 감지하는 3차원 센서가 서로 조합되는 경우에는 상기 입체 디스플레이부(152)는 3차원의 입력 장치로도 사용될 수 있다.

상기 3차원 센서의 예로서, 상기 센싱부(140)는 근접 센서(141), 입체 터치센싱부(142), 초음파 센싱부(143), 카메라 센싱부(144)를 포함할 수 있다.

근접센서(141)는 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 터치를 가하는 감지대상(예를 들어, 사용자의 손가락이나 스타일러스 펜)와 검출면과의 거리를 측정한다. 단말기는 이러한 거리를 이용하여 입체영상의 어느 부분이 터치되었는지를 인식하게 된다. 특히, 터치스크린이 정전식인 경우에는 상기 감지대상의 근접에 따른 전계의 변화로 상기 감지대상의 근접 정도를 검출하고, 이러한 근접 정도를 이용하여 3차원상의 터치를 인식하도록 구성된다.

입체 터치센싱부(142)는 터치 스크린상에 가해지는 터치의 세기나 지속시간을 감지하도록 이루어진다. 예를 들어, 입체 터치센싱부(142)는 터치를 가하는 압력을 감지하고, 가압력이 강하면 이를 단말기의 내부를 향하여 터치 스크린과 보다 멀리 위치한 객체에 대한 터치로 인식한다.

초음파 센싱부(143)는 초음파를 이용하여, 감지대상의 위치정보를 인식하도록 이루어진다.

초음파 센싱부(143)는, 예를 들어 광 센서와 복수의 초음파 센서로 이루어질 수 있다. 광 센서는 광을 감지하도록 형성되며, 초음파 센서는 초음파를 감지하도록 형성된다. 광이 초음파보다 매우 빠르기 때문에, 광이 광 센서에 도달하는 시간은 초음파가 초음파 센서에 도달하는 시간보다 매우 빠르다. 따라서, 광을 기준 신호로 초음파가 도달하는 시간과의 시간차를 이용하여 파동 발생원의 위치를 산출할 수 있게 된다.

카메라 센싱부(144)는 카메라(121), 포토 센서, 레이저 센서 중 적어도 하나를 포함한다.

예를 들어, 카메라(121)와 레이저 센서는 서로 조합되어, 3차원 입체영상에 대한 감지대상의 터치를 감지한다. 카메라에 의하여 촬영된 2차원 영상에 레이저 센서에 의하여 감지된 거리정보가 더해지면, 3차원 정보가 획득될 수 있다.

또 다른 예로서, 포토 센서가 디스플레이 소자에 적층될 수 있다. 포토 센서는 터치 스크린에 근접한 감지대상의 움직임을 스캐닝하도록 이루어진다. 보다 구체적으로, 포토 센서는 행/열에 Photo Diode와 TR(Transistor)를 실장하여 Photo Diode에 인가되는 빛의 양에 따라 변화되는 전기적 신호를 이용하여 포토 센서 위에 올려지는 내용물을 스캔한다. 즉, 포토 센서는 빛의 변화량에 따른 감지대상의 좌표 계산을 수행하며, 이를 통하여 감지대상의 위치정보를 획득하게 된다.

음향 출력 모듈(153)은 호 신호 수신, 통화 모드 또는 녹음 모드, 음성선택 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(153)은 전자장치(100)에서 수행되는 기능(예를 들어, 호 신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(153)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.

알람부(154)는 전자장치(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 전자장치(100)에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(154)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어, 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 비디오 신호나 오디오 신호는 디스플레이부(151)나 음성 출력 모듈(153)을 통해서도 출력될 수 있으므로, 디스플레이부(151) 및 음성 출력 모듈(153)은 알람부(154)의 일부로 분류될 수도 있다.

햅틱 모듈(haptic module)(155)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(155)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(155)이 발생시키는 진동의 세기, 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.

햅틱 모듈(155)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.

햅틱 모듈(155)은 직접적인 접촉을 통해 촉각 효과를 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구성될 수도 있다. 햅틱 모듈(154)은 전자장치(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.

메모리(160)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입력 및 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 메모리(160)는 터치 스크린상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.

메모리(160)는 플래시 메모리(flash memory), 하드디스크(hard disk), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다. 전자장치(100)는 인터넷(internet)상에서 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

인터페이스부(170)는 전자장치(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 전자장치(100) 내부의 각 구성요소에 전달하거나, 전자장치(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 인터페이스부(170)에는 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 포함될 수 있다.

식별 모듈은 전자장치(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module: UIM), 가입자 인증 모듈(Subscriber Identify Module: SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module: USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하, ‘식별 장치’라고 칭함)는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서, 식별 장치는 포트를 통하여 단말기(100)와 연결될 수 있다.

인터페이스부(170)는 전자장치(100)가 외부 크래들(cradle)과 연결될 때 크래들로부터의 전원이 전자장치(100)에 공급되는 통로가 되거나, 사용자에 의해 크래들에서 입력되는 각종 명령 신호가 전자장치(100)로 전달되는 통로가 될 수 있다. 크래들로부터 입력되는 각종 명령 신호 또는 전원은, 상기 전자장치(100)가 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작할 수도 있다.

제어부(controller, 180)는 전자장치(100)의 전반적인 동작을 제어한다. 예를 들어, 음성 통화, 데이터 통신, 화상 통화 등과 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.

또한, 제어부(180)는 터치 스크린상에서의 필기 입력 및 그림 그리기 입력을 각각 문자 및 이미지로 선택하는 패턴 선택 처리를 수행할 수 있다. 또한, 상기 제어부(180)는 상기 이동 단말기의 상태가 설정된 조건을 만족하면, 애플리케이션들에 대한 사용자의 제어 명령의 입력을 제한하는 잠금 상태를 실행할 수 있다. 또한, 상기 제어부(180)는 상기 잠금 상태에서 상기 디스플레이부(151)를 통해 감지되는 터치 입력에 근거하여 상기 잠금 상태에서 표시되는 잠금화면을 제어할 수 있다.

전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

여기에 설명되는 다양한 실시 예는 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시 예는 ASICs(Application specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서들(processors), 제어기들(controllers), 마이크로 컨트롤러들(micro-controllers), 마이크로 프로세서들(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부(180) 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰인 소프트웨어 애플리케이션으로 소프트웨어 코드가 구현될 수 있다. 이러한 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.

이하에서는, 전자장치(100)에 대한 사용자 입력의 처리 방법에 대해 설명한다.

사용자 입력부(130)는 전자장치(100)의 동작을 제어하기 위한 명령을 입력받기 위해 조작되는 것으로서, 복수의 조작 유닛들을 포함할 수 있다. 조작 유닛들은 조작부(manipulating portion)로도 통칭 될 수 있으며, 사용자의 촉각을 이용하여 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다.

디스플레이부(151)에는 다양한 종류의 시각 정보가 표시될 수 있다. 이와 같은 시각 정보는 문자, 숫자, 기호, 그래픽, 아이콘 등의 형태로 표시될 수 있으며, 3차원 입체영상으로 이루어질 수 있다. 시각 정보의 입력을 위하여 문자, 숫자, 기호, 그래픽 및 아이콘 중 적어도 하나는 일정한 배열을 이루어 표시됨으로써 키패드의 형태로 구현될 수 있다. 이러한 키패드는 소위 ‘소프트키’라고 호칭할 수 있다.

디스플레이부(151)는 전체 영역으로 작동되거나, 복수의 영역들로 나뉘어져 작동될 수 있다. 후자의 경우, 복수의 영역들은 서로 연관되게 작동되도록 구성될 수 있다. 예를 들어, 디스플레이부(151)의 상부와 하부에는 출력창과 입력창이 각각 표시될 수 있다. 출력창과 입력창은 각각 정보의 출력 또는 입력을 위해 할당되는 영역이다. 입력창에는 전화 번호의 입력을 위한 숫자가 표시된 소프트키가 출력될 수 있다. 소프트키가 터치되면, 터치된 소프트키에 대응되는 숫자가 출력창에 표시된다. 조작 유닛이 조작되면 출력창에 표시된 전화 번호에 대한 호 연결이 시도되거나 출력창에 표시된 텍스트가 애플리케이션에 입력될 수 있다.

디스플레이부(151) 또는 터치 패드는 터치 스크롤(scroll)를 감지하도록 구성될 수 있다. 사용자는 디스플레이부(151) 또는 터치 패드를 스크롤 함으로써 디스플레이부(151)에 표시된 개체, 예를 들어, 아이콘에 위치한 커서 또는 포인터를 이동시킬 수 있다. 나아가, 손가락을 디스플레이부(151) 또는 터치 패드 상에서 이동시키는 경우, 손가락이 움직이는 경로가 디스플레이부(151)에 시각적으로 표시될 수도 있다. 이는 디스플레이부(151)에 표시되는 이미지를 편집함에 유용할 것이다.

디스플레이부(151) 및 터치 패드가 일정 시간 범위 내에서 함께 터치되는 경우에 대응하여, 전자장치(100)의 일 기능이 실행될 수도 있다. 함께 터치되는 경우로는, 사용자가 엄지 및 검지를 이용하여 전자장치(100)의 본체를 집는(clamping) 경우가 있을 수 있다. 이때, 실행되는 전자장치(100)의 일 기능은, 예를 들어, 디스플레이부(151) 또는 터치 패드에 대한 활성화 또는 비활성화일 수 있다.

도 3은 본 발명의 실시예에 따른 전자장치에 연결가능한 헤드마운트 디스플레이의 일 예를 나타낸 도면이다.

상기한 구성들을 포함하여 이루어지는 전자장치(100)와 연결되는 헤드마운트 디스플레이(head mounted display, HMD)(200)는 휴대가능한 안경형, 반지형, 목걸이형, 의류장착형 등과 같은 다양한 형태의 웨어러블 장치일 수 있고 환경에 따라 신체에 장착할 필요가 없는 경우에는 상기한 전자장치의 예시들 중 어느 하나로 구현될 수 있다.

여기서는, 설명하기 위한 목적으로, 외광을 투사할 수 있는 투시형 안경 형태(이에 한정되지 않음)의 헤드마운트 디스플레이를 예로 들어 설명하기로 하겠다.

안경 형태의 헤드마운트 디스플레이(200)는, 도 3에 도시된 바와 같이, 카메라(201)와, 영상 출력기(205, 207)와, 그리고 헤드마운트 디스플레이(200)의 전반적인 동작 제어를 위한 헤드마운트 제어부(211)를 포함하여 이루어질 수 있다.

카메라(201)는 헤드마운트 디스플레이(200)의 전면 또는 후면에 배치되어 외부를 촬용하거나 사용자의 시선을 추적할 수 있다. 여기서, 시선추적(eye-tracking)은 카메라를 통해 입력된 영상을 분석하여 사용자의 눈동자를 인식함으로써 사용자 시선을 추적하는 기술을 의미한다.

카메라(201)를 통해 획득된 영상 데이터는 연결된 전자장치(100)로 실시간으로 전송될 수 있다. 그러면, 상기 전자장치(100)는 헤드마운트 디스플레이(200)로부터 수신된 영상 데이터를 분석하여 기설정된 사용자 입력을 인식할 수 있다. 사용자 입력은 사용자 손이나 모션 제스쳐(motion gesture), 핸드 제스쳐(handgesture) 또는 기타 장치를 이용한 제스처 입력을 의미한다.

영상 출력기(205, 207)는 전자장치(100)의 제어에 따라 영상을 출력할 수 있다. 특히 본 발명에 따른 실시예에서는, 헤드마운트 디스플레이(200)가 전자장치(100)의 제어에 따라 증강현실 영상을 표시할 수 있도록 한다.

이상에서 설명한 구성들을 포함하여 이루어지는 전자장치(100)는 증강현실 영상을 표시하도록 이루어진 헤드마운트 디스플레이(200)(예, 안경 형태의 헤드마운트 디스플레이)와 접속한다. 헤드마운트 디스플레이(200)와 접속된 전자장치(100)의 영상 획득부는, 전자장치(100)에 구비된 카메라(121) 또는 헤드마운트 디스플레이(200)에 구비된 카메라(201)를 이용하여 카메라 주변의 영상을 순차적으로 획득할 수 있다.

이와 같이 카메라 주변의 영상이 획득되면, 상기 전자장치(100)의 특징점 추출부는 획득된 영상에서 다수의 특징점을 추출할 수 있다. 그러면, 상기 전자장치(100)의 제어부(180)는 순차적으로 획득된 복수의 영상, 즉 앞 영상의 프레임과 뒤 영상의 프레임에서 동일 특징점을 매칭한다.

상기 제어부(180)는 매칭 결과에 근거하여 추출된 특징점의 이동 경로를 파악함으로써 카메라 주변 환경에 대한 3차원의 맵을 생성할 수 있다. 이때, 다수의 특징점은 등록된 마커나 오브젝트가 아닌 카메라를 통해 촬영된 임의의 공간 또는 텍스처로부터 추출될 수 있다.

이와 같이 3차원의 맵이 생성되면, 상기 전자장치(100)는 생성된 맵을 기초로 카메라의 위치와 방향에 맞게 사용자 입력이 가능한 가상 오브젝트를 합성한 증강현실 영상을 획득할 수 있다. 여기서, 사용자 입력이 가능한 가상 오브젝트란 소정의 입력영역 및/또는 출력영역을 포함하는 기설정된 가상의 이미지 또는 텍스트이거나, 또는 상기 전자장치(100)에 출력되는 컨텐츠의 시각정보나 상기 전자장치(100)의 상태정보일 수 있다. 획득된 증강현실 영상은 무선 통신부(110)를 통해서 접속된 헤드마운트 디스플레이(200)에 전송되어 디스플레이된다.

이와 같이, 본 발명의 실시예들에 의하면, 사용자 입력이 가능한 가상 오브젝트를 헤드마운트 디스플레이(200)를 착용한 사용자만 볼 수 있기 때문에 개인의 사생활 및 정보를 보호할 수 있다. 또한, 주변 환경에 대한 3차원 맵을 임의 공간으로부터 추출된 특징점에 기초하여 생성하고, 사용자 입력이 가능한 가상 오브젝트가 합성된 증강현실 영상을 카메라의 위치를 추적하여 표시해줌으로써 사용자가 원하는 위치와 방향에 가상 오브젝트가 표시되는 편의를 제공한다.

이하에서는, 도 4 및 도 6a 내지 도 6g를 참조하여, 본 발명의 실시예에 따른 전자장치의 동작방법을 설명하기로 한다.

이와 관련하여, 도 4는 본 발명의 실시예에 따른 전자장치의 동작방법의 흐름도이고, 도 6a 내지 도 6g는 도 4의 동작방법을 설명하기 위한 개념도이다.

먼저, 도 4를 참조하면, 본 발명의 실시예에 따른 전자장치(100, 도 2)는 무선 통신부(110, 도 2)를 통해서 증강현실 영상을 표시할 수 있도록 이루어지는 헤드마운트 디스플레이(200, 도 3)에 접속한다(S410).

이와 같이 헤드마운트 디스플레이(200)와 접속된 상태에서, 상기 전자장치(100)는 카메라를 구동하여 카메라 주변의 영상을 순차적으로 획득한다(S420). 여기서, 상기 카메라는 헤드마운트 디스플레이(200)에 구비된 카메라(201)이거나 또는 상기 전자장치(100)에 구비된 카메라(121) 중 어느 하나이다. 상기 카메라(201 또는 121)는 전자장치(100)의 제어부(180)로부터 송신된 제어신호에 따라 구동된다.

구체적으로, 상기 카메라가 헤드마운트 디스플레이(200)에 고정 설치된 경우이면, 상기 제어부(180)는 상기 헤드마운트 디스플레이(200)의 이동 경로를 추적하여서 카메라 주변의 영상을 촬영할 수 있다. 즉, 상기 제어부(180)는 상기 헤드마운트 디스플레이(200)의 움직임 정보로부터 카메라(201)의 위치를 산출할 수 있고, 산출된 카메라(201)의 위치를 기준으로 촬영된 영상을 획득한다.

예를 들어, 도 6a를 참조하면, 헤드마운트 디스플레이(200)에 고정 설치된 카메라(201)를 통해, 임의의 텍스처들(예, 사용자 손, PC의 키보드 등)을 포함하는 주변 환경의 촬영하여 복수의 영상을 획득할 수 있다.

한편, 상기 카메라는 헤드마운트 디스플레이(200)를 장착한 사용자의 양 안의 앞에 배치되는 단일의 스테레오 카메라일 수 있다.

예를 들어, 카메라(201)가 헤드마운트 디스플레이(200)의 전면에 배치된 경우이면 카메라 주변의 영상을 획득하고, 카메라(201)가 헤드마운트 디스플레이(200)의 후면에 배치된 경우이면 사용자의 시선을 추적할 수 있다. 후자의 경우에는 전자장치(100)에 구비된 카메라(121)가 카메라 주변을 촬영하여 영상을 획득할 수 있다.

또한, 상기 제어부(180)는 상기 획득된 카메라 주변의 영상에서 다수의 특징점을 추출할 수 있다(S430). 구체적으로, 상기 제어부(180)는 획득된 주변의 영상을 이미지 프로세싱하여 카메라 주변 영상으로부터 다수의 특징점을 추출할 수 있다. 여기서, 이미지 프로세싱은 입력된 영상을 주파수 영역으로 변환하는데, 상기 제어부(180)는 주파수의 변화폭이 큰 텍스처나 공간(예, 사람 손, 전선, 모서리 등)을 특징점으로 결정할 수 있다.

예를 들어, 도 6b를 참조하면, 상기 전자장치(100)는 획득된 또는 헤드마운트 디스플레이(200)로부터 수신된 복수의 영상에 포함된 사용자 손으로부터 다수의 특징점들을 추출할 수 있다. 추출된 특징점들은 도시된 바와 같이 원 형태로 표시하였다. 도 6b 및 도 6d에서 큰 원은 주파수의 변화폭이 큰 특징점이고 작은 원은 상대적으로 주파수 변화폭인 작은 특징점을 나타낸다. 또한, 도 6d를 참조하면, 상기 전자장치(100)는 획득된 또는 헤드마운트 디스플레이(200)로부터 수신된 복수의 영상에 포함된 임의의 공간이나 텍스처로부터 다수의 특징점들을 추출할 수도 있다.

이와 같이, 순차적으로 획득된 영상에서 다수의 특징점이 추출되면, 상기 제어부(180)는 복수의 영상에서 동일 특징점을 매칭하고, 상기 매칭에 근거하여 추출된 특징점의 이동 경로를 파악함으로써 카메라 주변 영상에 대한 3차원의 맵을 생성할 수 있다(S440).

구체적으로, 상기 제어부(180)는 시간 t에 촬영한 주변 영상의 프레임으로부터 특징점을 추출하고, 순차적으로 인접한 시간 t+1에 촬영한 주변 영상의 프레임으로부터 특징점을 추출하여 대응되는 동일 특징점의 위치를 매칭한다. 이와 같은 매칭으로부터 동일 특징점의 위치변화를 인식하고, 그에 따라 실제 주변환경의 특징점의 3차원 정보를 획득하여, 주변 환경의 3차원 맵을 구성할 수 있다. 이때, 매칭되는 특징점의 수가 맵을 구성하기에 부족한 경우에는 카메라를 통해 새로운 영상을 획득하고 이로부터 특징점을 추출하는 과정을 반복할 수 있다.

또한, 이와 같은 맵의 생성 과정은 전자장치(100)와 헤드마운트 디스플레이(200)의 접속되는 동안 전자장치(100)의 백그라운드(background)에서 지속적으로 실행될 수 있다.

이와 같이 카메라 주변 영상에 대한 맵이 생성되면, 상기 제어부(180)는 생성된 맵을 기초로 카메라의 위치와 방향에 맞게 사용자 입력이 가능한 가상 오브젝트를 합성한 증강현실 영상을 상기 접속된 헤드마운트 디스플레이에 전송한다(S450).

그러면, 상기 헤드마운트 디스플레이(200)는 사용자 입력이 가능한 가상 오브젝트를 합성한 증강현실 영상을 헤드마운트 디스플레이(200)를 착용한 사용자의 시야에 디스플레이할 수 있다.

예를 들어, 도 6c를 참조하면, 획득된 영상에 포함된 사용자의 손으로부터 추출된 특징점을 기초로 생성된 맵을 등록한 경우, 가상 오브젝트가 사용자의 손위에 놓여있는 것과 같은 증강현실 영상을 헤드마운트 디스플레이(200)에 표시할 수 있다. 이 경우에는, 사용자의 손의 이동 경로를 추적하여 증강현실 영상을 디스플레이하기 때문에, 사용자는 마치 가상 오브젝트가 실제 사용자의 손위에 놓여 있는 것과 같이 느끼게 된다. 또한, 예를 들어, 도 6e를 참조하면, 획득된 영상에 포함된 임의의 텍스처로부터 추출된 특징점을 기초로 생성된 맵을 등록한 경우, 특정 공간에 및 특정 방향으로 가상 오브젝트가 디스플레이되도록 할 수 있다.

한편, 상기 카메라가 헤드마운트 디스플레이(200)에 고정 설치된 경우이면, 상기 제어부(180)는 상기 헤드마운트 디스플레이(200)의 이동 경로를 따라 증강현실 영상을 이동하여 디스플레이하도록 제어할 수 있다. 또한, 상기 헤드마운트 디스플레이(200)에 복수의 카메라가 배치되어 이 중 하나가 사용자의 시선을 추적하는 경우에는, 사용자의 시선을 따라서 증강현실 영상이 디스플레이될 수도 있다.

이상에서는, 카메라를 이용하여 임의의 공간으로부터 특징점들을 추출하여 주변 환경에 대한 3차원 맵을 생성하고, 여기에 사용자 입력이 가능한 가상 오브젝트를 합성한 증강현실 이미지를 연결된 헤드마운트 디스플레이에 출력시키는 방법을 살펴보았다.

이하에서는, 도 5 및 도 6a 내지 도 6g를 참조하여, 생성된 3차원 맵을 업데이트하고 디스플레이된 가상 오브젝트에 대한 사용자 입력을 출력하는 방법을 설명하기로 한다.

본 발명의 실시예에 따른 전자장치(100)는 무선 통신부(110)를 통해서 증강현실 영상을 표시할 수 있는 헤드마운트 디스플레이(200)와 접속할 수 있다. 이와 같이 헤드마운트 디스플레이(200)와 접속된 상태에서, 상기 전자장치(100)는 카메라를 구동하여 주변의 영상을 순차적으로 획득한다. 제어부(180)는 획득된 영상으로부터 다수의 특징점을 추출할 수 있다. 이러한 방식으로, 상기 제어부(180)는 순차적으로 획득된 복수의 영상에서 동일 특징점을 매칭하고, 상기 매칭에 근거하여 추출된 특징점의 이동 경로를 파악하여 카메라 주변 영상에 대한 3차원의 맵을 생성한다. 이와 같이 카메라 주변 영상에 대한 맵이 생성되면, 상기 제어부(180)는 생성된 맵을 기초로 카메라의 위치와 방향에 맞게 사용자 입력이 가능한 가상 오브젝트를 합성한 증강현실 영상을 상기 접속된 헤드마운트 디스플레이에 전송한다.

한편, 상기 제어부(180)는 카메라 주변에 대한 맵을 생성하는 도중에 또는 증강현실 영상을 디스플레이하는 도중에, 카메라(201, 121)의 위치 변화나 상기 맵의 특징점의 위치 변화를 감지할 수 있다.

이와 관련하여, 도 5를 참조하면, 상기 제어부(180)는 카메라(201, 121)의 위치나 상기 맵의 특징점의 위치 중 적어도 하나가 변경되면 변경된 위치를 근거로 상기 맵을 업데이트할 수 있다(S510).

이와 같이 맵이 업데이트되면, 상기 제어부(180)는 업데이트된 맵을 기초로 상기 가상 오브젝트를 상기 업데이트된 맵 위에 합성한다(S520). 이와 같이 업데이된 맵 위에 가상 오브젝트를 합성한 증강현실 영상은 상기 설명한 바와 같이 헤드마운트 디스플레이(200)를 통해 출력될 수 있다.

이와 같이 업데이트된 맵에 기초한 증강현실 영상이 헤드마운트 디스플레이(200)에 출력된 상태에서, 상기 제어부(180)는 상기 증강현실 영상의 가상 오브젝트에 인가되는 사용자 입력을 검출할 수 있다(S530).

가상 오브젝트상에 사용자 입력이 검출되면, 상기 제어부(180)는 검출된 사용자 입력의 위치를 추적하여 대응하는 기능을 실행할 수 있다(S540). 여기서, 사용자 입력의 위치 추적은 헤드마운트 디스플레이(200)에 구비된 카메라(201)를 통해 수행될 수 있다.

구체적으로, 사용자 입력은, 포인팅 장치나 사용자의 손가락을 이용하여 상기 가상 오브젝트가 표시된 특정 영역이나 특정 지점을 포인팅하는 제스처에 의하여 이루어질 수 있다. 또한, 상기 사용자 입력은 포인팅 장치나 사용자의 손가락을 이용하여 상기 가상 오브젝트가 표시된 특정 영역이나 특정 지점을 포인팅 한 후 기설정된 방향으로 이동하는 제스처에 의하여 이루어질 수 있다.

사용자 입력이 사용자의 손가락을 이용하여 이루어지는 경우에 사용자 입력의 검출 과정은 다음과 같다.

상기 제어부(180)는, 카메라(121 또는 201)를 이용하여 획득된 영상으로부터 사용자의 손가락을 검출할 수 있다. 예를 들어, 미리 약속된 제스처(예, 양손의 손가락을 벌려서 손바닥이 전면을 향하도록 하는 제스처)를 시작으로 사용자의 손가락이 인식되도록 할 수 있다(또는 이와 같이 음성 명령이 병행될 수도 있다).

또한, 환경에 따라서는 기등록된 사용자의 손가락만 인식되도록 할 수 있다. 이러한 경우, 상기 제어부(180)는 등록되지 않은 제3자의 손 또는 손가락이 인식되면 이를 무시하거나 경고 알람을 출력할 수 있다.

그런 다음, 상기 카메라는 검출된 손가락의 위치를 추적하여 상기 카메라로부터 이격된 가상 오브젝트의 위치와 상기 검출된 손가락 위치의 거리 차와 상기 검출된 손가락이 향하는 방향에 근거하여서, 가상 오브젝트가 표시된 특정 영역이나 특정 지점에 대한 포인팅 여부를 인식할 수 있다.

예를 들어, 카메라로부터 가상 오브젝트의 거리와 카메라로부터 검출된 손가락의 거리가 적어도 동일하거나 적어도 검출된 손가락의 위치가 가상 오브젝트보다 더 멀고(즉, 가상 오브젝트와 겹쳐지거나 가상 오브젝트를 통과함) 손가락이 향하는 방향이 가상 오브젝트가 표시된 방향과 수직에 가까운 경우이면 해당 영역 또는 지점에 대한 포인팅이 이루어진 것으로 인식할 수 있다.

이와 관련하여, 도 6f 및 6g를 참조하면, 상기 제어부(180)는 카메라를 통해 촬영된 손 영상(도 6f)과 미리 약속된 손가락 형상 모델링(도 6g)을 비교하여 사용자의 손끝을 검출할 수 있다. 검출된 손끝의 이동 경로는 카메라를 통해 추적될 수 있다.

한편, 사용자 입력이 포인팅 장치를 이용하여 이루어지는 경우에 사용자 입력의 검출 과정은 다음과 같다.

상기 제어부(180)는, 카메라(121 또는 201)를 통해 획득된 영상과 포인팅 장치에 구비된 카메라를 통해 획득된 영상을 분석하여, 가상 오브젝트에 대한 포인팅 장치의 3차원 상대 위치와 방향 및 각도를 인식할 수 있다. 그에 따라, 산출된 포인팅 장치의 에지(edge)의 상대적 좌표계와 상기 가상 오브젝트가 표시된 영역의 좌표계와 만나게 되면 해당 영역 또는 지점에 대한 포인팅이 이루어진 것으로 인식할 수 있다.

이와 같이 사용자 입력이 검출되면, 상기 제어부(180)는 검출된 사용자 입력에 대응하는 기능을 실행할 수 있다.

여기서, 사용자 입력에 대응하는 기능이란, 예를 들어, 특정 키에 대한 입력 또는 특정 지점에의 포인팅에 대응하는 화면변화를 의미한다. 또한, 상기 화면변화는 가상 오브젝트의 형상 변경, 및/또는 입력으로 인식된 키에 매핑되는 텍스트의 출력일 수 있다.

한편, 상기 제어부(180)는 이와 같은 화면변화와 함께 소정의 음향 정보가 음향 출력 모듈(152, 도 2)에 출력되도록 제어할 수 있다.

또한, 상기 제어부(180)는 검출된 사용자 입력에 대응하는 기능의 실행 결과를 상기 헤드마운트 디스플레이(200)의 일 영역에 표시하도록 제어할 수 있다. 이에 의하면, 사용자는 가상 오브젝트에 대한 사용자 입력과 이러한 사용자 입력에 대응되는 출력을 모두 헤드마운트 디스플레이(200)에서 확인할 수 있기 때문에 개인 정보가 보호되고 제어가 편리하다.

이하에서는, 도 7및 도 8a 및 도 8b를 참조하여, 헤드마운트 디스플레이(200)를 통해 디스플레이되는 증강현실 영상 속의 가상 오브젝트를 이용한 사용자 입력의 구체적인 예시들을 살펴보기로 한다.

이와 관련하여, 도 7은 본 발명의 실시예에 따라, 사용자 입력이 가능한 복수의 키를 포함하는 가상 오브젝트를 헤드마운트 디스플레이에 표시하는 모습을 보여주는 도면이다. 또한, 도 8a 및 도 8b는 본 발명의 실시예에 따라, 가상의 터치패드를 포함하는 가상 오브젝트를 헤드마운트 디스플레이에 표시하는 모습을 보여주는 도면이다.

전자장치(100)는 무선 통신부(110)를 통해서 증강현실 영상을 표시할 수 있도록 이루어진 헤드마운트 디스플레이(200)에 접속한다. 이와 같이 헤드마운트 디스플레이(200)와 접속된 상태에서, 상기 전자장치(100)는 카메라를 구동하여 주변의 영상을 순차적으로 획득한다. 제어부(180)는 획득된 영상으로부터 다수의 특징점을 추출할 수 있다. 이러한 방식으로, 상기 제어부(180)는 순차적으로 획득된 복수의 영상에서 동일 특징점을 매칭하고, 상기 매칭에 근거하여 추출된 특징점의 이동 경로를 파악하여 카메라 주변 영상에 대한 3차원의 맵을 생성한다. 이와 같이 카메라 주변 영상에 대한 맵이 생성되면, 상기 제어부(180)는 생성된 맵을 기초로 카메라의 위치와 방향에 맞게 사용자 입력이 가능한 가상 오브젝트를 합성한 증강현실 영상을 상기 접속된 헤드마운트 디스플레이(200)에 전송할 수 있다.

일 실시예에서, 헤드마운트 디스플레이(200)에 디스플레이되는 가상 오브젝트는 사용자 입력이 가능한 복수의 키를 포함하는 입력 장치일 수 있다.

이러한 경우, 상기 제어부(180)는, 가상 오브젝트상에서 포인팅된 특정 영역 이나 특정 지점에 대한 포인팅 좌표를 생성하고, 포인팅 좌표의 위치가 상기 가상 오브젝트 안의 특정 키의 영역인 경우, 상기 특정 키에 매핑되는 텍스트를 출력할 수 있다.

이를 위해, 상기 제어부(180)는 상기 가상 오브젝트와 함께 상기 텍스트를 출력할 수 있는 출력 영역을 상기 헤드마운트 디스플레이(200)에 더 표시하도록 제어할 수 있다. 이때, 상기 출력 영역은 상기 가상 오브젝트와 구별되는 영역에 표시될 수도 있고, 상기 가상 오브젝트가 디스플레이된 영역의 일부에 오버랩되어 표시될 수도 있다.

예를 들어, 도 7을 참조하면, 헤드마운트 디스플레이(200)를 통해서 복수의 키들을 구비한 입력장치가 상기 가상 오브젝트로 디스플레이될 수 있다. 상기 입력장치는 도 7에 도시된 바와 같이 키보드 형태일 수 있으나, 이에 한정되지 않으며, 연결된 전자장치(100)에 대한 제어명령을 입력받기 위한 키를 포함하는 어떠한 형태로도 이루어질 수 있다. 예를 들어, 상기 입력장치는 특정 음색을 갖는 악기 형태일 수 있다. 또한, 상기 가상 오브젝트가 디스플레이된 영역과 구별되는 영역에 소정의 출력영역(310')이 디스플레이될 수 있다.

이와 같이 키보드 형태의 가상 오브젝트(300')가 디스플레이된 상태에서, 예를 들어 사용자 손에 의해서 'ㅌ' 키에 포인팅이 인식된 경우, 상기 제어부(180)는 상기 출력영역(310')에 'ㅌ' 문자를 출력하도록 제어할 수 있다. 사용자는 입력된 키에 대응하는 출력 결과를 바로 확인할 수 있다. 이때, 헤드마운트 디스플레이(200)와 연결된 전자장치(100), 예를 들어 이동 단말기의 디스플레이부(151)에 상기 입력된 'ㅌ' 문자가 동시에 출력될 수도 있다. 한편, 상기 제어부(180)는 개인 정보 보호 모드에서는 입력된 'ㅌ' 문자가 헤드마운트 디스플레이(200)를 통해서만 디스플레이되도록 할 수 있다.

다른 실시예에서, 헤드마운트 디스플레이(200)에 디스플레이되는 가상 오브젝트는 가상의 터치패드를 포함하는 컨텐츠 화면일 수 있다.

이러한 경우, 상기 제어부(180)는, 가상 오브젝트상에서 포인팅된 특정 영역 이나 특정 지점에 대한 포인팅 좌표를 생성하고, 상기 포인팅 좌표에 대응하는 상기 가상 오브젝트 안의 증강 현실 속에 제1 증강현실 영상을 합성하여 상기 헤드마운트 디스플레이(200)에 표시할 수 있다. 여기서, 제1 증강현실 영상은 기정해진 증강현실의 이미지 및/또는 텍스트, 예를 들어 마우스의 커서나 또는 손모양의 이미일 수 있다.

이와 같이, 가상 오브젝트 안의 증강 현실 속에 제1 증강현실 영상이 합성되면, 제어부(180)는 해당 영역이나 지점을 가리킨 것으로 인식한다. 한편, 제1 증강현실 영상이 특정 위치를 가리킨 상태에서 기설정된 방식의 제스처가 감지되면, 상기 제어부(180)는 해당 제스처에 대응하는 동작을 실행할 수 있다. 예를 들어, 제1 증강현실 영상이 가리키는 위치가 특정 홈페이지의 웹주소인 경우, 제1 증강현실 영상이 표시된 영역을 두드리는 제스처가 있으면 해당 웹주소에 대응하는 화면을 가상 오브젝트로 표시할 수 있다.

예를 들어, 도 8a를 참조하면, 헤드마운트 디스플레이(200)를 통해서 이동 단말기(100)에 출력되는 시각정보, 예를 들어 웹 애플리케이션의 실행 화면이 디스플레이될 수 있다. 이때, 출력가능한 시각정보로 문자, 숫자, 기호, 그래픽, 아이콘 등의 형태를 모두 포함할 수 있다.

웹 애플리케이션의 실행화면이 가상 오브젝트(300')로 출력된 상태에서, 예를 들어 사용자 손에 의해서 특정 지점에 대한 포인팅이 감지되면, 상기 제어부(180)는 포인팅된 위치의 좌표를 산출하고, 가상 오브젝트(300') 안의 증강 현실 속에 마우스 커서 아이콘을 제1 증강현실 영상으로 합성하여 표시할 수 있다.

또한, 다른 실시예에서, 헤드마운트 디스플레이(200)에 디스플레이되는 가상 오브젝트는 가상의 터치패드를 포함하는 입출력 장치일 수 있다.

이러한 경우, 상기 제어부(180)는, 가상 오브젝트상에 포인팅된 특정 영역 이나 특정 지점을 시작점으로 하는 드래그 입력을 감지할 수 있다. 제어부(180)는 감지된 드래그 입력의 위치와 방향에 대응되게 상기 가상 오브젝트 안의 증강 현실 속에 제2 증강현실 영상을 합성하여 상기 헤드마운트 디스플레이(200)에 표시할 수 있다. 여기서, 상기 제2 증강현실 영상은 드래드 입력의 시작지점과 끝지점을 포함하여 입력된 드래그에 대응되는 궤적의 범위를 그대로 나타낸 이미지일 수 있다. 예를 들어, 상기 제2 증강현실 영상은 사용자가 상기 가상 오브젝트상에 입력한 필기 입력 또는 서명일 수 있다.

이를 위해, 상기 제어부(180)는 드래그 입력의 유효 영역은 미리 설정할 수 있다. 또한, 상기 드래그 입력의 유효 영역은 환경에 따라서는 사용자 제스처에 따라 확장되거나 축소될 수 있다.

이와 같이, 가상 오브젝트 안의 증강 현실 속에 합성되는 제2 증강현실 영상은 감지된 드래그 입력에 따라 실시간으로 이루어질 수 있다. 한편, 상기 제어부(180)는 개인 정보 보호 모드에서는 상기 제2 증강현실 영상을 상기 헤드마운트 디스플레이(200)를 통해서만 디스플레이되도록 할 수 있다.

예를 들어, 도 8b를 참조하면, 헤드마운트 디스플레이(200)를 통해서 소정의 입력 가능한 화면이 디스플레이될 수 있다. 구체적으로, 상기 제어부(180)는 사용자 손에 의해 이루어지는 드래그 입력의 궤적범위를 제2 증강현실 영상(320)으로 합성하여 출력할 수 있다. 한편, 입력된 드래그 입력의 궤적범위는 그대로 출력될 수도 있고, 입력된 드래그 입력의 직선, 각도, 형태를 판단하여 인식된 텍스트로 변환하여 출력될 수도 있다.

상기 제어부(180)는 상기 드래그 입력을 포함하는 증강현실 영상을 전자장치(100)의 메모리(160)에 저장할 수 있다. 또한, 상기 제어부(180)는 드래그 입력을 포함하는 증강현실 영상을 상기 전자장치(100)와 접속한 다른 외부 기기로 전송할 수 있다.

이하에서는, 본 발명의 실시예에 따른 전자장치가 접속된 다른 외부 장치와 상기 맵이나 상기 가상 오브젝트의 데이터를 공유하여 인터렉션(interaction)하는 것을 설명하기로 한다.

본 발명의 실시예에 따른 전자장치(100)는 무선 통신부(110)를 통해서 증강현실 영상을 표시할 수 있도록 이루어진 헤드마운트 디스플레이(200)에 접속한다. 이와 같이 헤드마운트 디스플레이(200)와 접속된 상태에서, 상기 전자장치(100)는 카메라를 구동하여 주변의 영상을 순차적으로 획득한다. 제어부(180)는 획득된 영상으로부터 다수의 특징점을 추출할 수 있다. 이러한 방식으로 순차적으로 획득된 복수의 영상에서 동일 특징점을 매칭하고, 상기 매칭에 근거하여 추출된 특징점의 이동 경로를 파악하여카메라 주변 영상에 대한 3차원의 맵을 생성한다. 이와 같이 카메라 주변 영상에 대한 맵이 생성되면, 상기 제어부(180)는 생성된 맵을 기초로 카메라의 위치와 방향에 맞게 사용자 입력이 가능한 가상 오브젝트를 합성한 증강현실 영상을 상기 접속된 헤드마운트 디스플레이에 전송하여 출력되도록 할 수 있다.

한편, 상기 전자장치(100)는 상기 생성된 맵 정보와 상기 가상 오브젝트를 합성한 증강현실 영상은 다른 외부 장치와 공유할 수 있다.

이를 위해, 상기 전자장치(100)는 무선 통신부(110)를 통해 외부 장치와 접속하고, 상기 제어부(180)는, 제어신호에 근거하여, 상기 생성된 맵의 3차원 데이터 정보와 상기 가상 오브젝트의 데이터 정보를 상기 접속된 외부 장치로 전송할 수 있다. 이때, 상기 접속된 외부 장치는 생성된 맵의 3차원 데이터 정보와 상기 가상 오브젝트 데이터 정보를 전송해줄 것을 상기 전자장치(100)에 요청할 수도 있다. 또한, 상기 전자장치(100)는 소정의 서버(미도시)에 상기 생성된 맵의 3차원 데이터 정보와 상기 가상 오브젝트의 데이터 정보를 업로드하도록 전송하고, 상기 서버(미도시)에 접근이 허용된 외부 장치가 업로드된 맵의 3차원 데이터 정보와 상기 가상 오브젝트의 데이터 정보를 수신하도록 할 수도 있다.

이와 같이 동일한 맵의 3차원 데이터 정보와 상기 가상 오브젝트 데이터 정보가 공유되면, 상기 외부 장치는 디스플레이부에 또는 제2 마운트 디스플레이(미도시)를 통해 가상 오브젝트가 합성된 증강현실 영상을 디스플레이할 수 있다. 이때, 가상 오브젝트를 포함한 증강현실 영상의 표시는 상기 전자장치(100)와 접속된 마운트 디스플레이(200)와 상기 외부 장치의 디스플레이에 각각 표시될 수도 있다. 또는, 환경에 따라서는 하나의 증강현실 영상이 상기 전자장치(100)와 접속된 마운트 디스플레이(200)와 상기 외부 장치의 디스플레이에서 공유될 수 있다. 이러한 경우에는 상기 마운트 디스플레이(200)와 상기 외부 장치의 디스플레이가 소정 거리내에 인접하는 제한 조건이 필요할 것이다.

이와 같이 동일한 맵과 동일한 가상 오브젝트 데이터 정보가 공유되면 전자장치(100)와 외부장치에서의 각 제어에 따라 복수의 컨텐츠를 함께 공유하는 것도 가능해진다.

한편, 상기 제어부(180)는 상기 외부 장치의 사용자에게 가상 오브젝트에 대한 인터렉션의 허용 여부를 설정할 수 있다.

구체적으로, 상기 제어부(180)는 기설정된 우선순위에 근거하여 상기 전송된 데이터 정보들을 기초로 하여 상기 접속된 외부장치에 표시된 가상 오브젝트에 대한 사용자 인터렉션의 허용 여부를 결정할 수 있다. 구체적으로, 상기 전자장치(100)의 사용자는, 접속된 외부장치의 사용자가 상기 가상 오브젝트를 포함한 증강현실 영상을 볼 수만 있도록 할 수도 있고, 사용자 입력을 통해 인터렉션할 수도 있도록 조건을 부여하는 가능하다. 여기서, 상기 기설정된 우선순위는 전자장치(100)의 메모리(160)에 기저장된 정보에 근거하여 정해질 수 있다.

결정된 결과는, 무선 통신부(110)를 통해서 상기 데이터 정보들과 함께 상기 접속된 외부 장치로 전달될 수 있다.

한편, 이상에서 설명한 실시예들은 생성된 3차원의 맵과 가상 오브젝트를 포함한 증강현실 영상이 헤드마운트 디스플레이(200)에 디스플레이되는 예에 대하여설명하였으나, 개인 정보와 관련된 입출력이 아닌 경우 또는 사용자가 원하지 않는 경우에는 상기한 맵과 가상 오브젝트를 포함한 증강현실 영상이 상기 전자장치(100)의 디스플레이부(151)에 표시될 수도 있고, 전자장치(100)나 헤드마운트 디스플레이(200)에 구비된 프로젝터를 이용하여 표시될 수도 있음은 물론이다.

이상에서 설명한 바와 같이, 본 발명의 실시예에 따른 전자장치 및 전자장치의 동작방법에 의하면, 증강현실 영상을 이용한 사용자 입력 및 사용자 입력에 대응하는 화면변화를 헤드마운트 디스플레이를 착용한 사용자만 볼 수 있도록 구현함으로써, 개인 정보 및 개인의 사생활을 보호할 수 있다. 또한, 카메라 주변의 등록되지 않은 임의의 장면, 오브젝트, 텍스쳐 등으로부터 추출된 다수의 특징점을 이용하여 3차원 맵을 등록하고, 그 위에 사용자 입력이 가능한 가상 오브젝트를 카메라의 위치를 따라 표시해줌으로써, 사용자가 원하는 위치와 방향에 입출력장치가 표시될 수 있어 사용자 편의가 제공된다. 나아가, 전자장치와 연결된 헤드마운트 디스플레이에 가상 오브젝트를 이용한 입력과 출력을 함께 표시하도록 구현함으로써 전자장치의 동작을 편리하게 제어할 수 있다.

또한, 본 명세서에 개시된 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

상기와 같이 설명된 전자장치는 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (15)

1. 증강현실 영상을 표시하도록 이루어지는 헤드마운트 디스플레이에 접속하는 무선 통신부; 및
   카메라를 이용하여 주변의 영상을 순차적으로 획득하고, 상기 획득된 영상에서 다수의 특징점을 추출하고, 순차적으로 획득된 복수의 영상에서 동일 특징점을 매칭한 결과에 따라 상기 추출된 특징점의 이동 경로를 파악하여 3차원의 맵을 생성하는 제어부를 포함하고,
   상기 제어부는,
   상기 획득된 영상을 주파수 영역으로 변환하고, 주파수 변화폭에 근거하여 상기 획득된 영상의 특징점을 추출하고,
   상기 추출된 특징점을 상기 획득된 영상에 표시하고, 상기 주파수 변화에 근거하여 상기 특징점의 크기를 기 설정된 크기로 설정하고,
   상기 생성된 맵을 기초로 상기 카메라의 위치와 방향에 맞게 사용자 입력이 가능한 가상 오브젝트를 합성한 증강현실 영상을 상기 접속된 헤드마운트 디스플레이에 전송하도록 상기 무선 통신부를 제어하는 것을 특징으로 하는 전자장치.
2. 제1항에 있어서,
   상기 카메라가 상기 헤드마운트 디스플레이에 고정 설치된 경우이면,
   상기 제어부는, 상기 헤드마운트 디스플레이의 이동 경로를 추적하여서 주변의 영상을 촬영하고, 상기 헤드마운트 디스플레이의 이동 경로를 따라 상기 증강현실 영상을 이동하여 디스플레이하도록 제어하는 것을 특징으로 하는 전자장치.
3. 제2항에 있어서,
   상기 카메라는 상기 헤드마운트 디스플레이를 장착한 사용자의 양 안의 앞에 구비된 단일의 스테레오 카메라인 것을 특징으로 하는 전자장치.
4. 제1항에 있어서,
   상기 제어부는,
   상기 카메라 및 상기 맵의 특징점의 위치 중 적어도 하나가 변경되면, 변경된 위치를 추적하여 상기 맵을 업데이트하고, 상기 업데이트된 맵을 기준으로 상기 가상 오브젝트를 상기 업데이트된 맵 위에 합성하는 것을 특징으로 하는 전자장치.
5. 제1항에 있어서,
   상기 제어부는,
   상기 가상 오브젝트상에 사용자 입력이 검출되면, 상기 검출된 사용자 입력의 위치를 추적하여 대응하는 기능을 실행하고, 상기 실행 결과를 상기 헤드마운트 디스플레이의 일 영역에 표시하도록 제어하는 것을 특징으로 하는 전자장치.
6. 제5항에 있어서,
   상기 사용자 입력은, 포인팅 장치나 사용자의 손가락을 이용하여 상기 가상 오브젝트가 표시된 특정 영역이나 특정 지점을 포인팅하거나 상기 포인팅 후 기설정된 방향으로 이동하는 제스처에 의하여 이루어지는 것을 특징으로 하는 전자장치.
7. 제6항에 있어서,
   상기 제어부는,
   상기 카메라를 이용하여 획득된 영상으로부터 상기 사용자의 손가락을 검출하고, 검출된 손가락의 위치를 추적하여 상기 카메라로부터 이격된 상기 가상 오브젝트와 상기 검출된 손가락 간의 거리 차 및 상기 검출된 손가락이 향하는 방향에 근거하여 상기 특정 영역 또는 상기 특정 지점에 대한 포인팅 여부를 인식하는 것을 특징으로 하는 전자장치.
8. 제6항에 있어서,
   상기 가상 오브젝트는 사용자 입력이 가능한 복수의 키를 포함하는 입력 장치이고,
   상기 제어부는,
   포인팅된 상기 특정 영역 또는 특정 지점에 대한 포인팅 좌표가 상기 가상 오브젝트 안의 특정 키인 경우, 상기 특정 키에 매핑되는 텍스트를 출력할 수 있는 출력 영역을 상기 가상 오브젝트와 함께 상기 헤드마운트 디스플레이에 표시하도록 제어하는 것을 특징으로 하는 전자장치.
9. 제6항에 있어서,
   상기 가상 오브젝트는 가상의 터치패드를 포함하는 컨텐츠 화면이고,
   상기 제어부는,
   포인팅된 상기 특정 영역 또는 특정 지점에 대한 포인팅 좌표를 생성하고, 상기 포인팅 좌표에 대응하는 상기 가상 오브젝트 안의 증강 현실 속에 제1 증강현실 영상을 합성하여 상기 헤드마운트 디스플레이에 표시하도록 제어하는 것을 특징으로 하는 전자장치.
10. 제6항에 있어서,
    상기 가상 오브젝트는 가상의 터치패드를 포함하는 입출력 장치이고,
    상기 제어부는,
    포인팅된 상기 특정 영역 또는 특정 지점을 시작점으로 하는 드래그 입력이 있는 경우, 상기 드래그 입력의 위치와 방향에 대응되게 상기 가상 오브젝트 안의 증강 현실 속에 제2 증강현실 영상을 합성하여 상기 헤드마운트 디스플레이에 표시하도록 제어하는 것을 특징으로 하는 전자장치.
11. 제1항에 있어서,
    상기 무선 통신부는 외부 장치와 접속하여 데이터 정보를 송수신하고,
    상기 제어부는,
    제어신호에 근거하여, 상기 생성된 맵의 3차원 데이터 정보와 상기 가상 오브젝트의 데이터 정보를 상기 접속된 외부 장치로 전송하도록 상기 무선 통신부를 제어하는 것을 특징으로 하는 전자장치.
12. 제11항에 있어서,
    상기 제어부는,
    기설정된 우선순위에 근거하여 상기 전송된 데이터 정보들을 기초로 하여 상기 접속된 외부장치에 표시되는 가상 오브젝트에 대한 사용자 인터렉션의 허용 여부를 결정하고, 상기 결정된 결과를 상기 접속된 외부 장치로 전송하도록 상기 무선 통신부를 제어하는 것을 특징으로 하는 전자장치.
13. 증강현실 영상을 표시할 수 있도록 이루어지는 헤드마운트 디스플레이에 접속하는 단계;
    카메라를 이용하여 주변의 영상을 순차적으로 획득하는 단계;
    상기 획득된 영상에서 다수의 특징점을 추출하는 단계;
    상기 순차적으로 획득된 복수의 영상에서 동일 특징점을 매칭하고, 상기 매칭에 근거하여 상기 추출된 특징점의 이동 경로를 파악하여 3차원의 맵을 생성하는 단계; 및
    상기 생성된 맵을 기초로 상기 카메라의 위치와 방향에 맞게 가상의 터치패드를 포함하는 가상 오브젝트를 합성한 증강현실 영상을 상기 접속된 헤드마운트 디스플레이에 전송하는 단계를 포함하고,
    상기 다수의 특징점을 추출하는 단계는,
    상기 획득된 영상을 주파수 영역으로 변환하고, 주파수 변화폭에 근거하여 상기 획득된 영상의 특징점을 추출하고,
    상기 추출된 특징점을 상기 획득된 영상에 표시하고, 상기 주파수 변화에 근거하여 상기 특징점의 크기를 기 설정된 크기로 설정하는 것을 특징으로 하는 전자장치의 동작방법.
14. 제13항에 있어서,
    상기 카메라 및 상기 맵의 특징점의 위치 중 적어도 하나의 변경에 대응하여 상기 맵을 업데이트하는 단계; 및
    상기 업데이트된 맵을 기초로 상기 가상 오브젝트를 상기 업데이트된 맵 위에 합성하는 단계를 더 포함하는 것을 특징으로 하는 전자장치의 동작방법.
15. 제13항 또는 제14항에 있어서,
    상기 가상 오브젝트상에 사용자 입력이 검출되면, 상기 검출된 사용자 입력의 위치를 추적하여 대응하는 기능을 실행하는 단계; 및
    상기 실행 결과를 상기 헤드마운트 디스플레이의 일 영역에 표시하도록 제어하는 단계를 더 포함하는 것을 특징으로 하는 전자장치의 동작방법.

Images