KR102056221B1 - 시선인식을 이용한 장치 연결 방법 및 장치 - Google Patents

시선인식을 이용한 장치 연결 방법 및 장치 Download PDF

Info

Publication number
KR102056221B1
KR102056221B1 KR1020130081901A KR20130081901A KR102056221B1 KR 102056221 B1 KR102056221 B1 KR 102056221B1 KR 1020130081901 A KR1020130081901 A KR 1020130081901A KR 20130081901 A KR20130081901 A KR 20130081901A KR 102056221 B1 KR102056221 B1 KR 102056221B1
Authority
KR
South Korea
Prior art keywords
electronic device
external electronic
information
external
gaze
Prior art date
Application number
KR1020130081901A
Other languages
English (en)
Other versions
KR20150007643A (ko
Inventor
조치현
이경희
박근형
허창룡
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130081901A priority Critical patent/KR102056221B1/ko
Priority to US14/322,210 priority patent/US9626561B2/en
Priority to EP14176537.0A priority patent/EP2824541B1/en
Publication of KR20150007643A publication Critical patent/KR20150007643A/ko
Application granted granted Critical
Publication of KR102056221B1 publication Critical patent/KR102056221B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 기술에 따른 시선인식을 이용한 장치 연결 방법은 전자 장치에 있어서, 이미지 정보를 획득하는 동작; 시선 정보를 획득하는 동작; 상기 시선 정보에 따라 상기 이미지 정보에서 소정 이미지 영역을 선택하는 동작; 기 저장된 외부 전자장치 정보와 상기 이미지 영역을 비교하는 동작; 및 상기 이미지 영역과 관련된 상기 외부 전자장치 정보가 있으면, 외부 전자장치에 연결을 요청하는 동작을 포함 할 수 있다.

Description

시선인식을 이용한 장치 연결 방법 및 장치 {Method and apparatus For Connecting Devices Using Eye-tracking}
본 개시의 다양한 실시예는 다양한 통신방법을 통한전자장치 간 연결 방법 및 이를 이용하는 전자장치에 관한 것이다.
웨어러블 전자장치(wearable device)는 사용자가 착용할 수 있는 장치로서, 화상 및 음성 프로세스뿐만 아니라 입력 장치, 센서, 디스플레이, 무선 통신 장치 등을 포함할 수 있다.
최근 웨어러블 전자장치는 소형 광학 장치의 기술 발전과 함께, 사용자의 눈에 가깝게 이미지 디스플레이를 배치함으로써 인공적인 이미지를 착용자의 시야에 오버레이할 수 있는 것도 가능하게 되었다. 이러한 웨어러블 전자장치를 니어-아이 디스플레이(near-eye display), 헤드-마운티드 디스플레이(head-mounted display) 또는 헤드-업 디스플레이(head-up display)라고 한다. 또한, 스마트 폰, 테블릿 PC 뿐 아니라 TV 나 오디오 같은 가전 제품도 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee) 및 UWB(Ultraband Wideband) 등의 무선네트워크 기능을 구비하여 데이터 통신이 가능한 전자장치들이 증가되는 추세이다.
그러나, 데이터 통신이 가능한 전자장치와 웨어러블 전자장치 간의 데이터 통신을 위한 다양한 연결 기술이 부족한 상황이다.
본 개시의 다양한 실시예는 전자 장치에서 시선인식을 이용한 장치 연결 방법 및 이를 포함하는 전자 장치를 제공할 수 있다.
본 발명의 일 실시예에 따른 시선 인식을 이용하는 전자 장치의 장치 연결 방법에 있어서, 시선 정보를 획득하는 동작; 상기 시선 정보에 대응하는 이미지 정보를 획득하는 동작; 상기 이미지 정보와 적어도 하나의 외부 전자장치의 정보를 비교하는 동작; 및 상기 비교에 기반하여, 상기 적어도 하나의 외부 전자장치 중 연결하기 위한 외부 전자장치를 결정하는 동작을 포함하는 시선인식을 이용한 장치 연결 방법을 포함 할 수 있다.
본 발명의 다른 실시예에 따른 시선인식을 이용한 장치 연결 방법은 전자 장치에 있어서, 이미지 정보를 획득하는 동작; 시선 정보를 획득하는 동작; 상기 시선 정보에 따라 상기 이미지 정보에서 제 1 외부 전자장치와 관련된 제 1 이미지 영역 및 제 2 외부 전자장치와 관련된 제 2 이미지 영역을 선택하는 동작; 기 저장된 제 1 외부 전자장치 정보와 상기 제 1 이미지 영역을 비교하고, 기 저장된 제 2 외부 전자장치 정보와 상기 제 2 이미지 영역을 비교하는 동작; 및 상기 제 1 이미지 영역과 관련된 상기 제 1 외부 전자장치 정보 및 상기 제 2 이미지 영역과 관련된 상기 제 2 외부 전자장치 정보가 있으면, 상기 제 1 외부 전자장치와 상기 제 2 외부 전자장치 간에 연결을 요청하는 동작을 포함할 수 있다.
본 발명의 일 실시예에 따른 전자 장치는 전자장치에 있어서,시선 정보를 획득하기 위한 시선 인식부; 상기 시선 정보에 대응하는 이미지 정보를 획득하기 위한 사물 인식부; 및 상기 이미지 정보를 적어도 하나의 외부 전자장치의 정보와 비교하고, 상기 비교에 기반하여 상기 적어도 하나의 외부 전자장치 중 연결하기 위한 외부 전자장치를 결정하기 위한 제어부를 포함할 수 있다.
본 발명의 일 실시예에 따른 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체는 전자장치에서, 시선 정보를 획득하는 동작; 상기 시선 정보에 대응하는 이미지 정보를 획득하는 동작; 상기 이미지 정보를 적어도 하나의 외부 전자장치의 정보와 비교하는 동작; 및 상기 비교에 기반하여, 상기 적어도 하나의 외부 전자장치 중 연결하기 위한 외부 전자장치를 결정하는 동작을 포함할 수 있다.
본 발명의 실시예에 따르면 시선인식을 이용하여 장치 간 직관적이고 신속한 무선 연결을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 전자 장치의 블록도이다.
도 2a 내지 도 2b는 본 발명의 일 실시예에 따른 전자 장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 시선인식을 이용한 장치 연결 방법을 나타내는 순서도이다.
도 4는 일 본 발명의 실시예에 따른 시선인식을 이용한 외부 전자장치 간 연결 방법을 나타내는 순서도이다.
도 5a 내지 도 5b는 본 발명의 일 실시예에 따른 시선인식을 이용한 장치 연결 방법을 나타내는 도면이다.
도 6은 본 발명의 다른 실시예에 따른 시선인식을 이용한 외부 전자장치 간 연결 방법을 나타내는 순서도이다.
이하, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른 전자 장치 100의 블록도이다. 도 1을 참조하면, 전자 장치 100는 사물인식부 101, 시선인식부 102, 저장부 103, 제어부 104, 표시부 105 및 통신부 106를 포함할 수 있다.
사물인식부 101는 전자 장치 100의 외부 환경을 인식할 수 있는 장치로 예를 들어, 렌즈 및 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor)와 같은 이미지 센서를 포함할 수 있다. 사물인식부 101는 사용자 시선 방향의 이미지 정보를 획득할 수 있다.
시선인식부 102는 사용자의 시선을 인식할 수 있는 장치로서, 예를 들어, 사용자 눈동자 위치를 감지하고, 감지한 눈동자 위치를 이용하여 시선의 위치를 판단할 수 있다. 예를 들어, 사용자의 시선을 인식하는 방법은 크게 두 가지 범주로 나눌 수 있다. 첫 번째 방식은 광학적인 방법을 이용한 시선 인식 방식이다. 광학적 시선 인식 방법은 각막의 앞, 뒤 표면으로부터 빛의 반사를 인식하고 기하학적으로 빛의 반사의 방향을 계산하여 시선을 인식하는 듀얼-푸르키네 방식(Dual Purkinje System), 적외선을 눈에 직접 조사하면 각막에서 반짝 빛나는 효과가 발생하는데 이것을 추적하여 시선을 인식하는 밝은 눈동자 방식(Bright Pupil System), 적외선이 특정한 각도로 눈에 조사되면, 눈과 얼굴은 반사하지만 동공(pupil)은 적외선의 대부분을 흡수하여 높은 콘트라스트의 어두운 타원으로 보여지는데, 이를 추적하여 시선을 인식하는 어두운 눈동자 방식(Dark Pupil System) 등이 있다.
두 번째 방식은 눈 주위의 전기장 또는 자기장 변화를 이용한 시선 인식 방식이다. 눈의 극성차이를 이용하여 전기장 변화를 추적하여 시선을 인식하는 전기 안구 조영법(Electrical Oculography, EOG), 눈 주변에 마그네틱 코일을 붙여 변화된 자기장을 추적하여 시선을 인식하는 코일 방식(Coil System) 등이 있다.
시선인식부 102는 사용자의 시선을 인식할 수 있도록 예를 들어, 듀얼-푸르키네 방식(Dual Purkinje System), 밝은 눈동자 방식(Bright Pupil System), 어두운 눈동자 방식(Dark Pupil System), 전기 안구 조영법(Electrical Oculography, EOG) 및 코일 방식(Coil System)을 이용할 수 있다.
시선인식부 102는 사용자의 시선을 인식할 수 있도록 예를 들어, 이미지 센서, 뇌파 감지 센서를 포함할 수 있다. 이미지 센서는 적외선 광원(Infrared Ray Light Source) 또는 적외선 카메라(Infrared Camera)를 포함할 수 있다. 이미지 센서는 적외선 광원을 이용하여 사용자의 눈으로 근적외선(Near-Infrared Light)를 입사하고 사용자의 눈동자(동공의 중심)에서 반사되는 근적외선을 적외선 카메라를 이용하여 감지하여 시선 정보를 획득할 수 있다.
저장부 103는 전자 장치 100의 전반적인 동작 또는 특정 기능을 수행하기 위한 프로그램과 그 프로그램 수행 중에 발생되는 데이터를 저장할 수 있다. 예를 들어, 저장부 103는 전자 장치 100를 부팅시키는 운영체제(Operating System, OS), 전자 장치 100의 기능 동작을 위한 응용 프로그램 및 전자 장치 100의 사용에 따라 발생하는 데이터를 저장할 수 있다. 이러한 저장부 103는 ROM(Read Only Memory)과 RAM(Random Access Memory) 등으로 구성될 수 있다.
예컨대, 본 실시예에 따른 저장부 103는 적어도 하나 이상의 외부 전자장치 정보를 포함할 수 있다. 예를 들어, 저장부 103는 제 1 외부 전자장치 110 또는 제 2 외부 전자장치 120에 대한 정보를 저장할 수 있다. 예를 들어, 제 1 외부 전자장치 110에 대한 정보는 제 1 외부 전자장치 정보로 제 2 외부 전자장치 120에 대한 정보는 제 2 외부 전자장치 정보로 구분되어 저장부 103에 저장될 수 있다. 여기서, 제 1 외부 전자장치 정보 및 제 2 외부 전자장치 정보는 제 1 외부 전자장치 110 및 제 2 외부 전자장치 120 각각에 대한 모델명과 같은 명칭 정보, 제 1 외부 전자장치 110 및 제 2 외부 전자장치 120 각각이 사용 중인 무선 인터페이스 규격과 같은 연결 정보, 제 1 외부 전자장치 110 및 제 2 외부 전자장치 120 각각의 물리적 주소(예를 들어, MAC address)와 같은 통신 정보 또는 제 1 외부 전자장치 110 및 제 2 외부 전자장치 120 각각의 외형 정보를 의미할 수 있다. 본 실시예에 따른 외부 전자장치 정보는 명칭 정보, 연결 정보, 통신 정보 및 외형 정보 중 적어도 하나 이상을 포함 할 수 있다.
전자 장치 100는 제 1 외부 전자장치 정보 또는 제 2 외부 전자장치 정보를 통신부 106를 통해 제 1 외부 전자장치 110 및 제 2 외부 전자장치 120로부터 수신하거나 특정 서버로부터 수신할 수 있다. 수신된 제 1 외부 전자장치 정보 또는 제 2 외부 전자장치 정보는 저장부 104로 전달될 수 있다. 전자 장치 100의 입력부(미도시)를 통해 제 1 외부 전자장치 정보 110 또는 제 2 외부 전자장치 정보 120를 저장부 104로 전달할 수 있다.
제어부 104는 시선인식부 102에서 획득한 시선 정보에 따라 사물인식부 101에서 획득한 외부 환경에 대한 이미지 정보 중에서 제 1 외부 디바이스 110의 외형과 관련된 이미지 영역을 선택할 수 있다. 예를 들어, 제어부 104는 저장부 103에 저장된 제 1 외부 전자장치 정보와 선택된 이미지 영역을 비교하여 선택된 이미지 영역과 관련된 제 1 외부 전자장치 정보가 있는 경우, 전자 장치 100와 제 1 외부 전자장치 110 간에 무선 연결을 요청할 수 있다. 예를 들어, 제어부 104는 제 1 외부 전자장치 정보 중에서 외형 정보 또는 통신 정보를 이용하여 선택된 이미지 영역과 비교하고 제 1 외부 전자장치 110를 인식할 수 있다. 또한, 제어부 104에서 외형 정보 또는 통신 정보를 이용하여 제 1 외부 전자장치 110를 인식하면, 제어부 104는 연결 정보를 이용하여 통신부 106를 통해 제 1 외부 전자장치 110에 연결을 요청할 수 있다.
또한, 실시예에 따르면, 전자 장치 100는 전자 장치 100와 제 1 외부 전자장치 110가 연결된 상태에서, 제 2 외부 전자장치 120와 연결을 할 수 있다.
전자 장치 100와 제 1 외부 전자장치 110 간의 연결과 마찬가지로, 제어부 104는 시선인식부 102에서 획득한 시선 정보에 따라 사물인식부 101에서 획득한 외부 환경에 대한 이미지 정보 중에서 제 2 외부 전자장치 120의 외형과 관련된 이미지 영역을 선택할 수 있다. 제어부 104는 저장부 103에 저장된 제 2 외부 전자장치 정보와 선택된 이미지 영역을 비교하여 선택된 이미지 영역과 관련된 제 2 외부 전자장치 정보가 있는 경우, 전자 장치 100와 제 2 외부 전자장치 120 간에 무선 연결을 요청할 수 있다. 제어부 104는 제 2 외부 전자장치 정보 중에서 외형 정보 또는 통신 정보를 이용하여 선택된 이미지 영역과 비교하여, 제 2 외부 전자장치 120를 인식할 수 있다. 제어부 104는 연결 정보를 이용하여 통신부 106를 통해 제 2 외부 전자장치 120에 연결을 요청할 수 있다.
실시예에 따르면, 전자 장치 100는 제 1 외부 전자장치 110와 제 2 외부 전자장치 120를 연결할 수 있다.
제어부 104는 제 1 외부 전자장치 110에서 제 2 외부 전자장치 120로 연결 요청하거나 제 2 외부 전자장치 120에서 제 1 외부 전자장치 110로 연결 요청할 수 있다. 통신부 106는 제어부 104의 제어 하에 제 1 외부 전자장치 정보를 제 2 외부 전자장치 120로 전송하고, 제 2 외부 전자장치 정보를 제 1 외부 전자장치로 전송할 수 있다.
제 1 외부 전자장치 110 또는 제 2 외부 전자장치 120는 전자 장치 100로부터 전달받은 제 1 외부 전자장치 정보 또는 제 2 외부 전자장치 정보를 이용하여 각 외부 전자장치의 연결 정보 또는 통신 정보 등을 획득할 수 있다., 전자 장치 100의 무선 연결 요청에 응답하여 제 1 외부 전자장치 110와 제 2 외부 전자장치 120 간에 통신을 수행할 수 있다.
본 발명의 다른 실시예에서, 제어부 104는 시선인식부 102에서 획득한 시선 정보에 따라 사물인식부 101에서 획득한 외부 환경에 대한 이미지 정보 중에서 제 1 외부 전자장치 110의 외형과 관련된 이미지 영역 및 제 2 외부 전자장치 120의 외형과 관련된 이미지 영역을 선택할 수 있다. 제어부 104는 저장부 103에 저장된 제 1 외부 전자장치 정보와 제 1 외부 전자장치 110의 외형과 관련된 이미지 영역을 비교하고 동시에 제 2 외부 전자장치 정보와 제 2 외부 전자장치 120의 외형과 관련된 이미지 영역을 비교할 수 있다. 제 1 외부 전자장치 110의 이미지 영역과 관련된 제 1 외부 전자장치 정보 및 제 2 외부 전자장치 120의 이미지 영역과 관련된 제 2 외부 전자장치 정보가 있으면, 제어부 104는 제 1 외부 전자장치 110와 제 2 외부 전자장치 120 간에 무선 연결을 요청할 수 있다. 제 1 외부 전자장치 110 및 제 2 외부 전자장치 120는 전자 장치 100의 무선 연결 요청에 응답하여 제 1 외부 전자장치 110와 제 2 외부 전자장치 120 간에 무선 통신 동작을 수행할 수 있다.
통신부 106는 제어부 104의 외부 전자장치 연결 요청에 따라 전자 장치 110와 복수의 외부 전자장치(110, 120) 간에 통신하거나 전자 장치 100와 특정 서버 간에 통신을 수행할 수 있다. 또한, 통신부 106는 제 1 외부 전자장치 110 및 제 2 외부 전자장치 120로부터 제 1 외부 전자장치 정보 및 제 2 외부 전자장치 정보를 수신하거나 특정 서버로부터 제 1 외부 전자장치 정보 및 제 2 외부 전자장치 정보를 수신할 수 있다.
통신부 106는 제어부 104의 제어 하에 제 1 외부 전자장치 정보를 제 2 외부 전자장치 120로 전송하고, 제 2 외부 전자장치 정보를 제 1 외부 전자장치로 전송할 수 있다.
통신부 106는 음성 통화를 위한 통신 채널의 형성 및 영상이나 화상을 전송하거나 데이터 전송을 위한 통신 채널 형성 등을 제어부 104의 제어 하에 수행할 수 있다. 예컨대, 통신부 106는 음성 통화 채널, 데이터 통신 채널 및 화상 통화 채널 등을 형성할 수 있다. 통신부 106는 예를 들어, 송신되는 신호의 주파수를 상승변환 및 증폭하는 무선주파수 송신부와, 수신되는 신호의 주파수를 저잡음 증폭 및 하강 변환하는 무선주파수 수신부 등을 포함할 수 있다. 여기서 데이터 통신 채널은 화상 통화를 위한 통신 채널, 인스턴트 메시지 서비스를 위한 통신 채널, 채팅 서비스를 위한 통신 채널, 자료 전송 또는 다운로드를 위한 통신 채널 등을 포함할 수 있다. 예를 들어, 전자 장치 100가 와이파이(Wi-Fi) 통신, 블루투스(Bluetooth) 통신, 지그비(Zigbee) 통신, UWB(Ultraband Wideband) 통신 및 NFC(Near Field Communication) 통신 등과 같은 근거리 무선 통신 기능을 지원하는 경우 통신부 106는 와이파이 통신 모듈, 블루투스 통신 모듈, 지그비 통신 모듈, UWB 통신 모듈 및 NFC 통신 모듈 등으로 구성될 수 있다.
전자 장치 100는 사용자가 입력에 의해 제 1 외부 전자장치 정보 110 또는 제 2 외부 전자장치 정보 120를 수신하기 위해 입력부(미도시)를 포함할 수 있다. 전자 장치 100의 운영 동작에서 설정된 다양한 오디오 데이터 또는 저장부 103에 저장된 오디오 파일 재생에 따른 오디오 데이터, 외부로부터 수신된 오디오 데이터 등을 출력하거나 오디오 데이터를 수집할 수 있는 오디오 처리부(미도시)를 포함할 수 있다.
도 2a 내지 도 2b는 본 발명의 일 실시예에 따른 전자 장치 200의 구성도이다.
도 2a를 참조하면, 전자 장치 200는 착용부 201, 사물인식부 202, 시선인식부(203, 204), 저장부 205, 제어부 206, 통신부 207 및 표시부(208, 209)를 포함할 수 있다.
착용부 201는 사물인식부 202, 복수의 시선인식부(203, 204), 저장부 205, 제어부 206, 통신부 207 및 복수의 표시부(208, 209)를 장착할 수 있는 하우징으로서, 예를 들어, 사용자의 두부(頭部)에 장착할 수 있다. 예를 들어, 착용부 201는 안경 구조의 하우징일 수 있다.
도 2a 및 도 2b를 참조하면, 사물인식부 202는 착용부 201에 장착되고 전자 장치 200의 외부 환경을 인식할 수 있는 장치로 렌즈 및 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 포함할 수 있다. 사물인식부 202는 전자 장치 200의 외부 환경을 인식할 수 있으며, 사용자 시선 210 방향으로 외부 이미지 정보 211를 획득할 수 있다.
도 2a 및 도 2b를 참조하면, 복수의 시선인식부(203, 204)는 착용부 201에 장착될 수 있고, 사용자의 시선 210을 인식할 수 있는 장치로서, 사용자 눈동자 위치를 감지하고, 감지한 데이터를 이용하여 시선의 위치를 판단할 수 있다. 복수의 시선인식부(203, 204)는 사용자의 시선 210을 인식할 수 있도록 이미지 센서를 포함 할 수 있다. 이미지 센서는 적외선 광원(Infrared Ray Light Source)및 적외선 카메라(Infrared Camera)를 포함할 수 있다. 이미지 센서는 적외선 광원을 이용하여 사용자의 눈으로 근적외선(Near-Infrared Light)를 입사하고 사용자의 눈동자(동공의 중심)에서 반사되는 근적외선을 적외선 카메라를 이용하여 감지하여 시선 정보를 획득할 수 있다.
여기서, 예를 들어, 사용자의 좌안(左眼)의 시선은 제 1 시선인식부 203가 인식하고, 사용자의 우안(右眼)의 시선은 제 2 시선인식부 204가 인식할 수 있다. 본 발명의 다른 실시예에서, 복수의 시선인식부(202, 203)를 사용하지 않고 하나의 시선인식부 102만으로 사용자의 좌안 또는/및 우안의 시선을 인식할 수 있다.
도 2a를 참조하면, 저장부 205는 착용부 201에 장착될 수 있고 외부 전자장치에 대한 정보를 저장할 수 있다. 또, 저장부 103는 적어도 하나 이상의 외부 전자장치 정보를 포함할 수 있다. 외부 전자장치 정보는 외부 전자장치에 대한 모델명과 같은 명칭 정보, 외부 전자장치가 사용 중인 무선 인터페이스 규격과 같은 연결 정보, 외부 전자장치의 물리적 주소(예를 들어, MAC address)와 같은 통신 정보 또는 외부 전자장치의 외형 정보를 의미할 수 있다. 본 실시예에 따른 외부 전자장치 정보는 명칭 정보, 연결 정보, 통신 정보 또는 외형 정보 중 적어도 하나 이상을 포함 할 수 있다.
도 2a를 참조하면, 제어부 206는 착용부 201에 장착되고 복수의 시선인식부(203, 204)에서 획득한 시선 정보에 따라 사물인식부 202에서 획득한 외부 환경에 대한 이미지 정보 중에서 외부 전자장치의 외형과 관련된 이미지 영역을 선택할 수 있다. 제어부 206는 저장부 205에 저장된 복수의 외부 전자장치 정보와 선택된 이미지 영역을 비교하여, 선택된 이미지 영역과 관련된 외부 전자장치 정보가 있으면 전자 장치 200와 외부 전자장치 간에 무선 연결을 요청할 수 있다. 여기서, 제어부 206는 외부 전자장치 정보 중에서 외형 정보 또는 통신 정보를 이용하여 선택된 이미지 영역과 비교하고 외부 전자장치를 인식할 수 있다. 또한, 제어부 206에서 외형 정보 및 통신 정보를 이용하여 외부 전자장치를 인식되면, 제어부 206는 연결 정보를 이용하여 통신부 207를 통해 외부 전자장치에 연결 요청할 수 있다.
도 2a를 참조하면, 통신부 207는 착용부 201에 장착되고 제어부 206의 외부 전자장치 연결 요청에 따라 전자 장치 200와 복수의 외부 전자장치와 통신하거나 특정 서버와 통신을 수행할 수 있다. 또한, 통신부 207는 적어도 하나 이상의 외부 전자장치로부터 적어도 하나 이상의 외부 전자장치 정보를 수신하거나 특정 서버로부터 적어도 하나 이상의 외부 전자장치 정보를 수신할 수 있다. 통신부 207는 제어부 206의 제어 하에 기 저장된 특정 외부 전자장치에 대한 외부 전자장치 정보를 타 외부 전자장치로 전송할 수 있다.
도 2a 및 도 2b를 참조하면, 복수의 표시부(208, 209)는 착용부 201에 장착되고 외부 이미지(예를 들어, 실제 환경 이미지)를 투과하여 사용자에게 외부 이미지를 전달하거나 제어부 206 제어 하에 출력된 인공적인 이미지를 외부 이미지에 오버레이하여 표시할 수 있다.
복수의 표시부(208, 209)는 외부를 볼 수 있도록 투명형 또는 광투명형으로 구성되는 투명 디스플레이(transparent display)로 구현될 수 있다.
또는, 복수의 표시부(208, 209)는 인공적인 이미지를 사용자의 망막에 직접 투사하는 망막직접투영방식(Virtual Retina Display, VRD), 인공적인 이미지를 광학 장치를 통해 확대하여 사용자의 망막에 전달하는 확대경 방식(Magnifying glass), 인공적인 이미지를 복수의 렌즈를 통해 초점을 조절하여 사용자의 망막에 전달하는 중계 렌즈 방식(Relay Lens) 등을 포함할 수 있다.
여기서, 제 1 표시부 208는 사용자의 좌안(左眼)에 이미지를 표시하고, 제 2 표시부 209는사용자의 우안(右眼)에 이미지를 표시한다. 본 발명의 다른 실시예에서, 복수의 표시부(208, 209)를 사용하지 않고 하나의 표시부만으로 사용자의 좌안 또는/및 우안에 이미지를 표시할 수 있다.
도 3은 일 본 발명의 실시예에 따른 시선인식을 이용한 장치 연결 방법을 나타내는 순서도이다.
시선인식을 이용한 장치 연결을 위해, 301 동작에서, 전자 장치 100는 외부 환경을 인식할 수 있는 사물인식부 101를 통해 이미지 정보를 획득할 수 있다.
전자 장치 100는 303 동작에서, 사용자의 시선을 인식할 수 있는 시선인식부 102를 통해 사용자의 시선을 감지할 수 있다. 제어부 104는 시선인식부 102를 통해 감지한 사용자의 시선에 대한 데이터를 이용하여 예를 들어,표시부 소정의 좌표 평면에서의 시선 좌표를 획득할 수 있다.
전자 장치 100는 305 동작에서, 시선인식부 102에서 획득한 시선 정보에 따라 사물인식부 101에서 획득한 이미지 정보에서 소정의 이미지 영역을 선택할 수 있다. 소정의 이미지 영역은 외부 전자장치의 외형과 관련된 이미지 영역일 수 있다.
전자 장치 100는 307 동작에서, 선택된 소정의 이미지 영역과 기 저장된 외부 전자장치 정보와 비교할 수 있다. 저장부 103는 전송받거나 입력받은 외부 전자장치 정보를 제어부 104 제어 하에 저장할 수 있다. 외부 전자장치 정보는 통신부 106를 통해 외부 전자장치로부터 전송받거나 특정 서버로부터 전송받을 수 있다. 또는 전자 장치 100의 입력부를 통해 외부 전자장치 정보를 입력받을 수 있다. 외부 전자장치 정보는 외부 전자장치에 대한 모델명과 같은 명칭 정보, 외부 전자장치가 사용 중인 무선 인터페이스 규격과 같은 연결 정보, 외부 전자장치의 물리적 주소(예를 들어, MAC address)와 같은 통신 정보 또는 외부 전자장치의 외형 정보를 의미한다. 본 실시예에 따른 외부 전자장치 정보는 명칭 정보, 연결 정보, 통신 정보 및 외형 정보 중 적어도 하나 이상을 포함 할 수 있다.
전자 장치 100는 309 동작에서, 소정 이미지 영역과 외부 전자장치 정보의 비교 결과에 따라 소정 이미지 영역과 관련된 외부 전자장치 정보가 있으면, 외부 전자장치에 연결 요청을 할 수 있다.예컨대, 이미지 정보를 통해 선택된 외부 전자장치의 외형과 관련된 이미지 영역과 외부 전자장치 정보의 외형 정보와 일치하는 경우, 전자 장치 100는 통신 정보 또는 연결 정보에 따라 외부 전자장치에 연결 요청을 할 수 있다. 외부 전자장치는 전자 장치 100의 연결 요청에 응답하여, 전자 장치 100와 외부 전자장치 간에 통신 채널을 형성할 수 있다.
도 4는 본 발명의 일 실시예에 따른 시선인식을 이용한 외부 전자장치 간 연결 방법을 나타내는 순서도이다.
도 4를 참조하면, 전자 장치 100는 401 동작에서, 시선인식을 이용하여 외부 전자장치와 통신 연결된 경우, 다른 외부 전자장치와 통신 연결 동작을 수행할 수 있다.
전자 장치 100는 403 동작에서, 이미지 정보에서 이미 연결된 외부 전자장치와 다른 외부 전자장치가 인식된 경우, 다른 외부 전자장치와 연결 여부를 결정할 수 있다. 예를 들어, 전자 장치 100는 다른 외부 전자장치의 인식 여부 또는 연결 여부를 표시부 105를 통해 전달하여 사용자가 인식하게 할 수 있다.
전자 장치 100는 405 동작에서, 전자 장치 100와 다른 외부 전자장치 간의 연결이 결정되는 경우(YES), 시선인식부 102에서 획득한 시선 정보에 따라 사물인식부 101에서 획득한 이미지 정보에서 다른 외부 전자장치와 관련된 이미지 영역을 선택할 수 있다.
전자 장치 100는 407 동작에서, 선택된 다른 외부 전자장치와 관련된 이미지 영역과 기 저장된 다른 외부 전자장치 정보와 비교할 수 있다. 저장부 103는 전송받거나 입력받은 다른 외부 전자장치 정보를 제어부 104 제어 하에 저장할 수 있다. 다른 외부 전자장치 정보는 통신부 106를 통해 다른 외부 전자장치로부터 전송받거나 특정 서버로부터 전송받을 수 있다. 또는 전자 장치 100의 입력부를 통해 다른 외부 전자장치 정보를 입력 받을 수 있다. 다른 외부 전자장치 정보는 예를 들어, 다른 외부 전자장치에 대한 모델명과 같은 명칭 정보, 다른 외부 전자장치가 사용 중인 무선 인터페이스 규격과 같은 연결 정보, 다른 외부 전자장치의 물리적 주소(예를 들어, MAC address)와 같은 통신 정보 또는 다른 외부 전자장치의 외형 정보를 의미할 수 있다. 본 실시예에 따른 다른 외부 전자장치 정보는 예를 들어, 명칭 정보, 연결 정보, 통신 정보 및 외형 정보 중 적어도 하나 이상을 포함 할 수 있다.
전자 장치 100는 409 동작에서, 다른 외부 전자장치와 관련된 이미지 영역과 다른 외부 전자장치 정보의 비교 결과에 따라 다른 외부 전자장치와 관련된 이미지 영역과 다른 외부 전자장치 정보가 일치하는 경우, 다른 외부 전자장치에 연결 요청을 한다. 예컨태, 다른 외부 전자장치와 관련된 이미지 영역과 다른 외부 전자장치 정보의 외형 정보와 일치하는 경우, 전자 장치 100는 통신 정보 또는 연결 정보에 따라 다른 외부 전자장치에 연결 요청을 할 수 있다. 다른 외부 전자장치는 전자 장치 100의 연결 요청에 응답하여, 전자 장치 100와 다른 외부 전자장치 간에 통신 채널을 형성할 수 있다.
본 발명의 일 실시예에서, 전자 장치 100가 409 동작까지 완료한 경우, 외부 전자장치와 전자 장치 100, 다른 외부 전자장치와 전자 장치 100 간의 통신 채널을 형성할 수 있다. 예컨대, 전자 장치 100는 시선인식 및 외형 정보를 이용하여 복수의 외부 전자장치와 통신 채널을 형성하고 복수의 외부 전자장치와 전자 장치 100 간의 데이터 통신을 수행할 수 있다.
이때, 전자 장치 100는 외부 전자장치와 다른 외부 전자장치 간 통신 채널을 형성시킬 수 있다. 예를 들어, 외부 전자장치가 TV이고, 다른 외부 전자장치가 오디오 장치인 경우, 전자 장치 100는 TV와 오디오 장치 간 무선 채널을 형성시켜 TV에서 출력되는 오디오 데이터를 오디오 장치가 처리할 수 있게 할 수 있다. 외부 전자장치 간 채널을 형성하기 위해서는 외부 전자장치는 연결될 다른 외부 전자장치에 대한 정보를 획득한 상태일 수 있다.
전자 장치 100는 411 동작에서, 수집한 외부 전자장치 정보 또는 다른 외부 전자장치 정보를 외부 전자장치 및 다른 외부 전자장치에 전달할 수 있다. 예를 들어,전자 장치 100는 통신부 106를 통해 외부 전자장치 정보를 다른 외부 전자장치로 전송하고, 다른 외부 전자장치 정보는 외부 전자장치로 각각 전송할 수 있다.
전자 장치 413는 동작에서, 외부 전자장치 정보를 다른 외부 전자장치로 전송하고, 다른 외부 전자장치 정보는 외부 전자장치로 각각 전송되면, 전자 장치 100는 외부 전자장치에서 다른 외부 전자장치로 연결 요청하고, 다른 외부 전자장치에서 외부 전자장치로 각각 연결 요청을 할 수 있다. 전자 장치 100의 연결 요청에 따라 전자 장치 100를 매개로 또는 전자 장치 100와 무관하게 외부 전자장치와 다른 외부 전자장치 간의 채널을 형성하여 데이터 통신을 수행할 수 있다.
도 5a 내지 도 5b는 본 발명의 일 실시예에 따른 시선인식을 이용한 장치 연결 방법을 나타내는 도면이다.
도 5a 에서, 전자 장치 501는 외부 환경 이미지 502를 획득할 수 있다. 전자 장치 501는 획득한 외부 환경 이미지 502 중에서 복수의 외부 전자장치(506, 507, 508)와 관련된 이미지 영역을 선택할 수 있다.
전자 장치 501는 선택한 이미지 영역과 기 저장된 복수의 외부 전자장치 정보 503와 비교하여 시선 정보에 따라 복수의 외부 전자장치(506, 507, 508) 중 적어도 하나 이상의 장치에 연결 요청할 수 있다. 복수의 외부 전자장치(506, 507, 508) 중 적어도 하나 이상의 장치와 데이터 통신을 수행할 수 있다.
여기서, 복수의 외부 전자장치 정보 503는 외부 전자장치 각각의 명칭 정보, 연결 정보, 통신 정보 및 외형 정보 중 적어도 하나 이상을 포함 할 수 있다. 복수의 외부 전자장치 정보 503는 사용자의 입력에 따라 전자 장치 501에 전달되거나 특정 서버 505를 통해 외부에서 전달받거나 복수의 외부 전자장치(506, 507, 508)에서 외부 전자장치 정보를 전달할 수 있다 504.
도 5a에서, 복수의 외부 전자장치(506, 507, 508) 중 동일한 외형 정보를 가진 전자장치가 있을 경우, 예를 들어 모니터 형태의 외부 전자장치들(506, 508)이 동일한 외형 정보를 가지고 있는 경우, 전자 장치 501는 복수의 외부 전자장치(506, 507, 508) 중에서 임의의 전자장치 506와 우선 연결할 수 있다. 전자 장치 501는 연결된 임의의 전자장치 506로부터 예를 들어,소리, 빛, 또는 진동과 같은 특정 알림을 발생시켜 동일한 외형 정보를 가진 외부 전자장치들(506, 508)을 구분시킬 수 있다. 전자 장치 501는 예를 들어, 소리를 발생시키기 위해 마이크 및 스피커를 포함하는 오디오 처리부(미도시), 진동을 발생시키기 위해 진동부(미도시)를 포함할 수 있으며, 예를 들어, 빛은 표시부 105를 통해 발생될 수 있다.
본 발명의 다른 실시예에 따르면, 복수의 외부 전자장치(506, 507, 508) 중에 어느 한 외부 전자장치 508에 제스쳐를 취할 경우 전자 장치 501는 사물인식부 101를 통해 제스쳐 정보 509 획득할 수 있다.
도 5a를 참조하여 설명하면, 전자 장치 501는 기 설정된 제스쳐 정보 509를 저장부 103에 포함할 수 있다. 예를 들어, 제스쳐 정보 509는 통신부 106를 통해 특정 서버로부터 수신하여 저장부 103에 저장하거나 사물인식부 101를 통해 사용자가 소정의 제스쳐를 취하면 이를 인식하여 저장부 103에 저장할 수 있다. 제어부 104는 저장부 103에 기 설정된 제스쳐 정보 509와 사물인식부 101를 통해 획득한 제스쳐 정보 509와 비교하여 외부 전자장치 508와 무선 연결할 수 있다.
전자 장치 501는 시선인식부 102를 통해 획득한 시선 정보, 사물인식부 101를 통해 획득한 제스쳐 정보 509 및 외부 전자장치 508의 외형 정보를 이용하여 통신부 106를 통해 외부 전자장치 508에 무선 연결 요청을 하고, 외부 전자장치 508와 무선 연결할 수 있다.
본 발명의 일 실시예에서, 제스쳐 정보 509는 외부 전자장치를 향해 양 손으로 액자를 만드는 형태의 동작일 수 있다.제스처 정보는 외부 전자장치를 향해 손가락으로 원을 그리는 동작 또는 외부 전자장치를 향해 손가락으로 지정하는 동작 등 다양한 제스쳐 정보 509가 있을 수 있다.
도 5a 및 도 5b를 참조하면, 전자 장치 501가 외부 전자장치 512 및 다른 외부 전자장치 513와 무선 연결된 경우, 전자 장치 501는 외부 전자장치 512와 다른 외부 전자장치 513의 연결을 시도할 수 있다 514.
전자 장치 501가 획득한 외부 환경 이미지는 전자 장치 501의 표시부 511를 통해 사용자에게 전달될 수 있다. 또한, 예를 들어, 전자 장치 501는 표시부 511에 외부 전자장치 512와 다른 외부 전자장치 513의 연결 여부를 표시부 511에 표시하여 사용자에게 전달할 수 있다 514. 이때, 전자 장치 501는 사용자에게 연결 대상 장치들을 사용자 인터페이스(User Interface, UI)로 제공할 수 있다 515. 사용자가 외부 전자장치 512와 다른 외부 전자장치 513의 연결을 결정한 경우, 전자 장치 501는 외부 전자장치 512에 다른 외부 전자장치 정보 518를 전송하고, 다른 외부 전자장치 513에 외부 전자장치 정보 517를 각각 전송할 수 있다. 전자장치 정보가 각 외부 전자장치에 전달된 경우,, 전자 장치 501는 외부 전자장치 512에서 다른 외부 전자장치 513로 연결 요청할 수 있고, 다른 외부 전자장치 513에서 외부 전자장치 512로 각각 연결 요청을 할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 시선인식을 이용한 외부 전자장치 간 연결 방법을 나타내는 순서도이다.
도 1 및 도 6을 참조하면, 전자 장치 100는 601 동작에서, 사물인식부 101를 이용하여 외부 환경 이미지 정보를 획득할 수 있다.
전자 장치 100는 602 동작에서, 시선인식부 102를 이용하여 사용자의 시선 방향에 대한 시선 정보를 획득할 수 있다.
전자 장치 100는 605 동작에서, 시선인식부 102에서 획득한 시선 정보에 따라 사물인식부 101에서 획득한 외부 환경에 대한 이미지 정보 중에서 제 1 외부 전자장치 110의 외형과 관련된 제 1 이미지 영역 또는 제 2 외부 전자장치 120의 외형과 관련된 제 2 이미지 영역을 선택할 수 있다.
전자 장치 100는 607 동작에서, 저장부 103에 저장된 제 1 외부 전자장치 정보와 제 1 외부 전자장치 110의 외형과 관련된 제 1 이미지 영역을 비교하고 제 2 외부 전자장치 정보와 제 2 외부 전자장치 120의 외형과 관련된 제 2 이미지 영역을 비교할 수 있다.
전자 장치 100는 609 동작에서, 제 1 이미지 영역과 관련된 제 1 외부 전자장치 정보 또는 제 2 이미지 영역과 제 2 외부 전자장치 정보를 비교한 결과에 따라, 제 1 이미지 영역과 제 1 외부 전자장치 정보가 일치하고, 제 2 이미지 영역과 제 2 외부 전자장치 정보가 일치한 경우, 제 1 외부 전자장치 110와 제 2 외부 전자장치 120 간에 무선 연결을 요청할 수 있다. 예를 들어, 제 1 이미지 영역과 제 1 외부 전자장치 정보가 일치하고 제 2 이미지 영역과 제 2 외부 전자장치 정보가 일치한 경우, 전자 장치 100는 제 1 외부 전자장치 110에 제 2 외부 전자장치 정보를 전송하고, 제 2 외부 전자장치 120에 제 1 외부 전자장치 정보를 전송할 수 있다. 제 1 외부 전자장치 110 및 제 2 외부 전자장치 120에 각각 제 2 외부 전자장치 정보 및 제 1 외부 전자장치 정보가 전송된 경우, 전자 장치 100는 제 1 외부 전자장치 110와 제 2 외부 전자장치 120 간에 무선 연결을 요청할 수 있다.
제 1 외부 전자장치 110 및 제 2 외부 전자장치 120는 전자 장치 100의 무선 연결 요청에 응답하여 제 1 외부 전자장치 110와 제 2 외부 전자장치 120 간에 무선 통신 동작을 수행할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 시선인식을 이용한 외부 전자장치 간 연결 방법을 나타내는 도면이다.
도 1, 도 6 및 도 7을 참조하면, 전자 장치 100는 시선인식을 이용하여 제 1 외부 전자장치 110와 제 2 외부 전자장치 120 간의 무선 연결을 수행할 수 있다.
우선, 전자 장치 100가 획득한 외부 환경 이미지는 전자 장치 100의 표시부 105를 통해 사용자에게 전달될 수 있다. 또한, 전자 장치 100는 표시부 105에 제 1 외부 전자장치 110와 제 2 외부 전자장치 120의 연결 여부를 표시부 105에 표시하여 사용자 인터페이스로 사용자에게 전달할 수 있다 704.
시선 정보에 따라 선택한 제 1 외부 전자장치 110에 관련된 제 1 이미지 영역과 제 1 외부 전자장치 110에 관한 제 1 외부 전자장치 정보 702가 일치하고, 제 2 외부 전자장치 120에 관련된 제 2 이미지 영역과 제 2 외부 전자장치 120에 관한 제 2 외부 전자장치 정보 703가 일치하는 경우, 전자 장치 100는 제 1 외부 전자장치 110와 제 2 외부 전자장치 120 간에 무선 연결을 요청할 수 있다.
예를 들어, 제 1 이미지 영역과 제 1 외부 전자장치 정보 702가 일치하고 제 2 이미지 영역과 제 2 외부 전자장치 정보 703가 일치하는 경우, 전자 장치 100는 제 1 외부 전자장치 110에 제 2 외부 전자장치 정보 703를 전송하고, 제 2 외부 전자장치 120에 제 1 외부 전자장치 정보 702를 전송할 수 있다. 제 1 외부 전자장치 110 또는 제 2 외부 전자장치 120에 각각 제 2 외부 전자장치 정보 702 및 제 1 외부 전자장치 정보 703가 전송된 경우, 전자 장치 100는 제 1 외부 전자장치 110와 제 2 외부 전자장치 120 간에 무선 연결을 요청할 수 있다.
제 1 외부 전자장치 110 및 제 2 외부 전자장치 120는 전자 장치 100의 무선 연결 요청에 응답하여 제 1 외부 전자장치 110와 제 2 외부 전자장치 120 간에 통신 동작을 수행할 수 있다 705.
본 발명이 속하는 기술분야의 당업자는 본 발명의 실시예가 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (23)

  1. 시선 인식을 이용하는 전자 장치의 장치 연결 방법에 있어서,
    시선 정보를 획득하는 동작;
    동일한 외형을 갖는 적어도 두 개의 외부 전자 장치들을 포함하는 외부 전자 장치들 각각에 대응하는 이미지 영역들을 포함하는 이미지 정보를 상기 시선 정보에 기반하여 획득하는 동작;
    상기 이미지 영역들 중 적어도 하나의 이미지 영역과 적어도 하나의 외부 전자장치의 정보를 비교하는 동작;
    상기 비교에 기반하여, 상기 적어도 하나의 외부 전자장치 중 연결하기 위한 외부 전자장치를 결정하는 동작; 및
    상기 결정된 외부 전자 장치가 상기 동일한 외형을 갖는 적어도 두 개의 외부 전자 장치들 중 하나임을 확인함에 대응하여, 상기 결정된 외부 전자 장치와 다른 외부 전자 장치가 구별될 수 있도록 상기 결정된 외부 전자 장치가 알림을 출력하도록 요청하는 동작을 포함하는 시선인식을 이용한 장치 연결 방법.
  2. 제 1항에 있어서,
    상기 비교하는 동작은,
    상기 전자장치에서, 통신 신호를 감지(scan)하는 동작; 및
    상기 통신 신호에 대응하는 일부와 상기 이미지 정보를 비교하는 동작을 포함하는 시선인식을 이용한 장치 연결 방법.
  3. 제 1항에 있어서,
    상기 비교하는 동작은,
    상기 이미지 정보를 상기 적어도 하나의 외부 전자장치의 외형 정보와 비교하는 동작을 포함하는 시선인식을 이용한 장치 연결 방법.
  4. 제 3항에 있어서,
    상기 외형 정보를 획득하는 동작은
    상기 적어도 하나의 외부 전자장치, 서버 또는 상기 전자장치에 포함된 입력부 중 적어도 하나로부터 상기 정보를 획득하는 동작을 포함하는 시선인식을 이용한 장치 연결 방법.
  5. 제 1항에 있어서,
    상기 결정하는 동작은,
    상기 연결하기 위한 외부 전자장치의 연결 정보를 획득하는 동작을 포함하는 시선인식을 이용한 장치 연결 방법.
  6. 제 1항에 있어서,
    상기 결정하는 동작은,
    사용자의 제스처 정보에 기반하여 상기 연결하기 위한 외부 전자장치와 연결할 지 여부를 결정하는 동작을 포함하는 시선인식을 이용한 장치 연결 방법.
  7. 제 1항에 있어서,
    상기 결정하는 동작은,
    상기 결정된 외부 전자 장치가 복수의 전자 장치일 경우에는, 상기 복수의 전자 장치 중 적어도 하나에서 출력 데이터를 제공하도록 제어하는 동작을 포함하는 시선인식을 이용한 장치 연결 방법.
  8. 제 7항에 있어서,
    상기 결정하는 동작은,
    상기 출력 데이터가 상기 이미지 정보에 대응하는 경우, 상기 적어도 하나와 연결하는 동작을 포함하는 시선인식을 이용한 장치 연결 방법.
  9. 제 1항에 있어서,
    상기 장치 연결 방법은
    상기 전자장치가 다른 외부 전자장치와 연결된 경우, 상기 연결하기 위한 외부 전자장치와 상기 다른 외부 전자장치가 연결되도록 제어하는 동작을 더 포함하는 시선인식을 이용한 장치 연결 방법.
  10. 제 9항에 있어서,
    상기 제어하는 동작은,
    상기 연결하기 위한 외부 전자장치의 연결 정보를 상기 다른 외부 전자장치로 전송하고, 상기 다른 외부 전자장치의 연결 정보를 상기 연결하기 위한 외부 전자장치로 전송하는 동작을 포함하는 시선인식을 이용한 장치 연결 방법.
  11. 시선 인식을 이용한 장치 연결 방법에 있어서,
    시선 정보를 획득하는 동작;
    이미지 정보를 획득하는 동작;
    상기 시선 정보에 따라 상기 이미지 정보에서 제 1 외부 전자장치와 관련된 제 1 이미지 영역 및 제 2 외부 전자장치와 관련된 제 2 이미지 영역을 선택하는 동작;
    기 저장된 제 1 외부 전자장치 정보와 상기 제 1 이미지 영역을 비교하고, 기 저장된 제 2 외부 전자장치 정보와 상기 제 2 이미지 영역을 비교하는 동작; 및
    상기 제 1 이미지 영역과 관련된 상기 제 1 외부 전자장치 정보 및 상기 제 2 이미지 영역과 관련된 상기 제 2 외부 전자장치 정보가 있으면, 상기 제 1 외부 전자장치와 상기 제 2 외부 전자장치 간에 연결을 요청하는 동작을 포함하는 시선인식을 이용한 장치 연결 방법.
  12. 제 11항에 있어서,
    상기 제 1 외부 전자 장치 정보 및 상기 제 2 외부 전자 장치 정보는
    상기 제 1 외부 전자 장치 및 상기 제 2 외부 전자 장치의 외형 정보, 네트워크 정보 및 명칭 정보 중 적어도 하나 이상을 포함하는 시선인식을 이용한 장치 연결 방법.
  13. 제 11항에 있어서,
    상기 제 1 이미지 영역과 관련된 상기 제 1 외부 전자 장치 정보 및 상기 제 2 이미지 영역과 관련된 상기 제 2 외부 전자 장치 정보를 획득하는 동작을 더 포함하는 시선인식을 이용한 장치 연결 방법.
  14. 제 13항에 있어서,
    상기 제 1 외부 전자장치 정보 및 제 2 외부 전자장치 정보를 획득하는 동작은
    상기 제 1 외부 전자장치 및 상기 제 2 외부 전자장치로부터 상기 제 1 외부 전자장치 정보 및 상기 제 2 외부 전자장치 정보를 수신, 특정 서버로부터 상기 제 1 외부 전자장치 정보 및 제 2 외부 전자장치 정보를 수신 및 상기 전자 장치의 입력부를 통해 상기 제 1 외부 전자장치 정보 및 제 2 외부 전자장치 정보를 수신하는 것 중 적어도 하나 이상을 포함하는 것을 특징으로 시선인식을 이용한 장치 연결 방법.
  15. 전자장치에 있어서,
    시선 정보를 획득하기 위한 시선 인식부;
    동일한 외형을 갖는 적어도 두 개의 외부 전자 장치들을 포함하는 외부 전자 장치들 각각에 대응하는 이미지 영역들을 포함하는 이미지 정보를 상기 시선 정보에 기반하여 획득하는 사물 인식부; 및
    제어부를 포함하고,
    상기 제어부는
    상기 이미지 영역들 중 적어도 하나의 이미지 영역과 적어도 하나의 외부 전자 장치의 정보를 비교하고,
    상기 비교 결과에 기반하여, 상기 적어도 하나의 외부 전자 장치 중 연결하기 위한 외부 전자 장치를 결정하고,
    상기 결정된 외부 전자 장치가 상기 동일한 외형을 갖는 적어도 두 개의 외부 전자 장치들 중 하나임을 확인함에 대응하여, 상기 결정된 외부 전자 장치와 다른 외부 전자 장치가 구별될 수 있도록 상기 결정된 외부 전자 장치가 알림을 출력하도록 요청하도록 설정된 전자 장치.
  16. 제 15항에 있어서,
    상기 적어도 하나의 외부 전자 장치의 외형 정보, 네트워크 정보 또는 명칭 정보 중 적어도 하나를 상기 정보로 저장하기 위한 저장부를 포함하는 전자장치.
  17. 제 15항에 있어서,
    상기 적어도 하나의 외부 전자 장치 또는 서버 중 적어도 하나로부터 상기 정보를 수신하기 위한 통신부를 포함하는 전자장치.
  18. 제 15항에 있어서,
    상기 정보를 획득하기 위한 입력부를 더 포함하는 전자 장치.
  19. 제 15항에 있어서,
    상기 제어부는,
    상기 연결에 대응하는 사용자의 제스처 정보에 기반하여 상기 연결하기 위한 외부 전자장치와 연결할지 여부를 결정하도록 설정된 전자장치.
  20. 제 15항에 있어서,
    상기 제어부는,
    상기 전자장치가 다른 외부 전자 장치와 연결된 경우, 상기 연결하기 위한 외부 전자장치와 상기 다른 외부 전자 장치의 연결을 제어하도록 설정된 전자장치.
  21. 제 17항에 있어서,
    상기 통신부는
    상기 다른 외부 전자 장치 연결 요청에 따라 상기 전자 장치와 상기 다른 외부 전자 장치 간 통신하는 전자 장치.
  22. 제 20항에 있어서,
    상기 제어부는,
    상기 연결하기 위한 외부 전자 장치의 연결 정보를 상기 다른 외부 전자 장치로 전송하고, 상기 다른 외부 전 자장치의 연결 정보를 상기 연결하기 위한 외부 전자 장치로 전송하는 동작을 제어하도록 설정된 전자장치.
  23. 시선 인식을 이용한 외부 전자 장치를 연결하기 위한 동작들을 수행하도록 설정된 명령들이 저장된 컴퓨터 판독 가능한 기록 매체에 있어서,
    상기 동작들은
    시선 정보를 획득하는 동작;
    동일한 외형을 갖는 적어도 두 개의 외부 전자 장치들을 포함하는 외부 전자 장치들 각각에 대응하는 적어도 두 개의 이미지 영역을 포함하는 이미지 정보를 상기 시선 정보에 기반하여 획득하는 동작;
    상기 적어도 두 개의 이미지 영역 중 적어도 하나의 이미지 영역과 적어도 하나의 외부 전자장치의 정보를 비교하는 동작;
    상기 비교에 기반하여, 상기 적어도 하나의 외부 전자장치 중 연결하기 위한 외부 전자장치를 결정하는 동작; 및
    상기 결정된 외부 전자 장치가 상기 동일한 외형을 갖는 적어도 두 개의 외부 전자 장치들 중 하나임을 확인함에 대응하여, 상기 결정된 외부 전자 장치와 다른 외부 전자 장치가 구별될 수 있도록 상기 결정된 외부 전자 장치가 알림을 출력하도록 요청하는 동작을 포함하는 기록 매체.
KR1020130081901A 2013-07-12 2013-07-12 시선인식을 이용한 장치 연결 방법 및 장치 KR102056221B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130081901A KR102056221B1 (ko) 2013-07-12 2013-07-12 시선인식을 이용한 장치 연결 방법 및 장치
US14/322,210 US9626561B2 (en) 2013-07-12 2014-07-02 Method and apparatus for connecting devices using eye tracking
EP14176537.0A EP2824541B1 (en) 2013-07-12 2014-07-10 Method and apparatus for connecting devices using eye tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130081901A KR102056221B1 (ko) 2013-07-12 2013-07-12 시선인식을 이용한 장치 연결 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150007643A KR20150007643A (ko) 2015-01-21
KR102056221B1 true KR102056221B1 (ko) 2019-12-16

Family

ID=51260577

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130081901A KR102056221B1 (ko) 2013-07-12 2013-07-12 시선인식을 이용한 장치 연결 방법 및 장치

Country Status (3)

Country Link
US (1) US9626561B2 (ko)
EP (1) EP2824541B1 (ko)
KR (1) KR102056221B1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102100911B1 (ko) * 2013-08-30 2020-04-14 엘지전자 주식회사 안경형 단말기와 이를 포함하는 시스템 및 안경형단말기의 제어방법
US10451874B2 (en) * 2013-09-25 2019-10-22 Seiko Epson Corporation Image display device, method of controlling image display device, computer program, and image display system
US9652035B2 (en) 2015-02-23 2017-05-16 International Business Machines Corporation Interfacing via heads-up display using eye contact
JP6295995B2 (ja) * 2015-04-28 2018-03-20 京セラドキュメントソリューションズ株式会社 情報処理装置、画像処理装置へのジョブ指示方法
JP6507827B2 (ja) 2015-04-28 2019-05-08 京セラドキュメントソリューションズ株式会社 表示システム
WO2016200224A1 (ko) * 2015-06-10 2016-12-15 주식회사 룩시드랩스 사용자의 생체 활동을 모니터링하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN105183156B (zh) * 2015-08-31 2019-03-12 小米科技有限责任公司 屏幕控制方法及装置
US10444972B2 (en) 2015-11-28 2019-10-15 International Business Machines Corporation Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries
EP3494695B1 (en) * 2016-08-04 2023-09-27 Dolby Laboratories Licensing Corporation Single depth tracked accommodation-vergence solutions
US11290518B2 (en) * 2017-09-27 2022-03-29 Qualcomm Incorporated Wireless control of remote devices through intention codes over a wireless connection
KR102608471B1 (ko) * 2018-11-06 2023-12-01 삼성전자주식회사 눈 추적 방법 및 장치
TWI674518B (zh) * 2018-11-28 2019-10-11 國立臺灣大學 眼球追蹤的校正方法和其裝置
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130042010A1 (en) * 2010-01-28 2013-02-14 Nokia Corporation Access establishment to locally connectable device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7438414B2 (en) 2005-07-28 2008-10-21 Outland Research, Llc Gaze discriminating electronic control apparatus, system, method and computer program product
WO2010118292A1 (en) * 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
KR101685361B1 (ko) 2010-05-17 2016-12-12 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
EP2613226A1 (en) 2012-01-05 2013-07-10 Alcatel Lucent Initiating a logical connection between two devices using eye-gazing detection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130042010A1 (en) * 2010-01-28 2013-02-14 Nokia Corporation Access establishment to locally connectable device

Also Published As

Publication number Publication date
US9626561B2 (en) 2017-04-18
EP2824541A1 (en) 2015-01-14
US20150016674A1 (en) 2015-01-15
KR20150007643A (ko) 2015-01-21
EP2824541B1 (en) 2019-01-30

Similar Documents

Publication Publication Date Title
KR102056221B1 (ko) 시선인식을 이용한 장치 연결 방법 및 장치
US9552060B2 (en) Radial selection by vestibulo-ocular reflex fixation
KR102179142B1 (ko) 착용식 식품 영양 피드백 시스템
US9696547B2 (en) Mixed reality system learned input and functions
US11487354B2 (en) Information processing apparatus, information processing method, and program
TW201535155A (zh) 藉由凝視偵測進行遠端裝置控制
CN111630477A (zh) 提供增强现实服务的设备及其操作方法
KR20160024168A (ko) 전자 장치의 디스플레이 제어 방법 및 전자 장치
US11532227B2 (en) Discovery of and connection to remote devices
KR20160000741A (ko) 글래스 타입 단말기 및 이의 제어방법
KR102110208B1 (ko) 안경형 단말기 및 이의 제어방법
US20140285402A1 (en) Social data-aware wearable display system
KR101728707B1 (ko) 글라스형 웨어러블 디바이스를 이용한 실내 전자기기 제어방법 및 제어프로그램
US20210297805A1 (en) Information processing apparatus, information processing method, program, and information processing system
US20210160150A1 (en) Information processing device, information processing method, and computer program
CN111240471B (zh) 信息交互方法及穿戴式设备
KR20160053391A (ko) 글라스형 웨어러블 디바이스를 이용한 외부디바이스 내 콘텐츠 관리 시스템, 방법 및 글라스형 웨어러블 디바이스용 어플리케이션
CN111796740A (zh) 基于可穿戴智能设备的无人车控制方法、装置及系统
EP4341779A1 (en) Contextual visual and voice search from electronic eyewear device
US20240134492A1 (en) Digital assistant interactions in extended reality
WO2021057420A1 (zh) 控制界面显示的方法及头戴式显示器
EP4281854A1 (en) Digital assistant interactions in extended reality
CN113643438A (zh) 一种控制方法、装置、控制设备、目标设备及存储介质
KR20160097785A (ko) 글래스 타입 단말기 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant