KR102248474B1 - 음성 명령 제공 방법 및 장치 - Google Patents

음성 명령 제공 방법 및 장치 Download PDF

Info

Publication number
KR102248474B1
KR102248474B1 KR1020140052923A KR20140052923A KR102248474B1 KR 102248474 B1 KR102248474 B1 KR 102248474B1 KR 1020140052923 A KR1020140052923 A KR 1020140052923A KR 20140052923 A KR20140052923 A KR 20140052923A KR 102248474 B1 KR102248474 B1 KR 102248474B1
Authority
KR
South Korea
Prior art keywords
text
electronic device
external object
module
voice command
Prior art date
Application number
KR1020140052923A
Other languages
English (en)
Other versions
KR20150125472A (ko
Inventor
알렉산더 숄루드코
알렉산더 코미아코브
스타니슬라 쿱찬코
레브겐 리애쉬첸코
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020140052923A priority Critical patent/KR102248474B1/ko
Priority to US14/692,228 priority patent/US20150317837A1/en
Priority to PCT/KR2015/003949 priority patent/WO2015167160A1/en
Priority to EP15165531.3A priority patent/EP2940556B1/en
Publication of KR20150125472A publication Critical patent/KR20150125472A/ko
Priority to US16/447,029 priority patent/US20190318545A1/en
Application granted granted Critical
Publication of KR102248474B1 publication Critical patent/KR102248474B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

한 실시예에 따른 전자 장치는 정보를 표시하기 위한 디스플레이 및 프로세서로 구현 가능한 증강현실 모듈을 포함하고, 상기 제어 모듈은, 상기 전자 장치에 대한 외부 오브젝트를 인식하고, 상기 디스플레이를 통해, 상기 외부 오브젝트와 관련된 어플리케이션 또는 기능에 대응하는 음성 명령에 대응하는 적어도 하나의 텍스트를 표시할 수 있다. 다른 실시예들이 가능하다.

Description

음성 명령 제공 방법 및 장치 {Voice command providing method and apparatus}
다양한 실시예들은 음성 명령 제공 방법 및 장치에 관한 것으로서, 예컨대, 음성 명령을 받아 어플리케이션 또는 그 기능을 제공하는 방법 및 장치에 관한 것이다.
전자 장치는, 전자 부품 기술의 발전에 따라, 전자 장치와 관련된 다양한 어플리케이션 및 그 기능을 제공하면서도, 전자 목걸이, 전자 앱세서리, 전자 문신, 전자 안경, head-mounted-device(HMD), 전자 컨택트 렌즈(contact lens)와 같은 다양한 타입의 웨어러블 장치로 발전하고 있다. 또한, 전자 장치는 전자 장치에서 다양한 사용자 입력을 획득하여 이에 대응하는 어플리케이션을 제공할 수 있다. 예를 들면, 전자 장치는 터치 스크린을 통하여 사용자의 터치 입력을 획득할 수 있다. 또는, 전자 장치는 카메라 또는 적외선 센서를 통하여 사용자의 제스쳐 입력을 획득할 수 있다. 또는, 전자 장치는 모션 감지 센서(예: 가속도 센서 또는 자이로 센서)를 통하여 사용자가 전자 장치를 이동시키는 입력을 획득할 수 있다. 또는, 전자 장치는 오디오 입력 장치를 통하여 사용자의 음성 입력을 획득할 수 있다. 또는, 전자 장치는 자기 센서를 통하여 주변 자기력 변화에 기반하여 입력을 획득할 수 있다. 전자 장치는, 다양한 입력 중 적어도 하나 또는 그 조합에 기반하여, 전자 장치가 제공하는 어플리케이션 또는 기능을 제공할 수 있다.
현존하는(existing) 기술에 따르면, 전자 장치에서 사용자의 음성 입력을 획득하여, 획득된 음성 입력에 대응하는 어플리케이션 또는 기능을 제공할 수 있다. 전자 장치가 제공하는 어플리케이션 또는 기능이 다양해짐에 따라, 사용자가 의도하는 어플리케이션 또는 기능을 수행하기 위한 음성 명령을 사용자가 인지하기 어려울 수 있다. 예를 들어, 전자 장치가 제공하는 어플리케이션 또는 기능이 약 100개 또는 그 이상인 경우, 사용자가 전자 장치에서 제공되는 어플리케이션 또는 기능에 대응하는 모든 음성 명령을 파악하는 것은 불가능하며, 별도로 음성 명령을 알려주는 인터페이스가 제공되지 않는다면, 음성 명령 자체를 이용하지 못할 수 있다.
다양한 실시예들은, 예를 들면, 전자 장치의 어플리케이션 또는 기능에 대응되는 음성 명령을, 사용자가 직관적으로 인지할 수 있도록, 사용자에게 음성 명령에 관한 정보를 제공하는 인터페이스를 제공할 수 있다.
전술한 과제 또는 다른 과제를 해결하기 위한, 한 실시예에 따른 방법은, 전자 장치에 대한 외부 오브젝트를 인식하는 동작 및 상기 전자 장치에 기능적으로 연결된 디스플레이를 통해, 상기 외부 오브젝트와 관련된 어플리케이션 또는 기능에 대응하는 음성 명령에 대응하는 적어도 하나의 텍스트를 표시하는 동작을 포함할 수 있다.
전술한 과제 또는 다른 과제를 해결하기 위한, 한 실시예에 따른 전자 장치는, 정보를 표시하기 위한 디스플레이 및 프로세서로 구현 가능한 증강현실 모듈을 포함하고, 상기 제어 모듈은, 상기 전자 장치에 대한 외부 오브젝트를 인식하고, 상기 디스플레이를 통해, 상기 외부 오브젝트와 관련된 어플리케이션 또는 기능에 대응하는 음성 명령에 대응하는 적어도 하나의 텍스트를 표시할 수 있다.
다양한 실시예들에 따른 음성 명령 제공 방법 및 전자 장치는, 예를 들면, 전자 장치에 대한 외부 오브젝트를 인식하고, 외부 오브젝트와 관련된 어플리케이션 또는 기능에 대응하는 음성 명령에 대응하는 적어도 하나의 텍스트를 표시할 수 있다. 예컨대, 사용자는 전자 장치에 표시된 적어도 하나의 텍스트를 통하여, 외부 오브젝트에 대한 음성 명령을 용이하게 인지할 수 있다.
다양한 실시예들에 따른 음성 명령 제공 방법 및 전자 장치는, 적어도 하나의 텍스트에 대응하는 음성 명령을 획득하고, 음성 명령에 반응하여, 음성 명령에 대응하는 어플리케이션 또는 기능을 제공할 수 있다.
다양한 실시예들에 따른 음성 명령 제공 방법 및 전자 장치는, 적어도 하나의 음성 명령을 획득하고, 음성 명령의 적어도 일부의 속성이 제 1 속성이면, 어플리케이션 또는 기능을 제 1 모드로 제공하고, 음성 명령의 적어도 일부의 속성이 제 2 속성이면, 어플리케이션 또는 기능을 제 2 모드로 제공할 수 있다. 예컨대, 전자 장치는, 서로 동일한 텍스트로 표현되는 복수의 음성 명령들 각각의 적어도 일부의 속성을 서로 다르게 인식하여, 복수의 음성 명령들 각각에 대응되는 복수의 어플리케이션들 또는 기능들을 다양하게 제공할 수 있다.
다양한 실시예들에 따른 음성 명령 제공 방법 및 전자 장치는, 전자 장치에 대한 외부 오브젝트를 인식하고, 외부 오브젝트가 제 1 외부 오브젝트 및 제 2 외부 오브젝트를 포함하는 경우, 제 1 외부 오브젝트와 관련하여 표시될 제 1 텍스트와 제 2 외부 오브젝트와 관련하여 표시될 제 2 텍스트가 동일한 경우에, 제 1 텍스트에 추가하여 또는 제 1 텍스트를 대체하여, 제 1 외부 오브젝트와 관련된 텍스트로, 제 1 텍스트와 상이한 제 3 텍스트를 표시할 수 있다. 예컨대, 전자 장치는 동일한 텍스트로 표현 가능한 복수의 오브젝트들 각각에 대하여, 동일한 텍스트와 연관된 다른 텍스트를 표시함으로써, 복수의 오브젝트들의 각각을 구별하여, 복수의 오브젝트들 각각에 대응되는 음성 명령을 획득할 수 있다. 다양한 실시예들 또는 그 조합에 따른 음성 명령 제공 방법 및 전자 장치는, 음성명령과 관련된 다양한 효과를 제공할 수 있다.
도 1은 다양한 실시예들에 따른 전자 장치를 포함하는 네트워크 환경을 도시한다.
도 2는 다양한 실시예들에 따른 전자 장치의 블록도를 도시한다.
도 3은 다양한 실시예들에 따른 전자 장치가 외부 오브젝트에 관련하여 적어도 하나의 텍스트를 표시하는 예를 도시한다.
도 4는 다양한 실시예들에 따른 전자 장치의 음성 명령 제공 방법을 도시한다.
도 5는 다양한 실시예들에 따른 전자 장치의 음성 명령 제공 방법을 도시한다.
도 6은 다양한 실시예들에 따른 전자 장치가 음성 명령의 속성에 기반하여 기능을 제공하는 예를 도시한다.
도 7a 및 도 7b 은 다양한 실시예들에 따른 전자 장치가 외부 오브젝트에 관련된 정보를 표시하는 예를 도시한다.
도 8a 및 도 8b 은 다양한 실시예들에 따른 전자 장치가 외부 오브젝트에 관련된 정보를 표시하는 예를 도시한다.
도 9는 다양한 실시예들에 따른 전자 장치가 외부 오브젝트에 관련된 정보를 표시하는 예를 도시한다.
도 10은 다양한 실시예들에 따른 전자 장치가 외부 오브젝트에 관련된 정보를 표시하는 예를 도시한다.
도 11은 다양한 실시예들에 따른 전자 장치의 블록도를 도시한다.
도 12은 다양한 실시예들에 따른 복수의 전자 장치들 사이의 통신 프로토콜을 도시한다.
이하, 본 발명의 다양한 실시예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시예들은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 발명의 다양한 실시예들에서 사용될 수 있는"포함한다" 또는 "포함할 수 있다" 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명의 다양한 실시예들에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 다양한 실시예들에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 발명의 다양한 실시예들에서 사용된 "제 1,""제2,""첫째,"또는"둘째,"등의 표현들은 다양한 실시예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 발명의 다양한 실시예의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 발명의 다양한 실시예들에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 다양한 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 다양한 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 다양한 실시예들에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 다양한 실시예들에 따른 전자 장치는, 통신 기능 이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 통신 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명의 다양한 실시예들에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명의 다양한 실시예들에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 본 발명의 다양한 실시예들에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
이하, 첨부된 도면을 참조하여 다양한 실시예들에 따른 전자 장치에 대해서 살펴본다. 다양한 실시예들에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시예들에 따른, 전자 장치 101을 포함하는 네트워크 환경 100를 도시한다. 도 1을 참조하면, 상기 전자 장치 101는 버스 110, 프로세서 120, 메모리 130, 입출력 인터페이스 140, 디스플레이 150, 통신 인터페이스 160 및 증강현실 모듈 170을 포함할 수 있다. 상기 버스 110는 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다.
상기 프로세서 120는, 예를 들면, 상기 버스 110를 통해 전술한 다른 구성요소들(예: 상기 메모리 130, 상기 입출력 인터페이스 140, 상기 디스플레이 150, 상기 통신 인터페이스 160, 또는 상기 증강현실 모듈 170 등)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
상기 메모리 130는, 상기 프로세서 120 또는 다른 구성요소들(예: 상기 입출력 인터페이스 140, 상기 디스플레이 150, 상기 통신 인터페이스 160, 또는 상기 증강현실 모듈 170 등)로부터 수신되거나 상기 프로세서 120 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 상기 메모리 130는, 예를 들면, 커널 131, 미들웨어 132, 어플리케이션 프로그래밍 인터페이스(API: application programming interface) 133 또는 어플리케이션 134 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
상기 커널 131은 나머지 다른 프로그래밍 모듈들, 예를 들면, 상기 미들웨어 132, 상기 API 133 또는 상기 어플리케이션 134에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 상기 버스 110, 상기 프로세서 120 또는 상기 메모리 130 등)을 제어 또는 관리할 수 있다. 또한, 상기 커널 131은 상기 미들웨어 132, 상기 API 133 또는 상기 어플리케이션 134에서 상기 전자 장치 101의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
상기 미들웨어 132는 상기 API 133 또는 상기 어플리케이션 134이 상기 커널 131과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어 132는 상기 어플리케이션 134로부터 수신된 작업 요청들과 관련하여, 예를 들면, 상기 어플리케이션 134 중 적어도 하나의 어플리케이션에 상기 전자 장치 101의 시스템 리소스(예: 상기 버스 110, 상기 프로세서 120 또는 상기 메모리 130 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 제어(예: 스케쥴링 또는 로드 밸런싱)을 수행할 수 있다.
상기 API 133는 상기 어플리케이션 134이 상기 커널 131 또는 상기 미들웨어 132에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 어플리케이션 134는 SMS/MMS 어플리케이션, 이메일 어플리케이션, 달력 어플리케이션, 알람 어플리케이션, 건강 관리(health care) 어플리케이션(예: 운동량 또는 혈당 등을 측정하는 어플리케이션) 또는 환경 정보 어플리케이션(예: 기압, 습도 또는 온도 정보 등을 제공하는 어플리케이션) 등을 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 어플리케이션 134은 상기 전자 장치 101와 외부 전자 장치(예: 전자 장치 104) 사이의 정보 교환과 관련된 어플리케이션일 수 있다. 상기 정보 교환과 관련된 어플리케이션은, 예를 들어, 상기 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 어플리케이션, 또는 상기 외부 전자 장치를 관리하기 위한 장치 관리(device management) 어플리케이션을 포함할 수 있다.
예를 들면, 상기 알림 전달 어플리케이션은 상기 전자 장치 101 의 다른 어플리케이션(예: SMS/MMS 어플리케이션, 이메일 어플리케이션, 건강 관리 어플리케이션 또는 환경 정보 어플리케이션 등)에서 발생한 알림 정보를 외부 전자 장치(예: 전자 장치 104)로 전달하는 기능을 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 알림 전달 어플리케이션은, 예를 들면, 외부 전자 장치(예: 전자 장치 104)로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 상기 장치 관리 어플리케이션은, 예를 들면, 상기 전자 장치 101와 통신하는 외부 전자 장치(예: 전자 장치 104)의 적어도 일부에 대한 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴온/턴오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 상기 외부 전자 장치에서 동작하는 어플리케이션 또는 상기 외부 전자 장치에서 제공되는 서비스(예: 통화 서비스 또는 메시지 서비스)를 관리(예: 설치, 삭제 또는 업데이트)할 수 있다.
다양한 실시예들에 따르면, 상기 어플리케이션 134은 상기 외부 전자 장치(예: 전자 장치 104)의 속성(예: 전자 장치의 종류)에 따라 지정된 어플리케이션을 포함할 수 있다. 예를 들어, 외부 전자 장치가 MP3 플레이어인 경우, 상기 어플리케이션 134은 음악 재생과 관련된 어플리케이션을 포함할 수 있다. 유사하게, 외부 전자 장치가 모바일 의료기기인 경우, 상기 어플리케이션 134은 건강 관리와 관련된 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 상기 어플리케이션 134은 전자 장치 101에 지정된 어플리케이션 또는 외부 전자 장치(예: 서버 106 또는 전자 장치 104)로부터 수신된 어플리케이션 중 적어도 하나를 포함할 수 있다.
상기 입출력 인터페이스 140은, 입출력 장치(예: 센서, 키보드, 마이크 또는 터치 스크린)를 통하여 사용자로부터 입력된 명령 또는 데이터를, 예를 들면, 상기 버스 110를 통해 상기 프로세서 120, 상기 메모리 130, 상기 통신 인터페이스 160, 또는 상기 증강현실 모듈 170에 전달할 수 있다. 예를 들면, 상기 입출력 인터페이스 140은 터치 스크린을 통하여 입력된 사용자의 터치에 대한 데이터를 상기 프로세서 120로 제공할 수 있다. 또한, 상기 입출력 인터페이스 140은, 예를 들면, 상기 버스 110을 통해 상기 프로세서 120, 상기 메모리 130, 상기 통신 인터페이스 160, 또는 상기 증강현실 모듈 170로부터 수신된 명령 또는 데이터를 상기 입출력 장치(예: 스피커 또는 디스플레이)를 통하여 출력할 수 있다. 예를 들면, 상기 입출력 인터페이스 140은 상기 프로세서 120를 통하여 처리된 음성 데이터를 스피커를 통하여 사용자에게 출력할 수 있다. 한 실시예에 따르면, 상기 입출력 인터페이스 140은, 상기 버스 110을 통해 상기 프로세서 120, 상기 메모리 130, 상기 통신 인터페이스 160, 또는 상기 증강현실 모듈 170로부터 수신된 명령 또는 데이터를 상기 통신 인터페이스 160을 통하여 연결된 입출력 장치를 통하여 출력할 수 있다.
상기 디스플레이 150은 사용자에게 각종 정보(예: 멀티미디어 데이터 또는 텍스트 데이터 등)을 표시할 수 있다.
상기 통신 인터페이스 160은 상기 전자 장치 101와 외부 장치(예: 전자 장치 104 또는 서버 106) 간의 통신을 연결할 수 있다. 예를 들면, 상기 통신 인터페이스 160은 무선 통신 또는 유선 통신을 통해서 네트워크 162에 연결되어 상기 외부 장치와 통신할 수 있다. 상기 무선 통신은, 예를 들어, Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication), GPS(global positioning system) 또는 cellular 통신(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등) 중 적어도 하나를 포함할 수 있다. 상기 유선 통신은, 예를 들어, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다.
한 실시예에 따르면, 상기 네트워크 162는 통신 네트워크(telecommunications network)일 수 있다. 상기 통신 네트워크 는 컴퓨터 네트워크(computer network), 인터넷(internet), 사물 인터넷(internet of things) 또는 전화망(telephone network) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 상기 전자 장치 101와 외부 장치 간의 통신을 위한 프로토콜(예: transport layer protocol, data link layer protocol 또는 physical layer protocol))은 어플리케이션 134, 어플리케이션 프로그래밍 인터페이스 133, 상기 미들웨어 132, 커널 131 또는 통신 인터페이스 160 중 적어도 하나에서 지원될 수 있다.
한 실시예에 따르면, 상기 서버 106는 상기 전자 장치 101에서 구현되는 동작(또는, 기능)들 중 적어도 하나의 동작을 수행함으로써, 상기 전자 장치 101의 구동을 지원할 수 있다. 예를 들면, 상기 서버 106는 상기 전자 장치 101에 구현된 증강현실 모듈 170을 지원할 수 있는 증강현실 서버 모듈 108을 포함할 수 있다. 예컨대, 상기 증강현실 서버 모듈 108은 증강현실 모듈 170의 적어도 하나의 구성요소를 포함하여, 증강현실 모듈 170이 수행하는 동작들 중 적어도 하나의 동작을 수행(예: 대행)할 수 있다.
상기 증강현실 모듈 170은, 다른 구성요소들(예: 상기 프로세서 120, 상기 메모리 130, 상기 입출력 인터페이스 140, 또는 상기 통신 인터페이스 160 등)로부터 획득된 정보 중 적어도 일부를 처리하고, 이를 다양한 방법으로 사용자에게 제공 할 수 있다. 예를 들면, 상기 증강현실 모듈 170는 상기 프로세서 120를 이용하여 또는 이와는 독립적으로, 상기 전자 장치 101에 대한 외부 오브젝트를 인식하고, 상기 외부 오브젝트와 관련된 적어도 하나의 텍스트를 상기 디스플레이 150을 통하여 사용자에게 표시할 수 있다. 또한, 상기 증강현실 모듈 170은, 상기 입출력 인터페이스 140(예: 마이크)을 통하여 획득된 음성 명령에 반응하여, 상기 음성 명령이 상기 적어도 하나의 텍스트에 대응하는 경우, 상기 적어도 하나의 텍스트에 대응하는 어플리케이션 또는 기능을 제공할 수 있다. 후술하는 도 2 를 통하여 상기 증강현실 모듈 170에 대한 추가적인 정보가 제공된다.
도 2는 다양한 실시예들에 따른, 전자 장치 201(예: 상기 전자 장치 101)의 블록도 200을 도시한다. 도 2를 참조하면, 상기 전자 장치 201은 표시 모듈 210, 인식 모듈 230, 입력 모듈 250 및 증강현실 모듈 270을 포함할 수 있다. 한 실시예에 따르면, 표시 모듈 210, 인식 모듈 230, 입력 모듈 250 및 증강현실 모듈 270 은 소프트웨어(예: 프로그래밍 모듈) 또는 하드웨어(예: 집적 회로) 또는 그 조합으로 구성될 수 있다. 또한, 도 2를 참조하여, 표시 모듈 210, 인식 모듈 230, 입력 모듈 250 및 증강현실 모듈 270을 각각 별개의 블록으로 도시되었으나, 한 실시예에 따르면, 표시 모듈 210, 인식 모듈 230, 입력 모듈 250 또는 증강현실 모듈 270 들의 각각은 다른 구성요소와 하나의 모듈로 구성될 수 있다.
표시 모듈 210은 전자 장치에 기능적으로 연결된 디스플레이(예: 디스플레이 150)를 이용하여, 사용자에게 정보를 표시하도록 디스플레이를 제어할 수 있다. 한 실시예에 따르면, 표시 모듈 210의 적어도 일부는 입출력 인터페이스 140 일 수 있다. 예를 들면, 표시 모듈 210은 디스플레이를 통하여 정보를 시각적으로 출력할 수 있다. 한 실시예에 따르면, 표시 모듈 210은, 디스플레이가 전자 장치 201에 대한 외부 장치에 관련된 정보(예: 텍스트 또는 이미지)를 표시하도록 디스플레이를 제어할 수 있다. 한 실시예에 따르면, 상기 표시 모듈 210의 적어도 일부는, 예를 들면, 그래픽 프로세서일 수 있다. 한 실시예에 따르면, 상기 표시 모듈 210의 적어도 일부는 범용 프로세서(예: 프로세서 120)에 의해 수행되는 로직의 일부로 포함될 수 있다.
인식 모듈 230은 전자 장치 201에 대한 외부 오브젝트를 인식할 수 있다. 다양한 실시예들에 따르면, 인식 모듈 230은, 전자 장치 201에 기능적으로 연결된 근거리 통신 모듈(예: NFC, RFID 또는 BT), 센서 모듈(예: 마그네틱 센서 또는 생체 센서) 또는 카메라 모듈 중 적어도 하나를 통해 획득된 정보에 기반하여, 외부 오브젝트를 인식할 수 있다. 한 실시예에 따르면, 인식 모듈 230은, 예를 들면, 외부 오브젝트가 NFC 또는 RFID를 포함하는 다른 전자 장치(예: NFC 태그 또는 RFID 태그)인 경우, 통신 인터페이스(예: 통신 인터페이스 160)를 통하여, 외부 오브젝트의 식별 정보(예: 식별자(identifier))를 획득하고, 획득된 식별 정보에 기반하여 외부 오브젝트를 인식하거나, 외부 오브젝트와 관련된 추가 정보를 얻기 위한 통신을 수행할 수 있다. 한 실시예에 따르면, 인식 모듈 230은, 예를 들면, 외부 오브젝트가 근거리 통신망을 통해 비콘, 광고 또는 디스커버리 등의 메시지를 이용하여 외부 오브젝트에 대한 정보를 전송하는 다른 전자 장치(예: 전자 장치 104 또는 AP(access point) 등)인 경우, 외부 오브젝트로부터 수신된 메시지의 정보(예: 장치 정보, 제조사 정보 또는 주소 정보 등)에 기반하여 외부 오브젝트를 인식할 수 있다.
한 실시예에 따르면, 인식 모듈 230은, 외부 오브젝트가 자성을 가진 경우에, 센서 모듈(예: 지자기 센서 또는 자기 센서)을 통해서, 외부 오브젝트에 대한 정보(예: 외부 오브젝트의 접근 여부 또는 위치)를 감지하고, 감지된 정보에 기반하여 외부 오브젝트를 인식할 수 있다. 또는, 인식 모듈 230은, 카메라 모듈을 통해서, 외부 오브젝트의 적어도 일부 또는 외부 오브젝트에 대한 식별 정보(예: QR(quick response) 코드 또는 바코드)를 포함하는 적어도 하나의 이미지를 획득하고, 획득된 이미지의 식별 정보에 기반하여 외부 오브젝트를 인식할 수 있다. 또는, 인식 모듈 230은, 카메라 모듈을 통해서, 외부 오브젝트를 포함하는 적어도 하나의 이미지를 획득하고, 획득된 이미지에 대한 이미지 프로세싱을 통해, 이미지에 포함된 외부 오브젝트의 외형적 특징을 분석(예: 얼굴 인식 또는 광학식 문자 판독)하여, 외부 오브젝트를 인식할 수 있다. 또는, 인식 모듈 230은, 센서 모듈(예: 지문 센서 또는 홍채 센서)를 통하여 획득되는 생체 정보에 기반하여, 외부 오브젝트(예: 지정된 사용자, 지정된 사용자의 왼쪽 눈, 오른쪽 눈, 검지, 또는 중지 등)를 인식할 수 있다.
한 실시예에 따르면, 인식 모듈 230은, 전자 장치 201와 기능적으로 연결된 메모리(예: 메모리 130) 또는 전자 장치 201에 대한 외부 장치(예: 전자 장치 104 또는 서버 106) 중 적어도 하나로부터, 인식된 외부 오브젝트에 연관된 추가 정보를 획득할 수 있다. 예를 들면, 인식 모듈 230은, 인식된 외부 오브젝트에 연관된 추가 정보로서, 적어도 하나의 텍스트(예: 식별자 또는 기능에 대응하는 텍스트), 디스플레이 상에서 적어도 하나의 텍스트가 표시될 위치, 외부 오브젝트의 위치(예: GPS 정보), 외부 오브젝트에 연관된 어플리케이션 또는 기능, 외부 오브젝트와 연관된 이미지 또는 디스플레이에서 정보가 표시될 속성(예: 크기 또는 색상) 중 적어도 하나에 관한 정보를 획득할 수 있다. 한 실시예에 따르면, 상기 외부 오브젝트는 버츄얼 오브젝트(예: 표시 모듈 210을 통해 출력되는 이미지, 데이터 파일 또는 아이콘 등) 또는 리얼 오브젝트(예: 전자 장치 201 주변의 다른 장치) 중 적어도 하나를 포함할 수 있다.
입력 모듈 250은, 적어도 하나의 오디오 정보에 기반하여, 음성 명령을 획득할 수 있다. 한 실시예에 따르면, 입력 모듈 250의 적어도 일부는 입출력 인터페이스 140 일 수 있다. 예를 들면, 입력 모듈 250은 기능적으로 연결된 오디오 입력 장치(예: 마이크) 또는 전자 장치 201에 대한 외부 장치(예: 전자 장치 104 또는 서버 106) 중 적어도 하나로부터 오디오 정보(예: 오디오 파일 또는 오디오 신호)를 획득할 수 있다. 입력 모듈 250은, 획득된 오디오 정보에 기반하여, 예컨대, 오디오 정보를 분석하여, 음성 명령을 획득할 수 있다. 한 실시예에 따르면, 입력 모듈 250은, 오디오 정보의 품질을 높이기 위해, 획득된 오디오 정보에 대한 사전 프로세싱(preprocessing)을 수행할 수 있다. 사전 프로세싱은, 예를 들면, AED(adaptive echo cancellation), EPD(end-point detection), NS(noise suppression) 또는 이들 중 둘 이상의 조합일 수 있다.
한 실시예에 따르면, 입력 모듈 250은, 선형예측부호화(linear predictive coding), 구어 산출의 소스 필터 모델(source??filter model of speech production), 템플릿 매칭(template matching), 동적 시간 워핑(dynamic time warping), 히든 마크로브 모델(hidden markov model) 또는 인공 신경망 등의 다양한 음성 인식 알고리즘에 기반하여, 오디오 정보를 분석할 수 있다. 한 실시예에 따르면, 입력 모듈 250은, 오디오 정보를 지정된 시간(예: 0.5초 또는 1초) 단위로 분석하여, 오디오 정보의 속성을 결정할 수 있다. 또한, 추가적으로 또는 대체적으로, 입력 모듈 250은, 오디오 정보의 음의 크기에 기반하여, 음의 크기가 일정 범위 이상을 유지하는 구간(예: 음소와 음소 사이, 음절과 음절 사이 또는 단어와 단어 사이)들을 나누어서, 오디오 정보의 속성을 결정할 수 있다. 한 실시예에 따르면, 입력 모듈 250은, 적어도 하나의 외부 장치를 이용하여, 음성 명령을 획득할 수 있다. 예를 들면, 입력 모듈 250은, 오디오 정보를, 적어도 하나의 외부 장치(예: 서버)에 통신 인터페이스를 통하여 전송하고, 적어도 하나의 외부 장치가 오디오 정보를 분석하여, 입력 모듈 250에게 분석된 정보를 전송할 수 있다. 입력 모듈 250은, 분석된 정보에 기반하여, 음성 명령 또는 음성 명령의 속성을 획득할 수 있다.
증강현실 모듈 270은 표시 모듈 210, 인식 모듈 230 및 입력 모듈 250과 기능적으로 연결되어, 표시 모듈 210, 인식 모듈 230 및 입력 모듈 250을 제어할 수 있다. 한 실시예에 따르면, 증강현실 모듈 270은, 인식 모듈 230을 통해서 전자 장치 201에 대한 외부 오브젝트를 인식하고, 표시 모듈 210을 통해서 외부 오브젝트에 관련된 적어도 하나의 텍스트(예: 식별자 또는 기능에 대응하는 텍스트)를 표시할 수 있고, 입력 모듈 250을 통해서 적어도 하나의 텍스트에 대응하는 음성 명령을 획득할 수 있고, 음성 명령에 반응하여, 외부 오브젝트와 관련된 어플리케이션 또는 기능을 제공할 수 있다.
한 실시예에 따르면, 증강현실 모듈 270은, 외부 오브젝트에 연관된 정보에 기반하여, 외부 오브젝트와 관련하여 표시할 적어도 하나의 텍스트를 결정할 수 있다. 예를 들면, 증강현실 모듈 270은, 외부 오브젝트에 대한 식별자(예: 제조사 이름, 장치 이름, 주소, 또는 사람 이름 등), 어플리케이션 또는 기능에 대응하는 텍스트(예: 촬영, 확대 또는 축소 등) 또는 외부 오브젝트에 대한 정보(예: 메시지 내용, 일정, 할 일, 전화 번호 또는 시간 등) 중 적어도 하나를 표시할 적어도 하나의 텍스트로 결정할 수 있다. 또한, 예를 들면, 증강현실 모듈 270은, 적어도 하나의 텍스트와 동시에 표시될 외부 오브젝트에 관련된 이미지를 결정할 수 있다. 한 실시예에 따르면, 증강현실 모듈 270은, 표시 모듈 210을 통해서 외부 오브젝트에 대응하는 식별자를 표시할 수 있다. 예를 들면, 증강현실 모듈 270은, 외부 오브젝트에 관련된 적어도 하나의 텍스트의 적어도 일부로서, 외부 오브젝트에 대응하는 식별자를 표시할 수 있다. 예컨대, 외부 오브젝트가 모니터인 경우, 증강현실 모듈 270은, 인식 모듈 230을 통해서, 모니터에 대응하는 식별자(예: "모니터")를 획득할 수 있다. 증강현실 모듈 270은, 표시 모듈 210을 통해서, 모니터에 대응하는 식별자를 표시할 수 있다. 한 실시예에 따르면, 증강현실 모듈 270은, 모니터에 대응하는 식별자를 텍스트 또는 이미지 형태 중 적어도 하나 또는 그 조합으로 표시할 수 있다.
한 실시예에 따르면, 외부 오브젝트가 모니터이고, 모니터에 관련된 기능으로 파워 온 및 파워 오프가 인식된 경우, 증강현실 모듈 270은, 적어도 하나의 텍스트로서 모니터, 파워 온 및 파워 오프를 표시할 수 있다. 예를 들면, 증강현실 모듈 270은, 인식 모듈 230을 통해서, 모니터 및 파워 온에 모두 대응하는 음성 명령(예: "모니터 파워 온")을 획득할 수 있다. 예컨대, 인식 모듈 230은 외부 오브젝트에 관련된 정보에 기반하여, "모니터 파워 온"이라는 음성 명령을 결정하여, 증강현실 모듈 270에게 제공할 수 있다. 또한, 증강현실 모듈 270은, 입력 모듈 250을 통하여, "모니터 파워 온"이라는 음성 명령을 획득할 수 있다. 증강현실 모듈 270은, 음성 명령에 기반하여, 외부 오브젝트인 모니터를 원격으로 제어하는 기능을 수행할 수 있다.
한 실시예에 따르면, 증강현실 모듈 270, 전자 장치 201 또는 외부 오브젝트에 관련된 어플리케이션 또는 기능에 대응되며, 예컨대, 어플리케이션 또는 기능에 대응하는 텍스트보다 적은 음소수(예: 2-3개) 또는 적은 음절 수(예: 1-2 개)를 갖는 단축 음성 명령을 결정할 수 있다. 예를 들면, 증강현실 모듈 270은, 외부 오브젝트에 관련된 적어도 하나의 텍스트에 대한 단축 음성 명령에 대응하는 단축 텍스트를 결정할 수 있다. 한 실시예에 따르면, 증강현실 모듈 270은, 어플리케이션 또는 기능에 관련하여 표시할 텍스트의 적어도 일부를 대체하는, 단축 음성 명령을 결정할 수 있다. 예컨대, 증강현실 모듈 270은, 외부 오브젝트에 대한 식별자를 이용하여 어플리케이션 또는 기능에 관련하여 표시할 텍스트를 "컴퓨터"로 결정할 수 있다. 이 경우, 증강현실 모듈 270은, "컴"을 결정된 텍스트(예: "컴퓨터")에 대한 단축 음성 명령으로서 결정할 수 있다.
한 실시예에 따르면, 증강현실 모듈 270은, 표시 모듈 210을 통해서 단축 음성 명령을 표시할 수 있다. 예를 들면, 증강현실 모듈 270은, 어플리케이션 또는 기능에 관련하여 표시할 텍스트 중 단축 텍스트에 해당하는"컴" 부분을 색상, 형상, 크기 또는 기호 중 적어도 하나를 이용하여, 나머지에 해당하는"퓨터"부분과 달리 표시할 수 있다. 또한, 다른 실시예에 따르면, 증강현실 모듈 270, 단축 음성 명령에 대응하는 단축 텍스트(예: "컴")만 표시하거나, 어플리케이션 또는 기능에 관련하여 표시할 텍스트(예: "컴퓨터")에 추가하여 표시할 수 있다. 한 실시예에 따르면, 증강현실 모듈 270은 텍스트 또는 단축 텍스트의 표시와 동시에, 다른 정보, 예를 들면, 텍스트 또는 단축 텍스트에 대응하는 음성 또는 오디오를 출력할 수 있다.
한 실시예에 따르면, 증강현실 모듈 270은, 외부 오브젝트가 모니터이고, 모니터에 관련된 기능으로 파워 온 및 파워 오프가 인식된 경우, 모니터, 파워 온 및 파워 오프에 대응하는 텍스트를 표시하되, 온 및 오프에 대응하는 텍스트를 단축 음성 명령으로 결정할 수 있다. 이 경우, 입력 모듈 250은 "모니터 파워 온"이라는 음성 명령 또는 "모니터 온"이라는 음성 명령 중 적어도 하나를 획득하여 증강현실 모듈 270에게 제공할 수 있다. 증강현실 모듈 270은, 음성 명령에 반응하여, 모니터를 제어할 수 있다. 또는, 다른 실시예에 따르면, 증강현실 모듈 270은, 표시 모듈 210을 통하여, "파워 온"을 대체하여 "온"을 표시하고, "파워 오프"를 대체하여 "오프"를 표시할 수 있다.
한 실시예에 따르면, 증강현실 모듈 270은, 외부 오브젝트가 프로세서를 구비하여 기능을 제공하기 위한 외부 전자 장치(예: 전자 장치 104, 웨어러블 전자 장치 또는 컴퓨터)에 대응하는 경우, 외부 전자 장치에 관련된 정보에 기반하여 적어도 하나의 텍스트를 결정할 수 있다. 예를 들면, 증강현실 모듈 270은, 인식 모듈 230을 통해서, 외부 전자 장치에 관련된 정보를 통신 인터페이스(예: 통신 인터페이스 160)을 통해 연결된 상기 외부 전자 장치 또는 서버 중 적어도 하나로부터 획득할 수 있다. 증강현실 모듈 270은, 외부 전자 장치에 관련된 정보에 기반하여, 적어도 하나의 텍스트를 표시할 수 있다. 증강현실 모듈 270이 외부 전자 장치에 관련된 정보에 기반하여 적어도 하나의 텍스트를 표시하는 동작과 관련된 추가적인 정보가, 후술하는 도 7a 내지 도 7b를 통해 제공된다.
한 실시예에 따르면, 증강현실 모듈 270은, 음성 명령의 속성에 따라 어플리케이션 또는 기능을 제공할 수 있다. 예를 들면, 증강현실 모듈 270은, 음성 명령(예: "크게")의 적어도 일부(예: "크")의 속성(예: 시간 또는 음의 높이)이 제 1 속성이면(예: 지정된 시간 구간 또는 음의 높이 이내이면), 어플리케이션 또는 기능(예: 확대 기능)을 제 1 모드(예: 120%로 확대)로 제공하고, 음성 명령(예: "크게")의 적어도 일부(예: "크")의 속성이 제 2 속성이면(예: 지정된 시간 구간 또는 음의 높이 이상이면), 상기 어플리케이션 또는 기능을 제 2 모드(예: 160%로 확대)로 제공할 수 있다. 증강현실 모듈 270은, 음성 명령의 속성에 따라 어플리케이션 또는 기능을 제공하는 동작과 관련된 추가적인 정보가, 후술하는 도 6을 통해 제공된다.
한 실시예에 따르면, 증강현실 모듈 270은, 외부 오브젝트와 관련하여 표시될 텍스트를 결정할 수 있다. 예를 들면, 증강현실 모듈 270은, 외부 오브젝트가 제 1 외부 오브젝트(예: 제 1 모니터) 및 제 2 외부 오브젝트(예: 제 2 모니터)를 포함하고, 제 1 외부 오브젝트와 관련하여 표시될 제 1 텍스트(예: "모니터 파워 온")와 제 2 외부 오브젝트와 관련하여 표시될 제 2 텍스트(예: "모니터 파워 온")가 동일한 경우에, 제 1 텍스트에 추가하여 또는 상기 제 1 텍스트를 대체하여, 제 1 외부 오브젝트와 관련된 텍스트로, 제 1 텍스트와 상이한 제 3 텍스트(예: "큰 모니터 파워 온" 또는 "왼쪽 모니터 파워 온")를 표시하도록 결정할 수 있다.
한 실시예에 따르면, 증강현실 모듈 270은, 전자 장치 201의 상태에 따라 다른 텍스트를 표시하도록 결정할 수 있다. 예를 들면, 외부 오브젝트(예: 사람)에 대한 적어도 하나의 텍스트는 제 1 텍스트 및 제 2 텍스트를 포함할 수 있고, 증강현실 모듈 270은, 전자 장치 201의 상태가 제 1 상태(예: 정보 검색 기능 모드 또는 소셜 네트워크 기능 모드)인 경우에는, 제 1 텍스트(예: 사람에 대한 정보, 이름, 나이 또는 생일 등)를 표시하고, 전자 장치의 상태가 제 2 상태(예: 촬영 기능 제공 중)인 경우에는, 제 2 텍스트(예: 촬영, 확대, 사진 전송 또는 삭제 등)를 표시할 수 있다. 증강현실 모듈 270이, 전자 장치 201의 상태에 따라 다른 텍스트를 표시하는 동작과 관련된 추가적인 정보가, 후술하는 도 3, 도 8, 도 9 및 도 10을 통해 제공된다.
한 실시예에 따르면, 증강현실 모듈 270은, 전자 장치 201의 상태에 따라, 외부 오브젝트에 대한 다른 어플리케이션 또는 기능을 제공할 수 있다. 예를 들면, 증강현실 모듈 270은, 동일한 외부 오브젝트의 경우에도, 전자 장치 201의 상태에 따라 다른 어플리케이션 또는 기능을 제공할 수 있다. 예컨대, 증강현실 모듈 270은, 전자 장치 201의 베터리의 잔여 용량이 지정된 범위에 속하는 경우, 외부 전자 장치를 원격으로 제어하는 기능을 제공하지 않을 수 있다.
한 실시예에 따르면, 증강현실 모듈 270은, 전자 장치 201 의 상태(예: 스포츠 모드 또는 홈 모드 등)를 외부 오브젝트에 관련된 정보에 기반하여 결정할 수 있다. 예를 들면, 증강현실 모듈 270은 전자 장치 201에 기능적으로 연결된 통신 모듈(예: 통신 인터페이스 160)을 통하여, 전자 장치 201에 관련된 위치 정보를 획득할 수 있다. 예컨대, 증강현실 모듈 270은, GPS를 통해 수신되는 좌표 정보에 기반하여, 전자 장치 201에 관련된 위치 정보를 획득할 수 있다. 또는, 증강현실 모듈 270은, 전자 장치 201에 인접한 기지국 또는 무선 서비스 장치(예: WiFi 장치 또는 BT 장치)로부터 수신되는 기지국 및 무선 서비스 장치의 정보에 기반하여, 전자 장치 201에 관련된 위치 정보(예: 집 또는 차량 안)를 획득할 수 있다. 또는, 증강현실 모듈 270은, 위치 정보를 판단하기 위한 위치 정보 모듈(예: 위치 기반 서비스(location based service) 모듈)로부터 획득할 수 있다. 증강현실 모듈 270은, 위치 정보(예: 집, 도심 또는 사무실)에 기반하여, 전자 장치 201의 상태(예: 집 모드, 도심 모드 또는 사무실 모드)를 결정할 수 있다.
한 실시예에 따르면, 증강현실 모듈 270은, 센서 모듈(예: 가속도 센서 또는 자이로 센서)를 통하여 획득된, 전자 장치 201의 속도 또는 움직임에 기반하여, 전자 장치 201의 상태(예: 활동 모드 또는 스포츠 모드)를 결정할 수 있다. 한 실시예에 따르면, 증강현실 모듈 270은, 인식된 외부 오브젝트(예: 자동차 또는 컴퓨터)에 관련된 정보에 기반하여, 전자 장치 201의 상태(예: 자동차 모드 또는 컴퓨터 모드)를 결정할 수 있다. 한 실시예에 따르면, 증강현실 모듈 270은, 사용자가 전자 장치 201을 이용한 내역 또는 기록(로그) 정보에 기반하여, 전자 장치 201의 상태를 결정할 수 있다. 한 실시예에 따르면, 증강현실 모듈 270은, 다양한 조건 각각 또는 그 조합에 기반하여 전자 장치 201의 상태를 결정할 수 있다.
한 실시예에 따르면, 증강현실 모듈 270은, 외부 오브젝트와 전자 장치 201간의 거리 정보에 기반하여, 외부 오브젝트와 연관된 정보의 표시할 수 있다. 예를 들면, 증강현실 모듈 270은, 외부 오브젝트와 전자 장치 201간의 거리 정보가 제 1 거리 정보에 대응하는 경우(예: 외부 오브젝트와 전자 장치 201 간의 거리가 약 3m 보다 작은 경우), 제 1 속성(예: 제1형상, 제 1밝기, 제 1 크기, 제 1 색상 또는 제 1 시각 효과)으로 표시하고, 제 2 거리 정보에 대응하는 경우(예: 외부 오브젝트와 전자 장치 201 간의 거리가 3m이상이고, 6m보다 작은 경우), 제 2 속성(예: 제 2 형상, 제 2 밝기, 제 2 크기, 제 2 색상 또는 제 2 시각 효과)으로 표시할 수 있다. 한 실시예에 따르면, 증강현실 모듈 270은, 통신 모듈(예: GPS, BT 또는 WiFi), 센서 모듈(예: 적외선 센서, 레이져 센서 또는 초음파 센서) 또는 카메라 모듈(예: 스테레오 카메라 또는 위상차 센서 카메라)을 통해 외부 오브젝트와 전자 장치 201간의 거리 정보(예: 절대적 거리 또는 상대적 거리)를 획득할 수 있다.
도 3은 다양한 실시예들에 따른, 전자 장치(예: 전자 장치 101)가 외부 오브젝트에 관련하여 적어도 하나의 텍스트를 표시하는 예 300 를 도시한다. 도 3을 참조하면, 전자 장치(예: 증강현실 모듈 270)는 외부 오브젝트 330(예: 책)에 관련하여, 식별자 353 또는 기능에 대응하는 텍스트를 포함하는 적어도 하나의 텍스트 350(예: "Book" 및 "Scan text")을 디스플레이를 통해 표시할 수 있다. 예를 들면, 전자 장치는 외부 오브젝트 330에 대한 식별자에 대응하는 텍스트 353(예: "Book")과 외부 오브젝트 330와 관련된 음성 명령에 대응하는 텍스트 356(예: "Scan text")을 표시할 수 있다. 또한, 전자 장치는, 음성 명령에 대한 단축 음성 명령에 대응하는 단축 텍스트 359(예: "S")를 결정하여 표시할 수 있다. 예컨대, 전자 장치는 단축 텍스트 359 에 대한 표시를, 텍스트 356에 대한 표시와 달리(예: 언더라인 또는 진하게)할 수 있다. 예컨대, 전자 장치는, "Book Scan text", "Scan text" 또는 "Book S"에 대응하는 음성 명령을 획득하면, 음성 명령에 대응하는 기능을 제공할 수 있다.
한 실시예에 따르면, 전자 장치는, 전자 장치의 복수의 상태들(예: 제 1 모드 및 제 2 모드)에 각각 대응하는 복수의 텍스트들 370을 표시할 수 있다. 복수의 텍스트 370은, 전자 장치의 제 1 상태에 대응하는 텍스트 373 및 전자 장치의 제 2 상태에 대응하는 텍스트 376을 포함할 수 있다. 예를 들면, 전자 장치는, 전자 장치의 제 1 상태에 대응하는 텍스트 373(예: "mode1")에 대한 단축 음성 명령에 대응하는 텍스트 379(예: "m" 및 "1")을 결정하여 표시할 수 있다. 예컨대, 전자 장치는, "m1" 또는 "mode1"에 대응하는 음성 명령을 획득하면, 제 1 상태에 대응하는 어플리케이션 또는 기능을 제공할 수 있다. 한 실시예에 따르면, 복수의 텍스트들 370을 통해서, 전자 장치는 전자 장치와 관련된 다양한 상태들을 표시할 수 있다. 예를 들면, 전자 장치가 제 1 상태인 경우, 전자 장치는 제 1 상태에 대응하는 텍스트 373에 대한 표시를 제 2 상태에 대응하는 텍스트 376에 대한 표시와 달리할 수 있다.
한 실시예에 따르면, 전자 장치는, 전자 장치의 상태에 따라, 외부 오브젝트에 관련된 적어도 하나의 텍스트를 제공할 수 있다. 예를 들면, 전자 장치가 제 1 상태인 경우, 전자 장치는 외부 오브젝트 330에 대한 적어도 하나의 텍스트 350을 표시할 수 있다. 또한, 전자 장치가 제 2 상태인 경우, 전자 장치는 외부 오브젝트 310에 대한 적어도 하나의 텍스트(미도시)를 추가적으로 또는 대체적으로 표시할 수 있다. 또한, 한 실시예에 따르면, 전자 장치가 제 2 상태인 경우, 전자 장치는 외부 오브젝트 330에 대한 적어도 하나의 텍스트 350을 다른 기능으로 대체하여 표시할 수 있다.
다양한 실시예들에 따른, 전자 장치(예: 전자 장치 101)는, 정보를 표시하기 위한 디스플레이(예: 디스플레이 150) 및 프로세서(예: 프로세서 120)로 구현 가능한 증강현실 모듈(예: 증강현실 모듈 170)을 포함하고, 상기 증강현실 모듈은, 상기 전자 장치에 대한 외부 오브젝트를 인식하고, 상기 디스플레이를 통해, 상기 외부 오브젝트와 관련된 어플리케이션 또는 기능에 대응하는 음성 명령에 대응하는 적어도 하나의 텍스트를 표시할 수 있다.
다양한 실시예들에 따른, 상기 증강현실 모듈은, 상기 전자 장치에 기능적으로 연결된 근거리 통신 모듈, 센서 모듈 또는 카메라 모듈을 통해 획득된 정보에 기반하여, 상기 외부 오브젝트를 인식할 수 있다.
다양한 실시예들에 따른, 상기 증강현실 모듈은, 상기 전자 장치와 기능적으로 연결된 메모리 또는 상기 전자 장치에 대한 외부 장치(예: 서버) 중 적어도 하나로부터 상기 외부 오브젝트에 연관된 정보를 획득하고, 상기 연관된 정보에 기반하여, 상기 적어도 하나의 텍스트를 결정할 수 있다. 다양한 실시예들에 따른, 상기 외부 오브젝트에 연관된 정보는 상기 적어도 하나의 텍스트, 상기 디스플레이 상에서 상기 적어도 하나의 텍스트가 표시될 위치, 표시될 크기, 표시될 색상, 상기 외부 오브젝트의 위치, 상기 외부 오브젝트와 연관된 이미지, 상기 어플리케이션 또는 기능 중 적어도 하나에 관한 정보를 포함할 수 있다.
다양한 실시예들에 따른, 상기 증강현실 모듈은, 상기 적어도 하나의 텍스트의 적어도 일부로, 상기 외부 오브젝트에 대응하는 식별자를 표시할 수 있다. 또한, 다양한 실시예들에 따른, 상기 증강현실 모듈은, 상기 어플리케이션 또는 기능에 대응되며, 상기 적어도 하나의 텍스트의 적어도 일부에 기반하며, 상기 적어도 하나의 텍스트보다 짧은 길이를 갖는 단축 음성 명령을 표시할 수 있다.
다양한 실시예들에 따른, 상기 증강현실 모듈은, 상기 어플리케이션 또는 기능에 대응되며, 상기 음성 명령보다 적은 음절 수를 갖는, 적어도 하나의 텍스트에 대한 단축 음성 명령을 결정할 수 있다.
다양한 실시예들에 따른, 상기 외부 오브젝트는, 적어도 제 1 외부 오브젝트 및 제 2 외부 오브젝트를 포함하는 복수의 외부 오브젝트들을 포함할 수 있다. 다양한 실시예들에 따른, 상기 증강현실 모듈은, 상기 제 1 외부 오브젝트와 관련하여 표시될 제 1 텍스트와 상기 제 2 외부 오브젝트와 관련하여 표시될 제 2 텍스트가 동일한 경우에, 상기 제 1 텍스트에 추가하여 또는 상기 제 1 텍스트를 대체하여, 상기 제 1 외부 오브젝트와 관련된 텍스트로, 상기 제 1 텍스트와 상이한 제 3 텍스트를 표시할 수 있다. 또한, 상기 증강현실 모듈은, 상기 제 2 텍스트에 추가하여 또는 상기 제 2 텍스트를 대체하여, 상기 제 2 외부 오브젝트와 관련된 텍스트로, 상기 제 2 텍스트와 상이한 제 4 텍스트를 표시할 수 있다.
다양한 실시예들에 따른, 상기 적어도 하나의 텍스트는, 제 1 텍스트 및 제 2 텍스트를 포함할 수 있다. 다양한 실시예들에 따른, 상기 증강현실 모듈은, 상기 표시하는 동작은, 상기 전자 장치의 상태가 제 1 상태인 경우에는, 제 1 텍스트를 표시하고, 상기 전자 장치의 상태가 제 2 상태인 경우에는, 제 2 텍스트를 표시할 수 있다. 다양한 실시예에 따르면, 상기 외부 오브젝트는 버츄얼 오브젝트 또는 리얼 오브젝트 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따른, 상기 증강현실 모듈은, 상기 음성 명령을 획득할 수 있고, 상기 음성 명령에 반응하여, 상기 어플리케이션 또는 기능을 제공할 수 있다. 다양한 실시예에 따르면, 상기 증강현실 모듈은, 상기 어플리케이션 또는 기능을 적어도 제 1 모드 또는 제 2 모드를 포함하는 복수의 모드들 중 하나의 모드로 제공할 수 있다. 또한, 상기 증강현실 모듈은, 상기 음성 명령의 적어도 일부의 속성에 기반하여, 상기 제 1 모드 또는 상기 제 2 모드 중 상기 속성에 대응하는 하나의 모드로 제공할 수 있다. 또한, 상기 증강현실 모듈은, 상기 제 1 모드로 제공될 때, 상기 어플리케이션 또는 기능의 제공에 따라 상기 디스플레이에 표시될 정보를 제 1 배율 또는 제 1 속도로 확대 또는 축소하고, 상기 제 2 모드로 제공될 때, 상기 정보를 제 2 배율 또는 제 2 속도로 확대 또는 축소할 수 있다.
도 4는 다양한 실시예들에 따른, 전자 장치(예: 전자 장치 101)의 음성 명령 제공 방법 400을 도시한다. 도 4를 참조하면, 동작 410에서, 전자 장치(예: 증강현실 모듈 170)는 전자 장치에 대한 외부 오브젝트를 인식할 수 있다. 예를 들면, 전자 장치는, 외부 오브젝트에 대한 식별자, 어플리케이션 또는 기능에 대응하는 텍스트 또는 외부 오브젝트에 대한 정보 중 적어도 하나를 인식할 수 있다. 동작 420에서, 전자 장치(예: 증강 현실 모듈 170)는 외부 오브젝트와 관련된 적어도 하나의 텍스트를 표시할 수 있다. 예를 들면, 전자 장치는, 전자 장치에 기능적으로 연결된 디스플레이를 통해, 외부 오브젝트와 관련된 어플리케이션 또는 기능에 대응하는 음성 명령에 대응하는 적어도 하나의 텍스트를 표시할 수 있다. 또한, 전자 장치는, 추가적으로 외부 오브젝트에 대응하는 식별자를 표시할 수 있다.
추가적으로, 전자 장치(예: 증강 현실 모듈 170)는, 적어도 하나의 텍스트에 대응하는 음성 명령을 획득할 수 있다. 예를 들면, 전자 장치는, 오디오 획득 장치(예: 마이크) 또는 통신 모듈(예: 통신 인터페이스)를 통하여 적어도 하나의 오디오를 획득하고, 오디오에 기반하여 적어도 하나의 텍스트에 대응하는 음성 명령을 획득할 수 있다. 전자 장치는, 음성 명령에 반응하여, 음성 명령에 대응하는 어플리케이션 또는 기능을 제공할 수 있다.
도 5는 다양한 실시예들에 따른, 전자 장치(예: 전자 장치 101)의 음성 명령 제공 방법 500을 도시한다. 도 5를 참조하면, 동작 510에서, 전자 장치(예: 증강현실 모듈 170)는, 적어도 하나의 음성 명령을 획득할 수 있다. 예를 들면, 전자 장치는, 어플리케이션 또는 기능(예: 이미지 또는 비디오를 촬영하는 기능)에 대응하는 음성 명령(예: 기록)을 획득할 수 있다.
동작 520에서, 전자 장치는, 음성 명령의 적어도 일부의 속성을 판단할 수 있다. 예를 들면, 전자 장치는 음성 명령 "기록"의 적어도 일부로서, "기"의 속성을 판단할 수 있다. 예컨대, 전자 장치는, "기"의 길이를 판단할 수 있다. 한 실시예에 따르면, 전자 장치는, "기"에 대응하는 음의 크기에 기반하여, 음의 크기가 일정 범위 이상을 유지하는 시간을, "기"가 유지되는 시간으로 측정할 수 있다. 전자 장치는, "기"가 유지되는 시간에 기반하여, 사용자가 짧게 "기록"이라고 말한 경우, "기"의 속성(예: 길이)을 판단할 수 있다. 또는, 전자 장치는, 사용자가 "기--록"이라고 말한 경우, "기--록"의"기"가 유지되는 시간이 "기록"의 "기"가 유지되는 시간에 대비하여, 상대적으로 길다는 점에 기반하여, "기--록"의"기"의 속성(예: 길이)을 판단할 수 있다. 또는, 전자 장치는, "록"의 시간을 판단할 수 있다. 예를 들어, 전자 장치는, 사용자가 짧게 "기록"이라고 말하는 경우와, 사용자가 길게 "기로-옥"이라고 말한 경우를 구별할 수 있다. 시간을 예로 들어 음성 명령의 속성을 설명하였지만, 음성 명령의 속성은, 음성 명령의 높이 또는 억양 등 다양한 음성 명령의 속성 또는 그 조합을 이용할 수 있다.
동작 530에서, 전자 장치는, 음성 명령의 속성에 기반하여, 음성 명령에 대한 어플리케이션 또는 기능을 제공할 수 있다. 한 실시예에 따르면, 전자 장치는, 어플리케이션 또는 기능을 적어도 제 1 모드 또는 제 2 모드를 포함하는 복수의 모드들 중 하나의 모드로 제공할 수 있다. 예를 들면, 이미지 또는 비디오를 촬영하는 기능은, 한장 촬영, 연속 촬영 또는 동영상 촬영 등과 같은 복수의 모드(또는 기능)을 포함할 수 있다. 한 실시예에 따르면, 전자 장치는, 음성 명령(예: 기록)의 적어도 일부의 길이에 기반하여, 제 1 모드 또는 제 2 모드 중 하나의 모드로 제공할 수 있다. 예컨대, 전자 장치는, 지정된 시간보다 짧은 길이를 가지는"기록"이라는 음성 명령에 기반하여 한장 촬영 기능을 제공하거나, 지정된 시간보다 긴 길이를 가지는 "기로-옥"이라는 음성 명령에 기반하여 연속 촬영 기능을 제공할 수 있다.
도 6은 다양한 실시예들에 따른, 전자 장치(예: 전자 장치 101)가 음성 명령의 속성에 기반하여 기능을 제공하는 예 600 를 도시한다. 도 6을 참조하면, 전자 장치(예: 증강현실 모듈 170)은, 외부 오브젝트 650(예: 확대 가능한 정보, 지도 또는 사진)에 관련된 적어도 하나의 텍스트 640을 표시할 수 있다. 예를 들면, 적어도 하나의 텍스트 640은, 외부 오브젝트 650과 관련하여 제공하는 확대 기능에 대응하는 텍스트 643(예: "Closer") 및 축소 기능에 대응하는 텍스트 646(예: "Further")를 포함할 수 있다. 한 실시예에 따르면, 전자 장치는, 확대 기능에 대응하는 텍스트 643에 대응하고, 제 1 속성(예: 상대적으로 짧은 길이)을 가지는 음성 명령 613(예: "closer")을 획득하면, 확대 기능을 제 1 모드 623(예: 제 1 배율 또는 제 1 속도)에 기반하여 제공할 수 있다. 또는, 전자 장치는, 확대 기능에 대응하는 텍스트 643에 대응하고, 제 2 속성(예: 상대적으로 긴 길이)을 가지는 음성 명령 616(예: "cloooser")을 획득하면, 확대 기능을 제 2 모드 626(예: 제 2 배율 또는 제 2 속도)에 기반하여 제공할 수 있다.
도 7a 및 도 7b 은 다양한 실시예들에 따른, 전자 장치(예: 전자 장치 101)가 외부 오브젝트에 관련된 정보를 표시하는 예 701 및 예 702 를 각각 도시한다.
도 7a를 참조하면, 예 701에서, 전자 장치(예: 증강현실 모듈 170)는, 외부 오브젝트가 프로세서를 구비하여 기능을 제공하기 위한 외부 전자 장치 710(예: 스마트 폰)에 대응하는 경우, 외부 전자 장치에 관련된 정보에 기반하여 적어도 하나의 텍스트를 표시할 수 있다. 예를 들면, 전자 장치는, 외부 전자 장치 710에 관련된 정보를, 전자 장치와 기능적으로 연결된 메모리로부터 획득하거나, 통신 인터페이스(예: 통신 인터페이스 160)을 통하여 외부 전자 장치 710으로부터 획득할 수 있다. 전자 장치는, 외부 전자 장치 710에 관련된 정보에 기반하여, 외부 전자 장치 710에 관련된 어플리케이션 또는 기능에 대응하는 텍스트 720, 730, 740, 750 또는 760을 표시할 수 있다. 외부 전자 장치 710에 관련된 어플리케이션 또는 기능은, 일정, 달력, 상태 정보, 날씨, 시간, 메시지, 지도 또는 멀티미디어 기능 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 전자 장치는, 적어도 하나의 텍스트와 동시에, 외부 전자 장치 710에 관련된 어플리케이션 또는 기능에 관련된 이미지 725, 735, 745, 755 또는 765를 표시 할 수 있다.
도 7b를 참조하면, 예 702에서, 전자 장치는 예 701에 추가적으로 또는 대체적으로, 전자 장치에서 제공하는 어플리케이션 또는 기능에 대응하는 적어도 하나의 텍스트를 표시할 수 있다. 한 실시예에 따르면, 전자 장치는, 외부 오브젝트 715 가 시계인 경우에, 시계에 대응하여 전자 장치에서 제공하는 어플리케이션 또는 기능을 결정할 수 있다. 예를 들면, 전자 장치는, 사용자의 어플리케이션 또는 기능에 대한 사용 이력에 기반하여, 시계와 관련하여 사용 이력이 많은 어플리케이션 또는 기능을 표시하도록 결정할 수 있다. 전자 장치는, 결정된 어플리케이션 또는 기능에 대한 적어도 하나의 텍스트 720, 730 또는 770을 표시할 수 있다. 예를 들면, 전자 장치는, 시계에 대응하는 기능으로서, 전자 장치의 상태 정보, 달력, 날씨, 시계, 일정 또는 할일 중 적어도 하나에 대응하는 텍스트를 표시 할 수 있다. 한 실시예에 따르면, 외부 오브젝트 715는, 프로세서와 통신 모듈을 구비하여 전자 장치와 연결되어 기능을 제공하기 위한 외부 전자 장치(예: 스마트 워치)를 포함 할 수 있다. 한 실시예에 따르면, 전자 장치는, 적어도 하나의 텍스트와 동시에, 기능에 관련된 이미지 725, 735 또는 775 중 적어도 하나를 표시 할 수 있다.
도 8a 및 도 8b 은 다양한 실시예들에 따른, 전자 장치(예: 전자 장치 101)가 외부 오브젝트에 관련된 정보를 표시하는 예 801 및 예 802 를 각각 도시한다.
도 8a를 참조하면, 예 801에서, 전자 장치(예: 증강현실 모듈 170)는, 외부 오브젝트(예: 건물 또는 도로)에 관련된 적어도 하나의 텍스트 810, 820, 823, 830 또는 840을 표시할 수 있다. 한 실시예에 따르면, 전자 장치는, 전자 장치의 상태(예: 일반, 여행, 집, 쇼핑, 활동 또는 어플리케이션 등)에 대응하는 적어도 하나의 텍스트 810을 표시할 수 있다. 전자 장치는, 전자 장치의 상태에 대응하는 적어도 하나의 텍스트 810에 대응하는 음성 입력을 획득하면, 전자 장치의 상태를 변경할 수 있다. 또는, 전자 장치는, 전자 장치의 상태를 외부 오브젝트에 관련된 정보에 기반하여 자동으로 결정할 수 있다. 한 실시예에 따르면, 전자 장치는, 외부 오브젝트(예: 건물 또는 도로)에 관련된 정보(예: 위치 정보)에 기반하여, 외부 오브젝트에 연관된 정보를 획득하고, 텍스트 830 및 이미지 835 를 표시할 수 있다. 또한, 전자 장치는, 전자 장치의 상태에 기반하여, 버추얼 외부 오브젝트 845를 표시하고, 버추얼 외부 오브젝트 845에 관련된 기능(예: 카메라)에 대응하는 텍스트 840을 표시할 수 있다.
도 8b를 참조하면, 예 802에서, 전자 장치는, 예 801에 추가적으로 또는 대체적으로, 모션 입력에 기반하여, 외부 오브젝트에 관련된 어플리케이션 또는 기능을 제공할 수 있다. 예를 들면, 전자 장치는, 텍스트 830 또는 이미지 835에 관련된 모션 입력 850을 획득할 수 있다. 전자 장치는, 모션 입력 850에 기반하여, 텍스트 830 또는 이미지 835에 관련된 기능(예: 지도 또는 위치 기반 서비스)을 제공할 수 있다. 예컨대, 전자 장치는, 이미지 835가 표시되는 위치, 크기 또는 투명도 등을 달리하여 이미지 836을 제공할 수 있다. 또한, 전자 장치는, 텍스트 830에 추가적으로 또는 대체적으로, 텍스트 831을 표시할 수 있다. 예를 들면, 텍스트 831은, 텍스트 830 또는 이미지 836에 관련된 기능에 관련된 텍스트(예: 확대, 축소, 교통 정보, 길 안내, 주변 정보 또는 소셜 정보)를 포함할 수 있다. 한 실 시예에 따르면, 전자 장치는, 텍스트 830에 대응하는 음성 입력(예: "Map" 또는 "M")을 획득하면, 텍스트 831 또는 이미지 836 중 적어도 하나를 표시할 수 있다.
도 9는 다양한 실시예들에 따른, 전자 장치(예: 전자 장치 101)가 외부 오브젝트에 관련된 정보를 표시하는 예 900 를 도시한다. 도 9를 참조하면, 예 900에서, 전자 장치(예: 증강현실 모듈 170)는, 외부 오브젝트(예: 도로, 차량 또는 사람)에 관련된 적어도 하나의 텍스트 910, 920, 931, 941, 955 또는 960을 표시할 수 있다. 한 실시예에 따르면, 전자 장치는, 외부 오브젝트(예: 도로 또는 건물)에 관련된 정보(예: 텍스트 920 또는 이미지 925)를 표시할 수 있다. 예를 들면, 외부 오브젝트(예: 도로)에 관련된 정보는, 길 안내에 관련된 텍스트 920 또는 이미지 925 를 포함할 수 있다.
한 실시예에 따르면, 전자 장치는, 외부 오브젝트 930(예: 사람)에 관련된 정보(예: 텍스트 935, 941 또는 946)을 표시할 수 있다. 예를 들면, 전자 장치는, 외부 오브젝트 930에 관련된 정보로서, 전자 장치로부터 외부 오브젝트까지의 거리에 대응되는 정보 또는 외부 오브젝트의 속도 정보 중 적어도 하나(예: 텍스트 935)를 표시할 수 있다. 예컨대, 전자 장치는, 외부 오브젝트 930(예: 사람, 자동차 또는 자전거와 같은 탈 것)에 대한 거리에 대응되는 정보 또는 속도 정보를, 통신 인터페이스(예: BT 또는 WiFi)를 통하여, 외부 오브젝트 930에 대응하는 전자 장치(예: 사람이 휴대하는 전자 장치, 자동차 또는 자전거와 같은 탈 것에 장착된 전자 장치)부터 수신할 수 있다. 또는, 전자 장치는, 외부 오브젝트 930(예: 사람, 자동차 또는 자전거와 같은 탈 것)에 대한 거리에 대응되는 정보 또는 속도 정보를, 전자 장치에 기능적으로 연결된 센서 모듈(예: 적외선 센서 또는 가속도 센서) 또는 카메라 모듈을 통해서 획득할 수 있다. 예컨대, 전자 장치는, 외부 오브젝트 930와 전자 장치간의 거리에 대한 거리 정보를 센서 모듈(예: 적외선 센서) 또는 카메라 모듈을 통하여 획득할 수 있다. 전자 장치는, 지정된 시간 동안에 변화하는 거리 정보에 기반하여, 외부 오브젝트 930에 대한 속도 정보를 획득 할 수 있다. 또한, 추가적으로 또는 대체적으로, 전자 장치는, 전자 장치에 대응하는 제 1 속도를 센서 모듈(예: 가속도 센서) 또는 통신 인터페이스(예: GPS)를 통해서 획득할 수 있고, 제 1 속도에 기반하여 외부 오브젝트 930에 대한 제 2 속도를 결정할 수 있다.
한 실시예에 따르면, 전자 장치는, 외부 오브젝트와의 통신에 관련된 어플리케이션 또는 기능(예: 메신져 또는 음성 대화)에 관련된 텍스트 941 또는 946을 표시할 수 있다. 한 실시예에 따르면, 전자 장치는, 텍스트 941에 대응하는 음성 명령(예: "Chat On" 또는 "C On")을 획득하면, 음성 명령에 대응하는 어플리케이션 또는 기능으로서 텍스트 946을 표시할 수 있다. 예를 들면, 전자 장치는, 외부 오브젝트 930과 관련하여 획득된 텍스트(예: 메시지) 또는 오디오에 관련된 텍스트(예: "speech to text") 중 적어도 하나를 텍스트 946으로 표시할 수 있다. 또한, 전자 장치는, 텍스트 946에 대응하는 음성 명령(예: "Send Yes Cap" 또는 "Yes Cap Send")을 획득하면, 음성 명령에 대응하는 어플리케이션 또는 기능으로서, 메시지(예: "Yes Cap")를 외부 오브젝트 930에게 전송할 수 있다.
도 10은 다양한 실시예들에 따른, 전자 장치(예: 전자 장치 101)가 외부 오브젝트에 관련된 정보를 표시하는 예 1000 를 도시한다. 도 10을 참조하면, 예 1000에서, 전자 장치(예: 증강현실 모듈 170)는, 외부 오브젝트에 관련된 적어도 하나의 텍스트를 표시할 수 있다. 예를 들면, 전자 장치는, 리얼 외부 오브젝트(예: 컴퓨터 또는 TV)에 관련된 텍스트들 1020 및 1025를 표시할 수 있다. 또는 전자 장치는, 버추얼 외부 오브젝트(예: 이미지 파일 또는 비디오 파일)에 관련된 텍스트들 1031 내지 1035 를 표시할 수 있다. 한 실시예에 따르면, 전자 장치는, 버추얼 외부 오브젝트를 선택하기 위한 식별자(예: 숫자 또는 이름)를 포함하는 텍스트들 1031 내지 1035를 표시할 수 있다. 전자 장치는, 텍스트 1033 에 대응하는 음성 입력(예: "3" or "Three")을 획득하면, 음성 명령에 대응하는 버추얼 외부 오브젝트에 관련된 어플리케이션 또는 기능(예: 선택, 편집, 공유 또는 재생 등)을 제공할 수 있다.
다양한 실시예들에 따른, 방법은, 전자 장치(예: 전자 장치 101)에 대한 외부 오브젝트를 인식하는 동작 및 상기 전자 장치에 기능적으로 연결된 디스플레이(예: 디스플레이 150)를 통해, 상기 외부 오브젝트와 관련된 어플리케이션 또는 기능에 대응하는 음성 명령에 대응하는 적어도 하나의 텍스트를 표시하는 동작을 포함할 수 있다.
다양한 실시예들에 따른, 상기 인식하는 동작은, 상기 전자 장치에 기능적으로 연결된 근거리 통신 모듈, 센서 모듈 또는 카메라 모듈을 통해 획득된 정보에 기반하여, 상기 외부 오브젝트를 인식하는 동작을 포함할 수 있다. 또한, 다양한 실시예들에 따른, 상기 인식하는 동작은, 상기 전자 장치와 기능적으로 연결된 메모리 또는 상기 전자 장치에 대한 외부 장치(예: 서버) 중 적어도 하나로부터 상기 외부 오브젝트에 연관된 정보를 획득하는 동작 및 상기 연관된 정보에 기반하여, 상기 적어도 하나의 텍스트를 결정하는 동작을 더 포함할 수 있다.
다양한 실시예들에 따른, 상기 외부 오브젝트에 연관된 정보는 상기 적어도 하나의 텍스트, 상기 디스플레이 상에서 상기 적어도 하나의 텍스트가 표시될 위치, 표시될 크기, 표시될 색상, 상기 외부 오브젝트의 위치, 상기 외부 오브젝트와 연관된 이미지, 상기 어플리케이션 또는 기능 중 적어도 하나에 관한 정보를 포함할 수 있다.
다양한 실시예들에 따른, 상기 표시하는 동작은, 상기 적어도 하나의 텍스트의 적어도 일부로, 상기 외부 오브젝트에 대응하는 식별자를 표시하는 동작을 포함할 수 있다.
다양한 실시예들에 따른, 상기 표시하는 동작은, 상기 어플리케이션 또는 기능에 대응되며, 상기 적어도 하나의 텍스트의 적어도 일부에 기반하며, 상기 적어도 하나의 텍스트보다 짧은 길이를 갖는 단축 음성 명령을 표시하는 동작을 포함할 수 있다.
다양한 실시예들에 따른, 상기 인식하는 동작은, 상기 어플리케이션 또는 기능에 대응되며, 상기 음성 명령보다 적은 음절 수를 갖는, 적어도 하나의 텍스트에 대한 단축 음성 명령을 결정하는 동작을 포함할 수 있다.
다양한 실시예들에 따른, 상기 외부 오브젝트는, 적어도 제 1 외부 오브젝트 및 제 2 외부 오브젝트를 포함하는 복수의 외부 오브젝트들을 포함할 수 있다.
다양한 실시예들에 따른, 상기 표시하는 동작은, 상기 제 1 외부 오브젝트와 관련하여 표시될 제 1 텍스트와 상기 제 2 외부 오브젝트와 관련하여 표시될 제 2 텍스트가 동일한 경우에, 상기 제 1 텍스트에 추가하여 또는 상기 제 1 텍스트를 대체하여, 상기 제 1 외부 오브젝트와 관련된 텍스트로, 상기 제 1 텍스트와 상이한 제 3 텍스트를 표시하는 동작 또는 상기 제 2 텍스트에 추가하여 또는 상기 제 2 텍스트를 대체하여, 상기 제 2 외부 오브젝트와 관련된 텍스트로, 상기 제 2 텍스트와 상이한 제 4 텍스트를 표시하는 동작 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따른, 상기 방법은, 상기 적어도 하나의 텍스트는 제 1 텍스트 및 제 2 텍스트를 포함하고, 상기 표시하는 동작은, 상기 전자 장치의 상태가 제 1 상태인 경우에는, 제 1 텍스트를 표시하고, 상기 전자 장치의 상태가 제 2 상태인 경우에는, 제 2 텍스트를 표시하는 동작을 포함할 수 있다. 다양한 실시예에 따르면, 상기 외부 오브젝트는 버츄얼 오브젝트 또는 리얼 오브젝트 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따른, 상기 방법은, 상기 음성 명령을 획득하는 동작 및 상기 음성 명령에 반응하여, 상기 어플리케이션 또는 기능을 제공하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제공하는 동작은, 상기 어플리케이션 또는 기능을 적어도 제 1 모드 또는 제 2 모드를 포함하는 복수의 모드들 중 하나의 모드로 제공하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 하나의 모드로 제공하는 동작은, 상기 음성 명령의 적어도 일부의 속성에 기반하여, 상기 제 1 모드 또는 상기 제 2 모드 중 상기 속성에 대응하는 하나의 모드로 제공하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 하나의 모드로 제공하는 동작은, 상기 제 1 모드로 제공될 때, 상기 어플리케이션 또는 기능의 제공에 따라 상기 디스플레이에 표시될 정보를 제 1 배율 또는 제 1 속도로 확대 또는 축소하고, 상기 제 2 모드로 제공될 때, 상기 정보를 제 2 배율 또는 제 2 속도로 확대 또는 축소하는 동작을 포함할 수 있다.
도 11은 다양한 실시예들에 따른 전자 장치 1101의 블록도 1100를 도시한다. 상기 전자 장치 1101는, 예를 들면, 도 1에 도시된 전자 장치 101의 전체 또는 일부를 구성할 수 있다. 도 11을 참조하면, 상기 전자 장치 1101는 하나 이상의 어플리케이션 프로세서(AP: application processor) 1110, 통신 모듈 1120, SIM(subscriber identification module) 카드 1124, 메모리 1130, 센서 모듈 1140, 입력 장치 1150, 디스플레이 1160, 인터페이스 1170, 오디오 모듈 1180, 카메라 모듈 1191, 전력관리 모듈 1195, 배터리 1196, 인디케이터 1197 및 모터 1198 를 포함할 수 있다.
상기 AP 1110는 운영체제 또는 응용 프로그램을 구동하여 상기 AP 1110에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP 1110는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 상기 AP 1110는 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다. 한 실시예에 따르면, 상기 AP 1110은, 증강현실 모듈(예: 증강현실 모듈 170)을 제어할 수 있다.
상기 통신 모듈 1120(예: 상기 통신 인터페이스 160)은 상기 전자 장치 1101(예: 상기 전자 장치 101)와 네트워크를 통해 연결된 다른 전자 장치들(예: 전자 장치 104 또는 서버 106) 간의 통신에서 데이터 송수신을 수행할 수 있다. 한 실시예에 따르면, 상기 통신 모듈 1120은 셀룰러 모듈 1121, Wifi 모듈 1123, BT 모듈 1125, GPS 모듈 1127, NFC 모듈 1128 및 RF(radio frequency) 모듈 1129를 포함할 수 있다.
상기 셀룰러 모듈 1121은 통신망(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등)을 통해서 음성 통화, 영상 통화, 문자 서비스 또는 인터넷 서비스 등을 제공할 수 있다. 또한, 상기 셀룰러 모듈 1121은, 예를 들면, 가입자 식별 모듈(예: SIM 카드 1124)을 이용하여 통신 네트워크 내에서 전자 장치의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 상기 셀룰러 모듈 1121은 상기 AP 1110가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 예를 들면, 상기 셀룰러 모듈 1121은 멀티 미디어 제어 기능의 적어도 일부를 수행할 수 있다.
한 실시예에 따르면, 상기 셀룰러 모듈 1121은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다. 또한, 상기 셀룰러 모듈 1121은, 예를 들면, SoC로 구현될 수 있다. 도 8에서는 상기 셀룰러 모듈 1121(예: 커뮤니케이션 프로세서), 상기 메모리 1130 또는 상기 전력관리 모듈 1195 등의 구성요소들이 상기 AP 1110와 별개의 구성요소로 도시되어 있으나, 한 실시예에 따르면, 상기 AP 1110가 전술한 구성요소들의 적어도 일부(예: 셀룰러 모듈 1121)를 포함하도록 구현될 수 있다.
한 실시예에 따르면, 상기 AP 1110 또는 상기 셀룰러 모듈 1121(예: 커뮤니케이션 프로세서)은 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 상기 AP 1110 또는 상기 셀룰러 모듈 1121은 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
상기 Wifi 모듈 1123, 상기 BT 모듈 1125, 상기 GPS 모듈 1127 또는 상기 NFC 모듈 1128 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 도 11에서는 셀룰러 모듈 1121, Wifi 모듈 1123, BT 모듈 1125, GPS 모듈 1127 또는 NFC 모듈 1128이 각각 별개의 블록으로 도시되었으나, 한 실시예에 따르면, 셀룰러 모듈 1121, Wifi 모듈 1123, BT 모듈 1125, GPS 모듈 1127 또는 NFC 모듈 1128 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. 예를 들면, 셀룰러 모듈 1121, Wifi 모듈 1123, BT 모듈 1125, GPS 모듈 1127 또는 NFC 모듈 1128 각각에 대응하는 프로세서들 중 적어도 일부(예: 셀룰러 모듈 1121에 대응하는 커뮤니케이션 프로세서 및 Wifi 모듈 1123에 대응하는 Wifi 프로세서)는 하나의 SoC로 구현될 수 있다.
상기 RF 모듈 1129는 데이터의 송수신, 예를 들면, RF 신호의 송수신을 할 수 있다. 상기 RF 모듈 1129는, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, 상기 RF 모듈 1129는 무선 통신에서 자유 공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다. 도 11에서는 셀룰러 모듈 1121, Wifi 모듈 1123, BT 모듈 1125, GPS 모듈 1127 및 NFC 모듈 1128이 하나의 RF 모듈 1129을 서로 공유하는 것으로 도시되어 있으나, 한 실시예에 따르면, 셀룰러 모듈 1121, Wifi 모듈 1123, BT 모듈 1125, GPS 모듈 1127 또는 NFC 모듈 1128 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호의 송수신을 수행할 수 있다.
상기 SIM 카드 1124는 가입자 식별 모듈을 포함하는 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. 상기 SIM 카드 1124는 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
상기 메모리 1130(예: 상기 메모리 130)는 내장 메모리 1132 또는 외장 메모리 1134를 포함할 수 있다. 상기 내장 메모리 1132는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다.
한 실시예에 따르면, 상기 내장 메모리 1132는 Solid State Drive (SSD)일 수 있다. 상기 외장 메모리 1134는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 Memory Stick 등을 더 포함할 수 있다. 상기 외장 메모리 1134는 다양한 인터페이스를 통하여 상기 전자 장치 1101과 기능적으로 연결될 수 있다. 한 실시예에 따르면, 상기 전자 장치 1101는 하드 드라이브와 같은 저장 장치(또는 저장 매체)를 더 포함할 수 있다.
상기 센서 모듈 1140은 물리량을 계측하거나 전자 장치 1101의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 상기 센서 모듈 1140은, 예를 들면, 제스처 센서 1140A, 자이로 센서 1140B, 기압 센서 1140C, 마그네틱 센서 1140D, 가속도 센서 1140E, 그립 센서 1140F, 근접 센서 1140G, color 센서 1140H(예: RGB(red, green, blue) 센서), 생체 센서 1140I, 온/습도 센서 1140J, 조도 센서 1140K 또는 UV(ultra violet) 센서 1140M 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 센서 모듈 1140은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시), IR(infra-red) 센서(미도시), 홍채 센서(미도시) 또는 지문 센서(미도시) 등을 포함할 수 있다. 상기 센서 모듈 1140은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 입력 장치 1150은 터치 패널(touch panel) 1152, (디지털) 펜 센서(pen sensor) 1154, 키(key) 1156 또는 초음파(ultrasonic) 입력 장치 1158를 포함할 수 있다. 상기 터치 패널 1152은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 상기 터치 패널 1152은 제어 회로를 더 포함할 수도 있다. 정전식의 경우, 물리적 접촉 또는 근접 인식이 가능하다. 상기 터치 패널 1152은 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 상기 터치 패널 1152은 사용자에게 촉각 반응을 제공할 수 있다.
상기 (디지털) 펜 센서 1154는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 상기 키 1156는, 예를 들면, 물리적인 버튼, 광학식 키 또는 키패드를 포함할 수 있다. 상기 초음파(ultrasonic) 입력 장치 1158는 초음파 신호를 발생하는 입력 도구를 통해, 전자 장치 1101에서 마이크(예: 마이크 1188)로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 한 실시예에 따르면, 상기 전자 장치 1101는 상기 통신 모듈 1120를 이용하여 이와 연결된 외부 장치(예: 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.
상기 디스플레이 1160(예: 상기 디스플레이 150)은 패널 1162, 홀로그램 장치 1164 또는 프로젝터 1166을 포함할 수 있다. 상기 패널 1162은, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 상기 패널 1162은, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 상기 패널 1162은 상기 터치 패널 1152과 하나의 모듈로 구성될 수도 있다. 상기 홀로그램 장치 1164은 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 상기 프로젝터 1166는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 상기 스크린은, 예를 들면, 상기 전자 장치 1101의 내부 또는 외부에 위치할 수 있다. 한 실시예에 따르면, 상기 디스플레이 1160은 상기 패널 1162, 상기 홀로그램 장치 1164, 또는 프로젝터 1166를 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 인터페이스 1170는, 예를 들면, HDMI(high-definition multimedia interface) 1172, USB(universal serial bus) 1174, 광 인터페이스(optical interface) 1176 또는 D-sub(D-subminiature) 1178를 포함할 수 있다. 상기 인터페이스 1170는, 예를 들면, 도 1에 도시된 통신 인터페이스 160에 포함될 수 있다. 추가적으로 또는 대체적으로, 상기 인터페이스 1170는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure Digital) 카드/MMC(multi-media card) 인터페이스 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
상기 오디오 모듈 1180은 소리(sound)와 전기신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 모듈 1180의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스 140에 포함될 수 있다. 상기 오디오 모듈 1180은, 예를 들면, 스피커 1182, 리시버 1184, 이어폰 1186 또는 마이크 1188 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
상기 카메라 모듈 1191은 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈(미도시), ISP(image signal processor, 미도시) 또는 플래쉬(flash, 미도시)(예: LED 또는 xenon lamp)를 포함할 수 있다.
상기 전력 관리 모듈 1195은 상기 전자 장치 1101의 전력을 관리할 수 있다. 도시하지는 않았으나, 상기 전력 관리 모듈 1195은, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다.
상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 상기 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 한 실시예에 따르면, 상기 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로 또는 정류기 등의 회로가 추가될 수 있다.
상기 배터리 게이지는, 예를 들면, 상기 배터리 1196의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 상기 배터리 1196는 전기를 저장 또는 생성할 수 있고, 그 저장 또는 생성된 전기를 이용하여 상기 전자 장치 1101에 전원을 공급할 수 있다. 상기 배터리 1196는, 예를 들면, 충전식 전지(rechargeable battery) 또는 태양 전지(solar battery)를 포함할 수 있다.
상기 인디케이터 1197는 상기 전자 장치 1101 혹은 그 일부(예: 상기 AP 1110)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 상기 모터 1198는 전기적 신호를 기계적 진동으로 변환할 수 있다. 도시되지는 않았으나, 상기 전자 장치 1101는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 상기 모바일 TV지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 발명의 다양한 실시예들에 따른 전자 장치의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 발명의 다양한 실시예들에 따른 전자 장치는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 발명의 다양한 실시예들에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
도 12은 다양한 실시예들에 따른 복수의 전자 장치들(예: 전자 장치 1210 및 전자 장치 1230) 사이의 통신 프로토콜 1200을 도시한다. 도 12을 참조하면, 예를 들어, 상기 통신 프로토콜 1200은, 장치 발견 프로토콜(device discovery protocol) 1251, 기능 교환 프로토콜(capability exchange protocol) 1253, 네트워크 프로토콜(network protocol) 1255 및 어플리케이션 프로토콜(application protocol) 1257 등을 포함할 수 있다.
한 실시예에 따르면, 상기 장치 발견 프로토콜 1251은 전자 장치들(예: 전자 장치 1210 또는 전자 장치 1230)이 자신과 통신 가능한 외부 전자 장치를 감지하거나 감지된 외부 전자 장치와 연결하기 위한 프로토콜일 수 있다. 예를 들어, 전자 장치 1210(예: 전자 장치 101)은, 상기 장치 발견 프로토콜 1251을 이용하여, 상기 전자 장치 1210에서 사용 가능한 통신 방법(예: Wifi, BT 또는 USB 등)을 통해, 상기 전자 장치 1210와 통신 가능한 기기(device)로, 전자 장치 1230(예: 전자 장치 104)를 감지할 수 있다. 상기 전자 장치 1210는, 상기 전자 장치 1230과의 통신 연결을 위해, 상기 장치 발견 프로토콜 1251을 이용하여, 감지된 전자 장치 1230에 대한 식별 정보를 획득하여 저장할 수 있다. 상기 전자 장치 1210는, 예를 들면, 적어도 상기 식별 정보에 기반하여, 상기 전자 장치 1230와의 통신 연결을 개설할 수 있다. 한 실시예에 따르면, 상기 전자 장치 1210은, 상기 장치 발견 프로토콜 1251을 통하여, 상기 전자 장치 1210에 대한 외부 오브젝트를 인식할 수 있다.
어떤 실시예에 따르면, 상기 장치 발견 프로토콜 1251은 복수의 전자 장치들 사이에서 상호 인증을 하기 위한 프로토콜일 수 있다. 예를 들어, 전자 장치 1210는 적어도 전자 장치 1230와 연결을 위한 통신 정보(예: MAC(media access control) address, UUID(universally unique identifier), SSID(subsystem identification), IP(internet protocol) address)에 기반하여, 상기 전자 장치 1210와 상기 전자 장치 1230 간의 인증을 수행할 수 있다.
한 실시예에 따르면, 상기 기능 교환 프로토콜 1253은 전자 장치 1210 또는 전자 장치 1230 중 적어도 하나에서 지원 가능한 서비스의 기능과 관련된 정보를 교환하기 위한 프로토콜일 수 있다. 예를 들어, 전자 장치 1210 및 전자 장치 1230은 상기 기능 교환 프로토콜 1253을 통하여, 각각이 현재 제공하고 있는 서비스의 기능과 관련된 정보를 서로 교환할 수 있다. 교환 가능한 정보는 전자 장치 310 및 전자 장치 320에서 지원 가능한 복수의 서비스들 중에서 특정 서비스를 가리키는 식별 정보를 포함할 수 있다. 예를 들어, 전자 장치 1210는 상기 기능 교환 프로토콜 333을 통해 전자 장치 1230로부터 상기 전자 장치 1230가 제공하는 특정 서비스의 식별 정보를 수신할 수 있다. 이 경우, 전자 장치 1210는 상기 수신된 식별 정보에 기반하여, 상기 전자 장치 1210이 상기 특정 서비스를 지원할 수 있는지 여부를 판단할 수 있다. 한 실시예에 따르면, 상기 전자 장치 1210(예: 증강현실 모듈 170)은, 상기 기능 교환 프로토콜 1253을 통하여, 상기 전자 장치 1210에 대한 외부 오브젝트에 관련된 어플리케이션 또는 기능에 대한 정보를 획득할 수 있다.
한 실시예에 따르면, 상기 네트워크 프로토콜 1255은 통신이 가능하도록 연결된 전자 장치들(예: 전자 장치 1210, 전자 장치 1230) 간에, 예컨대, 서비스를 연동하여 제공하기 위하여 송수신 되는, 데이터 흐름을 제어하기 위한 프로토콜일 수 있다. 예를 들어, 전자 장치 1210 또는 전자 장치 1230 중 적어도 하나는 상기 네트워크 프로토콜 1255을 이용하여, 오류 제어, 또는 데이터 품질 제어 등을 수행할 수 있다. 추가적으로 또는 대체적으로, 상기 네트워크 프로토콜 1255은 전자 장치 1210와 전자 장치 1230 사이에서 송수신되는 데이터의 전송 포맷을 결정할 수 있다. 또한, 전자 장치 1210 또는 전자 장치 1230 중 적어도 하나는 상기 네트워크 프로토콜 1255를 이용하여 상호간의 데이터 교환을 위한 적어도 세션(session)을 관리(예: 세션 연결 또는 세션 종료)할 수 있다.
한 실시예에 따르면, 상기 어플리케이션 프로토콜 1257은 외부 전자 장치로 제공되는 서비스와 관련된 데이터를 교환하기 위한, 절차 또는 정보를 제공하기 위한 프로토콜일 수 있다. 예를 들어, 전자 장치 1210(예: 전자 장치 101)은 상기 어플리케이션 프로토콜 1257을 통해 전자 장치 1230(예: 전자 장치 104 또는 서버 106)로 서비스를 제공할 수 있다.
한 실시예에 따르면, 상기 통신 프로토콜 1200은 표준 통신 프로토콜, 개인 또는 단체에서 지정한 통신 프로토콜(예: 통신 장치 제조 업체 또는 네트워크 공급 업체 등에서 자체적으로 지정한 통신 프로토콜) 또는 이들의 조합을 포함할 수 있다.
본 발명의 다양한 실시예들에 사용된 용어 "모듈"은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 발명의 다양한 실시예들에 따른 "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 본 발명의 다양한 실시예들에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 프로세서 (예: 상기 프로세서 122)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리 130가 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 상기 프로세서210에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈 의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 발명의 다양한 실시예들에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명의 다양한 실시예들에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
다양한 실시예들에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 전자 장치에 대한 외부 오브젝트를 인식하는 동작, 상기 전자 장치에 기능적으로 연결된 디스플레이를 통해, 상기 외부 오브젝트와 관련된 적어도 하나의 텍스트를 표시하는 동작, 상기 적어도 하나의 텍스트에 대응하는 음성 명령을 획득하는 동작 및 상기 음성 명령에 반응하여, 상기 음성 명령에 대응하는 어플리케이션 또는 기능을 제공하는 동작을 포함할 수 있다.
그리고 본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 실시예에 따른 의 기술 내용을 쉽게 설명하고 본 발명의 실시예의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 실시예의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 다양한 실시예의 범위는 여기에 개시된 실시예들 이외에도 본 발명의 다양한 실시예의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실시예의 범위에 포함되는 것으로 해석되어야 한다.
101, 201: 전자 장치 210: 표시 모듈
230: 인식 모듈 250: 입력 모듈
170, 270: 증강현실 모듈

Claims (20)

  1. 전자 장치를 동작하는 방법에 있어서,
    전자 장치를 이용하여 외부 오브젝트를 인식하는 동작; 및
    상기 전자 장치에 기능적으로 연결된 디스플레이를 통해, 상기 외부 오브젝트와 관련된 어플리케이션 또는 기능에 대응하는 음성 명령에 대응하는 적어도 하나의 텍스트를 표시하는 동작을 포함하고,
    상기 표시하는 동작은, 제 1 외부 오브젝트와 관련하여 표시될 제 1 텍스트와 제 2 외부 오브젝트와 관련하여 표시될 제 2 텍스트가 동일한 경우,
    상기 제 1 텍스트에 추가하여 또는 상기 제 1 텍스트를 대체하여, 상기 제 1 외부 오브젝트와 관련된 텍스트로, 상기 제 1 텍스트와 상이한 제 3 텍스트를 표시하는 동작; 및
    상기 제 2 텍스트에 추가하여 또는 상기 제 2 텍스트를 대체하여, 상기 제 2 외부 오브젝트와 관련된 텍스트로, 상기 제 2 텍스트와 상이한 제 4 텍스트를 표시하는 동작 중 적어도 하나를 포함하는 방법.
  2. 제 1 항에 있어서, 상기 인식하는 동작은,
    상기 전자 장치에 기능적으로 연결된 근거리 통신 모듈, 센서 모듈 또는 카메라 모듈을 통해 획득된 정보에 기반하여, 상기 외부 오브젝트를 인식하는 동작을 포함하는 방법.
  3. 제 1 항에 있어서, 상기 인식하는 동작은,
    상기 전자 장치와 기능적으로 연결된 메모리 또는 상기 전자 장치에 대한 외부 장치 중 적어도 하나로부터 상기 외부 오브젝트에 연관된 정보를 획득하는 동작; 및
    상기 연관된 정보에 기반하여, 상기 적어도 하나의 텍스트를 결정하는 동작을 더 포함하는 방법.
  4. 제 3 항에 있어서, 상기 외부 오브젝트에 연관된 정보는,
    상기 적어도 하나의 텍스트, 상기 디스플레이 상에서 상기 적어도 하나의 텍스트가 표시될 위치, 표시될 크기, 표시될 색상, 상기 외부 오브젝트의 위치, 상기 외부 오브젝트와 연관된 이미지, 상기 어플리케이션 또는 기능 중 적어도 하나에 관한 정보를 포함하는 방법.
  5. 제 1 항에 있어서, 상기 표시하는 동작은,
    상기 적어도 하나의 텍스트의 적어도 일부로, 상기 외부 오브젝트에 대응하는 식별자를 표시하는 동작을 포함하는 방법.
  6. 전자 장치를 동작하는 방법에 있어서,
    전자 장치를 이용하여 외부 오브젝트를 인식하는 동작; 및
    상기 전자 장치에 기능적으로 연결된 디스플레이를 통해, 상기 외부 오브젝트와 관련된 어플리케이션 또는 기능에 대응하는 음성 명령에 대응하는 적어도 하나의 텍스트를 표시하는 동작을 포함하고,
    상기 표시하는 동작은,
    상기 어플리케이션 또는 기능에 대응되며, 상기 적어도 하나의 텍스트의 적어도 일부에 기반하며, 상기 적어도 하나의 텍스트보다 짧은 길이를 갖는 단축 음성 명령을 표시하는 동작을 포함하는 방법.
  7. 제 1 항에 있어서, 상기 인식하는 동작은,
    상기 어플리케이션 또는 기능에 대응되며, 상기 음성 명령보다 적은 음절 수를 갖는, 적어도 하나의 텍스트에 대한 단축 음성 명령을 결정하는 동작을 포함하는 방법.
  8. 삭제
  9. 삭제
  10. 전자 장치를 동작하는 방법에 있어서,
    전자 장치를 이용하여 외부 오브젝트를 인식하는 동작; 및
    상기 전자 장치에 기능적으로 연결된 디스플레이를 통해, 상기 외부 오브젝트와 관련된 어플리케이션 또는 기능에 대응하는 음성 명령에 대응하는 적어도 하나의 텍스트를 표시하는 동작을 포함하고,
    상기 적어도 하나의 텍스트는 제 1 텍스트 및 제 2 텍스트를 포함하고,
    상기 표시하는 동작은,
    상기 전자 장치의 상태가 제 1 상태인 경우에는, 제 1 텍스트를 표시하고, 상기 전자 장치의 상태가 제 2 상태인 경우에는, 제 2 텍스트 를 표시하는 동작을 포함하는 방법.
  11. 제 1 항에 있어서, 상기 외부 오브젝트는 버츄얼 오브젝트 또는 리얼 오브젝트 중 적어도 하나를 포함하는 방법.
  12. 제 1 항에 있어서,
    상기 음성 명령을 획득하는 동작; 및
    상기 음성 명령에 반응하여, 상기 어플리케이션 또는 기능을 제공하는 동작을 포함하는 방법.
  13. 제 12 항에 있어서, 상기 제공하는 동작은,
    상기 어플리케이션 또는 기능을 적어도 제 1 모드 또는 제 2 모드를 포함하는 복수의 모드들 중 하나의 모드로 제공하는 동작을 포함하는 방법.
  14. 제 13 항에 있어서, 상기 하나의 모드로 제공하는 동작은,
    상기 음성 명령의 적어도 일부의 속성에 기반하여, 상기 제 1 모드 또는 상기 제 2 모드 중 상기 속성에 대응하는 하나의 모드로 제공하는 동작을 포함하는 방법.
  15. 제 13 항에 있어서, 상기 하나의 모드로 제공하는 동작은,
    상기 제 1 모드로 제공될 때, 상기 어플리케이션 또는 기능의 제공에 따라 상기 디스플레이에 표시될 정보를 제 1 배율 또는 제 1 속도로 확대 또는 축소하고, 상기 제 2 모드로 제공될 때, 상기 정보를 제 2 배율 또는 제 2 속도로 확대 또는 축소하는 동작을 포함하는 방법.
  16. 전자 장치에 있어서,
    디스플레이;
    상기 디스플레이에 기능적으로 연결된 프로세서; 및
    상기 프로세서에 기능적으로 연결된 메모리를 포함하고,
    상기 메모리는, 실행될 때, 상기 프로세서가:
    상기 전자 장치를 이용하여 외부 오브젝트를 인식하고,
    상기 디스플레이를 통해, 상기 외부 오브젝트와 관련된 어플리케이션 또는 기능에 대응하는 음성 명령에 대응하는 적어도 하나의 텍스트를 표시하도록 하는 인스트럭션들(instructions)을 저장하고,
    상기 인스트럭션들은 상기 프로세서가, 제 1 외부 오브젝트와 관련하여 표시될 제 1 텍스트와 제 2 외부 오브젝트와 관련하여 표시될 제 2 텍스트가 동일한 경우,
    상기 제 1 텍스트에 추가하여 또는 상기 제 1 텍스트를 대체하여, 상기 제 1 외부 오브젝트와 관련된 텍스트로, 상기 제 1 텍스트와 상이한 제 3 텍스트를 표시하는 동작; 및
    상기 제 2 텍스트에 추가하여 또는 상기 제 2 텍스트를 대체하여, 상기 제 2 외부 오브젝트와 관련된 텍스트로, 상기 제 2 텍스트와 상이한 제 4 텍스트를 표시하는 동작 중 적어도 하나를 수행하도록 하는 전자 장치.
  17. 제 16 항에 있어서,
    상기 전자 장치는 통신 모듈을 포함하고,
    상기 인스트럭션들은 상기 프로세서가,
    상기 외부 오브젝트가 프로세서를 구비하여 기능을 제공하기 위한 외부 전자 장치에 대응하는 경우,
    상기 외부 전자 장치에 관련된 정보를 상기 통신 모듈을 통해 연결된 상기 외부 전자 장치 또는 적어도 하나의 외부 전자 장치 중 적어도 하나로부터 상기 외부 오브젝트에 관련된 정보를 획득하고,
    상기 관련된 정보에 기반하여, 상기 적어도 하나의 텍스트를 결정하도록 하는 전자 장치.
  18. 제 16 항에 있어서, 상기 인스트럭션들은 상기 프로세서가,
    상기 음성 명령의 적어도 일부의 속성이 제 1 속성이면, 상기 어플리케이션 또는 기능을 제 1 모드로 제공하고,
    상기 음성 명령의 적어도 일부의 속성이 제 2 속성이면, 상기 어플리케이션 또는 기능을 제 2 모드로 제공하도록 하는 전자 장치.
  19. 제 16 항에 있어서, 상기 인스트럭션들은 상기 프로세서가,
    상기 외부 오브젝트가 제 1 외부 오브젝트 및 제 2 외부 오브젝트를 포함하는 경우,
    상기 제 1 외부 오브젝트와 관련하여 표시될 제 1 텍스트와 상기 제 2 외부 오브젝트와 관련하여 표시될 제 2 텍스트가 동일한 경우에,
    상기 제 1 텍스트에 추가하여 또는 상기 제 1 텍스트를 대체하여, 상기 제 1 외부 오브젝트와 관련된 텍스트로, 상기 제 1 텍스트와 상이한 제 3 텍스트를 표시하도록 하는 전자 장치.
  20. 전자 장치의 프로세서로 판독 가능한 인스트럭션들(instructions)을 저장하는 기록 매체에 있어서, 상기 인스트럭션들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서가:
    상기 전자 장치를 이용하여 외부 오브젝트를 인식하는 동작; 및
    상기 전자 장치에 기능적으로 연결된 디스플레이를 통해, 상기 외부 오브젝트와 관련된 어플리케이션 또는 기능에 대응하는 음성 명령에 대응하는 적어도 하나의 텍스트를 표시하는 동작을 포함하고,
    상기 표시하는 동작은, 제 1 외부 오브젝트와 관련하여 표시될 제 1 텍스트와 제 2 외부 오브젝트와 관련하여 표시될 제 2 텍스트가 동일한 경우,
    상기 제 1 텍스트에 추가하여 또는 상기 제 1 텍스트를 대체하여, 상기 제 1 외부 오브젝트와 관련된 텍스트로, 상기 제 1 텍스트와 상이한 제 3 텍스트를 표시하는 동작; 및
    상기 제 2 텍스트에 추가하여 또는 상기 제 2 텍스트를 대체하여, 상기 제 2 외부 오브젝트와 관련된 텍스트로, 상기 제 2 텍스트와 상이한 제 4 텍스트를 표시하는 동작 중 적어도 하나를 포함하는 기록 매체.
KR1020140052923A 2014-04-30 2014-04-30 음성 명령 제공 방법 및 장치 KR102248474B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140052923A KR102248474B1 (ko) 2014-04-30 2014-04-30 음성 명령 제공 방법 및 장치
US14/692,228 US20150317837A1 (en) 2014-04-30 2015-04-21 Command displaying method and command displaying device
PCT/KR2015/003949 WO2015167160A1 (en) 2014-04-30 2015-04-21 Command displaying method and command displaying device
EP15165531.3A EP2940556B1 (en) 2014-04-30 2015-04-28 Command displaying method and command displaying device
US16/447,029 US20190318545A1 (en) 2014-04-30 2019-06-20 Command displaying method and command displaying device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140052923A KR102248474B1 (ko) 2014-04-30 2014-04-30 음성 명령 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150125472A KR20150125472A (ko) 2015-11-09
KR102248474B1 true KR102248474B1 (ko) 2021-05-07

Family

ID=53174798

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140052923A KR102248474B1 (ko) 2014-04-30 2014-04-30 음성 명령 제공 방법 및 장치

Country Status (4)

Country Link
US (2) US20150317837A1 (ko)
EP (1) EP2940556B1 (ko)
KR (1) KR102248474B1 (ko)
WO (1) WO2015167160A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024096267A1 (ko) * 2022-11-01 2024-05-10 삼성전자주식회사 외부 객체를 추적하여 획득된 정보에 기반하여 어플리케이션을 실행하기 위한 웨어러블 장치 및 그 방법

Families Citing this family (164)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10481860B2 (en) * 2009-02-02 2019-11-19 Gregory Walker Johnson Solar tablet verbal
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10451874B2 (en) * 2013-09-25 2019-10-22 Seiko Epson Corporation Image display device, method of controlling image display device, computer program, and image display system
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
KR102481486B1 (ko) 2015-12-04 2022-12-27 삼성전자주식회사 오디오 제공 방법 및 그 장치
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
CN107025037B (zh) * 2016-02-02 2020-06-02 腾讯科技（深圳）有限公司 一种智能设备的控制方法及装置
KR20170100309A (ko) 2016-02-25 2017-09-04 삼성전자주식회사 음성 인식 제어를 제공하는 전자 장치 및 그 동작 방법
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
KR20190100428A (ko) * 2016-07-19 2019-08-28 게이트박스 가부시키가이샤 화상 표시장치, 화제 선택 방법, 화제 선택 프로그램, 화상 표시 방법 및 화상 표시 프로그램
EP3276327B1 (en) 2016-07-29 2019-10-02 Essilor International Method for virtual testing of at least one lens having a predetermined optical feature and associated device
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
KR101894928B1 (ko) * 2017-02-14 2018-09-05 (주)스톤아이 방문 횟수를 이용한 보너스 정산 시스템의 보너스 금액 산출 장치 및 방법
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10449440B2 (en) * 2017-06-30 2019-10-22 Electronic Arts Inc. Interactive voice-controlled companion application for a video game
US11423879B2 (en) * 2017-07-18 2022-08-23 Disney Enterprises, Inc. Verbal cues for high-speed control of a voice-enabled device
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
CN114924651A (zh) * 2017-09-29 2022-08-19 苹果公司 基于注视的用户交互
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
JP7155294B2 (ja) * 2018-05-07 2022-10-18 グーグル エルエルシー 接続デバイスを制御するための合成グラフィカルアシスタントインターフェースを提供するための方法、システムおよび装置
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
CN112041788B (zh) 2018-05-09 2024-05-03 苹果公司 使用眼睛注视来选择文本输入字段
US11169668B2 (en) 2018-05-16 2021-11-09 Google Llc Selecting an input mode for a virtual assistant
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11527044B2 (en) 2018-06-27 2022-12-13 Samsung Electronics Co., Ltd. System and method for augmented reality
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11189054B2 (en) * 2018-09-28 2021-11-30 Apple Inc. Localization and mapping using images from multiple devices
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
KR20210038782A (ko) * 2019-09-30 2021-04-08 삼성디스플레이 주식회사 전자 장치
US11615715B2 (en) * 2020-04-17 2023-03-28 Disney Enterprises, Inc. Systems and methods to improve brushing behavior
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11372518B2 (en) * 2020-06-03 2022-06-28 Capital One Services, Llc Systems and methods for augmented or mixed reality writing
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US20220284905A1 (en) * 2021-03-05 2022-09-08 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
CN113031781A (zh) * 2021-04-16 2021-06-25 深圳市慧鲤科技有限公司 增强现实资源显示方法及装置、电子设备和存储介质
US11735138B2 (en) * 2021-04-22 2023-08-22 GM Global Technology Operations LLC Dual image plane HUD with automated illuminance setting for AR graphics displayed in far virtual image plane
US20230245408A1 (en) * 2022-02-02 2023-08-03 Varjo Technologies Oy Systems and methods for visually indicating stale content in environment model

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070200658A1 (en) * 2006-01-06 2007-08-30 Samsung Electronics Co., Ltd. Apparatus and method for transmitting control commands in home network system

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7155305B2 (en) * 2003-11-04 2006-12-26 Universal Electronics Inc. System and methods for home appliance identification and control in a networked environment
DE102004002010B4 (de) * 2004-01-14 2006-03-16 Siemens Ag Anordnung zur Sprachbedienung eines elektronischen Gerätes, insbesondere in einem Kraftfahrzeug
KR101513615B1 (ko) * 2008-06-12 2015-04-20 엘지전자 주식회사 이동 단말기 및 그 음성 인식 방법
US20120194551A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user-action based command and control of external devices
KR101324336B1 (ko) * 2010-12-28 2013-10-31 주식회사 팬택 증강 현실 제공 단말기
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US8468022B2 (en) * 2011-09-30 2013-06-18 Google Inc. Voice control for asynchronous notifications
KR101880240B1 (ko) * 2011-12-28 2018-07-23 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 이동 단말기 및 그 동작 제어 방법
KR101401961B1 (ko) * 2012-05-01 2014-06-02 주식회사 라임페이퍼 증강현실 컨텐츠 공유시스템 및 방법
US20130335541A1 (en) * 2012-06-19 2013-12-19 Michael Hernandez Method and mobile device for video or picture signing of transactions, tasks/duties, services, or deliveries
US9092774B2 (en) * 2012-09-14 2015-07-28 William BECOREST Augmented reality messaging system and method based on multi-factor recognition
US9020825B1 (en) * 2012-09-25 2015-04-28 Rawles Llc Voice gestures
US9190074B1 (en) * 2013-01-30 2015-11-17 Google Inc. Multi-level voice menu
US9791921B2 (en) * 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
US9134952B2 (en) * 2013-04-03 2015-09-15 Lg Electronics Inc. Terminal and control method thereof
US9870357B2 (en) * 2013-10-28 2018-01-16 Microsoft Technology Licensing, Llc Techniques for translating text via wearable computing device
US10235567B2 (en) * 2014-05-15 2019-03-19 Fenwal, Inc. Head mounted display device for use in a medical facility

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070200658A1 (en) * 2006-01-06 2007-08-30 Samsung Electronics Co., Ltd. Apparatus and method for transmitting control commands in home network system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024096267A1 (ko) * 2022-11-01 2024-05-10 삼성전자주식회사 외부 객체를 추적하여 획득된 정보에 기반하여 어플리케이션을 실행하기 위한 웨어러블 장치 및 그 방법

Also Published As

Publication number Publication date
WO2015167160A1 (en) 2015-11-05
EP2940556A1 (en) 2015-11-04
US20190318545A1 (en) 2019-10-17
KR20150125472A (ko) 2015-11-09
US20150317837A1 (en) 2015-11-05
EP2940556B1 (en) 2022-06-08

Similar Documents

Publication Publication Date Title
KR102248474B1 (ko) 음성 명령 제공 방법 및 장치
US11120630B2 (en) Virtual environment for sharing information
CN106060378B (zh) 用于设置拍摄模块的装置和方法
US10484673B2 (en) Wearable device and method for providing augmented reality information
US10402625B2 (en) Intelligent electronic device and method of operating the same
CN106055300B (zh) 用于控制声音输出的方法及其电子设备
KR102178892B1 (ko) 정보 제공 방법 및 그 전자 장치
US9804762B2 (en) Method of displaying for user interface effect and electronic device thereof
KR20150111632A (ko) 지문 인식 방법 및 그 전자 장치
KR20150135837A (ko) 디스플레이 운용 전자장치 및 방법
US10606398B2 (en) Method and apparatus for generating preview data
KR20160055337A (ko) 텍스트 표시 방법 및 그 전자 장치
US9905050B2 (en) Method of processing image and electronic device thereof
US10582156B2 (en) Electronic device for performing video call and computer-readable recording medium
US10032260B2 (en) Inverse distortion rendering method based on a predicted number of surfaces in image data
KR20150086150A (ko) 사용자 인터페이스 제어 방법 및 장치
KR20160004712A (ko) 비인가 주파수 대역에서 무선 통신하는 방법 및 이를 구현하는 전자장치
US9628716B2 (en) Method for detecting content based on recognition area and electronic device thereof
KR20150125338A (ko) 텍스트 입력 제어 방법 및 그 전자 장치
KR20160014360A (ko) 전자 장치, 서버 및 전자 장치에서의 스캔 동작 방법
KR20150128302A (ko) 전자 장치 및 그 연동 방법
KR20160001166A (ko) 알람모드를 전환하는 전자장치 및 방법
KR102250777B1 (ko) 컨텐츠 제공 방법 및 그 전자 장치
US10482151B2 (en) Method for providing alternative service and electronic device thereof
KR20150086808A (ko) 폴더 관리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant