KR102607666B1 - 전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치 - Google Patents

전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치 Download PDF

Info

Publication number
KR102607666B1
KR102607666B1 KR1020180092613A KR20180092613A KR102607666B1 KR 102607666 B1 KR102607666 B1 KR 102607666B1 KR 1020180092613 A KR1020180092613 A KR 1020180092613A KR 20180092613 A KR20180092613 A KR 20180092613A KR 102607666 B1 KR102607666 B1 KR 102607666B1
Authority
KR
South Korea
Prior art keywords
user
electronic device
feedback
processor
voice
Prior art date
Application number
KR1020180092613A
Other languages
English (en)
Other versions
KR20200017249A (ko
Inventor
에드워드 아서 슈와이져
리처드 제임스 슈타츠버거
미에코 헤이어
자레드 마이 로드윅
정원희
윤영민
Original Assignee
삼성전자 주식회사
비브 랩스 인코포레이트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사, 비브 랩스 인코포레이트 filed Critical 삼성전자 주식회사
Priority to KR1020180092613A priority Critical patent/KR102607666B1/ko
Priority to EP19846116.2A priority patent/EP3799629A4/en
Priority to US16/535,926 priority patent/US11714598B2/en
Priority to PCT/KR2019/009947 priority patent/WO2020032608A1/en
Priority to CN201980052580.XA priority patent/CN112543910A/zh
Publication of KR20200017249A publication Critical patent/KR20200017249A/ko
Application granted granted Critical
Publication of KR102607666B1 publication Critical patent/KR102607666B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Acoustics & Sound (AREA)
  • Telephone Function (AREA)

Abstract

본 발명의 다양한 실시 예들은 전자 장치에서 사용자와 대화형 인공 지능(AI, artificial intelligence) 서비스(예: 가상 비서 서비스, 가상 친구 서비스)를 수행하는 중에 사용자의 의도를 확인하기 위한 피드백을 제공하는 방법 및 장치에 관하여 개시한다. 본 발명의 다양한 실시 예들에 따르면, 전자 장치는, 사용자와 대화 형식의 인터랙션을 위한 입출력 인터페이스; 및 프로세서를 포함하고, 상기 프로세서는, 상기 사용자와 상기 대화 형식의 인터랙션에 기반하여 서비스를 수행하고, 상기 서비스를 수행하는 동안 프로세스(process)를 모니터링 하고, 상기 모니터링 하는 결과에 기반하여 설정된 단계의 진입을 감지하고, 상기 설정된 단계에 대한 적어도 하나의 피드백을 사용자에게 출력하는 것을 포함할 수 있다. 다양한 실시 예들이 가능하다.

Description

전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치{APPARATUS AND METHOD FOR PROVIDING FEEDBACK FOR CONFIRMING INTENT OF A USER IN AN ELECTRONIC DEVICE}
본 발명의 다양한 실시 예들은 전자 장치에서 사용자와 대화형 인공 지능(AI, artificial intelligence) 서비스(예: 가상 비서 서비스, 가상 친구 서비스)를 수행하는 중에 사용자의 의도를 확인하기 위한 피드백을 제공하는 방법 및 장치에 관하여 개시한다.
디지털 기술의 발달과 함께 이동통신 단말기, 스마트폰(smart phone), 태블릿(tablet) PC(personal computer), 노트북(notebook), PDA(personal digital assistant), 웨어러블 장치(wearable device), 또는 디지털 카메라(digital camera) 등과 같은 다양한 유형의 전자 장치가 널리 사용되고 있다.
전자 장치는, 최근 음성 인식 기술을 이용한 다양한 서비스(또는 기능)를 제공하고 있다. 음성 인식 기술은, 예를 들면, 전자 장치가 마이크와 같은 소리 센서를 통해 획득하는 음향학적 신호(acoustic speech signal)를 단어나 문장으로 변환시키는 기술을 포함할 수 있다. 일반적으로, 음성 인식 기술은 음향 신호를 추출한 후 잡음(noise)을 제거하는 작업을 수행하게 되며, 이후 음성 신호의 특징을 추출하여 음성모델 데이터베이스(DB, database)와 비교하는 방식으로 음성 인식을 수행할 수 있다.
최근에는, 전자 장치에서 음성 인식 기술을 바탕으로 한 다양한 음성 인식 서비스(예: 가상 비서 서비스)가 개발 및 제공되고 있다. 일 실시 예에 따르면, 전자 장치는 사용자의 음성 명령을 바탕으로 모바일 검색, 일정 관리, 전화 걸기, 메모, 또는 음악 재생 등 다양한 생활 편의 서비스를 제공하고 있다. 또한, 최근에는 음성 인식 기술을 바탕으로 인공 지능 서비스를 접목한 대화형 서비스로 발전하고 있다. 예를 들면, 대화형 서비스는 음성 인식이 가능한 전자 장치가 사용자의 발화 음성을 수집하고, 그 수집한 발화 음성을 분석하여 사용자의 의도를 파악하고, 그에 따른 응답 정보를 생성하고, 관련 기능을 실행하거나, 또는 관련 정보를 사용자에게 제공할 수 있다.
하지만, 현재 전자 장치는 사용자와 대화형 서비스를 수행하는 동안, 사용자의 정확한 의도의 확인이 필요한 경우에 대한 피드백(feedback)을 제공하지 않고 있다. 예를 들면, 전자 장치는 대화형 서비스의 일환으로 결제에 관련된 동작을 수행하는 중에, 결제를 위한 최종 단계에서도 사용자의 정확한 의도의 확인 없이 최종 단계를 바로 처리되고 있다. 예를 들면, 전자 장치는 사용자의 중요 정보의 접근 허용에 대한 정확한 확인 절차 없이 일상적인 대화 진행으로 처리하고 있는 실정이다. 이에, 사용자는 최종 단계를 명확히 인지하지 못하고, 전자 장치와 일상적인 대화 중에, 예기치 않은 상태에서 사용자의 중요 정보에 대한 접근을 허용할 수 있다.
다양한 실시 예들에서는, 대화형 서비스(예: 가상 비서 서비스, 또는 가상 친구 서비스)를 수행하는 동안, 최종 단계를 인지하여 최종 단계에 대해 사용자가 명확히 인지 가능하도록 피드백을 제공할 수 있는 방법 및 그 전자 장치에 관하여 개시한다.
다양한 실시 예들에서는, 전자 장치에서 보이스 기반 가상 비서 동작을 수행하는 중에 최종 단계 진입을 모니터링 하고, 최종 단계 진입 시에 최종 단계에 대한 피드백을 사용자에게 제공할 수 있는 방법 및 그 전자 장치에 관하여 개시한다.
다양한 실시 예들에서는, 전자 장치에서 최종 단계에 대한 피드백 시 브랜드 아이덴티티(BI, brand identity)를 반영하여 제공할 수 있는 방법 및 그 전자 장치에 관하여 개시한다.
본 발명의 다양한 실시 예들에 따른 전자 장치는, 사용자와 대화 형식의 인터랙션을 위한 입출력 인터페이스, 및 프로세서를 포함하고, 상기 프로세서는, 상기 사용자와 상기 대화 형식의 인터랙션에 기반하여 서비스를 수행하고, 상기 서비스를 수행하는 동안 프로세스(process)를 모니터링 하고, 상기 모니터링 하는 결과에 기반하여 설정된 단계의 진입을 감지하고, 상기 설정된 단계에 대한 적어도 하나의 피드백을 사용자에게 출력하는 것을 포함할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치의 동작 방법은, 사용자와 대화 형식의 인터랙션에 기반하여 서비스를 수행하는 동작, 상기 서비스를 수행하는 동안 프로세스(process)를 모니터링 하는 동작, 상기 모니터링 하는 결과에 기반하여 설정된 단계의 진입을 감지하는 동작, 상기 설정된 단계에 대한 적어도 하나의 피드백을 사용자에게 출력하는 동작을 포함을 포함할 수 있다.
상기와 같은 과제를 해결하기 위하여 본 발명의 다양한 실시 예들에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
다양한 실시 예들에 따른 전자 장치 및 그의 동작 방법에 따르면, 대화형 서비스를 수행하는 중에 최종 단계에 대한 피드백을 통해 사용자가 최종 단계에 대해 쉽게 인지하도록 할 수 있다. 다양한 실시 예들에 따르면, 전자 장치에서 보이스 기반 가상 비서 동작을 수행하는 동안 최종 단계 진입을 모니터링 하고, 최종 단계 진입 시에 최종 단계인 것을 강조하는 피드백을 사용자에게 제공하여, 사용자가 쉽게 최종 단계를 인지하도록 하여, 사용자가 실질적으로 의도한 상황이 맞는지 확인이 가능하도록 할 수 있다, 다양한 실시 예들에 따르면, 전자 장치는 최종 단계에 대한 피드백 시 브랜드 아이덴티티를 반영하여, 사용자가 최종 단계의 카테고리를 보다 쉽게 인지하도록 할 수 있다. 다양한 실시 예들에 따르면, 최종 단계에 대한 피드백을 통해 대화형 서비스에 대한 전자 장치의 사용성(usability), 편의성(ease), 접근성(accessibility), 안전성(safety), 신뢰성(reliability), 또는 경쟁력(competitiveness)을 향상할 수 있다.
도 1은 다양한 실시 예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시 예들에 따른 프로그램을 예시하는 블록도이다.
도 3은 다양한 실시 예들에 따른 전자 장치에서 기능 처리 모듈의 예를 도시하는 도면이다.
도 4는 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 5는 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 6은 다양한 실시 예들에 따른 전자 장치에서 구현되는 동작 시나리오의 일 예를 도시하는 도면이다.
도 7은 다양한 실시 예들에 따른 전자 장치에서 제공하는 피드백 방식의 예를 설명하기 위한 도면이다.
도 8a 내지 도 8d는 다양한 실시 예들에 따른 전자 장치에서 제공하는 피드백 방식의 일 예를 설명하기 위한 도면들이다.
도 9a 및 도 9b는 다양한 실시 예들에 따른 전자 장치에서 제공하는 피드백 방식의 다른 예를 설명하기 위한 도면들이다.
도 10은 다양한 실시 예들에 따른 전자 장치에서 제공하는 피드백 방식의 다른 예를 설명하기 위한 도면이다.
도 11은 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 12는 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 13은 다양한 실시 예들에 따른 전자 장치에서 피드백 방식의 예를 설명하기 위한 도면이다.
도 14는 다양한 실시 예들에 따른 전자 장치가 디바이스 타입에 기반하여 피드백을 결정하는 예를 설명하기 위한 도면이다.
도 1은 다양한 실시 예들에 따른 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)에는, 이 구성 요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성 요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드(embedded)된 채 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성 요소(예: 하드웨어 또는 소프트웨어 구성 요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성 요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(volatile memory)(132)에 로드(load)하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(non-volatile memory)(134)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치(CPU, central processing unit) 또는 어플리케이션 프로세서(AP, application processor)), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치(GPU, graphic processing unit), 이미지 시그널 프로세서(ISP, image signal processor), 센서 허브 프로세서(sensor hub processor), 또는 커뮤니케이션 프로세서(CP, communication processor))를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(inactive)(예: 슬립(sleep)) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(active)(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성 요소들 중 적어도 하나의 구성 요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))과 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성 요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(OS, operating system)(142), 미들웨어(middleware)(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성 요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)는, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜) 등을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커(speaker) 또는 리시버(receiver)를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서(pressure sensor))를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서(gesture sensor), 자이로 센서(gyro sensor), 기압 센서(barometer sensor), 마그네틱 센서(magnetic sensor), 가속도 센서(acceleration sensor), 그립 센서(grip sensor), 근접 센서(proximity sensor), 컬러 센서(color sensor)(예: RGB(red, green, blue) 센서), IR(infrared) 센서, 생체 센서(biometric sensor), 온도 센서(temperature sensor), 습도 센서(humidity sensor), 또는 조도 센서(illuminance sensor) 등을 포함할 수 있다.
인터페이스(177)는 전자 장치(101)의 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜(protocol)들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD(secure digital) 카드 인터페이스, 또는 오디오 인터페이스 등을 포함할 수 있다.
연결 단자(connection terminal)(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터) 등을 포함할 수 있다.
햅틱 모듈(haptic module)(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터(motor), 압전 소자(piezoelectric element), 또는 전기 자극 장치(electrical stimulation device) 등을 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지(fuel cell)를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, Wi-Fi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN(wide area network))와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다.
무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI, international mobile subscriber identity))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC)가 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
상기 구성 요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고, 신호(예: 명령 또는 데이터)를 상호 간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104) 간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다.
일 실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104 또는 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들(102, 104)에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들(102, 104)은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅(cloud computing), 분산 컴퓨팅(distributed computing), 또는 클라이언트-서버 컴퓨팅(client-server computing) 기술이 이용될 수 있다.
도 2은 다양한 실시 예에 따른 프로그램(140)을 예시하는 블록도(200)이다.
일 실시 예에 따르면, 프로그램(140)은 전자 장치(101)의 하나 이상의 리소스들을 제어하기 위한 운영 체제(operating system)(142), 미들웨어(middleware)(144), 또는 상기 운영 체제(142)에서 실행 가능한 어플리케이션(application)(146)을 포함할 수 있다. 운영 체제(142)는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 프로그램(140) 중 적어도 일부 프로그램은, 예를 들면, 제조 시에 전자 장치(101)에 프리로드(pre-load)되거나, 또는 사용자에 의해 사용 시 외부 전자 장치(예: 전자 장치(102 또는 104), 또는 서버(108))로부터 다운로드되거나 갱신 될 수 있다.
운영 체제(142)는 전자 장치(101)의 하나 이상의 시스템 리소스들(예: 프로세스, 메모리, 또는 전원)의 관리(예: 할당 또는 회수)를 제어할 수 있다. 운영 체제(142)는, 추가적으로 또는 대체적으로, 전자 장치(101)의 다른 하드웨어 디바이스, 예를 들면, 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 구동하기 위한 하나 이상의 드라이버 프로그램들(driver programs)을 포함할 수 있다.
미들웨어(144)는 전자 장치(101)의 하나 이상의 리소스들로부터 제공되는 기능 또는 정보가 어플리케이션(146)에 의해 사용될 수 있도록 다양한 기능들을 어플리케이션(146)으로 제공할 수 있다. 미들웨어(144)는, 예를 들면, 어플리케이션 매니저(application manager)(201), 윈도우 매니저(window manager)(203), 멀티미디어 매니저(multimedia manager)(205), 리소스 매니저(resource manager)(207), 파워 매니저(power manager)(209), 데이터베이스 매니저(database manager)(211), 패키지 매니저(package manager)(213), 커넥티비티 매니저(connectivity manager)(215), 노티피케이션 매니저(notification manager)(217), 로케이션 매니저(location manager)(219), 그래픽 매니저(graphic manager)(221), 시큐리티 매니저(security manager)(223), 통화 매니저(telephony manager)(225), 또는 음성 인식 매니저(voice recognition manager)(227)를 포함할 수 있다.
어플리케이션 매니저(201)는, 예를 들면, 어플리케이션(146)의 생명 주기(life cycle)를 관리할 수 있다. 윈도우 매니저(203)는, 예를 들면, 화면에서 사용되는 하나 이상의 GUI(graphical user interface) 자원들(resources)을 관리할 수 있다. 멀티미디어 매니저(205)는, 예를 들면, 미디어 파일들의 재생에 필요한 하나 이상의 포맷들을 파악하고, 그 중 선택된 해당하는 포맷에 맞는 코덱(codec)을 이용하여 상기 미디어 파일들 중 해당하는 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 리소스 매니저(207)는, 예를 들면, 어플리케이션(146)의 소스 코드(source code) 또는 메모리(130)의 메모리 공간(memory space)을 관리할 수 있다. 파워 매니저(209)는, 예를 들면, 배터리(189)의 용량(capacity), 온도(temperature) 또는 전원(power)을 관리하고, 이 중 해당 정보를 이용하여 전자 장치(101)의 동작에 필요한 관련 정보를 결정 또는 제공할 수 있다. 일 실시 예에 따르면, 파워 매니저(209)는 전자 장치(101)의 바이오스(BIOS, basic input/output system)(미도시)와 연동할 수 있다.
데이터베이스 매니저(211)는, 예를 들면, 어플리케이션(146)에 의해 사용될 데이터베이스를 생성(generate), 검색(search), 또는 변경(change)할 수 있다. 패키지 매니저(213)는, 예를 들면, 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다. 커넥티비티 매니저(215)는, 예를 들면, 전자 장치(101)와 외부 전자 장치 간의 무선 연결 또는 직접 연결을 관리할 수 있다. 노티피케이션 매니저(217)는, 예를 들면, 지정된 이벤트(예: 착신 통화, 메시지, 또는 알람)의 발생을 사용자에게 알리기 위한 기능을 제공할 수 있다. 로케이션 매니저(219)는, 예를 들면, 전자 장치(101)의 위치 정보를 관리할 수 있다. 그래픽 매니저(221)는, 예를 들면, 사용자에게 제공될 하나 이상의 그래픽 효과들 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다.
시큐리티 매니저(223)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 통화 매니저(225)는, 예를 들면, 전자 장치(101)에 의해 제공되는 음성 통화 기능(voice call function) 또는 영상 통화 기능(video call function)을 관리할 수 있다. 음성 인식 매니저(227)는, 예를 들면, 사용자의 음성 데이터를 서버(108)로 전송하고, 그 음성 데이터에 적어도 일부 기반하여 전자 장치(101)에서 수행될 기능에 대응하는 명령어(command), 또는 그 음성 데이터에 적어도 일부 기반하여 변환된 문자 데이터를 서버(108)로부터 수신할 수 있다. 일 실시 예에 따르면, 미들웨어(244)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 일 실시 예에 따르면, 미들웨어(144)의 적어도 일부는 운영 체제(142)의 일부로 포함되거나, 또는 운영 체제(142)와는 다른 별도의 소프트웨어로 구현될 수 있다.
어플리케이션(146)은, 예를 들면, 홈(home)(251), 다이얼러(dialer)(253), SMS(short message service)/MMS(multimedia messaging service)(255), IM(instant message)(257), 브라우저(browser)(259), 카메라(camera)(261), 알람(alarm)(263), 컨택트(contact)(265), 음성 인식(voice recognition)(267), 이메일(email)(269), 달력(calendar)(271), 미디어 플레이어(media player)(273), 앨범(album)(275), 와치(watch)(277), 헬스(health)(279)(예: 운동량 또는 혈당과 같은 생체 정보(biometric information)를 측정), 또는 환경 정보(environmental information)(281)(예: 기압(air pressure), 습도(humidity), 또는 온도(temperature) 정보 측정) 어플리케이션을 포함할 수 있다. 일 실시 예에 따르면, 어플리케이션(146)은 전자 장치(101)와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션(미도시)을 더 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치로 지정된 정보 (예: 통화, 메시지, 또는 알람)를 전달하도록 설정된 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하도록 설정된 장치 관리 어플리케이션을 포함할 수 있다.
노티피케이션 릴레이 어플리케이션은, 예를 들면, 전자 장치(101)의 다른 어플리케이션(예: 이메일 어플리케이션(269))에서 발생된 지정된 이벤트(예: 메일 수신)에 대응하는 알림 정보를 외부 전자 장치로 전달할 수 있다. 추가적으로 또는 대체적으로, 노티피케이션 릴레이 어플리케이션은 외부 전자 장치로부터 알림 정보를 수신하여 전자 장치(101)의 사용자에게 제공할 수 있다.
장치 관리 어플리케이션은, 예를 들면, 전자 장치(101)와 통신하는 외부 전자 장치 또는 그 일부 구성 요소(예: 표시 장치(160) 또는 카메라 모듈(180))의 전원(예: 턴-온 또는 턴-오프) 또는 기능(예: 표시 장치(160) 또는 카메라 모듈(180)의 밝기(brightness), 해상도(resolution), 또는 포커스(focus))을 제어할 수 있다. 장치 관리 어플리케이션은, 추가적으로 또는 대체적으로, 외부 전자 장치에서 동작하는 어플리케이션의 설치(installation), 삭제(delete), 또는 갱신(update)을 지원할 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치(101)는 다양한 형태의 장치가 될 수 있다. 전자 장치(101)는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치(wearable device), 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치(101)는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경(modifications), 균등물(equivalents), 또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성 요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다.
본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", “A 또는 B 중 적어도 하나”, "A, B 또는 C", "A, B 및 C 중 적어도 하나" 및 “A, B, 또는 C 중 적어도 하나”와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성 요소를 다른 해당 구성 요소와 구분하기 위해 사용될 수 있으며, 해당 구성 요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성 요소가 다른(예: 제2) 구성 요소에 "기능적으로” 또는 “통신적으로"라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성 요소가 상기 다른 구성 요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성 요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어(firmware)로 구현된 유닛(unit)을 포함할 수 있으며, 예를 들면, 로직(logic), 논리 블록(logic block), 부품(component), 또는 회로(circuit) 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(101))에 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들(instructions)을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러(compiler) 생성된 코드 또는 인터프리터(interpreter)에 의해 실행될 수 있는 코드(code)를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: CD-ROM, compact disc read only memory)의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성 요소들의 각각의 구성 요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성 요소들 중 하나 이상의 구성 요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성 요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성 요소들(예: 모듈 또는 프로그램)은 하나의 구성 요소로 통합될 수 있다. 이런 경우, 통합된 구성 요소는 상기 복수의 구성 요소들 각각의 구성 요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성 요소들 중 해당 구성 요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱(heuristic)하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 3은 다양한 실시 예들에 따른 전자 장치에서 기능 처리 모듈의 예를 도시하는 도면이다.
도 3에 도시한 바와 같이, 도 3은 다양한 실시 예들에서 전자 장치(101)가 사용자와 보이스(voice) 기반 인터랙션(interaction)(또는 인터랙티브 모드(interactive mode))을 수행하는 중에 최종 단계 진입에 대한 피드백을 사용자에게 제공하여 사용자 편의성을 증대하는 것과 관련된 기능을 실행하는 모듈(예: 기능 처리 모듈(300))의 예를 나타낼 수 있다. 예를 들면, 도 3은 다양한 실시 예들에서 전자 장치(101)가 보이스 기반 가상 비서 동작을 수행하는 중에 최종 단계 진입을 모니터링 하고, 최종 단계 진입 시에 최종 단계에 대한 피드백을 사용자에게 제공하는 것에 관련된 기능 처리 모듈(300)의 예를 나타낼 수 있다. 다양한 실시 예들에서, 기능 처리 모듈(300)은 프로세싱 회로(processing circuitry)를 포함하는 프로세서(예: 도 1의 프로세서(120))에 하드웨어 모듈(hardware module)로 포함되거나, 또는 소프트웨어 모듈(software module)로 포함될 수 있다.
도 3을 참조하면, 기능 처리 모듈(300)은 가상 비서 모듈(310), 모니터링 모듈(320), 피드백 처리 모듈(330), 및 피드백 출력 모듈(340) 등을 포함할 수 있다.
다양한 실시 예들에서, 가상 비서 모듈(310)은 보이스 기반 가상 비서(또는 인공 지능 비서, 가상 친구)(또는 보이스 에이전트(voice agent)) 동작을 수행할 수 있다. 일 실시 예에 따르면, 가상 비서 모듈(310)은 보이스 에이전트를 통해 사용자의 발화로부터 사용자 의도를 인식하고, 사용자 의도에 대응하는 응답을 출력할 수 있다. 예를 들면, 가상 비서 모듈(310)은 사용자와 보이스 기반으로 대화 형식의 인터랙션(interaction)을 수행하여 인공 지능(AI, artificial intelligence) 대화를 처리할 수 있다.
다양한 실시 예들에서, 모니터링 모듈(320)은 가상 비서 동작을 수행하는 동안, 프로세스(process)(또는 진행 과정)를 모니터링 할 수 있다. 일 실시 예에 따르면, 모니터링 모듈(320)은 사용자와 인터랙션 중에 인공 지능 서비스의 수행 결과에 대한 최종 단계(또는 최종 확인(final confirmation) 단계)의 진입 여부에 대한 모니터링을 수행할 수 있다. 다양한 실시 예들에서, 최종 단계는, 사용자와 인터랙션에 따라 처리된 결과에 대해 최종 확인하는 단계로서, 예를 들면, 처리 결과에 대한 수행 여부를 확정하는 단계일 수 있다. 일 예로, 최종 단계는, 인터랙션에 의한 처리 결과에 대한 어떠한 명령(예: 결제, 예약, 예매, 정보 삭제, 또는 통화/메시지 발신(전송) 등)이 수행되기 직전의 확인 단계를 포함할 수 있다. 일 실시 예에 따라, 모니터링 모듈(320)은 사용자와 인터랙션에 기반하여 가상 비서의 동작 시나리오에 따른 파라미터(parameter)(또는 인터랙티브 파라미터(interactive parameter))가 모두 채워지는 경우에 최종 단계인 것으로 판단할 수 있다.
다양한 실시 예들에서, 모니터링 모듈(320)은 프로세스의 모니터링 결과에 기반하여, 설정된 단계(예: 최종 단계)의 진입을 감지할 수 있다. 일 실시 예에 따라, 모니터링 모듈(320)은 사용자와 인터랙션 동안, 수행 중인 인공 지능 서비스에 대한 최종 단계 진입을 모니터링 하고, 최종 단계 진입을 결정하는 것에 응답하여 관련 트리거(trigger)(예: 피드백 출력에 관련된 트리거 또는 인터럽트)를 발생할 수 있다.
다양한 실시 예들에서, 피드백 처리 모듈(330)은 설정된 피드백 방식에 적어도 기반하여 관련 피드백 정보를 생성할 수 있다. 일 실시 예에 따라, 피드백 처리 모듈(330)은 모니터링 모듈(320)에 의한 트리거에 응답하여 피드백을 사용자에게 제공하기 위한 상태 진입인 것을 판단할 수 있다. 일 실시 예에 따르면, 피드백 처리 모듈(330)은 최종 단계에 따른 상태(또는 결과)가 사용자가 의도한 상황이 맞는지 확인을 위해 최종 단계를 강조하는 것에 관련된 피드백 정보를 생성할 수 있다. 일 실시 예에 따르면, 피드백은 최종 단계의 결과(또는 수행하고자 하는 행위(정보))가 사용자의 의도에 대응하는지 확인하기 위해 사용자에게 제공되는 정보를 포함할 수 있다. 일 실시 예에 따라, 피드백 처리 모듈(330)은 시각, 청각, 또는 촉각적 요소에 적어도 기반하여, 최종 단계를 수행하기 전에 최종 단계임을 사용자가 보다 명확히 인지할 수 있도록, 다양한 피드백 방식에 대응하는 피드백 정보를 구성할 수 있다. 다양한 실시 예들에 따르면, 피드백 처리 모듈(330)은 적어도 하나의 조건(예: 디바이스 특성, 또는 디바이스의 사용 상태 등)에 기반하여 적어도 하나의 피드백 정보를 구성할 수 있다. 일 실시 예에 따르면, 피드백 처리 모듈(330)은 피드백 정보를 구성할 때, 브랜드 아이덴티티(BI, brand identity)를 반영할 수 있다. 다양한 실시 예들에서, 브랜드 아이덴티티는 인공 지능 서비스에서 사용자가 의도한 대상(또는 브랜드)(예: 대상 기능(예: 정보 삭제 기능, 메시지 전송 기능), 대상 업체, 또는 대상 물품 등)을 사용자가 쉽게 식별(또는 인지)할 수 있는 객체(object)를 나타낼 수 있다. 예를 들면, 브랜드 아이덴티티는 사용자에게 해당 브랜드의 종류, 이념, 목적, 활동, 표현, 또는 의미를 가지는지 알 수 있도록 각인된 브랜드별 특유의 컬러(color), 특유의 이미지(또는 아이콘, 마크), 텍스트(예: 로고), 또는 사운드(예: 시엠송(CM(commercial) song, 또는 로고송(logo song)) 등의 적어도 하나에 기반하여 생성될 수 있다. 일 실시 예에 따라, 브랜드 아이덴티티는 전자 장치(101)에 사전 정의되거나, 또는 인공 지능 서비스에 의해 해당 브랜드 서버에 실시간 요청하여, 해당 서버로부터 획득할 수 있다.
다양한 실시 예들에서, 출력 처리 모듈(340)은 피드백 처리 모듈(330)에 의해 구성된 피드백 정보에 기반하여, 시각, 청각, 또는 촉각적 요소에 적어도 기반하여 피드백 출력을 처리할 수 있다. 일 실시 예에 따라, 출력 처리 모듈(340)은 피드백 정보에 기반하여, 보이스, 사운드, 비주얼, 또는 진동 등에 적어도 기반한 피드백 출력을 처리할 수 있다. 일 실시 예에 따라, 출력 처리 모듈(340)은 피드백 출력 시 피드백 정보의 속성에 따라 관련 구성 요소(예: 디스플레이, 스피커, 또는 햅틱 모듈(또는 진동 모듈) 등)에 연관지어 피드백을 출력하도록 처리할 수 있다. 이와 관련하여, 후술하는 도면들을 참조하여 설명된다.
이상에서 살펴본 바와 같이, 다양한 실시 예들에 따른 전자 장치(101)는, 사용자와 대화 형식의 인터랙션을 위한 입출력 인터페이스(예: 입력 장치(150), 음향 출력 장치(155), 표시 장치(160) 등), 및 프로세서(예: 프로세서(120))를 포함하고, 상기 프로세서(120)는, 상기 사용자와 상기 대화 형식의 인터랙션에 기반하여 서비스를 수행하고, 상기 서비스를 수행하는 동안 프로세스(process)를 모니터링 하고, 상기 모니터링 하는 결과에 기반하여 설정된 단계의 진입을 감지하고, 상기 설정된 단계에 대한 적어도 하나의 피드백을 사용자에게 출력할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서(120)는, 상기 사용자와 대화 형식의 인터랙션 동안, 상기 서비스의 동작 시나리오에 따른 최종 단계의 진입 여부를 판단할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서(120)는, 상기 서비스의 동작 시나리오에 따른 파라미터(parameter)가 모두 채워지는 경우, 상기 최종 단계의 진입을 판단할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서(120)는, 시각적, 청각적, 또는 촉각적 요소에 적어도 기반하여 상기 최종 단계를 강조하는 피드백을 출력할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서(120)는, 보이스 방식, 사운드 방식, 비주얼 방식, 또는 진동 방식 중 적어도 하나의 피드백 방식에 기반하여 상기 피드백을 출력할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서(120)는, 상기 전자 장치(101)의 디바이스 특성에 기반하여 상기 적어도 하나의 피드백에 대한 피드백 방식을 결정할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서(120)는, 상기 전자 장치(101)의 사용 상태에 기반하여 상기 적어도 하나의 피드백에 대한 피드백 방식을 결정할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서(120)는, 브랜드 아이덴티티(BI, brand identity)를 포함하여 상기 피드백을 출력할 수 있다.
다양한 실시 예들에 따라, 상기 브랜드 아이덴티티는, 상기 서비스에서 사용자가 의도한 대상을 사용자가 쉽게 식별할 수 있는 객체(object)를 포함할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서(120)는 피드백 방식에 대응하여 시각적, 청각적, 또는 촉각적 요소의 객체(object)로 상기 브랜드 아이덴티티를 구성할 수 있다.
도 4는 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 4를 참조하면, 동작(401)에서, 전자 장치(101)의 프로세서(120)(예: 프로세싱 회로를 포함하는 적어도 하나의 프로세서)(또는 도 3의 기능 처리 모듈(300))는 보이스 기반 가상 비서(또는 가상 친구)(또는 보이스 에이전트(voice agent)) 동작을 수행할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 보이스 에이전트를 통해 사용자의 발화로부터 사용자 의도를 인식하고, 사용자 의도에 대응하는 응답을 출력할 수 있다. 예를 들면, 프로세서(120)는 사용자와 보이스 기반으로 대화 형식의 인터랙션(interaction)을 수행하여 인공 지능(AI, artificial intelligence) 대화를 처리할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 사용자와 대화 형식의 인터랙션을 위한 구성 요소(또는 입출력 인터페이스)(예: 도 1의 입력 장치(150)(예: 마이크), 도 1의 음향 출력 장치(155)(예: 스피커), 도 1의 표시 장치(160)(예: 디스플레이) 등)를 이용하여 가상 비서 동작(또는 서비스)에 관련된 인터랙션을 수행할 수 있다.
일 실시 예에 따르면, 사용자는 레스토랑을 예약하기 위하여, 전자 장치(101)의 설정된 조작(예: 보이스 또는 터치 기반으로 웨이크-업(wake-up) 명령 입력)하여 인공 지능 서비스를 실행(또는 보이스 에이전트를 웨이크-업)할 수 있다. 사용자는 인공 지능 서비스 실행에 따라, 보이스로 레스토랑 예약에 관련된 다양한 질의 또는 지시어를 발화할 수 있고, 프로세서(120)는 사용자 발화로부터 사용자 의도에 대응하는 응답을 출력(예: 보이스 기반 출력)하면서, 사용자와 인터랙션에 따라 수집되는 예약 관련 정보를 처리할 수 있다. 일 실시 예에 따라, 프로세서(120)는 수집된 예약 관련 정보를 이용하여, 예약에 필요한 필드를 내부적으로 또는 공개적으로(예: 디스플레이에 기반한 정보 표시) 입력할 수 있다. 일 예로, 프로세서(120)는 사용자와 인터랙션에 따라, 예약하고자 하는 레스토랑을 확정하고, 예약 날짜, 예약 시간, 예약 인원 등의 예약 상세 정보를 각 필드에 입력하여 예약 정보를 구성할 수 있다. 일 실시 예에 따라, 전자 장치(101)가 스마트폰과 같이 디스플레이가 구비된 디바이스이고, 사용자가 디스플레이를 확인하면서 인공 지능 서비스를 실행하는 경우, 사용자와 인터랙션에 따른 진행 과정이 공개적으로 표시될 수 있다. 일 실시 예에 따라, 전자 장치(101)가 스마트 스피커(smart speaker)와 같이 디스플레이가 구비되지 않은 디바이스인 경우, 사용자와 인터랙션에 따른 진행 과정이 내부적으로 처리되어 관리될 수 있다.
동작(403)에서, 프로세서(120)는 가상 비서 동작을 수행하는 동안, 프로세스(process)(또는 진행 과정)를 모니터링 할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 사용자와 인터랙션 중에 인공 지능 서비스의 수행 결과에 대한 최종 단계(또는 최종 확인(final confirmation) 단계)의 진입 여부에 대한 모니터링을 수행할 수 있다. 다양한 실시 예들에서, 최종 단계는, 사용자와 인터랙션에 따라 처리된 결과에 대해 최종 확인하는 단계로서, 예를 들면, 처리 결과에 대한 수행 여부를 확정하는 단계일 수 있다. 일 예로, 최종 단계는, 인터랙션에 의한 처리 결과에 대한 어떠한 명령(예: 결제, 예약, 예매, 정보 삭제, 또는 통화/메시지 발신(전송) 등)이 수행되기 직전의 확인 단계를 포함할 수 있다.
동작(405)에서, 프로세서(120)는 프로세스의 모니터링 결과에 기반하여, 설정된 단계의 진입을 감지할 수 있다. 일 실시 예에 따라, 프로세서(120)는 프로세스 모니터링에 기반하여, 사용자와 인터랙션 동안, 수행 중인 인공 지능 서비스에 대한 최종 단계에 진입하는지 여부를 판단할 수 있다.
동작(407)에서, 프로세서(120)는 설정된 피드백 방식에 기반하여 피드백 출력을 제어할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 최종 단계에 진입을 감지할 시, 최종 단계의 상태(또는 결과)가 사용자가 의도한 상황이 맞는지 최종 확인을 위한 피드백을 출력할 수 있다. 일 실시 예에 따르면, 피드백은 최종 단계의 결과(또는 수행하고자 하는 행위(정보))가 사용자의 의도에 대응하는지 확인하기 위해 사용자에게 제공되는 정보를 포함할 수 있다. 일 실시 예에 따라, 프로세서(120)는 시각, 청각, 또는 촉각적 요소에 적어도 기반하여 피드백 출력을 제어할 수 있다. 예를 들면, 프로세서(120)는 최종 단계를 수행하기 전에 최종 단계임을 사용자가 보다 명확히 인지할 수 있도록, 다양한 피드백 방식으로 피드백 출력을 제어할 수 있다. 다양한 실시 예들에 따르면, 프로세서(120)는 적어도 하나의 조건에 기반하여 적어도 하나의 피드백 방식을 결정하여 피드백 출력을 제어할 수 있다. 다양한 실시 예들에 따른 피드백 출력과 관련하여 후술하는 도면들을 참조하여 설명된다.
도 5는 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 5를 참조하면, 동작(501)에서, 전자 장치(101)의 프로세서(120)(예: 프로세싱 회로를 포함하는 적어도 하나의 프로세서)(또는 도 3의 기능 처리 모듈(300))는 보이스 기반 가상 비서(또는 보이스 에이전트) 동작을 수행할 수 있다.
동작(503)에서, 프로세서(120)는 가상 비서 동작을 수행하는 동안, 프로세스를 모니터링 할 수 있다.
동작(505)에서, 프로세서(120)는 프로세스의 모니터링 결과에 기반하여, 최종 단계가 감지되는지 여부를 판단할 수 있다.
동작(505)에서, 프로세서(120)는 최종 단계가 감지되지 않는 경우(동작(505)의 아니오), 동작(501)으로 진행하여, 동작(501) 이하의 동작을 수행할 수 있다.
동작(505)에서, 프로세서(120)는 최종 단계가 감지되는 경우(동작(505)의 예), 동작(507)에서, 브랜드 아이덴티티(BI, brand identity)를 판단할 수 있다. 다양한 실시 예들에서, 브랜드 아이덴티티는 인공 지능 서비스에서 사용자가 의도한 대상(또는 브랜드)(예: 대상 기능(예: 정보 삭제 기능, 메시지 전송 기능), 대상 업체, 또는 대상 물품 등)을 사용자가 쉽게 식별(또는 인지)할 수 있는 객체(object)를 나타낼 수 있다.
동작(509)에서, 프로세서(120)는 판단된 브랜드 아이덴티티에 따른 아이덴티티 정보에 기반하여 적어도 하나의 피드백 출력을 제어할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 브랜드 아이덴티티에 대응하는 컬러(예: 빨강, 녹색, 흰색, 검정 등), 사운드, 로고, 또는 이미지 등의 적어도 일부 기반하여 아이덴티티 정보를 생성할 수 있다. 일 실시 예에 따라, 프로세서(120)는 적어도 하나의 아이덴티티 정보를, 대응하는 피드백 방식에 포함하여 피드백 출력을 제어할 수 있다. 일 실시 예에 따라, 프로세서(120)는 보이스 기반의 피드백 출력을 통해 최종 단계에 대해 사용자가 인지 가능하도록 할 수 있다.
일 실시 예에 따르면, 프로세서(120)는 인공 지능 서비스를 위한 인터랙션 동안의 보이스와 다른(또는 구별되는) 보이스(예: 다른 톤(tone), 다른 성별의 목소리, 다른 억양, 또는 글자마다 강조 발성 등에 기반한 구별된 보이스)에 의해 피드백을 출력할 수 있다. 일 실시 예에 따라, 프로세서(120)는 아이덴티티 정보에 따른 제1 정보(예: 컬러(예: 빨강))에 기반하여 최종 단계 확인 버튼을 강조하여 나타내고, 전술한 구별되는 보이스 기반으로 최종 단계에 따른 피드백을 출력할 수 있다. 일 실시 예에 따라, 프로세서(120)는 아이덴티티 정보에 따른 제2 정보(예: 시엠송)를 전술한 구별되는 보이스와 연관지어(또는 조합하여) 피드백을 출력할 수 있다. 예를 들면, 시엠송을 출력하고 구별되는 보이스를 순차적으로 출력하거나, 또는 구별되는 보이스의 배경으로 시엠송을 동시에 출력할 수 있다. 다양한 실시 예들에 따르면, 프로세서(120)는 복수의 아이텐티티 정보들을 이용하여 피드백을 출력할 수도 있다.
도 6은 다양한 실시 예들에 따른 전자 장치에서 구현되는 동작 시나리오의 일 예를 도시하는 도면이다.
도 6을 참조하면, 사용자는 전자 장치(101)를 이용하여 가상 비서(또는 보이스 에이전트)(예: 인공 지능 서비스 빅스비(Bixby))를 실행할 수 있다. 일 실시 예에 따라, 가상 비서 실행은, 가상 비서를 실행(또는 웨이크-업) 하기 위한 설정된 보이스 명령(voice command)에 기반하여 실행될 수 있다. 일 실시 예에 따라, 가상 비서 실행은, 가상 비서를 실행하기 위한 설정된 버튼의 입력에 기반하여 실행될 수 있다.
일 실시 예에 따라, 전자 장치(101)는, 사용자에 의한 가상 비서의 실행 요청에 응답하여 가상 비서를 실행하고, 관련 인터페이스를 디스플레이(예: 도 1의 표시 장치(160))를 통해 표시할 수 있다. 추가적으로 또는 선택적으로, 전자 장치(101)는 가상 비서의 실행에 대응하는 관련 사운드(또는 보이스)를 함께 제공하여 가상 비서의 실행을 사용자에게 알릴 수 있다. 다른 실시 예에 따라, 전자 장치(101)가 디스플레이(예: 도 1의 표시 장치(160))를 포함하지 않는 디바이스인 경우(예: 스마트 스피커), 전자 장치(101)는 가상 비서의 실행에 대응하는 관련 사운드(또는 보이스)를 제공하여 가상 비서의 실행을 사용자에게 알릴 수 있다. 이하에서는, 전자 장치(101)가 디스플레이를 포함하는 스마트폰인 것을 일 예로 설명한다.
다양한 실시 예들에 따르면, 전자 장치(101)는 가상 비서를 실행한 후, 사용자와 대화형 인터랙션을 수행할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 사용자의 발화 음성을 수집하고, 그 수집한 발화 음성을 분석하여 사용자의 의도를 파악하고, 그에 따른 응답 정보를 생성하고, 생성된 응답 정보를 디스플레이를 통한 표시 및/또는 스피커를 통한 출력을 통해 사용자에게 제공할 수 있다.
일 예로, 도 6에 예시한 바와 같이, 사용자는 가상 비서에 의한 인공 지능 서비스로서, 예를 들면, 레스토랑을 예약하는 서비스를 이용할 수 있다. 예를 들면, 사용자는 레스토랑에 관한 정보를 전자 장치(101)에게 요청(예: “Find a Brazilian steak house”와 같이 검색을 요청하는 발화)할 수 있고, 전자 장치(101)는 사용자 발화로부터 레스토랑에 관련된 추천(또는 검색) 의도를 인지하고, 관련 정보를 검색 및 수집하여 사용자에게 제공(또는 응답)할 수 있다. 예를 들면, 전자 장치(101)는, 도 6의 화면(A)의 예시와 같이, 사용자와 인터랙션에 따른 정보를 제공하기 위한 인터페이스를 표시할 수 있다. 일 실시 예에 따라, 인터페이스는 제1 영역(610)(예: 인터랙션 영역, 또는 인터랙티브 영역), 제2 영역(620)(예: 정보 영역), 또는 제3 영역(630)(예: 패널(panel) 영역)을 적어도 하나 포함할 수 있다.
일 실시 예에 따라, 전자 장치(101)는 제1 영역(610)을 통해 사용자 발화로부터 분석된 의도에 대응하는 응답(또는 응답 메시지)에 관련된 제1 정보(601)(예: “Here are some restaurants in San Jose, CA”와 같은 추천 카테고리에 대한 정보)를 표시할 수 있다. 일 실시 예에 따라, 제1 정보(601)는 스피커를 통해 보이스로 출력(또는 안내, 가이드)될 수도 있다.
일 실시 예에 따라, 전자 장치(101)는 제2 영역(620)을 통해 수집된 정보에 관련된 제2 정보(602)(예: 수집된 레스토랑에 관련된 정보로서, 각 레스토랑 별 대표 이미지, 상호 명, 음식 종류 등)를 표시할 수 있다. 일 실시 예에 따라, 제2 영역(620)은 정보의 탐색을 위해 스크롤 가능한 영역일 수 있다.
일 실시 예에 따라, 제3 영역(630)은 사용자의 데이터 입력(예: 보이스 입력 실행, 또는 텍스트 입력) 및/또는 사용자와 인터랙션에 따른 프로세스(process)(또는 진행 과정)에 대한 확인을 입력받을 수 있는 관련 객체(object)가 제공되는 고정되거나 또는 미리 준비된 영역일 수 있다.
일 실시 예에 따라, 사용자는 전자 장치(101)와 인터랙션을 통해 제공된 정보로부터 사용자가 의도하는 특정 항목을 선택 지정할 수 있다. 일 예로, 사용자는 “Pizza”에 관련된 항목(603)을 선택하는 보이스 명령을 발화할 수 있다. 전자 장치(101)는 사용자와 인터랙션에 따라 사용자 의도를 분석하고, 도 6의 화면(B)의 예시와 같이, 항목(603)에 대한 상세 페이지를 제공할 수 있다. 일 실시 예에 따라, 상세 페이지에 관련하여 보이스 기반으로 사용자와 인터랙션 할 수도 있다.
도 6의 화면(B)에 예시한 바와 같이, 전자 장치(101)는 사용자 발화로부터 선택된 항목(603)에 관련된 상세 페이지를 제공할 수 있다. 예를 들면, 전자 장치(101)는 항목(603)과 관련하여 수집된(예: 외부 서버로부터 수집된) 상세 정보(예: 사용자 의도의 음식(예: Pepperoni Pizza)에 관한 대표 이미지(603A), 음식에 관련된 부가 정보(603B), 주소 정보(603C)(예: MAP 정보) 등)를 사용자에게 제공할 수 있다.
일 실시 예에 따라, 전자 장치(101)는 제3 영역(630)(예: 패널 영역)을 통해 다음 단계 진행을 확인 받을 수 있는 관련 객체(640)(예: 버튼(button), 아이콘, 텍스트 등)를 제공할 수 있다. 사용자는 관련 객체(640)에 기반하여 터치 기반 또는 보이스 기반으로 다음 단계 진입을 명령할 수 있다. 다양한 실시 예들에서, 프로세스의 진행 중에 다음 단계를 확인 받기 위한 객체(640)는 별도의 피드백 적용 없이, 공통되게 제공될 수 있다. 예를 들면, 최종 단계에서 제공되는 객체가 보다 강조(또는 부각)될 수 있도록 중간 단계들의 객체는 공통되게 일반화(예: 버튼의 기본 색상 처리)되어 제공될 수 있다.
일 실시 예에 따라, 도 6의 화면(B)의 예시와 같은 상태에서, 사용자가 중간 단계의 객체(640)에 기반하여 다음 단계 진입을 명령할 수 있다. 예를 들면, 사용자는 해당 레스토랑에 대한 예약을 위한 명령을 입력할 수 있다. 전자 장치(101)는 사용자와 인터랙션에 따라 사용자 의도를 분석하고, 도 6의 화면(C)의 예시와 같이, 사용자 의도에 따른 실질적인 기능(또는 서비스)(예: 레스토랑 예약) 실행에 관련된 페이지를 제공할 수 있다.
도 6의 화면(C)에 예시한 바와 같이, 사용자는 전자 장치(101)와 인터랙션에 따라 기능(또는 서비스)(예: 예약)에 관련된 파라미터(또는 필드)(607)(예: 예약 인원, 예약 날짜, 예약 시간, 컨택 정보(contact information) 등)를 채워 나갈 수 있다. 일 실시 예에 따라, 전자 장치(101)는 기능(또는 서비스)을 수행하는 동안 최종 단계의 진입 여부를 모니터링 할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 기능(또는 서비스)에 관련된 파라미터(607)가 모두 채워지는 경우 최종 단계 진입인 것으로 판단할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(101)는 최종 단계 진입을 판단할 시, 기능(또는 서비스)에 대한 최종 단계(예: 실질적 예약)가 진행됨을 사용자가 인지할 수 있도록 적어도 하나의 피드백을 사용자에게 제공할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 제1 영역(610)에 최종 단계를 확인하는 응답(또는 응답 메시지)에 관련된 제4 정보(605)(예: “Should I make the reservation?”와 같은 사용자에게 리마인드(remind)를 위한 정보)를 표시함과 함께, 피드백이 적용된 보이스를 출력할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 앞선 프로세스를 진행하는 동안 사용자와 인터랙션에서 사용된 보이스와 그 속성(또는 성질)이 다른 보이스에 기반하여, 제4 정보(605)(예: “Should I make the reservation?”)를 스피커를 통해 출력할 수 있다. 예를 들면, 전자 장치(101)는 프로세스를 진행하는 동안의 보이스와는 다른(또는 구별되는) 보이스(예: 다른 톤(tone), 다른 성별의 목소리, 다른 억양, 또는 글자마다 강조 발성 등에 기반한 구별된 보이스)를 출력할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 제3 영역(630)(예: 패널 영역)을 통해 최종 단계를 확인 받을 수 있는 관련 객체(650)(예: 버튼, 아이콘, 텍스트 등)(이하, 제2 객체(650)라 한다)를 강조(또는 부각)하여 제공할 수 있다. 다양한 실시 예들에 따르면, 최종 단계에 관련된 객체(650)는, 예를 들면, 화면(B)의 예시와 같은 다음 단계를 확인 받기 위한 객체(640)(이하, 제1 객체(640)라 한다)와 구별되게 제공될 수 있다. 일 실시 예에 따라, 전자 장치(101)는 프로세스가 진행되는 동안 제1 객체(640)에 공통되게 적용된 컬러와는 다른 컬러를 적용하여 사용자에게 피드백 할 수 있다. 다양한 실시 예들에 따르면, 제2 객체(650)에 기반한 피드백을 제공할 때, 브랜드 아이덴티티(또는 서비스 어플리케이션 별 아이덴티티)를 함께 반영할 수 있다. 일 예로, 수행 중인 기능(또는 서비스)에 관련된 업체를 상징할 수 있는 대표 컬러, 또는 대표 이미지(또는 아이콘)에 기반하여 제2 객체(650)를 그래픽적으로 변경하여 최종 단계에 대해 보다 강조(또는 부각)할 수도 있다.
다양한 실시 예들에 따르면, 전자 장치(101)는 컬러의 변경 외에, 전자 장치(101)는 제1 객체(640)에 적용되지 않은 다양한 효과(예: 그래픽적 효과)를 제2 객체(650)에 적용할 수 있고, 제2 객체(650) 외에도 화면에 기반하여 최종 단계에 대한 피드백을 제공할 수도 있다. 이와 관련하여, 후술하는 도면들을 참조하여 구체적으로 설명된다.
도 7은 다양한 실시 예들에 따른 전자 장치에서 제공하는 피드백 방식의 예를 설명하기 위한 도면이다.
도 7을 참조하면, 전자 장치(101)는 가상 비서 동작을 수행하는 동안, 최종 단계를 감지하는 경우, 설정된 피드백 방식에 기반하여 적어도 하나의 피드백 출력을 제어할 수 있다. 다양한 실시 예들에서, 피드백 출력은, 보이스 방식(710), 사운드 방식(720), 비주얼 방식(730), 또는 진동 방식(740)에 적어도 기반하여, 사용자에게 특별한 주의를 필요로 하는 상황임을 사용자에게 명확히 알려주기 위한 것일 수 있다.
다양한 실시 예들에서, 보이스 방식(710)은, 예를 들면, 사용자가 최종 단계를 인지할 수 있도록, 설정된 보이스 속성(예: 톤, 성별 목소리, 억양, 강조 발성, 캐릭터 자체 변경 등)에 기반하여 제공하는 방식일 수 있다. 일 실시 예에 따라, 전자 장치(101)는 이전의 프로세스 진행 동안 사용된 제1 보이스 톤(예: 보이스 출력의 톤)과는 다른 제2 보이스 톤으로 변경하여 최종 단계에 대한 피드백을 출력할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 이전의 프로세스 진행 동안 사용된 제1 보이스 억양(예: 보이스의 높낮이)과는 다른 제2 보이스 억양으로 변경하여 최종 단계에 대한 피드백을 출력할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 이전의 프로세스 진행 동안 사용된 제1 성별의 목소리와는 다른 제2 성별의 목소리로 변경하여 최종 단계에 대한 피드백을 출력할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 이전의 프로세스 진행 동안 사용된 제1 발성 방식과는 다른 제2 발성 방식(예: “D.o. y.o.u. w.a.n.t. t.o. b.o.o.k?”과 같이 글자(또는 단어)마다 강조 발성)으로 변경하여 최종 단계에 대한 피드백을 출력할 수 있다.
다양한 실시 예들에서, 사운드 방식(720)은, 예를 들면, 사용자가 최종 단계를 인지할 수 있도록, 설정된 사운드에 기반하여 제공하는 방식일 수 있다. 일 실시 예에 따라, 설정된 사운드는 프로세스를 수행(또는 진행)하는 동안 최종 단계에 진입 시 청각적인 요소에 기반하여 강조 효과를 높이거나 사용자를 상기시키기 위한 다양한 사운드에 의해 제공될 수 있다. 일 실시 예에 따르면, 설정된 사운드는 멜로디, 비프음(beep sound), 경보음(alarm sound), 프리픽스(prefix) 사운드(예: 사용자 호명과 같은 보이스 기반 사운드) 또는 브랜드 아이덴티티에 따른 특유의 사운드(예: 시엠송, 로고송 등) 등을 포함할 수 있다. 일 실시 예에 따라, 사운드 방식(720)은 독립적(또는 개별적)으로 제공되거나, 또는 보이스 방식(710)과 결합(또는 조합)되어 제공될 수 있다. 예를 들면, 보이스 방식(710)에 기반하여 해당 보이스를 출력하는 중에, 설정된 사운드를 배경음악(BGM, background) 형식으로 추가하여 복합 방식으로 피드백을 출력할 수 있다. 예를 들면, 보이스 방식(710)에 기반한 해당 보이스를 출력하기 이전에, 사용자를 호명하는(또는 사용자 이름을 부르는) 보이스를 프리픽스로 제공하고, 프리픽스 이후에 보이스 방식(710)에 따른 보이스를 출력하는 방식으로 피드백을 제공할 수 있다.
다양한 실시 예들에서, 비주얼 방식(730)은, 예를 들면, 사용자가 최종 단계를 인지할 수 있도록, 설정된 비주얼 효과에 기반하여 제공하는 방식일 수 있다. 일 실시 예에 따라, 설정된 비주얼 효과는 프로세스를 수행(또는 진행)하는 동안 최종 단계에 진입 시 시각적인 요소에 기반하여 강조 효과를 높이거나 사용자를 상기시키기 위한 다양한 효과에 의해 제공될 수 있다. 일 실시 예에 따르면, 설정된 비주얼 효과는 화면에 표시되는 적어도 하나에 객체(예: 사용자 확인을 위한 버튼)에 그래픽적 요소 변경(예: 컬러 변경, 모양 변경, 아이콘 추가 등), 화면의 밝기 변경(예: 국부적 변경, 또는 전체적 변경), 전자 장치(101)의 적어도 일부를 이용한 라이팅 효과(예: LED 라이팅, 에지 라이팅(edge lighting) 등) 등을 포함할 수 있다. 일 실시 예에 따라, 비주얼 방식(730)은 보이스 방식(710) 및/또는 사운드 방식(720)에 독립적(또는 개별적)으로, 또는 복합적으로 제공될 수 있다.
다양한 실시 예들에서, 진동 방식(740)은, 예를 들면, 사용자가 최종 단계를 인지할 수 있도록, 설정된 진동 효과에 기반하여 제공하는 방식일 수 있다. 일 실시 예에 따라, 설정된 진동 효과는 프로세스를 수행(또는 진행)하는 동안 최종 단계에 진입 시 촉각적인 요소(또는 햅틱)에 기반하여 강조 효과를 높이거나 사용자를 상기시키기 위한 다양한 진동 패턴에 기반하여 제공될 수 있다. 일 실시 예에 따라, 진동 패턴은 브랜드 아이덴티티에 따른 특유의 진동 패턴(예: 브랜드 아이덴티티에 따른 시엠송(또는 로고송)에 기반한 박자, 세기, 또는 속도를 가지는 패턴)을 포함할 수 있다.
다양한 실시 예들에 따르면, 보이스 방식(710), 사운드 방식(720), 비주얼 방식(730), 또는 진동 방식(740)은, 전자 장치(101)의 설정 방식 또는 전자 장치(101)의 디바이스 특성에 적어도 기반하여, 어느 하나의 방식이 독립적으로 제공되거나, 또는 적어도 두 개의 조합으로 복합적으로 제공될 수 있다. 예를 들면, 전자 장치(101)는 멀티모달 인터랙션(multimodal interaction)으로 최종 단계에 대한 피드백을 사용자에게 제공할 수 있다. 일 예로, 전자 장치(101)는 사용자와 보이스, 그래픽, 음악(사운드), 영상, 빛, 또는 진동 등으로 복합적으로 적어도 하나를 통합하여 피드백을 표현할 수 있다.
도 8a 내지 도 8d는 다양한 실시 예들에 따른 전자 장치에서 제공하는 피드백 방식의 일 예를 설명하기 위한 도면들이다.
도 8a 내지 도 8d에 도시한 바와 같이, 도 8a 내지 도 8d는 전자 장치(101)가 도 6에 예시한 바와 같은 디스플레이를 포함하는 디바이스고, 전자 장치(101)의 일 영역을 확대한 도면을 나타낼 수 있다. 예를 들면, 도 8a 내지 도 8d는 전자 장치(101)의 패널 영역(예: 도 6의 제3 영역(630))을 통해 최종 단계에서 제공되는 객체(예: 도 6의 객체(650))를 이용하여 비주얼 방식에 따른 적어도 하나의 효과를 이용하여 피드백을 제공하는 예를 나타낼 수 있다.
도 8a를 참조하면, 일 실시 예에 따라, 전자 장치(101)는 최종 단계를 확인 받기 위한 관련 객체(800)(예: 버튼, 아이콘, 또는 텍스트 등)(이하, 확인 객체(800)라 한다)의 컬러를 구별되게 제공할 수 있다. 일 예로, 전자 장치(101)는 확인 객체(800)의 컬러(예: 배경 컬러)를 설정된 제1 컬러(810)(예: 빨강) 또는 제2 컬러(820)(예: 녹색)로 변경하여 나타낼 수 있다. 일 실시 예에 따라, 확인 객체(800)의 컬러는 브랜드 아이덴티티에 기반하여, 해당 브랜드를 식별 가능한 대표 컬러로 나타낼 수 있다. 예를 들면, S사(또는 S사의 제품)에 관련된 서비스 수행 중에 최종 단계 진입 시, 확인 객체(800)의 컬러를 S사를 대표하는 특정 컬러(예: 파랑)로 변경하여 표시할 수 있다.
도 8b를 참조하면, 일 실시 예에 따라, 전자 장치(101)는 최종 단계를 확인 받기 위한 확인 객체(800)가 포커싱(focusing)되도록 하여 구별된 피드백을 제공할 수 있다. 일 예로, 전자 장치(101)는 확인 객체(800)의 테두리 외곽으로 글로 페이드 인/아웃(glow fade in/out)(830)하여 확인 객체(800)를 강조(또는 부각)하여 나타낼 수 있다.
도 8c를 참조하면, 일 실시 예에 따라, 전자 장치(101)는 최종 단계를 확인 받기 위한 확인 객체(800)(예: 버튼) 내의 텍스트에 기반하여 구별된 피드백을 제공할 수 있다. 일 예로, 전자 장치(101)는 확인 객체(800) 내의 텍스트(예: confirm reservation)를 설정된 제1 컬러(840) 또는 제2 컬러(850)로 변경하여 나타낼 수 있다. 일 예로, 전자 장치(101)는 확인 객체(800) 내의 텍스트에 깜빡임 효과를 적용하여 텍스트가 깜빡거리게 나타낼 수 있다. 일 예로, 전자 장치(101)는 확인 객체(800) 내의 텍스트를 대비색(contrast color)으로 반전을 반복하여 나타낼 수 있다. 예를 들면, 전자 장치(101)는 확인 객체(800) 내의 텍스트를 제1 컬러(840)(예: 흰색)와 제2 컬러(850)(예: 검정) 간에 반전을 반복하여 표시할 수 있다.
도 8d를 참조하면, 일 실시 예에 따라, 전자 장치(101)는 최종 단계를 확인 받기 위한 확인 객체(800)의 모양을 변경하거나, 또는 확인 객체(800) 내에 추가적인 객체(예: 아이콘, 로고, 또는 이미지 등)를 추가하여 구별된 피드백을 제공할 수 있다. 일 예로, 전자 장치(101)는 확인 객체(800) 내에, 해당 브랜드(또는 서비스, 기능)를 식별 가능한 대표 객체(예: 로고, 아이콘, 이미지 등)(860, 870)를 추가하여 나타낼 수 있다. 일 예로, 전자 장치(101)는 확인 객체(800)의 자체 모양을 해당 브랜드(또는 서비스, 기능)를 식별 가능한 모양으로 변경하여 나타낼 수도 있다. 일 실시 예에 따라, 확인 객체(800)의 모양이나, 또는 확인 객체(800) 내에 추가되는 객체(예: 860, 870)는 최종 단계를 식별 가능하도록 설정된 모양이나 객체를 이용하여 제공할 수도 있다.
도 9a 및 도 9b는 다양한 실시 예들에 따른 전자 장치에서 제공하는 피드백 방식의 다른 예를 설명하기 위한 도면들이다.
도 9a 및 도 9b에 도시한 바와 같이, 도 9a 및 도 9b는 전자 장치(101)의 화면의 밝기를 조정하여 최종 단계에 대해 피드백을 제공하는 예를 나타낼 수 있다.
도 9a를 참조하면, 일 실시 예에 따라, 전자 장치(101)는 최종 단계의 진입 시에(예: 서비스를 위한 파라미터가 모두 채워지는 경우), 화면의 적어도 일부 영역(예: 전체 화면, 또는 일부 화면)의 밝기(brightness)를 설정된 밝기(예: 최대 밝기)로 변경하여 최종 단계에 대해 사용자에게 강조할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 최종 단계 진입 시에 현재 설정된 화면 밝기를 최대 밝기로 변경하여 일정 시간동안 출력할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 일정 시간 경과 시에 변경된 밝기에서 이전의 밝기로 복귀하여 나타낼 수 있다. 일 실시 예에 따라, 전자 장치(101)는 화면 밝기 변경 시에, 화면을 전체적으로 변경하거나, 또는 화면을 국부적으로 변경할 수 있다. 일 실시 예에 따라, 국부적 변경은, 예를 들면, 패널 영역(900)(또는 객체(950)) 이외의 영역을 일정시간 동안 변경할 수 있다.
도 9b를 참조하면, 일 실시 예에 따라, 전자 장치(101)는 최종 단계의 진입 시에(예: 서비스를 위한 파라미터가 모두 채워지는 경우), 화면의 적어도 일부 영역(예: 전체 화면, 또는 일부 화면)에 페이드 인/아웃(fade in/out)하여 최종 단계에 대해 사용자에게 강조할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 최종 단계 진입 시에 현재 화면을 국부적으로, 또는 전체적으로 페이드 인/아웃 하여, 화면 변화에 의해 사용자가 최종 단계를 자각할 수 있도록 피드백 할 수 있다. 일 실시 예에 따라, 국부적 변경은, 예를 들면, 패널 영역(900)(또는 객체(950)) 이외의 영역을 일정시간 동안 변경할 수 있다.
도 10은 다양한 실시 예들에 따른 전자 장치에서 제공하는 피드백 방식의 다른 예를 설명하기 위한 도면이다.
도 10에 도시한 바와 같이, 도 10은 전자 장치(101)의 광 출력이 가능한 구성 요소(예: LED, 또는 에지 영역)를 통해 최종 단계에 대해 피드백을 제공하는 예를 나타낼 수 있다.
도 10을 참조하면, 일 실시 예에 따라, 전자 장치(101)는 최종 단계 진입 시에 전자 장치(101)의 외곽(또는 가장자리)을 통해 조명을 발광하여 제공할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 에지 영역(1000)을 이용한 에지 라이팅(edge lighting) 알림으로 최종 단계에 대한 피드백을 사용자에게 제공할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 전자 장치(101)에서 광 출력이 가능한 구성 요소(예: LED)를 이용하여 라이팅 효과에 의한 최종 단계를 피드백 할 수도 있다.
도 11은 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 11을 참조하면, 동작(1101)에서, 전자 장치(101)의 프로세서(120)(예: 프로세싱 회로를 포함하는 적어도 하나의 프로세서)(또는 도 3의 기능 처리 모듈(300))는 보이스 기반 가상 비서 동작 중에 설정된 단계를 감지할 수 있다. 일 실시 예에 따라, 프로세서(120)는 가상 비서 동작을 수행하는 동안, 프로세스 모니터링 결과에 기반하여 최종 단계의 진입을 판단할 수 있다.
동작(1103)에서, 프로세서(120)는 설정된 단계를 감지하는 것에 응답하여, 브랜드 아이덴티티(brand identity)를 판단할 수 있다. 다양한 실시 예들에서, 브랜드 아이덴티티는 인공 지능 서비스에서 사용자가 의도한 대상(또는 브랜드)(예: 대상 기능(예: 정보 삭제 기능, 메시지 전송 기능), 대상 업체, 또는 대상 물품(제품) 등)을 사용자가 쉽게 식별(또는 인지)할 수 있는 객체(object)를 포함할 수 있다.
동작(1105)에서, 프로세서(120)는 피드백에 관련된 피드백 속성을 판단할 수 있다. 다양한 실시 예들에서, 피드백 속성은, 예를 들면, 디바이스 특성, 또는 디바이스의 사용 상태 등에 적어도 기반하여, 제1 속성(예: 표시 속성(또는 그래픽 속성)), 제2 속성(예: 사운드 출력 속성), 제3 속성(예: 비주얼(또는 라이팅) 속성), 또는 제4 속성(예: 진동 출력 속성) 중 적어도 하나가 결정될 수 있다. 일 실시 예에 따라, 디바이스 특성은, 예를 들면, 전자 장치(101)가 특정 구성 요소(예: 디스플레이)를 포함하는지 여부, 또는 디바이스의 타입(예: 스마트폰, TV, 스마트 스피커, 또는 냉장고 등)에 적어도 기반하여 결정될 수 있다.
동작(1107)에서, 프로세서(120)는 판단하는 피드백 속성에 기반하여 브랜드 아이덴티티를 포함한 피드백 출력을 제어할 수 있다. 일 실시 예에 따라, 프로세서(120)는 제1 속성을 결정하는 것에 대응하여, 브랜드 아이덴티티를 그래픽 요소로 강조하여 최종 단계에 대한 피드백을 사용자에게 제공할 수 있다. 일 실시 예에 따라, 프로세서(120)는 제2 속성을 결정하는 것에 대응하여, 브랜드 아이덴티티를 사운드 요소(예: 시엠송)로 강조하여 최종 단계에 대한 피드백을 사용자에게 제공할 수 있다. 일 실시 예에 따라, 프로세서(120)는 제3 속성을 결정하는 것에 대응하여, 브랜드 아이덴티티를 라이팅 요소(예: LED 등을 이용한 특정 컬러 라이팅)로 강조하여 최종 단계에 대한 피드백을 사용자에게 제공할 수 있다. 일 실시 예에 따라, 프로세서(120)는 제4 속성을 결정하는 것에 대응하여, 브랜드 아이덴티티를 진동 요소(예: 특정 패턴에 기반한 진동)로 강조하여 최종 단계에 대한 피드백을 사용자에게 제공할 수 있다. 다양한 실시 예들에 따르면, 프로세서(120)는 피드백을 위한 속성으로 제1 속성 내지 제4 속성 중 적어도 두 개의 속성을 결정할 수 있고, 적어도 두 개의 속성에 대응하여 복수의 피드백 방식을 조합하여 최종 단계에 대한 피드백을 사용자에게 제공할 수 있다. 다양한 실시 예들에 다르면, 프로세서(120)는 브랜드 아이덴티티에 기반한 피드백을 출력할 때, 최종 단계에 대해 설정된 보이스 기반의 피드백을 함께 포함하여 제공할 수 있다.
도 12는 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 12를 참조하면, 동작(1201)에서, 전자 장치(101)의 프로세서(120)(예: 프로세싱 회로를 포함하는 적어도 하나의 프로세서)(또는 도 3의 기능 처리 모듈(300))는 보이스 기반 가상 비서 동작 중에 설정된 단계를 감지할 수 있다. 일 실시 예에 따라, 프로세서(120)는 가상 비서 동작을 수행하는 동안, 프로세스 모니터링 결과에 기반하여 최종 단계의 진입을 감지할 수 있다. 일 실시 예에 따라, 프로세서(120)는 사용자와 인터랙션에 따라 기능(또는 서비스)에 관련된 파라미터(또는 필드)(예: 예약 인원, 예약 날짜, 예약 시간, 컨택 정보(contact information) 등)가 모두 채워지는 경우 최종 단계 진입인 것으로 판단할 수 있다.
동작(1203)에서, 프로세서(120)는 설정된 단계를 감지하는 것에 응답하여, 브랜드 아이덴티티를 판단할 수 있다. 다양한 실시 예들에서, 브랜드 아이덴티티는 인공 지능 서비스에서 사용자가 의도한 대상(또는 브랜드)(예: 대상 기능, 대상 업체, 또는 대상 물품 등)을 사용자가 쉽게 식별(또는 인지)할 수 있는 객체를 포함할 수 있다.
동작(1205)에서, 프로세서(120)는 디바이스 특성을 판단할 수 있다. 일 실시 예에 따라, 프로세서(120)는 전자 장치(101)가 특정 구성 요소(예: 디스플레이, LED, 광 출력이 가능한 구성 요소, 또는 진동 출력이 가능한 구성 요소 등)를 포함하는지 여부에 적어도 기반하여 디바이스 특성(예: 피드백 출력 방식)을 판단할 수 있다. 일 실시 예에 따라, 프로세서(120)는 디바이스의 타입(예: 스마트폰, TV, 스마트 스피커, 또는 냉장고 등)에 적어도 기반하여 디바이스 특성을 판단할 수 있다.
동작(1207)에서, 프로세서(120)는 디바이스 특성에 적어도 기반하여 출력 속성(예: 제1 속성)을 결정할 수 있다. 일 실시 예에 따라, 프로세서(120)는 전자 장치(101)가 디스플레이를 포함하는 경우 화면을 이용한 피드백 출력이 가능한 속성을 가지는 것으로 판단할 수 있다. 일 실시 예에 따라, 프로세서(120)는 전자 장치(101)가 에지 영역에 의한 에지 라이팅, 또는 LED에 의한 광 출력을 지원하는 경우 광을 이용한 피드백 출력이 가능한 속성을 가지는 것으로 판단할 수 있다. 일 실시 예에 따라, 프로세서(120)는 전자 장치(101)가 진동 출력을 지원하는 경우 진동을 이용하여 피드백 출력이 가능한 속성을 가지는 것으로 판단할 수 있다.
동작(1209)에서, 프로세서(120)는 디바이스의 사용 상태를 판단할 수 있다. 일 실시 예에 따라, 프로세서(120)는 다양한 상황 인지 기술에 기반하여 전자 장치(101)가 현재 사용자에 의해 사용 중인지 여부(예: 파지 상태인지, 또는 디스플레이가 온(on) 상태인지)를 판단할 수 있다. 일 실시 예에 따라, 프로세서(120)는 디스플레이를 통해 특정 영상이 현재 출력 중인 여부를 판단할 수 있다. 일 실시 예에 따라, 프로세서(120)는 다양한 근접 센싱 기술에 기반하여 사용자가 전자 장치(101)에 근접해 있는지, 또는 다양한 안면 인식 기술에 기반하여 전자 장치(101)를 바라보고 있는지 등의 여부를 판단할 수도 있다.
동작(1211)에서, 프로세서(120)는 디바이스의 사용 상태에 기반하여 출력 속성(예: 제2 속성)을 결정할 수 있다. 일 실시 예에 따라, 프로세서(120)는 전자 장치(101)가 현재 사용 중인 경우 디바이스 사용과 연관지어 피드백을 위한 출력 속성을 결정할 수 있다. 일 실시 예에 따라, 프로세서(120)는 전자 장치(101)가 디스플레이를 통해 특정 영상을 출력 중인 경우 디스플레이 사용과 연관지어 피드백을 위한 출력 속성을 결정할 수 있다. 일 실시 예에 따라, 프로세서(120)는 사용자가 전자 장치(101)에 근접되어 있는지 여부에 연관지어 피드백을 위한 출력 속성을 결정할 수 있다. 일 실시 예에 따라, 프로세서(120)는 사용자의 시선이 전자 장치(101)를 바라보고 있는지 여부에 연관지어 피드백을 위한 출력 속성을 결정할 수 있다.
동작(1213)에서, 프로세서(120)는 출력 속성에 적어도 기반하여 피드백 방식을 결정할 수 있다. 일 실시 예에 따라, 프로세서(120)는 디바이스의 특성에 기반한 출력 속성과 디바이스의 사용 상태에 기반한 출력 속성의 조합에 기반하여 최종 피드백 방식을 결정할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 디바이스 특성, 또는 디바이스의 사용 상태 등에 적어도 기반하여, 제1 속성(예: 표시 속성(또는 그래픽 속성)), 제2 속성(예: 사운드 출력 속성), 제3 속성(예: 비주얼(또는 라이팅) 속성), 또는 제4 속성(예: 진동 출력 속성) 중 적어도 하나의 피드백 방식을 결정할 수 있다. 일 실시 예에 따라, 프로세서(120)는 전자 장치(101)가 제1 속성 내지 제4 속성에 따른 피드백을 위한 모든 구성 요소를 포함하고, 전자 장치(101)가 사용되고 있는 상태인 경우, 제1 속성 내지 제4 속성에 기반하여 피드백 방식을 결정할 수 있다. 일 실시 예에 따라, 프로세서(120)는 전자 장치(101)가 제1 속성 내지 제4 속성에 따른 피드백을 위한 모든 구성 요소를 포함하지만, 디스플레이가 오프(off)이거나, 사용자가 근접해 있지 않거나, 또는 전자 장치(101)를 바라보고 있지 않은 등의 상태인 경우, 예를 들면, 제1 속성과 제3 속성을 제외하고, 제2 속성과 제4 속성에 기반하여 피드백 방식을 결정할 수 있다. 일 실시 예에 따라, 프로세서(120)는 전자 장치(101)가 디스플레이를 디스플레이, LED, 또는 진동 출력을 위한 구성(예: 진동 모터 등) 중 적어도 하나를 포함하지 않는 경우, 포함되지 않은 구성 요소에 관련된 속성을 제외하고, 디바이스의 사용 상태에 대응하는 적어도 하나의 속성에 기반하여 피드백 방식을 결정할 수 있다.
동작(1215)에서, 프로세서(120)는 브랜드 아이덴티티와 피드백 방식에 적어도 기반하여 적어도 하나의 피드백 출력을 제어할 수 있다. 일 실시 예에 따라, 프로세서(120)는 제1 속성 내지 제4 속성을 모두 결정하는 경우, 화면 출력(예: 그래픽적 요소 변경 또는 화면 밝기 조정 등), 사운드 출력(예: 보이스 출력), 라이팅 출력(예: LED 출력, 에지 라이팅 출력), 및 진동 출력(예: 진동 패턴 출력)에 기반하여 피드백을 제공할 수 있다. 일 실시 예에 따라, 프로세서(120)는 제1 속성과 제2 속성을 결정하는 경우 화면 출력과 사운드 출력에 기반하여 피드백을 제공할 수 있다. 일 실시 예에 따라, 프로세서(120)는 제2 속성과 제4 속성을 결정하는 경우, 사운드 출력 및 진동 출력에 기반하여 피드백을 제공할 수 있다. 일 실시 예에 따라, 프로세서(120)는 제2 속성과 제3 속성을 결정하는 경우, 사운드 출력 및 라이팅 출력에 기반하여 피드백을 제공할 수 있다. 다양한 실시 예들에 따르면, 프로세서(120)는 피드백 방식에 대응하여 브랜드 아이덴티티를 적응적으로 반영하여 함께 제공할 수 있다. 예를 들면, 브랜드 아이덴티티의 객체를 시각적 요소, 청각적 요소, 또는 촉각적 요소에 적어도 기반하여 피드백 방식에 접목하여 피드백을 제공할 수 있다.
도 13은 다양한 실시 예들에 따른 전자 장치에서 피드백 방식의 예를 설명하기 위한 도면이다.
도 13에 도시한 바와 같이, 도 13은 전자 장치(101)가 디스플레이를 포함하지 않는 디바이스(이하, 스마트 스피커(1300)라 한다)인 것을 일 예로 설명한다.
도 13을 참조하면, 스마트 스피커(1300)는 가상 비서 동작을 수행하는 동안, 최종 단계를 감지하는 경우, 설정된 피드백 방식에 기반하여 적어도 하나의 피드백 출력을 제어할 수 있다. 다양한 실시 예들에서, 피드백 출력은, 보이스 방식(1310), 사운드 방식(1320), 비주얼 방식(1330), 또는 진동 방식(1340)에 적어도 기반하여, 사용자에게 특별한 주의를 필요로 하는 상황임을 사용자에게 명확히 알려주기 위한 것일 수 있다.
다양한 실시 예들에서, 보이스 방식(1310)은, 스마트 스피커(1300)가 설정된 보이스 속성(예: 톤, 성별 목소리, 억양, 강조 발성, 캐릭터 자체 변경 등)에 기반하여 피드백을 제공하는 방식일 수 있다.
다양한 실시 예들에서, 사운드 방식(1320)은, 스마트 스피커(1300)가 설정된 사운드에 기반하여 피드백을 제공하는 방식일 수 있다.
다양한 실시 예들에서, 비주얼 방식(1330)은, 스마트 스피커(1300)가 설정된 비주얼 효과에 기반하여 피드백을 제공하는 방식일 수 있다. 일 실시 예에 따라, 스마트 스피커(1300)는, 도시된 바와 같이, 디스플레이를 포함하지 않고, LED를 이용한 광원 출력을 지원할 수 있다. 따라서, 스마트 스피커(1300)에서 비주얼 방식(1330)은 화면을 이용한 그래픽적 요소 변경(예: 컬러 변경, 모양 변경, 아이콘 추가 등), 또는 밝기 변경 등과 같은 피드백 방식은 제외될 수 있고, 스마트 스피커(1300)의 LED를 이용한 라이팅 효과로 피드백을 제공할 수 있다.
다양한 실시 예들에서, 진동 방식(740)은, 스마트 스피커(1300)가 설정된 진동 효과에 기반하여 피드백을 제공하는 방식일 수 있다.
다양한 실시 예들에 따르면, 보이스 방식(1310), 사운드 방식(1320), 비주얼 방식(1330), 또는 진동 방식(1340)은, 디바이스 특성에 기반하여 각 방식이 다르게 제공될 수 있다. 다양한 실시 예들에 따르면, 보이스 방식(1310), 사운드 방식(1320), 비주얼 방식(1330), 또는 진동 방식(1340)은 어느 하나의 방식이 독립적으로 제공되거나, 또는 적어도 두 개의 조합으로 복합적으로 제공될 수 있다. 예를 들면, 전자 장치(101)는 멀티모달 인터랙션(multimodal interaction)으로 최종 단계에 대한 피드백을 사용자에게 제공할 수 있다.
도 14는 다양한 실시 예들에 따른 전자 장치가 디바이스 타입에 기반하여 피드백을 결정하는 예를 설명하기 위한 도면이다.
도 14에 도시한 바와 같이, 도 14는 전자 장치(101)가 디스플레이를 포함하는 대형 디바이스(예: 냉장고)(이하, 가전 장치(1400)이라 한다)인 것을 일 예로 설명한다.
도 14를 참조하면, 가전 장치(1400)는 디바이스 특성에 따라 진동 출력을 지원하지 않는 디바이스일 수 있다. 따라서, 가전 장치(1400)에서는, 다양한 실시 예들에 따른 보이스 방식(1410), 사운드 방식(1420), 비주얼 방식(1430), 또는 진동 방식(1440) 중, 진동 방식(1440)에 의한 피드백은 제외될 수 있다.
일 실시 예에 따라, 가전 장치(1400)는, 가상 비서 동작을 수행하는 동안, 최종 단계를 감지하는 경우, 근접 센싱 기술 또는 안면 인식 기술 등에 기반하여, 사용자의 근접 또는 사용자의 시선을 판단할 수 있다. 일 실시 예에 따라, 가전 장치(1400)는, 사용자가 근접하지 않거나, 또는 사용자의 시선이 가전 장치(1400)가 아닌 다른 방향을 바라보고 있다고 판단하는 경우, 피드백 출력에서 비주얼 방식(1430)은 제외하고, 보이스 방식(140)과 사운드 방식(1420)에 적어도 기반하여 피드백을 제공할 수 있다.
이상에서 살펴본 바와 같이, 다양한 실시 예들에 따른 전자 장치(101)의 동작 방법은, 사용자와 대화 형식의 인터랙션에 기반하여 서비스를 수행하는 동작, 상기 서비스를 수행하는 동안 프로세스(process)를 모니터링 하는 동작, 상기 모니터링 하는 결과에 기반하여 설정된 단계의 진입을 감지하는 동작, 상기 설정된 단계에 대한 적어도 하나의 피드백을 사용자에게 출력하는 동작을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 모니터링 하는 동작은, 상기 사용자와 대화 형식의 인터랙션 동안, 상기 서비스의 동작 시나리오에 따른 최종 단계의 진입 여부를 판단하는 동작을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 최종 단계의 진입 여부를 판단하는 동작은, 상기 서비스의 동작 시나리오에 따른 파라미터(parameter)가 모두 채워지는 경우, 상기 최종 단계의 진입을 판단하는 동작을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 피드백을 출력하는 동작은, 시각적, 청각적, 또는 촉각적 요소에 적어도 기반하여 상기 최종 단계를 강조하는 피드백을 출력하는 동작을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 피드백을 출력하는 동작은, 보이스 방식, 사운드 방식, 비주얼 방식, 또는 진동 방식 중 적어도 하나의 피드백 방식에 기반하여 상기 피드백을 출력하는 동작을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 피드백을 출력하는 동작은, 상기 전자 장치의 디바이스 특성에 기반하여 상기 적어도 하나의 피드백에 대한 피드백 방식을 결정하는 동작을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 피드백을 출력하는 동작은, 상기 전자 장치의 사용 상태에 기반하여 상기 적어도 하나의 피드백에 대한 피드백 방식을 결정하는 동작을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 피드백을 출력하는 동작은, 브랜드 아이덴티티(BI, brand identity)를 포함하여 상기 피드백을 출력하는 동작을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 브랜드 아이덴티티는, 상기 서비스에서 사용자가 의도한 대상을 사용자가 쉽게 식별할 수 있는 객체(object)를 포함할 수 있다.
다양한 실시 예들에 따라, 상기 피드백을 출력하는 동작은, 피드백 방식에 대응하여 시각적, 청각적, 또는 촉각적 요소의 객체(object)로 상기 브랜드 아이덴티티를 구성하는 동작을 포함할 수 있다.
본 명세서와 도면에 개시된 본 발명의 다양한 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
101, 1300, 1400: 전자 장치
120: 프로세서
130: 메모리
160: 표시 장치
300: 기능 처리 모듈

Claims (22)

  1. 전자 장치에 있어서,
    사용자와 보이스 기반의 대화 인터랙션을 수행하기 위한 입출력 인터페이스; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 사용자와 상기 보이스 기반의 대화 인터랙션에 기반하여 인공 지능(AI, artificial intelligence) 서비스를 실행하고,
    사용자의 발화로부터 사용자의 의도를 인식하고, 사용자의 의도에 대응하여 응답을 출력하고,
    상기 사용자와 보이스 기반의 대화 인터랙션을 통해 진행 중인 AI 서비스의 프로세스(process)를 모니터링하여, 상기 프로세스에서 상기 AI 서비스의 최종 단계 진입 여부를 판단하고,
    상기 모니터링 결과에 기반하여 최종 단계의 진입 여부를 감지하고,
    상기 최종 단계 진입을 감지한 결과에 응답하여 브랜드 아이덴티티(BI, brand identity)를 결정하고,
    상기 전자 장치가 구성 요소를 포함하는지 여부에 기반하여 상기 전자 장치의 디바이스 특성을 결정하고,
    상기 사용자의 근접 또는 상기 사용자의 시선에 기반하여 상기 전자 장치의 사용 상태를 결정하고,
    상기 전자 장치의 디바이스 특성 및 상기 전자 장치의 사용 상태에 기반하여 복수의 피드백 방식 중 하나의 피드백 방식을 결정하고, 및
    상기 결정된 브랜드 아이덴티티와 상기 결정된 피드백 방식을 이용하여, 적어도 하나의 피드백을 사용자에게 출력하여 상기 사용자에게 최종 단계를 알리도록 설정되고,
    상기 최종 단계는 사용자와의 인터랙션 처리 결과로 명령을 실행하기 이전에 상기 명령을 실행할지 여부를 확인하는 단계를 포함하고,
    상기 브랜드 아이덴티티는 상기 AI 서비스에서 사용자가 의도한 대상을 쉽게 식별할 수 있는 객체(object)를 포함하고,
    상기 적어도 하나의 피드백은 상기 최종 단계의 결과가 상기 사용자의 의도에 대응하는지 확인하기 위해 사용자에게 제공되는 정보를 포함하는 전자 장치.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 사용자와 대화 인터랙션 동안, 상기 AI 서비스의 동작 시나리오에 따른 최종 단계의 진입 여부를 판단하도록 설정된 전자 장치.
  3. 제2항에 있어서, 상기 프로세서는,
    상기 AI 서비스의 동작 시나리오에 따른 파라미터(parameter)가 모두 채워지는 경우, 상기 최종 단계의 진입을 판단하도록 설정된 전자 장치.
  4. 제2항에 있어서, 상기 프로세서는,
    시각적 요소, 청각적 요소, 또는 촉각적 요소 중 적어도 하나에 기반하여 상기 최종 단계를 강조하는 적어도 하나의 피드백을 출력하도록 설정된 전자 장치.
  5. 제2항에 있어서, 상기
    상기 복수의 피드백 방식은, 보이스 방식, 사운드 방식, 비주얼 방식, 또는 진동 방식 중 적어도 2개의 피드백 방식을 포함하는 전자 장치.
  6. 삭제
  7. 삭제
  8. 제2항에 있어서, 상기 프로세서는,
    상기 브랜드 아이덴티티를 포함하여 상기 적어도 하나의 피드백을 출력하도록 설정된 전자 장치.
  9. 삭제
  10. 제1항에 있어서, 상기 프로세서는,
    피드백 방식에 대응하여 시각적 요소, 청각적 요소, 또는 촉각적 요소의 객체(object)로 상기 브랜드 아이덴티티를 구성하도록 설정된 전자 장치.
  11. 전자 장치의 동작 방법에 있어서,
    사용자와 보이스 기반의 대화 인터랙션에 기반하여 인공 지능(AI, artificial intelligence) 서비스를 실행하는 동작;
    사용자의 발화로부터 사용자의 의도를 인식하고, 사용자의 의도에 대응하여 응답을 출력하는 동작;
    상기 사용자와 보이스 기반의 대화 인터랙션을 통해 진행 중인 AI 서비스의 프로세스(process)를 모니터링하여, 상기 프로세스에서 상기 AI 서비스의 최종 단계 진입 여부를 판단하는 동작;
    상기 모니터링 결과에 기반하여 최종 단계의 진입 여부를 감지하는 동작;
    상기 최종 단계 진입을 감지한 결과에 응답하여 브랜드 아이덴티티(BI, brand identity)를 결정하는 동작;
    상기 전자 장치가 구성 요소를 포함하는지 여부에 기반하여 상기 전자 장치의 디바이스 특성을 결정하는 동작;
    상기 사용자의 근접 또는 상기 사용자의 시선에 기반하여 상기 전자 장치의 사용 상태를 결정하는 동작;
    상기 전자 장치의 디바이스 특성 및 상기 전자 장치의 사용 상태에 기반하여 복수의 피드백 방식 중 하나의 피드백 방식을 결정하는 동작; 및
    상기 결정된 브랜드 아이덴티티와 상기 결정된 피드백 방식을 이용하여, 적어도 하나의 피드백을 사용자에게 출력하여 상기 사용자에게 최종 단계를 알리는 동작을 포함하고,
    상기 최종 단계는 사용자와의 인터랙션 처리 결과로 명령을 실행하기 이전에 상기 명령을 실행할지 여부를 확인하는 단계를 포함하고,
    상기 브랜드 아이덴티티는 상기 AI 서비스에서 사용자가 의도한 대상을 쉽게 식별할 수 있는 객체(object)를 포함하고,
    상기 적어도 하나의 피드백은 상기 최종 단계의 결과가 상기 사용자의 의도에 대응하는지 확인하기 위해 사용자에게 제공되는 정보를 포함하는 방법.
  12. 제11항에 있어서, 상기 모니터링 하는 동작은,
    상기 사용자와 대화 인터랙션 동안, 상기 AI 서비스의 동작 시나리오에 따른 최종 단계의 진입 여부를 판단하는 동작을 포함하는 방법.
  13. 제12항에 있어서, 상기 최종 단계 진입 여부를 판단하는 동작은,
    상기 AI 서비스의 동작 시나리오에 따른 파라미터(parameter)가 모두 채워지는 경우, 상기 최종 단계의 진입을 판단하는 동작을 포함하는 방법.
  14. 제12항에 있어서, 상기 적어도 하나의 피드백을 출력하는 동작은,
    시각적 요소, 청각적 요소, 또는 촉각적 요소 중 적어도 하나에 기반하여 상기 최종 단계를 강조하는 피드백을 출력하는 동작을 포함하는 방법.
  15. 제12항에 있어서,
    상기 복수의 피드백 방식은, 보이스 방식, 사운드 방식, 비주얼 방식, 또는 진동 방식 중 적어도 2개의 피드백 방식을 포함하는 방법.
  16. 삭제
  17. 삭제
  18. 제12항에 있어서, 상기 적어도 하나의 피드백을 출력하는 동작은,
    상기 브랜드 아이덴티티를 포함하여 상기 적어도 하나의 피드백을 출력하는 동작을 포함하는 방법.
  19. 삭제
  20. 제12항에 있어서, 상기 적어도 하나의 피드백을 출력하는 동작은,
    피드백 방식에 대응하여 시각적 요소, 청각적 요소, 또는 촉각적 요소의 객체(object)로 상기 브랜드 아이덴티티를 구성하는 동작을 포함하는 방법.
  21. 제1항에 있어서,
    상기 결정된 피드백 방식은 사용자와의 대화 인터랙션 중 사용된 보이스와는 다른 보이스를 사용하는 보이스 방식을 포함하는 전자 장치.
  22. 제1항에 있어서, 상기 프로세서는,
    상기 AI 서비스의 상기 최종 단계의 완료 이전에 사용자 의도를 확인하기 위한 사용자 입력을 수신하도록 설정된 전자 장치.
KR1020180092613A 2018-08-08 2018-08-08 전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치 KR102607666B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180092613A KR102607666B1 (ko) 2018-08-08 2018-08-08 전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치
EP19846116.2A EP3799629A4 (en) 2018-08-08 2019-08-08 METHOD AND DEVICE FOR FEEDING BACK AN ELECTRONIC DEVICE TO CONFIRM USER INTENTION
US16/535,926 US11714598B2 (en) 2018-08-08 2019-08-08 Feedback method and apparatus of electronic device for confirming user's intention
PCT/KR2019/009947 WO2020032608A1 (en) 2018-08-08 2019-08-08 Feedback method and apparatus of electronic device for confirming user's intention
CN201980052580.XA CN112543910A (zh) 2018-08-08 2019-08-08 用于确认用户的意图的电子装置的反馈方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180092613A KR102607666B1 (ko) 2018-08-08 2018-08-08 전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200017249A KR20200017249A (ko) 2020-02-18
KR102607666B1 true KR102607666B1 (ko) 2023-11-29

Family

ID=69406723

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180092613A KR102607666B1 (ko) 2018-08-08 2018-08-08 전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치

Country Status (5)

Country Link
US (1) US11714598B2 (ko)
EP (1) EP3799629A4 (ko)
KR (1) KR102607666B1 (ko)
CN (1) CN112543910A (ko)
WO (1) WO2020032608A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8984431B2 (en) 2009-03-16 2015-03-17 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US10706096B2 (en) 2011-08-18 2020-07-07 Apple Inc. Management of local and remote media items
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US9990129B2 (en) 2014-05-30 2018-06-05 Apple Inc. Continuity of application across devices
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
DK201970533A1 (en) 2019-05-31 2021-02-15 Apple Inc Methods and user interfaces for sharing audio
KR102436985B1 (ko) 2019-05-31 2022-08-29 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
CN111782965B (zh) * 2020-06-29 2023-08-11 北京百度网讯科技有限公司 意图推荐方法、装置、设备及存储介质
US11392291B2 (en) * 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing
CN117198286A (zh) * 2022-06-01 2023-12-08 华为技术有限公司 一种语音交互方法及终端
KR102565198B1 (ko) * 2022-11-30 2023-08-11 주식회사 엘젠 사용자 맞춤형 대화를 수행하는 디지털 휴먼 제공 방법 및 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020082989A1 (en) * 2000-10-04 2002-06-27 Fife John P. System and method for providing feedback in an interactive payment system
US20030018531A1 (en) * 2000-09-08 2003-01-23 Mahaffy Kevin E. Point-of-sale commercial transaction processing system using artificial intelligence assisted by human intervention
US20070061497A1 (en) 2005-09-14 2007-03-15 Sony Corporation Player and playing method and program
JP2008046299A (ja) 2006-08-14 2008-02-28 Nissan Motor Co Ltd 音声認識装置
JP2017079051A (ja) 2015-09-08 2017-04-27 アップル インコーポレイテッド ゼロレイテンシデジタルアシスタント
WO2018093468A1 (en) 2016-11-21 2018-05-24 Google Inc. Providing prompt in an automated dialog session based on selected content of prior automated dialog session

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6643624B2 (en) * 1998-03-09 2003-11-04 Yan Philippe Method and system for integrating transaction mechanisms over multiple internet sites
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8373549B2 (en) * 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
KR101474963B1 (ko) 2008-07-01 2014-12-19 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US8386252B2 (en) * 2010-05-17 2013-02-26 Avaya Inc. Estimating a listener's ability to understand a speaker, based on comparisons of their styles of speech
WO2013012159A1 (ko) 2011-07-19 2013-01-24 에스케이플래닛 주식회사 지능형 정보 제공 시스템 및 방법
KR101854357B1 (ko) * 2011-07-19 2018-06-14 에스케이플래닛 주식회사 사용자 의도에 따른 지능형 정보 제공 시스템, 방법 및 그에 대한 기록매체
KR101262700B1 (ko) * 2011-08-05 2013-05-08 삼성전자주식회사 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
US9024749B2 (en) * 2011-12-20 2015-05-05 Chris Ratajczyk Tactile and visual alert device triggered by received wireless signals
KR20140115862A (ko) * 2013-03-22 2014-10-01 주식회사 이비카드 모바일 연동 결제 방법 및 시스템
US9818061B1 (en) * 2013-10-22 2017-11-14 Lumin, LLC Collaboration of audio sensors for geo-location and continuous tracking of multiple users in a device-independent artificial intelligence (AI) environment
US20170017501A1 (en) * 2013-12-16 2017-01-19 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
US10459608B2 (en) 2014-12-01 2019-10-29 Ebay Inc. Mobile optimized shopping comparison
US9959129B2 (en) * 2015-01-09 2018-05-01 Microsoft Technology Licensing, Llc Headless task completion within digital personal assistants
CN105898584A (zh) * 2015-08-12 2016-08-24 乐视致新电子科技（天津）有限公司 一种语音信息反馈方法、装置及一种电视机
KR102538348B1 (ko) * 2015-09-17 2023-05-31 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 제어 방법
US10467615B1 (en) * 2015-09-30 2019-11-05 Square, Inc. Friction-less purchasing technology
US10170116B1 (en) * 2016-09-21 2019-01-01 Amazon Technologies, Inc. Maintaining context for voice processes
KR20180054362A (ko) 2016-11-15 2018-05-24 삼성전자주식회사 사용자의 음성 입력을 인식하는 방법 및 장치
KR20180083587A (ko) * 2017-01-13 2018-07-23 삼성전자주식회사 전자 장치 및 그의 동작 방법
US20180314532A1 (en) * 2017-04-26 2018-11-01 Google Inc. Organizing messages exchanged in human-to-computer dialogs with automated assistants
US10643618B1 (en) * 2017-06-05 2020-05-05 Project 4011, Llc Speech recognition technology to improve retail store checkout

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030018531A1 (en) * 2000-09-08 2003-01-23 Mahaffy Kevin E. Point-of-sale commercial transaction processing system using artificial intelligence assisted by human intervention
US20020082989A1 (en) * 2000-10-04 2002-06-27 Fife John P. System and method for providing feedback in an interactive payment system
US20070061497A1 (en) 2005-09-14 2007-03-15 Sony Corporation Player and playing method and program
JP2008046299A (ja) 2006-08-14 2008-02-28 Nissan Motor Co Ltd 音声認識装置
JP2017079051A (ja) 2015-09-08 2017-04-27 アップル インコーポレイテッド ゼロレイテンシデジタルアシスタント
WO2018093468A1 (en) 2016-11-21 2018-05-24 Google Inc. Providing prompt in an automated dialog session based on selected content of prior automated dialog session

Also Published As

Publication number Publication date
US20200050426A1 (en) 2020-02-13
EP3799629A4 (en) 2021-08-11
US11714598B2 (en) 2023-08-01
KR20200017249A (ko) 2020-02-18
EP3799629A1 (en) 2021-04-07
WO2020032608A1 (en) 2020-02-13
CN112543910A (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
KR102607666B1 (ko) 전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치
US11868680B2 (en) Electronic device and method for generating short cut of quick command
KR102298947B1 (ko) 음성 데이터 처리 방법 및 이를 지원하는 전자 장치
US20210065716A1 (en) Voice processing method and electronic device supporting the same
US11170768B2 (en) Device for performing task corresponding to user utterance
KR102348758B1 (ko) 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
KR102416782B1 (ko) 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
KR102339819B1 (ko) 프레임워크를 이용한 자연어 표현 생성 방법 및 장치
KR102517228B1 (ko) 사용자의 입력에 대한 외부 전자 장치의 응답 시간에 기반하여 지정된 기능을 제어하는 전자 장치 및 그의 방법
KR102369083B1 (ko) 음성 데이터 처리 방법 및 이를 지원하는 전자 장치
KR102440651B1 (ko) 자연어 표현 제공 방법 및 이를 지원하는 전자 장치
KR102431817B1 (ko) 사용자 발화를 처리하는 전자 장치 및 서버
US10996922B2 (en) Electronic apparatus for processing user utterance
KR102464120B1 (ko) 사용자 발화를 처리하는 전자 장치
US11474780B2 (en) Method of providing speech recognition service and electronic device for same
US10929009B2 (en) Electronic device for outputting graphic indication
KR102379753B1 (ko) 발화를 이용하여 결제를 수행하는 전자 장치 및 방법
KR102426411B1 (ko) 사용자 발화을 처리하는 전자 장치 및 시스템
JP2019175453A (ja) ユーザ音声入力の処理を含むシステム及びその動作方法並びに電子装置
US11308953B2 (en) Speech recognition method and electronic device for supporting the same
KR102616156B1 (ko) 컨텐츠를 생성하기 위한 전자 장치
US20220415325A1 (en) Electronic device and method for processing user input
US20220413988A1 (en) Electronic device and method for processing user input
KR102402224B1 (ko) 사용자 발화에 대응하는 태스크를 수행하는 전자 장치
KR20200100379A (ko) 전자 장치의 단축 기능 제공 방법 및 이를 사용하는 전자 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right