KR20140144104A - 전자기기 및 이의 서비스 제공 방법 - Google Patents

전자기기 및 이의 서비스 제공 방법 Download PDF

Info

Publication number
KR20140144104A
KR20140144104A KR1020130066180A KR20130066180A KR20140144104A KR 20140144104 A KR20140144104 A KR 20140144104A KR 1020130066180 A KR1020130066180 A KR 1020130066180A KR 20130066180 A KR20130066180 A KR 20130066180A KR 20140144104 A KR20140144104 A KR 20140144104A
Authority
KR
South Korea
Prior art keywords
service
services
user message
message
control command
Prior art date
Application number
KR1020130066180A
Other languages
English (en)
Inventor
양지윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130066180A priority Critical patent/KR20140144104A/ko
Priority to US14/297,077 priority patent/US20140365922A1/en
Priority to EP14171650.6A priority patent/EP2813931B1/en
Publication of KR20140144104A publication Critical patent/KR20140144104A/ko
Priority to US16/884,710 priority patent/US20200287853A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/14—Charging, metering or billing arrangements for data wireline or wireless communications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

전자기기 및 이의 서비스 제공 방법이 제공된다. 본 전자기기의 서비스 제공 방법은 복수의 서비스를 통합하여 제공하는 대화형 어플리케이션을 실행하고, 대화형 어플리케이션이 실행되는 동안 복수의 서비스 중 적어도 하나가 선택된 경우, 선택된 적어도 하나의 서비스와 대화를 수행하기 위한 채팅 화면을 디스플레이하며, 채팅 화면을 통해 사용자 메시지가 입력되면, 선택된 적어도 하나의 서비스에 따라 사용자 메시지를 분석하여 적어도 하나의 서비스에 대한 사용자 메시지에 대응되는 기능을 수행한다.

Description

전자기기 및 이의 서비스 제공 방법{Electronic apparatus and Method for providing service thereof}
본 발명은 전자기기 및 이의 서비스 제공 방법에 관한 것으로, 더욱 상세하게는 대화형 어플리케이션을 통해 다양한 서비스를 통합하여 제공할 수 있는 전자기기 및 이의 서비스 제공 방법에 관한 것이다.
근래의 전자기기(예를 들어, 모바일 폰)는 다양한 어플리케이션을 통해 다양한 서비스를 제공하고 있다. 이러한 다양한 서비스는 각각 독립된 어플리케이션에 의해 제공되므로, 각각의 서비스를 제공받기 위해서는 대응되는 어플리케이션을 따로 실행해야 한다. 예를 들어, 사용자는 날씨 정보 제공 서비스를 실행하기 위해, 날씨 정보 어플리케이션을 실행해야 하며, 일정 관리 서비스를 실행하기 위해, 일정 관리 어플리케이션을 실행해야 한다.
즉, 상술한 바와 같이, 특정 서비스를 사용하기 위해서는 사용자가 원하는 어플리케이션을 따로따로 찾아서 실행해야 하는 번거로움이 존재하게 된다. 또한, 각각의 서비스를 제공하기 위한 어플리케이션들은 고유의 UI를 가지므로, 사용자들이 각각의 서비스를 원활히 수행하기 위해, 각각의 어플리케이션의 UI를 사용하는데 익숙해지기 위해서는 학습 시간이 필요하게 된다.
따라서, 다양한 서비스를 하나의 어플리케이션의 통합된 UI를 통해 제공하기 위한 방안의 모색이 요청된다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 하나의 대화형 어플리케이션을 통해 다양한 서비스를 통합된 채팅 UI를 이용하여 실행할 수 있는 전자기기 및 이의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자기기의 제어 방법은, 복수의 서비스를 통합하여 제공하는 대화형 어플리케이션을 실행하는 단계; 상기 복수의 서비스 중 적어도 하나가 선택된 경우, 상기 선택된 적어도 하나의 서비스와 대화를 수행하기 위한 채팅 화면을 디스플레이하는 제1 디스플레이 단계; 및 상기 채팅 화면을 통해 사용자 메시지가 입력되면, 상기 선택된 적어도 하나의 서비스에 따라 상기 사용자 메시지를 분석하여 상기 적어도 하나의 서비스에 대한 상기 사용자 메시지에 대응되는 기능을 수행하는 단계;를 포함한다.
또한, 상기 수행하는 단계는, 상기 입력된 사용자 메시지를 분석하여 제어 명령을 생성하고, 상기 생성된 제어 명령을 상기 적어도 하나의 서비스에 대응되는 외부 기기에 전송하는 단계;를 포함할 수 있다.
그리고, 상기 외부기기로부터 상기 제어 명령에 응답한 피드백 정보가 수신되면, 상기 피드백 정보에 대응되는 응답 메시지를 생성하고, 상기 응답 메시지를 상기 채팅 화면에 디스플레이하는 제2 디스플레이 단계;를 포함할 수 있다.
또한, 상기 사용자 메시지 및 상기 응답 메시지는 말풍선 형태로 상기 채팅 화면에 디스플레이될 수 있다.
그리고, 상기 제1 디스플레이 단계는, 상기 대화형 어플리케이션이 실행되는 경우, 상기 복수의 서비스 중 적어도 하나의 서비스를 선택하기 위한 UI를 디스플레이하는 단계; 및 상기 UI를 통해 상기 복수의 서비스 중 적어도 하나가 선택된 경우, 상기 선택된 적어도 하나와 대화를 수행하기 위한 채팅 화면을 디스플레이하는 단계;를 포함할 수 있다.
또한, 상기 UI를 통해 상기 복수의 서비스 중 적어도 두 개의 서비스가 선택된 경우, 상기 적어도 두 개의 서비스 중 하나에 대응되는 외부기기로부터 수신된 상기 피드백 정보가 상기 적어도 두 개의 서비스 중 다른 하나에 관련된 정보인 경우, 상기 피드백 정보를 분석하여 상기 적어도 두 개의 서비스 중 상기 다른 하나의 서비스에 대응되는 외부 기기에 제어 명령을 전송하는 단계;를 더 포함할 수 있다.
그리고, 상기 제2 디스플레이 단계는, 상기 적어도 하나의 서비스 중 상기 제어 명령에 의해 제어되지 못하는 외부기기에 대응되는 서비스가 존재하는 경우, 상기 채팅 화면에 상기 사용자 메시지를 인식할 수 없음을 안내하는 메시지를 디스플레이할 수 있다.
또한, 상기 수행하는 단계는, 상기 입력된 사용자 메시지를 분석하여 제어 명령을 생성하고, 상기 생성된 제어 명령에 따라 상기 전자 기기 내에서 상기 적어도 하나의 서비스에 대응되는 기능을 수행하는 단계;를 포함할 수 있다.
그리고, 상기 대화형 어플리케이션은, 상기 복수의 서비스를 제공하는 복수의 프로그램 및 상기 복수의 프로그램이 애드온되어 상기 복수의 서비스를 통합관리하는 플랫폼 프로그램을 포함할 수 있다.
또한, 상기 수행하는 단계는, 상기 사용자 메시지가 입력되면, 상기 플랫폼 프로그램에서 상기 사용자 메시지에 대한 자연 언어 처리(Natural Language Processing)를 수행하여 상기 사용자 메시지에 대응되는 제어 명령을 생성하는 단계;를 포함할 수 있다.
그리고, 사용자 명령에 따라 서비스를 제공하는 프로그램이 다운로드된 경우, 상기 다운로드된 프로그램을 상기 플랫폼 프로그램에 설치하는 단계;를 포함할 수 있다.
또한, 상기 채팅 화면에 존재하는 기설정된 아이콘이 선택되면, 상기 적어도 하나의 서비스를 제어하기 위한 제어 메뉴를 디스플레이하는 단계;를 더 포함할 수 있다.
그리고, 상기 복수의 서비스는, 일정 관리 서비스, 메모 서비스, 날씨 정보 제공 서비스, 소셜 네트워크 서비스, 외부기기 제어 서비스, 제품 구매 서비스 및 컨텐츠 저장 서비스 중 적어도 하나를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자기기는, 디스플레이부; 외부기기와 통신을 수행하는 통신부; 및 복수의 서비스를 통합하여 제공하는 대화형 어플리케이션이 실행되는 동안 상기 복수의 서비스 중 적어도 하나가 선택되면, 상기 적어도 하나의 서비스와 대화를 수행하기 위한 채팅 화면을 디스플레이하도록 상기 디스플레이부를 제어하며, 상기 채팅 화면을 통해 사용자 메시지가 입력되면, 상기 적어도 하나의 서비스에 따라 상기 사용자 메시지를 분석하여 상기 적어도 하나의 서비스에 대한 상기 사용자 메시지에 대응되는 기능을 수행하는 제어부;를 포함한다.
또한, 상기 제어부는, 상기 입력된 사용자 메시지를 분석하여 제어 명령을 생성하고, 상기 생성된 제어 명령을 상기 적어도 하나의 서비스에 대응되는 외부 기기에 전송하도록 상기 통신부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 통신부를 통해 상기 외부기기로부터 상기 제어 명령에 응답한 피드백 정보가 수신되면, 상기 피드백 정보에 대응되는 응답 메시지를 생성하고, 상기 응답 메시지를 상기 채팅 화면에 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 제어부는, 상기 사용자 메시지 및 상기 응답 메시지를 말풍선 형태로 상기 채팅 화면에 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 대화형 어플리케이션이 실행되는 경우, 상기 복수의 서비스 중 적어도 하나의 서비스를 선택하기 위한 UI를 디스플레이하며, 상기 UI를 통해 상기 복수의 서비스 중 적어도 하나가 선택된 경우, 상기 선택된 적어도 하나와 대화를 수행하기 위한 채팅 화면을 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 UI를 통해 상기 복수의 서비스 중 적어도 두 개의 서비스가 선택된 경우, 상기 제어부는, 상기 적어도 두 개의 서비스 중 하나에 대응되는 외부기기로부터 수신된 상기 피드백 정보가 상기 적어도 두 개의 서비스 중 다른 하나에 관련된 정보이면, 상기 피드백 정보를 분석하여 상기 적어도 두 개의 서비스 중 상기 다른 하나의 서비스에 대응되는 외부 기기에 제어 명령을 전송하도록 상기 통신부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 적어도 하나의 서비스 중 상기 제어 명령에 의해 제어되지 못하는 외부기기에 대응되는 서비스가 존재하는 경우, 상기 채팅 화면에 상기 사용자 메시지를 인식할 수 없음을 안내하는 메시지를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 제어부는, 상기 입력된 사용자 메시지를 분석하여 제어 명령을 생성하고, 상기 생성된 제어 명령에 따라 상기 전자 기기 내에서 상기 적어도 하나의 서비스에 대응되는 기능을 수행할 수 있다.
그리고, 상기 대화형 어플리케이션은, 상기 복수의 서비스를 제공하는 복수의 프로그램 및 상기 복수의 프로그램이 애드온되어 상기 복수의 서비스를 통합관리하는 플랫폼 프로그램을 포함할 수 있다.
또한, 상기 플랫폼 프로그램은, 상기 사용자 메시지에 대한 자연 언어 처리를 수행하기 위한 구성을 포함할 수 있다.
그리고, 상기 제어부는, 사용자 명령에 따라 서비스를 제공하는 프로그램이 다운로드된 경우, 상기 다운로드된 프로그램을 상기 플랫폼 프로그램에 설치할 수 있다.
또한, 상기 제어부는, 상기 채팅 화면에 존재하는 기설정된 아이콘이 선택되면, 상기 적어도 하나의 서비스를 제어하기 위한 제어 메뉴를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 복수의 서비스는, 일정 관리 서비스, 메모 서비스, 날씨 정보 제공 서비스, 소셜 네트워크 서비스, 외부기기 제어 서비스, 제품 구매 서비스 및 컨텐츠 저장 서비스 중 적어도 하나를 포함할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자가 다양한 서비스를 하나의 통합된 채팅 UI를 통해 수행함으로써, 사용자는 더욱 쉽고 직관적으로 다양한 서비스를 수행할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 서비스 제공 시스템을 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, 전자기기의 블럭도를 간략히 도시한 도면,
도 3은 본 발명의 일 실시예에 따른, 전자기기의 블럭도를 상세히 도시한 도면,
도 4는 본 발명의 일 실시예에 따른, 저장부에 저장된 대화형 어플리케이션을 설명하기 위한 도면,
도 5는 본 발명의 일 실시예에 따른, 대화형 어플리케이션의 시작 화면을 도시한 도면,
도 6 내지 도 14c는 본 발명의 다양한 실시예에 따른, 대화형 어플리케이션을 이용하여 다양한 서비스를 제공하는 방법을 설명하기 위한 도면,
도 15는 본 발명의 일 실시예에 따른, 전자기기의 서비스 제공 방법을 설명하기 위한 흐름도,
도 16은 본 발명의 다양한 실시예에 따른, 서비스 제공 시스템에서 서비스를 제공하기 위한 방법을 설명하기 위한 시퀀스도, 그리고,
도 17a 및 도 17b는 본 발명의 일 실시예에 따른, 플러그인 인터페이스 모듈에서 정의하는 언어의 실시예를 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명에 대해 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른, 복수의 서비스 제공자(10-1,10-2,10-3), 서비스 저장 서버(20), 전자기기(100) 및 복수의 외부 기기(30-1,30-2,30-3)를 포함한다.
서비스 제공자(10)는 사용자에게 서비스를 제공하기 위한 서비스 프로그램을 기정의된 규약에 의해 패키징하여 서비스 저장 서버(20)로 전송한다. 예를 들어, 서비스 제공자(10)는 서비스 프로그램을 gzip 포맷으로 패키징할 수 있다. 이때, 패키징된 서비스 프로그램은 json으로 작성된 플러그인 프로필 정보를 포함할 수 있다. 한편, 서비스 프로그램은 자체적으로 실행될 수 있으나, 이는 일 실시예에 불과할 뿐, 대화형 어플리케이션에 의해서만 실행될 수 있는 라이브러리 형태의 프로그램일 수 있다.
그리고, 도 1에 도시된 바와 같이, 복수의 서비스 제공자(10-1,10-2,10-3) 각각은 각각의 서비스 프로그램을 서비스 저장 서버(20)로 전송할 수 있다.
서비스 저장 서버(20)는 복수의 서비스 제공자(10-1,10-2,10-3)로부터 수신된 복수의 패키징된 서비스 프로그램을 저장한다. 그리고, 전자기기(100)로부터 프로그램 다운로드 요청이 수신되는 경우, 서비스 저장 서버(20)는 프로그램 다운로드 요청에 응답하여 복수의 서비스 프로그램을 전자기기(100)에 전송할 수 있다.
이때, 서비스 저장 서버(20)는 서비스 프로그램의 packing/unpacking 기능, package publish/install 기능, package 리스트 테이블 관리 및 Package 버전 관리 등을 수행할 수 있다.
전자기기(100)는 서비스 저장 서버(20)로부터 복수의 서비스 프로그램을 다운로드 한다. 그리고, 전자기기(100)는 다운로드된 복수의 서비스 프로그램을 대화형 어플리케이션의 플랫폼 프로그램에 설치한다. 즉, 전자기기(100)는 복수의 서비스 프로그램을 하나의 대화형 어플리케이션으로 통합하여 복수의 서비스를 제공할 수 있다. 이때, 전자기기(100)는 대화형 어플리케이션의 채팅 화면을 이용하여 복수의 서비스를 제공할 수 있다.
그리고, 적어도 하나의 서비스를 수행하기 위해 대화형 어플리케이션의 채팅 화면을 통해 사용자 메시지가 입력되면, 전자기기(100)는 입력된 사용자 메시지를 분석하여 사용자 메시지에 대응되는 제어 명령을 생성하고, 제어 명령에 따라 적어도 하나의 서비스에 대한 기능을 수행할 수 있다. 예를 들어, 전자기기(100)는 제어 명령에 따라 내부의 기능을 수행하거나 서비스에 대응되는 외부기기(30)에 제어 명령을 전송할 수 있다.
전자기기(100)로부터 제어 명령이 수신되는 경우, 외부기기(30)는 제어 명령에 따라 서비스에 대한 특정 기능을 수행한다. 이때, 외부기기(30)는 에어컨, 보일러 등과 같은 가전 기기일 수 있으나, 이는 일 실시예에 불과할 뿐, 서비스를 제공하는 서버 역시 포함될 수 있다.
그리고, 외부기기(30)는 제어 명령에 응답한 피드백 정보를 생성하여 전자기기(100)로 전송할 수 있다.
피드백 정보가 수신되면, 전자기기(100)는 피드백 정보를 이용하여 응답 메시지를 생성하고, 생성된 응답 메시지를 대화형 어플리케이션의 채팅 화면에 디스플레이할 수 있다.
상술한 바와 같은, 서비스 제공 시스템에 의해, 사용자는 하나의 통합된 대화형 어플리케이션을 통해 다양한 서비스를 수행할 수 있게 된다.
도 2는 본 발명의 일 실시예에 따른, 대화형 어플리케이션을 제공하는 전자기기(100)의 블럭도를 도시한 도면이다. 도 2에 도시된 바와 같이, 전자기기(100)는 디스플레이부(110), 통신부(120) 및 제어부(130)를 포함한다. 이때, 전자기기(100)는 모바일 폰으로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 태블릿 PC, 데스크탑 PC, 노트북 PC, 디지털 TV 등과 같은 다양한 전자기기로 구현될 수 있다.
디스플레이부(110)는 제어부(130)의 제어에 의해 다양한 영상 데이터 및 UI를 디스플레이한다. 특히, 대화형 어플리케이션이 실행되는 경우, 디스플레이부(110)는 복수의 서비스 중 사용자가 실행하고자 하는 적어도 하나의 서비스를 선택할 수 있는 시작 화면을 디스플레이할 수 있다. 또한, 디스플레이부(110)는 선택된 적어도 하나의 서비스와 대화를 수행할 수 있는 채팅 화면을 디스플레이할 수 있다. 특히, 디스플레이부(110)는 채팅 화면에서 사용자 메시지 및 응답 메시지를 말 풍선 형태로 디스플레이할 수 있다.
통신부(120)는 서비스를 제공할 수 있는 외부의 다양한 기기와 통신을 수행한다. 특히, 통신부(120)는 사용자 메시지에 대응되는 제어 명령을 외부기기(30)에 전송할 수 있으며, 외부기기(30)로부터 제어 명령에 응답하는 피드백 정보를 수신할 수 있다. 또한, 통신부(120)는 서비스 제공 서버(20)로부터 서비스 프로그램을 다운로드할 수 있다.
제어부(130)는 사용자의 명령에 의해 전자기기(100)의 전반적인 동작을 제어한다. 특히, 복수의 서비스를 통합하여 제공하는 대화형 어플리케이션이 실행되는 경우, 대화형 어플리케이션이 실행되는 동안 복수의 서비스 중 적어도 하나가 선택되면, 제어부(130)는 선택된 적어도 하나의 서비스와 대화를 수행하기 위한 채팅 화면을 디스플레이하도록 디스플레이부(110)를 제어한다. 또한, 채팅 화면을 통해 사용자 메시지가 입력되면, 제어부(130)는 선택된 서비스에 따라 사용자 메시지를 분석하여 적어도 하나의 서비스에 대한 사용자 메시지에 대응되는 기능을 수행할 수 있다.
한편, 대화형 어플리케이션은 복수의 서비스를 제공하기 위한 복수의 프로그램 및 복수의 프로그램이 애드온되어 복수의 서비스를 통합 관리하는 플랫폼 프로그램을 포함할 수 있다. 구체적으로, 사용자 명령에 따라 서비스를 제공하는 서비스 프로그램이 다운로드된 경우, 제어부(290)는 플랫폼 프로그램에 다운로드된 서비스 프로그램을 설치할 수 있다. 또한, 플랫폼 프로그램은 사용자 메시지에 대한 자연 언어 처리(Natural Language Processing)를 수행하기 위한 구성을 포함할 수 있다.
구체적으로, 대화형 어플리케이션이 실행되는 경우, 제어부(130)는 설치된 복수의 서비스 중 적어도 하나의 서비스를 선택하기 위한 UI를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 여기서, 복수의 서비스는 일정 관리 서비스, 메모 서비스, 날씨 정보 제공 서비스, 소셜 네트워크 서비스, 외부기기 제어 서비스, 제품 구매 서비스 및 컨텐츠 저장 서비스 중 적어도 하나를 포함할 수 있다.
그리고, UI를 통해 적어도 하나의 서비스가 선택된 경우, 제어부(130)는 적어도 하나의 서비스와 대화를 수행할 수 있는 채팅 화면을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 이때, UI를 통해 하나의 서비스를 선택할 수 있으나, 이는 일 실시예에 불과할 뿐, 복수 개의 서비스를 선택할 수 있다.
그리고, 채팅 화면을 통해 사용자 메시지가 입력되면, 제어부(130)는 입력된 사용자 메시지를 디스플레이하도록 디스플레이부(110)를 제어하고, 선택된 적어도 하나의 서비스에 따라 사용자 메시지를 분석한다. 구체적으로, 제어부(130)는 동일한 사용자 메시지가 입력되더라도 제1 서비스가 선택된 경우, 제1 서비스에 따라 사용자 메시지를 분석하며, 제2 서비스가 선택된 경우, 제2 서비스에 따라 사용자 메시지를 분석할 수 있다. 예를 들어, "오늘 날씨 어때?"라는 사용자 메시지가 입력된 경우, SNS 서비스가 선택되면, 제어부(130)는 입력된 사용자 메시지를 SNS 서비스에 대응되도록 분석하여 "오늘 날씨 어때?"라는 멘션을 SNS 서버에 업로드하라는 제어 명령을 생성할 수 있다. 그러나, 날씨 정보 제공 서비스가 선택되면, 제어부(130)는 입력된 사용자 메시지를 날씨 정보 제공 서비스에 대응되도록 분석하여 오늘 날씨에 대한 정보를 요청하는 제어 명령을 생성할 수 있다. 한편, 사용자 메시지가 자연어인 경우, 제어부(130)는 자연 언어 처리부를 이용하여 사용자 메시지를 분석할 수 있다.
특히, 선택된 적어도 하나의 서비스 중 전자기기(100)를 제어하기 위한 서비스가 포함된 경우, 제어부(130)는 사용자 메시지를 분석하여 제어 명령을 생성하고, 생성된 제어 명령에 따라 전자기기(100)를 제어할 수 있다.
선택된 적어도 하나의 서비스 중 외부 기기를 이용하는 서비스인 경우, 제어부(130)는 입력된 사용자 메시지를 분석하여 제어 명령을 생성하고, 생성된 제어 명령을 적어도 하나의 서비스에 대응되는 외부 기기(30)에 전송하도록 통신부(120)를 제어할 수 있다. 특히, 복수 개의 서비스가 선택된 경우, 제어부(130)는 입력된 사용자 메시지를 분석하여 생성된 제어 명령을 복수의 서비스에 대응되는 외부 기기에 각각 전송할 수 있다.
그리고, 제어부(130)는 제어 명령에 응답하는 피드백 정보를 이용하여 응답 메시지를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 구체적으로, 통신부(120)를 통해 외부기기(30)로부터 제어 명령에 응답한 피드백 정보가 수신되면, 제어부(130)는 피드백 정보에 대응되는 응답 메시지를 생성하고, 응답 메시지를 채팅 화면에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
이때, 적어도 하나의 서비스 중 전송된 제어 명령에 의해 제어되지 못하는 외부기기에 대응되는 서비스가 존재하는 경우, 제어부(130)는 채팅 화면에 제어 명령을 인식할 수 없음을 안내하는 메시지를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
또한, UI를 통해 복수 개의 서비스가 선택된 경우, 선택된 복수의 서비스 중 하나에 대응되는 외부기기로부터 수신된 피드백 정보가 복수의 서비스 중 다른 하나에 관련된 정보이면, 제어부(130)는 피드백 정보를 분석하여 적어도 두 개의 서비스 중 다른 하나의 서비스에 대응되는 외부 기기에 제어 명령을 전송하도록 통신부(120)를 제어할 수 있다.
또한, 채팅 화면에 존재하는 기설정된 아이콘이 선택되면, 제어부(130)는 적어도 하나의 서비스를 제어하기 위한 제어 메뉴를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 이때, 제어 메뉴를 통해 제어 아이콘이 선택되면, 제어부(130)는 선택돈 제어 아이콘을 사용자 메시지로 채팅 화면에 입력할 수 있다.
상술한 바와 같은 전자기기(100)에 의해, 사용자가 다양한 서비스를 하나의 통합된 대화형 어플리케이션을 통해 수행할 수 있게 된다. 특히, 사용자는 대화형 어플리케이션의 채팅 화면을 통해 의인화된 서비스와 대화하는 듯이 서비스를 수행할 수 있게 된다.
도 3은 본 발명의 일 실시예에 따른, 디스플레이 장치(100)의 구성을 상세히 도시한 블럭도이다. 디스플레이 장치(100)는 디스플레이부(110), 통신부(120), 영상 수신부(140), 오디오 출력부(150), 저장부(160), 영상 처리부(170), 오디오 처리부(180), 입력부(190) 및 제어부(130)를 포함한다.
한편, 도 3은 전자기기(100)가 통신 기능, 방송 수신 기능, 동영상 재생 기능, 디스플레이 기능 등과 같이 다양한 기능을 구비한 장치인 경우를 예로 들어, 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 2에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.
디스플레이부(110)는 영상 수신부(430)로부터 수신한 영상 데이터를 영상 처리부(170)가 처리한 비디오 프레임 및 그래픽 처리부(133)에서 생성된 다양한 화면 중 적어도 하나를 디스플레이한다. 특히, 대화형 어플리케이션이 실행되는 경우, 디스플레이부(110)는 복수의 서비스 중 사용자가 실행하고자 하는 적어도 하나의 서비스를 선택할 수 있는 시작 화면을 디스플레이할 수 있다. 또한, 디스플레이부(110)는 선택된 적어도 하나의 서비스와 대화를 수행할 수 있는 채팅 화면을 디스플레이할 수 있다. 이때, 디스플레이부(110)는 채팅 화면에서 사용자가 입력한 사용자 메시지 및 제어 명령에 응답한 응답 메시지를 디스플레이할 수 있으며, 사용자 메시지 및 응답 메시지를 말 풍선 형태로 디스플레이할 수 있다.
통신부(120)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기 또는 외부의 서버와 통신을 수행하는 구성이다. 통신부(120)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
특히, 통신부(120)는 사용자 메시지에 응답한 제어 명령을 외부 기기(30)로 전송하며, 외부 기기(30)로부터 제어 명령에 응답하는 피드백 정보를 수신할 수 있다. 또한, 통신부(120)는 외부의 서비스 저장 서버(20)로부터 서비스 프로그램을 다운로드할 수 있다.
영상 수신부(140)는 다양한 소스를 통해 영상 데이터를 수신한다. 예를 들어, 영상 수신부(140)는 외부의 방송국으로부터 방송 데이터를 수신할 수 있으며, 외부 장치(예를 들어, DVD 장치)로부터 영상 데이터를 수신할 수 있다.
오디오 출력부(150)는 오디오 처리부(180)에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 특히, 외부기기(30)로부터 수신된 피드백 정보에 대응되는 응답 메시지가 디스플레이된 경우, 오디오 출력부(150)는 응답 메시지가 디스플레이됨을 안내하는 알림 음을 출력할 수 있다.
저장부(160)는 전자기기(100)를 구동하기 위한 다양한 모듈을 저장한다. 예를 들어, 저장부(160)에는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다. 이때, 베이스 모듈은 전자기기(100)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 모듈은 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다.
특히, 저장부(160)는 대화형 어플리케이션에 대한 각종 프로그램을 저장할 수 있다. 저장부(160)에 저장된 대화형 어플리케이션에 대해서는 도 4를 참조하여 설명하기로 한다.
대화형 어플리케이션은 플랫폼 프로그램(161) 및 복수의 서비스 프로그램(165-1,165-2,165-3)을 포함한다. 특히, 플랫폼 프로그램(161)은 UI 인터페이스 모듈(162), 플러그인 인터페이스 모듈(163), 자연 언어 처리 모듈(164)을 포함한다.
UI 인터페이스 모듈(162)은 대화형 어플리케이션을 수행하기 위한 다양한 UI 를 제공한다. 특히, UI 인터페이스 모듈(162)은 적어도 하나의 서비스와 대화를 수행할 수 있는 채팅 화면에 대한 UI 데이터를 포함할 수 있다.
플러그인 인터페이스 모듈(163)은 복수의 서비스 프로그램이 플랫폼 프로그램에 설치되어 서비스를 수행할 수 있도록 API(Application Program Interface)를 포함한다. 이때, 플러그인 인터페이스 모듈(163)은 도 17a에 도시된 바와 같은 응답 메시지의 규격을 정의한다. 또한, 플러그인 인터페이스 모듈(163)은 도 17b와 같은 마크업 언어(Markup Language)를 이용하여 서비스별로 제어 메뉴의 레이아웃을 제공할 수 있다.
자연 언어 처리 모듈(164)은 사용자가 입력한 사용자 메시지에 대한 자연 언어 처리 기능을 수행한다. 특히, 플랫폼 프로그램(161)에서 자연 언어 처리 모듈(164)을 구비함으로써, 서비스 제공자가 자연어 처리에 대해 고민하지 않고 서비스 프로그램의 개발에 참여할 수 있게 된다.
복수의 서비스 프로그램(165-1,165-2,165-3)은 외부의 서비스 저장 서버(20)로부터 다운로드되어 플랫폼 프로그램(161)에 설치될 수 있다. 특히, 복수의 서비스 프로그램(165-1,165-2,165-3)은 플러그인 인터페이스 모듈(163)을 통해 플랫폼 프로그램(161)에 애드온될 수 있다.
다시 도 3에 대해 설명하면, 영상 처리부(170)는 영상 수신부(140)에서 수신한 영상 데이터에 대한 처리를 수행하는 구성요소이다. 비디오 처리부(170)에서는 영상 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
오디오 처리부(180)는 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 오디오 처리부(180)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 오디오 처리부(180)에서 처리된 오디오 데이터는 오디오 출력부(150)로 출력될 수 있다.
입력부(190)는 전자기기(100)의 전반적인 동작을 제어하기 위한 사용자 명령을 수신한다. 특히, 입력부(280)는 대화형 어플리케이션을 실행하기 위한 사용자 명령, 수행하고자 하는 서비스를 선택하는 사용자 명령 등을 수신할 수 있다.
한편, 입력부(190)는 터치 패널로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 리모컨, 포인팅 디바이스 등과 같이 전자기기(100)를 제어할 수 있는 다른 입력 장치로 구현될 수 있다.
제어부(130)는 저장부(160)에 저장된 각종 프로그램을 이용하여 전자기기(100)의 전반적인 동작을 제어한다.
제어부(130)는 도 3에 도시된 바와 같이, RAM(131), ROM(132), 그래픽 처리부(133), 메인 CPU(134), 제1 내지 n 인터페이스(135-1 ~ 135-n), 버스(136)를 포함한다. 이때, RAM(131), ROM(132), 그래픽 처리부(133), 메인 CPU(134), 제1 내지 n 인터페이스(135-1 ~ 135-n) 등은 버스(136)를 통해 서로 연결될 수 있다.
ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(134)는 ROM(132)에 저장된 명령어에 따라 저장부(160)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(134)는 저장부(160)에 저장된 각종 어플리케이션 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(133)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 입력부(190)로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(110)의 디스플레이 영역 내에 표시된다.
메인 CPU(134)는 저장부(160)에 액세스하여, 저장부(160)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(134)는 저장부(160)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(135-1 내지 135-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
특히, 제어부(130)는 통신부(120)를 통해 서비스 저장 서버(20)로부터 다운로드한 복수의 서비스 프로그램(165-1,165-2,165-3)을 저장부(160)에 저장된 대화형 어플리케이션의 플랫폼 프로그램(161)에 설치할 수 있다.
그리고, 입력부(190)를 통해 대화형 어플리케이션의 실행 명령이 입력되면, 제어부(130)는 대화형 어플리케이션을 실행한다. 이때, 대화형 어플리케이션의 실행 명령은 디스플레이부(110)에 디스플레이된 대화형 어플리케이션에 대응되는 아이콘을 선택하는 사용자 명령일 수 있다.
대화형 어플리케이션이 실행되면, 제어부(130)는 도 5에 도시된 바와 같은 대화형 어플리케이션의 시작 화면을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 특히, 대화형 어플리케이션의 시작 화면은 전자기기(100)에 설치된 서비스에 대응되는 아이템을 포함하는 친구 탭(510), 복수의 서비스와의 채팅 기록을 포함하는 채팅 탭(520), 현재 전자기기(100)에 설치되지 않은 서비스를 안내하는 친구찾기 탭(530), 대화형 어플리케이션의 설정 항목을 포함하는 더보기 탭(540)을 포함할 수 있다.
특히, 친구 탭(510)이 선택된 경우, 제어부(130)는 전자기기(100)에 설치된 서비스에 대응되는 아이템들(551 내지 557)을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 예를 들어, 제어부(130)는 도 5에 도시된 바와 같이, 메모 서비스에 대응되는 아이템(551), 날씨 정보 안내 서비스에 대응되는 아이템(552), 트위터 서비스에 대응되는 아이템(553), 에어컨 제어 서비스에 대응되는 아이템(554), 페이스북 서비스에 대응되는 아이템(554), 컨텐츠 저장 서비스에 대응되는 아이템(556) 및 피자 구매 서비스에 대응되는 아이템(557)을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
입력부(190)를 통해 복수의 서비스에 대응되는 아이템(551 내지 557) 중 적어도 하나가 선택된 경우, 제어부(130)는 선택된 적어도 하나의 서비스와 대화를 수행하기 위한 채팅 화면을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
그리고, 입력부(190)를 통해 사용자 메시지가 입력된 경우, 제어부(130)는 입력된 사용자 메시지를 채팅 화면에 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어하며, 서비스 프로그램을 이용하여 입력된 사용자 메시지를 선택된 서비스에 대응되는 어플리케이션에 저장하거나, 입력된 사용자 메시지를 분석하여 사용자 메시지에 대응되는 제어 명령을 생성할 수 있다.
예를 들어, 메모 서비스를 선택한 경우, 채팅 화면상에서 "내일 오후까지 숙제"라는 사용자 메시지가 입력되면, 제어부(130)는 "내일 오후까지 숙제"라는 사용자 메시지를 메모 어플리케이션 내에 저장할 수 있다. 또는, TV 제어 서비스를 선택한 경우, 채팅 화면상에서 "오늘 무한 도전 예약 녹화"라는 사용자 메시지가 입력되면, 제어부(130)는 입력된 사용자 메시지를 분석하여 예약 녹화 명령을 생성하고, 생성된 예약 녹화 명령을 외부의 TV에 전송하도록 통신부(120)를 제어할 수 있다.
특히, 입력된 사용자 메시지가 기 정의된 언어가 아닌 자연어인 경우, 제어부(130)는 입력된 사용자 메시지를 자연 언어 처리하여 입력된 사용자 메시지에 대응되는 제어 명령을 분석할 수 있다. 예를 들어, 채팅 화면상에 "오늘 TV에 나오는 무한 도전 녹화 부탁"이라는 자연어가 사용자 메시지로 입력된 경우, 제어부(130)는 플랫폼 프로그램(161)에 포함된 자연 언어 처리 모듈(164)을 이용하여 입력된 사용자 메시지를 처리하고, 예약 녹화 명령을 생성할 수 있다.
그리고, 제어 명령에 응답하여 피드백 정보가 수신된 경우, 제어부(130)는 서비스 프로그램을 이용하여 피드백 정보에 대응되는 응답 메시지를 생성하고, 생성된 응답 메시지를 채팅 화면에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
구체적으로, "내일 오후까지 숙제"라는 사용자 메시지에 응답하여 사용자 메시지를 메모 어플리케이션에 저장했다는 피드백 정보가 수신된 경우, 제어부(130)는 피드백 정보에 대응되는 "저장 완료"라는 응답 메시지를 생성하고, 생성된 응답 메시지를 채팅 화면에 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 또는, "오늘 무한 도전 예약 녹화"라는 사용자 메시지에 응답하여 TV로부터 예약 완료 요청 확인이라는 피드백 정보가 입력된 경우, 제어부(130)는 피드백 정보에 대응되는 "예약 녹화하겠습니다"라는 응답 메시지를 생성하고, 생성된 응답 메시지를 채팅 화면에 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
이하에서는 채팅 화면을 통해 다양한 서비스와 대화하는 실시예들에 대해 설명하기로 한다.
도 6은 본 발명의 일 실시예에 따른, 메모 서비스와 대화를 수행하는 채팅 화면을 도시한 도면이다.
우선, 도 5에 도시된 바와 같은, 대화형 어플리케이션의 시작 화면에 포함된 복수의 아이템(551 내지 557) 중 메모 서비스에 대응되는 "My note 2.0"이라는 아이템(551)이 선택된 경우, 제어부(130)는 메모 서비스와 대화를 수행하기 위한 채팅 화면을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
채팅 화면이 디스플레이되는 동안 "죽기전에 꼭 가봐야할 여행지 50선!! http:// www.aaa.com"이라는 사용자 메시지가 입력된 경우, 제어부(130)는 입력된 사용자 메시지(610)를 채팅 화면에 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어하며, 메모 서비스 프로그램을 이용하여 입력된 사용자 메시지를 메모 서비스에 대응되는 메모 어플리케이션에 저장할 수 있다.
그리고, 메모 어플리케이션으로부터 사용자 메시지가 메모 폴더에 저장되었다는 피드백 정보가 수신되면, 제어부(130)는 메모 서비스 프로그램을 이용하여 수신된 피드백 정보에 대응되는 "저장 완료.(위치: 메모 폴더)"라는 응답 메시지를 생성하고, 도 6에 도시된 바와 같이, 생성된 응답 메시지(620)를 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
이때, "(위치: 메모 폴더)"라는 응답 메시지는 링크 정보를 포함하며, "메모 폴더"가 선택된 경우, 제어부(130)는 사용자 메시지가 저장된 메모 폴더로 이동하도록 디스플레이부(110)를 제어할 수 있다.
도 7은 본 발명의 일 실시예에 따른, 날씨 정보 안내 서비스와 대화를 수행하는 채팅 화면을 도시한 도면이다.
우선, 도 5에 도시된 바와 같은, 대화형 어플리케이션의 시작 화면에 포함된 복수의 아이템(551 내지 557) 중 날씨 정보 안내 서비스에 대응되는 "날씨"라는 아이템(552)이 선택된 경우, 제어부(130)는 날씨 정보 안내 서비스와 대화를 수행하기 위한 채팅 화면을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
채팅 화면이 디스플레이되는 동안 "날씨"라는 사용자 메시지가 입력된 경우, 제어부(130)는 입력된 사용자 메시지(710)를 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어한다. 그리고, 제어부(130)는 날씨 정보 제공 서비스 프로그램을 이용하여 입력된 사용자 메시지를 분석하고, "현재 날씨 정보 요청"이라는 제어 명령을 생성하며, 생성된 제어 명령을 외부의 날씨 정보 제공 서버에 전송하도록 통신부(120)를 제어할 수 있다. 이때, 전자기기(100)가 현재 위치를 나타내는 GPS 정보를 저장하는 경우, 제어부(130)는 GPS 정보를 제어 명령과 함께 날씨 정보 제공 서버로 전송할 수 있다.
그리고, 날씨 정보 제공 서버로부터 현재 서울의 날씨 정보가 포함된 피드백 정보가 수신되면, 제어부(130)는 날씨 정보 제공 서비스 프로그램을 이용하여 수신된 피드백 정보에 대응되는 현재 서울 날씨 정보를 나타내는 응답 메시지를 생성하고, 도 7에 도시된 바와 같이, 응답 메시지(720)를 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 이때, 응답 메시지에는 현재 날씨 정보, 현재 위치 정보, 미래 날씨 정보 등을 포함할 수 있다.
도 8은 본 발명의 일 실시예에 따른, 소셜 네트워크 서비스와 대화를 수행하는 채팅 화면을 도시한 도면이다.
우선, 도 5에 도시된 바와 같은, 대화형 어플리케이션의 시작 화면에 포함된 복수의 아이템(551 내지 557) 중 페이스북 서비스에 대응되는 "facebook"이라는 아이템(555)이 선택된 경우, 제어부(130)는 페이스북 서비스와 대화를 수행하기 위한 채팅 화면을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
채팅 화면이 디스플레이되는 동안 영상 컨텐츠 및 "집앞 벤치에서 날 보고 있던 강아지!!"라는 사용자 메시지가 입력된 경우, 제어부(130)는 입력된 사용자 메시지(810)를 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어한다. 그리고, 제어부(130)는 페이스북 서비스 프로그램을 이용하여 입력된 사용자 메시지를 분석하고, 영상 컨텐츠 및 "집앞 벤치에서 날 보고 있던 강아지!!"라는 사용자 메시지를 페이스북 서버에 업로드하라는 제어 명령을 생성하며, 생성된 제어 명령을 외부의 페이스북 서버에 전송하도록 통신부(120)를 제어할 수 있다.
그리고, 페이스북 서버로부터 현재 영상 컨텐츠 및 사용자 메시지가 업로드 되었다는 피드백 정보가 수신되면, 제어부(130)는 페이스북 서비스 프로그램을 이용하여 수신된 피드백 정보에 대응되는 "게시되었습니다. 확인하러 가기"라는 응답 메시지를 생성하고, 도 8에 도시된 바와 같이, 응답 메시지(820)를 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
이때, "확인하러가기"라는 응답 메시지는 링크 정보를 포함하며, "확인하러가기"가 선택된 경우, 제어부(130)는 페이스북 어플리케이션을 실행시키고, 영상 컨텐츠 및 사용자 메시지가 업로드된 페이지로 이동하도록 디스플레이부(110)를 제어할 수 있다.
또한, 페이스북 어플리케이션으로부터 이벤트 정보가 수신된 경우, 제어부(130)는 페이스북 서비스 프로그램을 이용하여 이벤트 정보에 대응되는 메시지를 생성하고, 생성된 메시지를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 구체적으로, 페이스북 어플리케이션으로부터 "친구 요청"의 이벤트 정보가 수신된 경우, 제어부(130)는 "친구 요청"의 이벤트 정보에 대응되는 요청 메시지를 생성하고, 도 8에 도시된 바와 같이, 생성된 요청 메시지(830)를 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 이때, 생성된 메시지에는 친구를 요청한 사람에 대한 정보 및 친구 요청 수락/거부 아이콘을 포함할 수 있다.
도 9는 본 발명의 일 실시예에 따른, 외부 기기 제어 서비스와 대화를 수행하는 채팅 화면을 도시한 도면이다.
우선, 도 5에 도시된 바와 같은, 대화형 어플리케이션의 시작 화면에 포함된 복수의 아이템(551 내지 557) 중 에어컨 제어 서비스에 대응되는 "에어컨"이라는 아이템(554)이 선택된 경우, 제어부(130)는 에어컨 제어 서비스와 대화를 수행하기 위한 채팅 화면을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
채팅 화면이 디스플레이되는 동안 영상 컨텐츠 및 "20°C 설정"라는 사용자 메시지가 입력된 경우, 제어부(130)는 입력된 사용자 메시지(910)를 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어한다. 그리고, 제어부(130)는 에어컨 제어 서비스 프로그램을 이용하여 입력된 사용자 메시지를 분석하고, 입력된 메시지에 대응되는 문의 메시지(920)를 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어한다. 이때, 문의 메시지는 실행 여부를 문의하는 아이콘들을 포함할 수 있다.
문의 메시지를 통해 온도 조절이라는 사용자 명령을 입력한 경우, 제어부(130)는 확인 메시지(930)를 디스플레이하도록 디스플레이부(110)를 제어한다. 그리고, 제어부(130)는 에어컨 제어 서비스 프로그램을 이용하여 입력된 사용자 메시지(910) 및 확인 메시지(930)에 대응되는 에어컨의 온도 조절을 위한 제어 명령을 생성하고, 생성된 제어 명령을 외부의 에어컨에 전송하도록 통신부(120)를 제어할 수 있다.
그리고, 에어컨으로부터 온도 조절 완료라는 피드백 정보가 수신되면, 제어부(130)는 에어컨 제어 서비스 프로그램을 이용하여 수신된 피드백 정보에 대응되는 "설정이 완료되었습니다!"라는 응답 메시지를 생성하고, 도 9에 도시된 바와 같이, 응답 메시지(940)를 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
도 10은 본 발명의 일 실시예에 따른, 컨텐츠 저장 서비스와 대화를 수행하는 채팅 화면을 도시한 도면이다.
우선, 도 5에 도시된 바와 같은, 대화형 어플리케이션의 시작 화면에 포함된 복수의 아이템(551 내지 557) 중 컨텐츠 저장 서비스에 대응되는 "DropBox"라는 아이템(556)이 선택된 경우, 제어부(130)는 컨텐츠 저장 서비스와 대화를 수행하기 위한 채팅 화면을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
채팅 화면이 디스플레이되는 동안 문서 컨텐츠(한국사의_이해.docx)가 사용자 메시지로 입력된 경우, 제어부(130)는 입력된 문서 컨텐츠에 대응되는 사용자 메시지(1010)를 채팅 화면에 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어하며, 컨텐츠 저장 서비스 프로그램을 이용하여 입력된 문서 컨텐츠를 컨텐츠 저장 서비스를 수행하는 외부 서버로 전송하도록 통신부(120)를 제어할 수 있다.
그리고, 외부 서버로부터 문서 컨텐츠의 업로드가 완료되었다는 피드백 정보가 수신되면, 제어부(130)는 컨텐츠 저장 서비스 프로그램을 이용하여 수신된 피드백 정보에 대응되는 "업로드 완료.(위치: 학교\강의노트)"라는 응답 메시지를 생성하고, 도 10에 도시된 바와 같이, 생성된 응답 메시지(1020)를 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
이때, "(위치: 학교\강의 노트)"라는 응답 메시지는 링크 정보를 포함하며, "학교\강의 노트"가 선택된 경우, 제어부(130)는 문서 컨텐츠가 저장된 "학교\강의노트 폴더"로 이동하도록 디스플레이부(110)를 제어할 수 있다.
도 11은 본 발명의 일 실시예에 따른, 피자 구매 서비스와 대화를 수행하는 채팅 화면을 도시한 도면이다.
우선, 도 5에 도시된 바와 같은, 대화형 어플리케이션의 시작 화면에 포함된 복수의 아이템(551 내지 557) 중 피자 구매 서비스에 대응되는 "피자집"이라는 아이템(557)이 선택된 경우, 제어부(130)는 피자 구매 서비스와 대화를 수행하기 위한 채팅 화면을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
채팅 화면이 디스플레이되는 동안 주문 내용을 포함하는 사용자 메시지가 입력된 경우, 제어부(130)는 입력된 주문 내용에 대응되는 사용자 메시지(1110)를 채팅 화면에 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 그리고, 제어부(130)는 피자 구매 서비스 프로그램을 이용하여 주문 내용의 확정을 문의하는 문의 메시지(1120)를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
문의 메시지를 통해 피자 구매를 확정하는 확인 메시지가 입력된 경우, 제어부(130)는 입력된 확인 메시지(1130)를 디스플레이하도록 디스플레이부(110)를 제어하며, 피자 구매 서비스 프로그램을 이용하여 사용자 메시지(1110) 및 확인 메시지(1130)에 대응되는 피자 구매 요청 명령을 외부의 피자집 서버에 전송하도록 통신부(120)를 제어할 수 있다.
그리고, 피자집 서버로부터 피자 주문이 요청되었다는 피드백 정보가 수신되면, 제어부(130)는 피자 구매 서비스 프로그램을 이용하여 수신된 피드백 정보에 대응되는 "접수되었습니다! 주문 취소는 지점으로 전화부탁드립니다"라는 응답 메시지를 생성하고, 도 11에 도시된 바와 같이, 생성된 응답 메시지(1140)를 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
한편, 상술한 실시예에서는 사용자가 하나의 서비스와 대화를 수행하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 사용자는 복수의 서비스와 대화를 수행할 수 있다.
도 12는 본 발명의 일 실시예에 따른, 복수의 서비스와 대화를 수행하는 채팅 화면을 도시한 도면이다.
우선, 도 5에 도시된 바와 같은, 대화형 어플리케이션의 시작 화면에 포함된 복수의 아이템(551 내지 557) 중 메모 서비스에 대응되는 "My note 2.0" 아이템(551), 트위터 서비스에 대응되는 "트위터" 아이템(553), 페이스북 서비스에 대응되는 "페이스북" 아이템(555), 에어컨 제어 서비스에 대응되는 "에어컨" 아이템(554)이 선택된 경우, 제어부(130)는 복수의 서비스와 대화를 수행하기 위한 채팅 화면을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
그리고, 채팅 화면이 디스플레이되는 동안 "죽기전에 꼭 가봐야할 여행지 50선!! http:// www.aaa.com"이라는 사용자 메시지가 입력된 경우, 제어부(130)는 입력된 사용자 메시지(610)를 채팅 화면에 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어하며, 메모 서비스 프로그램을 이용하여 입력된 사용자 메시지를 메모 서비스에 대응되는 메모 어플리케이션에 저장할 수 있다. 또한, 제어부(130)는 트위터 서비스 프로그램 및 페이스북 서비스 프로그램을 이용하여 입력된 사용자 메시지를 외부의 트위터 서버 및 페이스북 서버에 전송하도록 통신부(120)를 제어할 수 있다. 또한, 제어부(130)는 에어컨 제어 서비스 프로그램을 이용하여 입력된 사용자 메시지를 분석할 수 있다.
그리고, 메모 어플리케이션으로부터 사용자 메시지가 메모 폴더에 저장되었다는 피드백 정보가 수신되면, 제어부(130)는 메모 서비스 프로그램을 이용하여 수신된 피드백 정보에 대응되는 "저장 완료.(위치: 메모 폴더)"라는 응답 메시지를 생성하고, 도 12에 도시된 바와 같이, 생성된 응답 메시지(1230)를 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
또한, 트위터 서버 및 페이스북 서버로부터 사용자 메시지의 업로드가 완료되었다는 피드백 정보가 수신되면, 제어부(130)는 트위터 서비스 프로그램 및 페이스북 프로그램 서비스를 이용하여 수신된 피드백 메시지에 대응되는 응답 메시지를 생성하고, 도 12에 도시된 바와 같이, 생성된 응답 메시지(1220,1240)를 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
다만, 에어컨 서비스 프로그램이 입력된 사용자 메시지를 분석한 결과, 대응되는 제어 명령을 생성하지 못하는 경우, 메시지 분석에 실패했다는 피드백 정보가 입력되면, 제어부(130)는 도 12에 도시된 바와 같이, 사용자 메시지를 인식하지 못했다는 응답 메시지(1250)를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 즉, 제어부(130)는 적어도 하나의 서비스 중 상기 제어 명령에 의해 제어되지 못하는 외부기기에 대응되는 서비스가 존재하는 경우, 채팅 화면에 상기 사용자 메시지를 인식할 수 없음을 안내하는 메시지를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
상술한 바와 같이, 하나의 채팅 화면에서 복수의 서비스와 대화를 함으로써, 하나의 사용자 메시지를 통해 복수의 서비스를 동시에 수행할 수 있다.
또한, 시작 화면을 통해 복수의 서비스 중 적어도 두 개의 서비스가 선택된 경우, 제어부(130)는 적어도 두 개의 서비스 중 하나에 대응되는 외부기기로부터 수신된 피드백 정보가 적어도 두 개의 서비스 중 다른 하나에 관련된 정보인 경우, 피드백 정보를 분석하여 적어도 두 개의 서비스 중 상기 다른 하나의 서비스에 대응되는 외부 기기에 제어 명령을 전송하도록 통신부(120)를 제어할 수 있다.
도 13은 본 발명의 일 실시예에 따른, 날씨 정보 안내 서비스 및 에어컨 제어 서비스와 대화를 수행하는 채팅 화면을 도시한 도면이다.
우선, 도 5에 도시된 바와 같은, 대화형 어플리케이션의 시작 화면에 포함된 복수의 아이템(551 내지 557) 중 날씨 정보 안내 서비스에 대응되는 "날씨" 아이템(552) 및 에어컨 제어 서비스에 대응되는 "에어컨" 아이템(554)이 선택된 경우, 제어부(130)는 날씨 정보 안내 서비스 및 에어컨 제어 서비스와 대화를 수행하기 위한 채팅 화면을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
채팅 화면이 디스플레이되는 동안 "날씨"라는 사용자 메시지가 입력된 경우, 제어부(130)는 입력된 사용자 메시지(1310)를 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어한다. 그리고, 제어부(130)는 날씨 정보 제공 서비스 프로그램을 이용하여 입력된 사용자 메시지를 분석하고, "현재 날씨 정보 요청"이라는 제어 명령을 생성하며, 생성된 제어 명령을 외부의 날씨 정보 제공 서버에 전송하도록 통신부(120)를 제어할 수 있다. 이때, 전자기기(100)가 현재 위치를 나타내는 GPS 정보를 저장하는 경우, 제어부(130)는 GPS 정보를 제어 명령과 함께 날씨 정보 제공 서버로 전송할 수 있다.
그리고, 날씨 정보 제공 서버로부터 현재 서울의 날씨 정보가 포함된 피드백 정보가 수신되면, 제어부(130)는 날씨 정보 제공 서비스 프로그램을 이용하여 수신된 피드백 정보에 대응되는 현재 서울 날씨 정보를 나타내는 응답 메시지를 생성하고, 도 13에 도시된 바와 같이, 응답 메시지(1320)를 말풍선 형태로 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 이때, 응답 메시지에는 현재 날씨 정보, 현재 위치 정보, 미래 날씨 정보 등을 포함할 수 있다.
그리고, 에어컨 제어 서비스 프로그램을 이용하여 수신된 피드백 정보가 에어컨 제어 서비스에 관련된 것으로 판단된 경우, 제어부(130)는 에어컨 제어 서비스 프로그램을 이용하여 수신된 피드백 정보를 바탕으로 문의 메시지를 생성하고, 도 13에 도시된 바와 같이, 에어컨의 습기제거 기능의 수행 여부를 문의하는 문의 메시지(1330)를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
문의 메시지를 통해 에어컨 습기 제거 기능 수행에 대한 확인 메시지가 입력된 경우, 제어부(130)는 확인 메시지를 바탕으로 에어컨의 습기 제거 기능의 수행을 위한 제어 명령을 외부의 에어컨에 전송하도록 통신부(120)를 제어할 수 있다.
이에 의해, 복수의 서비스 중 하나의 피드백 정보가 다른 서비스와 관련된 경우, 다른 서비스와 관련된 기능을 자동으로 제공함으로써, 사용자는 관련 서비스를 동시에 수행할 수 있게 된다.
또한, 채팅 화면은 서비스를 더욱 용이하게 수행하기 위하여, 제어 명령을 생성하기 위한 제어 메뉴에 진입할 수 있는 아이콘을 포함한다.
구체적으로, 채팅 화면의 기설정된 영역에 디스플레이된 아이콘이 선택된 경우, 제어부(130)는 현재 채팅 화면에서 대화를 하고 있는 서비스와 관련한 제어 명령을 생성하기 위한 제어 메뉴를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 예를 들어, 도 14a에 도시된 바와 같이, 채팅 화면의 문자 입력창 옆에 디스플레이된 아이콘(1410)이 선택된 경우, 제어부(130)는 도 14b에 도시된 바와 같이, 현재 대화를 수행하고 있는 에어컨 제어 서비스와 관련된 제어 명령을 생성하기 위한 제어 메뉴를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 이때, 제어 메뉴에는 메뉴 숨기기 아이콘(1420), 온도 설정 아이콘(1430), 습기 제거 아이콘(1440), 공기 청정 아이콘(1450), 기기 설정 아이콘(1460) 등을 포함할 수 있다.
그리고, 제어 메뉴의 복수의 아이콘(1420 내지 1460) 중 온도 설정 아이콘(1430)이 선택된 경우, 제어부(130)는 도 14c에 도시된 바와 같이, 온도 설정 메뉴 화면(1470)을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
그리고, 온도 설정 메뉴 화면(1470)을 통해 온도 설정을 수행하고, 설정 완료 버튼을 입력한 경우, 제어부(130)는 도 14c의 채팅 화면 중 문자 입력창에 디스플레이된 바와 같이, 사용자에 의해 설정된 온도 설정을 사용자 메시지로 입력할 수 있다.
그리고, 전송 버튼이 선택된 경우, 제어부(130)는 도 14d에 도시된 바와 같이, 입력된 온도 설정을 사용자 메시지(1480)로 채팅 화면에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
상술한 바와 같이, 제어 메뉴를 통해 사용자 메시지를 생성함으로써, 사용자는 더욱 직관적으로 외부 기기를 제어할 수 있게 된다.
이하에서는 도 15를 참조하여 전자기기가 서비스를 제공하는 방법에 대해 설명하기로 한다.
우선, 전자기기(100)는 대화형 어플리케이션이 실행되었는지 여부를 판단한다(S1510). 이때, 대화형 어플리케이션은 디스플레이 화면에서 대화형 어플리케이션에 대응되는 아이콘이 선택됨으로써 실행될 수 있다.
대화형 어플리케이션이 실행된 경우(S1510-Y), 전자기기(100)는 복수의 서비스 중 적어도 하나의 서비스가 선택되었는지 여부를 판단한다(S1520). 구체적으로, 대화형 어플리케이션이 실행된 경우, 전자기기(100)는 복수의 서비스 중 적어도 하나의 서비스를 선택할 수 있는 UI를 디스플레이하고, UI에 입력된 사용자 명령에 따라 복수의 서비스 중 적어도 하나를 선택할 수 있다.
적어도 하나의 서비스가 선택된 경우(S1520-Y), 전자기기(100)는 선택된 적어도 하나의 서비스와 대화를 수행하기 위한 채팅 화면을 디스플레이한다(S1530). 구체적으로, 대화형 어플리케이션이 실행된 경우, 전자기기(100)는 설치된 복수의 서비스 중 대화를 수행하기 위한 적어도 하나의 서비스를 선택하기 위한 사용자 명령을 입력받는다. 복수의 서비스 중 적어도 하나의 서비스가 선택된 경우, 전자기기(100)는 선택된 적어도 하나의 서비스와 대화를 수행하기 위한 채팅 화면을 디스플레이할 수 있다.
그리고, 전자기기(100)는 사용자 메시지가 입력되었는지 여부를 판단한다(S1540).
사용자 메시지가 입력된 경우(S1540-Y), 전자기기(100)는 선택된 적어도 하나의 서비스에 따라 사용자 메시지를 분석하여 적어도 하나의 서비스에 대한 사용자 메시지에 대응되는 기능을 수행한다(S1550). 구체적으로, 선택된 적어도 하나의 서비스 중 전자기기(100)를 제어하기 위한 서비스가 포함된 경우, 전자기기(100)는 사용자 메시지를 분석하여 제어 명령을 생성하고, 생성된 제어 명령에 따라 전자기기(100)를 제어할 수 있다. 또한, 선택된 적어도 하나의 서비스 중 외부 기기(30)를 이용하는 서비스인 경우, 전자기기(100)는 입력된 사용자 메시지를 분석하여 제어 명령을 생성하고, 생성된 제어 명령을 적어도 하나의 서비스에 대응되는 외부 기기(30)에 전송하도록 통신부(120)를 제어할 수 있다. 특히, 복수 개의 서비스가 선택된 경우, 전자기기(100)는 입력된 사용자 메시지를 분석하여 생성된 제어 명령을 복수의 서비스에 대응되는 외부 기기에 각각 전송할 수 있다.
특히, 전자기기(100)는 동일한 사용자 메시지가 입력되더라도 제1 서비스가 선택된 경우, 제1 서비스에 따라 사용자 메시지를 분석하며, 제2 서비스가 선택된 경우, 제2 서비스에 따라 사용자 메시지를 분석할 수 있다. 예를 들어, "오늘 날씨 어때?"라는 사용자 메시지가 입력된 경우, SNS 서비스가 선택되면, 전자기기(100)는 입력된 사용자 메시지를 SNS 서비스에 대응되도록 분석하여 "오늘 날씨 어때?"라는 멘션을 SNS 서버에 업로드하라는 제어 명령을 생성할 수 있다. 그러나, 날씨 정보 제공 서비스가 선택되면, 전자기기(100)는 입력된 사용자 메시지를 날씨 정보 제공 서비스에 대응되도록 분석하여 오늘 날씨에 대한 정보를 요청하는 제어 명령을 생성할 수 있다.
상술한 방법에 의해, 사용자가 다양한 서비스를 하나의 통합된 채팅 UI를 통해 수행함으로써, 사용자는 더욱 쉽고 직관적으로 다양한 서비스를 수행할 수 있게 된다.
도 16은 본 발명의 다양한 실시예에 따른, 서비스 제공 시스템에서 서비스를 제공하기 위한 방법을 설명하기 위한 시퀀스도이다.
우선, 전자기기(100)는 사용자 명령에 따라 대화형 어플리케이션을 실행한다(S1610).
대화형 어플리케이션이 실행된 경우, 전자기기(100)는 대화형 어플리케이션의 시작 화면을 디스플레이한다(S1615). 대화형 어플리케이션의 시작 화면은 도 5에 도시된 바와 같은 화면일 수 있다.
그리고, 전자기기(100)는 시작 화면을 통해 설치된 복수의 대화를 하고자 하는 적어도 하나의 서비스를 선택한다(S1620). 이때, 전자기기(100)는 제1 외부기기(30-1)를 제어하기 위한 제1 서비스 및 제2 외부 기기(30-2)를 제어하기 위한 제2 서비스를 선택할 수 있다.
그리고, 전자기기(100)는 사용자 메시지를 입력받는다(S1625), 이때, 전자기기(100)는 입력된 사용자 메시지를 디스플레이할 수 있다.
그리고, 전자기기(100)는 사용자 메시지를 분석하여 제어 명령을 생성한다(S1630).
그리고, 전자기기(100)는 생성된 제어 명령을 제1 외부기기(30-1) 및 제2 외부기기(30-2)로 각각 전송한다(S1635,S1640).
제1 외부 기기(30-1) 및 제2 외부 기기(30-2)는 수신된 제어 명령에 대응되는 기능을 각각 수행한다(S1645,1650).
그리고, 제1 외부 기기(30-1) 및 제2 외부 기기(30-2)는 사용자 메시지에 대응되는 피드백 정보를 각각 생성한다(S1655,S1660)
그리고, 제1 외부 기기(30-1) 및 제2 외부 기기(30-2)는 생성한 피드백 정보를 각각 전자기기(100)로 전송한다(S1665, S1670).
전자기기(100)는 제1 외부 기기(30-1) 및 제2 외부 기기(30-2)로부터 전송된 피드백 정보들을 분석하여 피드백 정보에 대응되는 응답 메시지를 디스플레이한다(S1675).
상술한 바와 같이, 복수의 외부기기를 제어하기 위한 서비스와 대화를 수행하면서 외부기기를 제어함으로써, 사용자는 더욱 직관적이며 편리하게 복수의 서비스를 동시에 수행할 수 있다.
한편, 상술한 실시예에서는 사용자로부터 먼저 사용자 메시지가 입력되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 복수의 서비스 중 하나의 서비스에 기설정된 이벤트가 발생된 경우, 서비스에 대응되는 서비스 프로그램이 먼저 이벤트 메시지를 출력할 수 있다. 예를 들어, 날씨 정보 제공 서버로부터 날씨 정보가 수신되는 이벤트가 발생하면, 제어부(130)는 발생된 이벤트를 분석하여 날씨 정보를 포함하는 이벤트 메시지를 채팅 화면에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 또 다른 예로, 소셜 네트워크 서버로부터 다른 친구의 멘션이 업로드되었다는 정보가 수신되는 이벤트가 발생되면, 제어부(130)는 발생된 이벤트를 분석하여 친구의 멘션이 업로드되었다는 이벤트 메시지를 채팅 화면에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 또 다른 예로, 외부기기(예를 들어, 에어컨)로부터 기설정된 정보(예를 들어, 현재 집의 온도 정보)가 수신되는 이벤트가 발생된 경우, 제어부(130)는 발생된 이벤트를 분석하여 수신된 정보를 포함하는 이벤트 메시지를 채팅 화면에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
또한, 수신된 이벤트가 복수의 서비스 중 다른 하나의 서비스에 관련된 이벤트인 경우, 제어부(130)는 이벤트를 분석하여 다른 하나의 서비스에 대응되는 외부 기기에 제어 명령을 전송하도록 통신부(120)를 제어할 수 있다. 구체적으로, 날씨 정보 제공 서버로부터 날씨 정보가 수신되는 이벤트가 발생된 경우, 제어부(130)는 이벤트를 분석하여 날씨 정보를 포함하는 이벤트 메시지를 채팅 화면에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 그리고, 날씨 정보와 관련된 서비스인 에어컨 제어 서비스를 수행하기 위해, 제어부(130)는 온도 조절 명령을 생성하기 위한 문의 메시지를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 문의 메시지를 통해 온도 조절 명령을 전송하라는 사용자 명령이 입력된 경우, 제어부(130)는 온도 조절 명령을 생성하고, 생성된 온도 조절 명령을 전송하도록 외부의 에어컨으로 통신부(120)를 제어할 수 있다.
한편, 상술한 다양한 실시 예에 따른 서비스 제공 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다. 또한, 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다. 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110; 디스플레이부 120: 통신부
130: 제어부 140: 영상 수신부
150: 오디오 출력부 160: 저장부
170: 영상 처리부 180: 오디오 처리부
190: 입력부

Claims (26)

  1. 전자기기의 서비스 제공 방법에 있어서,
    복수의 서비스를 통합하여 제공하는 대화형 어플리케이션을 실행하는 단계;
    상기 복수의 서비스 중 적어도 하나가 선택된 경우, 상기 선택된 적어도 하나의 서비스와 대화를 수행하기 위한 채팅 화면을 디스플레이하는 제1 디스플레이 단계; 및
    상기 채팅 화면을 통해 사용자 메시지가 입력되면, 상기 선택된 적어도 하나의 서비스에 따라 상기 사용자 메시지를 분석하여 상기 적어도 하나의 서비스에 대한 상기 사용자 메시지에 대응되는 기능을 수행하는 단계;를 포함하는 서비스 제공 방법.
  2. 제1항에 있어서,
    상기 수행하는 단계는,
    상기 입력된 사용자 메시지를 분석하여 제어 명령을 생성하고, 상기 생성된 제어 명령을 상기 적어도 하나의 서비스에 대응되는 외부 기기에 전송하는 단계;를 포함하는 서비스 제공 방법.
  3. 제2항에 있어서,
    상기 외부기기로부터 상기 제어 명령에 응답한 피드백 정보가 수신되면, 상기 피드백 정보에 대응되는 응답 메시지를 생성하고, 상기 응답 메시지를 상기 채팅 화면에 디스플레이하는 제2 디스플레이 단계;를 포함하는 서비스 제공 방법.
  4. 제3항에 있어서,
    상기 사용자 메시지 및 상기 응답 메시지는 말풍선 형태로 상기 채팅 화면에 디스플레이되는 것을 특징으로 하는 서비스 제공 방법.
  5. 제3항에 있어서,
    상기 제1 디스플레이 단계는,
    상기 대화형 어플리케이션이 실행되는 경우, 상기 복수의 서비스 중 적어도 하나의 서비스를 선택하기 위한 UI를 디스플레이하는 단계; 및
    상기 UI를 통해 상기 복수의 서비스 중 적어도 하나가 선택된 경우, 상기 선택된 적어도 하나와 대화를 수행하기 위한 채팅 화면을 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 서비스 제공 방법.
  6. 제5항에 있어서,
    상기 UI를 통해 상기 복수의 서비스 중 적어도 두 개의 서비스가 선택된 경우,
    상기 적어도 두 개의 서비스 중 하나에 대응되는 외부기기로부터 수신된 상기 피드백 정보가 상기 적어도 두 개의 서비스 중 다른 하나에 관련된 정보인 경우, 상기 피드백 정보를 분석하여 상기 적어도 두 개의 서비스 중 상기 다른 하나의 서비스에 대응되는 외부 기기에 제어 명령을 전송하는 단계;를 더 포함하는 서비스 제공 방법.
  7. 제3항에 있어서,
    상기 제2 디스플레이 단계는,
    상기 적어도 하나의 서비스 중 상기 제어 명령에 의해 제어되지 못하는 외부기기에 대응되는 서비스가 존재하는 경우, 상기 채팅 화면에 상기 사용자 메시지를 인식할 수 없음을 안내하는 메시지를 디스플레이하는 것을 특징으로 하는 서비스 제공 방법.
  8. 제1항에 있어서,
    상기 수행하는 단계는,
    상기 입력된 사용자 메시지를 분석하여 제어 명령을 생성하고, 상기 생성된 제어 명령에 따라 상기 전자 기기 내에서 상기 적어도 하나의 서비스에 대응되는 기능을 수행하는 단계;를 포함하는 서비스 제공 방법.
  9. 제1항에 있어서,
    상기 대화형 어플리케이션은,
    상기 복수의 서비스를 제공하는 복수의 프로그램 및 상기 복수의 프로그램이 애드온되어 상기 복수의 서비스를 통합관리하는 플랫폼 프로그램을 포함하는 것을 특징으로 하는 서비스 제공 방법.
  10. 제9항에 있어서,
    상기 수행하는 단계는,
    상기 사용자 메시지가 입력되면, 상기 플랫폼 프로그램에서 상기 사용자 메시지에 대한 자연 언어 처리(Natural Language Processing)를 수행하여 상기 사용자 메시지에 대응되는 제어 명령을 생성하는 단계;를 포함하는 것을 특징으로 하는 서비스 제공 방법.
  11. 제9항에 있어서,
    사용자 명령에 따라 서비스를 제공하는 프로그램이 다운로드된 경우, 상기 다운로드된 프로그램을 상기 플랫폼 프로그램에 설치하는 단계;를 포함하는 서비스 제공 방법.
  12. 제1항에 있어서,
    상기 채팅 화면에 존재하는 기설정된 아이콘이 선택되면, 상기 적어도 하나의 서비스를 제어하기 위한 제어 메뉴를 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 서비스 제공 방법.
  13. 제1항에 있어서,
    상기 복수의 서비스는,
    일정 관리 서비스, 메모 서비스, 날씨 정보 제공 서비스, 소셜 네트워크 서비스, 외부기기 제어 서비스, 제품 구매 서비스 및 컨텐츠 저장 서비스 중 적어도 하나를 포함하는 것을 특징으로 하는 서비스 제공 방법.
  14. 전자기기에 있어서,
    디스플레이부;
    외부기기와 통신을 수행하는 통신부; 및
    복수의 서비스를 통합하여 제공하는 대화형 어플리케이션이 실행되는 동안 상기 복수의 서비스 중 적어도 하나가 선택되면, 상기 적어도 하나의 서비스와 대화를 수행하기 위한 채팅 화면을 디스플레이하도록 상기 디스플레이부를 제어하며, 상기 채팅 화면을 통해 사용자 메시지가 입력되면, 상기 적어도 하나의 서비스에 따라 상기 사용자 메시지를 분석하여 상기 적어도 하나의 서비스에 대한 상기 사용자 메시지에 대응되는 기능을 수행하는 제어부;를 포함하는 전자기기.
  15. 제14항에 있어서,
    상기 제어부는,
    상기 입력된 사용자 메시지를 분석하여 제어 명령을 생성하고, 상기 생성된 제어 명령을 상기 적어도 하나의 서비스에 대응되는 외부 기기에 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 전자기기.
  16. 제15항에 있어서,
    상기 제어부는,
    상기 통신부를 통해 상기 외부기기로부터 상기 제어 명령에 응답한 피드백 정보가 수신되면, 상기 피드백 정보에 대응되는 응답 메시지를 생성하고, 상기 응답 메시지를 상기 채팅 화면에 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 전자기기.
  17. 제16항에 있어서,
    상기 제어부는,
    상기 사용자 메시지 및 상기 응답 메시지를 말풍선 형태로 상기 채팅 화면에 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 전자기기.
  18. 제16항에 있어서,
    상기 제어부는,
    상기 대화형 어플리케이션이 실행되는 경우, 상기 복수의 서비스 중 적어도 하나의 서비스를 선택하기 위한 UI를 디스플레이하며, 상기 UI를 통해 상기 복수의 서비스 중 적어도 하나가 선택된 경우, 상기 선택된 적어도 하나와 대화를 수행하기 위한 채팅 화면을 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 전자기기.
  19. 제18항에 있어서,
    상기 UI를 통해 상기 복수의 서비스 중 적어도 두 개의 서비스가 선택된 경우,
    상기 제어부는,
    상기 적어도 두 개의 서비스 중 하나에 대응되는 외부기기로부터 수신된 상기 피드백 정보가 상기 적어도 두 개의 서비스 중 다른 하나에 관련된 정보이면, 상기 피드백 정보를 분석하여 상기 적어도 두 개의 서비스 중 상기 다른 하나의 서비스에 대응되는 외부 기기에 제어 명령을 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 전자기기.
  20. 제16항에 있어서,
    상기 제어부는,
    상기 적어도 하나의 서비스 중 상기 제어 명령에 의해 제어되지 못하는 외부기기에 대응되는 서비스가 존재하는 경우, 상기 채팅 화면에 상기 사용자 메시지를 인식할 수 없음을 안내하는 메시지를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 전자기기.
  21. 제14항에 있어서,
    상기 제어부는,
    상기 입력된 사용자 메시지를 분석하여 제어 명령을 생성하고, 상기 생성된 제어 명령에 따라 상기 전자 기기 내에서 상기 적어도 하나의 서비스에 대응되는 기능을 수행하는 것을 특징으로 하는 전자기기.
  22. 제14항에 있어서,
    상기 대화형 어플리케이션은,
    상기 복수의 서비스를 제공하는 복수의 프로그램 및 상기 복수의 프로그램이 애드온되어 상기 복수의 서비스를 통합관리하는 플랫폼 프로그램을 포함하는 것을 특징으로 하는 전자기기.
  23. 제22항에 있어서,
    상기 플랫폼 프로그램은,
    상기 사용자 메시지에 대한 자연 언어 처리를 수행하기 위한 구성을 포함하는 것을 특징으로 하는 전자기기.
  24. 제22항에 있어서,
    상기 제어부는,
    사용자 명령에 따라 서비스를 제공하는 프로그램이 다운로드된 경우, 상기 다운로드된 프로그램을 상기 플랫폼 프로그램에 설치하는 것을 특징으로 하는 전자기기.
  25. 제14항에 있어서,
    상기 제어부는,
    상기 채팅 화면에 존재하는 기설정된 아이콘이 선택되면, 상기 적어도 하나의 서비스를 제어하기 위한 제어 메뉴를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 전자기기.
  26. 제14항에 있어서,
    상기 복수의 서비스는,
    일정 관리 서비스, 메모 서비스, 날씨 정보 제공 서비스, 소셜 네트워크 서비스, 외부기기 제어 서비스, 제품 구매 서비스 및 컨텐츠 저장 서비스 중 적어도 하나를 포함하는 것을 특징으로 하는 전자기기.
KR1020130066180A 2013-06-10 2013-06-10 전자기기 및 이의 서비스 제공 방법 KR20140144104A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130066180A KR20140144104A (ko) 2013-06-10 2013-06-10 전자기기 및 이의 서비스 제공 방법
US14/297,077 US20140365922A1 (en) 2013-06-10 2014-06-05 Electronic apparatus and method for providing services thereof
EP14171650.6A EP2813931B1 (en) 2013-06-10 2014-06-09 Electronic apparatus and method for providing services thereof
US16/884,710 US20200287853A1 (en) 2013-06-10 2020-05-27 Electronic apparatus and method for providing services thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130066180A KR20140144104A (ko) 2013-06-10 2013-06-10 전자기기 및 이의 서비스 제공 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020170129717A Division KR101875485B1 (ko) 2017-10-11 2017-10-11 전자기기 및 이의 서비스 제공 방법

Publications (1)

Publication Number Publication Date
KR20140144104A true KR20140144104A (ko) 2014-12-18

Family

ID=51178648

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130066180A KR20140144104A (ko) 2013-06-10 2013-06-10 전자기기 및 이의 서비스 제공 방법

Country Status (3)

Country Link
US (2) US20140365922A1 (ko)
EP (1) EP2813931B1 (ko)
KR (1) KR20140144104A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372850A (zh) * 2016-08-30 2017-02-01 北京光年无限科技有限公司 一种基于智能机器人的信息提醒方法及装置
US11646022B2 (en) 2018-02-07 2023-05-09 Samsung Electronics Co., Ltd Electronic device for chatting with chatbot and operation method thereof

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
USD761806S1 (en) * 2014-03-14 2016-07-19 Dacadoo Ag Display panel portion with transitional graphical user interface component
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9672829B2 (en) * 2015-03-23 2017-06-06 International Business Machines Corporation Extracting and displaying key points of a video conference
US20160284005A1 (en) * 2015-03-25 2016-09-29 Facebook, Inc. Techniques for product, service, and business recommendation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10409550B2 (en) 2016-03-04 2019-09-10 Ricoh Company, Ltd. Voice control of interactive whiteboard appliances
US10417021B2 (en) * 2016-03-04 2019-09-17 Ricoh Company, Ltd. Interactive command assistant for an interactive whiteboard appliance
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
KR102319157B1 (ko) * 2019-01-21 2021-10-29 라인플러스 주식회사 메신저 내 플랫폼에 추가된 애플리케이션을 이용하여 대화방에서 정보를 공유하는 방법, 시스템, 및 비-일시적인 컴퓨터 판독가능한 기록 매체
US20200273455A1 (en) * 2019-02-26 2020-08-27 Chien-Chih Kuo System for controlling application devices by using dialogue or social media
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6907571B2 (en) * 2000-03-01 2005-06-14 Benjamin Slotznick Adjunct use of instant messenger software to enable communications to or between chatterbots or other software agents
US20030182391A1 (en) * 2002-03-19 2003-09-25 Mike Leber Internet based personal information manager
ATE456095T1 (de) * 2002-04-02 2010-02-15 Verizon Business Global Llc Abschluss von verbindungen mit erweiterten diensten
US20040078424A1 (en) * 2002-10-16 2004-04-22 Nokia Corporation Web services via instant messaging
US20050210396A1 (en) * 2003-10-06 2005-09-22 Galli Marcio D S System and method for seamlessly bringing external services into instant messaging sessions and into users' authoring environment
DE102005016853A1 (de) * 2005-04-12 2006-10-19 Siemens Ag Verfahren zur Kontrolle von sprachgesteuerten Applikationen und zugehöriges Kontrollsystem
US8140335B2 (en) * 2007-12-11 2012-03-20 Voicebox Technologies, Inc. System and method for providing a natural language voice user interface in an integrated voice navigation services environment
US9020769B2 (en) * 2009-01-26 2015-04-28 Geneva Cleantech Inc. Automatic detection of appliances
US9043407B1 (en) * 2009-06-12 2015-05-26 Avaya Inc. Interactive user interface to communication-enabled business process platforms method and apparatus
US20130219333A1 (en) * 2009-06-12 2013-08-22 Adobe Systems Incorporated Extensible Framework for Facilitating Interaction with Devices
US10503343B2 (en) * 2011-07-06 2019-12-10 Microsoft Technology Licensing, Llc Integrated graphical user interface
KR101402506B1 (ko) * 2011-12-01 2014-06-03 라인 가부시키가이샤 인스턴트 메시징 어플리케이션을 이용한 대화형 정보제공 시스템 및 방법
KR101357261B1 (ko) * 2012-02-22 2014-02-05 주식회사 팬택 단축 메뉴 생성 장치와 생성 방법, 및 그 장치를 구비한 휴대용 단말
WO2014025990A1 (en) * 2012-08-10 2014-02-13 Nuance Communications, Inc. Virtual agent communication for electronic devices
US9219660B2 (en) * 2012-09-27 2015-12-22 Ncr Corporation Self-service terminal
US20140164476A1 (en) * 2012-12-06 2014-06-12 At&T Intellectual Property I, Lp Apparatus and method for providing a virtual assistant
US9276802B2 (en) * 2012-12-11 2016-03-01 Nuance Communications, Inc. Systems and methods for sharing information between virtual agents
WO2014197334A2 (en) * 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372850A (zh) * 2016-08-30 2017-02-01 北京光年无限科技有限公司 一种基于智能机器人的信息提醒方法及装置
US11646022B2 (en) 2018-02-07 2023-05-09 Samsung Electronics Co., Ltd Electronic device for chatting with chatbot and operation method thereof

Also Published As

Publication number Publication date
EP2813931B1 (en) 2017-08-30
US20140365922A1 (en) 2014-12-11
EP2813931A1 (en) 2014-12-17
US20200287853A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
US20200287853A1 (en) Electronic apparatus and method for providing services thereof
US10708534B2 (en) Terminal executing mirror application of a peripheral device
US9851862B2 (en) Display apparatus and displaying method for changing a cursor based on a user change of manipulation mode
JP5956725B2 (ja) コンテキスト認識型ヘルプ・コンテンツを提供する方法、デバイス、及びコンピュータ・プログラム製品
US20150193036A1 (en) User terminal apparatus and control method thereof
US11204681B2 (en) Program orchestration method and electronic device
US10637804B2 (en) User terminal apparatus, communication system, and method of controlling user terminal apparatus which support a messenger service with additional functionality
KR102057944B1 (ko) 단말 장치 및 그의 공유 방법
CN103873908A (zh) 显示装置、遥控装置及使用所述装置提供用户界面的方法
US20160092152A1 (en) Extended screen experience
EP2743814A2 (en) Display apparatus and method of providing user interface thereof
US20200296064A1 (en) Method for providing messenger service and electronic device thereof
EP2963935A1 (en) Multi screen display controlled by a plurality of remote controls
KR20140100306A (ko) 휴대 기기 및 이의 외부 기기 제어 방법
US20170185422A1 (en) Method and system for generating and controlling composite user interface control
US10652105B2 (en) Display apparatus and controlling method thereof
WO2015014138A1 (zh) 一种显示框显示的方法、装置和设备
KR20140072737A (ko) 디스플레이 장치 및 이의 사용자 메뉴 제공 방법
KR101875485B1 (ko) 전자기기 및 이의 서비스 제공 방법
CN107256149A (zh) 用户界面的更新方法和装置
CN110045895B (zh) 信息处理方法、系统、介质和计算设备
US10924807B2 (en) Display device and control method therefor
US20160349945A1 (en) Display apparatus and method for controlling the same
US20150026571A1 (en) Display apparatus and method for providing a user interface
US20160048493A1 (en) User terminal apparatus, control method thereof, and multimedia system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment