KR20140052155A - 디스플레이 장치, 디스플레이 장치 제어 방법 및 디스플레이 장치의 제어를 위한 정보처리장치 - Google Patents

디스플레이 장치, 디스플레이 장치 제어 방법 및 디스플레이 장치의 제어를 위한 정보처리장치 Download PDF

Info

Publication number
KR20140052155A
KR20140052155A KR1020120116957A KR20120116957A KR20140052155A KR 20140052155 A KR20140052155 A KR 20140052155A KR 1020120116957 A KR1020120116957 A KR 1020120116957A KR 20120116957 A KR20120116957 A KR 20120116957A KR 20140052155 A KR20140052155 A KR 20140052155A
Authority
KR
South Korea
Prior art keywords
agent
message
user
agents
display device
Prior art date
Application number
KR1020120116957A
Other languages
English (en)
Inventor
김인지
설경찬
안재홍
유영준
이용훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120116957A priority Critical patent/KR20140052155A/ko
Priority to US14/030,159 priority patent/US20140111689A1/en
Priority to MX2015004843A priority patent/MX2015004843A/es
Priority to IN3277DEN2015 priority patent/IN2015DN03277A/en
Priority to PCT/KR2013/009236 priority patent/WO2014061985A1/en
Priority to RU2015114541A priority patent/RU2015114541A/ru
Priority to EP20130189119 priority patent/EP2722813A1/en
Priority to CN201310487486.1A priority patent/CN103780965A/zh
Priority to JP2013218184A priority patent/JP2014086088A/ja
Publication of KR20140052155A publication Critical patent/KR20140052155A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4663—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms involving probabilistic networks, e.g. Bayesian networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221—Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436—Power management, e.g. shutting down unused components of the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Digital Computer Display Output (AREA)
  • Information Transfer Between Computers (AREA)
  • Machine Translation (AREA)

Abstract

본 발명은 디스플레이 장치 및 디스플레이 장치의 제어 방법에 관한 것으로, 디스플레이 장치는 사용자 메시지를 입력받는 입력부, 복수의 에이전트가 표시되는 영상출력부 및 상기 사용자 메시지를 분석하고, 상기 사용자 메시지의 분석 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트의 에이전트 메시지를 생성하도록 하되, 상기 에이전트 메시지는 상기 복수의 에이전트간에 서로 상이하게 생성하도록 하는 에이전트 제어부를 포함한다. 디스플레이 장치는 이와 같이 생성된 에이전트 메시지를 영상출력부에 표시하도록 할 수 있다. 만약 디스플레이 장치가 음성 출력부를 포함하는 경우에는 에이전트 메시지를 음성으로 출력하도록 할 수도 있다.

Description

디스플레이 장치, 디스플레이 장치 제어 방법 및 디스플레이 장치의 제어를 위한 정보처리장치{Display apparatus, method for controlling the display apparatus and processor for controlling the display apparatus}
본 발명은 디스플레이 장치, 디스플레이 장치의 제어 방법 및 디스플레이 장치 제어를 위한 정보처리장치에 관한 것이다.
디스플레이 장치(display device)란, 다양한 형태의 데이터, 예를 들어 문자나, 사진 또는 동영상과 같은 영상 컨텐츠 등을 사용자에게 시각적으로 출력하는 표시 장치의 일종이다. 이와 같은 디스플레이 장치로는 예를 들어 텔레비젼(television, 이하 TV) 수상기, 컴퓨터 모니터 또는 각종 휴대용 단말기기, 일례로 핸드폰(cellullar phone), 스마트폰(smart phone), 태블릿피씨(tablet PC) 또는 각종 휴대용 게임 단말기 등이 있다.
이와 같은 디스플레이 장치에는 사용자에게 시각적 경험을 제공하기 위한 영상 출력 수단이 설치되어 있으며, 아울러 사용자에게 청각적 경험 역시 제공할 수있도록 사운드 출력 수단, 예를 들어 스피커(spearker) 등도 함께 설치되어 있어, 방송이나 각종 영상 컨텐츠를 일방향적으로 사용자에게 출력하여 표시하거나 재생하도록 할 수 있다.
한편 사용자는 디스플레이 장치에 설치된 소정의 버튼이나 디스플레이 장치와 연결된 키보드 또는 마우스와 같은 인터페이스 장치 또는 디스플레이 장치로 적외선 등을 통해 명령을 전달하는 리모트 콘트롤러(리모콘) 등을 조작하여 디스플레이 장치를 제어하였다. 근자에 디스플레이 장치에 터치스크린이 적용되어 사용자가 터치스크린 상의 소정의 위치를 터치 조작함으로써 디스플레이 장치를 제어할 수 있게 되었다.
본 발명이 이루고자 하는 기술적 과제는, 사용자와 대화가 가능한 복수의 에이전트를 화면상에 표시하는 디스플레이 장치, 디스플레이 장치 및 정보처리장치를 제어하는 방법을 제공하는 것이다.
본 발명의 또 다른 기술적 과제는 복수의 에이전트 중에서 사용자의 의도에 적절한 적어도 하나의 에이전트와 사용자가 대화할 수 있도록 제어되는 디스플레이 장치 및 디스플레이 장치를 제어하는 방법을 제공하는 것이다.
또한 본 발명은, 사용자에 대한 인터렉티브(interactive)한 방식을 통하여 디스플레이 장치가 사용자가 요구하는 바를 정확하게 파악하고 그에 따라 적절하게 제어될 수 있도록 하는 수단을 제공하는 것을 목적으로 한다.
아울러 본 발명은 이와 같은 디스플레이 장치가 사용자의 취향, 편의 또는 습관 등 제반 환경을 기초로 사용자에게 가장 최적의 에이전트를 제공할 수 있도록 하는 것을 또 다른 목적으로 한다.
본 발명은 상기와 같은 과제를 해결하기 위하여 디스플레이 장치, 디스플레이 장치의 제어 방법 및 정보처리장치를 제공한다.
디스플레이 장치는,사용자 메시지를 입력받는 입력부, 복수의 에이전트가 표시되는 영상출력부 및 상기 사용자 메시지를 분석하고, 상기 사용자 메시지의 분석 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트 메시지를 생성하도록 하는 에이전트 제어부를 포함한다. 이때 상기 에이전트 메시지는 상기 복수의 에이전트간에 서로 상이하게 생성된다. 이 경우 디스플레이 장치는, 음성 또는 음향을 출력하는 음성출력부를 더 포함할 수 있다. 그러면 에이전트 제어부는, 상기 생성된 에이전트 메시지를 상기 영상출력부에 표시하거나 또는 상기 음성출력부를 통하여 음성으로 출력하도록 제어할 수 있다.
영상출력부는, 상기 사용자 메시지가 입력된 후에 복수의 에이전트를 표시하도록 할 수 있다.
에이전트 제어부는, 입력부가 상기 사용자로부터 사용자 메시지를 입력받기 전부터 상기 복수의 에이전트 각각의 대화 메시지를 생성하여 상기 영상출력부에 표시하도록 제어하거나 또는 음성으로 출력하도록 할 수도 있다.
또한 에이전트 제어부는, 상기 사용자 메시지에 대한 분석 결과를 기초로 상기 사용자 메시지가 디스플레이 장치를 제어하기 위한 장치 제어 명령을 포함하는지 여부를 판단하도록 할 수 있다. 이 경우 에이전트 메시지는, 상기 디스플레이 장치의 동작 여부에 대한 적어도 하나의 질의를 포함할 수도 있으며, 디스플레이 장치는 사용자 메시지의 분석 결과 상기 사용자 메시지가 상기 질의된 동작 여부에 대한 답변을 포함하는 경우, 상기 질의된 동작을 수행하도록 제어될 수 있다.
뿐만 아니라 에이전트 제어부는, 상기 사용자 메시지의 분석 결과에 따라서 복수의 에이전트를 선택하고, 상기 선택된 복수의 에이전트 각각에 대하여 순위를 부여하도록 하는 것도 가능하고, 에어전트 제어부는, 생성된 적어도 하나의 대화 메시지를 상기 부여된 순위에 따라서 상기 영상출력부에 표시하도록 하거나, 또는 상기 에이전트 메시지를 상기 부여된 순위에 따라서 순차적으로 음성으로 출력하도록 하는 것도 가능하다.
에이전트 제어부는, 외부 환경에 대한 정보 및 복수의 에이전트 특성 정보를 기초로 상기 복수의 에이전트 각각의 대화 메시지를 생성하도록 할 수 있으며, 이때 에이전트 특성 정보는, 상기 에이전트의 대화 스타일에 대한 정보를 포함한다.
에이전트 제어부는, 상기 사용자 메시지의 분석 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택한 후, 상기 선택된 적어도 하나의 에이전트에 대한 대화 메시지를 생성하도록 하는데, 이 경우 디스플레이 장치는 상기 적어도 하나의 에이전트의 선택 결과를 기초로 상기 복수의 에이전트의 선택에 관한 정보를 분석하는 에이전트 분석부를 더 포함하도록 할 수 있으며, 이때 에이전트 제어부는, 상기 에이전트 분석부의 분석 결과 및 상기 사용자 메시지의 분석 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택한 후, 상기 선택된 적어도 하나의 에이전트에 대한 대화 메시지를 생성하도록 할 수 있다.
에이전트 제어부는, 상기 적어도 하나의 에이전트 메시지가 생성된 에이전트만을 상기 영상출력부에 표시하도록 할 수도 있다.
한편 디스플레이 장치의 입력부는, 상기 에이전트 메시지가 상기 영상출력부에서 출력되거나 음성으로 출력된 후 사용자 메시지를 입력받을 수 있으며, 이 때 에이전트 제어부는, 상기 에이전트 메시지 및 상기 사용자의 응답 메시지의 분석 결과를 기초로 상기 사용자 메시지가 상기 복수의 에이전트 중에서 어느 에이전트의 에이전트 메시지에 대한 응답인지 여부를 판단하도록 할 수 있다.
디스플레이 장치는, 상기 사용자의 사용자 메시지 입력을 감지하여 상기 디스플레이 장치를 대기 모드에서 액티브 모드로 전환하도록 제어하는 전원 제어 명령을 생성하여 전원에 전달하는 전원 제어부를 더 포함할 수도 있다.
한편 디스플레이 장치는, 상기 사용자 메시지를 분석하여 사용자를 식별하는 사용자 식별부를 더 포함할 수 있다.
한편 디스플레이 장치는, 사용자로부터 사용자 메시지를 입력받는 입력부 및 복수의 에이전트를 표시하는 영상출력부를 포함하되, 상기 사용자 메시지를 분석하고, 상기 사용자 메시지 분석 결과와 상기 복수의 에이전트 중 적어도 하나의 에이전트의 에이전트 특성 정보를 기초로 상기 적어도 하나의 에이전트 메시지를 생성하도록 할 수 있다.
또한 디스플레이 장치는, 사용자 메시지를 입력받는 입력부, 복수의 에이전트를 표시하는 영상출력부 및 상기 입력된 사용자 메시지의 문맥을 분석하고, 상기 사용자 메시지의 문맥 분석 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하고, 에이전트 특성 정보에 따라서 상기 선택된 적어도 하나의 에이전트 메시지를 생성하는 에이전트 제어부를 포함하되, 상기 에이전트 특성 정보는, 상기 에이전트의 대화 스타일에 대한 정보를 포함하도록 하는 것도 가능하다.
또한 디스플레이 장치는, 복수의 에이전트가 표시되는 영상출력부 및 상기 복수의 에이전트 각각의 대화 스타일에 대한 정보를 포함하는 에이전트 특성 정보에 따라서 상기 복수의 에이전트 각각의 대화 메시지를 서로 다르게 생성하는 에이전트 제어부를 포함할 수도 있다.
이 경우 디스플레이 장치는 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하는 에이전트 선택 명령을 입력받는 입력부를 더 포함할 수 있다.
에이전트 제어부는, 상기 선택된 적어도 하나의 에이전트의 대화 특성 정보에 따라서 상기 선택된 적어도 하나의 에이전트 메시지를 생성하도록 할 수 있다.
한편 각각의 대화 메시지 중 적어도 하나의 대화 메시지는 상기 디스플레이 장치의 동작 제어에 대한 적어도 하나의 질의를 포함할 수 있으며, 적어도 하나의 질의를 포함하는 대화 메시지의 에이전트가 선택되는 경우, 디스플레이 장치는 상기 질의된 동작을 수행한다.
또한 입력부는, 음성 입력 또는 버튼 조작을 통하여 사용자 메시지를 입력받을 수 있고, 이 때 에이전트 제어부는, 상기 사용자 메시지를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하고, 상기 선택된 적어도 하나의 에이전트의 대화 특성 정보에 따라서 상기 선택된 적어도 하나의 에이전트 메시지를 생성하도록 할 수 있다.
한편 디스플레이 장치를 제어하는 방법은, 복수의 에이전트를 표시하는 단계, 사용자 메시지를 입력받는 단계, 상기 입력된 사용자 메시지를 분석하는 단계, 상기 사용자 메시지의 분석 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트 메시지를 생성하는 단계 및 상기 생성된 에이전트 메시지를 상기 영상출력부에 표시하도록 제어하거나 또는 음성으로 출력하는 단계를 포함할 수 있다.
이 경우 디스플레이 장치를 제어하는 방법은, 상기 사용자 메시지의 분석 결과를 기초로 상기 사용자 메시지가 디스플레이 장치를 제어하기 위한 장치 제어 명령을 포함하고 있는지 여부를 판단하고, 만약 상기 사용자 메시지가 장치 제어 명령을 포함하고 있다면 상기 장치 제어 명령에 따라서 디스플레이 장치를 제어하는 단계를 더 포함할 수 있다.
여기서 생성된 적어도 하나의 에이전트 메시지는, 상기 디스플레이 장치의 동작 제어에 대한 적어도 하나의 질의를 포함할 수 있다.
디스플레이 장치 제어 방법은, 사용자 메시지를 입력받는 단계, 상기 입력된 사용자 메시지를 분석하는 단계, 상기 사용자 메시지의 분석 결과를 기초로 상기 사용자 메시지가 복수의 에이전트 중에서 어느 에이전트와의 대화인지 여부를 판단하고, 상기 선택 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하는 단계 및 상기 선택된 적어도 하나의 에이전트에 대한 에이전트 특성 정보를 기초로 상기 적어도 하나의 에이전트 메시지를 생성하는 단계를 포함할 수도 있다.
디스플레이 장치 제어 방법은, 적어도 하나의 에이전트 메시지를 상기 영상출력부에 표시하거나 또는 상기 적어도 하나의 대화 메시지를 음성으로 출력하는 단계를 더 포함할 수도 있다.
또한 디스플레이 장치 제어 방법은, 상기 사용자 메시지의 분석 결과에 따라서 상기 선택된 복수의 에이전트에 대하여 순위를 부여하는 단계 및 상기 생성된 적어도 하나의 대화 메시지를 상기 영상출력부에 상기 부여된 순위에 따라서 순차적으로 표시하도록 하거나, 상기 부여된 순위에 상응하는 상기 영상출력부 상의 에이전트 표시 위치에 표시하도록 하거나, 또는 상기 에이전트 메시지를 상기 부여된 순위에 따라서 순차적으로 음성으로 출력하도록 제어하는 단계를 더 포함할 수도 있다.
상기 디스플레이 장치 제어 방법은, 에이전트의 선택 결과에 대한 선택 결과 정보를 생성하는 단계 및 상기 선택 결과 정보를 분석하여 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하거나 또는 상기 복수의 에이전트에 대한 순위를 결정함으로써 상기 복수의 에이전트에 대한 에이전트 분석 결과를 생성하는 단계를 더 포함하는 것도 가능하다.
디스플레이 장치 제어 방법은, 복수의 에이전트를 표시하면서 적어도 하나의 대화 메시지를 표시하거나 또는 음성으로 출력하되, 상기 적어도 하나의 에이전트 메시지는, 상기 디스플레이 장치의 동작 제어 여부에 대한 질의를 포함하는 단계, 음성 입력, 버튼 조작 또는 스크린 터치 조작을 통하여 사용자 메시지를 입력받는 단계, 상기 입력된 사용자 메시지를 분석하는 단계 및 상기 분석 결과 상기 사용자 메시지가 상기 질의된 동작에 대한 동작 제어 명령으로 판단되는 경우, 상기 동작 제어 여부가 질의된 동작을 수행하는 단계를 포함할 수도 있다.
이 경우 디스플레이 장치 제어 방법은, 상기 사용자 메시지의 분석 결과를 기초로 상기 사용자 메시지가 상기 복수의 에이전트 중에서 어느 에이전트에 대한 대화인지 여부를 판단하고, 상기 선택 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하는 단계 및 상기 선택된 적어도 하나의 에이전트에 대한 에이전트 특성 정보를 기초로 상기 적어도 하나의 에이전트 메시지를 생성하는 단계를 더 포함하는 것도 가능하다.
또한 디스플레이 장치 제어 방법은, 음성 입력 또는 버튼 조작 또는 스크린 터치 조작을 통하여 사용자 메시지를 입력받는 단계, 상기 입력된 사용자 메시지를 분석하는 단계, 상기 사용자 메시지의 분석 결과를 기초로 상기 사용자 메시지가 디스플레이 장치를 제어하기 위한 장치 제어 명령을 포함하고 있는지 여부를 판단하는 단계; 및 만약 상기 사용자 메시지가 장치 제어 명령을 포함하고 있다면 상기 장치 제어 명령에 따라서 디스플레이 장치를 제어하고, 만약 사용자 메시지가 장치 제어 명령을 포함하고 있지 않다면 상기 사용자 메시지의 분석 결과를 기초로 상기 사용자 메시지가 상기 복수의 에이전트 중에서 어느 에이전트에 대한 대화인지 여부를 판단하고 상기 선택 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택한 후, 상기 선택된 적어도 하나의 에이전트에 대한 에이전트 특성 정보를 기초로 상기 적어도 하나의 에이전트 메시지를 생성하는 단계를 포함하고 있을 수도 있다.
뿐만 아니라 디스플레이 장치 제어 방법은, 음성 입력, 버튼 조작 또는 스크린 터치 조작을 통하여 사용자 메시지를 입력받는 단계, 상기 사용자 메시지 입력에 응하여 복수의 에이전트를 표시하는 단계, 상기 입력된 사용자 메시지를 분석하는 단계, 상기 사용자 메시지의 분석 결과를 기초로 상기 사용자 메시지가 상기 복수의 에이전트 중에서 어느 에이전트에 대한 대화인지 여부를 판단하여 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하는 단계 및 상기 선택된 적어도 하나의 에이전트에 대한 에이전트 특성 정보를 기초로 상기 적어도 하나의 에이전트 메시지를 생성하는 단계를 포함할 수도 있다.
디스플레이 장치 제어 방법은, 음성 입력, 버튼 조작 또는 스크린 터치 조작을 통하여 복수의 에이전트에 대한 사용자 메시지를 입력받는 단계, 상기 입력된 사용자 메시지를 분석하는 단계, 상기 사용자 메시지의 분석 결과 및 상기 복수의 에이전트에 대한 에이전트 분석 결과를 기초로 상기 사용자 메시지가 상기 복수의 에이전트 중에서 어느 에이전트에 대한 대화인지 여부를 판단하고, 상기 선택 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하는 단계 및 상기 선택된 적어도 하나의 에이전트에 대한 에이전트 특성 정보를 기초로 상기 적어도 하나의 에이전트 메시지를 생성하는 단계를 포함하되, 상기 에이전트 분석 결과는, 상기 에이전트에 대한 사용자의 응답 또는 선택에 대한 결과를 분석하여 획득된 것일 수도 있다.
아울러 디스플레이 장치 제어 방법은, 복수의 에이전트 각각의 대화 스타일에 대한 정보를 포함하는 에이전트 특성 정보에 따라서 상기 복수의 에이전트 각각의 대화 메시지를 서로 다르게 생성하는 단계 및 상기 복수의 에이전트를 디스플레이 장치에 표시하면서, 상기 생성된 복수의 대화 메시지를 디스플레이 장치에 동시에 표시하거나 또는 상기 상기 생성된 복수의 대화 메시지를 음성으로 출력하는 단계를 포함하는 것일 수도 있다.
이 경우 디스플레이 장치 제어 방법은, 음성 입력, 버튼 조작 또는 스크린 터치 조작을 통하여 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하는 에이전트 선택 명령을 입력받는 단계를 더 포함할 수 있다.
또한 디스플레이 장치 제어 방법은, 상기 선택된 적어도 하나의 에이전트의 대화 특성 정보에 따라서 상기 선택된 적어도 하나의 에이전트에 대한 대화 메시지를 생성하는 단계를 더 포함하도록 할 수도 있다.
뿐만 아니라 디스플레이 장치 제어 방법은, 상기 에이전트 선택 명령에 의해 선택된 에이전트 메시지가 디스플레이 장치의 동작의 수행을 질의하는 적어도 하나의 질의 메시지를 포함하는 대화 메시지인 경우, 상기 디스플레이 장치의 동작을 수행하는 단계를 더 포함할 수도 있다.
디스플레이 장치 제어 방법은, 음성 입력 또는 버튼 조작을 통하여 사용자 메시지를 입력받는 단계 및 상기 사용자 메시지를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하고, 상기 선택된 적어도 하나의 에이전트의 대화 특성 정보에 따라서 상기 선택된 적어도 하나의 에이전트 메시지를 생성하는 단계를 더 포함할 수도 있다.
이 경우 상기 사용자 메시지를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하는 과정은, 상기 입력된 사용자 메시지를 분석하는 단계 및 상기 사용자 메시지의 분석 결과를 기초로 상기 사용자 메시지가 상기 복수의 에이전트 중에서 어느 에이전트에 대한 대화인지 여부를 판단하고, 상기 선택 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하는 단계를 포함할 수 있다.
아울러 정보처리장치는, 사용자에게 복수의 에이전트를 영상으로 출력하여 표시하는 디스플레이 장치로부터 사용자 메시지를 수신 받고, 상기 수신된 사용자 메시지의 문맥을 분석하고, 상기 사용자 메시지의 문맥 분석 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하고, 상기 선택된 적어도 하나의 에이전트의 적어도 하나의 에이전트 메시지를 생성하고, 상기 적어도 하나의 에이전트의 선택에 대한 정보 및 상기 적어도 하나의 에이전트 메시지를 상기 디스플레이 장치로 전송하도록 하는데, 여기서 적어도 하나의 에이전트 메시지는 상기 에이전트의 대화 스타일에 대한 에이전트 특성 정보에 따라 서로 다르게 생성될 수 있다.
본 발명은 상술한 바와 같은 디스플레이 장치 및 그 제어 방법을 제공함으로써 사용자는 디스플레이 장치에 표시된 복수의 에이전트 중 적어도 하나의 에이전트와 대화할 수 있게 된다. 이에 따라 디스플레이 장치의 사용자 인터페이스의 개선을 도모할 수 있게 된다.
특히 서로 다른 성격, 내용, 대화 스타일의 에이전트를 표시하도록 함으로써 사용자와 에이전트 간의 대화를 더욱 풍부하게 할 수 있을 뿐만 아니라, 사용자가 의식적 또는 무의식적으로 원하는 에이전트를 선택 가능하게 함으로써 디스플레이 장치가 사용자에게 적합한 에이전트를 제공할 수 있게 된다.
따라서 디스플레이 장치가 사용자가 요구하는 바를 정확하게 파악하고 그에 따라 적절하게 제어될 수 있게 되고, 아울러 사용자의 취향, 성격에 따라 사용자에게 적절한 에이전트를 제공할 수 있게 된다.
또한 사용자가 서로 다른 성격의 에이전트와 대화를 함으로써 사용자에게 여러 사람과 대화하는 착각을 일으킴으로써 사용자의 주의를 더 이끌어 낼 수 있게 되어 사용자와 에이전트 간의 대화형 상호 작용(interaction)의 활용성을 증진시킬 수 있게 된다.
뿐만 아니라 디스플레이 장치의 장기 사용에 따라 사용자에게 적절한 성격, 내용, 대화 스타일의 에이전트가 주로 디스플레이 장치에 표시될 수 있도록 함으로써 사용자 맞춤형 에이전트를 제공할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치에 대한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 디스플레이 장치에 대한 도면이다.
도 3은 본 발명의 일 실시예에 따른 디스플레이 장치의 구성도이다.
도 4는 본 발명의 다른 일 실시예에 따른 디스플레이 장치의 구성도이다.
도 5a 및 도 5b는 본 발명의 다양한 실시예에 따른 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 다른 일 실시예에 따른 디스플레이 장치의 구성도이다.
도 7은 본 발명의 또 다른 일 실시예에 따른 디스플레이 장치의 구성도이다.
도 8은 본 발명의 또 다른 일 실시예에 따른 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 9는 본 발명의 다른 일 실시예에 따른 디스플레이 장치의 구성도이다.
도 10은 본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법의 흐름도이다.
도 11는 본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법의 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법의 흐름도이다.
도 14 및 도 15는 본 발명의 다른 일 실시예에 따른 디스플레이 장치 제어 방법에 대한 흐름도이다.
도 16은 본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법을 설명하기 위한 도면이다.
도 17은 본 발명의 디스플레이 장치 제어 방법 중 질의 메시지를 포함하는 경우의 실시예에 대한 흐름도이다.
도 18 및 도 19는 본 발명의일 실시예에 따른 디스플레이 장치 제어 방법에 대한 흐름도 및 이를 설명하기 위한 도면이다.
도 20 및 도 21은 본 발명의 여러 실시예에 따른 디스플레이 장치 제어 방법의 흐름도이다.
이하 도 1 내지 도 9를 참조하여 본 발명의 다양한 실시예에 있어서의 디스플레이 장치에 대해서 설명한다.
도 1 및 도 2에 도시된 바와 같이 본 발명의 일 실시예에 있어서 디스플레이 장치(D)는, 도 1 및 도 2에 도시된 것과 같이, 화면상에 적어도 하나 이상의 에이전트(a1 내지 a3), 즉 정지화상이나 동화상과 같은 에이전트가 표시되는 영상출력부(210)를 포함한다.
도 1 및 도 2에는 본 발명의 디스플레이 장치(D)의 일례로 텔레비전이 도시되어 있으나, 본 발명의 디스플레이 장치(D)는 이에 한정되지 않으며, 다른 여타의 디스플레이 장치, 예를 들어 모니터, 핸드폰, 스마트폰, 태블릿 피씨 또는 각종 휴대용 게임 단말 역시 본 발명의 실시예가 될 수 있으며, 더 나아가 사용자에게 소정의 영상을 표시할 뿐만 아니라 마이크나 키보드, 마우스, 터치스크린 등 각종 사용자 인터페이스를 통해 사용자로부터 소정의 명령을 입력받을 수 있는 다른 장치들 역시 본 발명의 디스플레이 장치(D)의 일 실시예가 될 수 있다.
에이전트(a1 내지 a3)는, 자연어로 사용자에게 필요한 지식을 전달해주는 메신저 기반의 시스템을 의미하는 것으로, 대화를 통해 사용자의 의도를 파악하고, 파악된 의도에 따라서 소정의 동작을 수행하도록 한다.
영상출력부(210)의 화면을 통해 표시되는 에이전트(a1 내지 a3)는, 사용자에게 친숙함이나 친근감을 줄 수 있는 캐릭터 등의 형상으로 디자인되어 화면상에 표시될 수 있다. 만약 영상출력부(210)에 복수의 에이전트(a1 내지 a3)가 출력되는 경우에는 각각의 에이전트(a1 내지 a3)는 서로 동일한 캐릭터일 수도 있고, 도 2에 도시된 것과 같이 서로 유사한 캐릭터일 수도 있으며, 또는 서로 완전히 비유사한 캐릭터일 수도 있다.
에이전트(a1 내지 a3)는 움직임이 없는 정지 이미지일 수 있다.
예를 들어 도 1 및 도 2에 도시된 것과 같이 에이전트(a1 내지 a3)가 구름을 의인화한 캐릭터로 화면상에 표시되는 경우, 서로 다른 에이전트(a1 내지 a3) 각각에 대해 서로 다른 이미지, 예를 들어 웃고 있는 구름 이미지(a1), 번개가 치고 있는 구름 이미지(a2) 등이 할당되고, 할당된 이미지 자체에 어떠한 변화가 없는 상태로 화면상에 표시되고 있을 수 있다.
또한 에이전트(a1 내지 a3)는 예를 들어 캐릭터가 움직이는 동화상, 즉 애니메이션(animation)일 수도 있다.
예를 들어 도 1 및 도 2에 도시된 바와 같이 에이전트(a1 내지 a3)가 의인화된 구름 형태로 표현되는 경우에, 구름의 입 모양이 에이전트 메시지의 출력에 따라서 말하듯이 움직이거나, 구름의 크기가 일정한 패턴으로 변화하거나, 에이전트(a1 내지 a3)가 정해진 또는 임의의 방향으로 이동하거나 또는 정해진 루트(route) 내에서 왕복 운동하도록 할 수도 있다. 이 경우 예를 들어 디스플레이 장치(D)가 에이전트 메시지를 출력할 때 입 모양이 동작하도록 하는 것과 같이, 일정한 조건 하에서 에이전트(a1 내지 a3)가 화면상에서 소정의 동작을 행하도록 할 수도 있다.
또한 영상출력부(210)는, 소정의 메시지, 예를 들어 적어도 하나 이상의 에이전트 메시지(m1 내지 m3)를 더 표시할 수도 있다.
여기서 에이전트 메시지(m1 내지 m3)는 각각의 에이전트(a1 내지 a3)의 대화 메시지가 문자, 기호 또는 이미지 등의 형태로 영상출력부(210)에 표시되는데, 실시예에 따라서 사용자로부터 사용자 메시지가 입력되면 이에 응하여 영상출력부(210)에 표시될 수도 있고, 또는 사용자로부터의 어떠한 대화 메시지의 입력없이도 영상출력부(210)에 표시될 수도 있다.
에이전트 메시지(m1 내지 m3)는 사용자가 일상 생활 중에서 쉽게 사용할 수 있고 이해할 수 있는 자연어를 기반으로 생성될 수 있다.
에이전트 메시지(m1 내지 m3)는, 디스플레이 장치(D)의 화면상에 표시되는 경우, 도 1 및 도 2에 도시된 것과 같이 말풍선 내부에 표시됨으로써, 표시되는 에이전트 메시지(m1 내지 m3)가 어느 에이전트(a1 내지 a3)의 메시지인지 사용자가 용이하게 식별할 수 있게 할 수도 있다.
본 발명의 일 실시예에 따르면 화면에 표시되는 에이전트 메시지(m1 내지 m3)는 도 3에 도시된 에이전트 제어부(100)나 디스플레이 장치(D)와 유무선 통신망으로 연결된 외부의 정보처리장치(E), 예를 들어 서버(server) 장치에 의해 생성될 수 있다.
디스플레이 장치(D)는 각종 음향이 출력되는 사운드 출력부(220), 예를 들어 스피커 등을 더 포함할 수 있다.
디스플레이 장치(D)는 사운드 출력부(220)를 통해 적어도 하나 이상의 에이전트(a1 내지 a3)에 대응되는 적어도 하나 이상의 에이전트 메시지(m1 내지 m3)를 음성 또는 음향으로 출력할 수도 있다. 이 경우 사운드 출력부(220)를 통해 출력되는 에이전트 메시지에 대응되는 적어도 하나 이상의 에이전트 메시지가 디스플레이부(210)에 함께 표시될 수도 있고 또는 함께 표시되지 않을 수도 있다.
한편 도 1 및 도 2에는 도시되어 있지 않으나, 디스플레이 장치(D)는 사용자로부터 대화 메시지를 입력받는 입력부를 더 포함할 수 있다. 또한 입력부는 복수의 에이전트 중 적어도 하나의 에이전트를 선택하는 에이전트 선택 명령을 입력받을 수도 있다.
입력부는, 예를 들어, 사용자 메시지를 입력받는 방법에 따라서 마이크로폰과 같이 외부의 음향, 음성을 입력받아 전기적 신호로 변환하는 장치일 수도 있고, 사용자의 터치 조작에 따라 소정의 메시지나 명령을 입력받는 터치스크린일 수도 있으며, 또한 사용자의 버튼이나 키의 조작에 따라서 소정의 메시지나 명령을 입력받는 리모컨(remote controller)이나 키보드(keyboard) 등일 수도 있다. 뿐만 아니라 일정한 위치를 지정하고 지정된 위치에서 소정의 선택 명령을 지시할 수 있는 레이저 포인터나 마우스 등과 같은 사용자 인터페이스 역시 본 발명의 입력부의 일례가 될 수 있다.
도 3에 도시된 바와 같이 디스플레이 장치(D)는 에이전트 제어부(100)를 포함할 수 있다.
본 발명의 일 실시예에 있어서 에이전트 제어부(100), 구체적으로 에이전트 제어부(100)의 에이전트 메시지 생성부(114)는 디스플레이부(210)에 출력되는 적어도 하나의 에이전트 각각의 대화 메시지를 생성하도록 할 수 있다. 대화 메시지가 생성된 후 에이전트 제어부(100), 구체적으로 에이전트 제어부(100)의 에이전트 출력 제어부(120) 생성된 에이전트 메시지를 에이전트 출력부(200), 예를 들어 상술한 영상출력부(210)나 사운드출력부(220)를 통해 출력되도록 제어한다.
아울러 에이전트 제어부(100)는, 영상출력부(210)에 표시되는 에이전트를 제어하도록 할 수 있다. 예를 들어 소정의 조건에 따라서 영상출력부(210)에 표시되는 에이전트의 그래픽을 교체할 수도 있다. 일례로 시간에 따라서 낮에는 태양을 형상화한 에이전트가 표시되도록 하고, 밤에는 달을 형상화한 에이전트가 표시되도록 제어할 수도 있다. 또한 외부의 정보처리장치 등으로부터 전송된 날씨 정보를 열람한 후 날씨에 따라서 태양, 구름, 비 또는 눈 등을 형상화한 에이전트가 표시되도록 할 수도 있다.
본 발명의 일 실시예에 따르면 에이전트 제어부(100)는, 에이전트 메시지를 생성하여 출력하도록 제어하면서 동시에 영상출력부(210)의 에이전트의 표시를 출력되는 에이전트 메시지에 상응하도록 제어할 수도 있다. 예를 들어 출력되는 에이전트 메시지가 긍정적인 내용이거나 코믹한 내용인 경우에는 웃는 표정의 에이전트가 화면에 표시되도록 제어할 수도 있고, 에이전트 메시지가 분노하거나 불쾌해 하는 내용인 경우에는 화난 표정 또는 불쾌한 표정의 에이전트가 표시되도록 제어할 수 있다. 또한 에이전트 메시지가 음성으로 출력되거나 화면에 표시되는 도중에 에이전트가 소정의 동작, 예를 들어 에이전트의 입모양이 발화하는 것처럼 움직이도록 제어할 수도 있다.
본 발명의 일 실시예에 따르면 에이전트 제어부(100)는 적절한 에이전트 메시지를 생성하기 위해 대화 생성 데이터베이스(320)를 열람할 수 있고, 또는 대화 생성용 검색 엔진을 이용할 수도 있다. 예를 들어 사용자가 입력부를 통해 사용자 메시지, 예를 들어 예를 들어 현재 날씨에 대한 질의 등을 포함하는 사용자 메시지를 입력한 경우, 에이전트 제어부(100)는 입력된 사용자의 메시지에 적절한 대답, 즉 현재의 날씨에 대한 적절한 대답을 위하여 대화 생성용 검색 엔진(330)에 의해 검색된 현재의 날씨에 대한 정보를 기초로 에이전트 대화를 생성할 수 있다.
이 경우 본 발명의 일 실시예에 따르면 에이전트 제어부(100), 구체적으로 에이전트 메시지 생성부(114)는, 영상출력부(210)에 표시되는 복수의 에이전트(a1 내지 a3)의 에이전트 메시지(m1 내지 m3)를 서로 다르게 생성할 수 있다.
이를 위해서 에이전트 제어부(100)는, 각각의 에이전트(a1 내지 a3)에 대응되는 에이전트의 에이전트 특성 정보에 따라서 각각의 에이전트 메시지(m1 내지 m3)를 생성하도록 할 수 있다.
각각의 에이전트(a1 내지 a3)에 부여된 에이전트 특성 정보는, 각각의 에이전트(a1 내지 a3)의 외형, 대화 스타일, 표정 변화, 성격 등에 대한 정보를 포함하고 있다. 즉, 특성 정보는 각각의 에이전트(a1 내지 a3)의 성격 특성에 대한 정보이다. 이와 같은 특성 정보는 각각의 에이전트(a1 내지 a3) 간에 서로 다르게 설정될 수 있다.
예를 들어 복수의 에이전트(a1 내지 a3) 중 어느 하나의 에이전트는 현실적인 성격을 가지고 있으며, 사용자의 질문 등에 있어서 현실적인 대안을 포함한 메시지를 제공하도록 할 수 있다. 또한 다른 에이전트는 감정적인 성격을 가지고 있으며 이에 따라 사용자와의 대화에 있어서, 사용자의 정서적 해결을 위한 대화 스타일로 대화하도록 할 수도 있다. 뿐만 아니라 어떤 에이전트는 사용자의 감정에 대해 공감하여 같이 기뻐하거나 또는 같이 슬퍼하는 메시지를 표시하도록 할 수도 있다.
이를 좀더 구체적으로 설명하면, 에이전트 제어부(100)는, 복수의 에이전트(a1 내지 a3)의 특성 정보에 따라서, 복수의 에이전트(a1 내지 a3) 중 어느 하나, 예를 들어 제1 에이전트(a1)의 메시지(m1)는 사용자가 필요한 정보를 포함하는 메시지, 예를 들어 문제 해결 방안에 대한 메시지를 생성하도록 하고, 다른 에이전트, 예를 들어 제2 에이전트(a2)의 메시지(m2)는 사용자의 정서적 해결을 줄 수 있는 메시지, 예를 들어 사용자가 피해본 내용에 대해 함께 분노해주는 내용의 메시지를 출력하도록 할 수도 있다.
또한 에이전트 제어부(100)는 복수의 에이전트(a1 내지 a3)의 메시지(m1 내지 m3)를 대화 스타일이 서로 다르도록 생성할 수도 있다. 즉, 실질적으로 동일한 내용이라고 하더라도 복수의 에이전트(a1 내지 a3) 중 어느 하나, 예를 들어 제1 에이전트(a1)의 에이전트는 이성적인 대화 스타일의 메시지를 출력하도록 하고, 다른 에이전트, 예를 들어 제2 에이전트(a2)는 감정적인 대화 스타일의 메시지를 출력하도록 할 수 있다.
본 발명의 일 실시예에 따르면 디스플레이 장치(D)는, 상술한 특성 정보를 저장하고 있는 에이전트 데이터베이스(310)를 더 포함할 수 있으며, 에이전트 제어부(100)는 에이전트 데이터베이스(310)를 열람하여 각 에이전트(a1 내지 a3)의 성격 특성에 부합하도록 각각의 에이전트 메시지(m1 내지 m3)를 생성할 수도 있다.
한편 에이전트 제어부(100)는, 상술한 입력부, 예를 들어 마이크로폰을 통하여 입력된 사용자의 메시지를 분석하고 사용자 메시지의 분석 결과를 기초로 에이전트의 메시지를 생성하도록 할 수 있다.
또한 에이전트 제어부(100)는 필요에 따라 디스플레이 장치(D)의 소정의 동작, 예를 들어 음량 조절(410), 채널 제어(420) 또는 전원 제어(430) 등의 동작을 수행하기 위한 제어 명령을 생성하고, 생성된 제어 명령을 음량 조절(410), 채널 제어(420) 또는 전원 제어(430)를 위한 각각의 모듈들에 직접 전달하거나 또는 이들을 제어하는 제어부(400)로 전달하여 이들이 제어되도록 할 수도 있다.
한편 도 1에 도시된 바와 같이 본 발명의 일 실시예에 의하면 디스플레이 장치(D)는 외부의 정보처리장치(E)와 유무선 통신망을 통하여 연결되어 소정의 데이터를 송수신하도록 할 수 있다.
이 경우 외부의 정보처리장치(E)는 필요에 따라서 상술한 에이전트 제어부(100)의 기능의 일부를 수행하도록 할 수도 있고, 또한 상술한 에이전트 데이터베이스(310)나 대화 생성 데이터베이스(320)를 저장하고 있을 수 있다. 또한 대화 생성용 검색엔진(330)의 기능을 수행하도록 할 수도 있다.
예를 들어 외부의 정보처리장치(E), 일례로 서버가 에이전트(a1 내지 a3)의 메시지를 생성하거나 화면에 표시되는 에이전트(a1 내지 a3)를 제어하기 위한 제어 명령을 생성하고, 생성된 제어 명령을 디스플레이 장치(D)로 전달하도록 할 수도 있다. 또한 사용자가 디스플레이 장치(D)의 입력부, 예를 들어 마이크로폰을 이용하여 사용자 메시지를 입력하면, 디스플레이 장치(D)와 유무선 통신망을 통해 연결된 외부의 정보처리장치(E)가 디스플레이 장치(D)를 경유하여 입력된 사용자 메시지를 수신받고 사용자 메시지를 분석한 후, 분석 결과를 기초로 복수의 에이전트 중 적어도 하나의 에이전트를 선택하도록 할 수 있고, 또한 더 나아가 선택된 에이전트의 에이전트 메시지를 생성하여, 에이전트의 선택에 대한 정보와 생성된 에이전트 메시지를 디스플레이 장치(D)로 전송하는 것도 가능하다.
디스플레이 장치(D)는 정보처리장치(E), 예를 들어 서버로부터 수신한 에이전트 선택에 대한 정보와 에이전트 메시지를 이용하여 선택된 에이전트가 화면상에 표시되거나 또는 일정한 동작을 취하도록 하며, 아울러 에이전트 메시지를 음성으로 또는 화면을 통해 사용자에게 출력하도록 할 수도 있다.
도 4에는 디스플레이 장치(D)의 일 실시예에 대해 도시되어 있다.
본 발명의 일 실시예에 따르면 에이전트 제어부(100)는 STT부(111), 문맥분석부(112), 에이전트 선택부(113), 에이전트 메시지 생성부(114) 및 에이전트 출력 제어부(120)를 포함할 수 있다.
먼저 사용자는 에이전트 메시지가 출력된 후 또는 에이전트 메시지가 출력되기 전에 예를 들어 마이크로폰(m)을 통하여 음성 기반의 사용자 메시지를 입력하도록 할 수 있다. 만약 에이전트 메시지 생성부(114) 등에서 생성된 에이전트 메시지가 출력된 후에 사용자 메시지가 짧은 시간 내에 입력된다면, 이 경우 사용자 메시지는 에이전트 메시지에 대한 응답일 가능성이 높을 것이다.
이와 같이 마이크로폰(m)를 통해 사용자 메시지가 입력되면, STT부(111)는 마이크로폰(m) 등을 통해 입력된 음성 기반의 사용자 메시지를 인식하고 이를 텍스트(text) 기반의 메시지로 변환하여 문맥 분석부(112)로 전달한다. 즉, STT부(111)는 스피치투텍스트(STT, speech to text)의 기능을 수행한다. STT부(111)는 종래 알려진 모든 형태의 스피치투텍스트 기술을 이용하여 사용자의 음성 기반의 메시지를 텍스트 메시지로 변환할 수 있다. 이 경우 본 발명의 실시예에 따라서는 사용자의 발음상의 문제로 인하여 음성 인식에 불가능하거나 또는 정확하지 않은 것으로 판단되는 경우, 영상출력부(210)나 음성출력부(220)를 통해 음성의 재입력 메시지를 화면에 표시하거나 사운드로 출력하도록 할 수 있다.
문맥 분석부(112)는, 기저장된 각종 단어나 문구 등을 이용하여 STT부(111)에 의해 변환된 텍스트 기반의 사용자 메시지를 분석하고, 분석 결과를 에이전트 선택부(113)로 전달한다. 다시 말해서 문맥 분석부(112)는, 사용자 메시지의 문맥을 분석하여 사용자의 메시지의 내용, 즉 사용자의 의도 또는 의사를 판단한다.
예를 들어 문맥 분석부(112)는 변환된 텍스트 기반의 사용자 메시지로부터 단어, 예를 들어 명사나 동사 등을 분리하여 추출하고, 추출된 단어들의 기술적 의미나 각 단어들 사이의 관계 등을 분석하여 분석 결과를 생성한 후 에이전트 선택부(113) 또는 에이전트 메시지 생성부(114)로 전달한다.
이 경우 실시예에 따라서는 문맥 분석부(112)는, STT부(111)에서 변환된 텍스트 기반의 사용자 메시지의 오인식과 같은 오류를 수정하면서 문맥을 분석할 수도 있다. 즉, 사용자의 발음상의 문제 또는 STT부(111)나 마이크로폰(m)의 기술적 문제로 인하여 변환된 텍스트 기반의 사용자 메시지가 원래 사용자가 발성한 메시지와 서로 차이가 있을 수 있는데, 문맥 분석부(112)는 이와 같은 오류의 발생 가능성을 고려하여, 추출된 단어와 발음이나 형태상 유사한 다른 단어 역시 분석의 대상으로 할 수 있다.
본 발명의 일 실시예에 따르면 문맥 분석부(112)는, 사용자 메시지의 분석 결과 사용자 메시지가 디스플레이 장치(D) 또는 외부의 장치(440)를 제어하기 위한 제어 명령으로 판단되는 경우에는 기능 제어부(400a)로 디스플레이 장치의 제어를 위한 신호를 전달하도록 할 수 있다. 그러면 기능 제어부(400a)는 전달받은 신호를 기초로 디스플레이 장치(D)의 각종 기능, 예를 들어 음량 조절(410), 채널 제어(420), 전원 제어(430)를 위한 제어 신호를 생성하여 각 기능부에 전달하도록 한다. 또한 실시예에 따라서는 기능 제어부(400a)는 외부장치(440), 예를 들어 다른 각종 전자 장치, 예를 들어 냉장고 등의 각종 가전 제품을 제어하기 위한 제어 명령을 생성한 후, 이를 다른 각종 전자 장치에 전달하여 각종 전자 장치가 사용자의 메시지에 따라서 제어되도록 할 수도 있다.
문맥 분석부(112)는 온톨로지(ontology)를 기초로 메시지 분석을 수행하도록 할 수도 있다.
에이전트 선택부(113)는, 문맥 분석부(112)에 의한 문맥 분석 결과를 기초로 사용자의 메시지가 복수의 에이전트 중 어느 에이전트의 메시지에 대한 응답인지 여부를 판단하도록 한다.
예를 들어 도 1 및 도 2에 도시된 바와 같이 영상출력부(210)에 복수의 에이전트(a1 내지 a3)와 이에 대응되는 에이전트 메시지(m1 내 m3)가 표시되는 경우, 또는 영상출력부(210){에 복수의 에이전트(a1 내지 a3)가 표시되고 음성출력부(220)에 에이전트 메시지(m1 내 m3)가 출력되는 경우 등에 있어서, 사용자는 출력되는 에이전트 메시지(m1 내지 m3)를 읽거나 들은 후, 출력되는 에이전트 메시지(m1 내지 m3) 중 적어도 하나의 에이전트 메시지(m1 내지 m3)에 대한 응답을 마이크로폰 등을 통해 입력할 수 있다.
이 경우 에이전트 선택부(113)는 사용자가 마이크로폰을 통해 입력하고 STT부(111) 및 문맥 분석부(112)를 통해 분석된 사용자 메시지의 분석 결과를 기초로 사용자의 대답한 사용자 메시지가 복수의 에이전트(a1 내지 a3) 중 어느 에이전트에 대한 응답인지 여부를 판단하여 적어도 하나의 에이전트를 선택하도록 한다.
다시 말해서 에이전트 선택부(113)는 사용자 메시지가 복수의 에이전트 메시지(m1 내지 m3) 중 어느 에이전트 메시지에 대한 응답인지 여부를 판단하고, 이에 따라서 복수의 에이전트(a1 내지 a3) 중 적어도 하나의 에이전트를 선택하도록 한다.
이 경우 에이전트 선택부(113)는, 에이전트의 선택을 위해서 에이전트들에 대한 정보를 저장하고 있는 에이전트 데이터베이스(310)를 열람할 수 있다. 필요에 따라서 에이전트 선택부(113)는, 분석 결과에 따라서 도 1 및 도 2에 도시된 것과 같이 화면에 표시되는 복수의 에이전트(a1 내지 a3) 외의 또 다른 에이전트를 에이전트 데이터베이스(310)에서 선택하도록 할 수도 있다. 또한 에이전트 선택부(113)는, 에이전트 데이터베이스(310)에 저장된 각각의 에이전트(a1 내지 a3)의 성격 특성에 대한 특성 정보와 문맥 분석 결과를 함께 이용하여 에이전트를 판단하도록 할 수도 있다.
한편 본 발명의 일 실시예에 따르면 에이전트 선택부(113)는 사용자 메시지의 분석 결과에 따라서 화면에 표시된 복수의 에이전트(a1 내지 a3) 중에서 복수의 에이전트, 예를 들어 제1 및 제2 에이전트(a1 및 a2)를 선택하도록 할 수 있다. 이 경우 에이전트 선택부(113)는 선택된 복수의 에이전트(a1 및 a2)를 차별없이 선택하도록 할 수도 있으나, 선택된 복수의 에이전트(a1 및 a2) 각각에 대해서 순위를 부여하도록 할 수 있다. 이 경우 복수의 에이전트(a1 및 a2) 각각에 부여되는 순위는 예를 들어 사용자 메시지에 대한 응답의 적합성 정도 또는 후술하는 에이전트 분석부(500)에 의해 미리 분석된 에이전트의 선택 빈도 등에 따라서 결정될 수 있다.
에이전트 메시지 생성부(114)는, 화면에 표시되거나 또는 화면상에 표시되지 않고 있는 적어도 하나의 에이전트(a1 내지 a3)의 에이전트 메시지를 생성한다.
에이전트 메시지 생성부(114)는, 화면에 표시된 모든 에이전트(a1 내지 3)의 에이전트 메시지를 생성할 수도 있고, 에이전트 선택부(113)에 의해 선택된 복수의 에이전트(a1 내지 3) 중 적어도 하나의 에이전트의 에이전트 메시지를 생성할 수 있으며, 또한 화면에 표시되지는 않았으나 에이전트 선택부(113)에 의해 선택된 적어도 하나의 에이전트의 메시지를 생성하도록 할 수도 있다.
에이전트 메시지 생성부(114)는 상술한 문맥 분석부(112)의 분석 결과를 기초로 사용자의 메시지에 적절한 응답이 될 수 있는 에이전트 메시지를 생성한다.
본 발명의 일 실시예에 따르면 에이전트 메시지 생성부(114)는 사용자의 메시지 문맥 분석 결과에 따른 사용자 메시지의 내용, 사용자의 의도 또는 의사를 기초로, 상황에 적절한 에이전트 대화 메시지를 생성하기 위해서 대화 생성 데이터베이스(320)를 열람하도록 할 수도 있다. 예를 들어 사용자가 층간 소음 문제에 대한 메시지를 입력한 경우, 제1 에이전트(a1)의 메시지를 생성하기 위하여 대화 생성 데이터베이스(320)를 열람하여 층간 소음과 관련된 문제 해결 방안이나 외부 웹사이트를 검출하고 이를 사용자에게 영상출력부(210) 또는 음성출력부(220)를 통해 전달한다.
또한 본 발명의 다른 일 실시예에 따르면 에이전트 메시지 생성부(114)는 대화 생성용 검색엔진(330)을 이용하여 에이전트 메시지를 생성하도록 할 수 있다. 예를 들어 사용자가 층간 소음 문제에 대한 메시지를 입력한 경우, 대화 생성용 검색엔진(330)이 문맥 분석 결과에 따른 키워드(keyword), 예를 들어 '층간 AND 소음 AND 해결'를 입력 또는 수신받고, 키워드 검색을 수행하여 필요한 데이터, 예를 들어 층간 소음 관련 자료를 수집 및 검출하고 이를 기초로 에이전트 메시지 생성부(114)가 에이전트 메시지를 생성하도록 할 수도 있다. 이 경우 대화 생성용 검색엔진(330)는, 예를 들어 시맨틱 검색 엔진(semantic search engine)일 수도 있다.
본 발명의 또 다른 일 실시예에 따르면 에이전트 메시지 생성부(114)는 베이지안 네트워크(bayesian network)와 같은 확률 모델을 이용하여 에이전트 메시지를 생성하도록 할 수도 있다.
에이전트 메시지 생성부(114)는, 에이전트마다 서로 상이하게 에이전트 메시지를 생성하도록 할 수 있다. 즉, 상술한 바와 같이 에이전트 메시지 생성부(114)는 각각의 에이전트(a1 내지 a3)에 대응되는 에이전트의 특성 정보에 따라서 각각의 에이전트 메시지(m1 내지 m3)를 생성하도록 하되, 각각의 에이전트 메시지는 내용 또는 대화 스타일 등에서 서로 상이하도록 할 수 있다.
다시 말해서 영상출력부(210) 또는 음성출력부(220)에 출력되는 복수의 에이전트 메시지는 각각 서로 상이한 내용을 포함할 수 있다. 또한 각각의 에이전트의 메시지는 동일한 내용을 서로 상이한 스타일로 표현한 것일 수도 있으며, 서로 상이한 내용을 서로 상이한 스타일로 표현한 것일 수도 있다.
예를 들어 사용자가 층간 소음의 문제로 불평을 하는 경우, 도 2에 도시된 것처럼 제1 에이전트(a1)에 대응되는 제1 에이전트 메시지(m1)는 "층간 소음을 해결하려면 다음 사이트로 접속하세요"와 같이 사용자에게 직접적인 도움을 줄 수 있는 내용일 수 있다. 제2 에이전트(a2)에 대응하는 제2 에이전트 메시지(m2)는 사용자의 정서적 해결을 위해 같이 층간 소음의 원인에 대해 비판 또는 비난을 하는 내용을 포함할 수 있다. 또한 제3 에이전트(a3)에 대응되는 제3 에이전트 메시지(m3)는 사용자의 기분을 완화시켜줄 수 있도록 달래는 내용의 메시지를 전달하도록 할 수 있다. 또한 필요에 따라서 새로운 제어 명령의 입력 요청, 예를 들어 음악 프로그램의 실행 명령의 입력 요청 등을 질의 할 수도 있다.
이상 상술한 바와 같이 사용자가 예를 들어 마이크로폰을 이용하여 입력한 메시지를 기초로 적어도 하나의 에이전트의 대화가 생성되면 에이전트 제어부(100)는 에이전트 출력제어부(120)를 통해 이를 영상 또는 음성으로 출력한다.
에이전트 출력 제어부(120)는 도 4에 도시된 바와 같이 에이전트 표시 제어부(121), 에이전트 음성출력제어부(122) 및 TTS부(123)를 포함하고 있을 수 있다.
에이전트 표시 제어부(121)는 영상출력부(210)를 통에이전트 선택부(113)에 따라 선택된 적어도 하나의 에이전트(a1 내지 a3)의 영상출력부(210)상의 표시를 제어한다. 이 경우 에이전트 표시 제어부(121)는 화면상 표시된 복수의 에이전트(a1 내지 a3) 중 적어도 하나의 에이전트가 선택된 경우, 선택된 에이전트가 화면상에서 다른 에이전트들과 구별되어 표시하도록 제어할 수도 있다.
예를 들어 도 5a에 도시된 바와 같이 에이전트 판단결과 복수의 에이전트(a1 내지 a3) 중 제1 에이전트(a1가 선택된 경우, 다른 제2 및 제3 에이전트(a2 및 a3)는 표시되지 않고, 오직 제1 에이전트(a1)만이 화면상에 표시하도록 하는 것도 가능하다.
또한 표시되는 제1 에이전트(a1)가 다른 에이전트와는 차별되는 다른 동작을 하도록 할 수 있다. 예를 들어 제1 에이전트(a1)는 마치 말하는 것처럼 입 모양이 다른 에이전트와 다르게 동작하도록 할 수도 있다. 또한 제1 에이전트(a1)의 표시에 있어서 특별한 효과를 부가하는 것도 가능하다.
또한 에이전트 표시 제어부(121)는 에이전트(a1 내지 a3) 뿐만 아니라 에이전트 메시지(m1 내지 m3)의 표시를 제어할 수도 있다.
예를 들어 도 5b에 도시된 바와 같이 복수의 에이전트(a1 내지 a3)는 화면상에 그대로 표시하도록 하되, 선택된 에이전트, 예를 들어 제1 에이전트(a1)의 에이전트 메시지(m1)만이 화면상에 표시되도록 제어할 수도 있다.
또한 에이전트 표시 제어부(121)는 출력되는 에이전트(a1 내지 a3) 내지 에이전트 메시지(m1 내지 m3)의 표시 위치 등 역시 제어할 수도 있다.
또한 만약 상술한 바와 같이 선택된 각각의 에이전트(a1 및 a2)에 대해서 순위가 부여된 경우에는 순위에 따라서 에이전트의 표시 위치를 변경하거나 또는 순위에 따라서 순차적으로 에이전트가 화면에 표시되도록 할 수도 있다.
에이전트 음성 출력 제어부(122)는 에이전트 메시지 생성부(114)에서 생성된 에이전트 메시지를 음성출력부(220)를 통해 음성, 음향으로 출력하도록 제어한다. 이 경우 에이전트 메시지의 음성 변환은 TTS부(Text to speech, 123)에 의해 수행될 수 있다.
TTS부(123)는 에이전트 음성 출력 제어부(122)에 의한 메시지 음성 출력을 위해서 에이전트 메시지 생성부(114)에서 생성된 텍스트 기반의 에이전트 메시지를 음성 파일로 변환하도록 한다. 그러면 에이전트 음성 출력 제어부(122)는 변환된 음성 파일을 스피커 등의 음성출력부(220)를 통해 출력하여 사용자가 에이전트 메시지를 청취할 수 있도록 한다.
에이전트 음성 출력 제어부(122)는 TTS부(123)에서 음성으로 변환된 적어도 하나의 에이전트 메시지를 순차적으로 출력하도록 할 수 있다. 이 경우 에이전트 메시지의 출력 순서는 에이전트 선택부(113)에 의해 각 에이전트에 부여된 순위가 이용될 수 있다.
한편 실시예에 따라서는 음성출력부(220)에 의해 에이전트 메시지가 음성으로 출력되는 경우, 에이전트 표시 제어부(121)는, 음성으로 출력되는 에이전트 메시지에 대응하는 에이전트를 다른 에이전트와는 다른 방식으로 화면상에 표시하도록 할 수 있다. 예를 들어 도 5a에 도시된 바와 같이 오직 제1 에이전트(a1)만이 화면상에 표시되도록 하거나, 또는 제1 에이전트(a1)가 마치 말하는 것처럼 동작하도록 할 수도 있다. 또한 도 5b에 도시된 것처럼 제1 에이전트(a1)만이 화면상에 표시되도록 하는 것도 가능하다. 이와 같은 방법을 통해서 어느 에이전트의 메시지가 음성으로 출력되고 있는지 사용자가 용이하게 식별할 수 있게 된다.
또한 이와 같이 에이전트 메시지가 음성으로 출력되는 경우, 동일한 메시지가 동시에 또는 이시에 화면(210)에 출력될 수도 있다.
한편 본 발명의 일 실시예에 따르면 디스플레이 장치(D)는 사용자 식별부(130)를 더 포함할 수도 있다.
사용자 식별부(130)는, 예를 들어 도 4에 도시된 바와 같이, 마이크로폰(m)을 통해 입력된 사용자의 음성의 패턴, 예를 들어 억양이나 발음 등을 기초로 사용자를 식별하도록 한다. 이 경우 사용자 식별부(130)는, 입력된 사용자의 음성의 패턴 등을 사용자 식별 데이터베이스(340)에 기저장된 데이터와 비교하여 사용자가 누구인지를 식별하도록 한다.
사용자 식별부(130)에 의해 사용자가 식별되면 식별된 사용자의 발음, 억양 등의 음성 패턴 등을 기초로 STT부(111)가 더 정확하게 사용자의 음성 메시지를 텍스트 메시지로 변환할 수 있게 된다. 또한 문맥 분석 시 또는 에이전트의 결정이나 에이전트 메시지 생성 시에도 개개의 사용자의 선택 패턴, 응답 패턴 등에 따라서 보다 최적의 에이전트의 결정이나 에이전트 메시지의 생성이 가능해진다.
본 발명의 다른 일 실시예에 따른 디스플레이 장치(D)가 도 6에 도시되어 있다.
도 6에 도시된 바를 따르면 디스플레이 장치(D)는 상술한 실시예와 같이 사용자의 음성을 입력받는 것이 아니라 리모콘(R)에 의해서 제어될 수도 있다. 이 경우 디스플레이 장치(D)는 리모콘 수신부(R')와 신호분석부(140)를 더 포함할 수 있다.
본 발명의 일 실시예에 따르면 리모콘(R)은 적외선 발생 수단을, 리모콘 수신부(R')는 적외선 감지 수단을 포함함으로써 적외선을 이용하여 디스플레이 장치(D)가 원격 제어되도록 할 수 있고, 다른 일 실시예에 따르면 리모콘(R) 및 리모콘 수신부(R')는 유무선 통신 모듈, 예를 들어 블루투스(bluetooth)나 와이파이(WI-FI)와 같은 근거리 무선 통신 기술을 이용한 무선 통신 모듈을 포함함으로써 유무선 통신을 통해 디스플레이 장치(D)가 원격 제어되도록 할 수도 있다.
복수의 에이전트(a1 내지 a3)가 도 2에 도시된 바와 같이 영상출력부(210)에 표시되면, 사용자는 표시된 복수의 에이전트 중 적어도 하나의 에이전트를 선택하기 위하여 리모콘(R)을 조작할 수 있다. 또는 사용자는 디스플레이 장치(D)의 각종 기능, 예를 들어 음량 조절이나 채널 변경 등의 기능을 수행하기 위하여 리모콘(R)을 조작할 수 있다.
사용자가 리모콘(R)의 버튼 등을 조작하면 예를 들어 리모콘(R)의 적외선 생성 수단으로부터 적외선이 발생하고 리모콘 수신부(R')의 적외선 감지 수단이 리모콘(R)으로부터 발생된 적외선을 감지한 후 이를 전기적 신호로 변환한다.
신호분석부(140)는 변환된 전기적 신호를 기초로 사용자의 리모콘(R)조작이 디스플레이 장치(D)의 각종 기능을 제어하기 위한 것인지 또는 에이전트를 선택하기 위한 것인지 여부를 판단하고, 기능 제어를 위한 것인 경우에는 기능 제어를 위한 신호를 기능제어부(400a)로 전달한다. 만약 에이전트를 선택하기 위한 것인 경우 신호를 에이전트 선택부(113)로 전달하도록 한다. 그러면 에이전트 선택부(113)는 리모콘(R)을 통해 입력된 신호를 기초로 영상출력부(210)에 표시된 복수의 에이전트 중 어느 에이전트가 선택되었는지 여부를 판단하고, 그 선택 결과를 에이전트 메시지 생성부(114)로 전달하여 선택된 적어도 하나의 에이전트의 에이전트 메시지가 생성될 수 있도록 한다.
본 발명의 다른 일 실시예에 따른 디스플레이 장치(D)가 도 7에 도시되어 있다.
도 7에 도시된 바에 따르면 디스플레이 장치(D)는 에이전트 제어부(100) 외에 에이전트 분석부(500)를 더 포함할 수 있다.
에이전트 분석부(500)는, 에이전트 제어부(100), 특히 에이전트 선택부(113)에 의해 선택된 에이전트에 대한 정보를 기초로 사용자의 의식적 또는 무의식적 에이전트 선택 패턴을 저장하고 분석한다. 그리고 분석 결과를 에이전트 제어부(100)로 전달하여 에이전트 선택부(113)가 에이전트를 선택할 경우에 그 분석 결과를 이용할 수 있도록 한다.
구체적으로 본 발명의 일 실시예에 따르면 에이전트 분석부(500)는 선택 결과 저장부(510), 선택 결과 분석부(520), 분석 모델 저장부(530) 및 분석 결과 저장부(540)를 포함하고 있을 수 있다.
선택 결과 저장부(510)는 에이전트 선택부(113)의 선택에 관한 정보, 즉 선택 결과 정보를 저장한다. 또한 필요에 따라서는 에이전트 메시지 생성부(114)에 의해 생성된 에이전트 메시지를 저장하도록 할 수도 있다.
사용자 식별부(130)에 의하여 식별된 사용자가 있는 경우 선택 결과 저장부(510)는 식별된 사용자 별로 에이전트 선택부(113)의 선택 결과 정보를 별도로 저장하도록 할 수 있다. 선택 결과 정보는, 사용자와 에이전트 간의 대화가 시작될 때마다, 사용자 또는 에이전트 선택부(113)가 적어도 하나의 에이전트를 선택할 때마다 또는 에이전트와 사용자 간의 대화가 종료될 때 저장될 수 있다.
선택 결과 분석부(520)는, 선택 결과 저장부(510)에 저장된 선택 결과 정보를 분석한다.
예를 들어 선택 결과 분석부(520)는 각각의 에이전트, 예를 들어 제1 에이전트(a1)가 몇 회 선택되었는지, 전체 선택 회수 중에서 제1 에이전트(a1)가 선택된 회수가 몇 회인지, 특정 기간, 예를 들어 최근 일주일 동안 어느 에이전트가 가장 많이 선택되었는지 등 다양한 자료를 분석하여 각 에이전트에 대한 선택 비중을 연산하여 분산 결과를 도출할 수 있다. 이 경우 각각의 식별된 사용자 마다 별도의 분석 결과를 도출하는 것도 가능하다.
또한 선택 결과 분석부(520)는, 선택 결과 정보를 분석하기 위해 분석모델저장부(530)에 저장된 각종 확률 모델을 이용할 수도 있다. 예를 들어 에이전트 선택에 대한 주어진 정보를 기초로 베이지안 네트워크 등을 이용하여 출력된 에이전트 메시지와, 출력된 에이전트 메시지에 대한 응답으로 입력되는 사용자 메시지 간의 상관 관계나 확률 관계를 연산하도록 할 수도 있다. 마찬가지로 각종 머신 러닝(machine learning) 기법 역시 분석모델저장부(530)에 저장되어 선택 결과를 분석하는데 활용될 수 있다.
선택 결과 분석부(520)에 의해 분석된 결과는 분석 결과 저장부(540)에 저장된다.
이 경우 분석된 결과에 상응하는 별도의 가중치가 부여되어 저장될 수도 있다. 예를 들어 가중치는 에이전트의 선택 빈도 등에 산술 급수적 또는 기하 급수적으로 비례하도록 결정될 수 있다. 그러면 에이전트 선택부(113)가 에이전트를 선택할 때 높은 가중치가 부여된 에이전트가 더 높은 확률로 선택될 수 있도록 할 수 있다.
에이전트 선택부(113)는, 이와 같이 에이전트 분석부(500)에 의해 분석된 에이전트 선택에 관한 분석 결과를 참조하여 에이전트를 선택하도록 할 수 있다. 다시 말해서 에이전트 선택부(113)는 저장부(540)에 저장된 각 에이전트에 대한 분석 결과를 에이전트의 선택 과정에 이용하여, 예를 들어 선택 빈도가 더 높은 에이전트를 다른 에이전트에 우선하여 선택하도록 할 수도 있다.
상술한 에이전트 분석부(500)를 이용하면 디스플레이 장치(D)의 사용에 따라서 사용자에게 최적인 에이전트가 선택될 수 있게 된다.
디스플레이 장치(D)의 사용 초기에는 사용자 메시지에 응하여 복수의 에이전트(a1 내지 a3)의 복수의 에이전트 메시지(m1 내지 m3)가 화면상에 출력된다. 이후 사용자가 디스플레이 장치(D)를 이용할 때, 특정 에이전트가 빈번히 선택될 수 있다. 예를 들어 제1 에이전트(a1)가 빈번히 에이전트 선택부(113)에 의해 선택될 수 있다.
디스플레이 장치(D)를 장기간 사용하게 되면 에이전트 선택에 대한 선택 결과 정보가 축적된다. 그러면 에이전트 선택부(113)의 선택에 따라서, 예를 들어 선택 빈도가 높은 에이전트, 예를 들어 선택 빈도가 소정의 수치, 일례로 80% 이상인 에이전트가 우선 순위로 출력되도록 하거나 또는 선택 빈도가 높은 에이전트만이 외부로 출력되도록 할 수 있게 된다. 예를 들어 도 8에 도시된 바와 같이, 사용자 또는 디스플레이 장치(D)에 의해 제1 에이전트(a1)가 주로 선택되었던 경우, 선택 빈도가 낮은 다른 에이전트(a2 및 a3)는 더 이상 표시되지 않고, 선택 빈도가 높은 제1 에이전트(a1)만이 화면에 표시되도록 할 수 있는 것이다.
이와 같이 복수의 에이전트의 선택 결과 정보를 기초로 분석 결과를 생성한 후 이를 에이전트의 선택에 활용함으로써, 도 8에 도시된 바와 같이 장기적으로는 특정 에이전트(a1), 예를 들어 선택 빈도가 높은 에이전트만이 사용자와의 대화에 사용되도록 할 수 있게 되고, 그 결과 시간의 경과에 따라 사용자 맞춤의 최적 에이전트가 결정되도록 할 수 있게 되는 것이다.
한편 실시예에 따라서 상술한 바와 같이 외부의 정보처리장치(E)가 에이전트 분석부(500)를 포함하고 있을 수도 있다.
본 발명의 일 실시예에 따르면 도 9에 도시된 바와 같이 전원 제어부, 특히 음성감지 전원 제어부(150)를 더 포함할 수 있다.
음성감지 전원제어부(150)는, 디스플레이 장치(D)가 대기 전력을 이용하여 대기 상태의 경우, 사용자가 마이크로폰(m) 등의 입력 수단을 이용하여 사용자 메시지를 입력하는 경우 음성감지 전원제어부(150)는 사용자 메시지 입력을 감지하고 전원 제어 신호르르 생성하여 전원(151)에 전달한다. 그러면 디스플레이 장치(D)의 각 부분, 예를 들어 사용자 식별부(130), 에이전트 제어부(100)나 기능 제어부(400a) 등에 전원이 인가되어 디스플레이 장치(D)는 대기 모드에서 액티브 모드로 전환하게 된다.
그리고 사용자 메시지를 기반으로 사용자를 식별하고 에이전트 또는 에이전트 메시지를 화면에 출력하도록 하거나, 에이전트를 화면에 출력하고 에이전트 메시지를 음성으로 출력하도록 한다.
따라서 디스플레이 장치(D)는 대기 상태에서도 사용자의 음성 명령 입력에 따라서 액티브 모드로 전환되어 에이전트가 화면에 표시되도록 하고 에이전트 메시지를 출력할 수 있게 됨으로써 전력을 절감하도록 할 수 있게 되면서 신속하게 에이전트 및 에이전트 메시지를 출력할 수 있게 된다.
이하 도 10 내지 도 22를 참조하여 본 발명의 다양한 실시예에 있어서 디스플레이 장치 제어 방법에 대해서 설명한다.
도 10에 도시된 바와 같이 본 발명의 일 실시예에 따른 디스플레이 장치(D)의 제어 방법은, 먼저 에이전트의 특성 정보, 예를 들어 에이전트의 성격, 대화 스타일, 대화 내용 등에 따라서 에이전트의 대화 메시지를 생성하는 단계(s610)와 에이전트를 화면에 표시하면서 생성된 에이전트 대화 메시지를 화면에 표시하거나 음성으로 출력하도록 하는 단계(s611)를 포함한다. 이 경우 디스플레이 장치(D)의 화면에 표시되는 에이전트와, 화면에 표시되거나 음성으로 출력되는 에이전트 메시지는 적어도 하나 이상일 수 있다. 한편 복수의 에이전트에 있어서 각각의 에이전트의 특성 정보는 상이하다.
디스플레이 제어 방법의 일 실시예에 따르면, 도 11 및 도 12에 도시된 바와 같이 먼저 사용자가 사용자 메시지를 디스플레이 장치(D)에 입력하도록 할 수 있다.(s620)
예를 들어, 도 12에 도시된 바와 같이 먼저 사용자가 마이크로폰 등을 통해서 사용자 메시지, 예를 들어 "층간 소음 때문에 힘들어"(c1)라는 메시지를 음성으로 입력할 수 있다. 이 경우 사용자는 상술한 바와 같이 사용자 메시지를 음성으로 입력하도록 할 수 있고, 또한 키보드나 리모콘 장치를 이용하여 입력할 수도 있으며, 기타 다른 입력 수단을 이용하여 입력할 수도 있다.
디스플레이 장치(D)는 입력된 사용자 메시지(c1)를 분석하고(s621) 상기 사용자 메시지에 적절한 에이전트 대화 메시지(m11 내지 m31)를 생성한다.(s622)
에이전트 대화 메시지(m11 내지 m31)는, 에이전트에 미리 부여된 성격 특성에 따라서 서로 다르게 생성될 수 있다. 예를 들어 도 12에 도시된 바와 같이 제1 에이전트(a1)의 메시지로는 실질적인 해결 방안에 대한 메시지(m11)를 생성하도록 할 수 있고, 제2 에이전트(a2)의 메시지로는 사용자와 감정적으로 동조하는 내용의 메시지(m21)를 생성하도록 하며, 제3 에이전트(a3)의 메시지는 사용자를 달래 진정시키는 내용의 메시지(m31)를 생성하도록 할 수 있다.
만약 사용자 메시지(c1)가 음성으로 입력된 경우 스피치 투 텍스트 기술을 이용하여 음성 메시지를 텍스트 메시지로 변환한 후, 텍스트 메시지를 기초로 문맥 분석하여 적절한 에이전트 대화 메시지를 생성하도록 할 수 있다.
에이전트 대화 메시지를 생성하는 과정에 있어서, 디스플레이 장치(D)는, 사용자 메시지의 내용, 사용자 의사 및 주변 상황에 적절한 에이전트 대화 메시지를 생성하기 위해서, 별도의 대화 생성 데이터베이스(320)를 열람하도록 할 수도 있고, 대화 생성용 검색엔진(330)을 이용하여 에이전트 메시지를 생성하도록 할 수 있다. 또한 베이지안 네트워크와 같은 확률 모델을 이용하여 에이전트 메시지를 생성하도록 할 수도 있다.
에이전트 대화 메시지가 생성된 후 디스플레이 장치(D)는 에이전트 메시지(m11 내지 m31)를 음성 또는 영상으로 출력하도록 한다.(s623) 이때 디스플레이 장치(D)는, 화면상에 복수의 에이전트(a1 내지 a3)도 함께 표시되도록 할 수 있다.
화면상에 표시되는 복수의 에이전트(a1 내지 a3)는, 사용자의 메시지 분석 단계(s621) 후, 분석된 사용자 메시지 및 에이전트 데이터베이스(310)를 기초로 선택된 복수의 에이전트일 수도 있고, 미리 설정된 복수의 에이전트일 수도 있다. 또한 사용자 메시지 입력 전부터 디스플레이 장치(D) 화면상에 표시되고 있던 에이전트일 수도 있다.
그 결과 도 12에 도시된 바와 같이 사용자의 사용자 메시지(c1)에 따라서 복수의 에이전트(a1 내지 a3)와, 각각 서로 다른 에이전트 메시지(m11 내지 m13)가, 예를 들어 디스플레이 장치(D)의 영상출력부(210) 상에 표시되게 된다.
본 발명의 일 실시예에 있어서 상술한 바와 같이 복수의 에이전트 메시지(m11 내지 m31)가 표시되거나 음성으로 출력된 후, 사용자는 도 12에 도시된 바와 같이 복수의 에이전트 메시지(m11 내지 m31) 중 적어도 하나의 에이전트 메시지에 대한 응답(c2), 예를 들어 "응 너무 힘들어. 어떻게 하지?"와 같은 응답을 할 수 있다.
이 경우 도 13에 도시된 바와 같이, 사용자는 마이크로폰 등을 통해 사용자 메시지(c2)를 입력하도록 할 수 있다. 물론 상술한 바와 동일하게 사용자는 키보드나 다른 여타의 입력 수단을 이용하여 사용자 메시지(c2)를 입력하는 것도 가능하다.
디스플레이 장치(D)는 입력된 사용자 메시지(c2)의 문맥을 분석하고,(s631) 문맥 분석 결과를 기초로 사용자의 메시지가 어느 에이전트에 대한 응답인지, 즉 사용자가 어느 에이전트와 대화하고 싶은지를 판단하고,(s632) 복수의 에이전트(a1 내지 a3) 중 적어도 하나의 에이전트를 선택하도록 한다.(s633)
예를 들어 도 12에 도시된 바와 같이 제3 에이전트(a3)가 선택될 수 있다.
실시예에 따라서 디스플레이 장치(D)는 사용자가 어느 에이전트와 대화하고 싶은지 판단하기 위하여 에이전트 데이터베이스(310)를 열람할 수 있고, 화면에 표시되는 에이전트 대신에 에이전트 데이터베이스(310)에 저장된 다른 성격, 예를 들어 다른 대화 스타일의 에이전트를 선택할 수도 있다.
또한 디스플레이 장치(D)는, 사용자 메시지의 분석 결과에 따라서 화면에 표시된 복수의 에이전트(a1 내지 a3) 중에서 복수의 에이전트를 선택하도록 할 수도 있으며, 필요에 따라서 각각에 대해 순위를 부여할 수 있다. 부여된 순위는 에이전트 메시지들이 화면 또는 음성으로 출력될 때 출력되는 위치나 출력되는 순서를 결정하는데 이용될 수 있다.
복수의 에이전트 중 적어도 하나의 에이전트, 예를 들어 제3 에이전트(a3)가 선택되면 디스플레이 장치(D)는 선택된 적어도 하나의 에이전트의 특성 정보와 문맥 분석 결과를 이용하여 제3 에이전트(a3)의 에이전트 메시지(m32)를 생성한다.(s634)
예를 들어 제3 에이전트(a3)는 부여된 성격 특성에 따라서 사용자 메시지(c2)에 대한 적절한 응답 메시지(m32)를 생성하도록 한다.
본 발명의 일 실시예에 따르면 이와 같은 응답 메시지(m32)는 도 12에 도시된 바와 같이 디스플레이 장치(D)의 동작 제어 여부에 관한 적어도 하나의 질의를 포함하는 질의 메시지일 수 있다. 즉 예를 들어 도 12에 도시된 바와 같이 "음악이라도 들을래?"와 같이 디스플레이 장치(D)의 음악 재생 여부에 관한 질의를 포함하고 있을 수 있다.
선택된 적어도 하나의 에이전트(a3)의 에이전트 메시지(m32)는 상술한 바와 동일하게 화면상에 표시될 수도 있고, 또한 음성으로 변환되어 출력될 수도 있다.(s635)
선택된 적어도 하나의 에이전트(a3)의 에이전트 메시지(m32)가 출력된 후, 사용자는 출력된 에이전트 메시지(m32)에 대한 응답, 예를 들어 "응. 음악들을래"와 같은 사용자 메시지(c3)를 마이크로폰 또는 다른 입력 수단을 통해 입력할 수 있으며, (s636) 디스플레이 장치(D)는 새로 입력된 사용자 메시지(c3)에 대한 응답 메시지(m33)를 생성하도록 할 수 있다.
이렇게 해서 사용자와 상술한 바와 같이 선택된 에이전트(a3) 간의 대화가 진행될 수 있다.(s637)
본 발명의 실시예에 따라서 선택된 적어도 하나의 에이전트(a3)의 에이전트 메시지가 질의 메시지인 경우에는 디스플레이 장치(D)가 질의된 동작, 예를 들어 음악 재생을 수행하도록 한다. 이때 사용자 메시지(c3)가 동작 제어 여부가 질의된 동작에 대한 동작 제어 명령으로 포함하는 것으로 판단되는 경우에 한하여, 디스플레이 장치(D)가 동작 제어 여부가 질의된 동작을 수행하도록 할 수도 있다.
한편 본 발명의 다른 일 실시예에 따르면 도 14에 도시된 바와 같이 먼저 디스플레이 장치(D)가 복수의 에이전트를 먼저 표시하도록 할 수 있다.(s640) 이 때 복수의 에이전트(a1 내지 a3)와 더불어 복수의 에이전트(a1 내지 a3)의 에이전트 메시지(m1 내지 m3)가 화면상에 표시되거나 또는 음성으로 출력되는 것도 가능하다. 그리고 사용자 메시지를 마이크로폰 등을 통해서 입력받고(s641), 사용자 메시지의 문맥을 분석하고 분석 결과에 따라서 적어도 하나의 에이전트를 선택한다.(s642) 디스플레이 장치(D)는 선택된 에이전트에 대한 대화 메시지를 생성하고,(s634) 선택된 적어도 하나의 에이전트의 에이전트 메시지를 영상출력부(210) 또는 음성출력부(220)를 통해 출력한다.(s644)
도 15 및 도 16을 통해 이를 좀더 구체적으로 설명하면 도 15에 도시된 바와 같이 먼저 복수의 에이전트의 서로 다른 에이전트 메시지가 생성된다.(s650)
여기서 생성되는 서로 다른 에이전트 메시지는, 기정해진 설정에 따라 생성될 수 있다. 예를 들어 서로 다른 에이전트의 메시지는, 주변의 외부 환경에 대한 정보,예를 들어 시간대, 날짜, 날씨, 최신 뉴스나 기정해진 사용자의 스케줄 등을 기초로 생성된 에이전트 메시지일 수도 있고, 또한 사용자나 디스플레이 장치(D) 공급자 등에 의해 미리 저장된 에이전트 메시지일 수도 있다. 이때 생성되는 에이전트 메시지는 사용자 메시지의 분석 결과를 기초로 한 에이전트 메시지가 아니다.
디스플레이 장치(D)는, 도 15 및 도 16에 도시된 바와 같이 복수의 에이전트(a1 내지 a3)와 소정의 에이전트 메시지(m10 내지 m30)을 함께 화면에 표시하거나,(s661) 또는 에이전트 메시지를 음성으로 출력하도록 한다.(s662) 이 경우 각각의 에이전트 메시지(m10 내지 m30)는 예를 들어 도 2나 도 16에 도시된 바와 같이 서로 다른 내용일 수 있다.
도 15 및 도 16에 도시된 바와 같이, 복수의 에이전트(a1 내지 a3)가 표시된 후, 디스플레이 장치(D)는 사용자로부터 소정의 사용자 메시지(c1)를 입력받는다.(s653)
입력되는 사용자 메시지는, 디스플레이 장치(D) 화면상에 표시되는 복수의 에이전트 메시지(m10 내지 m30) 중 적어도 하나의 메시지에 대한 답변일 수도 있고, 또는 예를 들어 도 16에 도시된 "내일 여행가기로 했는데"(c1)라는 내용의 사용자 메시지(c1)같이 디스플레이 장치(D)가 출력하는 복수의 에이전트 메시지(m10 내지 m30)와 전혀 무관한 내용의 사용자 메시지일 수도 있다.
사용자가 사용자 메시지(c1)를 입력하면(s653) 디스플레이 장치(D)는 사용자 메시지를 분석하고 문맥 분석 결과를 기초로 사용자 메시지에 적절한 적어도 하나의 에이전트를 선택하도록 한다.(s642, s654) 이 때 도 17에 도시된 바와 같이 모든 에이전트(a1 내지 a3)가 선택될 수도 있다. 또한 사용자 메시지(c1)가 디스플레이 장치(D)가 출력하는 복수의 에이전트 메시지(m10 내지 m30)와 전혀 무관한 내용인 경우에는 별도로 에이전트를 선택하지 않을 수도 있다.
디스플레이 장치(D)는 선택된 에이전트의 특성 정보를 기초로 선택된 에이전트에 대한 에이전트 메시지(m11 내지 m31)를 생성하고,(s655) 생성된 에이전트 메시지(m11 내지 m31)를 에이전트(a1 내지 a3)와 함께 화면에 표시하도록 하거나 또는 음성으로 출력하도록 한다.(s656)
사용자에 출력되는 에이전트 메시지(m11 내지 m31)를 보거나 듣고, 새로운 사용자 메시지(c2)를 입력하면(s667) 디스플레이 장치(D)는 상술한 바와 동일하게 사용자 메시지(c2)를 분석하여 사용자 메시지(c2)가 어느 에이전트 메시지(m11 내지 m31) 중 어느 에이전트 메시지에 대한 답변인지 판단하여, 도 16에 도시된 바와 같이 적어도 하나의 에이전트(a1 및 a3)를 선택한다. 그리고 선택된 에이전트(a1 및 a3)의 에이전트 메시지(m12 및 m32)를 생성하여 적어도 하나의 에이전트(a1 및 a3)사용자가 대화를 진행하도록 한다.(s668)
이 경우 상술한 바와 동일하게 출력되는 적어도 하나의 에이전트 메시지(m12)가 질의 메시지일 수도 있으며, 사용자의 메시지(c3)가 질의된 동작을 수행하도록 하는 내용을 포함하는 경우, 질의된 동작, 예를 들어 디스플레이 장치(D)가 홈페이지 접속 등을 수행하도록 할 수도 있을 것이다.
도 12 및 도 16에 도시되었던 바와 같이 화면상에 표시되거나 음성으로 출력되는 복수의 에이전트 메시지(m1 내지 m31) 중 적어도 하나의 에이전트 메시지가 질의를 포함하는 질의 메시지일 수도 있다.
이를 도 17을 참조하여 좀더 구체적으로 설명하면, 먼저 복수의 에이전트의 메시지가 서로 다르게 생성되면서 적어도 하나의 에이전트는 디스플레이 장치(D)가 소정의 동작을 수행할 지 여부를 질의하는 질의를 포함하는 질의 메시지일 수도 있다.(s660) 질의 메시지는, 예를 들어 도 12 및 도 16에 도시된 바와 같이 음악 재생 동작 수행 또는 홈페이지 접속 동작 수행 여부 등을 질의할 수도 있다. 이외에 디스플레이 장치(D)가 수행할 수 있는 대부분의 동작, 예를 들어 채널의 변경, 음량의 조절 또는 전원 오프(power off)와 같은 동작 수행 여부를 질의할 수도 있고, 또한 다른 전자 장치, 예를 들어 조명, 오디오 장치, 냉장고 등과 같은 각종 가전 제품들에 대한 제어 여부를 질의할 수도 있다.
적어도 하나가 질의 메시지인 생성된 에이전트 메시지는 복수의 에이전트와 더불어 화면에 표시될 수도 있고,(s661) 또한 음성으로 출력될 수도 있다.(s662)
에이전트 메시지가 출력된 후 사용자가 사용자 메시지를 입력하면(s663) 디스플레이 장치(D)는 상술한 바와 같이 사용자 메시지를 분석한다.(s664)
만약 사용자 메시지의 분석 결과 사용자 메시지가 예를 들어 도 12의 제3 사용자 메시지(c3)나 도 16의 제3 사용자 메시지(c3)와 같이 질의된 동작 여부에 대한 답변, 즉 동작 수행 명령을 포함하는 것으로 판단되는 경우(s645) 디스플레이 장치(D)는 질의된 동작을 수행하도록 할 수 있다.(s646) 이 경우 디스플레이 장치(D)는 필요에 따라서 다른 전자 장치에 대한 제어 명령을 생성하여 다른 전자 장치로 전달하도록 할 수도 있다.
따라서 디스플레이 장치(D)는 사용자의 의사를 질의하고 사용자의 의사에 따라서 동작될 수도 있게 된다.
도 18 및 도 19를 참조하면 본 발명의 일 실시예에 따르면 입력된 사용자 메시지가 장치 제어 명령을 포함하고 있는 경우 디스플레이 장치(D)를 제어하도록 할 수도 있다.
도 18에 도시된 바와 같이 먼저 사용자가 마이크 등을 통해 사용자 메시지를 입력하면(s670) 디스플레이 장치(D)는 입력된 사용자 메시지의 문맥을 분석하여(s671) 사용자 메시지가 장치 제어 명령을 포함하고 있는지 여부를 판단한다.(s672)
이 경우 상술한 바와 도 19에 도시된 바와 같이 사용자 메시지의 입력 전에 각각의 에이전트(a1 내지 a3)는 에이전트 메시지(m1 내지 m3)를 출력하고 있을 수도 있다.
만약 사용자 메시지가 장치 제어 명령, 예를 들어 채널 변경 명령이나 음량 조절 명령을 포함하고 있다고 판단되는 경우, 도 18 및 도 19에 도시된 바와 같이 디스플레이 장치(D)는 사용자의 장치 제어 명령에 따라서 제어된다.
특히 도 19에 도시된 바와 같이 사용자 메시지(c4)가 "프로야구 중계"와 같이 특정한 프로그램에 대한 내용을 포함하고 있는 경우 디스플레이 장치(D)는 문맥 분석을 통해 사용자 메시지가 특정 프로그램이라는 것을 인식하고, 인식된 내용에 따라서 예를 들어 프로야구가 중계되는 채널을 검색한 후 채널 변경 명령을 생성하여 방송 채널을 변경하도록 할 수도 있다.
만약 사용자 메시지가 장치 제어 명령을 포함하지 않는 경우 상술한 바와 같이 마찬가지로 사용자 메시지에 적절한 적어도 하나의 에이전트를 선택한 후 선택된 에이전트의 에이전트 메시지를 생성하여 출력하도록 한다.(s674 내지 s678)
본 발명의 일 실시예에 따르면 도 20에 도시된 바와 같이 복수의 에이전트에 대해 각각 순위를 부여한 후 부여된 순서에 따라서 에이전트 및 에이전트 메시지의 출력을 제어하도록 할 수 있다.
예를 들어 도 16에 도시된 바와 같이 복수의 에이전트(a1 내지 a3) 중 사용자 메시지(c2)에 대해 두 개의 에이전트, 제1 에이전트(a1) 및 제3 에이전트(a3)가 선택되었다고 하자.(s680)
그러면 디스플레이 장치(D)는 선택된 제1 에이전트(a1) 및 제3 에이전트(a3)에 대해 각각 순위를 부여할 수 있다. 이 경우 각각의 에이전트(a1, a3)에 부여되는 순위는 사용자 메시지에 더 적절한지 여부에 따라서 결정될 수 있다. 즉, 만약 제1 에이전트(a1)가 사용자 메시지에 더 적절하다면 제1 에이전트(a1)를 1순위로 하고, 제3 에이전트(a3)를 2순위로 하도록 할 수 있다.(s681) 또한 각각의 에이전트(a1, a3)에 부여되는 순위는 상술한 에이전트 분석부(500) 등에 의해 분석된 에이전트 선택 빈도 등에 따라서 결정되는 것도 가능할 것이다.
그리고 제1 에이전트(a1) 및 제3 에이전트(a3)를 부여된 순위에 따라서 화면에 표시하도록 한다.(s682) 이때 더 높은 순위의 제1 에이전트(a1)는 화면 상단에 표시하고, 더 낮은 순위의 제3 에이전트(a3)는 화면 하단에 표시하도록 할 수 있다.
그리고 선택된 제1 에이전트(a1) 및 제3 에이전트(a3) 중 순위가 더 높은 제1 에이전트(a1)의 대화 메시지(m12)를 먼저 음성으로 출력하도록 하고,(s683) 순위가 더 낮은 제3 에이전트(a3)의 대화 메시지(m32)를 이어서 출력하도록 할 수 있다.(s684) 즉, 부여된 순위에 따라서 에이전트 메시지를 순차적으로 출력하도록 할 수 있다.
본 발명의 일 실시예에 따르면 도 21에 도시된 바와 같이 사용자 또는 디스플레이 장치(D)의 에이전트 선택부(113)에 의한 에이전트 선택에 대한 정보를 분석한 후 분석 결과를 이용하여 에이전트 선택부(113)가 에이전트를 선택하도록 할 수 있다.
도 21에 도시된 바에 따르면 먼저 복수의 에이전트의 에이전트 메시지가 서로 다르게 생성되고,(s700) 복수의 에이전트 및 에이전트 메시지가 함께 화면에 표시되거나(s710) 또는 복수의 에이전트는 화면에 표시되고 에이전트 메시지는 음성으로 출력될 수 있다.(s711)
그리고 마이크로폰 등을 통해 사용자가 사용자 메시지를 입력하면(s712) 디스플레이 장치(D)는 입력된 사용자 메시지의 문맥을 분석하고(s713) 문맥 분석 결과를 기초로 복수의 에이전트 중 적어도 하나의 에이전트를 선택한다.(s714)
이때 에이전트 선택 결과에 대한 정보인 선택 결과 정보가 생성되어 외부의 정보처리장치(E)나 디스플레이 장치(D) 내의 저장 공간에 저장된다.(s720) 선택 결과 정보는 식별된 사용자 별로 각각 저장될 수 있다.
시간의 경과에 따라서 정보처리장치(E)나 디스플레이 장치(D)에는 다량의 선택 결과 정보가 축적될 수 있다.(s721) 이와 같이 다량의 선택 결과 정보가 저장되면 정보처리장치(E)나 디스플레이 장치(D)는 선택 결과 정보를 분석한다. (s722)
외부의 정보처리장치(E)나 디스플레이 장치(D)는, 예를 들어 일정 기간마다 선택 결과 정보를 분석할 수도 있고, 선택 결과에 대한 누적된 데이터량에 따라서 선택 결과 정보를 분석하도록 할 수도 있다. 또한 사용자의 선택 결과 분석에 대한 요청에 따라서 분석하는 것도 가능하다.
선택 결과 분석을 위해서 정보처리장치(E)나 디스플레이 장치(D)는 단순히 선택 회수 등을 카운트하여 선택 빈도를 연산할 수도 있고 베이지안 네트워크나 머신 러닝 기법을 이용할 수도 있다.
정보처리장치(E)나 디스플레이 장치(D)는, 선택 결과 분석에 따른 분석 결과를 생성하여 이를 외부의 정보처리장치(E)나 디스플레이 장치(D) 등의 저장 매체에 저장한다.(s723)
그리고 디스플레이 장치(D)는, 추후 저장된 분석 결과를 이용하여 사용자 메시지에 상응하는 적어도 하나의 에이전트를 선택하고 에이전트 메시지를 생성하여 출력하도록 한다.(s724)
이에 따라 사용자는, 장기적으로 사용자 취향이나 필요에 적절한 에이전트와 대화가 가능하게 된다.
100 : 에이전트 제어부 200 : 에이전트 출력부
310 : 에이전트 데이터베이스 320 : 대화 생성 데이터베이스
330 : 대화 생성용 검색엔진 340 : 사용자 식별 데이터베이스
400 : 제어부 500 : 에이전트 분석부

Claims (42)

  1. 사용자 메시지를 입력받는 입력부;
    복수의 에이전트가 표시되는 영상출력부; 및
    상기 사용자 메시지를 분석하고, 상기 사용자 메시지의 분석 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트의 에이전트 메시지를 생성하도록 하는 에이전트 제어부;
    를 포함하고,
    상기 에이전트 메시지는 상기 복수의 에이전트간에 서로 상이하게 생성되는 디스플레이 장치.
  2. 제1항에 있어서,
    음성 또는 음향을 출력하는 음성출력부;
    를 더 포함하고,
    상기 에이전트 제어부는, 상기 생성된 에이전트 메시지를 상기 영상출력부에 표시하거나 또는 상기 음성출력부를 통하여 음성으로 출력하도록 제어하는 디스플레이 장치.
  3. 제1항에 있어서,
    상기 에이전트 제어부는,
    상기 사용자 메시지에 대한 분석 결과를 기초로 상기 사용자 메시지가 디스플레이 장치를 제어하기 위한 장치 제어 명령을 포함하는지 여부를 판단하는 디스플레이 장치.
  4. 제3항에 있어서,
    상기 에이전트 메시지는, 상기 디스플레이 장치의 동작 여부에 대한 적어도 하나의 질의를 포함하는 디스플레이 장치.
  5. 제4항에 있어서,
    상기 분석 결과 상기 사용자 메시지가 상기 질의된 동작 여부에 대한 답변을 포함하는 경우, 상기 질의된 동작을 수행하도록 제어되는 디스플레이 장치.
  6. 제1항에 있어서,
    상기 영상출력부는,
    상기 사용자 메시지가 입력된 후에 복수의 에이전트를 표시하는 디스플레이 장치.
  7. 제1항에 있어서,
    상기 사용자 메시지를 분석하여 사용자를 식별하는 사용자 식별부;
    를 더 포함하는 디스플레이 장치.
  8. 제1항에 있어서,
    상기 에이전트 제어부는,
    상기 사용자 메시지의 분석 결과에 따라서 복수의 에이전트를 선택하고, 상기 선택된 복수의 에이전트 각각에 대하여 순위를 부여하는 디스플레이 장치.
  9. 제8항에 있어서,
    상기 에어전트 제어부는,
    상기 생성된 적어도 하나의 대화 메시지를 상기 부여된 순위에 따라서 상기 영상출력부에 표시하도록 하거나, 또는 상기 에이전트 메시지를 상기 부여된 순위에 따라서 순차적으로 음성으로 출력하도록 제어하는 디스플레이 장치.
  10. 제1항에 있어서,
    상기 에이전트 제어부는, 상기 사용자 메시지의 분석 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택한 후, 상기 선택된 적어도 하나의 에이전트에 대한 대화 메시지를 생성하는 디스플레이 장치.
  11. 제10항에 있어서,
    상기 적어도 하나의 에이전트의 선택 결과를 기초로 상기 복수의 에이전트의 선택에 관한 정보를 분석하는 에이전트 분석부;
    를 더 포함하는 디스플레이 장치.
  12. 제11항에 있어서,
    상기 에이전트 제어부는,
    상기 에이전트 분석부의 분석 결과 및 상기 사용자 메시지의 분석 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택한 후, 상기 선택된 적어도 하나의 에이전트에 대한 대화 메시지를 생성하는 디스플레이 장치.
  13. 제1항에 있어서,
    상기 에이전트 제어부는,
    상기 입력부가 상기 사용자로부터 사용자 메시지를 입력받기 전부터 상기 복수의 에이전트 각각의 대화 메시지를 생성하여 상기 영상출력부에 표시하도록 제어하거나 또는 음성으로 출력하는 디스플레이 장치.
  14. 제1항에 있어서,
    상기 사용자의 사용자 메시지 입력을 감지하여 상기 디스플레이 장치를 대기 모드에서 액티브 모드로 전환하도록 제어하는 전원 제어 명령을 생성하여 전원에 전달하는 전원 제어부;
    를 더 포함하는 디스플레이 장치.
  15. 제1항에 있어서,
    상기 에이전트 제어부는, 외부 환경에 대한 정보 및 복수의 에이전트 특성 정보를 기초로 상기 복수의 에이전트 각각의 대화 메시지를 생성하되,
    상기 에이전트 특성 정보는, 상기 에이전트의 대화 스타일에 대한 정보를 포함하는 디스플레이 장치.
  16. 제1항에 있어서,
    상기 입력부는, 상기 에이전트 메시지가 상기 영상출력부에서 출력되거나 음성으로 출력된 후 사용자 메시지를 입력받고,
    상기 에이전트 제어부는, 상기 에이전트 메시지 및 상기 사용자의 응답 메시지의 분석 결과를 기초로 상기 사용자 메시지가 상기 복수의 에이전트 중에서 어느 에이전트의 에이전트 메시지에 대한 응답인지 여부를 판단하는 디스플레이 장치.
  17. 제1항에 있어서,
    상기 에이전트 제어부는,
    상기 적어도 하나의 에이전트 메시지가 생성된 에이전트만을 상기 영상출력부에 표시하도록 하는 디스플레이 장치.
  18. 사용자에게 복수의 에이전트를 영상으로 출력하여 표시하는 디스플레이 장치로부터 사용자 메시지를 수신 받고,
    상기 수신된 사용자 메시지의 문맥을 분석하고, 상기 사용자 메시지의 문맥 분석 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하고,
    상기 선택된 적어도 하나의 에이전트의 적어도 하나의 에이전트 메시지를 생성하고,
    상기 적어도 하나의 에이전트의 선택에 대한 정보 및 상기 적어도 하나의 에이전트 메시지를 상기 디스플레이 장치로 전송하되,
    상기 적어도 하나의 에이전트 메시지는 상기 에이전트의 대화 스타일에 대한 에이전트 특성 정보에 따라 서로 다르게 생성되는 정보처리장치.
  19. 사용자 메시지를 입력받는 입력부;
    복수의 에이전트를 표시하는 영상출력부; 및
    상기 입력된 사용자 메시지의 문맥을 분석하고, 상기 사용자 메시지의 문맥 분석 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하고, 에이전트 특성 정보에 따라서 상기 선택된 적어도 하나의 에이전트 메시지를 생성하는 에이전트 제어부;
    를 포함하되,
    상기 에이전트 특성 정보는, 상기 에이전트의 대화 스타일에 대한 정보를 포함하는 디스플레이 장치.
  20. 복수의 에이전트가 표시되는 영상출력부; 및
    상기 복수의 에이전트 각각의 대화 스타일에 대한 정보를 포함하는 에이전트 특성 정보에 따라서 상기 복수의 에이전트 각각의 대화 메시지를 서로 다르게 생성하는 에이전트 제어부;
    를 포함하는 디스플레이 장치.
  21. 제20항에 있어서,
    상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하는 에이전트 선택 명령을 입력받는 입력부;
    를 더 포함하는 디스플레이 장치.
  22. 제20항에 있어서,
    상기 에이전트 제어부는, 상기 선택된 적어도 하나의 에이전트의 대화 특성 정보에 따라서 상기 선택된 적어도 하나의 에이전트 메시지를 생성하는 디스플레이 장치.
  23. 제20항에 있어서,
    상기 각각의 대화 메시지 중 적어도 하나의 대화 메시지는 상기 디스플레이 장치의 동작 제어에 대한 적어도 하나의 질의를 포함하고,
    적어도 하나의 질의를 포함하는 대화 메시지의 에이전트가 선택되는 경우, 상기 질의된 동작을 수행하는 디스플레이 장치.
  24. 제20항에 있어서,
    상기 입력부는, 음성 입력 또는 버튼 조작을 통하여 사용자 메시지를 입력받고,
    상기 에이전트 제어부는, 상기 사용자 메시지를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하고, 상기 선택된 적어도 하나의 에이전트의 대화 특성 정보에 따라서 상기 선택된 적어도 하나의 에이전트 메시지를 생성하는 디스플레이 장치.
  25. 복수의 에이전트를 표시하는 단계;
    사용자 메시지를 입력받는 단계;
    상기 입력된 사용자 메시지를 분석하는 단계;
    상기 사용자 메시지의 분석 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트 메시지를 생성하는 단계; 및
    상기 생성된 에이전트 메시지를 상기 영상출력부에 표시하도록 제어하거나 또는 음성으로 출력하는 단계;
    를 포함하는 디스플레이 장치 제어 방법.
  26. 제25항에 있어서,
    상기 사용자 메시지의 분석 결과를 기초로 상기 사용자 메시지가 디스플레이 장치를 제어하기 위한 장치 제어 명령을 포함하고 있는지 여부를 판단하고, 만약 상기 사용자 메시지가 장치 제어 명령을 포함하고 있다면 상기 장치 제어 명령에 따라서 디스플레이 장치를 제어하는 단계;
    를 더 포함하는 디스플레이 장치 제어 방법.
  27. 제25항에 있어서,
    상기 생성된 적어도 하나의 에이전트 메시지는, 상기 디스플레이 장치의 동작 제어에 대한 적어도 하나의 질의를 포함하는 디스플레이 장치 제어 방법.
  28. 복수의 에이전트를 표시하는 단계;
    사용자 메시지를 입력받는 단계;
    상기 입력된 사용자 메시지를 분석하는 단계;
    상기 사용자 메시지의 분석 결과를 기초로 상기 사용자 메시지가 상기 복수의 에이전트 중에서 어느 에이전트와의 대화인지 여부를 판단하고, 상기 선택 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하는 단계; 및
    상기 선택된 적어도 하나의 에이전트에 대한 에이전트 특성 정보를 기초로 상기 적어도 하나의 에이전트 메시지를 생성하는 단계;
    를 포함하는 디스플레이 장치 제어 방법.
  29. 제28항에 있어서,
    상기 적어도 하나의 에이전트 메시지를 상기 영상출력부에 표시하거나 또는 상기 적어도 하나의 대화 메시지를 음성으로 출력하는 단계;
    를 더 포함하는 디스플레이 장치 제어 방법.
  30. 제28항에 있어서,
    상기 사용자 메시지의 분석 결과에 따라서 상기 선택된 복수의 에이전트에 대하여 순위를 부여하는 단계; 및
    상기 생성된 적어도 하나의 대화 메시지를 상기 영상출력부에 상기 부여된 순위에 따라서 순차적으로 표시하도록 하거나, 상기 부여된 순위에 상응하는 상기 영상출력부 상의 에이전트 표시 위치에 표시하도록 하거나, 또는 상기 에이전트 메시지를 상기 부여된 순위에 따라서 순차적으로 음성으로 출력하도록 제어하는 단계;
    를 더 포함하는 디스플레이 장치 제어 방법.
  31. 제28항에 있어서,
    에이전트의 선택 결과에 대한 선택 결과 정보를 생성하는 단계; 및
    상기 선택 결과 정보를 분석하여 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하거나 또는 상기 복수의 에이전트에 대한 순위를 결정함으로써 상기 복수의 에이전트에 대한 에이전트 분석 결과를 생성하는 단계;
    를 더 포함하는 디스플레이 장치 제어 방법.
  32. 복수의 에이전트를 표시하면서 적어도 하나의 대화 메시지를 표시하거나 또는 음성으로 출력하되, 상기 적어도 하나의 에이전트 메시지는, 상기 디스플레이 장치의 동작 제어 여부에 대한 질의를 포함하는 단계;
    음성 입력, 버튼 조작 또는 스크린 터치 조작을 통하여 사용자 메시지를 입력받는 단계;
    상기 입력된 사용자 메시지를 분석하는 단계; 및
    상기 분석 결과 상기 사용자 메시지가 상기 질의된 동작에 대한 동작 제어 명령으로 판단되는 경우, 상기 동작 제어 여부가 질의된 동작을 수행하는 단계;
    를 포함하는 디스플레이 장치 제어 방법.
  33. 제32항에 있어서,
    상기 사용자 메시지의 분석 결과를 기초로 상기 사용자 메시지가 상기 복수의 에이전트 중에서 어느 에이전트에 대한 대화인지 여부를 판단하고, 상기 선택 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하는 단계; 및
    상기 선택된 적어도 하나의 에이전트에 대한 에이전트 특성 정보를 기초로 상기 적어도 하나의 에이전트 메시지를 생성하는 단계;
    를 더 포함하는 디스플레이 장치 제어 방법.
  34. 복수의 에이전트를 표시하는 단계;
    음성 입력 또는 버튼 조작 또는 스크린 터치 조작을 통하여 사용자 메시지를 입력받는 단계;
    상기 입력된 사용자 메시지를 분석하는 단계;
    상기 사용자 메시지의 분석 결과를 기초로 상기 사용자 메시지가 디스플레이 장치를 제어하기 위한 장치 제어 명령을 포함하고 있는지 여부를 판단하는 단계; 및
    만약 상기 사용자 메시지가 장치 제어 명령을 포함하고 있다면 상기 장치 제어 명령에 따라서 디스플레이 장치를 제어하고, 만약 사용자 메시지가 장치 제어 명령을 포함하고 있지 않다면 상기 사용자 메시지의 분석 결과를 기초로 상기 사용자 메시지가 상기 복수의 에이전트 중에서 어느 에이전트에 대한 대화인지 여부를 판단하고, 상기 선택 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택한 후, 상기 선택된 적어도 하나의 에이전트에 대한 에이전트 특성 정보를 기초로 상기 적어도 하나의 에이전트 메시지를 생성하는 단계;
    를 포함하는 디스플레이 장치 제어 방법.
  35. 음성 입력, 버튼 조작 또는 스크린 터치 조작을 통하여 사용자 메시지를 입력받는 단계;
    상기 사용자 메시지 입력에 응하여 복수의 에이전트를 표시하는 단계;
    상기 입력된 사용자 메시지를 분석하는 단계;
    상기 사용자 메시지의 분석 결과를 기초로 상기 사용자 메시지가 상기 복수의 에이전트 중에서 어느 에이전트에 대한 대화인지 여부를 판단하여 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하는 단계; 및
    상기 선택된 적어도 하나의 에이전트에 대한 에이전트 특성 정보를 기초로 상기 적어도 하나의 에이전트 메시지를 생성하는 단계;
    를 포함하는 디스플레이 장치 제어 방법.
  36. 음성 입력, 버튼 조작 또는 스크린 터치 조작을 통하여 사용자에게 표시되는 복수의 에이전트에 대한 사용자 메시지를 입력받는 단계;
    상기 입력된 사용자 메시지를 분석하는 단계;
    상기 사용자 메시지의 분석 결과 및 상기 복수의 에이전트에 대한 에이전트 분석 결과를 기초로 상기 사용자 메시지가 상기 복수의 에이전트 중에서 어느 에이전트에 대한 대화인지 여부를 판단하고, 상기 선택 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하는 단계; 및
    상기 선택된 적어도 하나의 에이전트에 대한 에이전트 특성 정보를 기초로 상기 적어도 하나의 에이전트 메시지를 생성하는 단계;
    를 포함하되,
    상기 에이전트 분석 결과는, 상기 에이전트에 대한 사용자의 응답 또는 선택에 대한 결과를 분석하여 획득된 것인 디스플레이 장치 제어 방법.
  37. 복수의 에이전트 각각의 대화 스타일에 대한 정보를 포함하는 에이전트 특성 정보에 따라서 상기 복수의 에이전트 각각의 대화 메시지를 서로 다르게 생성하는 단계; 및
    상기 복수의 에이전트를 디스플레이 장치에 표시하면서, 상기 생성된 복수의 대화 메시지를 디스플레이 장치에 동시에 표시하거나 또는 상기 상기 생성된 복수의 대화 메시지를 음성으로 출력하는 단계;
    를 포함하는 디스플레이 장치 제어 방법.
  38. 제37항에 있어서,
    음성 입력, 버튼 조작 또는 스크린 터치 조작을 통하여 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하는 에이전트 선택 명령을 입력받는 단계;
    를 더 포함하는 디스플레이 장치 제어 방법.
  39. 제37항에 있어서,
    상기 선택된 적어도 하나의 에이전트의 대화 특성 정보에 따라서 상기 선택된 적어도 하나의 에이전트에 대한 대화 메시지를 생성하는 단계;
    를 더 포함하는 디스플레이 장치 제어 방법.
  40. 제37항에 있어서,
    상기 에이전트 선택 명령에 의해 선택된 에이전트 메시지가 디스플레이 장치의 동작의 수행을 질의하는 적어도 하나의 질의 메시지를 포함하는 대화 메시지인 경우, 상기 디스플레이 장치의 동작을 수행하는 단계;
    를 더 포함하는 디스플레이 장치 제어 방법.
  41. 제37항에 있어서,
    음성 입력 또는 버튼 조작을 통하여 사용자 메시지를 입력받는 단계; 및
    상기 사용자 메시지를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하고, 상기 선택된 적어도 하나의 에이전트의 대화 특성 정보에 따라서 상기 선택된 적어도 하나의 에이전트 메시지를 생성하는 단계;
    를 더 포함하는 디스플레이 장치 제어 방법.
  42. 제41항에 있어서,
    상기 사용자 메시지를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하는 과정은,
    상기 입력된 사용자 메시지를 분석하는 단계; 및
    상기 사용자 메시지의 분석 결과를 기초로 상기 사용자 메시지가 상기 복수의 에이전트 중에서 어느 에이전트에 대한 대화인지 여부를 판단하고, 상기 선택 결과를 기초로 상기 복수의 에이전트 중 적어도 하나의 에이전트를 선택하는 단계;
    를 포함하는 디스플레이 장치 제어 방법.
KR1020120116957A 2012-10-19 2012-10-19 디스플레이 장치, 디스플레이 장치 제어 방법 및 디스플레이 장치의 제어를 위한 정보처리장치 KR20140052155A (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1020120116957A KR20140052155A (ko) 2012-10-19 2012-10-19 디스플레이 장치, 디스플레이 장치 제어 방법 및 디스플레이 장치의 제어를 위한 정보처리장치
US14/030,159 US20140111689A1 (en) 2012-10-19 2013-09-18 Display device, method of controlling the display device, and information processor to control the display device
MX2015004843A MX2015004843A (es) 2012-10-19 2013-10-16 Dispositivo de despliegue, metodo de control del dispositivo de despliegue, y procesador de informacion para controlar el dispositivo de despliegue.
IN3277DEN2015 IN2015DN03277A (ko) 2012-10-19 2013-10-16
PCT/KR2013/009236 WO2014061985A1 (en) 2012-10-19 2013-10-16 Display device, method of controlling the display device, and information processor to control the display device
RU2015114541A RU2015114541A (ru) 2012-10-19 2013-10-16 Устройство отображения, способ управления устройством отображения и информационный процессор для управления устройством отображения
EP20130189119 EP2722813A1 (en) 2012-10-19 2013-10-17 Display device and method of controlling the display device
CN201310487486.1A CN103780965A (zh) 2012-10-19 2013-10-17 显示设备、控制所述显示设备的方法和信息处理器
JP2013218184A JP2014086088A (ja) 2012-10-19 2013-10-21 ディスプレイ装置、ディスプレイ装置制御方法及びディスプレイ装置の制御のための情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120116957A KR20140052155A (ko) 2012-10-19 2012-10-19 디스플레이 장치, 디스플레이 장치 제어 방법 및 디스플레이 장치의 제어를 위한 정보처리장치

Publications (1)

Publication Number Publication Date
KR20140052155A true KR20140052155A (ko) 2014-05-07

Family

ID=49552158

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120116957A KR20140052155A (ko) 2012-10-19 2012-10-19 디스플레이 장치, 디스플레이 장치 제어 방법 및 디스플레이 장치의 제어를 위한 정보처리장치

Country Status (9)

Country Link
US (1) US20140111689A1 (ko)
EP (1) EP2722813A1 (ko)
JP (1) JP2014086088A (ko)
KR (1) KR20140052155A (ko)
CN (1) CN103780965A (ko)
IN (1) IN2015DN03277A (ko)
MX (1) MX2015004843A (ko)
RU (1) RU2015114541A (ko)
WO (1) WO2014061985A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019520661A (ja) * 2016-04-18 2019-07-18 グーグル エルエルシー 適切なエージェントの自動化アシスタント呼び出し
WO2021060590A1 (ko) * 2019-09-27 2021-04-01 엘지전자 주식회사 디스플레이 장치 및 인공 지능 시스템
WO2024101576A1 (ko) * 2022-11-11 2024-05-16 삼성전자주식회사 전자 장치 및 그 제어 방법

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9239824B2 (en) * 2012-07-27 2016-01-19 Semantic Compaction Systems, Inc. Apparatus, method and computer readable medium for a multifunctional interactive dictionary database for referencing polysemous symbol sequences
JP5988501B2 (ja) * 2013-07-18 2016-09-07 日本電信電話株式会社 対話行為出力装置、方法、及びプログラム、並びに対話システム及び方法
US20150134325A1 (en) * 2013-11-14 2015-05-14 Avaya Inc. Deep Language Attribute Analysis
KR101643560B1 (ko) * 2014-12-17 2016-08-10 현대자동차주식회사 음성 인식 장치, 그를 가지는 차량 및 그 방법
JP6698292B2 (ja) 2015-08-14 2020-05-27 任天堂株式会社 情報処理システム
EP3367250A4 (en) * 2015-10-20 2018-12-05 Sony Corporation Information processing system and information processing method
KR102174346B1 (ko) * 2015-12-21 2020-11-04 구글 엘엘씨 메시징 애플리케이션들을 위한 자동적인 제안들 및 다른 콘텐츠
US10530723B2 (en) 2015-12-21 2020-01-07 Google Llc Automatic suggestions for message exchange threads
KR101712180B1 (ko) * 2015-12-29 2017-03-06 라인 가부시키가이샤 메시지를 송수신하기 위한 컴퓨터로 읽을 수 있는 기록매체에 저장된 프로그램, 방법 및 장치
JP2017152948A (ja) * 2016-02-25 2017-08-31 株式会社三菱東京Ｕｆｊ銀行 情報提供方法、情報提供プログラム、および情報提供システム
WO2017145466A1 (ja) 2016-02-26 2017-08-31 ソニー株式会社 情報処理システム、クライアント端末、情報処理方法、および記録媒体
US10440093B2 (en) * 2016-07-14 2019-10-08 Facebook, Inc. Deep linking to media-player devices
US10511450B2 (en) 2016-09-20 2019-12-17 Google Llc Bot permissions
CN109952572B (zh) 2016-09-20 2023-11-24 谷歌有限责任公司 基于消息贴纸的建议响应
US10015124B2 (en) 2016-09-20 2018-07-03 Google Llc Automatic response suggestions based on images received in messaging applications
JP2018054850A (ja) * 2016-09-28 2018-04-05 株式会社東芝 情報処理システム、情報処理装置、情報処理方法、及びプログラム
US20180247644A1 (en) * 2017-02-27 2018-08-30 Intel Corporation Queueing spoken dialogue output
US10237209B2 (en) 2017-05-08 2019-03-19 Google Llc Initializing a conversation with an automated agent via selectable graphical element
US10891485B2 (en) 2017-05-16 2021-01-12 Google Llc Image archival based on image categories
US10348658B2 (en) 2017-06-15 2019-07-09 Google Llc Suggested items for use with embedded applications in chat conversations
US10404636B2 (en) 2017-06-15 2019-09-03 Google Llc Embedded programs and interfaces for chat conversations
JP7080609B2 (ja) * 2017-08-31 2022-06-06 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP2019086903A (ja) * 2017-11-02 2019-06-06 東芝映像ソリューション株式会社 音声対話端末、および音声対話端末制御方法
US10891526B2 (en) 2017-12-22 2021-01-12 Google Llc Functional image archiving
US10699708B2 (en) * 2018-04-24 2020-06-30 Accenture Global Solutions Limited Robotic agent conversation escalation
US11134308B2 (en) 2018-08-06 2021-09-28 Sony Corporation Adapting interactions with a television user
DE112019006677T5 (de) * 2019-01-16 2021-11-04 Sony Group Corporation Antwortverarbeitungsvorrichtung und Antwortverarbeitungsverfahren
EP4044521A4 (en) * 2019-10-09 2022-11-30 Panasonic Intellectual Property Corporation of America EQUIPMENT MONITORING METHOD, EQUIPMENT MONITORING DEVICE AND PROGRAM
US11076225B2 (en) 2019-12-28 2021-07-27 Intel Corporation Haptics and microphone display integration
CN111459451A (zh) * 2020-03-31 2020-07-28 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6234802B1 (en) * 1999-01-26 2001-05-22 Microsoft Corporation Virtual challenge system and method for teaching a language
US20020155419A1 (en) * 2001-04-19 2002-10-24 International Business Machines Corporation Customizable online testing for people with disabilities
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7991724B2 (en) * 2006-12-21 2011-08-02 Support Machines Ltd. Method and a computer program product for providing a response to a statement of a user
US20080183678A1 (en) * 2006-12-29 2008-07-31 Denise Chapman Weston Systems and methods for personalizing responses to user requests
US20090077180A1 (en) * 2007-09-14 2009-03-19 Flowers John S Novel systems and methods for transmitting syntactically accurate messages over a network
US20090303097A1 (en) * 2008-06-09 2009-12-10 Echostar Technologies Llc Systems, methods and apparatus for changing an operational mode of a remote control
US8374859B2 (en) * 2008-08-20 2013-02-12 Universal Entertainment Corporation Automatic answering device, automatic answering system, conversation scenario editing device, conversation server, and automatic answering method
KR20110034729A (ko) * 2009-09-29 2011-04-06 삼성전자주식회사 프로세서를 포함하는 장치의 전력 관리 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019520661A (ja) * 2016-04-18 2019-07-18 グーグル エルエルシー 適切なエージェントの自動化アシスタント呼び出し
WO2021060590A1 (ko) * 2019-09-27 2021-04-01 엘지전자 주식회사 디스플레이 장치 및 인공 지능 시스템
WO2024101576A1 (ko) * 2022-11-11 2024-05-16 삼성전자주식회사 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
CN103780965A (zh) 2014-05-07
IN2015DN03277A (ko) 2015-10-09
US20140111689A1 (en) 2014-04-24
WO2014061985A1 (en) 2014-04-24
EP2722813A1 (en) 2014-04-23
MX2015004843A (es) 2015-07-21
JP2014086088A (ja) 2014-05-12
RU2015114541A (ru) 2016-11-10

Similar Documents

Publication Publication Date Title
KR20140052155A (ko) 디스플레이 장치, 디스플레이 장치 제어 방법 및 디스플레이 장치의 제어를 위한 정보처리장치
RU2637874C2 (ru) Генерирование диалоговых рекомендаций для чатовых информационных систем
US7426467B2 (en) System and method for supporting interactive user interface operations and storage medium
JP6440513B2 (ja) 音声認識機能を用いた情報提供方法および機器の制御方法
JP6229287B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
US10586528B2 (en) Domain-specific speech recognizers in a digital medium environment
JP2014203207A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
CN112040263A (zh) 视频处理方法、视频播放方法、装置、存储介质和设备
CN107864410B (zh) 一种多媒体数据处理方法、装置、电子设备以及存储介质
JP2023506341A (ja) 音声コマンド推奨を提供するためのシステムおよび方法
JP2003091298A (ja) 音声認識及び自然言語を用いる家庭活動の自動制御
JP2014203208A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
KR20090003533A (ko) 사용자 손수 저작물의 생성과 운용을 위한 방법 및 시스템
US11664024B2 (en) Artificial intelligence device
KR101406983B1 (ko) 텍스트 인식을 이용한 음성재생 서비스 제공 시스템, 서버 및 단말
JP2020101822A (ja) 音声認識機能を用いた情報提供方法および機器の制御方法
JP7230803B2 (ja) 情報処理装置および情報処理方法
US20200234187A1 (en) Information processing apparatus, information processing method, and program
US20230261897A1 (en) Display device
WO2020149031A1 (ja) 応答処理装置及び応答処理方法
US20210295836A1 (en) Information processing apparatus, information processing method, and program
US20220051671A1 (en) Information processing apparatus for selecting response agent
KR20220037696A (ko) 연관 정보 제공 방법 및 시스템
JP2019046101A (ja) 対話制御装置、対話制御方法及び対話制御プログラム
WO2019054009A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid