JP2019537805A - 外部デバイスを制御するサーバ及びその方法 - Google Patents

外部デバイスを制御するサーバ及びその方法 Download PDF

Info

Publication number
JP2019537805A
JP2019537805A JP2019534617A JP2019534617A JP2019537805A JP 2019537805 A JP2019537805 A JP 2019537805A JP 2019534617 A JP2019534617 A JP 2019534617A JP 2019534617 A JP2019534617 A JP 2019534617A JP 2019537805 A JP2019537805 A JP 2019537805A
Authority
JP
Japan
Prior art keywords
external device
nlu
controlling
server
pairing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019534617A
Other languages
English (en)
Other versions
JP7038719B2 (ja
Inventor
ドン−ヒョン・チェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2019537805A publication Critical patent/JP2019537805A/ja
Application granted granted Critical
Publication of JP7038719B2 publication Critical patent/JP7038719B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/2818—Controlling appliance services of a home automation network by calling their functionalities from a device located outside both the home and the home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2825—Reporting to a device located outside the home and the home network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2814—Exchanging control software or macros for controlling appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)
  • Telephone Function (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

外部デバイスを制御するサーバに係り、該サーバは、通信部、プロセッサ、ユーザ発話に対応する命令語を生成するための少なくとも１つの自然語理解（ＮＬＵ）エンジンを保存するメモリを含む。該サーバは、外部デバイスとペアリングされたペアリングデバイスから、通信部を介して、外部デバイスを制御するためのユーザ発話、及びペアリングデバイスに登録された少なくとも１つの外部デバイス情報を受信し、外部デバイスを制御するためのユーザ発話と、少なくとも１つの外部デバイス情報とに基づいて、少なくとも１つのＮＬＵのうち、外部デバイスに対応するＮＬＵを決定し、決定されたＮＬＵを利用し、ユーザ発話に基づいて、外部デバイスを制御するための命令語を生成する。

Description

本発明は、外部デバイスを制御するサーバ及びその方法に係り、さらに詳細には、ユーザの発話に基づいて、外部デバイスを制御するサーバ及びその方法に関する。
事物インターネット（ＩｏＴ：internet of things）技術の発展により、ユーザは、電子デバイスを利用し、さまざまなサービスを提供するＩｏＴデバイスを制御することができるようになった。特に、ユーザ発話を利用し、ＩｏＴデバイスを制御する機能を利用することにより、ユーザは、周辺のＩｏＴデバイスを容易に制御することができるようになった。
ＩｏＴデバイスの製造社は、ＩｏＴデバイスを制御するための電子デバイスの製造社と異なる製造社でもある。それにより、ＩｏＴデバイスを制御するための電子デバイスの製造社は、ユーザ発話を利用し、ＩｏＴデバイスを制御する機能の種類を事前に決定しておき、ＩｏＴデバイスの製造社は、事前に決定された機能を具現するためのＩｏＴデバイス制御のためのサーバを、別途に運用することが一般的であった。その場合、電子デバイスが、直接ＩｏＴデバイスを制御するのではなく、該電子デバイスから生成される制御のための信号が、該電子デバイスの製造社で運用するサーバを経た後、ＩｏＴデバイス制御のためのサーバを介して、ＩｏＴデバイスを制御することができた。
そのような場合、該ＩｏＴデバイスの製造社は、別途にサーバを運用しなければならないという負担があった。また、該ＩｏＴデバイスの製造社は、該ＩｏＴデバイスを制御するために、事前に決定された機能以外のさらなる機能を、該ＩｏＴデバイスに適用することに制限があった。また、該ＩｏＴデバイスの製造社は、該ＩｏＴデバイスの制御機能に対応するユーザ発話文型を拡張させることが不可能であるということがほとんどであった。
一方、ユーザが電子デバイスを利用し、ＩｏＴデバイスを制御するためには、自分が使用する電子デバイスのＩＤ（identification）に、ＩｏＴデバイスを登録させる過程を経なければならない。そのとき、ＩｏＴデバイスの製造社においては、該ＩｏＴデバイスが、１つの電子デバイスによって制御される機能を便利に提供するために、別途のＩｏＴハブを製造して販売した。
それにより、ユーザは、ＩｏＴデバイスを購買するたびに、それに対応する別途のＩｏＴハブを購買しなければならないという負担があり、また、ユーザは、自分のＩｏＴデバイスを、直接ウェブサイトなどを介して電子デバイスと連結させる作業が必要な場合もあった。
開示された実施形態は、ＩｏＴデバイスの製造社ごとに、ＩｏＴデバイスの制御機能を提供するための別途のサーバを運用しなければならないという負担を低減させるサーバ及びその方法を提供する。
また、開示された実施形態は、ＩｏＴデバイスの製造社は、製造社ごとに、ＩｏＴデバイスを制御するための機能を、制限なしに登録するようにするサーバ及びその方法を提供する。
また、開示された実施形態は、ＩｏＴデバイスを制御する機能を行うデバイスにおいて、ＩｏＴデバイスに対応する別途のＩｏＴハブの機能を同時に行うことができるようにすることにより、ユーザが、別途のＩｏＴハブの購買なしにも、自分のＩｏＴデバイスを、直接ウェブサイトなどを介して、電子デバイスと連結させる作業を省略させるサーバ及びその方法を提供する。
一実施形態による、外部デバイスを制御するサーバは、通信部、ユーザ発話に対応する命令語を生成するための少なくとも１つの自然語理解（ＮＬＵ：natural language understanding）エンジンを保存するメモリ、並びに該通信部を介して、外部デバイスとペアリングされたペアリングデバイスから、外部デバイスを制御するためのユーザ発話、及びペアリングデバイスに登録された少なくとも１つの外部デバイス情報を受信し、外部デバイスを制御するためのユーザ発話と、少なくとも１つの外部デバイス情報とに基づいて、少なくとも１つの自然語理解エンジンのうち、外部デバイスに対応する自然語理解エンジンを決定し、決定された自然語理解エンジンを利用し、ユーザ発話に基づいて、外部デバイスを制御するための命令語を生成するプロセッサを含んでもよい。
一実施形態による、少なくとも１つの自然語理解エンジンは、外部デバイスの製造社、及び外部デバイスの種類のうち少なくとも一つによっても互いに異なる。すなわち、少なくとも１つの自然語理解エンジンは、外部デバイスの製造社及び／または種類に基づいて、互いに異なる複数の自然語理解エンジンを含んでもよい。
一実施形態による自然語理解エンジンは、外部デバイスを制御するためのユーザ発話から、外部デバイスの呼び出し名部分と、外部デバイスのサービス呼び出し文型部分とを抽出し、外部デバイスの呼び出し名部分と、少なくとも１つの外部デバイス情報とに基づいて、少なくとも１つの自然語理解エンジンのうち、外部デバイスの呼び出し名部分に対応する少なくとも１つの自然語理解エンジンを決定することによっても決定される。
一実施形態によるユーザ発話に基づいて、少なくとも１つの外部デバイスを制御するための命令語は、自然語理解エンジンを利用し、抽出された外部デバイスのサービス呼び出し文型部分に対応する自然語理解結果を生成し、自然語理解結果に基づいて、外部デバイスを制御するための命令語を生成することによっても生成される。
一実施形態によるユーザ発話に基づいて、外部デバイスを制御するための命令語を生成することは、自然語理解結果に基づいて、外部デバイスを制御するための命令語に対応する自然語を生成することをさらに含んでもよい。
一実施形態による外部デバイス情報は、外部デバイスＩＤ、外部デバイスの製造社ＩＤ、及び少なくとも１つの外部デバイスの呼び出し名を含んでもよい。
一実施形態による、少なくとも１つの外部デバイスの呼び出し名は、ペアリングデバイスを介したユーザ入力によっても決定される。
一実施形態により、外部デバイスが近距離通信により、ペアリングデバイスにペアリングされるとき、前記プロセッサは、通信部を介して、ペアリングデバイスに、外部デバイスのＩＤ、及び生成された外部デバイスを制御するための命令語を送信することができる。
一実施形態により、外部デバイスが遠距離通信により、ペアリングデバイスにペアリングされるとき、前記プロセッサは、通信部を介して、外部デバイスに、生成された外部デバイスを制御するための命令語をさらに送信することができる。
一実施形態による外部デバイスＩＤは、ペアリングデバイスによって付与することでもある。
一実施形態による、外部デバイスを制御する制御方法は、ユーザ発話に対応する命令語を生成するための少なくとも１つの自然語理解エンジンを保存する段階、外部デバイスとペアリングされたペアリングデバイスから、外部デバイスを制御するためのユーザ発話、及びペアリングデバイスに登録された少なくとも１つの外部デバイス情報を受信する段階、外部デバイスを制御するためのユーザ発話と、少なくとも１つの外部デバイス情報とに基づいて、少なくとも１つの自然語理解エンジンのうち、外部デバイスに対応する自然語理解エンジンを決定する段階、並びに決定された自然語理解エンジンを利用し、ユーザ発話に基づいて、外部デバイスを制御するための命令語を生成する段階を含んでもよい。
本発明によれば、ＩｏＴデバイスの製造社ごとに、ＩｏＴデバイスの制御機能を提供するための別途のサーバを運用しなければならないという負担を低減させることができる。
また、本発明によれば、ＩｏＴデバイスの製造社は、製造社ごとにＩｏＴデバイスを制御するための多様な機能を制限なしに登録しやすくなる。
また、本発明によれば、ＩｏＴデバイスを制御する機能を行うデバイスにおいて、ＩｏＴデバイスに対応する別途のＩｏＴハブの機能を同時に行うことができるようにすることにより、ユーザは、別途のＩｏＴハブの購買が不要であり、自分のＩｏＴデバイスを、直接ウェブサイトなどを介して電子デバイスと連結させる作業が不要になる。
一実施形態により、ユーザ発話に基づいて、外部デバイスを制御するためのシステムを図示する図面である。 ユーザ発話に基づいて、外部デバイスを制御するための他のシステムを図示する図面である。 一実施形態によるサーバの構成について説明するための図面である。 一実施形態によるサーバと連結されて動作可能なペアリングデバイスの構成について説明するための図面である。 一実施形態による外部デバイスを制御するための方法のフローチャートである。 一実施形態による外部デバイスを制御するための方法のフローチャートである。 一実施形態による外部デバイスをペアリングデバイスに登録するための方法のフローチャートである。 一実施形態による外部デバイスを制御するためのシステムにおいて、ユーザ発話に基づいて、外部デバイスを制御する方法のフローチャートである。 一実施形態による外部デバイスを制御するためのシステムにおいて、ユーザ発話を受信するところを示す図面である。 一実施形態による、外部デバイスを制御するためのシステムにおいて、ペアリングデバイスからサーバに、ユーザ発話、及び登録された外部デバイス情報を送信するところを示す図面である。 一実施形態による、外部デバイスを制御するためのシステムにおいて、自然語理解エンジン及び命令語生成エンジンを利用し、外部デバイスを制御するための命令語を生成するところを示す図面である。 一実施形態による、外部デバイスを制御するためのシステムにおいて、サーバからペアリングデバイスに、自然語生成結果、外部デバイスＩＤ及び命令語を送信するところを示す図面である。 一実施形態による、外部デバイスを制御するためのシステムにおいて、ペアリングデバイスから外部デバイスに、命令語を送信するところを示す図面である。 一実施形態によるサーバの細部的な構成を示すブロック図である。
以下、添付された図面に記載された内容を参照し、本発明による例示的実施形態について詳細に説明する。また、添付された図面に記載された内容を参照し、本発明の実施形態による電子装置を構成して使用する方法について詳細に説明する。各図面で提示された同一参照番号または符号は、実質的に同一機能を遂行する部品または構成要素を示す。
第１、第２のような序数を含む用語は、多様な構成要素についての説明に使用されるが、該構成要素は、用語によって限定されるものではない。該用語は、１つの構成要素を、他の構成要素から区別する目的のみに使用される。例えば、本発明の権利範囲を外れずに、第１構成要素は、第２構成要素とも命名され、同様に、第２構成要素も、第１構成要素とも命名される。「及び／または」という用語は、複数の関連項目の組み合わせ、または複数の関連項目のうちいずれか１つの項目を含む。
本明細書で使用されている用語は、実施形態についての説明に使用されているものであり、本発明に対して、制限及び／または限定を施す意図ではない。単数の表現は、文脈上、明白に異なって意味しない限り、複数の表現を含む。本出願書において、「含む」または「有する」というような用語は、明細書上に記載された特徴、数、段階、動作、構成要素、部品、またはそれらの組み合わせが存在するということを指定するものであり、１、またはそれ以上の他の特徴、数、段階、動作、構成要素、部品、またはそれらの組み合わせの存在または付加の可能性を事前に排除するものではないと理解されなければならない。
図１は、一実施形態により、ユーザ発話に基づいて、外部デバイスを制御するためのシステムを図示する。
サーバ１００は、ユーザ発話に基づいて、外部デバイス３００を制御するために、ネットワーク１０５を介して、ペアリングデバイス２００と、無線または有線で連結されて動作することができるサーバ装置である。
サーバ１００は、外部デバイス３００に対応する自然語理解（ＮＬＵ：natural language understanding）エンジンを保存する。サーバ１００は、自然語理解エンジン（ＮＬＵ）を利用してユーザ発話を分析し、外部デバイス３００を制御するようにも構成される。該ＮＬＵは、外部デバイス３００の製造社によっても提供される。また、該ＮＬＵは、外部デバイス３００の製造社によってもアップデートされる。
ネットワーク１０５は、サーバ１００とペアリングデバイス２００とが互いに円滑に通信を行うことができるようにする包括的な意味のデータ通信網であり、有線インターネット、無線インターネット及びモバイル無線通信網を含んでもよい。
ペアリングデバイス２００は、ユーザ発話を受信し、受信されたユーザ発話をサーバ１００に伝達し、サーバ１００から受信したデータに基づいて、ペアリングデバイス２００とペアリングされた外部デバイス３００を制御するための機器である。
ペアリングデバイス２００は、ネットワーク１０５を介して、サーバ１００と、有線または無線でも連結される。また、ペアリングデバイス２００は、外部デバイス３００と無線でもペアリングされる。ペアリングデバイス２００は、外部デバイス３００を制御するためのユーザ発話を受信することができる。
ペアリングデバイス２００は、外部デバイス３００と最初にペアリングされるとき、外部デバイス情報を受信して保存することができる。該外部デバイス情報は、外部デバイスのＩＤ（identification）、外部デバイスの製造社ＩＤ、及び少なくとも１つの外部デバイスの呼び出し名を含んでもよい。
ペアリングデバイス２００は、例えば、スマートフォン、タブレットＰＣ（personal computer）、ＰＣ、スマートＴＶ（television）、及びその他のモバイルまたは非モバイルのコンピュータ装置でもあるが、それらに制限されるものではない。また、ペアリングデバイス２００は、通信機能及びデータプロセッシング機能を具備した時計、めがね、ヘアバンド及び指輪などのウェアラブルデバイスでもある。しかし、それらに制限されるものではなく、ペアリングデバイス２００は、外部デバイス３００とペアリングされ、サーバ１００から、ネットワーク１０５を介して、外部デバイス３００を制御するための信号を提供される全種の機器を含んでもよい。図１には、ペアリングデバイス２００に、第１外部デバイス３０１、第２外部デバイス３０２、第３外部デバイス３０３がペアリングされているように図示された。しかし、ペアリングデバイス２００にペアリングされる外部デバイス３００の数は、制限されるものではない。
外部デバイス３００は、ユーザが発話を介して制御しようとする電子デバイス及び事物インターネット（ＩｏＴ：internet of things）機器を含む。
外部デバイス３００は、例えば、電灯、冷蔵庫、ＣＣＴＶ（closed-circuit television）、ＴＶ、洗濯機、エアコン、除湿機のような家庭で使用される電子機器、及び自動車などを含んでもよく、ペアリングデバイス２００またはネットワーク１０５を介して無線で連結され、信号を送受信することができる全種の機器を含む。
外部デバイス３００は、第１外部デバイス３０１、第２外部デバイス３０２、第３外部デバイス３０３などを含む複数の外部デバイスを含んでもよい。以下、外部デバイス３００は、少なくとも１つの外部デバイスを含む意味に使用される。
一方、サーバ１００は、ペアリングデバイス２００を介して、外部デバイス３００とも連結され、サーバ１００が、直接外部デバイス３００と無線で連結され、外部デバイス３００を制御するようにも構成される。
図２は、ユーザ発話に基づいて、外部デバイスを制御するための他のシステムを図示する。
図２に図示されたペアリングデバイス２０は、ネットワーク１５を介して、サーバ１０と、有線または無線で連結される。また、ペアリングデバイス２０は、ユーザ発話を受信することができる。
サーバ１０は、ペアリングデバイス２０から、ユーザ発話を受信することができる。サーバ１０は、ペアリングデバイス２０の製造社が指定した機能に対するユーザ発話を、ＮＬＵを利用して分析することができる。
サーバ１０は、ユーザ発話を分析するためのＮＬＵを保存することができる。該ＮＬＵは、ペアリングデバイス２０の製造社によっても提供される。
サーバ１０は、ユーザ発話に基づいて、外部デバイス３０に対応する外部デバイスサーバ１１，１２，１３にも連結される。
サーバ１０は、ユーザ発話に基づいて、外部デバイスサーバ１１，１２，１３を介して、外部デバイス３０を制御することができる。
外部デバイスサーバ１１，１２，１３は、外部デバイス３０の製造社によって運用されるサーバでもある。
具体的には、サーバ１０は、第１外部デバイス３１の製造社が運用する第１外部デバイスサーバ１１にも連結され、第２外部デバイス３２の製造社が運用する第２外部デバイスサーバ１２にも連結され、第３外部デバイス３３の製造社が運用する第３外部デバイスサーバ１３にも連結される。
図２に図示されたシステムによれば、サーバ１０においては、ペアリングデバイス２０の製造社が指定した機能についてのみユーザ発話を分析することができる。従って、外部デバイス３０において、ペアリングデバイス２０の製造社が指定していない機能を追加して具現するには制限があった。また、サーバ１０において、外部デバイス３０を制御するために、外部デバイスサーバ１１，１２，１３が追加して要求される。従って、外部デバイス３０の製造社において、外部デバイスサーバ１１，１２，１３を別途に運用しなければならないという負担があった。また、ユーザは、ペアリングデバイス２０にペアリングされる外部デバイス３０の固有識別情報を、サーバ１０に事前に登録してこそ使用することができるという不都合があった。
以下では、図２に図示されたシステムの不都合を解決するための、本発明の実施形態によるサーバ１００及びペアリングデバイス２００について詳細に説明する。
図３は、一実施形態によるサーバ１００の構成について説明するための図面である。
図３を参照すれば、一実施形態によるサーバ１００は、通信部１１０、プロセッサ１２０及びメモリ１３０を含んでもよい。
通信部１１０は、プロセッサ１２０の制御により、ネットワーク１０５を介して、ペアリングデバイス２００と、データまたは信号を送受信することができる。
ネットワーク１０５は、例えば、通信部１１０は、近距離通信網（ＬＡＮ：local area network）、広域通信網（ＷＡＮ：wide area network）、付加価置通信網（ＶＡＮ：value added network）、移動通信網（mobile radio communication network）、衛星通信網、及びそれらの相互組み合わせを介して通信を可能にする１以上の構成要素を含んでもよい。また、通信部１１０は、外部デバイス３００と、直接ＷＬＡＮ（Ｗｉ−Ｆｉ（wireless fidelity））などを利用し、無線でデータまたは信号を送受信することができる。
また、通信部１１０は、プロセッサ１２０の制御により、外部デバイス３００とペアリングされたペアリングデバイス２００から、外部デバイス３００を制御するためのユーザ発話、及びペアリングデバイスに登録された少なくとも１つの外部デバイス情報を受信することができる。
該外部デバイス情報は、例えば、外部デバイスＩＤ、外部デバイスの製造社ＩＤ、及び少なくとも１つの外部デバイスの呼び出し名を含んでもよい。該外部デバイス情報は、ペアリングデバイス２００とペアリングが可能な外部デバイス３００の外部デバイス情報を含んでもよい。
該外部デバイスＩＤは、ペアリングデバイス２００に、外部デバイス３００が最初にペアリングされるとき、ペアリングデバイス２００から付与されたＩＤでもある。
該外部デバイスの製造社ＩＤは、製造社別に付与されるＩＤでもある。
少なくとも１つの外部デバイスの呼び出し名は、ユーザが外部デバイスを呼び出すために、ユーザ発話に含まれる外部デバイスの名称である。１つの外部デバイスは、１以上の呼び出し名を含んでもよい。少なくとも１つの外部デバイスの呼び出し名は、ペアリングデバイス２００を介したユーザ入力によって決定されたものでもある。また、ペアリングデバイス２００を介したユーザ入力を介して受信した呼び出し名がない場合、該呼び出し名は、外部デバイスの製造社で事前に決定されたものでもある。
一実施形態によるプロセッサ１２０は、メモリ１３０に保存される１以上のプログラムを実行することができる。プロセッサ１２０は、シングルコア、デュアルコア、トリプルコア、クワッドコア、及びその倍数のコアを含んでもよい。また、プロセッサ１２０は、複数のプロセッサを含んでもよい。
一実施形態によるプロセッサ１２０は、外部デバイスを制御するためのユーザ発話と、少なくとも１つの外部デバイス情報とに基づいて、少なくとも１つのＮＬＵのうち、外部デバイスに対応するＮＬＵを決定するように制御することができる。
例えば、プロセッサ１２０は、外部デバイス３００を制御するためのユーザ発話から、外部デバイス３００の呼び出し名部分と、外部デバイス３００のサービス呼び出し文型部分とを抽出するように制御することができる。外部デバイス３００の呼び出し名部分は、ユーザ発話において、外部デバイス３００の呼び出し名のみを含む部分を意味する。外部デバイス３００のサービス呼び出し文型部分は、ユーザ発話において、外部デバイス３００を制御するための文言が含まれた部分を意味する。外部デバイス３００のサービス呼び出し文型部分は、ユーザ発話において、外部デバイス３００の呼び出し名部分を除いた部分でもある。
また、プロセッサ１２０は、外部デバイス３００の呼び出し名部分と、少なくとも１つの外部デバイス情報とに基づいて、少なくとも１つのＮＬＵのうち、外部デバイス３００の呼び出し名部分に対応する少なくとも１つのＮＬＵを決定するように制御することができる。
例えば、外部デバイス３００の呼び出し名部分が、複数個の外部デバイスに対応する場合、プロセッサ１２０は、少なくとも１つの外部デバイス情報に基づいて、外部デバイス３００の呼び出し名に対応する複数個のＮＬＵを決定することができる。
一実施形態によるプロセッサ１２０は、決定されたＮＬＵを利用し、ユーザ発話に基づいて、外部デバイス３００を制御するための命令語を生成するように制御することができる。
例えば、プロセッサ１２０は、ＮＬＵを利用し、抽出された外部デバイス３００のサービス呼び出し文型部分に対応するＮＬＵ結果を生成するように制御することができる。
また、プロセッサ１２０は、ＮＬＵ結果に基づいて、外部デバイスを制御するための命令語を生成するように制御することができる。
例えば、ＮＬＵ結果に基づいて、外部デバイス３００を制御するための命令語を生成するためのインストラクションを含むプログラムは、メモリ１３０にも保存され、外部サーバ（図示せず）にも別途に保存される。後者の場合、プロセッサ１２０は、ＮＬＵ結果を外部サーバに伝達し、外部サーバで生成された命令語を受信することができる。
また、プロセッサ１２０は、ＮＬＵ結果に基づいて、外部デバイス３００を制御するための命令語に対応する自然語を生成することができる。外部デバイス３００を制御するための命令語に対応する自然語は、ペアリングデバイス２００に伝達することができ、ペアリングデバイス２００のオーディオ出力部（図示せず）を介して、音声としても出力される。
一実施形態によるメモリ１３０は、サーバ１００を駆動して制御するための多様なデータ、プログラムまたはアプリケーションを保存することができる。メモリ１３０に保存されるプログラムは、１以上のインストラクションを含んでもよい。メモリ１３０に保存されたプログラム（１以上のインストラクション）またはアプリケーションは、プロセッサ１２０によっても実行される。
また、メモリ１３０は、ユーザ発話に対応する命令語を生成するための少なくとも１つのＮＬＵを保存することができる。
少なくとも１つのＮＬＵは、外部デバイス３００の製造社、及び外部デバイス３００の種類のうち少なくとも一つによっても互いに異なる。外部デバイス３００の種類は、例えば、外部デバイス３００の製品群、外部デバイス３００の製品名、及び外部デバイス３００が提供するサービスの種類などによっても区分される。
メモリ１３０に保存されたＮＬＵは、外部デバイス３００の製造社により、通信部１１０を介してアップデートが可能である。例えば、外部デバイス３００の製造社は、新たな外部デバイス３００のサービス呼び出し文型に対応する命令語を生成するためのインストラクションをさらに含むように、ＮＬＵをアップデートすることができる。
図４は、一実施形態によるペアリングデバイス２００のブロック図である。
図４を参照すれば、一実施形態によるペアリングデバイス２００は、通信部２１０、オーディオ入力部２２０、オーディオ出力部２４０、プロセッサ２５０及びメモリ２６０を含んでもよい。
ペアリングデバイス２００は、通信部２１０を介して、ネットワーク１０５を介して、サーバ１００とも連結される。また、ペアリングデバイス２００は、通信部２１０を介して、外部デバイス３００ともペアリングされる。ペアリングデバイス２００は、複数の外部デバイス３００もと同時にペアリングされる。
通信部２１０は、例えば、ブルートゥース(登録商標)（Bluetooth(登録商標)）通信部、近距離無線通信部（near field communication unit）、ＷＬＡＮ（Ｗｉ−Ｆｉ）通信部、ジグビー（Zigbee）通信部、赤外線（ＩｒＤＡ：infrared data association）通信部、ＷＦＤ（Ｗｉ−Ｆｉ Direct）通信部、ＵＷＢ（ultra wideband）通信部、Ａｎｔ＋通信部、移動通信部、放送通信部などを含んでもよいが、それらに限定されるのではない。
オーディオ入力部２２０は、外部の音響信号を入力され、電気的な音声データに処理する。例えば、オーディオ入力部２２０は、外部デバイス３００を制御するためのユーザ発話を受信することができる。また、外部デバイス３００が、最初にペアリングデバイス２００にペアリングされたとき、オーディオ入力部２２０は、外部デバイス３００の呼び出し名を入力するためのユーザ発話を受信することができる。オーディオ入力部２２０は、外部の音響信号を入力される過程で発生するノイズ（noise）を除去するための多様なノイズ除去アルゴリズムを利用することができる。
オーディオ出力部２４０は、通信部２１０から受信されるか、あるいはメモリ２６０に保存されたオーディオデータを出力する。例えば、オーディオ出力部２４０は、サーバ１００から受信された外部デバイスを制御するための命令語に対応する自然語を、音声として出力することができる。また、オーディオ出力部２４０は、ペアリングデバイス２００で遂行される機能（例えば、命令語遂行、お知らせ音）と係わる音響信号を出力することができる。そのようなオーディオ出力部２４０は、スピーカ（speaker）、ブザー（buzzer）などが含まれる。
一実施形態によるプロセッサ２５０は、メモリ２６０に保存される１以上のプログラムを実行することができる。
一実施形態によるメモリ２６０は、ペアリングデバイス２００を駆動して制御するための多様なデータ、プログラムまたはアプリケーションを保存することができる。
例えば、メモリ２６０は、外部デバイス３００情報を管理するためのアプリケーションを保存することができる。また、メモリ２６０は、近距離通信を利用して外部デバイス３００とペアリングするためのアプリケーションを保存することができる。一実施形態により、該近距離通信は、例えば、ジグビー（Zigbee）、ブルートゥース(登録商標)（Bluetooth(登録商標)）を含んでもよい。
また、メモリ２６０は、外部デバイス３００が、ペアリングデバイス２００と最初にペアリングされるとき、外部デバイス情報を保存することができる。該外部デバイス情報は、例えば、外部デバイスＩＤ、外部デバイスの製造社ＩＤ、及び少なくとも１つの外部デバイスの呼び出し名を含む。
外部デバイスＩＤ及び外部デバイスの製造社ＩＤは、外部デバイス管理アプリケーションを介して、外部デバイス３００から受信されるか、あるいはユーザから入力されることができる。外部デバイス呼び出し名は、ペアリングデバイス２００のオーディオ入力部２２０を介して、ユーザからも受信される。１つの外部デバイス３００に対して、複数個の外部デバイス呼び出し名が保存されてもよい。
図５は、一実施形態による外部デバイスを制御するための方法のフローチャートである。
段階Ｓ１１０において、サーバ１００は、少なくとも１つのＮＬＵを保存することができる（Ｓ１１０）。ここで、少なくとも１つのＮＬＵは、ユーザ発話に対応する命令語を生成するものでもある。
一実施形態によれば、サーバ１００は、各外部デバイスに対応する少なくとも１つのＮＬＵを、外部デバイスの製造社から受信することができる。少なくとも１つのＮＬＵは、外部デバイスの製造社によって追ってアップデートされる。
サーバ１００は、また、外部デバイス制御のためのテキストを含むコーパスを受信することができる。該コーパスは、外部デバイスを制御するためのサービス呼び出し文型部分に対応する文章のセットを含んでもよい。該コーパスに含まれた文章に対応するサービス呼び出し文型部分は、ＮＬＵを介しても分析される。
サーバ１００は、ＮＬＵ訓練モジュールを介して、コーパスに含まれた文章と異なるにしても、同一意味を有するサービス呼び出し文型が、ＮＬＵを介して分析されるように、該ＮＬＵを訓練させることができる。
例えば、該コーパスは、外部デバイスを制御するための命令語と、それに対応する少なくとも１つの文章とを対応させて含んでもよい。
外部デバイスが、例えば、電球である場合、サーバ１００は、［表１］のようなコーパスを含むＮＬＵを保存することができる。
段階Ｓ１２０において、サーバ１００は、外部デバイスを制御するためのユーザ発話、及び少なくとも１つの外部デバイス情報を受信することができる（Ｓ１２０）。
例えば、サーバ１００は、外部デバイスとペアリングされたペアリングデバイスから、「居間電球に赤色に光ってと言って」というユーザ発話を受信することができる。
また、サーバ１００は、ペアリングデバイスから、ペアリングデバイスに登録された少なくとも１つの外部デバイス情報を受信することができる。
段階Ｓ１３０において、サーバ１００は、少なくとも１つのＮＬＵのうち、外部デバイスに対応するＮＬＵエンジンを決定することができる（Ｓ１３０）。
一実施形態によれば、サーバ１００は、外部デバイスを制御するためのユーザ発話、及び少なくとも１つの外部デバイス情報に基づいて、外部デバイスに対応するＮＬＵエンジンを決定することができる。
例えば、サーバ１００は、「居間電球に赤色に光ってと言って」というユーザ発話と、「居間電球」という呼び出し名に対応する外部デバイス情報とに基づいて、ＮＬＵを決定することができる。
段階Ｓ１４０において、サーバ１００は、決定されたＮＬＵエンジンを利用し、ユーザ発話に基づいて、外部デバイスを制御するための命令語を生成するように制御することができる（Ｓ１４０）。
［表１］を参照すれば、一実施形態により、決定されたＮＬＵに含まれたコーパスは、change＿colorという命令語に対応する「｛赤色｜color｝に光ってと言って」という文章を含んでもよい。
例えば、サーバ１００において、「赤色に光ってと言って」を含むユーザ発話を受信した場合、サーバ１００においては、ＮＬＵを利用してＮＬＵ結果を生成することができる。その後、サーバ１００は、ＮＬＵ結果に基づいて、change＿colorという命令語を生成するように制御することができる。
一実施形態により、サーバ１００は、ユーザ発話を受信し、ＮＬＵを利用し、ＮＬＵ結果を生成した後、ＮＬＵ結果に対応する命令語を生成するために、外部サーバを利用することもできる。
図６は、一実施形態による外部デバイスを制御するための方法のフローチャートである。
段階Ｓ２１０において、サーバ１００は、少なくとも１つのＮＬＵを保存することができる（Ｓ２１０）。段階Ｓ２１０は、図５で説明した段階Ｓ１１０と対応する。
段階Ｓ２２０において、サーバ１００は、外部デバイスを制御するためのユーザ発話、及び少なくとも１つの外部デバイス情報を受信することができる（Ｓ２２０）。段階Ｓ２２０は、図５で説明した段階Ｓ１２０と対応する。
段階Ｓ２３０において、サーバ１００は、ユーザ発話から、外部デバイスの呼び出し名部分と、外部デバイスのサービス呼び出し文型とを抽出することができる（Ｓ２３０）。
例えば、サーバ１００は、「電球にきらきらしてと言って」というユーザ発話から「電球」という呼び出し名部分と、「きらきらしてと言って」という外部デバイスのサービス呼び出し文型とを抽出することができる。
段階Ｓ２４０において、サーバ１００は、外部デバイスの呼び出し名部分に対応する少なくとも１つのＮＬＵエンジンを決定することができる（Ｓ２４０）。
一実施形態によれば、サーバ１００は、外部デバイスの呼び出し名部分と、少なくとも１つの外部デバイス情報とに基づいて、外部デバイスの呼び出し名部分に対応する少なくとも１つのＮＬＵエンジンを決定することができる。
例えば、サーバ１００は、「電球」という呼び出し名部分と、「電球」という呼び出し名に対応する少なくとも１つの外部デバイス情報とに基づいて、少なくとも１つのＮＬＵを決定することができる。
具体的には、少なくとも１つの外部デバイス情報に含まれた「電球」という呼び出し名を有する外部デバイスは、居間電球、奥座敷電球及び台所電球がある。サーバ１００は、「電球」という呼び出し名部分と、少なくとも１つの外部デバイス情報とに基づいて、居間電球、奥座敷電球及び台所電球に対応する少なくとも１つのＮＬＵを決定することができる。
段階Ｓ２５０において、サーバ１００は、決定されたＮＬＵエンジンを利用し、ユーザ発話に基づいて、外部デバイスを制御するための命令語を生成するように制御することができる（Ｓ２５０）。
段階Ｓ２５０は、図５の段階Ｓ１４０の説明を含む。決定されたＮＬＵが複数個である場合、サーバ１００は、決定された複数個のＮＬＵそれぞれを利用し、ユーザ発話に基づいて、外部デバイスを制御するための命令語を複数個生成するように制御することができる。
図７は、一実施形態による外部デバイスをペアリングデバイスに登録するための方法のフローチャートである。
一実施形態によるサーバ１００は、外部デバイスを制御するためのユーザ発話、及び少なくとも１つの外部デバイス情報に基づいて、決定されたＮＬＵエンジンを利用し、外部デバイスを制御するための命令語を生成するように制御することができる。少なくとも１つの外部デバイス情報は、ペアリングデバイス２００に保存されたものでもある。
一実施形態による少なくとも１つの外部デバイス情報は、図７に図示された段階により、ペアリングデバイス２００に事前に保存される。
段階Ｓ３１０において、ペアリングデバイス２００は、ペアリングされる外部デバイスが、新規外部デバイスであるか否かということを判断することができる（Ｓ３１０）。
一実施形態によるペアリングデバイス２００は、ペアリングデバイス２００とペアリングされる外部デバイスに係わる情報である外部デバイス情報を保存している。ペアリングデバイス２００がペアリングされる外部デバイスに係わる情報をすでに保存しているか否かということを判断することができる。
段階Ｓ３１０において、ペアリングされる外部デバイスが新規外部デバイスである場合、段階Ｓ３２０において、ペアリングデバイス２００は、ペアリングされる外部デバイスがペアリングデバイス２００と持続的な短距離通信可能な外部デバイスであるか否かということを判断することができる（Ｓ３２０）。持続的な短距離通信は、ＷＬＡＮ（Ｗｉ−Ｆｉ）通信、ジグビー（Zigbee）通信、ブルートゥース(登録商標)（Bluetooth(登録商標)）通信などを含んでもよい。
段階Ｓ３２０において、ペアリングされる外部デバイスが、ペアリングデバイス２００と持続的な短距離通信可能な外部デバイスである場合、段階Ｓ３３０において、ペアリングデバイス２００は、短距離通信に基づいて、ペアリングデバイス２００と外部デバイスをペアリングすることができる（Ｓ３３０）。
段階Ｓ３４０において、ペアリングデバイス２００は、外部デバイスの呼び出し名に対するユーザ入力を受信することができる（Ｓ３４０）。
一実施形態によるペアリングデバイス２００は、外部デバイスを呼び出すための呼び出し名を含むユーザ発話を受信することができる。例えば、ペアリングデバイス２００は、オーディオ出力部を介して、ユーザに呼び出し名を入力せよというメッセージを出力し、オーディオ入力部を介して、呼び出し名を含むユーザ発話を受信することができる。
また、ペアリングデバイス２００は、ユーザから呼び出し名を含むテキストなど他形態の入力を受信することもできる。
段階Ｓ３５０において、ペアリングデバイス２００は、ユーザ入力を受信したか否かということを判断することができる（Ｓ３５０）。
ペアリングデバイス２００がユーザ入力を受信した場合、段階Ｓ３６０において、ペアリングデバイス２００は、ユーザ入力に基づいた外部デバイス呼び出し名、外部デバイスＩＤ及び製造社ＩＤを登録することができる（Ｓ３６０）。ペアリングデバイス２００がユーザ入力を受信していない場合、外部デバイスをペアリングデバイスに登録するための方法は終わる。
一実施形態による外部デバイスＩＤは、ペアリングデバイス２００で付与される。また、製造社ＩＤは、外部デバイスとペアリングされるとき、外部デバイスによっても受信される。
段階Ｓ３２０において、ペアリングされる外部デバイスが、ペアリングデバイス２００と持続的な短距離通信可能な外部デバイスではない場合、段階Ｓ３７０において、ペアリングデバイス２００は、製造社から受信した外部デバイスのＩＤ及び製造社ＩＤ登録することができる（Ｓ３７０）。
該外部デバイスが、ペアリングデバイス２００と持続的な短距離通信可能な外部デバイスではない場合は、該外部デバイスが、持続的な短距離通信が可能な範囲外に位置する場合、かつ該外部デバイスが、持続的な短距離通信が可能な範囲外で動く場合を含む。例えば、該外部デバイスが自動車である場合、該外部デバイスがペアリングデバイス２００と持続的な短距離通信可能な外部デバイスではないとも判断される。
段階Ｓ３８０において、ユーザは、ペアリングデバイス２００に、手動で外部デバイスの呼び出し名を登録することができる（Ｓ３８０）。
段階Ｓ３１０において、ペアリングされる外部デバイスが新規外部デバイスではないと判断された場合、段階Ｓ３９０において、ペアリングデバイス２００は、外部デバイス情報を、既存外部デバイス情報とグループ化することができる（Ｓ３９０）。
図８は、一実施形態による外部デバイスを制御するためのシステムにおいて、ユーザ発話に基づいて、外部デバイスを制御する方法のフローチャートである。
段階Ｓ４０１において、サーバ１００は、ＮＬＵエンジンを保存することができる（Ｓ４０１）。
段階Ｓ４０３において、外部デバイス３００は、ペアリングデバイス２００に、外部デバイス製造社ＩＤを送信することができる（Ｓ４０３）。
段階Ｓ４０５において、ペアリングデバイス２００は、外部デバイス３００から、外部デバイス３００の製造社ＩＤを受信することができる（Ｓ４０５）。
段階Ｓ４０７において、ペアリングデバイス２００は、ユーザから、外部デバイス３００の呼び出し名を受信することができる（Ｓ４０７）。一実施形態によるペアリングデバイス２００は、ユーザから、呼び出し名を含むユーザ発話を受信することができる。
段階Ｓ４０９において、ペアリングデバイス２００は、外部デバイスＩＤを登録することができる（Ｓ４０９）。ペアリングデバイス２００は、外部デバイスごとに、固有ＩＤを付与することができる。
段階Ｓ４１１において、ペアリングデバイス２００は、外部デバイス情報をアップデートすることができる（Ｓ４１１）。ペアリングデバイス２００は、外部デバイス製造社ＩＤ、外部デバイス３００の呼び出し名、及び外部デバイスＩＤを含む外部デバイス情報をアップデートすることができる。一実施形態によれば、ペアリングデバイス２００は、既存に登録された外部デバイス情報に、新規外部デバイス情報を追加することができる。
段階Ｓ４１３において、ペアリングデバイス２００は、ユーザから、ユーザ発話を受信することができる（Ｓ４１３）。
段階Ｓ４１５において、ペアリングデバイス２００は、サーバ１００に、ユーザ発話、及び登録された外部デバイス情報を送信することができる（Ｓ４１５）。
段階Ｓ４１７において、サーバ１００は、ペアリングデバイス２００から、ユーザ発話、及び登録された外部デバイス情報を受信することができる（Ｓ４１７）。
段階Ｓ４１９において、サーバ１００は、ユーザ発話から、外部デバイス３００の呼び出し名部分と、外部デバイス３００の動作部分とを抽出することができる（Ｓ４１９）。
段階Ｓ４２１において、サーバ１００は、外部デバイス３００の呼び出し名部分に対応する少なくとも１つのＮＬＵエンジンを決定することができる（Ｓ４２１）。
段階Ｓ４２３において、サーバ１００は、ＮＬＵ結果、及び決定されたＮＬＵエンジンに対応する外部デバイス情報を命令語生成エンジンに伝達することができる（Ｓ４２３）。ここで、該ＮＬＵ結果は、外部デバイス３００の呼び出し名部分に対応する少なくとも１つのＮＬＵエンジンを利用して分析されたＮＬＵ結果でもある。命令語生成エンジンは、サーバ１００内部に保存されてもあり、サーバ１００外部の他サーバに保存されてもいる。
段階Ｓ４２５において、サーバ１００は、自然語生成（ＮＬＧ：natural language generating）結果発話及び命令語を生成するように制御することができる（Ｓ４２５）。一実施形態によれば、サーバ１００は、サーバ１００内部または外部サーバに保存された命令語生成エンジンにおいて外部デバイス３００を制御するための命令語を生成するように制御することができる。
段階Ｓ４２７において、サーバ１００は、外部デバイス３００が近距離通信によってペアリングされているか否かということを判断することができる（Ｓ４２７）。
段階Ｓ４２７において、外部デバイス３００が近距離通信によってペアリングされていない場合、段階Ｓ４２９において、サーバ１００は、ペアリングデバイス２００に、ＮＬＧ結果発話及び外部デバイスＩＤを送信することができる（Ｓ４２９）。
段階Ｓ４２７において、外部デバイス３００が近距離通信によってペアリングされていない場合、段階Ｓ４３１において、サーバ１００は、命令語を外部デバイス３００に直接送信することができる（Ｓ４３１）。
段階Ｓ４２７において、外部デバイス３００が近距離通信によってペアリングされている場合、段階Ｓ４３３において、サーバ１００は、ペアリングデバイス２００に、ＮＬＧ結果発話、外部デバイスＩＤ及び命令語を送信することができる（Ｓ４３３）。
段階Ｓ４３５において、ペアリングデバイス２００は、ＮＬＧ結果発話を出力し、命令語を外部デバイス３００に送信することができる（Ｓ４３５）。
段階Ｓ４３７において、外部デバイス３００は、受信された命令語に対応する動作を遂行することができる（Ｓ４３７）。
図９Ａは、一実施形態による外部デバイスを制御するためのシステムにおいて、ユーザ発話を受信するところを示す図面である。
図９Ａを参照すれば、外部デバイス３００とペアリングされたペアリングデバイス２００は、「居間電球にサイコティックモードにせよと言って」というユーザ発話を受信することができる。外部デバイス３００は、冷蔵庫、自動車、及び居間にある電球を含んでもよい。
ペアリングデバイス２００は、外部デバイスＩＤ、外部デバイス製造社ＩＤ及び外部デバイスの呼び出し名を含む外部デバイス情報を保存することができる。
図９Ｂは、一実施形態による外部デバイスを制御するためのシステムにおいて、ペアリングデバイス２００からサーバ１００に、ユーザ発話、及び登録された外部デバイス情報を送信するところを示す図面である。
ペアリングデバイス２００は、ペアリングデバイス２００で受信したユーザ発話、及びペアリングデバイス２００に保存された外部デバイス情報の全体、または少なくとも一部をサーバ１００に送信することができる。
図９Ｃは、一実施形態による外部デバイスを制御するためのシステムにおいて、ＮＬＵエンジン及び命令語生成エンジンを利用し、外部デバイスを制御するための命令語を生成するところを示す図面である。
一実施形態によるサーバ１００は、ユーザ発話から、外部デバイスの呼び出し名部分と、外部デバイスのサービス呼び出し文型とを抽出することができる。
例えば、サーバ１００は、「居間電球にサイコティックモードにせよと言って」というユーザ発話から、「居間電球」という呼び出し名部分と、「サイコティックモードにせよと言って」という外部デバイスのサービス呼び出し文型とを抽出することができる。
ここで、該ＮＬＵ結果は、外部デバイス３００の呼び出し名部分である「居間電球」に対応する少なくとも１つのＮＬＵエンジンを利用して分析された自然語分析結果でもある。
図９Ｃを参照すれば、サーバ１００は、第１ ＮＬＵ １０１、第２ ＮＬＵ １０３、…、及び第Ｎ ＮＬＵ １０５を保存することができる。また、サーバ１００内部または外部の他サーバに、第１命令語生成エンジン１１１、第２命令語生成エンジン１１３、…、及び第Ｎ命令語生成エンジン１１５が保存されている。
サーバ１００は、ユーザ発話と、少なくとも１つの外部デバイス情報とに基づいて、「居間電球」に対応する第２ ＮＬＵ １０３を決定することができる。
また、サーバ１００は、第２ ＮＬＵ １０３を利用し、「居間電球にサイコティックモードにせよと言って」というユーザ発話のＮＬＵ結果を生成することができる。図９Ｃを参照すれば、ＮＬＵ結果は、サービス内容、外部デバイスＩＤ及び製造社ＩＤを含むもの（サイコテックモード；０＃；ＡＢＣ）でもある。
サーバ１００は、第２ ＮＬＵ １０３に対応する命令語生成エンジン１１３を利用し、ユーザ発話に基づいて、外部デバイスを制御するための命令語を生成するように制御することができる。例えば、サーバ１００は、ＮＬＵ結果（サイコテックモード；０＃；ＡＢＣ）に基づいて、命令語（doSsayiki）を生成することができる。
図９Ｄは、一実施形態による外部デバイスを制御するためのシステムにおいて、サーバからペアリングデバイスに、自然語生成（ＮＬＧ）結果発話、外部デバイスＩＤ及び命令語を送信するところを示す図面である。
図９Ｄを参照すれば、サーバ１００は、ペアリングデバイス２００に、ＮＬＧ結果発話（「居間電球サイコティックモード」）を送信することができる。ペアリングデバイス２００は、受信されたＮＬＧ結果発話を出力することができる。
図９Ｄを参照すれば、サーバ１００は、ペアリングデバイス２００に、外部デバイスＩＤ及び命令語（＃０、doSsayiki）を送信することができる。
図９Ｅは、一実施形態による外部デバイスを制御するためのシステムにおいて、ペアリングデバイスから外部デバイスに命令語を送信するところを示す図面である。
例えば、ペアリングデバイス２００は、サーバ１００で受信した外部デバイスＩＤ及び命令語（＃０、doSsayiki）に基づいて、外部デバイスＩＤである＃０に対応する居間電球３０１に、命令語（doSsayiki）を送信することができる。
図１０は、一実施形態によるサーバの細部的な構成を示すブロック図である。
サーバ１０００は、無線通信部１０１１及び有線通信部１０１３を含む通信部１０１０を含んでもよい。
通信部１０１０は、無線通信及び有線通信により、ペアリングデバイスと、データを送受信することができる。
また、サーバ１０００は、ＩｏＴ制御発話判別モジュール１０２１、呼び出し名及びサービス呼び出し文型抽出モジュール１０２３、呼び出し名解読モジュール１０２５、命令語生成及び付加情報生成管理モジュール１０２７及び一般文章ＮＬＵモジュール１０２９を含んでもよい。
サーバ１０００は、ＩｏＴ制御発話判別モジュール１０２１において、ユーザ発話が外部デバイスを制御するためのものであるか否かということを判断することができる。ユーザ発話が外部デバイスを制御するためのものではない場合、該ユーザ発話は、一般文章ＮＬＵモジュール１０２９で分析される。命令語生成及び付加情報生成管理モジュール１０２７は、命令語生成エンジン及び外部デバイスに係わる付加情報を管理するためのモジュールである。命令語生成及び付加情報生成管理モジュール１０２７は、ＮＬＵ管理モジュール１０３０と連結され、ＮＬＵ結果を基に、命令語生成を制御することができる。
サーバ１０００は、ＮＬＵ管理モジュール１０３０を含む。また、サーバ１０００は、第１ ＮＬＵ １０３１、第２ ＮＬＵ １０３３、…、及び第Ｎ ＮＬＵ １０３５を保存することができる。
ＮＬＵ管理モジュール１０３０は、第１ ＮＬＵ １０３１、第２ ＮＬＵ １０３３、…、及び第Ｎ ＮＬＵ １０３５を管理することができる。また、ＮＬＵ管理モジュール１０３０は、ユーザ発話で抽出された呼び出し名に基づいて、少なくとも１つの自然語エンジンを決定するように制御することができる。
サーバ１０００は、ＮＬＵ訓練モジュール１０５０を含んでもよい。ＮＬＵ訓練モジュール１０５０は、外部デバイス製造社から受信されたコーパスに基づいて、ＮＬＵをアップデートすることができる。ＮＬＵ訓練モジュール１０５０は、受信されたコーパスに含まれた文章と同一文章ではないにしても、ＮＬＵによって分析されるように、ＮＬＵを制御することができる。
一実施形態による制御方法は、多様なコンピュータ手段を介しても遂行されるプログラム命令形態に具現され、コンピュータ可読媒体にも記録される。前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを、単独または組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものでもあり、あるいはコンピュータソフトウェア当業者に公知されて使用可能なものでもある。該コンピュータ可読記録媒体の例には、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体（magnetic media）；ＣＤ−ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）のような光記録媒体（optical media）：フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical media）；及びＲＯＭ（read-only memory）、ＲＡＭ（random access memory）、フラッシュメモリのようなプログラム命令を保存して遂行するように特別に構成されたハードウェア装置が含まれる。該プログラム命令の例には、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用し、コンピュータによって実行される高級言語コードを含む。
前述の明細書において、本開示及びその長所は、特定実施形態を参照して説明された。しかし、当該技術分野において当業者であるならば、多様な変更及び変化を、特許請求の範囲に開示されたような本開示の範囲を外れずに、容易に達成することができであろう。従って、本発明の詳細な説明及び図面は、制限的意味ではなく、本開示の説明的例示と見なされなければならないのである。そのような可能な全ての修正は、本開示の範囲内に含まれるように意図されるのである。
１００ サーバ
１０５ ネットワーク
２００ ペアリングデバイス
３００ 外部デバイス
３０１ 第１外部デバイス
３０２ 第２外部デバイス
３０３ 第３外部デバイス

Claims (15)

  1. 外部デバイスを制御するサーバにおいて、
    通信部と、
    ユーザ発話に対応する命令語を生成する少なくとも１つの自然語理解（ＮＬＵ）エンジンを保存するメモリと、
    前記通信部を介して、前記外部デバイスとペアリングされたペアリングデバイスから、前記外部デバイスを制御するためのユーザ発話、及び前記ペアリングデバイスに登録された少なくとも１つの外部デバス情報を受信し、
    前記外部デバイスを制御するためのユーザ発話と、前記少なくとも１つの外部デバイス情報とに基づいて、前記少なくとも１つのＮＬＵのうち、前記外部デバイスに対応するＮＬＵを決定し、
    前記決定されたＮＬＵを利用し、前記ユーザ発話に基づいて、前記外部デバイスを制御するための命令語を生成するプロセッサを含むサーバ。
  2. 前記少なくとも１つのＮＬＵは、前記外部デバイスの製造社、及び前記外部デバイスの種類のうち少なくとも一つによって互いに異なる複数のＮＬＵを含むことを特徴とする請求項１に記載のサーバ。
  3. 前記プロセッサは、
    前記外部デバイスを制御するためのユーザ発話から、前記外部デバイスの呼び出し名部分と、前記外部デバイスのサービス呼び出し文型部分とを抽出し、
    前記外部デバイスの呼び出し名部分と、前記少なくとも１つの外部デバイス情報とに基づいて、前記少なくとも１つのＮＬＵのうち、前記外部デバイスの呼び出し名部分に対応する少なくとも１つのＮＬＵを決定することにより、
    前記少なくとも１つのＮＬＵのうち、前記外部デバイスに対応するＮＬＵを決定することを特徴とする請求項１に記載のサーバ。
  4. 前記プロセッサは、
    前記ＮＬＵを利用し、前記抽出された外部デバイスのサービス呼び出し文型部分に対応するＮＬＵ結果を生成し、
    前記ＮＬＵ結果に基づいて、前記外部デバイスを制御するための命令語を生成することにより、前記ユーザ発話に基づいて、前記少なくとも１つの外部デバイスを制御するための命令語を生成することを特徴とする請求項３に記載のサーバ。
  5. 前記プロセッサは、
    前記ＮＬＵ結果に基づいて、前記外部デバイスを制御するための命令語に対応する自然語を生成することにより、前記ユーザ発話に基づいて、前記外部デバイスを制御するための命令語を生成することを特徴とする請求項４に記載のサーバ。
  6. 前記外部デバイス情報は、
    前記外部デバイスＩＤ、前記外部デバイスの製造社ＩＤ、及び少なくとも１つの前記外部デバイスの呼び出し名を含むことを特徴とする請求項１に記載のサーバ。
  7. 前記少なくとも１つの前記外部デバイスの呼び出し名は、前記ペアリングデバイスを介したユーザ入力によって決定されたことを特徴とする請求項３に記載のサーバ。
  8. 前記外部デバイスが近距離通信により、前記ペアリングデバイスにペアリングされるとき、前記プロセッサは、
    前記ペアリングデバイスに、前記外部デバイスのＩＤ、及び前記生成された外部デバイスを制御するための命令語を送信するように、前記通信部を制御することを特徴とする請求項１に記載のサーバ。
  9. 前記外部デバイスが遠距離通信により、前記ペアリングデバイスにペアリングされるとき、前記プロセッサは、
    前記外部デバイスに、前記生成された外部デバイスを制御するための命令語を送信するように、前記通信部を制御することを特徴とする請求項１に記載のサーバ。
  10. 前記外部デバイスＩＤは、前記ペアリングデバイスによって付与するものであることを特徴とする請求項１に記載のサーバ。
  11. 外部デバイスを制御する制御方法において、
    ユーザ発話に対応する命令語を生成するための少なくとも１つの自然語理解（ＮＬＵ）エンジンを保存する段階と、
    前記外部デバイスとペアリングされたペアリングデバイスから、前記外部デバイスを制御するためのユーザ発話、及び前記ペアリングデバイスに登録された少なくとも１つの外部デバイス情報を受信する段階と、
    前記外部デバイスを制御するためのユーザ発話と、前記少なくとも１つの外部デバイス情報とに基づいて、前記少なくとも１つのＮＬＵのうち、前記外部デバイスに対応するＮＬＵを決定する段階と、
    前記決定されたＮＬＵを利用し、前記ユーザ発話に基づいて、前記外部デバイスを制御するための命令語を生成する段階と、を含む制御方法。
  12. 前記少なくとも１つのＮＬＵは、前記外部デバイスの製造社及びサービスのうち少なくとも一つによって互いに異なる複数のＮＬＵを含むことを特徴とする請求項１１に記載の制御方法。
  13. 前記少なくとも１つのＮＬＵのうち、前記外部デバイスに対応するＮＬＵを決定する段階は、
    前記外部デバイスを制御するためのユーザ発話から、前記外部デバイスの呼び出し名部分と、前記外部デバイスのサービス呼び出し文型部分とを抽出する段階と、
    前記外部デバイスの呼び出し名部分と、前記少なくとも１つの外部デバイス情報とに基づいて、前記少なくとも１つのＮＬＵのうち、前記外部デバイスの呼び出し名部分に対応する少なくとも１つのＮＬＵを決定するための段階を含むことを特徴とする請求項１１に記載の制御方法。
  14. 前記外部デバイスを制御するための命令語を生成する段階は、
    前記ＮＬＵを利用し、前記抽出された外部デバイスのサービス呼び出し文型部分に対応するＮＬＵ結果を生成する段階と、
    前記ＮＬＵ結果に基づいて、前記外部デバイスを制御するための命令語を生成するための段階と、を含むことを特徴とする請求項１３に記載の制御方法。
  15. 請求項１１に記載の方法を実行させるためのプログラムが保存されたコンピュータで読み取り可能な記録媒体。
JP2019534617A 2016-09-07 2017-08-22 外部デバイスを制御するサーバ及びその方法 Active JP7038719B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2016-0115255 2016-09-07
KR1020160115255A KR102481881B1 (ko) 2016-09-07 2016-09-07 외부 디바이스를 제어하는 서버 및 그 방법
PCT/KR2017/009143 WO2018048118A1 (en) 2016-09-07 2017-08-22 Server and method for controlling external device

Publications (2)

Publication Number Publication Date
JP2019537805A true JP2019537805A (ja) 2019-12-26
JP7038719B2 JP7038719B2 (ja) 2022-03-18

Family

ID=61280885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019534617A Active JP7038719B2 (ja) 2016-09-07 2017-08-22 外部デバイスを制御するサーバ及びその方法

Country Status (6)

Country Link
US (2) US10650822B2 (ja)
EP (1) EP3469853B1 (ja)
JP (1) JP7038719B2 (ja)
KR (2) KR102481881B1 (ja)
CN (2) CN107808672B (ja)
WO (1) WO2018048118A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022133293A (ja) * 2018-03-20 2022-09-13 シャープ株式会社 情報処理システム、及び情報処理方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113093917A (zh) 2015-09-28 2021-07-09 微软技术许可有限责任公司 统一的虚拟现实平台
JP7192208B2 (ja) * 2017-12-01 2022-12-20 ヤマハ株式会社 機器制御システム、デバイス、プログラム、及び機器制御方法
JP6962158B2 (ja) 2017-12-01 2021-11-05 ヤマハ株式会社 機器制御システム、機器制御方法、及びプログラム
JP7067082B2 (ja) 2018-01-24 2022-05-16 ヤマハ株式会社 機器制御システム、機器制御方法、及びプログラム
KR20190101630A (ko) * 2018-02-23 2019-09-02 삼성전자주식회사 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법
KR20200052612A (ko) 2018-11-07 2020-05-15 삼성전자주식회사 사용자 발화를 처리하는 전자 장치, 및 그 전자 장치의 제어 방법
KR102309540B1 (ko) * 2019-05-02 2021-10-07 삼성전자주식회사 사용자의 입력 입력에 기초하여 타겟 디바이스를 결정하고, 타겟 디바이스를 제어하는 서버 및 그 동작 방법
WO2020222539A1 (en) 2019-05-02 2020-11-05 Samsung Electronics Co., Ltd. Hub device, multi-device system including the hub device and plurality of devices, and method of operating the same
KR20200127823A (ko) * 2019-05-02 2020-11-11 삼성전자주식회사 허브 디바이스, 허브 디바이스 및 복수의 디바이스를 포함하는 멀티 디바이스 시스템 및 그 동작 방법
US20200349940A1 (en) * 2019-05-02 2020-11-05 Samsung Electronics Co., Ltd. Server for determining target device based on speech input of user and controlling target device, and operation method of the server
EP3752920A1 (en) 2019-05-06 2020-12-23 Google LLC Invoking functions of agents via digital assistant applications using address templates
US11930230B2 (en) * 2019-11-01 2024-03-12 Samsung Electronics Co., Ltd. Hub device, multi-device system including the hub device and plurality of devices, and operating method of the hub device and multi-device system
KR102487078B1 (ko) * 2019-11-01 2023-01-11 삼성전자주식회사 허브 디바이스, 허브 디바이스 및 복수의 디바이스를 포함하는 멀티 디바이스 시스템 및 그 동작 방법
US11790902B2 (en) * 2020-02-04 2023-10-17 Amazon Technologies, Inc. Speech-processing system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319045A (ja) * 2000-05-11 2001-11-16 Matsushita Electric Works Ltd 音声マンマシンインタフェースを用いたホームエージェントシステム、及びプログラム記録媒体
WO2014171144A1 (ja) * 2013-04-19 2014-10-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 家電機器の制御方法、家電機器制御システム、及びゲートウェイ
US20150154976A1 (en) * 2013-12-02 2015-06-04 Rawles Llc Natural Language Control of Secondary Device
JP2018509014A (ja) * 2014-12-22 2018-03-29 マイクロソフト テクノロジー ライセンシング，エルエルシー デバイスにわたる、デジタルパーソナルアシスタントエージェントの調整
US9984686B1 (en) * 2015-03-17 2018-05-29 Amazon Technologies, Inc. Mapping device capabilities to a predefined set

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003463B1 (en) 1998-10-02 2006-02-21 International Business Machines Corporation System and method for providing network coordinated conversational services
JP2002527800A (ja) * 1998-10-02 2002-08-27 インターナショナル・ビジネス・マシーンズ・コーポレーション 会話ブラウザおよび会話システム
US6654720B1 (en) * 2000-05-09 2003-11-25 International Business Machines Corporation Method and system for voice control enabling device in a service discovery network
US7398209B2 (en) * 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
EP1575230B1 (en) * 2002-11-29 2011-01-12 Freebit Co., Ltd. Server for routing connection to client device
KR20040075646A (ko) * 2003-02-22 2004-08-30 천두배 자연어 음성명령에 의한 음성인식 홈 오토메이션 시스템의제어방법
US7668990B2 (en) * 2003-03-14 2010-02-23 Openpeak Inc. Method of controlling a device to perform an activity-based or an experience-based operation
US20050187767A1 (en) * 2004-02-24 2005-08-25 Godden Kurt S. Dynamic N-best algorithm to reduce speech recognition errors
US8589156B2 (en) * 2004-07-12 2013-11-19 Hewlett-Packard Development Company, L.P. Allocation of speech recognition tasks and combination of results thereof
WO2006063118A2 (en) * 2004-12-07 2006-06-15 Pure Networks, Inc. Network management
DE102006018245A1 (de) * 2006-04-13 2007-10-18 Aurenz, Hans-Peter System zur Ansteuerung von Endgeräten
US8521511B2 (en) * 2007-06-18 2013-08-27 International Business Machines Corporation Information extraction in a natural language understanding system
KR101649911B1 (ko) 2010-01-04 2016-08-22 삼성전자 주식회사 확장 도메인을 이용한 대화 시스템 및 그 자연어 인식 방법
US9245525B2 (en) 2011-01-05 2016-01-26 Interactions Llc Automated speech recognition proxy system for natural language understanding
US8966125B2 (en) * 2012-01-19 2015-02-24 Worldvu Satellites Limited System and method for interconnection of diverse devices
US20130238326A1 (en) * 2012-03-08 2013-09-12 Lg Electronics Inc. Apparatus and method for multiple device voice control
US10397013B1 (en) * 2012-04-11 2019-08-27 Google Llc User interfaces, systems and methods for configuring smart devices for interoperability with a smart hub device
KR102150289B1 (ko) * 2012-08-30 2020-09-01 삼성전자주식회사 사용자 단말에서 사용자 인터페이스 장치 및 이를 지원하는 방법
US9230560B2 (en) * 2012-10-08 2016-01-05 Nant Holdings Ip, Llc Smart home automation systems and methods
US9271111B2 (en) * 2012-12-14 2016-02-23 Amazon Technologies, Inc. Response endpoint selection
US20140379334A1 (en) * 2013-06-20 2014-12-25 Qnx Software Systems Limited Natural language understanding automatic speech recognition post processing
US20150149176A1 (en) * 2013-11-27 2015-05-28 At&T Intellectual Property I, L.P. System and method for training a classifier for natural language understanding
US10331763B2 (en) 2014-06-04 2019-06-25 Nuance Communications, Inc. NLU training with merged engine and user annotations
EP3161819A1 (en) * 2014-06-30 2017-05-03 Nuance Communications, Inc. Mobile device for speech input and text delivery
US10817672B2 (en) * 2014-10-01 2020-10-27 Nuance Communications, Inc. Natural language understanding (NLU) processing based on user-specified interests
US9924342B2 (en) * 2015-06-16 2018-03-20 Google Llc Establishing a connection over a low power communication type
US10127906B1 (en) * 2015-12-28 2018-11-13 Amazon Technologies, Inc. Naming devices via voice commands
US10185544B1 (en) * 2015-12-28 2019-01-22 Amazon Technologies, Inc. Naming devices via voice commands
US10026401B1 (en) * 2015-12-28 2018-07-17 Amazon Technologies, Inc. Naming devices via voice commands
US9990176B1 (en) * 2016-06-28 2018-06-05 Amazon Technologies, Inc. Latency reduction for content playback
US10127908B1 (en) * 2016-11-11 2018-11-13 Amazon Technologies, Inc. Connected accessory for a voice-controlled device
CN107515944A (zh) * 2017-08-31 2017-12-26 广东美的制冷设备有限公司 基于人工智能的交互方法、用户终端、及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319045A (ja) * 2000-05-11 2001-11-16 Matsushita Electric Works Ltd 音声マンマシンインタフェースを用いたホームエージェントシステム、及びプログラム記録媒体
WO2014171144A1 (ja) * 2013-04-19 2014-10-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 家電機器の制御方法、家電機器制御システム、及びゲートウェイ
US20150154976A1 (en) * 2013-12-02 2015-06-04 Rawles Llc Natural Language Control of Secondary Device
JP2018509014A (ja) * 2014-12-22 2018-03-29 マイクロソフト テクノロジー ライセンシング，エルエルシー デバイスにわたる、デジタルパーソナルアシスタントエージェントの調整
US9984686B1 (en) * 2015-03-17 2018-05-29 Amazon Technologies, Inc. Mapping device capabilities to a predefined set

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022133293A (ja) * 2018-03-20 2022-09-13 シャープ株式会社 情報処理システム、及び情報処理方法
JP7349533B2 (ja) 2018-03-20 2023-09-22 シャープ株式会社 情報処理システム、及び情報処理方法

Also Published As

Publication number Publication date
EP3469853B1 (en) 2021-12-01
WO2018048118A1 (en) 2018-03-15
US11482227B2 (en) 2022-10-25
CN107808672B (zh) 2024-01-12
EP3469853A1 (en) 2019-04-17
US20200243093A1 (en) 2020-07-30
JP7038719B2 (ja) 2022-03-18
KR20230005086A (ko) 2023-01-09
EP3469853A4 (en) 2019-05-22
US20180068663A1 (en) 2018-03-08
KR20180027950A (ko) 2018-03-15
KR102481881B1 (ko) 2022-12-27
CN107808672A (zh) 2018-03-16
US10650822B2 (en) 2020-05-12
CN117746868A (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
JP7038719B2 (ja) 外部デバイスを制御するサーバ及びその方法
JP2016024212A (ja) 情報処理装置、情報処理方法およびプログラム
CN107748500A (zh) 用于控制智能设备的方法和装置
US20200143017A1 (en) Electronic device and control method therefor
JP2020504413A (ja) 人工知能自動話者識別方法を用いる個人カスタマイズ型音声認識サービスの提供方法及びこれに使用されるサービス提供サーバ
JP2016536630A (ja) 人型ロボット等の機械と人間話者との間の対話方法、コンピュータプログラム製品、および同方法を実行する人型ロボット
US20190325019A1 (en) Method and apparatus for identifying type of text information, storage medium, and electronic apparatus
KR20200095719A (ko) 전자 장치 및 그 제어 방법
KR20200074690A (ko) 전자 장치 및 이의 제어 방법
JP2013196661A (ja) 入力制御プログラム、入力制御装置、入力制御システム、および入力制御方法
US10216732B2 (en) Information presentation method, non-transitory recording medium storing thereon computer program, and information presentation system
US10599452B2 (en) Service request system and method using service request device for multiple language supported room
US20170289751A1 (en) Proximity-based configuration of a device
JP7106879B2 (ja) 情報処理装置及びプログラム
US20170013118A1 (en) Electronic device and notification method thereof
WO2017140111A1 (zh) 无线通讯网络的连接方法及装置
JP2016066983A (ja) 通訳サービスシステム及び通訳サービス方法
US11755652B2 (en) Information-processing device and information-processing method
US10505879B2 (en) Communication support device, communication support method, and computer program product
US10412572B2 (en) Device discovering method, apparatus and computer storage medium thereof
JPWO2019216053A1 (ja) 対話装置
JP6829606B2 (ja) カラオケシステム、サーバ装置
US20220335938A1 (en) Techniques for communication between hub device and multiple endpoints
WO2016006354A1 (ja) 情報処理装置及び翻訳データ提供方法
JP2015153329A (ja) 翻訳装置、およびサーバ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200722

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220308

R150 Certificate of patent or registration of utility model

Ref document number: 7038719

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150