CN109599100A - 交互式电子设备控制系统、交互式电子设备及其控制方法 - Google Patents

交互式电子设备控制系统、交互式电子设备及其控制方法 Download PDF

Info

Publication number
CN109599100A
CN109599100A CN201811075845.1A CN201811075845A CN109599100A CN 109599100 A CN109599100 A CN 109599100A CN 201811075845 A CN201811075845 A CN 201811075845A CN 109599100 A CN109599100 A CN 109599100A
Authority
CN
China
Prior art keywords
interactive electronic
mobile terminal
electronic apparatus
response
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811075845.1A
Other languages
English (en)
Other versions
CN109599100B (zh
Inventor
嘉和知玲子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Toshiba Visual Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Visual Solutions Corp filed Critical Toshiba Visual Solutions Corp
Publication of CN109599100A publication Critical patent/CN109599100A/zh
Application granted granted Critical
Publication of CN109599100B publication Critical patent/CN109599100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless

Abstract

本文描述的实施方式涉及一种交互式电子设备控制系统、一种交互式电子设备及其控制方法。根据一实施方式，交互式电子设备控制系统包括交互式电子设备(110)和认证管理器(103)，该交互式电子设备将输入的语音数据发送至语音识别业务服务器(102)、并且接收基于由语音识别业务服务器(102)识别该语音数据的结果而生成的响应，该认证管理器将经由网络(106)连接的移动终端(101)认证为已认证用户。

Description

交互式电子设备控制系统、交互式电子设备及其控制方法
相关申请的交叉引用
本申请基于2017年10月2日提交的日本专利申请号2017-193057并要求其优先权，该申请的全部内容通过引用结合于此。
技术领域
本文中描述的实施方式总体上涉及一种交互式电子设备控制系统、一种交互式电子设备以及一种交互式电子设备控制方法。
背景技术
已经开发了一种交互式电子设备，其收集由用户通过例如麦克风发出的话音、通过语音识别分析所收集的话音、并且鉴别所接收的内容。基于所辨别的内容，该设备可以控制音频再现设备以例如使得用户可以提供期望的音乐，并且控制视频再现设备以例如使得用户可以提供期望的视频内容。
用户直接面对交互式电子设备并执行与设备的交互，并且可以基于交互的内容来操作该设备。
例如，被布置在旅馆的接待台处的交互式电子设备通过话音接待访客，并且引导访客预订的房间的号码、旅馆业务等。
另外，对于设置在家中的交互式电子设备，对各种家用电子设备(空调、照明设备等)的控制(开/关、设置调整等)、对自推式吸尘器的控制等的请求有所增加。将来，在工业领域和一般人的日常社会领域中，可以明显地预期使用交互式电子设备的系统的普及。
发明内容
因此，本实施方式旨在提供一种交互式电子设备控制系统、一种交互式电子设备和一种交互式电子设备控制方法，其能够使用语音识别技术将移动终端与交互式电子设备相关联并显著增加使用范围和便利性。
附图说明
图1A是示出了根据本实施方式的交互式电子设备控制系统的概略的图。
图1B是示出了由根据实施方式的交互式电子设备控制系统的控制器管理的存储区域的实例的表。
图2A是示出了在注册访问根据实施方式的交互式电子设备控制系统的移动终端的情况下，执行交互式电子设备的初始设置的移动终端M的屏幕转换的实例的图示。
图2B是示出了在注册访问根据实施方式的交互式电子设备控制系统的移动终端的情况下，与图2A中示出的操作连续执行的移动终端的屏幕转换的图示。
图3A是示出了在移动终端的用户对着移动终端的麦克风讲话并且交互式电子设备控制系统对麦克风收集的语音数据进行处理的情况下的处理流程的流程图。
图3B是示出了在移动终端的用户对着移动终端的麦克风讲话并且交互式电子设备控制系统对麦克风收集的语音数据进行处理的情况下的处理流程的流程图。
图3C是示出了在由语音识别处理器生成的响应类型是通过图3A和图3B中的命令作出的响应的情况下的处理流程的流程图。
图3D是示出了在由语音识别处理器生成的响应类型是通过图3A和图3B中的命令作出的响应的情况下的处理流程的流程图。
图3E是示出了在当移动终端与交互式电子设备通过短距离无线通信系统直接连接时，移动终端的用户对着移动终端的麦克风讲话并且交互式电子设备控制系统对麦克风收集的语音数据进行处理的情况下的处理流程的流程图。
图3F是示出了在当移动终端与交互式电子设备通过短距离无线通信系统直接连接时，移动终端的用户对着移动终端的麦克风讲话并且交互式电子设备控制系统对麦克风收集的语音数据进行处理的情况下的处理流程的流程图。
图3G是示出了在用户直接对着交互式电子设备讲话并且交互式电子设备控制系统对交互式电子设备的麦克风收集的语音数据进行处理的情况下的处理流程的流程图。
图4A是示出了在连接至交互式电子设备控制系统的两个移动终端的用户在任意时间对着相应移动终端的麦克风讲话并且交互式电子设备控制系统对这些麦克风收集的语音数据进行处理的情况下的处理流程的流程图。
图4B是示出了在连接至交互式电子设备控制系统的两个移动终端的用户在任意时间对着相应移动终端的麦克风讲话并且交互式电子设备控制系统对这些麦克风收集的语音数据进行处理的情况下的处理流程的流程图。
图4C是示出了在连接至交互式电子设备控制系统的两个移动终端的用户在任意时间对着相应移动终端的麦克风讲话并且交互式电子设备控制系统对这些麦克风收集的语音数据进行处理的情况下的处理流程的流程图。
图5A是示出了根据从移动终端输入的语音数据而可控的设备与各个账户的关联性的表。
图5B是示出了可以被同一设备根据从移动终端输入的语音数据来控制的功能与各个账户的关联性的表。
图5C是示出了对从移动终端输入的语音数据的响应的输出目的地与各个账户的关联性的表。
图6A是示出了根据从移动终端输入的语音数据而可控的设备与各个权限的关联性的表。
图6B是示出了可以被同一设备根据从移动终端输入的语音数据来控制的功能与各个权限的关联性的表。
图7A示出了对于由访问交互式电子设备控制系统的移动终端使用的各个账户，显示在显示屏幕上的可控设备的显示实例。
图7B是示出了对于由访问交互式电子设备控制系统的移动终端使用的各个账户，显示在移动终端的显示屏幕上的可控设备的另一显示实例的图示。
图7C是示出了对于由访问交互式电子设备控制系统的移动终端使用的各个账户，显示在移动终端的显示屏幕上的可控设备的又另一显示实例的图示。
具体实施方式
下文中将参考附图对各个实施方式进行描述。
总体上，根据一个实施方式，交互式电子设备控制系统包括交互式电子设备和认证管理器，该交互式电子设备将输入的语音数据发送至语音识别业务服务器、并且接收基于由语音识别业务服务器识别该语音数据的结果而生成的响应，该认证管理器将经由网络连接的移动终端认证为已认证用户。
交互式电子设备能够将从外部输入的第一语音数据发送至语音识别业务服务器以识别第一语音数据、并且将从由认证管理器认证为已认证用户的移动终端经由网络输入的第二语音数据发送至语音识别业务服务器以识别第二语音数据。
(第一实施方式)
根据第一实施方式的交互式电子设备控制系统是以下交互式电子设备控制系统，其中，当用户将话音输入至该交互式电子设备控制系统时，不仅可以使用交互式电子设备110的话音输入单元(例如，麦克风)，而且还可以使用连接至该交互式电子设备控制系统的移动终端的话音输入单元(例如，麦克风)。
图1A是示出了根据本实施方式的交互式电子设备控制系统的概略的图。本系统包括：设置在云中的业务服务器102；经由诸如因特网/内联网等的网络106连接至业务服务器102的交互式电子设备110；执行交互式电子设备110的初始设置的移动终端M 140；以及经由网络106连接的诸如智能电话或平板电脑等的移动终端101。
交互式电子设备110经常被设置在建筑物105中，但是可以例如设置在户外。
交互式电子设备110包括控制器111。控制器111连接至话音输出单元112、视频控制器114、照明控制器116、语音获取单元118、Wi-Fi收发器120、蓝牙(注册商标)收发器121、以及传感器122，并且可以控制这些单元。
交互式电子设备110是不包括显示屏幕的交互式电子设备的实例。由此使用经由短距离无线通信系统连接的移动终端M 140来执行交互式电子设备110的初始设置。移动终端M 140将在稍后说明。
控制器111可以通过控制话音输出单元112来输出语音数据，并且输出的语音数据由话音输出单元112进行D/A转换，对音量等进行控制，并且将语音数据提供至扬声器113。话音输出单元112和扬声器113可以是通过USB等连接的外部单元。
此外，控制器111可以通过控制视频控制器114使用相机115来拍摄视频。使用相机115拍摄的视频的视频信号由视频控制器114数字化和编码并输入至控制器111。
此外，控制器111可以通过控制照明控制器116来打开或关闭照明单元117。如果使用相机115执行拍摄并且周围环境暗，则使用照明单元117来照亮拍摄区域。
此外，控制器111可以通过控制语音获取单元118来获取麦克风119周围的话音。话音输出单元112和扬声器113可以是通过USB等连接的外部单元。
此外，控制器111可以经由Wi-Fi收发器120来与移动终端和通信设备短距离地执行Wi-Fi通信。
此外，控制器111可以经由蓝牙收发器121来与移动终端和通信设备短距离地执行蓝牙通信。
另外，控制器111可以从各种传感器122接收检测信号，并且可以控制各种传感器122的操作(例如，开/关、属性变化等)。扬声器113、相机115和麦克风119中的每一个可以被控制成通过用户操作来打开和关闭。
另外，控制器111还包括与业务服务器102中的账户管理器103协同允许移动终端101以新访问移动终端101的功能。将参考图2A和图2B来说明本系统中通过控制器111的这个功能来注册移动终端101的过程。
另外，控制器111还包括存储通过由业务服务器102的语音识别处理器104发送至移动终端101的响应中的如稍后说明的命令作出的响应来控制的设备的控制历史的功能。而且，控制器111还包括为能够访问交互式电子设备控制系统的移动终端101的各个账户分配权限并控制各个权限的操作的功能。将参考图6A和图6B说明权限的分配。
此外，控制器111包括存储区域111-1，其中存储了由控制器111管理的信息。存储区域111-1根据所存储的信息被划分为多个较小区域。这些较小区域是例如存储响应于命令被控制的设备的控制历史的区域(即，设备控制历史区域111-11)以及存储各个账户的权限的区域(即，账户管理区域111-12)。
图1B示出了存储区域111-1的实例。
控制器111可以例如经由诸如Wi-Fi收发器120或蓝牙收发器121等短距离无线通信系统来连接至路由器，并且连接至网络106。交互式电子设备110由此可以与移动终端101、语音识别处理器104等一起执行数据交换。
此外，交互式电子设备110例如可以是配备有相机等的个人计算机(PC)。此外，交互式电子设备110可以例如配备有短距离无线通信系统，诸如，除Wi-Fi和蓝牙之外的ZigBee(注册商标)或Z-Wave(注册商标)作为短距离无线通信系统。
照明设备130、空调131、视频录制/再现设备132和其他音频设备(未示出)是可以通过从控制器111发送的命令控制并被安装在建筑物105中(或可以被设置在户外)的外围电子设备(外围设备)。这些外围电子设备通过诸如Wi-Fi、蓝牙等短距离无线通信系统来连接至交互式电子设备110。在图1中示出的实例中，交互式电子设备110和外围电子设备通过短距离无线通信系统连接，但是可以通过有线通信来连接。
服务器102包括至少两个功能。这些功能之一是账户管理器103，并且另一个功能是语音识别处理器104。在图1A中示出的实例中，账户管理器103和语音识别处理器104被包含在同一服务器(业务服务器)中，但是可以属于不同的服务器。
语音识别处理器104是识别从交互式电子设备110发送的语音数据并对该语音数据生成响应的处理器。
交互式电子设备110将由用户发出的话音的语音数据(其已经由麦克风119收集)经由网络106发送至业务服务器102的语音识别处理器104。接收到从交互式电子设备110发送的语音数据的语音识别处理器104分析接收到的语音数据并且生成对应于所分析的内容的响应。在语音识别处理器104生成响应时，语音识别处理器104经由网络106将所生成的响应发送至交互式电子设备110。
由语音识别处理器104生成的响应包括对应于从交互式电子设备110输入的语音数据的至少两种类型的响应。这些响应之一是通过语音数据作出的响应，而另一种响应是通过用于控制设置在交互式电子设备110中的电子设备(例如相机115)的命令、或用于控制经由短距离无线通信系统连接至交互式电子设备110的外围电子设备(外围设备，例如空调131)的命令而作出的响应。根据用户发出以传达至交互式电子设备110的内容，语音识别处理器104可以通过任意地结合两种类型的响应来生成响应。
通过语音数据作出的响应的内容是对用户已经发出的内容的响应，诸如，对应例如用户已对交互式电子设备110发表的话音“早上好”的“早上好，你今天好吗？”、或者是诸如对应例如用户的问题“如果我现在乘坐新干线去大阪，我什么时候将到达？”的“如果你在三十分钟后离开，你将在晚上八点之前到达大阪站”的响应。替代性地，该响应可以是与用户的话音内容无关的喃喃自语“昨天的独奏音乐会非常愉快”。
如果所接收的响应是通过语音数据作出的响应，则从语音识别处理器104接收响应的交互式电子设备110可以例如在控制器111的控制下从扬声器113输出作为话音的响应内容。用户由此可以听到来自交互式电子设备控制系统的对自己话音的响应。
如果所接收的响应是通过语音数据作出的响应，则每次可以控制使用哪个扬声器来输出响应内容。然而，基本上，该响应被输出至由配备有收集了用户话音的麦克风的设备管理的扬声器。更确切地，如果用户对交互式电子设备110说话，则由交互式电子设备110管理的扬声器输出响应内容。此外，如果可以访问交互式电子设备控制系统的移动终端101的用户对着移动终端101的麦克风说话，则由移动终端101管理的扬声器输出响应内容。
语音识别处理器104可以生成语音数据的替代(例如可以转换为语音的数据(诸如文本数据))来作为要生成的响应并做出响应。在这种情况下，交互式电子设备110可以在控制器111的控制下通过话音输出单元112将该数据(其可以被转换为如从语音识别处理器104接收的话音)转换为语音数据，并且从扬声器113作为话音输出该语音数据。
此外，通过命令作出的响应内容是对应例如用户对交互式电子设备110发出的话音“打开空调”的内容为“设备＝空调131，操作＝打开，模式＝加热，设置＝温度为二十六度并且风速为最大等级”的命令、或者对应“打开小灯”的内容为“设备＝照明设备117，操作＝打开”的命令。
如果所接收的响应是通过命令作出的响应，则从语音识别处理器104接收响应的交互式电子设备110通过控制器111来对如包含在该命令中的要控制的设备执行控制。例如，如果命令内容为“设备＝空调131，操作＝打开，模式＝制冷，设置＝温度为二十六度并且风速为最大等级”，则交互式电子设备110在控制器111的控制下通过诸如Wi-Fi收发器120或蓝牙收发器121等短距离无线通信系统来控制空调131以温度为二十六度并且风速为最大等级的设置激活。
交互式电子设备110可以使用从语音识别处理器104接收的命令来存储设备控制历史，即，在设备控制历史区域111-11中将该历史存储为设备控制历史。
账户管理器103是移动终端101经由网络106访问交互式电子设备110所必需的管理器。账户管理器103对于移动终端101是否是交互式电子设备110的已认证用户来进行认证。如果认证成功，账户管理器103建立路径以在移动终端101与交互式电子设备110之间交换数据。移动终端101的用户由此可以对移动终端101的麦克风讲话并且经由网络106使得语音识别处理器104处理由麦克风收集的语音数据，类似地对交互式电子设备110的麦克风119讲话并使得语音识别处理器104处理由麦克风119收集的语音数据。
为了从账户管理器103获得认证，移动终端101的用户预先启动安装在移动终端101中的应用(下文中被称为访问应用)来访问交互式电子设备控制系统，并且使得访问应用显示用于输入账户和密码以访问交互式电子设备控制系统的屏幕。如果移动终端101的用户在输入屏幕上输入在账户管理器103中预先注册的账户和密码，则经由网络106将输入的账户和输入的密码发送至业务服务器102的账户管理器103。
通过从移动终端101发送的账户和密码，账户管理器103对于移动终端101是否是交互式电子设备110的已认证用户进行认证。
除了账户和密码之外，移动终端101可以将移动终端101的固有标识信息添加至应发送至账户管理器103的信息以用于认证。替代性地，移动终端101的固有标识信息和单独的密码可被发送至账户管理器103。此外，至于移动终端101是否是语音识别处理器104的已认证用户，账户管理器103可以使用三种类型的信息(即，所发送的账户、移动终端101的固有标识信息、以及密码)来执行认证。替代性地，可以使用两种类型的信息来执行认证，即，移动终端101的固有标识信息以及单独的密码。账户和密码可以由用户任意设置。此外，账户可以是包括个人标识信息的账户。
如以上所说明的，交互式电子设备控制系统可以输入：(1)来自交互式电子设备110的麦克风113的由面朝交互式电子设备110的用户发出的话音的语音数据。此外，交互式电子设备控制系统可以输入：(2)来自移动终端101的麦克风的由具有已经经账户认证认证过的移动终端101的用户发出的话音的语音数据。从移动终端101的麦克风输入的语音数据经由网络106被发送至交互式电子设备110。所发送的语音数据从交互式电子设备110发送至业务服务器102的语音识别处理器104并且经受语音识别处理器104的语音识别，并且基于所识别的内容生成如上所说明的至少两种类型的响应。根据响应的内容，所生成的响应作为话音由语音识别终端110或移动终端101输出、或由语音识别终端110使用来控制设备。
接下来，将说明在交互式电子设备控制系统中注册移动终端101以允许移动终端101访问交互式电子设备控制系统的实例。
在图1中示出的交互式电子设备110是不包括显示屏幕的交互式电子设备的实例。由此使用经由短距离无线通信系统连接的移动终端M 140来执行交互式电子设备110的初始设置。为了确定执行交互式电子设备110的初始设置的移动终端M 140，在交互式电子设备110的初始设置时移动终端M 140需要在交互式电子设备110中进行注册。通过使用短距离无线通信系统例如经由蓝牙或Wi-Fi与交互式电子设备110配对，移动终端M 140可以被注册为用于执行交互式电子设备110的初始设置的终端。如果交互式电子设备110通过配对指定了移动终端M 140，则交互式电子设备110提取移动终端M 140的固有标识信息并且经由网络106将该信息发送至账户管理器103。账户管理器103基于包含从交互式电子设备110发送的移动终端M 140的固有标识信息的信息来生成使移动终端M 140执行交互式电子设备110的初始设置所必需的设置密钥。账户管理器103经由网络106将生成的设置密钥发送至交互式电子设备110。接收到设置密钥的交互式电子设备110将设置密钥发送至移动终端M 140，并且移动终端M140由此被注册为用于执行交互式电子设备110的初始设置的终端。在此之后，通过设置密钥，移动终端M 140被交互式电子设备110识别为可以来执行交互式电子设备110的初始设置的已认证移动终端。
在以下说明中，注册要访问交互式电子设备控制系统的移动终端101的过程是在交互式电子设备110不包括显示屏幕并且使用移动终端M 140执行初始设置的条件下执行的。如果交互式电子设备110包括显示屏幕，则使用如稍后说明的移动终端M 140的显示屏幕的操作可以使用交互式电子设备110的显示屏幕来执行。使用显示屏幕的操作例如可以是触摸操作、或例如使用光标的移动的操作。
图2A示出了在注册访问根据实施方式的交互式电子设备控制系统的移动终端101的情况下，执行交互式电子设备110的初始设置的移动终端M 140的屏幕转换。
屏幕201是移动终端M 140的主页屏幕。在主页屏幕201的左上部处的标记是跳转至功能设置(Setting)的图标211。
如果用户轻击图标211，则移动终端M 140的显示屏幕转换为功能设置(Setting)屏幕202。
接下来，如果用户轻击任意账户(Account)212，则移动终端M 140的显示屏幕转换为账户(Account)屏幕203。
接下来，如果用户轻击添加用户(Add User)213，则移动终端M 140的显示屏幕转换为邮箱地址输入屏幕204。用户将用户识别的邮箱地址A输入至邮箱地址输入栏214并且轻击屏幕右上部处的发送按钮(Done)。由此，描述邀请码(Invitation Code)的邮件被发送至用户输入至邮箱地址输入栏214的邮箱地址A。希望访问交互式电子设备控制系统的移动终端101的用户通过使用经由邮件发送的邀请码(Invitation Code)来继续注册要访问交互式电子设备控制系统的移动终端101。
图2B示出了在注册访问根据本实施方式的交互式电子设备控制系统的移动终端101的情况下，与图2A中示出的操作连续执行的移动终端101的屏幕转换。
屏幕205是预先安装在移动终端101中的访问应用的启动屏幕。
如果用户轻击添加用户(Add User)图标221，则移动终端101的显示屏幕转换为邀请码(Invitation Code)输入屏幕206。用户将来自参考图2A说明的移动终端M 140的经由邮件发送的邀请码(Invitation Code)输入至邀请码(Invitation Code)输入栏223并轻击发送(Done)按钮222。由此，邀请码被发送至业务服务器102的账户管理器103，并且具有已经被发送的邀请码的账户的移动终端101被注册为本系统的已认证用户。因此，要访问交互式电子设备控制系统的移动终端101被移动终端M 140邀请、然后访问交互式电子设备控制系统、并且被注册为本系统的已认证用户。
接下来，将说明在移动终端101的用户对着移动终端101的麦克风讲话并且交互式电子设备控制系统对麦克风收集的语音数据进行处理的情况下的处理流程。
图3A和图3B示出了在移动终端302的用户301对着移动终端302的麦克风讲话并且交互式电子设备控制系统对麦克风收集的语音数据进行处理的情况下的处理流程。
为了被认证为交互式电子设备控制系统的已认证用户，移动终端302的用户301将账户和密码输入至在移动终端302的显示屏幕上显示的访问应用的账户和密码的输入屏幕(S310)。输入的账户和密码从移动终端302经由网络106发送至账户管理器303(S311)。接收到账户和密码的账户管理器303使用接收的账户和密码执行认证(S312)。
在作为认证的结果认证失败(在S313中“否”)的情况下，经由网络106将结果发送至移动终端302(S314)。例如，接收到认证失败的结果的移动终端302在显示屏幕上显示认证失败或者使得红色LED闪烁，以使用户301理解认证结果失败(S315)。
在作为认证的结果认证成功(在S313中“是”)的情况下，经由网络106将结果发送至移动终端302(S316)。例如，接收到认证成功的结果的移动终端302在显示屏幕上显示认证成功或者使得蓝色LED闪烁，以使用户301理解认证结果成功(S317)。
识别到认证结果成功的用户301轻击图标(在下文中被称为语音识别图标)来请求开始语音识别，从而使用交互式电子设备控制系统对话音执行语音识别(S320)。识别到语音识别图标已被轻击的移动终端302经由网络106通过账户管理器303发送会话建立请求以将语音数据传送至交互式电子设备304(S321)。在此之后，接收到会话建立请求的交互式电子设备304执行与移动终端302的连接以经由因特网106通过账户管理器303来建立会话(S322)。如果连接结束，则交互式电子设备304将连接响应通知给移动终端302(S323)。如果移动终端302接收到连接响应，移动终端302确认其状态。
如果作为确认状态的结果，该移动终端例如确定连接失败(在S324中“否”)，则移动终端302在显示屏幕上显示连接失败或者使得红色LED闪烁，以使用户301理解由于会话建立失败而不能执行语音识别(S325)。
如果作为确认状态的结果，该移动终端确定了连接成功(在S324中“是”)，则移动终端302经由网络106通过账户管理器303将语音识别开始触发发送至交互式电子设备304(S326)。语音识别开始触发是通知，用于使得交互式电子设备304和语音识别处理器305准备识别在移动终端302与交互式电子设备304之间已经建立通信之后用户301所讲话的内容。此通知对应于图3G中示出的触发语音(S326-4)。
接收到语音识别开始触发的交互式电子设备304对语音识别业务做准备，以在交互式电子设备304与语音识别处理器305之间对从移动终端302输入的语音数据执行语音识别(S327)。如果交互式电子设备304结束对语音识别业务的准备，则交互式电子设备304在结束准备时确认状态(S328)。
如果作为确认状态的结果确定了交互式电子设备304准备失败(在S328中“否”)，则交互式电子设备304通知移动终端302对语音识别业务的准备失败(S329)。例如，接收到对语音识别业务的准备已经失败的通知的移动终端302在显示屏幕上显示连接失败或者使得红色LED闪烁，以使用户301理解由于对语音识别业务的准备失败而不能执行语音识别(S330)。
如果作为确认状态的结果确定了准备已经成功(在S328中“是”)，则交互式电子设备304通知移动终端302对语音识别业务的准备已经成功(S331)。例如，接收到对语音识别业务的准备已经成功的通知的移动终端302在显示屏幕上显示话音许可或者使得蓝色LED点亮，以使用户301理解对语音识别业务的准备已经成功并且允许用户讲出用户希望被识别出的内容(S332)。
在S332中确认话音许可的移动终端302的用户301对着移动终端302的麦克风讲出该用户希望交互式电子设备控制系统识别的内容(S340)。移动终端302的用户301所讲的内容被移动终端302的麦克风收集并作为语音数据发送至交互式电子设备304。在此之后，在移动终端302与交互式电子设备304之间执行话音处理(S341)。
接收到从移动终端302发送的语音数据的交互式电子设备304与语音识别处理器305执行数据交换(S342)，并且对移动终端302的用户301所讲的内容执行语音识别(S343)。在执行语音识别(S343)的过程中，语音识别处理器305将表明语音数据目前经受语音识别的处理通知发送至交互式电子设备304(S344)。接收到处理通知的交互式电子设备304将所接收的处理通知的内容发送至移动终端302(S345)。例如，接收到处理通知的移动终端302在显示屏幕上显示目前正执行语音识别的消息或者使得绿色LED闪烁，以使用户301理解目前正在执行对话音(S340)的语音识别(S347)。
在语音识别处理器305完成语音识别(S343)时，语音识别处理器305基于所识别的内容生成响应(S346)。在图3B中示出的实例中的响应是以上说明的两种类型的响应中通过语音数据作出的响应。在语音识别处理器305完成响应生成时，语音识别处理器305将该响应发送至交互式电子设备304(S348)。接收到该响应的交互式电子设备304将所接收的响应的内容发送至移动终端302(S349)。接收到响应的移动终端302通过扬声器将响应的内容作为语音输出。移动终端302的用户301由此可以听到对话音(S340)的响应。此外，例如，移动终端302在显示屏幕上显示目前正执行语音识别的消息或者使得绿色LED闪烁，以使用户301理解目前正在作为语音输出响应的内容(S350)。
例如，移动终端302可以在显示屏幕上显示表明各种状态的视频或者以特征颜色或图案来控制LED，以使用户301理解在步骤S315、S317、S325、S330和S332中的每一者中的响应内容。因为用户301由此可以理解在各个步骤中的处理每次是成功还是失败，用户对于处理不感到焦虑。
如以上所说明的，由语音识别处理器104生成的响应可以是通过命令作出的响应。
图3C和图3D示出了与图3A和图3B相比在由语音识别处理器305生成的响应类型是通过命令作出的响应的情况下的处理流程。在图3C和图3D中示出的处理中在S347之后的处理与图3A和图3B中相同标号的处理相同。如由S370包围的在S346-2之后的一系列处理是生成通过命令的响应并基于通过命令作出的该响应来控制设备的处理，与图3A和图3B中示出的处理不同。
假设，例如，移动终端302的用户301在图3D中示出的话音340中讲出“播放音乐”。在这种情况下，如果语音识别处理器305在语音识别343中对于图3D中示出的话音340识别出“播放音乐”，则语音识别处理器305生成命令以请求作为交互式电子设备304的外围电子设备的视频录制/再现设备132(参见图1A)发送音乐数据(S346-2)。在语音识别处理器305完成命令生成时，语音识别处理器305将所生成的命令作为设备控制请求发送至交互式电子设备304(S348-2)。接收到设备控制请求(S351)的交互式电子设备304将设备控制请求接受(即，设备已经接受到设备控制请求的通知)发送至语音识别处理器305(S353)并且根据所接收的设备控制请求的内容将请求发送音乐数据的命令发送至作为外围设备的视频录制/再现设备132(S355)。同时，交互式电子设备304通知移动终端302设备正在控制视频录制/再现设备132(S352)。例如，接收到该通知的移动终端302在移动终端302的显示屏幕上显示控制视频录制/再现设备132的情况或者使得绿色LED点亮，以使用户301理解目前正在控制视频录制/再现设备132(S354)。
在图3C中示出的序列的实例中，要控制的设备是视频录制/再现设备132。在这个实例中，响应于在S355中发送的请求发送音乐数据的命令，视频录制/再现设备132将对应的音乐数据发送至交互式电子设备304。接收到对应的音乐数据的交互式电子设备304将所接收的音乐数据解码(S357)并且经由网络106将解码的结果发送至移动终端302。接收到经解码的音乐数据的移动终端302由扬声器输出所接收的音乐数据。移动终端302的用户301由此可以听到响应于话音(S340)的音乐。
例如，移动终端302可以在显示屏幕上显示表明各种状态的视频或者以特征颜色或图案来控制LED，以使用户301理解在步骤S315、S317、S325、S330和S332中的每一者中的响应内容。因为用户301由此可以理解在各个步骤中的处理每次是成功还是失败，用户对于处理不感到焦虑。
在图3A至图3D中示出的实例中，移动终端302和交互式电子设备304经由网络106通过服务器102交换数据。然而，移动终端302和交互式电子设备304可以例如通过诸如蓝牙或Wi-Fi直连等的短距离无线通信系统来与彼此直接连接。在这种情况下，账户管理器303可以存在于交互式电子设备304中。
图3E和图3F示出了在当移动终端302与交互式电子设备304通过短距离无线通信系统直接连接时，移动终端302的用户对着移动终端302的麦克风讲话并且本系统对麦克风收集的语音数据进行处理的情况下的处理流程。
在图3E的情况下，交互式电子设备304包括对应于账户管理器的功能。因此，关于在移动终端302与交互式电子设备304(其包括账户管理功能)之间执行认证的特征，在图3E中示出的从S310至S317的处理与图3A中示出的处理不同，在认证成功并且用户301轻击语音识别图标(S320)之后，在移动终端302与交互式电子设备304之间的数据交换不通过账户管理器303执行并且基本上与图3A和图3B中示出的处理相同。在图3E和图3F中示出的处理流程将在下文中进行详细说明。
为了被认证为交互式电子设备控制系统的已认证用户，在图3E中示出的移动终端302的用户301将账户和密码输入至在移动终端302的显示屏幕上显示的访问应用的账户和密码的输入屏幕(S310)。经由短距离无线通信系统将输入的账户和密码从移动终端302发送至交互式电子设备304的账户管理功能(S311-3)。接收到账户和密码的交互式电子设备304的账户管理功能使用接收的账户和密码执行认证(S312)。
在作为认证的结果认证失败(在S313-3中“否”)的情况下，经由短距离无线通信系统将结果发送至移动终端302(S314-3)。例如，接收到认证失败的结果的移动终端302在显示屏幕上显示认证失败或者使得红色LED闪烁，以使用户301理解认证结果失败(S315)。
在作为认证的结果认证成功(在S313-3中“是”)的情况下，结果被发送至移动终端302(S316-3)。例如，接收到认证成功的结果的移动终端302在显示屏幕上显示认证成功或者使得蓝色LED闪烁，以使用户301理解认证结果成功(S317)。
识别到认证结果成功的用户301轻击语音识别图标，从而使用交互式电子设备控制系统对话音执行语音识别(S320)。识别到语音识别图标已被轻击的移动终端302通过交互式电子设备控制系统发送会话建立请求以将语音数据传送至交互式电子设备304(S321-3)。接收到会话建立请求的交互式电子设备304执行与移动终端302的连接以通过交互式电子设备控制系统建立会话(S322-3)。如果连接结束，则交互式电子设备304将连接响应通知给移动终端302(S323-3)。如果移动终端302接收到连接响应，移动终端302确认其状态。
如果作为确认状态的结果，例如确定连接失败(在S324-3中“否”)，则移动终端302在显示屏幕上显示连接失败或者使得红色LED闪烁，以使用户301理解由于会话建立失败而不能执行语音识别(S325)。
如果作为确认状态的结果，确定了连接成功(在S324-3中“是”)，则移动终端302通过交互式电子设备控制系统将语音识别开始触发发送至交互式电子设备304(S326-3)。
接收到语音识别开始触发的交互式电子设备304对语音识别业务做准备，以在交互式电子设备304与语音识别处理器305之间对从移动终端302输入的语音数据执行语音识别(S327)。如果交互式电子设备304结束对语音识别业务的准备，则交互式电子设备304在结束准备时确认状态(S328-3)。
如果作为确认状态的结果确定了交互式电子设备304准备失败(在S328-3中“否”)，则交互式电子设备304通知移动终端302对语音识别业务的准备失败(S329-3)。例如，接收到对语音识别业务的准备已经失败的通知的移动终端302在显示屏幕上显示连接失败或者使得红色LED闪烁，以使用户301理解由于对语音识别业务的准备失败而不能执行语音识别(S330)。
如果作为确认状态的结果确定了准备已经成功(在S328-3中“是”)，则交互式电子设备304通知移动终端302对语音识别业务的准备已经成功(S331-3)。例如，接收到对语音识别业务的准备已经成功的通知的移动终端302在显示屏幕上显示话音许可或者使得蓝色LED点亮，以使用户301理解对语音识别业务的准备已经成功并且允许用户讲出用户希望被识别出的内容(S332)。
在S332中确认了话音许可的移动终端302的用户301对着移动终端302的麦克风讲出该用户希望交互式电子设备控制系统识别的内容(S340)。移动终端302的用户301所讲的内容被移动终端302的麦克风收集并作为语音数据发送至交互式电子设备304。在此之后，在移动终端302与交互式电子设备304之间执行话音处理(S341-3)。
接收到从移动终端302发送的语音数据的交互式电子设备304与语音识别处理器305执行数据交换(S342)并且对移动终端302的用户301所讲的内容执行语音识别(S343)。在执行语音识别(S343)的过程中，语音识别处理器305将表明语音数据目前经受语音识别的处理通知发送至交互式电子设备304(S344)。接收到处理通知的交互式电子设备304将所接收的处理通知的内容发送至移动终端302(S345-3)。例如，接收到处理通知的移动终端302在显示屏幕上显示目前正执行语音识别的消息或者使得绿色LED闪烁，以使用户301理解目前正在执行对话音(S340)的语音识别(S347)。
在语音识别处理器305完成语音识别(S343)时，语音识别处理器305基于所识别的内容生成响应(S346)。在图3F中示出的实例中的响应是以上说明的两种类型的响应中通过语音数据作出的响应。当语音识别处理器305完成响应生成时，语音识别处理器305将该响应发送至交互式电子设备304(S348)。接收到该响应的交互式电子设备304将所接收的响应的内容发送至移动终端302(S349-3)。接收到响应的移动终端302通过扬声器将响应的内容作为语音输出。移动终端302的用户301由此可以听到对话音(S340)的响应。此外，例如，移动终端302在显示屏幕上显示目前正执行语音识别的消息或者使得绿色LED闪烁，以使用户301理解目前正在作为语音输出响应的内容(S350)。
例如，移动终端302可以在显示屏幕上显示表明各种状态的视频或者以特征颜色或图案来控制LED，以使用户301理解在步骤S315、S317、S325、S330和S332中的每一者中的响应内容。因为用户301由此可以理解在各个步骤中的处理每次是成功还是失败，用户对于处理不感到焦虑。
图3G示出了在用户C 301-4直接对着交互式电子设备304讲话并且交互式电子设备控制系统对交互式电子设备304的麦克风收集的语音数据进行处理的情况下的处理流程。
当用户C 301-4直接对着交互式电子设备304讲话并且请求语音识别时，用于C301-4需要对交互式电子设备304讲出被称为触发语音的特定关键词(S326-4)。这对应于图3A中示出的语音识别开始请求(S320)。
接收到触发语音的交互式电子设备304对语音识别业务做准备，以在交互式电子设备304与语音识别处理器305之间对从交互式电子设备304输入的语音数据执行语音识别(S327)。如果交互式电子设备304结束对语音识别业务的准备，则交互式电子设备304在结束准备时确认状态(S328-4)。
如果作为确认状态的结果，例如确定准备失败(在S328-4中“否”)，则交互式电子设备304使得红色LED闪烁以使用户C 301-4理解对语音识别业务的准备已经失败，并且系统不能执行语音识别(S329-4)。
如果作为确认状态的结果，例如确定准备成功(在S328-4中“是”)，则交互式电子设备304使得蓝色LED点亮以使用户C 301-4理解对语音识别业务的准备已经成功，并且用户可以讲出用于希望系统识别的内容(S331-4)。
在S331-4中确认话音许可的交互式电子设备304的用户C 301-4对着交互式电子设备304的麦克风讲出该用户希望交互式电子设备控制系统识别的内容(S340)。用户C301-4讲出的内容由交互式电子设备304的麦克风收集。
由麦克风收集讲话内容的交互式电子设备304在交互式电子设备304与语音识别处理器305之间对收集的话音的内容执行语音识别(S343)。在执行语音识别(S343)的过程中，语音识别处理器305将表明语音数据目前经受语音识别的处理通知发送至交互式电子设备304(S344)。例如，接收到处理通知的交互式电子设备304使得绿色LED闪烁，以使用户C301-4理解目前正在执行对话音的语音识别(S347-4)。
在语音识别处理器305完成语音识别(S343)时，语音识别处理器305基于所识别的内容生成响应(S346)。在图3G中示出的实例中的响应是以上说明的两种类型的响应中的通过语音数据作出的响应。在语音识别处理器305完成响应生成时，语音识别处理器305将该响应发送至交互式电子设备304(S348)。接收到响应的交互式电子设备304通过扬声器将响应的内容作为语音输出。交互式电子设备304的用户C 301-4由此可以听到对话音(S340)的响应。
在语音识别处理器305中，对从图3A至图3F中示出的移动终端302的麦克风输入的语音的语音识别以及对从图3G中示出的交互式电子设备304的麦克风输入的语音的语音识别是彼此独立地执行的。因此，面对交互式电子设备304并发出话音的用户C 301-4和对着移动终端302的麦克风讲话的用户301中的每一个都可以在任意时间讲话。因为面对交互式电子设备304并发出话音的用户C 301-4、对着移动终端302的麦克风讲话的用户301等不需要担心相互的话音时间，因此系统具有良好的可用性。
例如，移动终端302可以在显示屏幕上显示表明各种状态的视频或者以特征颜色或图案来控制LED，以使用户301理解在步骤S315、S317、S325、S330和S332中的每一者中的响应内容。因为用户301由此可以理解在各个步骤中的处理每次是成功还是失败，用户对于处理不感到焦虑。
如以上所说明的，交互式电子设备控制系统不仅可以获得来自麦克风113的面对交互式电子设备110的用户讲话的话音的语音数据，而且还可以获得来自移动终端101的麦克风的、携带该移动终端101(该移动终端101已被确定为是交互式电子设备控制系统的已认证用户)的用户讲话的话音的语音数据。此外，因为对直接输入至交互式电子设备110的麦克风的语音的语音识别和对由移动终端101的麦克风输入的语音的语音识别是彼此独立执行的，面对交互式电子设备304并发出话音的用户和对着移动终端101的麦克风讲话的用户中的每一个可以在任意时间讲话。此外，对着移动终端101的麦克风讲话的用户无需考虑距交互式电子设备110的距离。由此显著地改善了交互式电子设备控制系统的便利性。
此外，即便用户接近或远离交互式电子设备304，移动终端302的用户都可以使用系统的语音识别。接近交互式电子设备304的移动终端302的用户能够直接对着交互式电子设备304的麦克风说话。然而，如果存在另一个用户以未安排的方式接近交互式电子设备304，则移动终端302的用户也可以通过对着移动终端的麦克风讲话并使得移动终端的麦克风收集话音内容来使得交互式电子设备控制系统确实地执行语音识别。
(第二实施方式)
根据第二实施方式的交互式电子设备控制系统是以下交互式电子设备控制系统，其中，当语音是由使用相应的移动终端的语音输入单元(例如，麦克风)的多个用户的多个移动终端输入至交互式电子设备控制系统时，这些用户可以在任意时间输入语音。
图4A、图4B和图4C示出了在作为连接至交互式电子设备控制系统的相应移动终端A 402和移动终端B 402-2的拥有者的用户A 401和用户B 401-2在任意时间对着由相应用户拥有的移动终端A 402和移动终端B402-2的麦克风讲话、并且本系统对每个麦克风收集的语音数据进行处理的情况下的处理流程。如果多个用户的多个移动终端也访问交互式电子设备控制系统，则在每个移动终端中执行图3A中示出的S310至S317中表明的对交互式电子设备控制系统的用户进行认证的处理，但是省去了对图4A中示出的处理流程的说明。
在作为移动终端A 402的拥有者的用户A 401轻击请求开始语音识别的语音识别图标(S420)之后，在S420至S450中表明了与移动终端A 402有关的处理。此处理与在仅有一个移动终端连接至交互式电子设备控制系统的情况中的处理流程相同。
相比之下，在移动终端B 402-2的用户B 401-2轻击请求开始语音识别的语音识别图标(S420-2)之后，在S420-2至S450-2中表明了与移动终端B 402-2有关的处理。
在图4A、图4B和图4C的实例中，因为与移动终端A 402相关联的在S420至S450中的处理和与移动终端B 402-2相关联的在S420-2至S450-2中的处理是事先执行的，在时间上接近，因此对应于准备语音识别业务的处理(S427)，对于用户B 401-2的话音的准备语音识别业务的处理无需再次执行。与移动终端A 402相关联在S420至S450中的处理和与移动终端B 402-2相关联的在S420-2至S450-2中的处理是相同的处理，除了省去了准备用户B401-2的话音的语音识别业务的处理。换言之，例如，与移动终端A相关联的会话建立请求S421和与移动终端B相关联的会话建立请求S421-2是相同的处理。如果与移动终端A 402相关联的在S420至S450中的处理和与移动终端B 402-2相关联的在S420-2至S450-2中的处理例如在时间上分开，则可以再次执行对于用户B 401-2的话音的语音识别业务进行准备的处理。
如在图4B中示出的，移动终端A 402的用户A 401的话音(S440)和移动终端B 402-2的用户B 401-2的话音(S440-2)独立地经受语音识别(S443和S443-2)和响应生成(S446和S446-2)，以便发出话音。
因此，如果有多个移动终端连接至交互式电子设备控制系统，则在任意时间从相应的移动终端(移动终端A 402和移动终端B 402-2)输入的语音数据(S441和S441-2)通过语音识别处理器405来独立地经受语音识别(S443和S443-2)。语音识别处理器405基于通过识别相应的输入语音数据获得的内容来生成响应(S446和S446-2)。所生成的响应从交互式电子设备404发送至输入语音数据的相应的移动终端(402和402-2)(S449和S449-2)。
如以上所说明的，如果多个移动终端的拥有者中的每一个讲话，则该讲话者可以在任意时间讲话，而无需考虑其他移动终端的拥有者讲话的时间并且可以从任何地点在任意时间讲话。由此显著地改善了这些移动终端的每个使用者访问交互式电子设备控制系统的便利性。
在图4A、图4B和图4C中示出的实例中，通过对从多个移动终端输入的语音数据进行语音识别生成的每个响应被发送至已经输入音乐数据的移动终端，但是语音识别不限于此。例如，假设通过轻击语音识别图标，有多个移动终端请求语音识别。在这种情况下，通过对从相应的移动终端输入的语音数据进行语音识别生成的每个响应可以被发送至请求语音识别的所有移动终端。在图4A、图4B和图4C示出的实例中，在紧接着移动终端A 402开始请求语音识别(S420)之后的时间，移动终端B 402-2开始请求语音识别(S420-2)。在这种情况下，对移动终端A 402的响应不仅可以发送至移动终端A 402(S449)，还可以发送至移动终端B 402-2。类似地，对移动终端B 402-2的响应不仅可以发送至移动终端B 402-2(S449-2)，还可以发送至移动终端A 402。
根据从各个移动终端输入的语音数据的内容，由对从多个移动终端输入的语音数据进行语音识别生成的各个响应的类型可以是通过语音数据作出的响应和通过命令作出的响应中的任一种。
(第三实施方式)
根据第三实施方式的交互式电子设备控制系统是以下交互式电子设备控制系统，其中，对于由访问交互式电子设备控制系统的移动终端使用的每个账户而言，根据从移动终端输入的语音数据控制的设备的类型可以改变，并且即便控制同一个设备，也可以改变控制内容。
关于针对每个账户可以控制的设备方面的信息是由交互式电子设备110管理的并且被存储在账户管理区域111-12中。交互式电子设备110改变可以由正在访问的移动终端101使用的账户控制的设备。此外，关于针对每个账户可以控制的设备方面的信息还可以通过操作交互式电子设备110来看到。
图5A是示出了根据从移动终端输入的语音数据而可控的设备与各个账户的关联性的表。表的信息被存储在账户管理区域111-12中并且可以通过操作交互式电子设备110来看到。
在图5A中，例如，使用账户a_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端101的用户讲话并且可以话音控制的设备为TV(预约录制)、空调、入口的开关、以及供应热水(浴缸)。类似地，使用账户b_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端的用户讲话并且可以控制的设备是TV(预约录制)和空调。此外，使用账户d_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端的用户不可以通过话音来控制任何设备。
图5B是示出了可以被同一设备根据从移动终端101输入的语音数据来控制的功能与各个账户的关联性的表。表的信息被存储在账户管理区域111-12中并且可以通过操作交互式电子设备110来看到。
在图5B中，例如，使用账户a_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端101的用户讲话并可以控制视频录制/再现设备132的TV功能(预约录制)，从而可以预约所有节目(所预约的节目还可以被重新预约(重写))。此外，使用账户d_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端的用户不可以通过话音来控制视频录制/再现设备132的TV(预约录制)。
图5C是示出了对从移动终端输入的语音数据的响应的输出目的地与各个账户的关联性的表。表的信息被存储在账户管理区域111-12中并且可以通过操作交互式电子设备110来看到。
如以上所说明的，如果该响应是通过语音数据作出的响应，则该响应基本上被输出至由包括收集用户话音的麦克风的移动终端101管理的扬声器，但是可以改变输出目的地的扬声器。
在图5C中，例如，使用账户a_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端101将响应仅输出至由包括收集用户话音的麦克风的移动终端101管理的扬声器。此外，使用账户d_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端101将响应输出至由包括收集用户话音的麦克风的移动终端101管理的扬声器、并且还将响应输出至由交互式电子终端110管理的扬声器。
此外，使用账户b_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端101将响应输出至由包括收集用户话音的麦克风的移动终端101管理的扬声器、并且如果该响应是通过命令作出的响应，则通过语音来阅读和输出通过命令作出的该响应的内容。例如，通过语音来阅读通过命令作出的该响应的内容对上年纪的人而言是非常方便的。
如以上所说明的，第三实施方式的交互式电子设备控制系统可以通过由访问系统的移动终端使用的账户来改变可控设备以及在同一设备中的可控内容或者输出目的地。
(第四实施方式)
根据第四实施方式的交互式电子设备控制系统是以下交互式电子设备控制系统，其中，针对由访问交互式电子设备控制系统的移动终端使用的各个账户，可以设置权限。此外，交互式电子设备控制系统可以根据设置权限来改变可控设备或同一设备中的可控内容。
可以在图2中示出的过程中注册的移动终端处进一步设置权限。例如，可以设置多种类型的权限，诸如，管理员(管理员)、本地1、本地2和访客。可以使用权限以通过例如以命令作出的响应来确定可控设备的类型。此外，可以使用权限来改变同一设备中的可控内容。
例如，管理员是可以控制最宽范围的设备的权限。本地是分配给住在房子105中的家人所拥有的账户的权限。这是可以控制设备的权限。访客是分配给除了住在房子105中的家人之外的人所拥有的账户的权限。本地可以被划分为本地1和本地2，并且可以改变可以控制的设备的范围。本地2例如可以分配给平时留在寄宿房屋并在周末回家的小孩或家庭成员。
所设置的权限是由交互式电子设备110管理的，并且交互式电子设备110根据权限改变可控设备。
关于根据权限可以控制的设备方面的信息是由交互式电子设备110管理的并且被存储在账户管理区域111-12中。此外，关于可控设备方面的信息还可以通过操作交互式电子设备110来看到。
图6A是示出了根据从移动终端输入的语音数据而可控的设备与各个权限的关联性的表。表的信息被存储在账户管理区域111-12中并且可以通过操作交互式电子设备110来看到。
例如，使用账户a_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端101被分配有管理员权限，并且用户可以通过话音控制的设备为TV(预约录制)、空调、入口的开关、以及供应热水(浴缸)。类似地，使用账户b_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端101被分配有本地1权限，并且用户可以通过话音控制的设备为TV(预约录制)和空调。此外，使用账户d_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端101被分配有访客权限，并且该用户不能通过话音来控制任何设备。
图6B是示出了可以被同一设备根据从移动终端输入的语音数据来控制的功能与各个权限的关联性的表。表的信息被存储在账户管理区域111-12中并且可以通过操作交互式电子设备110来看到。
例如，使用账户a_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端101的用户被分配有管理员权限，并且如果该用户通过语音控制视频录制/再现设备132的TV功能(预约录制)，则可以预约所有节目(并且所预约的节目可以被重新预约(重写))。此外，使用账户d_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端101被分配有访客权限，并且该用户不可以通过话音来控制视频录制/再现设备132的TV功能(预约录制)。
如以上所说明的，第四实施方式的交互式电子设备控制系统可以改变对于各个权限由交互式电子设备110可以控制的设备或在同一设备中的可控内容。此外，通过管理权限，无需针对访问交互式电子设备控制系统的每个移动终端都设置设备控制，并且对于每个移动终端可以容易设置设备控制。例如，在由来家的客人拥有的移动终端被设置为访问交互式电子设备控制系统的情况下，如果权限例如被设置为访客，则可以消除对设备控制的设置方面的不便，因为已经设置了可以由访客权限控制的设备。
(第五实施方式)
根据第五实施方式的交互式电子设备控制系统是以下交互式电子设备控制系统，其中，当可以由访问交互式电子设备控制系统的移动终端控制的设备的状态被显示在显示屏幕上时，对于各个账户，可以显示的内容是不同的。
可以由交互式电子设备控制系统控制的设备例如是安装在起居室、厨房和卧室的设备。
使用账户a_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端101可以控制可以由交互式电子设备控制系统控制的设备中的安装在相应的起居室、厨房和卧室中的设备。此外，使用账户b_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端101可以控制安装在起居室中的若干设备并且不能控制其他房间中的设备。
图7A示出了对于由访问交互式电子设备控制系统的移动终端使用的各个账户，显示在显示屏幕上的可控设备的显示实例。图7A示出了在使用账户a_aaaa@xmail.com的移动终端101的显示屏幕上显示的可控设备的显示实例。
图7A的(a)示出了在使用账户a_aaaa@xmail.com的移动终端101的显示屏幕上的安装在起居室中的设备的显示状态的实例。图7A的(b)示出了在移动终端101的显示屏幕上的安装在厨房中的设备的显示状态的实例。此外，图7A的(c)示出了在移动终端101的显示屏幕上的安装在卧室中的设备的显示状态的实例。
在显示屏幕上，显示了链接至相应的可控设备的控制屏幕的图标。例如，头顶图标701链接至头顶设备的控制屏幕。此外，落地灯图标702链接至落地灯设备的控制屏幕。湿度图标704链接至湿度设备的控制屏幕。亮度图标705链接至亮度设备的控制屏幕。吊式风扇图标708链接至吊式风扇设备的控制屏幕。门锁图标709链接至门锁设备的控制屏幕。如果移动终端101的用户轻击这些图标，显示屏幕转换成相应设备的控制屏幕。
在图7A的(a)、图7A的(b)和图7A的(c)中示出的相应显示屏幕的显示内容可以例如通过侧向滑动移动终端101的显示屏幕区域来改变。
相比之下，图7B示出了在使用账户b_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端101的显示屏幕上显示的在起居室中安装的设备的状态。在使用账户b_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端101的显示屏幕上唯独显示了在起居室中安装的设备的状态。因此，例如，即便侧向滑动显示屏幕区域，移动终端101的显示屏幕也不会变为安装在厨房和卧室中的设备的状态的显示屏幕的显示。
另外，假设，可以由使用账户b_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端101控制来进行操作的设备例如是头顶图标711的设备、落地灯图标712的设备、湿度图标714的设备、亮度图标715的设备、吊式风扇图标718的设备和门锁图标719的设备。还假设，温度图标713的设备、运动图标716的设备和恒温图标717的设备的操作不能被移动终端101控制，但是移动终端101可以确认相应设备的工作状态。
在这种情况下，例如，可以在显示在移动终端101的显示屏幕上的设备图标中，通过强调可控设备的图标(头顶图标711、落地灯图标712、湿度图标714、亮度图标715、吊式风扇图标718和门锁图标719)的轮廓，来向用户示出这些图标是可控的。此外，例如，不能被控制但可以确认工作状态的设备的图标(温度图标713、运动图标716和恒温图标717)的轮廓不能被模糊化或被控制，但是可以向用户示出可以确认它们的工作状态。
图7C示出了另一个实例，示出了在使用账户b_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端101的显示屏幕中显示的在起居室中安装的设备的状态。
在使用账户b_aaaa@xmail.com来访问交互式电子设备控制系统的移动终端101的显示屏幕上，仅可以显示可控设备的图标(头顶图标711、落地灯图标712、湿度图标714、亮度图标715、吊式风扇图标718和门锁图标719)。
在图7A、图7B和图7C中示出的实例中，对于各个账户，显示内容改变，从而在显示屏幕上显示可以由访问交互式电子设备控制系统的移动终端控制的设备的状态，但是除此之外，在移动终端的显示屏幕上显示的显示内容可以对于各个权限而改变。
如在图5A至图5C中示出的实例中示出的，在对于各个账户可以控制的设备方面的信息是由交互式电子设备110管理的。因此，每个移动终端可以通过从交互式电子设备110获得关于每个账户的可控设备的信息来控制如例如图7A至图7C中示出的在显示屏幕上显示的可控设备的显示内容。
因此，因为访问交互式电子设备控制系统的移动终端对于所使用的各个账户可以改变与可控设备有关的显示的显示内容，用户可以通过自己的移动终端容易地确认可控设备。由此改善了移动终端的用户通过移动终端访问交互式电子设备控制系统的便利性。
尽管已经描述了某些实施方式，但这些实施方式仅作为实例呈现，并非旨在限制本发明的范围。实际上，本文中描述的新颖的实施方式可以以各种其他形式体现；此外，在不偏离本发明的精神的条件下，可以以本文中描述的实施方式的形式做出各种省略、替换和变化。所附权利要求及其等同物旨在覆盖将落在本发明的范围和精神内的这些形式或变形。
此外，在一些情况下，为了使说明更清楚，在附图中示意性地示出了相应部分的宽度、厚度、形状等，而不是作为所实施的精确表示。然而，此类示意性示出仅是示例性的，而决不限制本说明的解读。此外，在说明书和附图中，与结合前述附图描述的结构元件以相同或相似的方式运作的结构元件是以类似的参考数字表示的，如非必要则省去了其详细说明。此外，即使权利要求被表达为控制逻辑、包括使计算机执行的指令的程序、或者存储指令的计算机可读存储介质，这些实施方式的设备也适用于该权利要求。此外，命名和术语不受限制，并且如果替代表达表示基本相同的内容和相同的要点，则它们被包含在本发明中。

Claims (11)

1.一种交互式电子设备控制系统，其特征在于，包括：
交互式电子设备(110)，将输入的语音数据发送至语音识别业务服务器(102)，并且接收基于由所述语音识别业务服务器(102)识别所述语音数据的结果而生成的响应；以及
认证管理器(103)，将经由网络(106)连接的移动终端(101)认证为已认证用户，
所述交互式电子设备(110)能够将从外部输入的第一语音数据发送至所述语音识别业务服务器(102)以识别所述第一语音数据、并且将从由所述认证管理器(103)认证为所述已认证用户的所述移动终端(101)经由所述网络(106)输入的第二语音数据发送至所述语音识别业务服务器(102)以识别所述第二语音数据。
2.根据权利要求1所述的交互式电子设备控制系统，其特征在于，
所述语音识别业务服务器(102)能够彼此独立地识别在任意时间从外部输入至所述交互式电子设备(110)并从所述交互式电子设备(110)发送的所述第一语音数据、以及在任意时间从所述移动终端(101)经由所述网络(106)输入至所述交互式电子设备(110)的所述第二语音数据。
3.根据权利要求2所述的交互式电子设备控制系统，其特征在于，
作为彼此独立地识别在任意时间从外部输入至所述交互式电子设备(110)并从所述交互式电子设备(110)发送的所述第一语音数据、以及在任意时间从所述移动终端(101)经由所述网络(106)输入至所述交互式电子设备(110)的所述第二语音数据的结果，所述语音识别业务服务器(102)能够彼此独立地形成对应于所述第一语音数据的第一响应和对应于所述第二语音数据的第二响应。
4.根据权利要求3所述的交互式电子设备控制系统，其特征在于，
所述第一响应和所述第二响应中的每一个包括由语音数据构成的响应和由操作被所述交互式电子设备(110)控制的设备的命令构成的响应中的至少一个。
5.根据权利要求1所述的交互式电子设备控制系统，其特征在于，
所述认证管理器(103)能够将经由所述网络(106)连接以发送所述第二语音数据的多个移动终端(101)认证为已认证用户。
6.根据权利要求1所述的交互式电子设备控制系统，其特征在于，
通过经由所述网络(106)连接以发送所述第二语音数据的所述移动终端(101)在连接时使用的账户，所述交互式电子设备(110)能够改变所述移动终端(101)能控制的设备的类型和/或控制内容。
7.根据权利要求1所述的交互式电子设备控制系统，其特征在于，
通过被分配给经由所述网络(106)连接以发送所述第二语音数据的所述移动终端(101)在连接时使用的账户的权限，所述交互式电子设备(110)能够改变所述移动终端(101)能控制的设备的类型和/或控制内容。
8.一种交互式电子设备(110)，其特征在于，包括：
第一接收器，接收从麦克风(119)输入的语音的第一语音数据；
第二接收器，接收经由网络(106)发送的语音的第二语音数据；以及
控制器(111)，控制所述第一接收器和所述第二接收器，
所述控制器(111)将由所述第一接收器接收的所述第一语音数据和由所述第二接收器接收的所述第二语音数据彼此独立地发送至语音识别业务服务器(102)，并且对从所述语音识别业务服务器(102)发送的对应于所述第一语音数据的第一响应和对应于所述第二语音数据的第二响应彼此独立地进行处理。
9.根据权利要求8所述的交互式电子设备(110)，其特征在于，
所述第二语音数据是由被认证为已认证用户的移动终端(101)的麦克风收集的语音的语音数据。
10.根据权利要求9所述的交互式电子设备(110)，其特征在于，
所述第一响应和所述第二响应中的每一个包括由语音数据构成的响应和由操作被所述交互式电子设备(110)控制的设备的命令构成的响应中的至少一个。
11.一种交互式电子设备(110)的控制方法，其特征在于，包括：
将输入的语音数据发送至语音识别业务服务器(102)；并且
接收基于由所述语音识别业务服务器(102)识别所述语音数据的结果而生成的响应，
其中，
在所述语音识别业务服务器(102)中，能够执行对从外部输入至所述交互式电子设备(110)的第一语音数据的语音识别，并且能够执行对从经由网络(106)连接并被认证为已认证用户的移动终端(101)输入的第二语音数据的语音识别。
CN201811075845.1A 2017-10-02 2018-09-14 交互式电子设备控制系统、交互式电子设备及其控制方法 Active CN109599100B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017193057A JP2019066702A (ja) 2017-10-02 2017-10-02 対話型電子装置制御システム、対話型電子装置、対話型電子装置制御方法
JP2017-193057 2017-10-02

Publications (2)

Publication Number Publication Date
CN109599100A true CN109599100A (zh) 2019-04-09
CN109599100B CN109599100B (zh) 2023-08-01

Family

ID=65896216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811075845.1A Active CN109599100B (zh) 2017-10-02 2018-09-14 交互式电子设备控制系统、交互式电子设备及其控制方法

Country Status (3)

Country Link
US (1) US10748545B2 (zh)
JP (1) JP2019066702A (zh)
CN (1) CN109599100B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022166479A1 (zh) * 2021-02-02 2022-08-11 华为技术有限公司 语音控制系统、方法、装置、设备以及介质、程序产品

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148410A (zh) * 2019-06-21 2019-08-20 四川长虹电器股份有限公司 基于语音交互控制设备的系统及方法
CN111274596B (zh) * 2020-01-23 2023-03-14 百度在线网络技术（北京）有限公司 设备交互方法、权限管理方法、交互设备及用户端

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020010589A1 (en) * 2000-07-24 2002-01-24 Tatsushi Nashida System and method for supporting interactive operations and storage medium
JP2005065156A (ja) * 2003-08-20 2005-03-10 Victor Co Of Japan Ltd 音声認識処理システム及びそれに用いる映像信号記録再生装置
US20120149343A1 (en) * 2010-12-14 2012-06-14 Symbol Technologies, Inc. System and method for staging a mobile device through a voice staging server
JP2013257818A (ja) * 2012-06-14 2013-12-26 Ricoh Co Ltd 装置制御システム、装置制御プログラム、装置制御方法
JP2014194654A (ja) * 2013-03-28 2014-10-09 Nec Corp 作業管理システム、作業管理装置、及び、作業管理方法
CN104392353A (zh) * 2014-10-08 2015-03-04 无锡指网生物识别科技有限公司 语音识别终端的支付方法及系统
CN105027574A (zh) * 2013-01-07 2015-11-04 三星电子株式会社 在语音识别系统中控制显示装置的显示装置和方法
US20150331666A1 (en) * 2014-05-15 2015-11-19 Tyco Safety Products Canada Ltd. System and Method for Processing Control Commands in a Voice Interactive System
CN106531154A (zh) * 2016-11-15 2017-03-22 传世未来（北京）信息科技有限公司 认证方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6963759B1 (en) 1999-10-05 2005-11-08 Fastmobile, Inc. Speech recognition technique based on local interrupt detection
JP2002132292A (ja) * 2000-10-26 2002-05-09 Daisuke Murakami 音声によるホームオートメーションシステム
JP2003114694A (ja) 2001-10-05 2003-04-18 Yamaha Corp 携帯型リモートコントロール装置
US9572033B2 (en) * 2006-05-25 2017-02-14 Celltrust Corporation Systems and methods for encrypted mobile voice communications
US8225380B2 (en) * 2006-05-25 2012-07-17 Celltrust Corporation Methods to authenticate access and alarm as to proximity to location
WO2012109751A1 (en) * 2011-02-15 2012-08-23 Research In Motion Limited System and method for identity management for mobile devices
WO2014103035A1 (ja) 2012-12-28 2014-07-03 株式会社レイトロン 音声認識デバイス
US10133546B2 (en) 2013-03-14 2018-11-20 Amazon Technologies, Inc. Providing content on multiple devices
US10438593B2 (en) 2015-07-22 2019-10-08 Google Llc Individualized hotword detection models

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020010589A1 (en) * 2000-07-24 2002-01-24 Tatsushi Nashida System and method for supporting interactive operations and storage medium
JP2005065156A (ja) * 2003-08-20 2005-03-10 Victor Co Of Japan Ltd 音声認識処理システム及びそれに用いる映像信号記録再生装置
US20120149343A1 (en) * 2010-12-14 2012-06-14 Symbol Technologies, Inc. System and method for staging a mobile device through a voice staging server
JP2013257818A (ja) * 2012-06-14 2013-12-26 Ricoh Co Ltd 装置制御システム、装置制御プログラム、装置制御方法
CN105027574A (zh) * 2013-01-07 2015-11-04 三星电子株式会社 在语音识别系统中控制显示装置的显示装置和方法
JP2014194654A (ja) * 2013-03-28 2014-10-09 Nec Corp 作業管理システム、作業管理装置、及び、作業管理方法
US20150331666A1 (en) * 2014-05-15 2015-11-19 Tyco Safety Products Canada Ltd. System and Method for Processing Control Commands in a Voice Interactive System
CN104392353A (zh) * 2014-10-08 2015-03-04 无锡指网生物识别科技有限公司 语音识别终端的支付方法及系统
CN106531154A (zh) * 2016-11-15 2017-03-22 传世未来（北京）信息科技有限公司 认证方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022166479A1 (zh) * 2021-02-02 2022-08-11 华为技术有限公司 语音控制系统、方法、装置、设备以及介质、程序产品

Also Published As

Publication number Publication date
US20190103116A1 (en) 2019-04-04
JP2019066702A (ja) 2019-04-25
CN109599100B (zh) 2023-08-01
US10748545B2 (en) 2020-08-18

Similar Documents

Publication Publication Date Title
US11527249B2 (en) Multi-user personalization at a voice interface device
US11670297B2 (en) Device leadership negotiation among voice interface devices
US11869527B2 (en) Noise mitigation for a voice interface device
US11521469B2 (en) Server-provided visual output at a voice interface device
CN209400877U (zh) 电子设备、语音接口设备以及电子系统
CN108022590A (zh) 语音接口设备处的聚焦会话
WO2018067528A1 (en) Device leadership negotiation among voice interface devices
CN108604254A (zh) 语音控制的隐藏字幕显示
CN109599100A (zh) 交互式电子设备控制系统、交互式电子设备及其控制方法
CN107910007B (zh) 语音接口设备上的多用户个性化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210906

Address after: 218 Qianwangang Road, Qingdao Economic and Technological Development Zone, Shandong Province

Applicant after: Hisense Video Technology Co.,Ltd.

Address before: Aomori

Applicant before: TOSHIBA VISUAL SOLUTIONS Corp.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant