CN111164678A - 控制系统 - Google Patents

控制系统 Download PDF

Info

Publication number
CN111164678A
CN111164678A CN201880063031.8A CN201880063031A CN111164678A CN 111164678 A CN111164678 A CN 111164678A CN 201880063031 A CN201880063031 A CN 201880063031A CN 111164678 A CN111164678 A CN 111164678A
Authority
CN
China
Prior art keywords
user
control unit
control
detection device
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880063031.8A
Other languages
English (en)
Inventor
鹫崎翼
丸谷裕树
町田幸雄
川口弘晓
氏田庆彦
松永健吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Lifestyle Products and Services Corp
Original Assignee
Toshiba Lifestyle Products and Services Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Lifestyle Products and Services Corp filed Critical Toshiba Lifestyle Products and Services Corp
Publication of CN111164678A publication Critical patent/CN111164678A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • H04L12/2829—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality involving user profiles according to which the execution of a home appliance functionality is automatically triggered
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/283—Processing of data at an internetworking point of a home automation network
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

控制系统具备检测多个用户的话语的检测装置、和控制部，所述控制部基于由所述检测装置检测的用户的话语的内容以及/或者声音来确定发出话语的用户的属性，并输出适合于其属性的报告信息以及/或者执行适合于其属性的控制。

Description

控制系统
技术领域
本说明书公开的技术涉及控制系统。
背景技术
在专利文献1中公开了一种具备声音识别单元和运转控制单元的空调机。在该空调机中，当声音识别单元识别到的声音是控制指令的情况下，运转控制单元按照该声音识别结果来进行空调机的运转控制。
现有技术文献
专利文献
专利文献1：日本专利第5020222号公报
发明内容
发明要解决的课题
空调机那样的家电设备有时被配置在家庭内。另外，在一般的家庭内存在利用家电设备的多个用户，有时各个用户对于家电设备具有特有的期望。鉴于此，本说明书提供一种即便是存在各种属性的用户的情况也能实现适合于各用户的属性的期望的技术。
用于解决课题的方案
本说明书所公开的控制系统具备检测多个用户的话语的检测装置和控制部。所述控制部基于由所述检测装置检测的用户的话语的内容以及/或者声音来确定发出话语的用户的属性，输出适合于其属性的报告信息以及/或者执行适合于其属性的控制。
附图说明
图1是示意性地表示第一实施例涉及的控制系统的结构的图。
图2是示意性地表示第一实施例涉及的检测装置的结构的图。
图3是表示第一实施例涉及的检测装置的结构的框图。
图4是表示用户的话语内容所包含的关键字与家电设备的对应关系的一个例子的表。
图5是表示用户、其属性以及报告信息的对应关系的一个例子的表(1)。
图6是表示由第一实施例涉及的控制系统执行的处理的序列图。
图7是表示用户、其属性以及报告信息的对应关系的一个例子的表(2)。
图8是表示用户、其属性以及控制内容的对应关系的一个例子的表(1)。
图9是表示用户、其属性以及控制内容的对应关系的一个例子的表(2)。
图10是表示用户与触发字词的对应关系的一个例子的表。
图11是示意性地表示第三实施例涉及的控制系统的结构的图。
图12是表示由第四实施例涉及的控制系统执行的处理的序列图。
具体实施方式
[第一实施例]
参照附图对实施例涉及的控制系统1进行说明。如图1所示，第一实施例涉及的控制系统1具备检测装置10和多个家电设备50(50a、50b、50c、50d、50e、50f)。
检测装置10例如被配置于家庭内的起居室。配置检测装置10的位置没有特别限定，例如也可以在家庭内的厨房、饭厅、卧室、儿童房等配置检测装置10。检测装置10能够与在家庭内配置的多个家电设备50(50a、50b、50c、50d、50e、50f)进行无线通信。检测装置10与家电设备50的通信方式没有特别限定。另外，检测装置10经由无线路由器92、调制解调器93以及因特网100与外部的第一服务器90连接，能够与外部的第一服务器90进行通信。检测装置10也可以经由第一服务器90而与多个家电设备50能够进行通信。第一服务器90经由因特网100与外部的第二服务器96连接。第一服务器90具备控制部91。
如图2所示，检测装置10具备麦克风12和扬声器13。另外，如图3所示，检测装置10具备无线通信模块14和控制部20。检测装置10是对控制系统1的用户的话语进行检测的装置。
检测装置10的麦克风12是取得检测装置10的周围的声音的装置。如果控制系统1的用户在检测装置10的周围发出话语，则麦克风12取得其声音。麦克风12例如能够取得从检测装置10起半径为5m的范围内的声音。麦克风12所取得的声音被发送至检测装置10的控制部20。
检测装置10的扬声器13是朝向检测装置10的周围发出声音的装置。扬声器13通过声音来向控制系统1的用户报告信息。例如，扬声器13将与家电设备50有关的信息通过声音向位于检测装置10的周围的用户报告。位于检测装置10的周围的用户能够识别通过扬声器13发出的声音而被报告的信息。
检测装置10的无线通信模块14为了与多个家电设备50以及无线路由器92进行无线通信而设置。通过无线通信模块14来进行信息的收发。
检测装置10的控制部20具备声音接收部21、声音输出部22、存储部23、以及通信部24。控制部20中的声音接收部21从麦克风12接收麦克风12所取得的声音的信号。另外，声音输出部22将用于朝向检测装置10的周围发出的声音的信号输出至扬声器13。另外，通信部24经由无线通信模块14进行信息的收发。另外，存储部23中存储有用于对声音接收部21从麦克风12接收到的声音进行分析的分析用声音数据。关于检测装置10的控制部20所执行的控制的详细情况将后述。
如图1所示，控制系统1中的多个家电设备50经由无线路由器92、调制解调器93以及因特网100与外部的第一服务器90连接，能够与外部的第一服务器90进行通信。各家电设备50具备未图示的通信部。控制系统1中的多个家电设备50例如是冰箱50a、洗衣机50b、自走式吸尘器50c、空调机50d、热水器50e、电视机50f。各家电设备50(50a、50b、50c、50d、50e、50f)具备各控制部60(60a、60b、60c、60d、60e、60f)。家电设备50的种类没有特别限定，例如也可以是微波炉、电饭煲、蓝光碟机、DVD播放器等。
接下来，对控制系统1的用户的话语进行说明。在家庭内，控制系统1的用户发出各种话语。此时，用户的话语的内容有时与控制系统1中的1个或者多个家电设备50相关。即，如图4所示，用户的话语所包含的关键字有时与1个或者多个家电设备50相关。例如，用户有时发出“冰箱里有什么？”、“进行到干燥为止。”、“对房间进行扫除。”、“房间热。”、“把啤酒冰镇一下。”等话语。例如在用户发出了“冰箱里有什么？”、“把啤酒冰镇一下。”等话语的情况下，该话语的内容与冰箱50a相关。另外，在用户发出了“进行到干燥为止。”等话语的情况下，该话语的内容与洗衣机50b相关。另外，在用户发出“把电视机的频道换一下。”等话语的情况下，该话语的内容与电视机50f相关。用户的各话语内容所包含的关键字与各家电设备50相关。图4所示的话语内容、关键字以及家电设备50的对应关系只是一个例子，并不特别限定。
另外，在家庭内存在利用控制系统1的多个用户。例如，如图5所示，在家庭内存在用户1～4(例如，父、母、兄、妹)。控制系统1的各用户1～4具有各属性。例如，用户1具有男性、50岁左右等的属性。另外，用户2具有女性、40岁左右等的属性。图5所示的用户与属性的对应关系只是一个例子，并不特别限定。在家庭内，控制系统1的用户1～4进行各种话语。例如，有时多个用户1～4中的某个用户1发出“冰箱里有什么？”、“把啤酒冰镇一下。”这一话语。另外，有时其他用户2发出“把电视机的频道换一下。”这一话语。在上述的控制系统1中，基于用户的话语来执行各种处理。以下对此进行说明。
接下来，对由控制系统1执行的处理进行说明。如图6所示，在控制系统1中，若检测装置10的电源接通，则首先执行步骤S101的处理。在步骤S101中，检测装置10的声音接收部21接收控制系统1的用户的话语声音。在控制系统1中，如果用户说了什么话语，则检测装置10的麦克风12取得其声音并发送至控制部20。例如，如果控制系统1的用户发出了“冰箱里有什么？”、“把啤酒冰镇一下。”这一话语，则检测装置10的麦克风12取得其声音并发送至控制部20。而且，控制部20的声音接收部21接收该声音(“冰箱里有什么？”、“把啤酒冰镇一下。”)。
接着，在步骤S102中，控制部20使用存储部23中存储的分析用声音数据来对声音接收部21接收到的声音进行分析。控制部20分析声音来提取出该声音所包含的关键字。例如，控制部20对声音接收部21接收到的“冰箱里有什么？”的声音进行分析，提取出该声音所包含的“冰箱”这一关键字(参照图4)。另外，控制部20对声音接收部21接收到的“把啤酒冰镇一下。”的声音进行分析，提取出该声音所包含的“啤酒”和“冰镇”这一关键字。其中，“冰箱”这一关键字是设备名称系的关键字。另外，“啤酒”这一关键字是相关语系的关键字，“冰镇”这一关键字是控制内容系的关键字。
接着，如图6所示，在步骤S103中，检测装置10的控制部20对发出了由检测装置10检测到的声音的用户以及其属性进行确定。控制部20基于使用了分析用声音数据的声音分析来确定用户以及其属性。控制部20例如对声音接收部21接收到的声音(“冰箱里有什么？”、“把啤酒冰镇一下。”)的频率进行解析，通过声纹分析等来确定发出该声音的用户以及其属性。如果多个用户1～4中的某个用户1发出了“冰箱里有什么？”、“把啤酒冰镇一下。”这一话语，则控制部20确定该用户1。另外，控制部20确定该用户1的属性(例如，男性、50岁左右等)。
接着，在步骤S104中，控制部20基于通过声音分析而提取出的关键字，来确定与该关键字相关的家电设备50。例如，控制部20确定控制系统1中的多个家电设备50中的与提取出的关键字“冰箱”相关的家电设备50即“冰箱50a”(参照图4)。另外，控制部20也可以基于提取出的关键字“啤酒”、“冰镇”来确定与该关键字相关的“冰箱50a”。
接着，在步骤S105中，控制部20决定报告信息。控制部20决定适合于在上述的步骤S103中确定出的用户以及其属性的报告信息。另外，控制部20决定适合于在上述的步骤S104中确定出的家电设备50的报告信息。例如，当在上述的步骤S103中确定出用户1、在上述的步骤S104中确定出冰箱50a的情况下，控制部20决定“有啤酒和奶酪。”这一报告信息(参照图5)。“有啤酒和奶酪。”这一报告信息是最适合于多个用户1～4中的用户1的信息。另外，该报告信息是最适合于男性、50岁左右的属性的信息。另外，该报告信息是最适合于多个家电设备50中的冰箱50a的信息。
在步骤S105中，控制部20通过在存储部23中预先存储的规定的算法、机械学习来决定适合于用户以及其属性的报告信息。例如，控制部20也可以在基于用户的过去的行动历史记录进行了规定的信息处理的基础上，决定适合于该用户的报告信息。另外，控制部20也可以基于预先设定的程序来决定适合于用户的报告信息。另外，控制部20也可以基于规定的学习数据来决定适合于用户的报告信息。例如，当在上述的步骤S103中确定出用户1的情况下，由于用户1过去对检测装置10询问与酒精有关的询问频度很多(参照图7)，所以控制部20决定适合于该用户1的“有啤酒和奶酪。”这一报告信息。另外，例如当在上述的步骤S103中确定出用户2的情况下，由于用户2过去对于检测装置10询问与料理的材料有关的询问频度很多(参照图7)，所以控制部20决定适合于该用户2的“有胡萝卜、土豆和牛肉。”这一报告信息。
另外，例如当在上述的步骤S103中确定出用户1、在上述的步骤S104中确定出电视机50f作为家电设备50的情况下，在步骤S105中，控制部20例如决定“将频道切换为新闻节目。”这一报告信息(参照图5)。“将频道切换为新闻节目。”这一报告信息是最适合于多个用户1～4中的用户1的信息。另外，该报告信息是最适合于男性、50岁左右的属性的信息。另外，该报告信息是最适合于多个家电设备50中的电视机50f的信息。控制部20基于在存储部23中预先存储的信息以及机械学习来决定报告信息。例如，在用户1过去喜好收看新闻节目的情况下(参照图7)，控制部20学习该用户1的喜好，来决定适合于用户1的“将频道切换为新闻节目。”这一报告信息。
接着，如图6所示，在步骤S106中，控制部20决定针对在上述的步骤S104中确定出的家电设备50的控制内容。此时，控制部20决定适合于在上述的步骤S103中确定出的用户以及其属性的控制内容。例如，当在上述的步骤S103中确定出用户1、在上述的步骤S104中确定出电视机50f的情况下，控制部20例如决定“优先新闻节目来变更频道。”这一控制内容(参照图8)。“优先新闻节目来变更频道。”这一控制内容是最适合于多个用户1～4中的用户1的控制。另外，该控制内容是最适合于男性、50岁左右的属性的控制。另外，该控制内容是最适合于多个家电设备50中的电视机50f的信息。
在步骤S106中，控制部20通过在存储部23中预先存储的规定的算法、机械学习来决定适合于用户以及其属性的控制内容。例如，控制部20也可以在基于用户的过去的行动历史记录进行了规定的信息处理的基础上，决定适合于该用户的控制内容。另外，控制部20也可以基于预先设定的程序来决定适合于用户的控制内容。另外，控制部20也可以基于规定的学习数据来决定适合于用户的控制内容。例如，当在上述的步骤S103中确定出用户1的情况下且用户1过去喜好收看新闻节目的情况下，控制部20学习该用户1的喜好来决定适合于用户1的“优先新闻节目来变更频道。”这一控制内容(参照图9)。另外，例如当在上述的步骤S103中确定出用户2的情况下且用户2过去喜好收看谈话评论(日文原文：ワイドナショー)节目的情况下，控制部20学习该用户2的喜好来决定适合于用户2的“优先谈话评论节目来变更频道。”这一控制内容(参照图9)。
接着，检测装置10的控制部20如图6所示，在取得家电设备相关信息的情况下，执行步骤S107的处理。家电设备相关信息是与在上述的步骤S104中控制部20确定出的家电设备50(例如冰箱50a或者电视机50f)相关的信息。在家电设备50是冰箱50a的情况下，家电设备相关信息中例如包括存在于冰箱50a的箱内的物品的信息、箱内的温度的信息。另外，在家电设备50是电视机50f的情况下，家电设备相关信息中例如包括电视机50f的当前的频道的信息。
在步骤S107中，检测装置10的控制部20将信息取得请求向家电设备50(例如冰箱50a或者电视机50f)发送。家电设备50的控制部60接收该信息取得请求。接着，在步骤S108中，家电设备50的控制部60响应于接收到的信息取得请求而将家电设备相关信息向检测装置10发送。检测装置10的控制部20接收该家电设备相关信息。
接着，当输出在上述的步骤S105中决定的报告信息(例如“有啤酒和奶酪。”或者“将频道切换为新闻节目。”)的情况下，检测装置10的控制部20执行步骤S109的处理。在步骤S109中，控制部20从声音输出部22将在上述的步骤S105中决定的报告信息向扬声器13输出。从检测装置10的扬声器13向检测装置10的周围发出报告信息(例如“有啤酒和奶酪。”或者“将频道切换为新闻节目。”)的声音。由此，将报告信息向控制系统1的用户1报告，用户1能够识别报告信息。
接着，当控制在上述的步骤S104中确定出的家电设备50(例如电视机50f)的动作的情况下，检测装置10的控制部20执行步骤S110的处理。控制部20基于在上述的步骤S106中决定的控制内容(例如“优先新闻节目来变更频道。”)来控制家电设备50(例如电视机50f)的动作。
在步骤S110中，检测装置10的控制部20将控制信息向家电设备50(例如电视机50f)发送。家电设备50的控制部60接收该控制信息。控制信息是与家电设备50(例如电视机50f)的控制内容相关的信息。控制信息中例如包括用于对电视机50f的频道进行切换的信息。接着，在步骤S111中，家电设备50的控制部60响应于接收到的控制信息而将控制响应信息向检测装置10发送。检测装置10的控制部20接收该控制响应信息。另外，家电设备50的控制部60基于接收到的控制信息来控制动作。例如，电视机50f的控制部60f执行切换电视机50f的频道的控制。
以上，对第一实施例涉及的控制系统1进行了说明。根据上述的说明可知，控制系统1具备检测多个用户1～4的话语的检测装置10、和检测装置10中的控制部20。控制部20基于由检测装置10检测的用户的话语的声音来确定发出话语的用户的属性(例如，男性、50岁左右)，并输出适合于其属性的报告信息(例如，“有啤酒和奶酪。”、“将频道切换为新闻节目。”)。另外，控制部20基于用户的话语的声音来确定发出话语的用户(例如，用户1)，并输出适合于该用户的报告信息。另外，控制部20执行适合于确定出的用户以及其属性的控制(例如，“优先新闻节目来变更频道。”)。
根据该构成，例如在男性50岁左右的用户1发出了“冰箱里有什么？”这一话语的情况下，输出适合于该用户1以及其属性的“有啤酒和奶酪。”这一报告信息。另外，例如在男性50岁左右的用户1发出了“把电视机的频道换一下。”这一话语的情况下，输出适合于该用户1以及其属性的“将频道切换为新闻节目。”这一报告信息。另外，执行适合于该用户1以及其属性的“优先新闻节目来变更频道。”这一控制。因此，即便是存在各种属性的用户1～4的情况，各用户1～4也能够取得适合于其属性的信息。各用户1～4能够取得适合于自己的信息。另外，能够执行适合于各用户1～4以及其属性的控制。因而，能够实现适合于各用户以及其属性的期望。此外，也可以是控制部20只进行报告信息的输出与控制的执行的任意一方的构成。
另外，在上述的控制系统1中，控制部20输出关于家电设备50的适合于用户的报告信息。另外，控制部20执行关于家电设备50的适合于用户的控制。因此，各用户1～4关于家电设备50能够取得恰当的信息。另外，能够关于家电设备50执行恰当的控制。
另外，在上述的控制系统1中，检测装置10的控制部20基于确定出的用户的过去的行动历史记录(例如，针对检测装置10过去询问与酒精有关的询问频度很多这一行动历史记录)来输出适合于该用户(例如，用户1)的报告信息。因此，各用户1～4能够取得基于过去的行动历史记录的恰当的信息。
以上，对一个实施例进行了说明，但具体的方式并不限定于上述实施例。在以下的说明中，对与上述的说明中的构成相同的构成赋予相同的附图标记而省略说明。
在上述的实施例中，检测装置10的控制部20输出关于家电设备50的报告信息，但并不限定于该构成。在其他实施例中，控制部20可以不输出关于家电设备50的报告信息而输出关于检测装置10自身的报告信息。另外，控制部20也可以不执行关于家电设备50的控制而执行关于检测装置10自身的控制。例如，如图5所示，在控制系统1的用户2发出了“播放音乐。”这一话语的情况下，控制部20输出适合于该用户2的“播放古典音乐。”这一报告信息。该报告信息不是关于家电设备50的报告信息而是关于检测装置10自身的报告信息。另外，该情况下，如图7所示，控制部20执行“播放古典音乐。”这一控制。该控制不是关于家电设备50的控制而是关于检测装置10自身的控制。控制系统1也可以不具备多个家电设备50。
另外，在上述的实施例中，检测装置10的控制部20基于用户的话语的声音来确定用户以及其属性，但并不限定于该构成。在其他实施例中，可以基于话语的内容而非用户的话语的声音来确定用户以及其属性。检测装置10的控制部20通过预先存储于存储部23的分析用声音数据、规定的算法或机械学习来确定用户以及其属性。另外，控制部20也可以基于用户的话语的内容以及该声音的组合来确定用户以及其属性。
[第二实施例]
在第二实施例中，检测装置10的控制部20可以基于用户的话语所包含的用户固有的触发字词来确定用户。用户固有的触发字词是确定用户的字词。例如，如图10所示，预先设定有用户与触发字词的对应关系，该对应关系被存储于存储部23。在该状态下，例如当控制系统1的用户1发出了用户1所固有的触发字词(“あいうえお”)的情况下，控制部20基于该触发字词(“あいうえお”)确定出用户1。另外，在用户2发出了用户2所固有的触发字词(“かきくけこ”)的情况下，控制部20基于该触发字词(“かきくけこ”)确定出用户2。而且，检测装置10的控制部20输出适合于基于触发字词而确定出的用户(例如，用户1)的报告信息(例如，“有啤酒和奶酪。”、“将频道切换为新闻节目。”)(参照图5、图6)。另外，控制部20执行适合于确定出的用户的控制(例如，“优先新闻节目来变更频道。”)(参照图6、图8)。
[第三实施例]
在第三实施例中，检测装置10的控制部20可以基于与在上述的步骤S103中确定出的用户建立了关联的位置信息来执行家电设备50的控制。例如，如图11所示，在家庭内存在多个房间(例如用户1的房间80a、用户2的房间80b、用户3的房间80c、用户4的房间80d等)，用户1的房间80a的位置信息与其中的用户1建立了关联。而且，当在上述的步骤S103中确定出用户1的情况下，控制部20基于与该用户1建立了关联的用户1的房间80a的位置信息来执行家电设备50的控制。例如，当在上述的步骤S104中确定出自走式吸尘器50c的情况下，控制部20执行自走式吸尘器50c的控制以使其清扫用户1的房间80a。针对其他用户2～4的房间80b～80d，控制部20也基于与各用户2～4建立了关联的位置信息来同样地执行自走式吸尘器50c的控制。根据该构成，能够针对各用户1～4的房间80a～80d提供恰当的服务。
[第四实施例]
在上述的实施例中，由检测装置10中的控制部20确定用户以及其属性，但并不限定于该构成，也可以由第一服务器90中的控制部91确定用户以及其属性。在第四实施例涉及的控制系统1中，如图12所示，紧接着上述的步骤S101的处理而执行步骤S121的处理。在步骤S121中，检测装置10的控制部20将在步骤S101中声音接收部21接收到的声音(例如“冰箱里有什么？”)的信息向第一服务器90发送。第一服务器90的控制部91接收该声音信息。
接着，在步骤S122中，第一服务器90的控制部91判断第一服务器90中是否存在用于对在步骤S121中接收到的声音进行分析的分析用声音数据。当在第一服务器90存在分析用声音数据的情况下，在步骤S122中控制部91判断为是而进入步骤S125。另一方面，当在第一服务器90不存在分析用声音数据的情况下，在步骤S122中控制部91判断为否而执行步骤S123的处理。
在步骤S123中，第一服务器90的控制部91将信息取得请求向外部的第二服务器96发送。第二服务器96的控制部(省略图示)接收该信息取得请求。接着，在步骤S124中，第二服务器96的控制部响应于接收到的信息取得请求而将分析用声音数据向第一服务器90发送。第二服务器96中存在分析用声音数据。第一服务器90的控制部91接收该分析用声音数据。
接着，在步骤S125中，第一服务器90的控制部91使用在上述的步骤S124中接收到的分析用声音数据来对在上述的步骤S121中接收到的声音进行分析。控制部91对声音进行分析而提取出该声音所包含的关键字。例如，控制部91对“冰箱里有什么？”的声音进行分析而提取出该声音所包含的“冰箱”这一关键字。
接着，在步骤S126中，第一服务器90的控制部91确定发出了由检测装置10检测到的声音的用户以及其属性。控制部91基于使用了分析用声音数据的声音分析来确定用户以及其属性。控制部91例如对在上述的步骤S121中接收到的声音(“冰箱里有什么？”)的频率进行解析，通过声纹分析等来确定发出了该声音的用户以及其属性。例如，如果多个用户1～4中的某个用户1发出了“冰箱里有什么？”这一话语，则控制部91确定该用户1。另外，控制部91确定该用户1的属性(例如，男性、50岁左右等)。
接着，在步骤S127中，第一服务器90的控制部91基于通过声音分析而提取出的关键字来确定与该关键字相关的家电设备50。例如，控制部91确定出控制系统1中的多个家电设备50中的、与提取出的关键字“冰箱”相关的家电设备50即“冰箱50a”。接着，在步骤S128中，控制部91将在步骤S127中确定出的家电设备50(冰箱50a)的家电设备信息向检测装置10发送。检测装置10的控制部20接收该家电设备信息。
接着，在步骤S129中，控制部91决定报告信息。控制部91决定适合于在上述的步骤S126中确定出的用户以及其属性的报告信息。另外，控制部91决定适合于在上述的步骤S127中确定出的家电设备50的报告信息。例如，当在上述的步骤S126中确定了用户1、在上述的步骤S127中确定了冰箱50a的情况下，控制部91决定“有啤酒和奶酪。”这一报告信息(参照图5)。另外，例如当在上述的步骤S126中确定了用户1、在上述的步骤S127中确定了电视机50f的情况下，控制部91决定“将频道切换为新闻节目。”这一报告信息(参照图5)。接着，在步骤S130中，控制部91将在步骤S129中决定的报告信息向检测装置10发送。检测装置10的控制部20接收该报告信息。
接着，在步骤S131中，控制部91决定针对在上述的步骤S127中确定出的家电设备50的控制内容。此时，控制部91决定适合于在上述的步骤S126中确定出的用户以及其属性的控制内容。例如，当在上述的步骤S126中确定了用户1、在上述的步骤S127中确定了电视机50f的情况下，控制部91决定“优先新闻节目来变更频道。”这一控制内容(参照图8)。接着，在步骤S132中，控制部91将在步骤S131中决定的控制内容的信息向检测装置10发送。检测装置10的控制部20接收该控制内容信息。
然后，检测装置10的控制部20基于在上述的步骤S128、步骤S130以及步骤S132中接收到的家电设备信息、报告信息以及控制内容信息，来执行步骤S107至步骤S111的处理。由于步骤S107至步骤S111的处理在第一实施例中进行了说明，所以省略详细的说明。
根据上述的构成，由于第一服务器90中存储有比检测装置10大的信息量的数据，所以能够基于大的信息量来确定用户以及其属性。根据该构成，声音分析的精度变高。
以上，对本发明的具体例详细进行了说明，但这些只是例示，不用于限定技术方案。技术方案所记载的技术中包括对以上例示的具体例进行了各种变形、变更后的技术。本说明书或者附图中说明的技术要素单独或者通过各种组合来发挥技术有用性，并不限定于申请时的技术方案记载的组合。另外，本说明书或者附图所例示的技术能同时实现多个目的，实现其中的一个目的本身便具有技术有用性。
附图标记说明
1：控制系统；10：检测装置；12：麦克风；13：扬声器；14：无线通信模块；20：控制部；21：声音接收部；22：声音输出部；23：存储部；24：通信部；50：家电设备；50a：冰箱；50b：洗衣机；50c：自走式吸尘器；50d：空调机；50e：热水器；50f：电视机；60：控制部；90：第一服务器；91：控制部；92：无线路由器；93：调制解调器；96：第二服务器；100：因特网。

Claims (7)

1.一种控制系统，具备：
检测装置，检测多个用户的话语；以及
控制部，
所述控制部基于由所述检测装置检测的用户的话语的内容以及/或者声音来确定发出话语的用户的属性，并输出适合于该属性的报告信息以及/或者执行适合于该属性的控制。
2.根据权利要求1所述的控制系统，其中，
所述控制部基于用户的话语的声音来确定发出话语的用户，输出适合于该用户的报告信息以及/或者执行适合于该用户的控制。
3.根据权利要求1或2所述的控制系统，其中，
所述控制部基于用户的话语所包含的用户固有的触发字词来确定用户，输出适合于该用户的报告信息以及/或者执行适合于该用户的控制。
4.根据权利要求2或3所述的控制系统，其中，
具备能够与所述检测装置通信的多个家电设备，
所述控制部输出关于所述家电设备的适合于用户的报告信息。
5.根据权利要求2至4中任意一项所述的控制系统，其中，
具备能够与所述检测装置通信的多个家电设备，
所述控制部执行关于所述家电设备的适合于用户的控制。
6.根据权利要求2至5中任意一项所述的控制系统，其中，
所述控制部基于所确定的用户的过去的行动历史记录来输出适合于该用户的报告信息。
7.根据权利要求4或5所述的控制系统，其中，
具备能够与所述检测装置通信的多个家电设备，
所述控制部基于与所确定的用户建立了关联的位置信息来执行所述家电设备的控制。
CN201880063031.8A 2017-10-03 2018-08-27 控制系统 Pending CN111164678A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017193542A JP2019066731A (ja) 2017-10-03 2017-10-03 制御システム
JP2017-193542 2017-10-03
PCT/JP2018/031590 WO2019069588A1 (ja) 2017-10-03 2018-08-27 制御システム

Publications (1)

Publication Number Publication Date
CN111164678A true CN111164678A (zh) 2020-05-15

Family

ID=65994330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880063031.8A Pending CN111164678A (zh) 2017-10-03 2018-08-27 控制系统

Country Status (4)

Country Link
US (1) US20200279566A1 (zh)
JP (1) JP2019066731A (zh)
CN (1) CN111164678A (zh)
WO (1) WO2019069588A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220157303A1 (en) 2019-03-26 2022-05-19 Sony Group Corporation Information processing device and information processing method
US11657814B2 (en) * 2020-10-08 2023-05-23 Harman International Industries, Incorporated Techniques for dynamic auditory phrase completion
US11526669B1 (en) * 2021-06-21 2022-12-13 International Business Machines Corporation Keyword analysis in live group breakout sessions

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150120294A1 (en) * 2013-10-30 2015-04-30 General Electric Company Appliances for providing user-specific response to voice commands
US20150302857A1 (en) * 2013-08-29 2015-10-22 Panasonic Intellectual Property Corporation Of America Device control method, display control method, and purchase settlement method
US20170213559A1 (en) * 2016-01-27 2017-07-27 Motorola Mobility Llc Method and apparatus for managing multiple voice operation trigger phrases

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4292646B2 (ja) * 1999-09-16 2009-07-08 株式会社デンソー ユーザインタフェース装置、ナビゲーションシステム、情報処理装置及び記録媒体
JP3452257B2 (ja) * 2000-12-01 2003-09-29 株式会社ナムコ 模擬会話システム、及び情報記憶媒体
JP3945356B2 (ja) * 2002-09-17 2007-07-18 株式会社デンソー 音声対話装置及びプログラム
JP4413486B2 (ja) * 2002-10-24 2010-02-10 株式会社ピートゥピーエー 家電制御装置、家電制御方法及びプログラム
JP6151112B2 (ja) * 2013-07-09 2017-06-21 シャープ株式会社 再生装置、再生装置の制御方法、サーバ、および、システム
JP2015138147A (ja) * 2014-01-22 2015-07-30 シャープ株式会社 サーバ、対話装置、対話システム、対話方法および対話プログラム
JP6739907B2 (ja) * 2015-06-18 2020-08-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器特定方法、機器特定装置及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302857A1 (en) * 2013-08-29 2015-10-22 Panasonic Intellectual Property Corporation Of America Device control method, display control method, and purchase settlement method
US20150120294A1 (en) * 2013-10-30 2015-04-30 General Electric Company Appliances for providing user-specific response to voice commands
US20170213559A1 (en) * 2016-01-27 2017-07-27 Motorola Mobility Llc Method and apparatus for managing multiple voice operation trigger phrases

Also Published As

Publication number Publication date
JP2019066731A (ja) 2019-04-25
WO2019069588A1 (ja) 2019-04-11
US20200279566A1 (en) 2020-09-03

Similar Documents

Publication Publication Date Title
US10515641B2 (en) Device control method, device management system, and voice input apparatus
US11862161B2 (en) VAS toggle based on device orientation
US11710487B2 (en) Locally distributed keyword detection
US11651771B2 (en) Home appliance and speech recognition server system using artificial intelligence and method for controlling thereof
CN111164678A (zh) 控制系统
AU2019405936A1 (en) Optimization of network microphone devices using noise classification
CN106971718B (zh) 一种空调及空调的控制方法
US11869503B2 (en) Offline voice control
CN106980359B (zh) 家用电器的控制方法、系统、头戴式设备和服务器
US20220148592A1 (en) Network Device Interaction by Range
US11556307B2 (en) Local voice data processing
US11771866B2 (en) Locally distributed keyword detection
EP2757557B1 (en) Electronic apparatus and voice processing method thereof
WO2019069587A1 (ja) 家電システム
CN111833860A (zh) 智能设备的绑定方法、装置、电子设备及存储介质
CN109976236B (zh) 设备控制方法和装置
US20230261897A1 (en) Display device
JP7036561B2 (ja) 家電システム
KR20150068010A (ko) 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
WO2019073558A1 (ja) 空調用コントローラ
CN113835606B (zh) 一种电子设备及其交互控制系统、方法、交互控制器
US20230252979A1 (en) Gatekeeping for voice intent processing
CN116088322A (zh) 家电设备的控制方法、控制装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200515