CN108205585A - 设施组件的语音控制 - Google Patents

设施组件的语音控制 Download PDF

Info

Publication number
CN108205585A
CN108205585A CN201711373223.2A CN201711373223A CN108205585A CN 108205585 A CN108205585 A CN 108205585A CN 201711373223 A CN201711373223 A CN 201711373223A CN 108205585 A CN108205585 A CN 108205585A
Authority
CN
China
Prior art keywords
computing device
facility
user
component
voice command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711373223.2A
Other languages
English (en)
Other versions
CN108205585B (zh
Inventor
A.L.卡托尔
S.穆克特维
U.普勒蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honeywell International Inc
Original Assignee
Honeywell International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honeywell International Inc filed Critical Honeywell International Inc
Publication of CN108205585A publication Critical patent/CN108205585A/zh
Application granted granted Critical
Publication of CN108205585B publication Critical patent/CN108205585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4604—LAN interconnection over a backbone network, e.g. Internet, Frame Relay
    • H04L12/462—LAN interconnection over a bridge based backbone
    • H04L12/4625—Single bridge functionality, e.g. connection of two networks over a single bridge
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23067—Control, human or man machine interface, interactive, HMI, MMI
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2614—HVAC, heating, ventillation, climate control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39441—Voice command, camera detects object, grasp, move

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Manufacturing & Machinery (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Selective Calling Equipment (AREA)
  • Air Conditioning Control Device (AREA)
  • Navigation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

开了一种设施组件的语音控制。在本文中描述了用于设施的组件的语音控制的设备、方法和系统。一种计算设备装置包括存储器以及处理器，所述处理器被配置为执行存储在存储器中的可执行的指令以从用户接收语音命令或语音查询、确定与计算设备相关联的位置环境信息、以及至少部分地基于与计算设备相关联的位置环境信息来确定设施中的哪个组件或哪些组件与语音命令或语音查询相关联。

Description

设施组件的语音控制
技术领域
本公开涉及用于设施组件的语音控制的设备、方法和系统。
背景技术
可能需要调试、维护、测试和/或检查设施（例如，建筑物）组件,诸如例如设施的采暖、通风和空气调节（HVAC）系统的物体、装备和/或设备。这典型地由设施中的一个或多个用户（例如，技术人员和/或工人）来执行。例如，（多个）用户可以随身携带诸如膝上型计算机、智能电话或平板之类的计算设备遍历设施（例如，到组件在设施中所位于的地方）以用于在执行调试、维护、测试和/或检查任务中使用。然而，如果设施是诸如例如大的商业建筑物（例如，机场、商场、办公楼等）、仓库或提炼厂之类的大的设施，则组件的调试、维护、测试和/或检查对于（多个）用户而言可能是耗时的和/或困难的。
附图说明
图1图示了根据本公开的一个或多个实施例的用于控制设施的组件的系统示例。
图2图示了根据本公开的一个或多个实施例的设施布局图的视觉表示。
图3图示了根据本公开的一个或多个实施例的设施布局图的视觉表示。
具体实施方式
在本文中描述了用于设施组件的语音控制的设备、方法和系统。例如，一个或多个实施例包括存储器和处理器，所述处理器配置成执行存储在存储器中的可执行的指令以从用户接收语音命令或语音查询、确定与计算设备相关联的位置环境信息、以及至少部分地基于与计算设备相关联的位置环境信息来确定设施的哪个组件或哪些组件与语音命令或语音查询相关联。
根据本公开的一个或多个实施例，利用诸如例如设施的采暖、通 风和空气调节（HVAC）系统的物体、装备和/或设备之类的设施（例如，建筑物）的组件的语音控制可以使得调试、维护、测试和/或检查设施的组件对于用户（例如，技术人员和/或工人）而言更迅速和/或更容易，特别是如果设施是诸如例如大的商业建筑物（例如，机场、商场、办公楼等）、仓库或提炼厂之类的大的设施的话。例如，本公开的实施例可以有效地（例如，迅速地并且准确地）标识在调试、维护、测试和/或检查期间用户向其发出语音命令或查询的设施的一个或多个组件。进一步地，本公开的实施例可以有效地（例如，迅速地和/或准确地）识别由用户发出的语音命令或查询。
在以下的详细描述中，参照形成描述的一部分的随附附图。附图通过图示的方式示出了可以如何实施本公开的一个或多个实施例。
足够详细地描述了这些实施例以使本领域普通技术人员能够实施本公开中的一个或多个实施例。要理解的是，可以利用其它实施例并且在不脱离本公开的范围的情况下可以做出机械的、电的和/或处理上的改变。
如将领会的是，可以添加、交换、组合和/或消除在本文中的各种实施例中示出的要素，以便提供本公开的许多附加的实施例。在各图中提供的元件的比例和相对尺度意图图示本公开的实施例，并且不应当是在限制的意义上取得的。
本文中的各图遵循如下的编号惯例：其中一个或多个的第一数位对应于绘制图号并且其余的数位标识附图中的元件或组件。通过类似的数位的使用可以标识在不同的各图之间的类似的元件或组件。例如，220可以提及图2中的元件“20”，并且类似的元件在图3中可以被提及为320。
如在本文中使用的那样，“一个”或“许多个”的某物可以提及一个或多个这样的事物。例如，“许多个组件”可以提及一个或多个组件。附加地，特别是关于附图中的参考标号，如在本文中使用的标志符“N”指示如此标志的许多个特定特征可以是在本公开的许多实施例的情况下被包括的。
图1图示了根据本公开的一个或多个实施例的用于控制设施的组件（例如，组件116-1、116-2、……、116-N）的系统100的示例。设施可以是诸如例如大的商业建筑物（例如，机场、商场、办公楼等）、仓库或提炼厂之类的大的设施。然而，本公开的实施例并不限制于特定类型的设施或建筑物。
设施的组件（例如，在图1中图示的组件116-1、116-2、……、116-N）可以例如包括设施的HVAC组件，诸如例如HVAC系统的温控器和/或通风口。然而，本公开的实施例不被如此限制；除了其它组件之外，组件116-1、116-2、……、116-N还可以包括HVAC系统的任何类型的物体、控制组件、装备、设备、网络、传感器和/或致动器，诸如例如，诸如加热阀和/或冷却阀之类的阀、制冷机（例如，制冷机组）、锅炉（例如，锅炉机组）、诸如热水泵和/或冷水泵之类的泵、风机、压缩机、诸如可变空气体积（VAV）风门之类的风门、空气处理单元（AHU）（例如，AHU机组）、诸如加热盘管和/或冷却盘管的盘管、空气过滤器和/或冷却塔。进一步地，如在本文中使用的“组件”还可以包括和/或提及其它组件之间的连接，诸如连接HVAC系统的其它组件的装备链（例如，风管工程、管道、通风和/或配电装备和/或配气装备）。
作为附加的示例，组件116-1、116-2、……、116-N可以包括设施的照明组件，诸如例如灯开关。作为附加的示例，组件116-1、116-2、……、116-N可以包括设施的安全和/或安防系统的组件，诸如例如摄像头和/或烟雾报警器。
如在图1中示出的那样，系统100可以包括计算设备102。例如，计算设备102可以是例如膝上型计算机、台式计算机或移动设备（例如，智能电话、平板、PDA等）。然而，本公开的实施例并不限制于特定类型的计算设备。
如将在本文中进一步描述的那样，可以由用户（例如，在图1中图示的用户114）使用计算设备102以控制（例如，调试、维护、测试和/或检查）设施的组件116-1、116-2、……、116-N。例如，在其中计算设备102是膝上型计算机或移动设备的实施例中，用户114可以随身携带计算设备102遍历设施（例如，到设施中的组件116-1、116-2、……、116-N的位置）以用于在对组件执行控制任务中使用。作为附加的示例，用户114可以从远距于组件的位置（诸如例如在设施中的别处的控制室或操作室）或者在设施之外的另一个位置处使用计算设备102来控制组件116-1、116-2、……、116-N。用户114可以是例如设施的HVAC、照明、安全和/或安防系统的工人、操作者或技术人员。
如在图1中示出的那样，计算设备102可以包括用户界面108。计算设备102的用户（例如，用户114）可以经由用户界面108与计算设备102交互。例如，用户界面108可以向计算设备102的用户提供（例如，显示和/或呈现）信息，和/或接收来自计算设备102的用户（例如，由其输入）的信息。例如，用户界面118可以显示与其上正在执行控制任务的组件116-1、116-2、……、116-N相关联的信息（例如，数据值、操作参数、读数、状态、动作等）。
在一些实施例中，用户界面108可以是图形用户界面（GUI），其可以包括可以向计算设备102的用户提供信息和/或从计算设备102的用户接收信息的显示器（例如，屏幕）。显示器可以例如是触摸屏幕（例如，GUI可以包括触摸屏幕能力）。作为附加的示例，用户界面108可以包括用户可以使用来将信息输入（例如，录入）到计算设备102中（例如，到用户界面108中）的键盘和/或鼠标。然而，本公开的实施例不限制于特定的（多个）类型的用户界面。
如在图1中示出的那样，计算设备102可以包括麦克风110。例如，可以将麦克风110嵌入（例如，构建到）计算设备102中，如在图1中图示的那样。然而，本公开的实施例不被如此限制。例如，在一些实施例中，可以通过有线或无线连接将麦克风110耦合（例如，连接）到计算设备102，诸如例如有线或无线（例如，蓝牙和/或Wi-Fi）耳机。
麦克风110可以接收来自用户114（例如，由其说出）的语音命令和/或语音查询。可以将由麦克风110接收的语音命令和/或语音查询供给至自动话音识别（ASR）引擎112，这将在本文中被进一步描述。
可以将语音命令和/或语音查询与组件116-1、116-2、……、116-N中的一个或多个相关联（例如，指向组件116-1、116-2、……、116-N中的一个或多个）。例如，语音查询可以包括针对来自组件116-1、116-2、……、116-N中的一个或多个的信息（例如，数据值、操作参数、读数、状态、动作等）的请求，并且语音命令可以包括到组件116-1、116-2、……、116-N中的一个或多个的指令以执行特定的任务或功能。在本文中将进一步描述（例如，与图2和图3有关地）语音命令和语音查询的进一步的示例。
如在图1中示出的那样，计算设备102可以包括存储器104和处理器106。存储器104可以是可以由处理器106访问以执行本公开的各种示例的任何类型的存储介质。例如，存储器104可以是具有存储在其上的计算机可读指令（例如，计算机程序指令）的非暂态计算机可读介质，其是由处理器128可执行的以根据本公开控制设施的组件（例如，组件116-1、116-2、……、116-N）。也就是，处理器128可以执行存储在存储器126中的可执行指令以根据本公开控制设施的组件（例如，组件116-1、116-2、……、116-N）。
存储器104可以是易失性的或非易失性的存储器。存储器104还可以是可移除的（例如，便携式的）存储器或不可移除的（例如，内部的）存储器。例如，除了其它类型的存储器之外，存储器104还可以是随机存取存储器（RAM）（例如，动态随机存取存储器（DRAM）和/或相位改变随机存取存储器（PCRAM））、只读存储器（ROM）（例如，电可擦除可编程只读存储器（EEPROM）和/或光盘只读存储器（CD-ROM））、闪速存储器、激光盘、数字通用盘（DVD）或其它光盘存储和/或诸如磁带盒、磁带或磁盘之类的磁介质。
进一步地，虽然将存储器104图示为位于计算设备102中，但是本公开的实施例并不被如此限制。例如，存储器104还可以位于另外的计算资源的内部（例如，使计算机可读指令能够通过因特网或另外的有线或无线连接被下载）。
如在图1中示出的那样，计算设备102可以包括自动话音识别（ASR）引擎112。例如，可以将ASR引擎112嵌入（例如，构建到）计算设备102中，如在图1中图示的那样。然而，本公开的实施例不被如此限制。例如，在一些实施例中，可以通过有线或无线连接将ASR引擎112耦合（例如，连接）到计算设备102。ASR引擎112可以是设备不可知ASR引擎。
ASR引擎112可以接收（例如，经由麦克风110）来自用户114（例如，由其说出）的语音命令或语音查询。在接收到语音命令或语音查询时，ASR引擎可以利用与计算设备102相关联的位置环境信息来确定（例如，标识）命令或查询将组件116-1、116-2、……、116-N中的哪个与命令或查询相关联（例如，命令或查询被指向哪个（哪些）组件），和/或来识别命令或查询。
例如，在接收到来自用户114的语音命令或语音查询时，ASR引擎112可以确定与计算设备102相关联的位置环境信息。在一些实施例（例如，其中计算设备102是膝上型设备或移动设备并且用户114正随身携带计算设备102遍历设施的实施例）中，与计算设备102相关联的位置环境信息可以例如包括设施中的计算设备102的位置（其可以对应于设施中的用户114的位置）和/或用户114正面向于其的方向。ASR引擎112可以例如除了其它方面之外还使用诸如GPS、指纹、和/或多点定位之类的与计算设备102相关联的室内和/或室外定位技术来确定位置环境信息（例如，设施中的计算设备102的位置）。
在一些实施例（例如，其中用户114正在远距于组件116-1、116-2、……、116-N的位置处使用计算设备102的实施例）中，位置环境信息可以包括设施中的组件中的一个或多个的位置和/或设施中的另外的用户的位置，诸如例如其正在关于设施的HVAC、照明、安全和/或安防系统作出投诉的用户的位置。在这样的实施例中，ASR引擎102可以经由用户界面108从用户114接收位置环境信息（例如，设施中的（多个）组件和/或用户的位置）。例如，用户114可以将位置环境信息输入（例如，录入）到用户界面108中。
在一些实施例（例如，其中计算设备102是膝上型设备或移动设备并且用户114正随身携带计算设备102遍历设施的实施例）中，与计算设备102相关联的位置环境信息可以包括组件116-1、116-2、……、116-N中的哪个组件或哪些组件位于计算设备120的特定接近度内（例如，最接近于计算设备120）。在这样的实施例中，ASR引擎112可以使用存储在ASR引擎112中的包括设施中的组件116-1、116-2、……、116-N的位置连同设施中的计算设备102的位置的设施的布局图来确定位置环境信息（例如，哪个（哪些）组件位于计算设备120的特定接近度内）。例如，可以随着用户114遍历设施移动而基于对计算设备102位置的更新来动态地更新布局图（布局图可以被动态地更新以例如随着用户114遍历设施移动而反映对计算设备102位置的更新）。可以将布局图预加载到计算设备102，或可以在操作期间由计算设备102动态地下载布局图。在本文中将进一步描述（例如，有关于图2和图3）这样的布局图的示例。
ASR引擎112然后可以至少部分地基于与计算设备102相关联的位置环境信息来确定（例如，标识）组件116-1、116-2、……、116-N中的哪个组件或哪些组件与来自用户114的语音命令或语音查询相关联。例如，在图1中图示的示例中，位置环境信息可以指示组件116-1最接近于计算设备102，并且ASR引擎112可以基于该信息确定组件116-1与语音命令或语音查询相关联。
像这样，ASR引擎112可以确定设施的哪个（哪些）组件与语音命令或语音查询相关联而不用用户114必须在命令或查询中明确地标识该（多个）组件。这可以使得在设施中执行调试、维护、测试和/或检查任务对于用户114而言更迅速和/或更容易。
ASR引擎112还可以至少部分地基于与计算设备102相关联的位置环境信息来识别来自用户114的语音命令或语音查询。例如，ASR引擎112可以基于位置环境信息针对ASR引擎112中的命令和/或查询搜索（例如，话音知识）空间中的语音命令或语音查询来搜索。例如，ASR引擎112可以仅针对可应用于组件116-1、116-2、……、116-N中的一个或多个组件的搜索空间中的命令或查询来搜索，所述一个或多个组件位于计算设备120的特定接近度内（例如，最接近于计算设备120）。
像这样，ASR引擎112可以在搜索空间中定位来自用户114的语音命令或语音查询而不用必须在搜索空间中遍及所有的命令和/或查询来进行搜索。相应地，ASR引擎112可以更高效地（例如，更迅速和/或更准确地）识别出由用户发出的语音命令或语音查询。
命令和/或查询搜索空间可以包括加权的有限空间转换器（WFST），所述加权的有限空间转换器（WFST）可以针对在与来自用户的语音命令或语音查询相关联的话音信号中的句音（senone）提供后验概率信息，并且可以使用搜索算法在WFST上执行针对可能的词假设的搜索。进一步地，可以基于与计算设备120相关联的位置环境信息来动态地更新WFST（WFST可以被动态地更新以例如反映对与计算设备120相关联的位置环境信息的更新）。例如，WFST可以包括灵活的基于HMM上下文词典语法（HCLG）的词典和语法组件，可以基于位置环境信息来动态地更新所述词典和语法组件。例如，WFST可以编码表示话音知识的基于HCLG的图表，并且可以基于哪个（哪些）组件位于计算设备120的特定接近度内来动态地更新WFST。这样的动态的更新可以进一步增强语音命令或查询的ASR引擎的识别的有效性。
进一步地，在一些实施例中，ASR引擎112可以至少部分地基于识别的语音命令或语音查询来确定组件116-1、116-2、……、116-N中的哪个组件或哪些组件与来自用户114的语音命令或语音查询相关联。也就是，ASR引擎112可以至少部分地基于命令或查询本身来确定哪个（哪些）组件与语音命令或语音查询相关联。例如，ASR引擎112可以至少部分地基于包括在命令或查询中的词和/或短语来确定哪个（哪些）组件与语音命令和/或查询相关联。
当ASR引擎112识别出从用户114接收的语音命令或语音查询时，计算设备102可以将识别出的命令或查询发送（例如，传输）到由ASR引擎112确定（例如，标识）为与命令或查询相关联的组件116-1、116-2、……、116-N中的一个或多个组件。例如，在图1中图示的示例（例如，其中已经确定组件116-1是与命令或查询相关联的组件）中，计算设备102可以将识别出的命令或查询发送到组件116-1。在接收到命令或查询时，所标识的（多个）组件（例如，在图1中图示的示例中的组件116-1）然后可以处理并且执行命令或查询。
例如，计算设备102可以经由有线或无线网络（为了清楚，在图1中未示出，并且以便不模糊本公开的实施例）将识别的语音命令或语音查询发送到组件116-1。网络例如可以是计算设备102和组件116-1、116-2、……、116-N可以通过其来通信的网络关系。除了其它类型的网络关系之外，这样的网络关系的示例还可以包括分布式计算环境（例如，云计算环境）、诸如因特网之类的广域网（WAN）、局域网（LAN）、个域网（PAN）、校园区域网（CAN）或城域网（MAN）。例如，网络可以包括许多个服务器，所述许多个服务器经由有线或无线网络接收识别出的语音命令或语音查询，并且经由有线或无线网络将接收的命令或查询传输到组件116-1。
如在本文中使用的那样，“网络”可以提供直接地或间接地链接两个或更多个计算机和/或外围设备的通信系统，并且允许用户访问其它计算设备上的资源以及与其它用户交换消息。网络可以允许用户与其它网络用户共享他们自己的系统上的资源，并且允许用户访问在居中定位的系统上或者在位于远程位置处的系统上的信息。例如，网络可以将许多个计算设备连在一起以形成分布式控制网络（例如，云）。
网络可以提供到因特网和/或到其它实体（例如，组织、机构等）的网络的连接。用户可以与网络使能的软件应用交互以做出网络请求，诸如得到文件或在网络打印机上打印。应用还可以与网络管理软件通信，所述网络管理软可以与网络硬件交互以在网络上的设备之间传输信息。
图2图示了根据本公开的一个或多个实施例的设施的布局图220的视觉表示。在图2中图示的示例中，布局图220是设施的楼面的布局图。可以将布局图220存储在先前有关于图1描述的ASR引擎112中。
如在图2中示出的那样，布局图220包括（例如，图示）设施的楼面中的各种组件的位置，诸如HVAC通风口224-1、224-2、224-3、224-4、224-5、224-6、224-7、224-8、224-9、224-10、224-11和224-12（其可以被统称为HVAC通风口224）、烟雾报警器226-1、226-2、226-3、226-4、226-5、226-7和226-8（其可以被统称为烟雾报警器226）、温控器228-1、228-2、228-3、228-4、228-5、228-6、228-7、228-8和228-9（其可以被统称为温控器228）以及摄像头230-1和230-2（其可以被统称为摄像头230）。例如，HVAC通风口224-1、烟雾报警器226-1和温控器228-2位于设施的楼面的空间232-1中，HVAC通风口224-4和224-5、烟雾报警器226-2和温控器228-3位于设施的楼面的空间232-2中，并且其它HVAC通风口224、烟雾报警器226、温控器228和摄像头230位于设施的楼面的其它相应空间232-3、232-4、232-5、232-6、232-7、232-8和232-9中，如在图2中图示的那样。
如在图2中示出的那样，布局图220还包括（例如，图示）设施的楼面中的用户222-1和222-2的位置（例如，当前位置）。例如，用户222-1位于空间232-9的右侧，并且用户222-2位于空间232-4中，如在图2中图示的那样。
用户222-1和222-2每个可以正携带着类似于先前有关于图1描述的计算设备102的计算设备。例如由每个相应的用户222-1和222-2携带的计算设备可以包括类似于先前有关于图1描述的ASR引擎112的ASR引擎。像这样，由每个相应的用户222-1和222-2携带的计算设备可以确定与其相关联的位置环境信息，诸如例如其在设施的楼面中的位置，如先前有关于图1描述的那样。由用户222-1携带的计算设备的位置可以对应于设施中的用户222-1的位置，并且由用户222-2携带的计算设备的位置可以对应于设施中的用户222-2的位置，并且可以将这些位置包括在布局图220中，如在图2中图示的那样。此外，当用户222-1和222-2遍历设施的楼面移动时，可以动态地更新在布局图220中的他们的相应的位置以反映他们的相应的移动，如先前有关于图1描述的那样。
在图2中图示的示例中，用户222-1和222-2可以是已经响应于关于设施中的温度的投诉而被其召唤到设施的HVAC技术人员。当在图2中图示的他们的相应的位置处时，用户222-1和222-2可以发出语音查询以得到在他们的相应的附近的温度。基于由布局图220提供的位置环境信息，由用户222-1携带的计算设备可以确定温控器228-7是设施中至用户222-1最近的温控器，并且因此可以确定由用户222-1发出（例如，说出）的查询与温控器228-7相关联（例如，指向温控器228-7）（例如，不用用户222-1必须在查询中具体地标识温控器228-7）。类似地，基于由布局图220提供的位置环境信息，由用户222-2携带的计算设备可以确定温控器228-4是设施中至用户222-2最近的温控器，并且因此可以确定由用户222-2发出的查询与温控器228-4相关联（例如，不用用户222-2必须在查询中具体地标识温控器228-4）。
因此，由用户222-1携带的计算设备可以将温度查询发送到温控器228-7，并且由用户222-2携带的计算设备可以将温度查询发送到温控器228-4。温控器228-7和228-4可以通过向相应的计算设备发送它们的相应的温度读数来回应相应的查询，可以将所述温度读数提供（例如，显示）给用户222-1和222-2（例如，将温控器228-7的温度读数提供给用户222-1，并且将温控器228-4的温度读数提供给用户222-2）。
在该示例中继续，用户222-1和222-2还可以发出语音查询以得到在图2中图示的它们的相应的位置处的HVAC通风口的状态。基于由布局图220提供的位置环境信息，由用户222-1携带的计算设备可以确定HVAC通风口224-3和224-11是设施中至用户222-1最近的通风口，并且因此可以确定由用户222-1发出（例如，说出）的查询与通风口224-3和224-11相关联（例如，指向通风口224-3和224-11）（例如，不用用户222-1必须具体地标识通风口224-3和224-11）。类似地，基于由布局图220提供的位置环境信息，由用户222-2携带的计算设备可以确定HVAC通风口224-6是设施中至用户222-2最近的通风口，并且因此可以确定由用户222-2发出的查询与通风口224-6相关联（例如，不用用户222-2必须具体地标识通风口224-6）。
因此，由用户222-1携带的计算设备可以将通风口状态查询发送到HVAC通风口224-3和224-11，并且由用户222-2携带的计算设备可以将通风口状态查询发送到HVAC通风口224-6。通风口224-3、224-11和224-6可以通过向相应的计算设备发送它们的相应的状态来回应相应的查询，可以将所述状态提供（例如，显示）给用户222-1和222-2（例如，将通风口224-3和224-11的状态提供给用户222-1，并且将通风口224-6的状态提供给用户222-2）。
如果用户222-1和222-2确定关于温度的投诉是由于通风口的状态，诸如例如通过通风口的高风量，则用户222-1和222-2可以发出语音命令以调节所有通风口以减小在它们的相应的附近的风量。基于由布局图220提供的位置环境信息，由用户222-1携带的计算设备可以确定来自用户222-1的命令与通风口224-3和224-11相关联，并且因此可以将命令发送到通风口224-3和224-11。类似地，由用户222-2携带的计算设备可以确定来自用户222-1的命令与通风口224-6相关联，并且因此可以将命令发送到通风口224-6。在接收到相应的命令时，通风口224-3、224-11和224-6可以减小它们的风量。
此外，由布局图220提供的位置环境信息可以指示虽然在用户222-1的附近存在若干组件（例如，HVAC通风口224-3和224-11、烟雾报警器226-6和226-7、温控器228-7以及摄像头230-1和230-2），但是在用户222-1的附近的组件仅是HVAC通风口224-6和温控器228-4。像这样，由用户222-2携带的计算设备可以通过仅针对可应用于HVAC通风口和温控器的查询和命令搜索其ASR引擎的搜索空间（例如，WFST）来识别由用户222-2发出的语音查询和语音命令，而由用户222-1携带的计算设备可能需要针对可应用于烟雾报警器和摄像头以及HVAC通风口和温控器的查询和命令来搜索其搜索空间，以识别由用户222-1发出的语音查询和命令。
图3图示了根据本公开的一个或多个实施例的设施的布局图320的视觉表示。布局图220可以类似于先前有关于图2描述的布局图220。例如，布局图320以类似于先前有关于图2描述的方式的方式包括在设施的楼面的空间332中的HVAC通风口324、烟雾报警器326、温控器328和摄像头330的位置。
如在图3中示出的那样，布局图320还包括（例如，图示）设施的楼面中的用户322的位置（例如，当前位置）。例如，用户322位于空间332-2中，如在图3中图示的那样。用户322可以正携带着类似于先前有关于图1描述的计算设备102的计算设备。例如，由用户322携带的计算设备可以包括类似于先前有关于图1描述的ASR引擎112的ASR引擎。像这样，由用户322携带的计算设备可以确定与其相关联的位置环境信息，诸如例如其在设施的楼面中的位置，如先前有关于图1描述的那样。由用户322携带的计算设备的位置可以对应于设施中的用户322的位置，如在图3中图示的那样。此外，随着用户322遍历设施的楼面移动，可以动态地更新他的/她的在布局图320中的位置以反映他的/她的移动，如先前有关于图1描述的那样。
当在图3中图示的他的/她的位置处时，用户322可以发出语音命令以“将灯接通”。基于由布局图320提供的位置环境信息，由用户322携带的计算设备可以确定用户322位于设施中的空间332-2中，并且因此可以确定命令与空间332-2的照明组件相关联（例如，不用用户322必须在命令中具体地标识空间332-2）。因此，计算设备可以将命令发送到空间332-2的照明组件，并且在接收到命令时空间332-2中的照明组件可以接通。
虽然在本文中已经图示和描述了具体实施例，但是本领域普通技术人员将领会，被计划以实现相同的技术的任何布置可以替代所示出的具体实施例。本公开意图覆盖本公开的各种实施例的任何和所有适配或变化。
要理解的是，已经以说明的方式而不是限制的方式做出了以上描述。在回顾以上描述时，在本文中未具体描述的以上实施例的组合以及其它实施例对于本领域技术人员来说将是显而易见的。
本公开的各种实施例的范围包括在其中使用以上结构和方法的任何其它应用。因此，应当参照所附的权利要求、连同这样的权利要求有权享有的等同物的完整范围一起来确定本公开的各种实施例的范围。
在前述的详细描述中，为了精简本公开的目的，在各图中图示的示例实施例中将各种特征分组在一起。本公开的方法不被解释为反映本公开的实施例要求比明确地记载在每个权利要求中更多的特征的意图。
相反，如以下权利要求反映的那样，创新的主题内容在于少于单个公开的实施例的所有特征。因此，以此将以下权利要求合并到详细描述中，其中每个权利要求按其自身独立作为单独的实施例。

Claims (10)

1.一种用于控制设施的组件（116-1，116-2，…，116-N）的计算设备（102），包括：
存储器（104）；以及
处理器（106），其被配置为执行存储在存储器（104）中的可执行的指令以：
从用户（114）接收语音命令或语音查询；
确定与计算设备（102）相关联的位置环境信息；以及
至少部分地基于与计算设备（102）相关联的位置环境信息来确定设施中的哪个组件或哪些组件（116-1，116-2，…，116-N）与语音命令或语音查询相关联。
2.如权利要求1所述的计算设备（102），其中处理器（106）被配置为执行可执行的指令以至少部分地基于与计算设备（102）相关联的位置环境信息来识别语音命令或语音查询。
3.如权利要求1所述的计算设备（102），其中与计算设备（102）相关联的位置环境信息包括设施中的计算设备（102）的位置。
4.如权利要求1所述的计算设备（102），其中处理器（106）被配置为执行可执行的指令以使用与计算设备（102）相关联的定位技术来确定与计算设备（102）相关联的位置环境信息。
5.如权利要求1所述的计算设备（102），其中与计算设备（102）相关联的位置环境信息包括用户（114）正在面向的方向。
6.如权利要求1所述的计算设备（102），其中计算设备（102）是移动设备。
7.如权利要求1所述的计算设备（102），其中与计算设备（102）相关联的位置环境信息包括设施中的哪个组件或哪些组件（116-1，116-2，…，116-N）处于计算设备（102）的特定接近度内。
8.如权利要求1所述的计算设备（102），其中处理器（106）被配置为执行可执行的指令，以使用存储在计算设备（102）中的设施的布局图（220，320）来确定与计算设备（102）相关联的位置环境信息。
9.如权利要求1所述的计算设备（102），其中设施的布局图（220，320）包括设施中的计算设备（102）的位置。
10.如权利要求1所述的计算设备（102），其中处理器（106）被配置为执行可执行的指令以在接收到语音命令或语音查询时确定与计算设备（102）相关联的位置环境信息。
CN201711373223.2A 2016-12-19 2017-12-19 设施组件的语音控制 Active CN108205585B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/382982 2016-12-19
US15/382,982 US10429817B2 (en) 2016-12-19 2016-12-19 Voice control of components of a facility

Publications (2)

Publication Number Publication Date
CN108205585A true CN108205585A (zh) 2018-06-26
CN108205585B CN108205585B (zh) 2023-11-07

Family

ID=60413064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711373223.2A Active CN108205585B (zh) 2016-12-19 2017-12-19 设施组件的语音控制

Country Status (3)

Country Link
US (2) US10429817B2 (zh)
EP (1) EP3336837B1 (zh)
CN (1) CN108205585B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3542231A4 (en) * 2018-01-19 2020-10-07 Schneider Electric Buildings, LLC INTELLIGENT COMMISSIONING OF BUILDING AUTOMATION CONTROL DEVICES
KR102443052B1 (ko) * 2018-04-13 2022-09-14 삼성전자주식회사 공기 조화기 및 공기 조화기의 제어 방법
US10852023B2 (en) * 2018-05-15 2020-12-01 Johnson Controls Technology Company Building management autonomous HVAC control using reinforcement learning with occupant feedback
US10845081B2 (en) * 2018-05-16 2020-11-24 Johnson Controls Technology Company Building management HVAC control using user voice feedback
KR20200076441A (ko) * 2018-12-19 2020-06-29 삼성전자주식회사 전자 장치 및 그의 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110054900A1 (en) * 2007-03-07 2011-03-03 Phillips Michael S Hybrid command and control between resident and remote speech recognition facilities in a mobile voice-to-speech application
US20140039888A1 (en) * 2012-08-01 2014-02-06 Google Inc. Speech recognition models based on location indicia
CN104570996A (zh) * 2013-10-14 2015-04-29 霍尼韦尔国际公司 具有语音控制的建筑物自动化系统
US20150120297A1 (en) * 2013-10-24 2015-04-30 Honeywell International Inc. Voice-responsive building management system
CN105659179A (zh) * 2013-08-21 2016-06-08 霍尼韦尔国际公司 用于与hvac控制器相交互的设备和方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319045A (ja) 2000-05-11 2001-11-16 Matsushita Electric Works Ltd 音声マンマシンインタフェースを用いたホームエージェントシステム、及びプログラム記録媒体
US7224981B2 (en) 2002-06-20 2007-05-29 Intel Corporation Speech recognition of mobile devices
US20060293892A1 (en) * 2005-06-22 2006-12-28 Jan Pathuel Biometric control systems and associated methods of use
US8527278B2 (en) * 2009-06-29 2013-09-03 Abraham Ben David Intelligent home automation
RU2609027C2 (ru) * 2011-03-29 2017-01-30 Ликвидпистон, Инк. Циклоидный роторный двигатель (варианты)
EP2845191B1 (en) * 2012-05-04 2019-03-13 Xmos Inc. Systems and methods for source signal separation
US9886794B2 (en) * 2012-06-05 2018-02-06 Apple Inc. Problem reporting in maps
US9418672B2 (en) * 2012-06-05 2016-08-16 Apple Inc. Navigation application with adaptive instruction text
US8866604B2 (en) * 2013-02-14 2014-10-21 Ford Global Technologies, Llc System and method for a human machine interface
US10593326B2 (en) 2013-04-25 2020-03-17 Sensory, Incorporated System, method, and apparatus for location-based context driven speech recognition
US9646606B2 (en) * 2013-07-03 2017-05-09 Google Inc. Speech recognition using domain knowledge
US9734694B2 (en) * 2013-10-04 2017-08-15 Sol Mingso Li Systems and methods for programming, controlling and monitoring wireless networks
CA3122468C (en) * 2013-10-07 2023-10-17 Google Llc Smart-home hazard detector providing non-alarm status signals at opportune moments
US11651258B2 (en) * 2014-01-08 2023-05-16 Yechezkal Evan Spero Integrated docking system for intelligent devices
US9842592B2 (en) * 2014-02-12 2017-12-12 Google Inc. Language models using non-linguistic context
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
EP3292454A1 (en) * 2015-05-04 2018-03-14 Johnson Controls Technology Company Multi-function home control system with control system hub and remote sensors
US10788800B2 (en) * 2015-06-05 2020-09-29 Apple Inc. Data-driven context determination

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110054900A1 (en) * 2007-03-07 2011-03-03 Phillips Michael S Hybrid command and control between resident and remote speech recognition facilities in a mobile voice-to-speech application
US20140039888A1 (en) * 2012-08-01 2014-02-06 Google Inc. Speech recognition models based on location indicia
CN104509079A (zh) * 2012-08-01 2015-04-08 谷歌公司 基于位置标记的语音识别模型
CN105659179A (zh) * 2013-08-21 2016-06-08 霍尼韦尔国际公司 用于与hvac控制器相交互的设备和方法
CN104570996A (zh) * 2013-10-14 2015-04-29 霍尼韦尔国际公司 具有语音控制的建筑物自动化系统
US20150120297A1 (en) * 2013-10-24 2015-04-30 Honeywell International Inc. Voice-responsive building management system

Also Published As

Publication number Publication date
US10429817B2 (en) 2019-10-01
US20180173195A1 (en) 2018-06-21
US11003163B2 (en) 2021-05-11
US20190361422A1 (en) 2019-11-28
EP3336837B1 (en) 2020-05-13
CN108205585B (zh) 2023-11-07
EP3336837A1 (en) 2018-06-20

Similar Documents

Publication Publication Date Title
CN108205585A (zh) 设施组件的语音控制
US20200286482A1 (en) Processing voice commands based on device topology
JP7198861B2 (ja) ホームオートメーションのためのインテリジェントアシスタント
US11354089B2 (en) System and method for dialog interaction in distributed automation systems
US10185534B2 (en) Control method, controller, and recording medium
US11119723B2 (en) User-adaptive volume selection
JP2019003190A (ja) 音声エージェントの進行
TWI653604B (zh) 求助系統及方法
JP2018206385A (ja) ユーザの位置及び空間に適した情報を能動的に提供する方法及び装置
CN106571143A (zh) 智能设备的控制方法及装置
US20220207289A1 (en) Device selection apparatus, data set selection apparatus, method for selecting device, and program
US11906179B2 (en) Air conditioning control device, air conditioning control method, and program using voice control
US9900370B2 (en) Apparatus and method for controlling execution of mashup web of things service
US10728606B2 (en) Method and apparatus for software agent on TV constructs infographics and displays based on overheard information
Huynh et al. Jarvis: A voice-based context-as-a-service mobile tool for a smart home environment
JP7328304B2 (ja) デジタル音声アシスタントコンピューティングデバイスの間の信号処理の調整
US20220310066A1 (en) Electronic device for performing task corresponding to voice command and operation method therefor
KR20220067086A (ko) 서비스 문의 관리 기반의 하우스케어 중개 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant