CN110163105B - 基于人工智能的中控芯片及方法 - Google Patents

基于人工智能的中控芯片及方法 Download PDF

Info

Publication number
CN110163105B
CN110163105B CN201910316010.9A CN201910316010A CN110163105B CN 110163105 B CN110163105 B CN 110163105B CN 201910316010 A CN201910316010 A CN 201910316010A CN 110163105 B CN110163105 B CN 110163105B
Authority
CN
China
Prior art keywords
information
equipment
control information
identification
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910316010.9A
Other languages
English (en)
Other versions
CN110163105A (zh
Inventor
廖裕民
温永杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockchip Electronics Co Ltd
Original Assignee
Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockchip Electronics Co Ltd filed Critical Rockchip Electronics Co Ltd
Priority to CN201910316010.9A priority Critical patent/CN110163105B/zh
Publication of CN110163105A publication Critical patent/CN110163105A/zh
Application granted granted Critical
Publication of CN110163105B publication Critical patent/CN110163105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开基于人工智能的中控芯片及方法，其中中控芯片包括如下单元：人脸检测单元、人脸分类运算单元、神经网络参数单元、设备中央控制单元、语音识别单元和设备信息存储单元，语音识别单元用于对获取到的声音信息进行识别得到设备控制的语义信息；人脸检测单元用于获取图像信息的中人脸图像；人脸分类运算单元用于根据人脸分类神经网络数据和人脸图像识别人脸图像对应的用户信息；设备中央控制单元用于根据识别的用户信息、语义信息在存储的对应关系中匹配对应的设备初始控制信息并发送设备初始控制信息到受控设备。本方案针对不同的用户可以实现对受控设备的不同控制。

Description

基于人工智能的中控芯片及方法
技术领域
本发明涉及人工智能技术领域，尤其涉及基于人工智能的中控芯片及方法。
背景技术
当前技术中，智能音箱设备可以对用户的语音进行响应和回答，还可以实现对家庭设备(受控设备)的控制，如控制空调或者电视等。但是还有很多的不足。
1、只能通过声音进行用户判断，信息源过少，容易产生误判。
2、控制家电(比如电视，洗衣机)时只能做简单控制，对于设置较为复杂的控制，只能使用默认配置，很难符合每个用户的使用习惯。每个用户在使用特定的家电时都有自己的使用习惯，比如，某个用户使用空调都喜欢设置25度，喜欢打开除湿功能。使用电视喜欢看中央一台，亮度设为80，音量设为50。使用滚筒洗衣机，习惯调到25度洗涤，洗涤时间为50分钟，洗涤模式为轻柔模式。如果用户想让一个家电设备达到自己的使用习惯，目前的方法只能是花大量时间来把家电设备置为自己需要的工作模式或者习惯的设置。甚至是更换到一台相同型号的设备时，仍需要做以上重复设置的工作。而且每次重新开启家电，对于不带自动记忆功能的家电很可能需要重新设置。
3、不会针对不同用户去主动学习各个用户的各种习惯，不够人性化。
发明内容
为此，需要提供基于人工智能的中控芯片及方法，解决家庭设备的语音中控设备人性化不足的问题。
为实现上述目的，发明人提供了基于人工智能的中控芯片，包括如下单元：
人脸检测单元、人脸分类运算单元、神经网络参数单元、设备中央控制单元、语音识别单元和设备信息存储单元，其中：
语音识别单元用于对获取到的声音信息进行识别得到设备控制的语义信息；
人脸检测单元用于获取图像信息的中人脸图像；
神经网络参数单元用于存储人脸分类神经网络数据；
人脸分类运算单元用于根据人脸分类神经网络数据和人脸图像识别人脸图像对应的用户信息；
设备信息存储单元用于存储语义信息、设备初始控制信息与用户信息的对应关系；
设备中央控制单元用于根据识别的用户信息、语义信息在存储的对应关系中匹配对应的设备初始控制信息并发送设备初始控制信息到受控设备。
进一步地，设备中央控制单元用于根据识别的用户信息、语义信息在存储的对应关系中没有匹配对应的设备初始控制信息时进行初始化训练，设备中央控制单元用于在初始化训练时根据语义信息进行受控设备信息识别和控制信息识别，将识别后的信息作为设备初始控制信息并与用户信息存储到设备信息存储单元。
进一步地，受控设备信息识别包括受控设备类别识别和设备品牌识别；
控制信息识别包括公共参数设置识别和特有功能设置识别。
进一步地，设备中央控制单元还用于根据识别到的语义信息为调整控制信息后，发送调整后的控制信息到受控设备并根据用户信息和调整控制信息更新设备初始控制信息。
进一步地，还包括扩音器，所述设备中央控制单元用于在发送设备初始控制信息到受控设备后驱动扩音器发出提示信息。
本发明提供基于人工智能的中控芯片控制方法，包括如下步骤：
对获取到的声音信息进行识别得到设备控制的语义信息；
获取图像信息的中人脸图像；
根据预存的人脸分类神经网络数据和人脸图像识别人脸图像对应的用户信息；
根据识别的用户信息、语义信息在存储的对应关系中匹配对应的设备初始控制信息并发送设备初始控制信息到受控设备。
进一步地，还包括步骤：
根据识别的用户信息、语义信息在存储的对应关系中没有匹配对应的设备初始控制信息时进行初始化训练，根据语义信息进行受控设备信息识别和控制信息识别，将识别后的信息作为设备初始控制信息并存储设备初始控制信息与用户信息的对应关系。
进一步地，受控设备信息识别包括受控设备类别识别和设备品牌识别；
控制信息识别包括公共参数设置识别和特有功能设置识别。
进一步地，还包括步骤：
根据识别到的语义信息为调整控制信息后，发送调整后的控制信息到受控设备并根据用户信息和调整控制信息更新设备初始控制信息。
进一步地，还包括步骤：在发送设备初始控制信息到受控设备后驱动扩音器发出提示信息。
区别于现有技术，上述技术方案具有如下优点：1、通过声音识别用户的同时加入视频图像识别来确认不同的用户，大幅减少误判几率。2、会针对不同用户建立对应关系，针对不同的用户可以实现对受控设备的不同控制。
附图说明
图1为具体实施方式所述的方法流程图；
图2为具体实施方式所述的语音芯片结构图。
附图标记说明：
201、摄像头； 202、麦克风；
203、人脸检测单元； 204、人脸分类运算单元；
205、神经网络参数单元； 206、设备中央控制单元；
231、扩音器； 208、语音识别单元；
217、关键字唤醒单元； 207、受控设备。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
请参阅图1到图2，本实施例提供基于人工智能的中控芯片控制方法，可以应用在图2的中控芯片上，用于实现对受控设备的控制。控制方法包括如下步骤：步骤S101对获取到的声音信息进行识别得到设备控制的语义信息；步骤S102获取图像信息的中人脸图像；步骤S103根据预存的人脸分类神经网络数据和人脸图像识别人脸图像对应的用户信息；步骤S104根据识别的用户信息、语义信息在存储的对应关系中匹配对应的设备初始控制信息并发送设备初始控制信息到受控设备。
其中，设备初始控制信息即设备开启时的各项功能初始控制信息，如空调的初始温度、初始模式等，电视的初始频道、声音等。不同的用户、不同的设备对应不同的设备初始控制信息。本方法通过采集对应的人脸信息，自动匹配对应的用户信息，并根据用户声音信息识别出用户的语义信息，即用户的要控制的设备信息；而后根据存储的用户信息、语义信息以及设备初始控制信息的对应关系，匹配出与用户相关的控制设备的设备初始控制信息，从而实现对用户要控制设备的自动化进行与用户有关的初始控制。这样会针对不同用户建立对应关系，不同的用户可以实现对受控设备的不同控制，提高用户体验。以及通过声音识别用户的同时加入视频图像识别来确认不同的用户，大幅减少误判几率。其中，声音识别或者称语音活动检测(VoiceActivity Detection)可以采用现有的技术，如可以采用RNN(循环神经网络，Recurrent Neural Network)语音识别的方式。
其中，步骤S103中，人脸分类神经网络数据是预存在中控芯片内的，这个数据可以通过对人脸信息进行神经网络训练得到。训练阶段需要用户对中控芯片中的CNN(Convolutional Neural Network，卷积神经网络)人脸分类运算单元进行神经网络参数训练，使其能够正确对经常使用该设备的几个用户人脸图像进行分辨识别。具体训练方法如下：
开启摄像头，可以用语音提示用户对准摄像头开始人脸识别。当人脸检测单元检测到人脸后，先设置当前进行训练的是用户1，然后让用户1继续进行图像采集，摄像头采集图像供人脸检测单元进行人脸检测，人脸检测将检测到的人脸图像送往CNN人脸分类运算单元进行训练。当训练图像达到一定数量，并且识别正确率达到预设值(比如90％)后，完成用户1的训练，此时可以语音提醒用户1已经完成训练。同时可以存储用户1的人脸图像，后续如果采集到的人脸图像与该人脸图像相匹配，则当前采集的人脸对应的用户即为用户1。
而后开始用户2的训练，训练过程一样，当训练图像达到一定数量，并且识别正确率达到预设值(比如90％)后，完成用户2的训练。当所有用户完成训练后，将训练得到的网络参数送往神经网络参数单元。同时将用户信息存储起来，可以存储在中控芯片的存储器上或者是网络数据库上。在识别的时候，人脸信息识别单元还用于在训练阶段负责识别人脸的一些基本信息，比如性别，年龄等。并将这些信息作为用户的基本信息存储到该用户的存储器或者数据库中。而后在进行人脸识别的时候就可以识别到对应的用户信息。
在受控设备刚刚连接的时候或者用户信息还是新用户时，此时还不会有用户信息与设备初始控制信息的对应关系，则需要初始化训练。在进行初始化训练的时候，本发明还包括步骤S105：根据识别的用户信息、语义信息在存储的对应关系中没有匹配对应的设备初始控制信息时进行初始化训练，根据语义信息进行受控设备信息识别和控制信息识别，将识别后的信息作为设备初始控制信息并存储设备初始控制信息与用户信息的对应关系。受控设备信息识别即识别用户语音中的设备信息，如用户说打开空调，则对应的设备信息为空调。控制信息为初始的对受控设备每项功能的控制信息，如用户可以说设定温度为23度，则控制信息为初始温度为23度。这样存储对应的空调信息、23度温度信息为设备初始控制信息并与用户信息进行关联。下一次该用户说打开空调的时候，则中控芯片根据存储的设备初始控制信息自动打开空调并设定温度为23度，这样就实现了初始化训练。这样可以针对不同用户会进行主动学习和完善，方便不同用户的使用。
优选实施例中，受控设备信息识别包括受控设备类别识别和设备品牌识别；控制信息识别包括公共参数设置识别和特有功能设置识别。设备类别识别用于识别用户想要控制的受控设备的类别。如可以将受控设备按照功能分类：如冰箱，洗衣机，空调，电视，消毒柜等。设备品牌识别用于识别用户想要控制的设备的品牌。如在功能分类下，进一步对每类设备进行品牌分类。如海尔、美的等。如用户可以说打开空调，海尔的，即可以识别到对应的海尔的空调。当然在某些实施例中，还可以进行设备型号的识别，即可以通过用户说出对应的型号来实现对对应型号设备的控制信息的初始化。为了减少重复存储和方便统计使用习惯，控制信息识别中，每一个设备类别都存有共性的初始化控制信息，这些共性控制信息的识别即为公共参数设置识别，比如空调分类中，制冷多少度、制热多少度、风力几级、上下摆风、左右摆风等；比如电视分类中，初始频道是哪个频道、音量大小等。而后特有功能设置识别是针对每一类设备中特有功能进行识别，如海尔空调可以设置等离子风或者海信的电视机特有的3D功能是否打开等，则用户可以语音说出等离子风开启，则中控芯片就会存储特有功能设置的设置信息。这样可以实现有针对性的设备信息的识别和控制信息的识别，实现对设备针对性的控制。
当然，在具体中控芯片进行信息识别的时候，为了提高识别效率，可以由中控芯片驱动扩音器根据要识别的信息发出对应的问题，而后识别用户简单的回答来进行信息识别，这样用户无需说很长的话，避免无法识别到对应的信息。如要识别受控设备类别，中控芯片可以语音提示用户“请说出要控制设备的类别，如电视机、空调”，这样用户只需要说空调，就实现对受控设备类别的识别。对控制信息的识别可以通过与受控设备交互来获取到功能的列表。功能列表包含公共参数和特有功能。而后中控芯片可以根据功能列表的每项功能进行播放并获取用户通过语音设定的结果。如要识别特定的功能控制信息，中控芯片可以通过与受控设备交互获取到受控设备的特定功能，而后将该功能通过语音发出，让用户选择是否进行设置，用户只需要回答是或者否即可，这样提高识别率和效率。
为了实现对设备初始控制信息的更新，还包括步骤S106：根据识别到的语义信息为调整控制信息后，发送调整后的控制信息到受控设备并根据用户信息和调整控制信息更新设备初始控制信息。如用户说设定空调温度为24度，则中控芯片识别到是调整受控设备功能的调整控制信息后，发送控制信息24度到对应的空调，从而实现对设备的控制，以及更新设备初始控制信息中的空调温度为24度。这样下次再次启动的时候，可以直接设定到24度，方便使用。这样可以智能学习和记录家电使用配置，真正做到智能配置。在某些实施例中，设备初始控制信息更新可以控制为自动更新或者语音再次确认后更新。自动更新即上述的，用户改变功能的控制信息后设备初始控制信息随之改变，或者改变后，中控芯片发出语音提示说是否更新设备初始控制信息，在收到用户回答是的语音信息后，才进行设备初始控制信息的更新。
为了实现对信息的提示，还包括步骤S107：在发送设备初始控制信息到受控设备后驱动扩音器发出提示信息，这样用户根据语音提示信息可以知道控制的结果。
为了实现对用户的语音触发，本发明还采用关键字进行触发的方式，则进一步地，获取声音信息后还包括步骤：检测麦克风声音是否包含有关键字，并在包含有关键字时对获取到的声音信息进行识别得到语义信息。如果麦克风声音中没有检测到关键字信息，则不进行本发明获取人脸图像并识别的步骤，这样可以节省电力。
如图2所示，本发明还提供基于人工智能的中控芯片(中央控制芯片，用于实现对多个受控设备的集中控制)，中控芯片外部可以连接有摄像头201、麦克风202，摄像头负责实时采集图像信号送往人脸检测单元203。麦克风负责实时采集声音信号，并将数字声音信号送往关键字唤醒单元217和语音识别单元208。中控芯片可以实现对受控设备207的控制。受控设备207可以是家庭设备，如空调、电视等。中控芯片控制受控设备207可以通过无线控制的方式，如中控芯片与受控设备通过蓝牙或者WIFI等无线连接。中控芯片包括如下单元：人脸检测单元203、人脸分类运算单元204、神经网络参数单元205、设备中央控制单元206、语音识别单元208、设备信息存储单元221。语音识别单元用于对获取到的声音信息进行识别得到设备控制的语义信息；人脸检测单元用于获取图像信息的中人脸图像；神经网络参数单元用于存储人脸分类神经网络数据；人脸分类运算单元用于根据人脸分类神经网络数据和人脸图像识别人脸图像对应的用户信息；设备信息存储单元用于存储语义信息、设备初始控制信息与用户信息的对应关系；设备中央控制单元用于根据识别的用户信息、语义信息在存储的对应关系中匹配对应的设备初始控制信息并发送设备初始控制信息到受控设备。本中控芯片通过采集对应的人脸信息，自动匹配对应的用户信息，并根据用户声音信息识别出用户的语义信息，即用户的要控制的设备信息；而后根据存储的用户信息、语义信息以及设备初始控制信息的对应关系，匹配出与用户相关的控制设备的设备初始控制信息，从而实现对用户要控制设备的自动化进行与用户有关的初始控制，提高用户体验。
在某些实施例中，设备中央控制单元用于根据识别的用户信息、语义信息在存储的对应关系中没有匹配对应的设备初始控制信息时进行初始化训练，设备中央控制单元用于在初始化训练时根据语义信息进行受控设备信息识别和控制信息识别，将识别后的信息作为设备初始控制信息并与用户信息存储到设备信息存储单元。这样可以针对不同用户会进行主动学习和完善，方便不同用户的使用。
优选实施例中，受控设备信息识别包括受控设备类别识别和设备品牌识别；控制信息识别包括公共参数设置识别和特有功能设置识别，这样可以实现对不同的设备进行针对性的控制，达到更好的控制效果。
为了实现对设备初始控制信息的更新，设备中央控制单元还用于根据识别到的语义信息为调整控制信息后，发送调整后的控制信息到受控设备并根据用户信息和调整控制信息更新设备初始控制信息。
进一步地，还包括扩音器231，所述设备中央控制单元用于在发送设备初始控制信息到受控设备后驱动扩音器发出提示信息，这样用户根据语音提示信息可以知道控制的结果。
为了避免误触发和节省电量，本中控芯片还包括单元：关键字唤醒单元217，关键字唤醒单元用于检测麦克风声音是否包含有关键字，并在包含有关键字时使能人脸检测单元和语音识别单元。具体地，可以将本中控芯片分为两个电源域，一个是关键字唤醒单元，除了关键字唤醒单元的其他所有电路处于另一个电源域。关键字唤醒单元是电路里唯一总处于通电状态的电路，该电源域总是处于电源开启状态。而另一个电源域的开关由关键字唤醒单元控制。在整个电路开始工作时，只有关键字唤醒单元所在电源域处于电源开启状态，其他所有电路所处的另一个电源域处于关闭状态。关键字唤醒单元负责接收数字麦克风传来的声音信息，并检测是否有预设关键字的声音出现。如果出现敏感关键字出现，则打开其他所有电路所在另一个电源域，并输出敏感词有效信号给人脸检测单元和语音识别单元，使其开始工作。
需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (6)

1.基于人工智能的中控芯片，其特征在于，包括如下单元：
人脸检测单元、人脸分类运算单元、神经网络参数单元、设备中央控制单元、语音识别单元和设备信息存储单元，其中：
语音识别单元用于对获取到的声音信息进行识别得到设备控制的语义信息，检测声音是否包含有关键字，并在包含有关键字时对获取到的声音信息进行识别得到语义信息，如果声音中没有检测到关键字信息，则不进行获取人脸图像并识别；
人脸检测单元用于获取图像信息的中人脸图像；
神经网络参数单元用于存储人脸分类神经网络数据；
人脸分类运算单元用于根据人脸分类神经网络数据和人脸图像识别人脸图像对应的用户信息；
设备信息存储单元用于存储语义信息、设备初始控制信息与用户信息的对应关系；
设备中央控制单元用于根据识别的用户信息、语义信息在存储的对应关系中匹配对应的设备初始控制信息并发送设备初始控制信息到受控设备；
设备中央控制单元用于根据识别的用户信息、语义信息在存储的对应关系中没有匹配对应的设备初始控制信息时进行初始化训练，设备中央控制单元用于在初始化训练时根据语义信息进行受控设备信息识别和控制信息识别，将识别后的信息作为设备初始控制信息并与用户信息存储到设备信息存储单元；控制信息为初始的对受控设备每项功能的控制信息；
受控设备信息识别包括受控设备类别识别和设备品牌识别；控制信息识别包括公共参数设置识别和特有功能设置识别；
每一个设备类别都存有共性的初始化控制信息，这些共性控制信息的识别即为公共参数设置识别，特有功能设置识别是针对每一类设备中特有功能进行识别。
2.根据权利要求1所述的基于人工智能的中控芯片，其特征在于：
设备中央控制单元还用于根据识别到的语义信息为调整控制信息后，发送调整后的控制信息到受控设备并根据用户信息和调整控制信息更新设备初始控制信息。
3.根据权利要求1所述的基于人工智能的中控芯片，其特征在于，还包括扩音器，所述设备中央控制单元用于在发送设备初始控制信息到受控设备后驱动扩音器发出提示信息。
4.基于人工智能的中控芯片控制方法，其特征在于，包括如下步骤：
对获取到的声音信息进行识别得到设备控制的语义信息，检测声音是否包含有关键字，并在包含有关键字时对获取到的声音信息进行识别得到语义信息，如果麦克风声音中没有检测到关键字信息，则不进行获取人脸图像并识别的步骤；
获取图像信息的中人脸图像；
根据预存的人脸分类神经网络数据和人脸图像识别人脸图像对应的用户信息；
根据识别的用户信息、语义信息在存储的对应关系中匹配对应的设备初始控制信息并发送设备初始控制信息到受控设备；
根据识别的用户信息、语义信息在存储的对应关系中没有匹配对应的设备初始控制信息时进行初始化训练，根据语义信息进行受控设备信息识别和控制信息识别，将识别后的信息作为设备初始控制信息并存储设备初始控制信息与用户信息的对应关系；控制信息为初始的对受控设备每项功能的控制信息；
控设备信息识别包括受控设备类别识别和设备品牌识别；
控制信息识别包括公共参数设置识别和特有功能设置识别；
每一个设备类别都存有共性的初始化控制信息，这些共性控制信息的识别即为公共参数设置识别，特有功能设置识别是针对每一类设备中特有功能进行识别。
5.根据权利要求4所述的基于人工智能的中控芯片控制方法，其特征在于，还包括步骤：
根据识别到的语义信息为调整控制信息后，发送调整后的控制信息到受控设备并根据用户信息和调整控制信息更新设备初始控制信息。
6.根据权利要求4所述的基于人工智能的中控芯片控制方法，其特征在于，还包括步骤：在发送设备初始控制信息到受控设备后驱动扩音器发出提示信息。
CN201910316010.9A 2019-04-19 2019-04-19 基于人工智能的中控芯片及方法 Active CN110163105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910316010.9A CN110163105B (zh) 2019-04-19 2019-04-19 基于人工智能的中控芯片及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910316010.9A CN110163105B (zh) 2019-04-19 2019-04-19 基于人工智能的中控芯片及方法

Publications (2)

Publication Number Publication Date
CN110163105A CN110163105A (zh) 2019-08-23
CN110163105B true CN110163105B (zh) 2021-11-26

Family

ID=67638654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910316010.9A Active CN110163105B (zh) 2019-04-19 2019-04-19 基于人工智能的中控芯片及方法

Country Status (1)

Country Link
CN (1) CN110163105B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881013A (zh) * 2015-05-29 2015-09-02 四川长虹电器股份有限公司 基于用户生活习惯挖掘的智能家电联动控制方法
CN105045140A (zh) * 2015-05-26 2015-11-11 深圳创维－Rgb电子有限公司 智能控制受控设备的方法和装置
CN106895552A (zh) * 2017-02-14 2017-06-27 珠海格力电器股份有限公司 空调的控制方法、装置及系统
CN107168407A (zh) * 2017-06-20 2017-09-15 北京小米移动软件有限公司 控制智能饮水机的出水温度的方法及装置
CN107564522A (zh) * 2017-09-18 2018-01-09 郑州云海信息技术有限公司 一种智能控制方法及装置
CN108109621A (zh) * 2017-11-28 2018-06-01 珠海格力电器股份有限公司 家电设备的控制方法、装置和系统
WO2018133850A1 (zh) * 2017-01-19 2018-07-26 广东美的厨房电器制造有限公司 烹饪方法及设备、控制界面的显示方法及装置、存储介质
CN108563941A (zh) * 2018-07-02 2018-09-21 信利光电股份有限公司 一种智能家居设备控制方法、智能音箱及智能家居系统
CN109583430A (zh) * 2018-12-28 2019-04-05 广州励丰文化科技股份有限公司 一种展示装置的控制方法及装置
CN109597883A (zh) * 2018-12-20 2019-04-09 福州瑞芯微电子股份有限公司 一种基于视频采集的语音识别装置和方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045140A (zh) * 2015-05-26 2015-11-11 深圳创维－Rgb电子有限公司 智能控制受控设备的方法和装置
CN104881013A (zh) * 2015-05-29 2015-09-02 四川长虹电器股份有限公司 基于用户生活习惯挖掘的智能家电联动控制方法
WO2018133850A1 (zh) * 2017-01-19 2018-07-26 广东美的厨房电器制造有限公司 烹饪方法及设备、控制界面的显示方法及装置、存储介质
CN106895552A (zh) * 2017-02-14 2017-06-27 珠海格力电器股份有限公司 空调的控制方法、装置及系统
CN107168407A (zh) * 2017-06-20 2017-09-15 北京小米移动软件有限公司 控制智能饮水机的出水温度的方法及装置
CN107564522A (zh) * 2017-09-18 2018-01-09 郑州云海信息技术有限公司 一种智能控制方法及装置
CN108109621A (zh) * 2017-11-28 2018-06-01 珠海格力电器股份有限公司 家电设备的控制方法、装置和系统
CN108563941A (zh) * 2018-07-02 2018-09-21 信利光电股份有限公司 一种智能家居设备控制方法、智能音箱及智能家居系统
CN109597883A (zh) * 2018-12-20 2019-04-09 福州瑞芯微电子股份有限公司 一种基于视频采集的语音识别装置和方法
CN109583430A (zh) * 2018-12-28 2019-04-05 广州励丰文化科技股份有限公司 一种展示装置的控制方法及装置

Also Published As

Publication number Publication date
CN110163105A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
US11651771B2 (en) Home appliance and speech recognition server system using artificial intelligence and method for controlling thereof
CN105446162B (zh) 一种智能家居系统以及机器人的智能家居控制方法
US9679491B2 (en) Signaling device for teaching learning devices
CN105700389B (zh) 一种智能家庭自然语言控制方法
CN105118257B (zh) 智能控制系统及方法
CN108702313A (zh) 智能家居语音控制方法、装置、设备和系统
CN106814639A (zh) 语音控制系统及方法
US20170053210A1 (en) Smart home system
US20170052514A1 (en) Method and computer software program for a smart home system
JP2018036397A (ja) 応答システムおよび機器
KR20140092634A (ko) 전자장치와 그 제어방법
CN103944983B (zh) 语音控制指令纠错方法和系统
CN109308159B (zh) 智能设备控制方法、装置、系统、电子设备及存储介质
CN110853619A (zh) 人机交互方法、控制装置、被控装置及存储介质
CN106292320B (zh) 控制被控设备运行的方法及装置
CN105511307B (zh) 一种电子设备的控制方法及装置
CN105206020B (zh) 遥控器配对方法、装置及系统
CN109597883B (zh) 一种基于视频采集的语音识别装置和方法
CN109360558A (zh) 一种语音应答的方法和设备
US20180213291A1 (en) Contextual user interface based on media playback
CN114067798A (zh) 一种服务器、智能设备及智能语音控制方法
CN111650842A (zh) 一种家电设备控制方法及装置
CN112201242A (zh) 唤醒设备的方法、装置、电子设备及存储介质
CN110163105B (zh) 基于人工智能的中控芯片及方法
CN113848747A (zh) 智能家居设备控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 350003 building 18, No.89, software Avenue, Gulou District, Fuzhou City, Fujian Province

Applicant after: Ruixin Microelectronics Co., Ltd

Address before: 350003 building 18, No.89, software Avenue, Gulou District, Fuzhou City, Fujian Province

Applicant before: FUZHOU ROCKCHIP ELECTRONICS Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant