CN113033336A - 家庭设备控制方法、装置、设备及计算机可读存储介质 - Google Patents

家庭设备控制方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113033336A
CN113033336A CN202110250338.2A CN202110250338A CN113033336A CN 113033336 A CN113033336 A CN 113033336A CN 202110250338 A CN202110250338 A CN 202110250338A CN 113033336 A CN113033336 A CN 113033336A
Authority
CN
China
Prior art keywords
user
quarrel
determining
audio
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110250338.2A
Other languages
English (en)
Inventor
李森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202110250338.2A priority Critical patent/CN113033336A/zh
Publication of CN113033336A publication Critical patent/CN113033336A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及一种家庭设备控制方法、装置、设备及计算机可读存储介质。本公开通过采集用户的音频信息和/或图像信息，并通过机器学习算法对该音频信息和/或图像信息进行处理，确定该用户是否在吵架，在确定该用户在吵架的情况下，进一步确定吵架程度，并根据该吵架程度控制家庭设备执行与该吵架程度对应的劝架操作。由于机器学习是智能家居未来的方向，并且机器学习能够在不断变化的环境中不断学习、不断优化。因此，通过机器学习可以对吵架的环境做出更加精准、更加合理的评估。从而根据评估结果控制家庭设备执行劝架程序对应的劝架操作时能够帮助正在吵架的人们降低吵架的程度或避免其继续吵架，从而使得人们的生活更加便捷、更加舒适。

Description

家庭设备控制方法、装置、设备及计算机可读存储介质
技术领域
本公开涉及信息技术领域，尤其涉及一种家庭设备控制方法、装置、设备及计算机可读存储介质。
背景技术
随着生活水平提高，物质生活丰富的同时，伴随着每个家庭的还有许许多多的琐事，日常琐事逐渐成为了人们的烦恼。生活中吵架不可避免，可很多时候的吵架都是无心产生的，如果吵架当时有人劝阻或者干扰，就能很好的缓解吵架问题。而现在小区的居住环境使得邻居不能立刻进门进行劝架，因此导致家庭中可能会时常因为一点小事而演变成吵架，甚至酿成大祸。
而现有技术中的智能家居设备只能完成单一指令或单一工作，无法对当下情况作出准确评估，即只能机械执行已下达信号。因此，现有技术中亟需一种能够通过智能家居设备进行智能劝架的机制。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种家庭设备控制方法、装置、设备及计算机可读存储介质，以通过机器学习可以对吵架的环境做出更加精准、更加合理的评估。从而根据评估结果控制家庭设备执行劝架程序对应的劝架操作时能够帮助正在吵架的人们降低吵架的程度或避免其继续吵架，从而使得人们的生活更加便捷、更加舒适。
第一方面，本公开实施例提供一种家庭设备控制方法，包括：
采集用户的音频信息和/或图像信息；
通过机器学习算法对所述音频信息和/或图像信息进行处理，确定所述用户是否在吵架；
在确定所述用户在吵架的情况下，根据所述音频信息和/或图像信息确定吵架程度；
根据所述吵架程度控制家庭设备执行与所述吵架程度对应的劝架操作。
可选的，根据所述音频信息和/或图像信息确定吵架程度，包括：
根据所述音频信息确定所述用户的语音特征；
根据所述图像信息确定所述用户的面部特征和肢体动作特征中的至少一个；
根据所述用户的语音特征、面部特征和肢体动作特征中的至少一个，确定所述吵架程度。
可选的，根据所述用户的语音特征、面部特征和肢体动作特征中的至少一个，确定所述吵架程度，包括：
在根据所述语音特征确定所述音频信息中包括有重读音节的人称代词，并且根据所述用户的面部特征确定所述用户的脸色发红时，确定所述吵架程度为轻度。
可选的，所述家庭设备包括音频播放器；
根据所述吵架程度控制家庭设备执行与所述吵架程度对应的劝架操作，包括：
在所述吵架程度为轻度的情况下，控制所述音频播放器播放第一预设音频。
可选的，根据所述用户的语音特征、面部特征和肢体动作特征中的至少一个，确定所述吵架程度，包括：
在根据所述语音特征确定所述音频信息中包括第二预设音频、所述用户的语音重音大于预设重音，并且根据所述用户的肢体动作特征确定所述用户的肢体动作包括针对其他用户的动作时，确定所述吵架程度为中度。
可选的，所述家庭设备包括音频播放器和视频播放器；
根据所述吵架程度控制家庭设备执行与所述吵架程度对应的劝架操作，包括：
在所述吵架程度为中度的情况下，控制所述音频播放器播放第一预设音频；
控制所述视频播放器播放预设视频。
可选的，根据所述用户的语音特征、面部特征和肢体动作特征中的至少一个，确定所述吵架程度，包括：
在根据所述肢体动作特征确定所述用户的肢体动作包括击打其他用户的趋势、击打其他用户的动作、向其他用户扔东西的动作中的至少一个时，确定所述吵架程度为重度。
可选的，所述家庭设备包括音频播放器、视频播放器和可移动设备；
根据所述吵架程度控制家庭设备执行与所述吵架程度对应的劝架操作，包括：
在所述吵架程度为重度的情况下，控制所述音频播放器播放第一预设音频；
控制所述视频播放器播放预设视频；
控制所述可移动设备移动到所述用户周围的预设区域。
第二方面，本公开实施例提供一种家庭设备控制装置，包括：
采集模块，用于采集用户的音频信息和/或图像信息；
确定模块，用于通过机器学习算法对所述音频信息和/或图像信息进行处理，确定所述用户是否在吵架；在确定所述用户在吵架的情况下，根据所述音频信息和/或图像信息确定吵架程度；
执行模块，用于根据所述吵架程度控制家庭设备执行与所述吵架程度对应的劝架操作。
可选的，确定模块具体用于：根据所述音频信息确定所述用户的语音特征；根据所述图像信息确定所述用户的面部特征和肢体动作特征中的至少一个；根据所述用户的语音特征、面部特征和肢体动作特征中的至少一个，确定所述吵架程度。
可选的，确定模块具体用于：在根据所述语音特征确定所述音频信息中包括有重读音节的人称代词，并且根据所述用户的面部特征确定所述用户的脸色发红时，确定所述吵架程度为轻度。
可选的，所述家庭设备包括音频播放器；执行模块具体用于：在所述吵架程度为轻度的情况下，控制所述音频播放器播放第一预设音频。
可选的，确定模块具体用于：在根据所述语音特征确定所述音频信息中包括第二预设音频、所述用户的语音重音大于预设重音，并且根据所述用户的肢体动作特征确定所述用户的肢体动作包括针对其他用户的动作时，确定所述吵架程度为中度。
可选的，所述家庭设备包括音频播放器和视频播放器；执行模块具体用于：在所述吵架程度为中度的情况下，控制所述音频播放器播放第一预设音频；控制所述视频播放器播放预设视频。
可选的，确定模块具体用于：在根据所述肢体动作特征确定所述用户的肢体动作包括击打其他用户的趋势、击打其他用户的动作、向其他用户扔东西的动作中的至少一个时，确定所述吵架程度为重度。
可选的，所述家庭设备包括音频播放器、视频播放器和可移动设备；执行模块具体用于：在所述吵架程度为重度的情况下，控制所述音频播放器播放第一预设音频；控制所述视频播放器播放预设视频；控制所述可移动设备移动到所述用户周围的预设区域。
第三方面，本公开实施例提供一种电子设备，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。
第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。
本公开实施例提供的家庭设备控制方法、装置、设备及计算机可读存储介质，通过采集用户的音频信息和/或图像信息，并通过机器学习算法对该音频信息和/或图像信息进行处理，确定该用户是否在吵架，在确定该用户在吵架的情况下，进一步确定吵架程度，并根据该吵架程度控制家庭设备执行与该吵架程度对应的劝架操作。由于机器学习是智能家居未来的方向，并且机器学习能够在不断变化的环境中不断学习、不断优化。因此，通过机器学习可以对吵架的环境做出更加精准、更加合理的评估。从而根据评估结果控制家庭设备执行劝架程序对应的劝架操作时能够帮助正在吵架的人们降低吵架的程度或避免其继续吵架，从而使得人们的生活更加便捷、更加舒适。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的家庭设备控制方法流程图；
图2为本公开实施例提供的智能家庭管理装置的结构示意图；
图3为本公开实施例提供的信息处理部分的结构示意图；
图4为本公开实施例提供的另一种家庭设备控制方法流程图；
图5为本公开实施例提供的另一种家庭设备控制方法流程图；
图6为本公开实施例提供的家庭设备控制装置的结构示意图；
图7为本公开实施例提供的电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
随着生活水平提高，物质生活丰富的同时，伴随着每个家庭的还有许许多多的琐事，日常琐事逐渐成为了人们的烦恼。生活中吵架不可避免，可很多时候的吵架都是无心产生的，如果吵架当时有人劝阻或者干扰，就能很好的缓解吵架问题。而现在小区的居住环境使得邻居不能立刻进门进行劝架，因此导致家庭中可能会时常因为一点小事而演变成吵架，甚至酿成大祸。而现有技术中的智能家居设备只能完成单一指令或单一工作，无法对当下情况作出准确评估，即只能机械执行已下达信号。因此，现有技术中亟需一种能够通过智能家居设备进行智能劝架的机制。针对该问题，本公开实施例提供了一种家庭设备控制方法，下面结合具体的实施例对该方法进行介绍。
图1为本公开实施例提供的家庭设备控制方法流程图。该方法具体步骤如下：
S101、采集用户的音频信息和/或图像信息。
本公开实施例所述的家庭设备控制方法可以由如图2所示的智能家庭管理装置来执行。如图2所示，智能家庭管理装置包括信息处理部分、人机交互部分、电源部分、通信模块等。其中，通信模块具体可以是无线通信模块，例如，无线保真(WirelessFidelity，WiFi)模块。其中，信息处理部分可以包括：采集模块、处理模块、执行模块，如图3所示为信息处理部分的结构示意图。另外，在本公开实施例中并不限定智能家庭管理装置的具体产品形态，例如，该智能家庭管理装置包括但不限于智能手机、掌上电脑、平板电脑、带显示屏的可穿戴设备、台式机、笔记本电脑、一体机、智能家居设备、智能音箱、个人计算机(PersonalComputer，PC)等。在本公开实施例中，智能家庭管理装置可以采用低功耗保持始终开机(alwayson)的工作机制，从而一直处于待机工作状态。当智能家庭管理装置检测到音频信息和/或图像信息时，可以唤醒并执行家庭设备控制方法。另外，通过采集用户的音频信息和/或图像信息，可以保证时刻能够采集到音频信息和图像信息中的至少一种。
如图3所示，采集模块具体可以包括音频采集模块和/或图像采集模块。其中，音频采集模块具体可以是麦克风、音频传感器等。图像采集模块具体可以是摄像头、图像传感器等。其中，音频采集模块具体用于采集音频信息。图像采集模块具体用于采集图像信息。也就是说，智能家庭管理装置可以通过采集模块采集用户的音频信息和/或图像信息。可以理解的是，在一些实施例中，采集模块可以不集成在智能家庭管理装置中，例如，采集模块和智能家庭管理装置可以相互独立，并且采集模块和智能家庭管理装置之间可以进行通信交互，例如，采集模块可以将其采集到的音频信息和/或图像信息发送给该智能家庭管理装置。
S102、通过机器学习算法对所述音频信息和/或图像信息进行处理，确定所述用户是否在吵架。
例如，在图3所示的信息处理部分中，处理模块可以用来处理采集模块采集到的音频信息和/或图像信息。具体的，处理模块可以采用机器学习的方法对该音频信息和/或图像信息进行处理。例如，通过机器学习算法可以分别提取音频信息中的特征和图像信息中的特征，进一步按照预设的权重比将音频信息中的特征和图像信息中的特征联合为整体特征，并对整体特征进行分类，从而确定出该用户是否在吵架。
S103、在确定所述用户在吵架的情况下，根据所述音频信息和/或图像信息确定吵架程度。
例如，在处理模块确定出用户在吵架的情况下，还可以根据该音频信息和/或图像信息确定吵架程度。可以理解的是，在不同程度的吵架中，音频信息中的特征和图像信息中的特征会有差异。因此，根据音频信息中的特征和图像信息中的特征，可以确定出吵架程度。
S104、根据所述吵架程度控制家庭设备执行与所述吵架程度对应的劝架操作。
例如，处理模块在确定出吵架程度的情况下，可以将与该吵架程度对应的预设程序代码发送给执行模块。执行模块用于执行该预设程序代码。执行模块在执行该预设程序代码的过程中可以向家庭设备发送控制指令，从而控制家庭设备执行与所述吵架程度对应的劝架操作。或者，执行模块可以将预设程序代码发送给家庭设备，使得家庭设备在执行该预设程序代码的过程中执行与该吵架程度对应的劝架操作。
另外，在一些实施例中，采集模块的硬件可以包括驱动，处理模块还可以与该采集模块的硬件通信，并控制采集模块的开启、关闭、工作时长等。也就是说，处理模块不仅具有处理音频信息和/或图像信息的功能，还具有控制采集模块和执行模块的功能。
本公开实施例通过采集用户的音频信息和/或图像信息，并通过机器学习算法对该音频信息和/或图像信息进行处理，确定该用户是否在吵架，在确定该用户在吵架的情况下，进一步确定吵架程度，并根据该吵架程度控制家庭设备执行与该吵架程度对应的劝架操作。由于机器学习是智能家居未来的方向，并且机器学习能够在不断变化的环境中不断学习、不断优化。因此，通过机器学习可以对吵架的环境做出更加精准、更加合理的评估。从而根据评估结果控制家庭设备执行劝架程序对应的劝架操作时能够帮助正在吵架的人们降低吵架的程度或避免其继续吵架，从而使得人们的生活更加便捷、更加舒适。
在上述实施例的基础上，根据所述音频信息和/或图像信息确定吵架程度，包括如图4所示的如下几个步骤：
S401、根据所述音频信息确定所述用户的语音特征。
具体的，图3所示的处理模块针对不同类型的数据可以采用不同的处理策略。例如，针对音频信息，可以采用自然语言处理(Natural Language Processing，NLP)算法对音频信息进行语音激活检测(Voice Activity Detection，VAD)、特征提取、识别建模、解码等操作，从而分出用户的情绪、语音特征等。
S402、根据所述图像信息确定所述用户的面部特征和肢体动作特征中的至少一个。
例如，针对图像信息，处理模块可以采用图像处理算法对图像信息进行常规的图像识别处理，从而分析出用户的面部特征和肢体动作特征中的至少一个。
S403、根据所述用户的语音特征、面部特征和肢体动作特征中的至少一个，确定所述吵架程度。
具体的，处理模块可以根据用户的语音特征、面部特征和肢体动作特征中的至少一个，确定吵架程度。
在一种可能的实现方式中，根据所述用户的语音特征、面部特征和肢体动作特征中的至少一个，确定所述吵架程度，包括：在根据所述语音特征确定所述音频信息中包括有重读音节的人称代词，并且根据所述用户的面部特征确定所述用户的脸色发红时，确定所述吵架程度为轻度。
在本公开实施例中，采集模块采集的音频信息和/或图像信息可以不限于一个用户的音频信息和/或图像信息，还可以是多个用户的音频信息和/或图像信息。例如，当前环境中包括吵架的两个用户时，采集模块可以同时采集两个用户的音频信息和/或图像信息。进一步，处理模块可以分析出两个用户各自的情绪、语音特征、面部特征、肢体动作特征等信息。
例如，根据用户的情绪，确定用户在生气，或者根据用户的语音特征确定出用户的语音中包括人称代词，例如，你、我、他等，并且该人称代词是重读的，以及根据用户的面部特征确定出用户的脸色发红等特征时，确定吵架程度为轻度。
在所述吵架程度为轻度的情况下，所述家庭设备包括音频播放器；根据所述吵架程度控制家庭设备执行与所述吵架程度对应的劝架操作，包括：在所述吵架程度为轻度的情况下，控制所述音频播放器播放第一预设音频。
例如，在吵架程度为轻度的情况下，执行模块可以控制音频播放器播放第一预设音频，该第一预设音频可以是预先存储在该音频播放器中的吵架双方喜欢的音乐、双方在历史时间录制的欢声笑语、搞笑音乐等。在本公开实施例中，音频播放器包括但不限于音箱、电视。
在另一种可能的实现方式中，根据所述用户的语音特征、面部特征和肢体动作特征中的至少一个，确定所述吵架程度，包括：在根据所述语音特征确定所述音频信息中包括第二预设音频、所述用户的语音重音大于预设重音，并且根据所述用户的肢体动作特征确定所述用户的肢体动作包括针对其他用户的动作时，确定所述吵架程度为中度。
例如，根据用户的语音特征确定用户的音频信息中包括第二预设音频，例如，骂人的话、侮辱的话、“你做错了”、“我是对的”等语句，并且根据用户的语音特征确定用户的语音加重，例如，用户的语音重音大于预设重音，以及根据用户的肢体动作特征确定用户的肢体动作包括针对其他用户的动作，例如，推搡、手部指向对方、行动加快等，则确定吵架程度为中度。
在所述吵架程度为中度的情况下，所述家庭设备包括音频播放器和视频播放器；根据所述吵架程度控制家庭设备执行与所述吵架程度对应的劝架操作，包括：在所述吵架程度为中度的情况下，控制所述音频播放器播放第一预设音频；控制所述视频播放器播放预设视频。
例如，在吵架程度为中度的情况下，执行模块可以在控制音频播放器播放第一预设音频之后，控制视频播放器播放预设视频，该预设视频可以是预先存储在该视频播放器中的视频，例如，吵架双方在历史时间录制的视频、生活片段等。另外，音频播放器还可以播放吵架双方的父母的敬语。在本公开实施例中，视频播放器包括但不限于电视、智能屏幕等。
在又一种可能的实现方式中，根据所述用户的语音特征、面部特征和肢体动作特征中的至少一个，确定所述吵架程度，包括：在根据所述肢体动作特征确定所述用户的肢体动作包括击打其他用户的趋势、击打其他用户的动作、向其他用户扔东西的动作中的至少一个时，确定所述吵架程度为重度。
例如，在根据用户的肢体动作特征确定出用户的肢体动作包括击打对方的趋势、击打对方的动作、向对方扔东西(例如，砸生活用品)的动作中的至少一个时，可以确定吵架程度为重度。
在所述吵架程度为重度的情况下，所述家庭设备包括音频播放器、视频播放器和可移动设备；根据所述吵架程度控制家庭设备执行与所述吵架程度对应的劝架操作，包括：在所述吵架程度为重度的情况下，控制所述音频播放器播放第一预设音频；控制所述视频播放器播放预设视频；控制所述可移动设备移动到所述用户周围的预设区域。
在吵架程度为重度的情况下，执行模块可以控制音频播放器播放第一预设音频、控制视频播放器播放预设视频、以及控制可移动设备移动到用户周围的预设区域。其中，第一预设音频可以参照上述的第一预设音频，预设视频可以参照上述的预设视频，此处不再赘述。在本公开实施例中，可移动设备包括但不限于扫地机器人。例如，在吵架程度为重度的情况下，执行模块可以控制扫地机器人移动到吵架双方周围的预设区域从而扰乱吵架双方的吵架。另外，在吵架程度为重度的情况下，执行模块还可以播放预设中间人的电话，从而使得预设中间人进行劝架。或者，在用户吵架的过程中，执行模块还可以控制灯具的开启或关闭。
可以理解的是，在一些实施例中，家庭设备例如音频播放器、视频播放器、可移动设备、灯具等可以集成在如上所述的智能家庭管理装置中。或者，家庭设备和智能家庭管理装置相互独立，并且家庭设备和智能家庭管理装置可以进行通信交互，从而使得家庭设备和智能家庭管理装置可以构成一个智能劝架系统。
本公开实施例通过确定吵架程度，并根据吵架程度执行相应的劝架操作，并且吵架程度越严重，劝架操作越多，从而可以有效的进行劝架，使得智能家庭管理装置可以深度识别用户意图，并与用户进行深层次的互动，从而给用户带来更智能舒适的体验。
图5为本公开实施例提供的另一种家庭设备控制方法流程图，该方法具体包括如下步骤：
S501、开始。
S502、采集用户的音频信息和/或图像信息。
S503、对用户的音频信息和/或图像信息进行处理。
S504、判断用户是否在吵架，是则执行S505，否则执行S502。
S505、判断吵架程度是否为轻度，是则执行S507，否则执行S506。
S506、判断吵架程度是否为中度，是则执行S508和S509，否则执行S510。
S507、控制音频播放器播放第一预设音频。
S508、控制音频播放器播放第一预设音频。
S509、控制视频播放器播放预设视频。
S510、判断吵架程度是否为重度，是则执行S511-S513，否则执行S514。
S511、控制音频播放器播放第一预设音频。
S512、控制视频播放器播放预设视频。
S513、控制可移动设备移动到所述用户周围的预设区域。
S514、结束。
本公开实施例通过采集用户的音频信息和/或图像信息，并通过机器学习算法对该音频信息和/或图像信息进行处理，确定该用户是否在吵架，在确定该用户在吵架的情况下，进一步确定吵架程度，并根据该吵架程度控制家庭设备执行与该吵架程度对应的劝架操作。由于机器学习是智能家居未来的方向，并且机器学习能够在不断变化的环境中不断学习、不断优化。因此，通过机器学习可以对吵架的环境做出更加精准、更加合理的评估。从而根据评估结果控制家庭设备执行劝架程序对应的劝架操作时能够帮助正在吵架的人们降低吵架的程度或避免其继续吵架，从而使得人们的生活更加便捷、更加舒适。
图6为本公开实施例提供的家庭设备控制装置的结构示意图。该装置可以是如上所述的智能家庭管理装置或智能家庭管理装置中的部件。本公开实施例提供的家庭设备控制装置可以执行家庭设备控制方法实施例提供的处理流程，如图6所示，家庭设备控制装置60包括：
采集模块61，用于采集用户的音频信息和/或图像信息；
确定模块62，用于通过机器学习算法对所述音频信息和/或图像信息进行处理，确定所述用户是否在吵架；在确定所述用户在吵架的情况下，根据所述音频信息和/或图像信息确定吵架程度；
执行模块63，用于根据所述吵架程度控制家庭设备执行与所述吵架程度对应的劝架操作。
例如，在该家庭设备控制装置为上述实施例中智能家庭管理装置中的信息处理部分时，采集模块61可以是如图3所示的采集模块，确定模块62可以是如图3所示的处理模块，执行模块63可以是如图3所示的执行模块。
可选的，确定模块62具体用于：根据所述音频信息确定所述用户的语音特征；根据所述图像信息确定所述用户的面部特征和肢体动作特征中的至少一个；根据所述用户的语音特征、面部特征和肢体动作特征中的至少一个，确定所述吵架程度。
可选的，确定模块62具体用于：在根据所述语音特征确定所述音频信息中包括有重读音节的人称代词，并且根据所述用户的面部特征确定所述用户的脸色发红时，确定所述吵架程度为轻度。
可选的，所述家庭设备包括音频播放器；执行模块63具体用于：在所述吵架程度为轻度的情况下，控制所述音频播放器播放第一预设音频。
可选的，确定模块62具体用于：在根据所述语音特征确定所述音频信息中包括第二预设音频、所述用户的语音重音大于预设重音，并且根据所述用户的肢体动作特征确定所述用户的肢体动作包括针对其他用户的动作时，确定所述吵架程度为中度。
可选的，所述家庭设备包括音频播放器和视频播放器；执行模块63具体用于：在所述吵架程度为中度的情况下，控制所述音频播放器播放第一预设音频；控制所述视频播放器播放预设视频。
可选的，确定模块62具体用于：在根据所述肢体动作特征确定所述用户的肢体动作包括击打其他用户的趋势、击打其他用户的动作、向其他用户扔东西的动作中的至少一个时，确定所述吵架程度为重度。
可选的，所述家庭设备包括音频播放器、视频播放器和可移动设备；执行模块63具体用于：在所述吵架程度为重度的情况下，控制所述音频播放器播放第一预设音频；控制所述视频播放器播放预设视频；控制所述可移动设备移动到所述用户周围的预设区域。
图6所示实施例的家庭设备控制装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图7为本公开实施例提供的电子设备的结构示意图。该电子设备可以是如上所述的智能家庭管理装置。本公开实施例提供的电子设备可以执行家庭设备控制方法实施例提供的处理流程，如图7所示，电子设备70包括：存储器71、处理器72、计算机程序和通讯接口73；其中，计算机程序存储在存储器71中，并被配置为由处理器72执行如上所述的家庭设备控制方法。
另外，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的家庭设备控制方法。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种家庭设备控制方法，其特征在于，所述方法包括：
采集用户的音频信息和/或图像信息；
通过机器学习算法对所述音频信息和/或图像信息进行处理，确定所述用户是否在吵架；
在确定所述用户在吵架的情况下，根据所述音频信息和/或图像信息确定吵架程度；
根据所述吵架程度控制家庭设备执行与所述吵架程度对应的劝架操作。
2.根据权利要求1所述的方法，其特征在于，根据所述音频信息和/或图像信息确定吵架程度，包括：
根据所述音频信息确定所述用户的语音特征；
根据所述图像信息确定所述用户的面部特征和肢体动作特征中的至少一个；
根据所述用户的语音特征、面部特征和肢体动作特征中的至少一个，确定所述吵架程度。
3.根据权利要求2所述的方法，其特征在于，根据所述用户的语音特征、面部特征和肢体动作特征中的至少一个，确定所述吵架程度，包括：
在根据所述语音特征确定所述音频信息中包括有重读音节的人称代词，并且根据所述用户的面部特征确定所述用户的脸色发红时，确定所述吵架程度为轻度。
4.根据权利要求3所述的方法，其特征在于，所述家庭设备包括音频播放器；
根据所述吵架程度控制家庭设备执行与所述吵架程度对应的劝架操作，包括：
在所述吵架程度为轻度的情况下，控制所述音频播放器播放第一预设音频。
5.根据权利要求2所述的方法，其特征在于，根据所述用户的语音特征、面部特征和肢体动作特征中的至少一个，确定所述吵架程度，包括：
在根据所述语音特征确定所述音频信息中包括第二预设音频、所述用户的语音重音大于预设重音，并且根据所述用户的肢体动作特征确定所述用户的肢体动作包括针对其他用户的动作时，确定所述吵架程度为中度。
6.根据权利要求5所述的方法，其特征在于，所述家庭设备包括音频播放器和视频播放器；
根据所述吵架程度控制家庭设备执行与所述吵架程度对应的劝架操作，包括：
在所述吵架程度为中度的情况下，控制所述音频播放器播放第一预设音频；
控制所述视频播放器播放预设视频。
7.根据权利要求2所述的方法，其特征在于，根据所述用户的语音特征、面部特征和肢体动作特征中的至少一个，确定所述吵架程度，包括：
在根据所述肢体动作特征确定所述用户的肢体动作包括击打其他用户的趋势、击打其他用户的动作、向其他用户扔东西的动作中的至少一个时，确定所述吵架程度为重度。
8.根据权利要求7所述的方法，其特征在于，所述家庭设备包括音频播放器、视频播放器和可移动设备；
根据所述吵架程度控制家庭设备执行与所述吵架程度对应的劝架操作，包括：
在所述吵架程度为重度的情况下，控制所述音频播放器播放第一预设音频；
控制所述视频播放器播放预设视频；
控制所述可移动设备移动到所述用户周围的预设区域。
9.一种家庭设备控制装置，其特征在于，包括：
采集模块，用于采集用户的音频信息和/或图像信息；
确定模块，用于通过机器学习算法对所述音频信息和/或图像信息进行处理，确定所述用户是否在吵架；在确定所述用户在吵架的情况下，根据所述音频信息和/或图像信息确定吵架程度；
执行模块，用于根据所述吵架程度控制家庭设备执行与所述吵架程度对应的劝架操作。
10.一种电子设备，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法。
CN202110250338.2A 2021-03-08 2021-03-08 家庭设备控制方法、装置、设备及计算机可读存储介质 Pending CN113033336A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110250338.2A CN113033336A (zh) 2021-03-08 2021-03-08 家庭设备控制方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110250338.2A CN113033336A (zh) 2021-03-08 2021-03-08 家庭设备控制方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113033336A true CN113033336A (zh) 2021-06-25

Family

ID=76466829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110250338.2A Pending CN113033336A (zh) 2021-03-08 2021-03-08 家庭设备控制方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113033336A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113946222A (zh) * 2021-11-17 2022-01-18 杭州逗酷软件科技有限公司 一种控制方法、电子设备及计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745575A (zh) * 2014-01-10 2014-04-23 宁波多尔贝家居制品实业有限公司 一种家庭气氛调节装置及其工作控制方法
CN107085717A (zh) * 2017-05-24 2017-08-22 努比亚技术有限公司 一种家庭监控方法、服务端及计算机可读存储介质
CN107423351A (zh) * 2017-05-24 2017-12-01 维沃移动通信有限公司 一种信息处理方法及电子设备
CN109009170A (zh) * 2018-07-20 2018-12-18 深圳市沃特沃德股份有限公司 探测情绪的方法与装置
CN110956953A (zh) * 2019-11-29 2020-04-03 中山大学 基于音频分析与深度学习的争吵识别方法
CN112071309A (zh) * 2020-09-17 2020-12-11 苏州上下文人工智能技术研发有限公司 网约车安全监测装置及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745575A (zh) * 2014-01-10 2014-04-23 宁波多尔贝家居制品实业有限公司 一种家庭气氛调节装置及其工作控制方法
CN107085717A (zh) * 2017-05-24 2017-08-22 努比亚技术有限公司 一种家庭监控方法、服务端及计算机可读存储介质
CN107423351A (zh) * 2017-05-24 2017-12-01 维沃移动通信有限公司 一种信息处理方法及电子设备
CN109009170A (zh) * 2018-07-20 2018-12-18 深圳市沃特沃德股份有限公司 探测情绪的方法与装置
CN110956953A (zh) * 2019-11-29 2020-04-03 中山大学 基于音频分析与深度学习的争吵识别方法
CN112071309A (zh) * 2020-09-17 2020-12-11 苏州上下文人工智能技术研发有限公司 网约车安全监测装置及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113946222A (zh) * 2021-11-17 2022-01-18 杭州逗酷软件科技有限公司 一种控制方法、电子设备及计算机存储介质

Similar Documents

Publication Publication Date Title
JP6475386B2 (ja) 機器の制御方法、機器、及びプログラム
KR101726945B1 (ko) 수동 시작/종료 포인팅 및 트리거 구문들에 대한 필요성의 저감
Ye et al. Current and future mobile and wearable device use by people with visual impairments
US20150228281A1 (en) Device, system, and method for active listening
KR20170096774A (ko) 전자기기의 사용자 행동기반 정황인식 작동모드
JP2020525850A (ja) 方法、電子装置、家庭用機器ネットワークおよび記憶媒体
EP2833241A1 (en) Control method for alarm clock of electronic device and electronic device
CN112051743A (zh) 设备控制方法、冲突处理方法、相应的装置及电子设备
CN105282345A (zh) 通话音量的调节方法和装置
CN105224601B (zh) 一种提取时间信息的方法和装置
CN103886731A (zh) 一种噪声控制方法及设备
CN105117699A (zh) 用户行为监控方法及装置
WO2018087971A1 (ja) 移動体制御装置および移動体制御プログラム
KR20200074690A (ko) 전자 장치 및 이의 제어 방법
CN110853430B (zh) 基于智能家居的学习辅导方法、设备及存储介质
CN103645690A (zh) 一种语音控制数字家庭智能盒的方法
CN113033336A (zh) 家庭设备控制方法、装置、设备及计算机可读存储介质
US9953267B2 (en) Control method and non-transitory computer readable recording medium
CN105278837B (zh) 阅读提醒方法及装置
CN110232909A (zh) 一种音频处理方法、装置、设备及可读存储介质
JP2016189121A (ja) 情報処理装置、情報処理方法およびプログラム
WO2018023523A1 (zh) 一种运动及情感识别家居控制系统
EP3677392A1 (en) Robot and method of controlling the same
CN109284783B (zh) 基于机器学习的大礼拜计数方法、装置、用户设备及介质
CN105446521B (zh) 触控操作设置方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination