CN117012010A - 家电设备的控制方法及装置、存储介质及电子装置 - Google Patents
家电设备的控制方法及装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN117012010A CN117012010A CN202210469038.8A CN202210469038A CN117012010A CN 117012010 A CN117012010 A CN 117012010A CN 202210469038 A CN202210469038 A CN 202210469038A CN 117012010 A CN117012010 A CN 117012010A
- Authority
- CN
- China
- Prior art keywords
- target
- vector
- target object
- age
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 description 7
- 238000009434 installation Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Alarm Systems (AREA)
Abstract
本申请公开了一种家电设备的控制方法及装置、存储介质及电子装置,涉及智慧家庭技术领域,该家电设备的控制方法包括:在检测到目标对象与目标设备的距离小于预设阈值的情况下,通过图像采集装置采集所述目标对象的人脸图像;以及通过测距传感器采集目标对象的身高数据;以及通过音频采集装置采集所述目标对象的音频数据;根据所述人脸图像、所述身高数据和所述音频数据确定所述目标对象所在的目标年龄段;在所述目标年龄段处于第一预设年龄段内的情况下,通过所述目标设备执行告警事件。采用上述技术方案,解决了现有家电设备不具备使用前的告警功能,导致儿童使用家电设备的危险性较高。
Description
技术领域
本申请涉及智慧家庭技术领域,具体而言,涉及一种家电设备的控制方法及装置、存储介质及电子装置。
背景技术
随着设备的快速发展,越来越多的居家设备出现在我们的居家生活中,但在这些设备中,有相当一部分设备的操作是具有危险性,进而家长可能就不希望儿童对设备进行操作,避免儿童因为操作设备而给带来相应的危险,例如烤箱等。
在现有技术中,为了避免使用设备带来的危险性,都是在设备上增加固定的机械装置,来减少带来的危险性,但在这种情况下,往往都是儿童已经开始使用这个设备了,并且此种方法对于儿童来说,安全系数也较低。
针对相关技术,现有家电设备不具备使用前的告警功能,导致儿童使用家电设备的危险性较高,目前尚未提出有效的解决方案。
因此,有必要对相关技术予以改良以克服相关技术中的所述缺陷。
发明内容
本发明实施例提供了一种家电设备的控制方法及装置、存储介质及电子装置,以至少解决现有家电设备不具备使用前的告警功能,导致儿童使用家电设备的危险性较高。
根据本发明实施例的一方面,提供一种家电设备的控制方法,包括:在检测到目标对象与目标设备的距离小于预设阈值的情况下,通过图像采集装置采集所述目标对象的人脸图像;以及通过测距传感器采集目标对象的身高数据;以及通过音频采集装置采集所述目标对象的音频数据;根据所述人脸图像、所述身高数据和所述音频数据确定所述目标对象所在的目标年龄段;在所述目标年龄段处于第一预设年龄段内的情况下,通过所述目标设备执行告警事件。
进一步地,所述根据所述人脸图像、所述身高数据和所述音频数据确定所述目标对象所在的目标年龄段,包括:通过人脸识别算法对所述人脸图像进行识别,得到第一向量;以及通过声纹识别算法对所述音频数据进行识别,得到第二向量;以及通过所述身高数据确定第三向量;其中,所述第一向量,所述第二向量,所述第三向量用于指示所述目标对象在多个不同年龄段的概率;根据所述第一向量,所述第二向量和所述第三向量确定所述目标对象所在的目标年龄段。
进一步地,所述根据所述第一向量,所述第二向量和所述第三向量确定所述目标对象所在的目标年龄段,包括:确定与所述人脸图像相对应的第一权重,与所述音频数据相对应的第二权重以及与所述身高数据相对应的第三权重;根据所述第一权重,所述第一向量、所述第二权重、所述第二向量、所述第三权重和所述第三向量得到目标向量;将目标概率所对应的年龄段确定为所述目标年龄段,其中,所述目标概率为所述目标向量中包括的多个概率中的最大概率。
进一步地,根据所述人脸图像、所述身高数据和所述音频数据确定所述目标对象所在的目标年龄段之后,所述方法还包括:向所述目标设备绑定的目标账号发送请求信息,其中,所述请求信息包括所述人脸图像,所述请求信息用于请求所述目标对象的实际年龄;接收所述目标账号发送的所述目标对象的实际年龄,并在所述实际年龄不在所述目标年龄段的情况下,根据所述实际年龄调整所述第一权重,所述第一权重,所述第三权重,以使所述实际年龄位于根据调整后的第一权重、调整后的第二权重、调整后的第三权重、所述第一向量,所述第二向量和所述第三向量确定的年龄段。
进一步地,所述通过所述目标设备执行告警事件,包括:通过所述目标设备发出告警语音,其中,所述告警语音用于提示所述预设年龄段的对象准备使用所述目标设备;和/或向与所述目标设备绑定的目标账号发送告警信息,其中,所述告警信息包括所述人脸图像,所述告警信息用于提示所述人脸图像对应的对象准备使用所述目标设备。
进一步地,向与所述目标设备绑定的目标账号发送告警信息之后,所述方法还包括:在获取到所述目标账号响应于所述告警信息发送的第一远程控制指令的情况下,控制所述目标设备禁止执行所述目标对象下发的操作;或在获取到所述目标账号响应于所述告警信息发送的第二远程控制指令的情况下,锁定所述目标设备。
进一步地,根据所述人脸图像、所述身高数据和所述音频数据确定所述目标对象所在的目标年龄段之后,所述方法还包括:在所述目标年龄段处于第二预设年龄段内的情况下,向与所述目标设备绑定的目标账号发送提示信息,其中,所述提示信息包括所述人脸图像,所述提示信息用于提示所述人脸图像对应的对象准备使用所述目标设备、并提示是否进行远程协助;在获取到所述目标账号响应于所述提示信息发送的第三远程控制指令的情况下,控制所述目标设备按照所述第三远程控制指令执行对应的操作。
根据本发明实施例的另一方面,还提供了一种家电设备的控制装置,包括:采集模块,用于在检测到目标对象与目标设备的距离小于预设阈值的情况下,通过图像采集装置采集所述目标对象的人脸图像;以及通过测距传感器采集目标对象的身高数据;以及通过音频采集装置采集所述目标对象的音频数据;确定模块,用于根据所述人脸图像、所述身高数据和所述音频数据确定所述目标对象所在的目标年龄段;告警模块,用于在所述目标年龄段处于第一预设年龄段内的情况下,通过所述目标设备执行告警事件。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述家电设备的控制方法。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述家电设备的控制方法。
通过本发明,在检测到目标对象与目标设备的距离小于预设阈值的情况下,通过采集到的目标对象的人脸图像、身高数据、音频数据确定目标对象所在的目标年龄段、并在目标年龄段处于第一预设年龄段内的情况下,通过目标设备执行告警事件。进而在儿童与设备之间的距离小于预设距离的情况下,可以执行告警操,使得监护人知晓儿童可能使用设备,进而执行相应的操作,降低了儿童的危险性。解决了现有家电设备不具备使用前的告警功能,导致儿童使用家电设备的危险性较高问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的一种家电设备的控制方法的硬件环境示意图;
图2是根据本发明实施例的家电设备的控制方法的流程图(一);
图3是根据本发明实施例的家电设备的控制方法的流程图(二);
图4是根据本发明实施例的家电设备的控制装置的结构框图(一);
图5是根据本发明实施例的家电设备的控制装置的结构框图(二)。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面,提供了一种家电设备的控制方法。该家电设备的控制方法广泛应用于智慧家庭(Smart Home)、智能家居、智能家用设备生态、智慧住宅(IntelligenceHouse)生态等全屋智能数字化控制应用场景。可选地,在本实施例中,上述家电设备的控制方法可以应用于如图1所示的由终端设备102和服务器104所构成的硬件环境中。如图1所示,服务器104通过网络与终端设备102进行连接,可用于为终端或终端上安装的客户端提供服务(如应用服务等),可在服务器上或独立于服务器设置数据库,用于为服务器104提供数据存储服务,可在服务器上或独立于服务器配置云计算和/或边缘计算服务,用于为服务器104提供数据运算服务。
上述网络可以包括但不限于以下至少之一:有线网络,无线网络。上述有线网络可以包括但不限于以下至少之一:广域网,城域网,局域网,上述无线网络可以包括但不限于以下至少之一:WIFI(Wireless Fidelity,无线保真),蓝牙。终端设备102可以并不限定于为PC、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。
为了解决上述问题,在本实施例中提供了一种家电设备的控制方法,图2是根据本发明实施例的家电设备的控制方法的流程图(一),该流程包括如下步骤S202-S206:
步骤S202,在检测到目标对象与目标设备的距离小于预设阈值的情况下,通过图像采集装置采集所述目标对象的人脸图像;以及通过测距传感器采集目标对象的身高数据;以及通过音频采集装置采集所述目标对象的音频数据;
需要说明的是,上述目标设备为智能家居设备,包括但不限于:烤箱,电热水器等,上述目标对象为使用目标设备的用户。上述预设阈值可以通过用户或开发者进行设置,在一个示例性的实施例中,预设阈值为10厘米。
需要说明的是,图像采集装置包括但不限于摄像头,测距传感器包括但不限于超声波测距传感器,音频采集装置包括但不限于麦克风。
需要说明的是,图像采集装置,测距传感器,音频采集装置可以都是目标设备的,也可以是家庭中的其他设备的。
步骤S204,根据所述人脸图像、所述身高数据和所述音频数据确定所述目标对象所在的目标年龄段;
需要说明的是,步骤S204具有多种实施方式,在一个示例性的实施例中,可以通过以下步骤S10-S40实现:
步骤S10:通过人脸识别算法对所述人脸图像进行识别,得到第一向量;
需要说明的是,人脸识别算法包括但不限于MTCNN人脸检测算法,通过MTCNN人脸识别算法,得到人脸的目标框信息,然后对目标框信息使用mobilenet进行年龄段分类,得到第一向量。
步骤S20:通过声纹识别算法对所述音频数据进行识别,得到第二向量;
需要说明的是,声纹识别利用CNN分类算法得到第二向量;
步骤S30:通过所述身高数据确定第三向量;
需要说明的是,身高和第三向量具有预设的对应关系,进而可以通过身高数据得到第三向量。
需要说明的是,上述步骤S10、S20、S30执行没有先后顺序,第一向量、第二向量、第三向量用于指示所述目标对象在多个不同年龄段的概率。为了更好的理解,以下举例说明:假设具有四个年龄段,分别为:儿童(0-10岁),少年(10-18岁),中年(18-60岁),老年(60岁以上),则第一向量可以是(0.1,0.1,0.7,0.1)。即表示通过人脸识别得到目标对象为儿童、少年以及老年的概率为10%,为中年的概率为70%。需要说明的是,年龄段可由用户或开发者进行定义,以上为举例说明。第二向量与第三向量同理,即通过声纹识别得到的目标对象在不同年龄段的概率值,通过身高确定的目标对象在不同年龄段的概率值。
步骤S40:根据所述第一向量,所述第二向量和所述第三向量确定所述目标对象所在的目标年龄段。
在一个示例性的实施例中,上述步骤S40可以通过以下步骤S41-S43实现:
步骤S41:确定与所述人脸图像相对应的第一权重,与所述音频数据相对应的第二权重以及与所述身高数据相对应的第三权重;
需要说明的是,第一权重、第二权重、第三权重分别表示人脸图像、音频数据以及身高数据在通过人脸图像、音频数据和身高数据三者确定目标年龄段的过程中所占的重要程度。第一权重,第二权重、第三权重之和为1。
步骤S42:根据所述第一权重,所述第一向量、所述第二权重、所述第二向量、所述第三权重和所述第三向量得到目标向量;
在一个示例性的实施例中,可以将第一权重与第一向量相乘、将第二权重与第二向量相乘、将第三权重与第三向量相乘,进而将三个乘积结果相加,得到目标向量。
步骤S43:将目标概率所对应的年龄段确定为所述目标年龄段,其中,所述目标概率为所述目标向量中包括的多个概率中的最大概率。
为了更好的理解,以下距离说明,假设得到的目标向量为(0.1,0.2,0.6,0.1),假设0.6对应的年龄段为中年,则目标年龄段为中年。
需要说明的是,在一个示例性的实施例中,在执行上述步骤S204之后,还可以执行以下步骤S11-S12:
步骤S11:向所述目标设备绑定的目标账号发送请求信息;
需要说明的是,请求信息中包括人脸图像,所述请求信息用于请求所述目标对象的实际年龄。即可以向目标账户发送人脸图像,请求获取人脸图像对应的对象的实际年龄。
步骤S12:接收所述目标账号发送的所述目标对象的实际年龄,并在所述实际年龄不在所述目标年龄段的情况下,根据所述实际年龄调整所述第一权重,所述第一权重,所述第三权重,以使所述实际年龄位于根据调整后的第一权重、调整后的第二权重、调整后的第三权重、所述第一向量,所述第二向量和所述第三向量确定的年龄段。
步骤S206,在所述目标年龄段处于第一预设年龄段内的情况下,通过所述目标设备执行告警事件。
需要说明的是,上述第一预设年龄段为10岁以下,即为儿童。
在一个示例性的实施例中,上述步骤S206可以通过以下方式一,和/或方式二实现:
方式一:通过所述目标设备发出告警语音;需要说明的是,告警语音用于提示所述预设年龄段的对象准备使用所述目标设备。也就是说,提示有儿童准备使用目标设备。
方式二:向与所述目标设备绑定的目标账号发送告警信息,需要说明的是,所述告警信息包括所述人脸图像,所述告警信息用于提示所述人脸图像对应的对象准备使用所述目标设备。也就是说,告警信息中携带有所述人脸图像,即将人脸图像发送至目标账号上,提示人脸图像对应的对象准备使用目标设备。
需要说明的是,在一个示例性的实施例中,向与所述目标设备绑定的目标账号发送告警信息之后,如果获取到目标账号响应于所述告警信息发送的第一远程控制指令,则可以控制目标设备禁止执行所述目标对象下发的操作;或者在获取到所述目标账号响应于所述告警信息发送的第二远程控制指令的情况下,直接锁定所述目标设备,禁止使用目标设备。采用上述技术方案,可以保障儿童的安全。
在一个示例性的实施例中,在所述目标年龄段处于第二预设年龄段内的情况下,向与所述目标设备绑定的目标账号发送提示信息,其中,所述提示信息包括所述人脸图像,所述提示信息用于提示所述人脸图像对应的对象准备使用所述目标设备、并提示是否进行远程协助;在获取到所述目标账号响应于所述提示信息发送的第三远程控制指令的情况下,控制所述目标设备按照所述第三远程控制指令执行对应的操作。
需要说明的是,上述第二预设年龄段为60岁以上,即为老人,通常情况下,老人可能不太会使用设备,进而在检测到为老人的情况下,向目标设备绑定的目标账号发送人脸图像,并提示是否进行远程协助。进而在获取到目标账号发送的第三控制指令的情况下,控制目标设备按照第三远程控制指令执行对应的操作。采用上述技术方案,可以远程协助老人使用设备,提高了用户的体验感。
在一个示例性的实施例中,在确定所述目标年龄段不为第一预设年龄段的情况下,获取与所述目标年龄段对应的推荐信息;在所述目标设备的显示器上显示所述推荐信息;和/或将所述推荐信息发送至所述目标设备绑定的目标账号。
也就是说,如果确定目标对象的年龄不为儿童,则可以获取与目标对象对应的年龄的人通常使用的功能,或者相应的推荐信息,在目标设备的显示器上显示,和/或发送至目标设备绑定的目标账号。
需要说明的是,本实施例的技术方案可以应用在目标设备或者云端服务器中。
通过上述步骤,在检测到目标对象与目标设备的距离小于预设阈值的情况下,通过采集到的目标对象的人脸图像、身高数据、音频数据确定目标对象所在的目标年龄段、并在目标年龄段处于第一预设年龄段内的情况下,通过目标设备执行告警事件。进而在儿童与设备之间的距离小于预设距离的情况下,可以执行告警操,使得监护人知晓儿童可能使用设备,进而执行相应的操作,降低了儿童的危险性。解决了现有家电设备不具备使用前的告警功能,导致儿童使用家电设备的危险性较高问题。
显然,上述所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。为了更好的理解上述家电设备的控制方法,以下结合实施例对上述过程进行说明,但不用于限定本发明实施例的技术方案,具体地:
在一个可选的实施例中,以目标设备为烤箱为例,图3是根据本发明实施例的家电设备的控制方法的流程图(二),该流程包括如下步骤:
步骤S1:烤箱打开;
步骤S2.1:通过超声波传感器(相当于上述实施例中的测距传感器)采集身高数据,执行步骤S3.1;
步骤S3.1:身高识别,执行步骤S4;
步骤S2.2:通过摄像头(相当于上述实施例中的图像采集装置)采集人脸数据,执行步骤S3.2;
步骤S3.2:人脸检测,执行步骤S4;
步骤S2.3:通过麦克风(相当于上述实施例中的音频采集装置)采集音频数据,执行步骤S3.3;
步骤S3.3:声纹识别,执行步骤S4;
需要说明的是,上述步骤S2.1、步骤S2.2、步骤S2.3的执行没有先后顺序。
步骤S4:将识别得到的结果数据进行多模态数据融合;
步骤S5:将融合后得到的结果进行阈值判断;
步骤S6:确定是否为儿童,在是情况下,执行步骤S7,否则执行步骤S2.1、步骤S2.2、步骤S2.3;
步骤S7:关闭烤箱。
需要说明的是,本申请实施例可以利用烤箱门体上或烤箱顶端安装的超声波测距模块和摄像头进行检测,超声波测距模块可以检测烤箱附近有没有物体接近,可以检测到物体的高度,识别出人体的高度信息,摄像头可以拍摄到烤箱附件的物体图像,利用人脸检测算法检测到烤箱附近的人脸,利用人脸识别算法得到人脸的年龄段,麦克风可以得到行人的声音信息,利用声纹识别算法得到行人的声纹识别信息。最后使用多模态数据整合方法得到数据整合信息,最后根据阈值判断出行人是否为儿童,如果是儿童,则烤箱发出报警声音,也可以联动烤箱绑定的目标应用发出提醒消息,以预防烫伤事故的发生。本方案相对于现有技术方案,智能化程度更高,可以判断出靠近烤箱的人员是儿童还是成人,还可以根据摄像头拍摄的人脸图像推荐相应的菜谱及关联商城购买。
需要说明的是。多模态数据融合方法使用如下公式进行实现:
W=α*x+β*y+γ*z
其中,α、β、γ相当于上述实施例中的第一权重,第二权重,第三权重。α+β+γ=1,x为身高识别结果数据(相当于上述实施例中的第三向量),y为人脸识别结果数据(相当于上述实施例中的第一向量),z为声纹识别结果数据(相当于上述实施例中的第二向量)。
具体的,人脸检测算法使用mtcnn人脸检测算法,得到人脸的目标框信息,然后对目标框信息使用mobilenet进行年龄段分类,得到人脸的年龄段信息,声纹识别利用CNN分类算法得到声纹识别结果,结合超声波的测量高度信息,综合判断是否为儿童。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
在本实施例中还提供了一种家电设备的控制装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的设备较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明实施例的家电设备的控制装置的结构框图(一),该装置包括:
采集模块41,用于在检测到目标对象与目标设备的距离小于预设阈值的情况下,通过图像采集装置采集所述目标对象的人脸图像;以及通过测距传感器采集目标对象的身高数据;以及通过音频采集装置采集所述目标对象的音频数据;
确定模块42,用于根据所述人脸图像、所述身高数据和所述音频数据确定所述目标对象所在的目标年龄段;
告警模块43,用于在所述目标年龄段处于第一预设年龄段内的情况下,通过所述目标设备执行告警事件。
通过上述装置,在检测到目标对象与目标设备的距离小于预设阈值的情况下,通过采集到的目标对象的人脸图像、身高数据、音频数据确定目标对象所在的目标年龄段、并在目标年龄段处于第一预设年龄段内的情况下,通过目标设备执行告警事件。进而在儿童与设备之间的距离小于预设距离的情况下,可以执行告警操,使得监护人知晓儿童可能使用设备,进而执行相应的操作,降低了儿童的危险性。解决了现有家电设备不具备使用前的告警功能,导致儿童使用家电设备的危险性较高问题。
在一个示例性的实施例中,所述确定模块42,还用于通过人脸识别算法对所述人脸图像进行识别,得到第一向量;以及通过声纹识别算法对所述音频数据进行识别,得到第二向量;以及通过所述身高数据确定第三向量;其中,所述第一向量,所述第二向量,所述第三向量用于指示所述目标对象在多个不同年龄段的概率;根据所述第一向量,所述第二向量和所述第三向量确定所述目标对象所在的目标年龄段。
在一个示例性的实施例中,所述确定模块42,还用于确定与所述人脸图像相对应的第一权重,与所述音频数据相对应的第二权重以及与所述身高数据相对应的第三权重;根据所述第一权重,所述第一向量、所述第二权重、所述第二向量、所述第三权重和所述第三向量得到目标向量;将目标概率所对应的年龄段确定为所述目标年龄段,其中,所述目标概率为所述目标向量中包括的多个概率中的最大概率。
在一个示例性的实施例中,告警模块43,用于通过所述目标设备发出告警语音,其中,所述告警语音用于提示所述预设年龄段的对象准备使用所述目标设备;和/或向与所述目标设备绑定的目标账号发送告警信息,其中,所述告警信息包括所述人脸图像,所述告警信息用于提示所述人脸图像对应的对象准备使用所述目标设备。
图5是根据本发明实施例的家电设备的控制装置的结构框图(二),该装置包括:调整模块44,控制模块45,协助模块46,推荐模块47。
在一个示例性的实施例中,调整模块44,还用于向所述目标设备绑定的目标账号发送请求信息,其中,所述请求信息包括所述人脸图像,所述请求信息用于请求所述目标对象的实际年龄;接收所述目标账号发送的所述目标对象的实际年龄,并在所述实际年龄不在所述目标年龄段的情况下,根据所述实际年龄调整所述第一权重,所述第一权重,所述第三权重,以使所述实际年龄位于根据调整后的第一权重、调整后的第二权重、调整后的第三权重、所述第一向量,所述第二向量和所述第三向量确定的年龄段。
在一个示例性的实施例中,控制模块45,用于在获取到所述目标账号响应于所述告警信息发送的第一远程控制指令的情况下,控制所述目标设备禁止执行所述目标对象下发的操作;或在获取到所述目标账号响应于所述告警信息发送的第一远程控制指令的情况下,锁定所述目标设备。
在一个示例性的实施例中,所述协助模块46,用于在所述目标年龄段处于第二预设年龄段内的情况下,向与所述目标设备绑定的目标账号发送提示信息,其中,所述提示信息包括所述人脸图像,所述提示信息用于提示所述人脸图像对应的对象准备使用所述目标设备、并提示是否进行远程协助;在获取到所述目标账号响应于所述提示信息发送的第二远程控制指令的情况下,控制所述目标设备按照所述第二远程控制指令执行对应的操作。
在一个示例性的实施例中,所述推荐模块47,用于在确定所述目标年龄段不为第一预设年龄段的情况下,获取与所述目标年龄段对应的推荐信息;在所述目标设备的显示器上显示所述推荐信息;和/或将所述推荐信息发送至所述目标设备绑定的目标账号。
本发明的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,在检测到目标对象与目标设备的距离小于预设阈值的情况下,通过图像采集装置采集所述目标对象的人脸图像;以及通过测距传感器采集目标对象的身高数据;以及通过音频采集装置采集所述目标对象的音频数据;
S2,根据所述人脸图像、所述身高数据和所述音频数据确定所述目标对象所在的目标年龄段;
S3,在所述目标年龄段处于第一预设年龄段内的情况下,通过所述目标设备执行告警事件。
在一个示例性实施例中,上述计算机可读存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,在检测到目标对象与目标设备的距离小于预设阈值的情况下,通过图像采集装置采集所述目标对象的人脸图像;以及通过测距传感器采集目标对象的身高数据;以及通过音频采集装置采集所述目标对象的音频数据;
S2,根据所述人脸图像、所述身高数据和所述音频数据确定所述目标对象所在的目标年龄段;
S3,在所述目标年龄段处于第一预设年龄段内的情况下,通过所述目标设备执行告警事件。
在一个示例性实施例中,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种家电设备的控制方法,其特征在于,包括:
在检测到目标对象与目标设备的距离小于预设阈值的情况下,通过图像采集装置采集所述目标对象的人脸图像;以及通过测距传感器采集目标对象的身高数据;以及通过音频采集装置采集所述目标对象的音频数据;
根据所述人脸图像、所述身高数据和所述音频数据确定所述目标对象所在的目标年龄段;
在所述目标年龄段处于第一预设年龄段内的情况下,通过所述目标设备执行告警事件。
2.根据权利要求1所述的方法,其特征在于,所述根据所述人脸图像、所述身高数据和所述音频数据确定所述目标对象所在的目标年龄段,包括:
通过人脸识别算法对所述人脸图像进行识别,得到第一向量;以及
通过声纹识别算法对所述音频数据进行识别,得到第二向量;以及
通过所述身高数据确定第三向量;其中,所述第一向量,所述第二向量,所述第三向量用于指示所述目标对象在多个不同年龄段的概率;
根据所述第一向量,所述第二向量和所述第三向量确定所述目标对象所在的目标年龄段。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一向量,所述第二向量和所述第三向量确定所述目标对象所在的目标年龄段,包括:
确定与所述人脸图像相对应的第一权重,与所述音频数据相对应的第二权重以及与所述身高数据相对应的第三权重;
根据所述第一权重,所述第一向量、所述第二权重、所述第二向量、所述第三权重和所述第三向量得到目标向量;
将目标概率所对应的年龄段确定为所述目标年龄段,其中,所述目标概率为所述目标向量中包括的多个概率中的最大概率。
4.根据权利要求3所述的方法,其特征在于,根据所述人脸图像、所述身高数据和所述音频数据确定所述目标对象所在的目标年龄段之后,所述方法还包括:
向所述目标设备绑定的目标账号发送请求信息,其中,所述请求信息包括所述人脸图像,所述请求信息用于请求所述目标对象的实际年龄;
接收所述目标账号发送的所述目标对象的实际年龄,并在所述实际年龄不在所述目标年龄段的情况下,根据所述实际年龄调整所述第一权重、所述第一权重和所述第三权重,以使所述实际年龄位于根据调整后的第一权重、调整后的第二权重、调整后的第三权重、所述第一向量,所述第二向量和所述第三向量确定的年龄段。
5.根据权利要求1所述的方法,其特征在于,所述通过所述目标设备执行告警事件,包括:
通过所述目标设备发出告警语音,其中,所述告警语音用于提示所述预设年龄段的对象准备使用所述目标设备;和/或
向与所述目标设备绑定的目标账号发送告警信息,其中,所述告警信息包括所述人脸图像,所述告警信息用于提示所述人脸图像对应的对象准备使用所述目标设备。
6.根据权利要求5所述的方法,其特征在于,所述向与所述目标设备绑定的目标账号发送告警信息之后,所述方法还包括:
在获取到所述目标账号响应于所述告警信息发送的第一远程控制指令的情况下,控制所述目标设备禁止执行所述目标对象下发的操作;或
在获取到所述目标账号响应于所述告警信息发送的第二远程控制指令的情况下,锁定所述目标设备。
7.根据权利要求1所述的方法,其特征在于,根据所述人脸图像、所述身高数据和所述音频数据确定所述目标对象所在的目标年龄段之后,所述方法还包括:
在所述目标年龄段处于第二预设年龄段内的情况下,向与所述目标设备绑定的目标账号发送提示信息,其中,所述提示信息包括所述人脸图像,所述提示信息用于提示所述人脸图像对应的对象准备使用所述目标设备、并提示是否进行远程协助;
在获取到所述目标账号响应于所述提示信息发送的第三远程控制指令的情况下,控制所述目标设备按照所述第三远程控制指令执行对应的操作。
8.一种家电设备的控制装置,其特征在于,包括:
采集模块,用于在检测到目标对象与目标设备的距离小于预设阈值的情况下,通过图像采集装置采集所述目标对象的人脸图像;以及通过测距传感器采集目标对象的身高数据;以及通过音频采集装置采集所述目标对象的音频数据;
确定模块,用于根据所述人脸图像、所述身高数据和所述音频数据确定所述目标对象所在的目标年龄段;
告警模块,用于在所述目标年龄段处于第一预设年龄段内的情况下,通过所述目标设备执行告警事件。
9.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行权利要求1至7中任一项所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210469038.8A CN117012010A (zh) | 2022-04-29 | 2022-04-29 | 家电设备的控制方法及装置、存储介质及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210469038.8A CN117012010A (zh) | 2022-04-29 | 2022-04-29 | 家电设备的控制方法及装置、存储介质及电子装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117012010A true CN117012010A (zh) | 2023-11-07 |
Family
ID=88574937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210469038.8A Pending CN117012010A (zh) | 2022-04-29 | 2022-04-29 | 家电设备的控制方法及装置、存储介质及电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117012010A (zh) |
-
2022
- 2022-04-29 CN CN202210469038.8A patent/CN117012010A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107741698B (zh) | 智能家电与门禁设备的联动控制方法、装置和系统 | |
CN110087131A (zh) | 电视系统中的电视控制方法及主控终端 | |
KR101737259B1 (ko) | 정보 송신 방법, 장치, 프로그램 및 저장매체 | |
JP2017036976A (ja) | 位置管理システム、位置管理装置、位置管理方法、及びプログラム | |
CN109961603A (zh) | 一种厨房炉灶安全监控方法及装置 | |
JPWO2017209094A1 (ja) | 見守りシステム | |
CN114855416B (zh) | 洗涤程序的推荐方法及装置、存储介质及电子装置 | |
JP7353047B2 (ja) | 見守りシステム及びサーバ装置 | |
CN104378596B (zh) | 一种与摄像设备进行远程通话的方法及装置 | |
JP6152853B2 (ja) | 制御方法及びプログラム | |
CN117012010A (zh) | 家电设备的控制方法及装置、存储介质及电子装置 | |
JP6142975B1 (ja) | 被監視者監視装置および該方法ならびに被監視者監視システム | |
JP6663703B2 (ja) | 見守りシステム | |
CN116401644A (zh) | 身份验证方法和装置、存储介质及电子装置 | |
CN114782704A (zh) | 状态信息的确定方法、装置、存储介质及电子装置 | |
CN114691731A (zh) | 使用偏好的确定方法和装置、存储介质及电子装置 | |
CN112188252A (zh) | 基于电视提醒的老人陪护方法、装置及可读存储介质 | |
CN116343420A (zh) | 告警处理方法、装置、存储介质及电子装置 | |
CN115131846A (zh) | 一种访客识别方法、装置、电子设备及存储介质 | |
CN116401643A (zh) | 异常行为处理方法、存储介质及电子装置 | |
CN114712836A (zh) | 语音提醒方法及装置、存储介质及电子装置 | |
JP6380794B2 (ja) | 防犯管理装置 | |
CN115471984B (zh) | 告警事件的执行方法及装置、存储介质及电子装置 | |
CN115484116B (zh) | 设备数据的处理方法及装置、存储介质及电子装置 | |
JP7353049B2 (ja) | 見守りシステム及びサーバ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |