CN111007734A - 家用电器的控制方法、家用电器、控制装置及存储装置 - Google Patents
家用电器的控制方法、家用电器、控制装置及存储装置 Download PDFInfo
- Publication number
- CN111007734A CN111007734A CN201911275528.9A CN201911275528A CN111007734A CN 111007734 A CN111007734 A CN 111007734A CN 201911275528 A CN201911275528 A CN 201911275528A CN 111007734 A CN111007734 A CN 111007734A
- Authority
- CN
- China
- Prior art keywords
- household appliance
- head
- distance
- human body
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 230000000875 corresponding effect Effects 0.000 claims description 40
- 230000001276 controlling effect Effects 0.000 claims description 32
- 238000012360 testing method Methods 0.000 claims description 14
- 238000007664 blowing Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 8
- 230000002596 correlated effect Effects 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 11
- 230000004044 response Effects 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 9
- 238000012795 verification Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005057 refrigeration Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种家用电器的控制方法、家用电器、控制装置及存储装置,所述家用电器的控制方法包括:获得所述家用电器上摄像头所拍摄的包含人体的原始图像;利用头肩检测模型从所述原始图像中获得人体的头肩图像;利用头部检测模型从所述头肩图像中获得人体的头部图像;利用所述头部图像和所述原始图像获得人体与所述家用电器之间的距离;根据所述距离控制所述家用电器执行相应的操作。通过上述方式,本申请能够提升家用电器控制的智能度和精确度。
Description
技术领域
本申请涉及家用电器技术领域,特别是涉及一种家用电器的控制方法、家用电器、控制装置及存储装置。
背景技术
目前一些家用电器的控制方法存在智能度和精确度较低的问题。例如,当家用电器为空调时,若人体距离空调较近,则会感受到较强的送风强度,导致人体舒适度下降;而若人体距离空调较远,则会感受到较弱的送风强度,同样会导致人体舒适度下降。此时,为了提升人体舒适度,用户只能自行调整控制参数。
因此,针对上述问题,有必要提供一种新的家用电器的控制方法以提升家用电器控制的智能度和精确度。
发明内容
本申请主要解决的技术问题是提供一种家用电器的控制方法、家用电器、控制装置及存储装置,能够提升家用电器控制的智能度和精确度。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种家用电器的控制方法,所述控制方法包括:获得所述家用电器上摄像头所拍摄的包含人体的原始图像;利用头肩检测模型从所述原始图像中获得人体的头肩图像;利用头部检测模型从所述头肩图像中获得人体的头部图像;利用所述头部图像和所述原始图像获得人体与所述家用电器之间的距离;根据所述距离控制所述家用电器执行相应的操作。
其中,所述利用所述头部图像和所述原始图像获得人体与所述家用电器之间的距离,包括:获得所述头部图像的中心点在所述原始图像中所处的第一位置、以及所述摄像头在所述原始图像中所处的第二位置,其中,所述第二位置为所述原始图像下边缘的中心点位置;获得所述第一位置和所述第二位置的连线与垂直于所述原始图像下边缘且经过所述第二位置的垂直线之间的夹角;响应于所述夹角小于等于预设畸变角度,利用第一关联方案获得人体与所述家用电器之间的距离;或者,响应于所述夹角大于所述预设畸变角度,利用第二关联方案获得人体与所述家用电器之间的距离。
其中,所述第一关联方案或所述第二关联方案中,所述距离与所述头部图像的高度像素值和宽度像素值均反相关。
其中,所述第一关联方案或所述第二关联方案中,所述距离为第一系数与所述高度像素值的比值、第二系数与所述宽度像素值的比值以及修正值之和。
其中,所述利用所述头部图像和所述原始图像获得人体与所述家用电器之间的距离,之前,所述控制方法还包括:获得人体处于预设畸变角度范围内且距离所述家用电器不同距离和不同角度下的多个第一头部图像样本,以及获得人体处于所述预设畸变角度范围外且距离所述家用电器不同距离和不同角度下的多个第二头部图像样本;利用所述多个第一头部图像样本和对应的距离拟合获得所述第一关联方案,以及利用多个所述第二头部图像样本和对应的距离拟合获得所述第二关联方案。
其中,所述家用电器包括风机,所述根据所述距离控制所述家用电器执行相应的操作,包括:根据所述距离控制所述风机的送风强度,其中,所述距离与所述送风强度正相关。
其中,所述控制方法还包括:根据所述夹角控制所述风机的送风角度。
其中,所述根据所述夹角控制所述风机的送风角度,包括:响应于预设风吹人工作模式,所述送风角度与所述夹角一致;或者,响应于预设风避人工作模式,所述送风角度为除所述夹角以外的区域。
其中,所述原始图像中包含多个人体的成像,所述利用所述头部图像和所述原始图像获得人体与所述家用电器之间的距离,包括:分别利用每个人体对应的所述头部图像和所述原始图像获得每个人体与所述家用电器之间的距离;获得多个所述距离对应的平均距离;所述根据所述距离控制所述家用电器执行相应的操作包括:根据所述平均距离控制所述家用电器执行相应的操作。
其中,所述获得所述家用电器上摄像头所拍摄的包含人体的原始图像,之前,所述控制方法还包括:将Yolov2原始网络模型中除最后一层卷积层外的其余卷积层进行通道缩小和/或部分删除处理,以形成多个Yolov2裁剪网络模型;对多个所述Yolov2裁剪网络模型分别进行训练和测试;根据各所述Yolov2裁剪网络模型的测试结果,从多个所述Yolov2裁剪网络模型中选择其中一个作为所述头肩检测模型/所述头部检测模型。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种家用电器的控制装置,包括处理器和存储器,所述处理器耦接所述存储器,所述存储器中存储有程序指令,所述处理器执行所述程序指令,通过所述程序指令实现如上述任一实施例中所述的控制方法。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种家用电器,包括如上述任一实施例中所述的控制装置以及摄像头。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种具有存储功能的装置,所述装置存储有程序数据,所述程序数据能够被执行以实现如上述任一实施例所述的控制方法。
本申请的有益效果是:本申请所提供的家用电器的控制方法中会先利用头肩检测模型从包含人体的原始图像中获得人体的头肩图像,然后利用头部检测模型从头肩图像中获得人体的头部图像,接着根据头部图像和原始图像获得人体与家用电器之间的距离;最后根据该距离可以控制家用电器执行相应的操作。一方面,本申请可以根据人体与家用电器之间的距离自动控制家用电器执行相应的操作,智能化程度较高;且本申请中利用人体的头部信息来估计人体的位置信息,该方式精确度高,且应用范围广;另一方面,本申请是由粗到细的定位过程,即先从原始图像中检测获得头肩图像然后从头肩图像中检测获得头部图像,该方式与直接从原始图像中检测获得头部图像相比,可以过滤掉原始图像中背景的一些干扰信息,降低背景物体被误识别为头部的概率,提高识别精准度,进而提高人体的位置信息的精准度,提高家用电器控制的精确度;再一方面,当家庭成员处在复杂多变的光照环境以及距离家用电器相对较远的位置,例如,处在距离家用电器4m处的位置时,摄像头所采集到的人体的原始图像中头部较小,很难精确识别出头部图像;上述从粗到细的定位过程,可以有效地检测出复杂光照下及远距离下(例如,距离家用电器4m以内)的头部图像,其头部图像识别精确度提高,降低漏检、误检的概率。后续将检测到的头部图像送入到距离计算以及控制环节,提升家用电器控制的精确度,以及提高在复杂多变的光照环境下及远距离时候的用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1为本申请家用电器的控制方法一实施方式的流程示意图;
图2a为包含人体的原始图像一实施方式的结构示意图;
图2b为由图2a中原始图像获得的头肩图像一实施方式的结构示意图;
图2c为由图2b中头肩图像获得的头部图像一实施方式的结构示意图;
图3为图1中步骤S104一实施方式的流程示意图;
图4为包含多个人体的原始图像一实施方式的结构示意图;
图5为本申请家用电器的控制装置一实施方式的结构示意图;
图6为本申请家用电器一实施方式的结构示意图;
图7为本申请具有存储功能的装置一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,图1为本申请家用电器的控制方法一实施方式的流程示意图,该控制方法包括:
S101:获得家用电器上摄像头所拍摄的包含人体的原始图像。
具体地,如图2a所示,图2a为包含人体的原始图像一实施方式的结构示意图。在本实施例中,家用电器上的摄像头可以一直处于工作状态,摄像头可以实时对其周围的环境进行拍摄并将拍摄到的原始图像发送至处理器中,处理器对原始图像进行识别和判断,以获得包含人体的原始图像。其中,处理器对原始图像进行识别和判断的过程可采用现有技术中任意一种,例如,OpenCV等,本申请对此不作过多说明。当然,在其他实施例中,家用电器上或者家用电器周围还可设置有红外感应器,响应于红外感应器感应到周围有人体存在,摄像头对周围的环境进行拍摄;响应于红外感应器未感应到周围有人体存在,摄像头处于休眠状态。
此外,在本实施例中,摄像头可以位于家用电器的正前方,其可拍摄家用电器前方以及周边预设角度范围内的原始图像,且原始图像中所包含的人体可以面向摄像头、侧向摄像头或背向摄像头。
S102:利用头肩检测模型从原始图像中获得人体的头肩图像。
具体地,如图2b所示,图2b为由图2a中原始图像获得的头肩图像一实施方式的结构示意图。在本实施例中,该头肩图像可以为矩形等,上述头肩检测模型可以是头肩检测CNN模型,其所采用的算法可以是R-CNN、Fast R-CNN、Faster R-CNN等。在上述步骤S102之前,本申请所提供的控制方法还包括:预先对多个头肩图像进行深度学习,生成已训练的头肩检测模型。其中,深度学习是借助人类视觉系统对外部信息的进行分级处理的一种方式,通过组合底层特征形成更加抽象的高层特征,深度学习使得自动学习特征成为可能。深度学习框架将特征提取和分类器结合到一个框架中,自动从海量大数据中去学习特征,在使用中减少了手工设计特征的巨大工作量,上述进行深度学习的具体过程可参见现有技术中任意一种。例如,可以先对头肩检测模型进行深度学习参数的配置及初始化;然后将训练集中的多个头肩图像进行批量学习,以得到初步训练的头肩检测模型;接着使用验证集中的多个头肩图像对初步训练的头肩检测模型进行准确率计算,判断准确率是否超过预设的准确率阈值,响应于准确率不超过预设的准确率阈值,返回前一个步骤继续训练学习;响应于准确率超过预设的准确率阈值,生成已训练的头肩检测模型。
当然,在其他实施例中,上述头肩检测模型也可以裁剪后的内存占用较小的Yolov2裁剪网络模型,具体获得上述头肩检测模型的过程可以为:
A、将Yolov2原始网络模型中除最后一层卷积层外的其余卷积层进行通道缩小和/或部分删除处理,以形成多个Yolov2裁剪网络模型。
例如,可以将Yolov2原始网络模型作为待裁剪网络模型,对其中的多个卷积层进行裁剪和/或通道数缩小;其中,具体裁剪方式可以为将最靠近最后一层的卷积层预定数量的卷积层进行删除,具体通道数缩小的方式可以为将处最后一层卷积层外的其他卷积层的通道数进行1/2、1/4、1/8等缩小处理。
B、对多个Yolov2裁剪网络模型分别进行训练和测试。
具体地,当需要获得头肩检测模型时,可采用头肩图像对应的测试集和训练集进行训练;然后对训练后的模型采用验证集进行测试。
C、根据各Yolov2裁剪网络模型的测试结果,从多个Yolov2裁剪网络模型中选择其中一个作为头肩检测模型,例如,可以将测试结果最符合预期即准确率最高的Yolov2裁剪网络模型作为头肩检测模型;又例如,可以综合考虑准确率和模型的大小来选择头肩检测模型。在一个具体的应用场景中,本申请中头肩检测模型相对于Yolov2原始网络模型,从后往前数,删除了通道数为1024的6层卷积层以及通道数为512的3层卷积层,且其余卷积层的通道数减少为原来的1/4。
上述通过裁剪Yolov2原始网络模型获得的头肩检测模型大小约4kb左右,占用设备内存少,计算量少,响应时间快,可以直接植入家用电器的设备系统中。
S103:利用头部检测模型从头肩图像中获得人体的头部图像。
具体地,如图2c所示,图2c为由图2b中头肩图像获得的头部图像一实施方式的结构示意图。在本实施例中,该头部图像可以为矩形等,经过上述步骤S103可以获得头部图像的高度像素值、宽度像素值以及中心点坐标;当头部图像为矩形时,该中心点为矩形的对角线的交点。该头部检测模型可以是头部检测CNN模型,其所采用的算法可以是R-CNN、FastR-CNN、Faster R-CNN等。在上述步骤S103之前,本申请所提供的控制方法还包括:预先对多个头部图像进行深度学习,生成已训练的头部检测模型。上述进行深度学习的具体过程可参见现有技术中任意一种。例如,可以先对头部检测模型进行深度学习参数的配置及初始化;然后将训练集中的多个头部图像进行批量学习,以得到初步训练的头部检测模型;接着使用验证集中的多个头部图像对初步训练的头部检测模型进行准确率计算,判断准确率是否超过预设的准确率阈值,响应于准确率未超过预设的准确率阈值,返回前一个步骤继续训练学习;响应于准确率超过预设的准确率阈值,生成已训练的头部检测模型。
当然,在其他实施例中,上述头部检测模型也可以裁剪后的内存占用较小的Yolov2裁剪网络模型,具体获得上述头部检测模型的过程可以为:
A、将Yolov2原始网络模型中除最后一层卷积层外的其余卷积层进行通道缩小和/或部分删除处理,以形成多个Yolov2裁剪网络模型。
例如,可以将Yolov2原始网络模型作为待裁剪网络模型,对其中的多个卷积层进行裁剪和/或通道数缩小;其中,具体裁剪方式可以为将最靠近最后一层的卷积层预定数量的卷积层进行删除,具体通道数缩小的方式可以为将处最后一层卷积层外的其他卷积层的通道数进行1/2、1/4、1/8等缩小处理。
B、对多个Yolov2裁剪网络模型分别进行训练和测试。
具体地,当需要获得头部检测模型时,可采用头部图像对应的测试集和训练集进行训练;然后对训练后的模型采用验证集进行测试。
C、根据各Yolov2裁剪网络模型的测试结果,从多个Yolov2裁剪网络模型中选择其中一个作为头部检测模型,例如,可以将测试结果最符合预期即准确率最高的Yolov2裁剪网络模型作为头部检测模型;又例如,可以综合考虑准确率和模型的大小来选择头部检测模型。例如,在本实施例中,本申请中头部检测模型相对于Yolov2原始网络模型,从后往前数,删除了通道数为1024的6层卷积层以及通道数为512的3层卷积层,且其余卷积层的通道数减少为原来的1/4。
上述通过裁剪Yolov2原始网络模型获得的头部检测模型大小约4kb左右,占用设备内存少,计算量少,响应时间快,可以直接植入家用电器的设备系统中。上述头部检测模型和头肩检测模型的差异可以在于目标区域层中的锚框值。
S104:利用头部图像和原始图像获得人体与家用电器之间的距离。
具体地,在本实施例中,如图3所示,图3为图1中步骤S104一实施方式的流程示意图。上述步骤S104具体包括:
S201:获得头部图像的中心点在原始图像中所处的第一位置P、以及摄像头在原始图像中所处的第二位置Q,其中,第二位置Q为原始图像下边缘的中心点位置。具体地,如图2a所示。
S202:获得第一位置P和第二位置Q的连线与垂直于原始图像下边缘且经过第二位置Q的垂直线之间的夹角α。
S203:响应于夹角α小于等于预设畸变角度,利用第一关联方案获得人体与家用电器之间的距离;或者,响应于夹角α大于预设畸变角度,利用第二关联方案获得人体与家用电器之间的距离。
具体地,在本实施例中,上述步骤S203之前,本申请所提供的控制方法还包括:预先对摄像头进行标定,以获得预设畸变角度值;其中,具体对摄像头进行标定的方式可参见现有技术中任意一种,本申请对此不作过多说明。例如,上述预设畸变角度值可以为40°,即在原始图像上经过第二位置Q的垂直线左右两侧各40°范围(加起来总共80°范围内)可以定义为预设畸变角度范围或无畸变角度区域,而左右两侧超过40°范围可以定义为预设畸变角度范围外或有畸变角度区域。对于无畸变角度区域,可使用第一关联方案获得人体与家用电器之间的距离;对于有畸变角度区域,可使用第二关联方案获得人体与家用电器之间的距离。且在第一关联方案或第二关联方案中,人体与家用电器之间的距离与头部图像的高度像素值和宽度像素值均反相关,即头部图像的高度像素值越大、宽度像素值越大,距离越小,头部图像的高度像素值越小、宽度像素值越小,距离越大。
在一个具体的应用场景中,第一关联方案或第二关联方案中,距离为第一系数与高度像素值的比值、第二系数与宽度像素值的比值以及修正值之和。
例如,当预设畸变角度为40°时,上述第一关联方案满足以下公式:z=k1/x+j1/y+b1,其中,z为人体与家用电器之间的距离(单位为m),x为头部图像的高度像素值,y为头部图像的宽度像素值,k1、j1、b1分别为通过头部图像样本拟合所获得的第一系数、第二系数以及修正值,例如,k1=82.54,j1=67.21,b1=0.37。
上述第二关联方案满足以下公式:z=k2/x+j2/y+b2,其中,z为人体与家用电器之间的距离(单位为m),x为头部图像的高度像素值,y为头部图像的宽度像素值,k2、j2、b2分别为通过头部图像样本拟合所获得的第一系数、第二系数以及修正值,例如,k2=91.33,j2=72.57,b2=0.31。
在本实施例中,获得上述第一关联方案和第二关联方案的过程可以为:获得人体处于预设畸变角度范围内(即,无畸变角度区域)且距离家用电器不同距离和不同角度下的多个第一头部图像样本,以及获得人体处于预设畸变角度范围外(即,有畸变角度区域)且距离家用电器不同距离和不同角度下的多个第二头部图像样本;利用多个第一头部图像样本和对应的距离拟合获得第一关联方案,以及利用多个第二头部图像样本和对应的距离拟合获得第二关联方案。
例如,首先对家用电器上的摄像头采用标定或者其他方式获得其预设畸变角度,假设此时摄像头的预设畸变角度为40°;然后,获得距离家用电器分别在1m、2m、3m、4m等位置处且与摄像头的光轴方向分别呈0°、10°、15°、25°、35°、40°等位置处的第一图像样本,获得距离家用电器分别在1m、2m、3m、4m等位置处且与摄像头的光轴方向分别呈45°、50°、55°、65°、75°、85°、90°等位置处的第二图像样本;接着,对多个第一图像样本分别经过头肩检测模型、头部检测模型获得对应的第一头部图像样本,对多个第二图像样本分别经过头肩检测模型、头部检测模型获得对应的第二头部图像样本;最后,利用多个第一头部图像样本中对应的高度像素值、宽度像素值和距离拟合出第一关联方案,利用多个第二头部图像样本中对应的高度像素值、宽度像素值和距离拟合出第二关联方案。
当然,在其他实施例中,也可采用其他方式获得第一关联方案和第二关联方案,例如,获得人体处于距离家用电器不同距离和不同角度下的多个第一图像样本;对多个第一图像样本进行归类和分析,以获得处于预设畸变角度范围内的多个第一头部图像样本和处于预设畸变角度范围外的多个第二头部图像样本;利用多个第一头部图像样本和对应的距离拟合获得第一关联方案,以及利用多个第二头部图像样本和对应的距离拟合获得第二关联方案。
上述获得人体与家用电器之间的距离的方式较为简单,且计算量较小。当然,在其他实施例中,实现上述步骤S104的具体过程也可为其他:例如,在上述步骤S102之前,可以对原始图像进行畸变校正处理;然后对该畸变校正处理后的原始图像依次经过步骤S102、步骤S103;最后可根据步骤S103中获得的头部图像的高度像素值、宽度像素值、以及第三关联关系获得人体与家用电器之间的距离,此时由于预先对原始图像进行畸变校正处理,故在步骤S103中无需区分有畸变区域和无畸变区域,统一使用同一个第三关联关系即可。
S105:根据距离控制家用电器执行相应的操作。
具体地,在一个实施方式中,当家用电器包括风机时,例如,家用电器为空调、风扇等,上述步骤S105具体包括:根据距离控制风机的送风强度,其中,距离与送风强度正相关,即距离越大,送风强度越大;距离越小,送风强度越小。当然,在其他实施例中,也可进一步结合人体的性别和年龄等来进一步控制风机的送风强度。例如,可以预先建立对应于不同性别、不同年龄的距离与送风强度的对照表,在上述步骤S105之前,还可根据获得的人体的头部图像以及原始图像分析获得人体的性别以及年龄。然后在步骤S105中可以调用不同性别、不同年龄对应的距离与送风强度的对照表来控制家用电器。
在一个具体的应用场景中,当家用电器为空调时,若此时检测到目前室内的人体距离家用电器之间的距离为小于等于1m,则控制家用电器的送风强度为最大送风强度的20%;若此时检测到目前室内的人体距离家用电器之间的距离大于1m且小于等于2m,则控制家用电器的送风强度为最大送风强度的40%;若此时检测到目前室内的人体距离家用电器之间的距离大于2m且小于等于3m,则控制家用电器的送风强度为最大送风强度的70%;若此时检测到目前室内的人体距离家用电器之间的距离大于3m,则控制家用电器的送风强度为最大送风强度。
在又一个实施方式中,本申请所提供的家用电器的控制方法还可包括:根据上述步骤S104中获得的夹角控制风机的送风角度。该方式可以进一步提高家用电器的智能度。
在一个应用场景中,上述根据夹角控制风机的送风角度具体包括:响应于预设风吹人工作模式,送风角度与夹角一致;或者,响应于预设风避人工作模式,送风角度为除夹角以外的区域,其中,上述送风角度可以为风机的出风角度。
例如,当家用电器为空调,且分析获得头部图像中夹角为50°时,若此时为预设风吹人工作模式,则将风机的送风角度设定为50°,以使得风向朝向人体;若此时为预设风避人工作模式,则将送风角度设定为50°以外的区域,以使得风向避开人体。且此时若想使得风向完全避开人体,可将送风角度设定为除45°-55°以外的区域。该设计方式可以使得人体舒适度进一步提升,且家用电器的控制更为智能化、人性化。
当然,在其他实施例中,当家用电器具有温度调节功能时,本申请所提供的家用电器的控制方法还可包括:根据距离控制温度,其中,响应于家用电器设定为制冷功能,则距离越大,温度设定越低;距离越小,温度设定越高;响应于家用电器设定为制热功能,则距离越大,温度设定越高;距离越小,温度设定越低。
例如,当家用电器为空调,且为制冷功能时,若此时检测到目前室内的人体距离家用电器之间的距离为小于等于1m,则控制家用电器的温度保持不变;若此时检测到目前室内的人体距离家用电器之间的距离大于1m且小于等于2m,则控制家用电器的温度下降0.5℃;若此时检测到目前室内的人体距离家用电器之间的距离大于2m且小于等于3m,则控制家用电器的温度下降1℃;若此时检测到目前室内的人体距离家用电器之间的距离大于3m,则控制家用电器的温度下降2℃。
又例如,当家用电器为空调,且为制热功能时,若此时检测到目前室内的人体距离家用电器之间的距离为小于等于1m,则控制家用电器的温度保持不变;若此时检测到目前室内的人体距离家用电器之间的距离大于1m且小于等于2m,则控制家用电器的温度升高0.5℃;若此时检测到目前室内的人体距离家用电器之间的距离大于2m且小于等于3m,则控制家用电器的温度升高1℃;若此时检测到目前室内的人体距离家用电器之间的距离大于3m,则控制家用电器的温度升高2℃。
在某些情况下,步骤S101中所提供的原始图像中可能包含多个人体的成像,如图4所示,图4为包含多个人体的原始图像一实施方式的结构示意图。上述步骤S104中利用头部图像和原始图像获得人体与家用电器之间的距离具体包括:分别利用每个人体对应的头部图像和原始图像获得每个人体与家用电器之间的距离;获得多个距离对应的平均距离。此时步骤S105中根据距离控制家用电器执行相应的操作包括:根据该平均距离控制家用电器执行相应的操作,该方式可以使得多个人的人体舒适度感觉较好。例如,可根据该平均距离控制风机的送风强度,平均距离与该送风强度正相关。又例如,当家用电器为预设风避人模式时,可以控制此时的送风角度为多个人之间的间隔区域对应的角度范围。又例如,当家用电器为预设风吹人模式时,可以控制此时的送风角度为每间隔一段时间风向调整为朝向某个夹角对应的角度,以使得多个人可以轮流每间隔一段时间吹到。
请参阅图5,图5为本申请家用电器的控制装置一实施方式的结构示意图,该控制装置10包括处理器100和存储器102,处理器100耦接存储器102,存储器102中存储有程序指令,处理器100执行程序指令,通过程序指令实现上述任一实施例中的控制方法。在本实施例中,该控制装置10可以集成于家用电器上,也可以独立于家用电器,只要其与家用电器之间产生关联即可。
具体地,该控制装置10中的处理器100可以获得家用电器上摄像头所拍摄的包含人体的原始图像;利用头肩检测模型从原始图像中获得人体的头肩图像;利用头部检测模型从头肩图像中获得人体的头部图像;利用头部图像和原始图像获得人体与家用电器之间的距离;根据所述距离控制家用电器执行相应的操作。而存储器102可以存储上述原始图像、头肩图像和头部图像。
此外,上述所提及的耦接表示两个对象间的一个或多个对应端口形成连接,具有系统性,即处理器100和存储器102间通过一个或多个对应端口连接。
请参阅图6,图6为本申请家用电器一实施方式的结构示意图,该家用电器20可包括上述任一实施例中的控制装置(图未示)以及摄像头200。在本实施例中,当家用电器20为空调或风扇时,该摄像头200可以设置于家用电器20设置有出风口一侧表面。该摄像头200可以在家用电器20出厂时即设置在其表面,也可以由用户自行安装;当用户自行安装该摄像头200,可以经过绑定操作以使得该摄像头200与家用电器20的控制装置发生关联。
请参阅图7,图7为本申请具有存储功能的装置一实施方式的结构示意图,该具有存储功能的装置30存储有程序数据300,程序数据300能够被执行以实现上述任一实施例中的控制方法。即上述家用电器的控制方法可以以软件形式实现并作为独立的产品销售或使用时,可存储在一个电子设备可读取的具有存储功能的装置30中。具有存储功能的装置30可以是U盘、光盘或者服务器。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (13)
1.一种家用电器的控制方法,其特征在于,所述控制方法包括:
获得所述家用电器上摄像头所拍摄的包含人体的原始图像;
利用头肩检测模型从所述原始图像中获得人体的头肩图像;
利用头部检测模型从所述头肩图像中获得人体的头部图像;
利用所述头部图像和所述原始图像获得人体与所述家用电器之间的距离;
根据所述距离控制所述家用电器执行相应的操作。
2.根据权利要求1所述的控制方法,其特征在于,所述利用所述头部图像和所述原始图像获得人体与所述家用电器之间的距离,包括:
获得所述头部图像的中心点在所述原始图像中所处的第一位置、以及所述摄像头在所述原始图像中所处的第二位置,其中,所述第二位置为所述原始图像下边缘的中心点位置;
获得所述第一位置和所述第二位置的连线与垂直于所述原始图像下边缘且经过所述第二位置的垂直线之间的夹角;
响应于所述夹角小于等于预设畸变角度,利用第一关联方案获得人体与所述家用电器之间的距离;或者,响应于所述夹角大于所述预设畸变角度,利用第二关联方案获得人体与所述家用电器之间的距离。
3.根据权利要求2所述的控制方法,其特征在于,
所述第一关联方案或所述第二关联方案中,所述距离与所述头部图像的高度像素值和宽度像素值均反相关。
4.根据权利要求3所述的控制方法,其特征在于,
所述第一关联方案或所述第二关联方案中,所述距离为第一系数与所述高度像素值的比值、第二系数与所述宽度像素值的比值以及修正值之和。
5.根据权利要求2所述的控制方法,其特征在于,所述利用所述头部图像和所述原始图像获得人体与所述家用电器之间的距离,之前,所述控制方法还包括:
获得人体处于预设畸变角度范围内且距离所述家用电器不同距离和不同角度下的多个第一头部图像样本,以及获得人体处于所述预设畸变角度范围外且距离所述家用电器不同距离和不同角度下的多个第二头部图像样本;
利用所述多个第一头部图像样本和对应的距离拟合获得所述第一关联方案,以及利用多个所述第二头部图像样本和对应的距离拟合获得所述第二关联方案。
6.根据权利要求2所述的控制方法,其特征在于,所述家用电器包括风机,所述根据所述距离控制所述家用电器执行相应的操作,包括:
根据所述距离控制所述风机的送风强度,其中,所述距离与所述送风强度正相关。
7.根据权利要求6所述的控制方法,其特征在于,所述控制方法还包括:
根据所述夹角控制所述风机的送风角度。
8.根据权利要求7所述的控制方法,其特征在于,所述根据所述夹角控制所述风机的送风角度,包括:
响应于预设风吹人工作模式,所述送风角度与所述夹角一致;或者,
响应于预设风避人工作模式,所述送风角度为除所述夹角以外的区域。
9.根据权利要求1所述的控制方法,其特征在于,
所述原始图像中包含多个人体的成像,所述利用所述头部图像和所述原始图像获得人体与所述家用电器之间的距离,包括:
分别利用每个人体对应的所述头部图像和所述原始图像获得每个人体与所述家用电器之间的距离;
获得多个所述距离对应的平均距离;
所述根据所述距离控制所述家用电器执行相应的操作包括:
根据所述平均距离控制所述家用电器执行相应的操作。
10.根据权利要求1所述的控制方法,其特征在于,所述获得所述家用电器上摄像头所拍摄的包含人体的原始图像,之前,所述控制方法还包括:
将Yolov2原始网络模型中除最后一层卷积层外的其余卷积层进行通道缩小和/或部分删除处理,以形成多个Yolov2裁剪网络模型;
对多个所述Yolov2裁剪网络模型分别进行训练和测试;
根据各所述Yolov2裁剪网络模型的测试结果,从多个所述Yolov2裁剪网络模型中选择其中一个作为所述头肩检测模型/所述头部检测模型。
11.一种家用电器的控制装置,其特征在于,包括处理器和存储器,所述处理器耦接所述存储器,所述存储器中存储有程序指令,所述处理器执行所述程序指令,通过所述程序指令实现如权利要求1-10中任一项所述的控制方法。
12.一种家用电器,其特征在于,包括如权利要求11中所述的控制装置以及摄像头。
13.一种具有存储功能的装置,其特征在于,所述装置存储有程序数据,所述程序数据能够被执行以实现如权利要求1-10中任一项所述的控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911275528.9A CN111007734B (zh) | 2019-12-12 | 2019-12-12 | 家用电器的控制方法、家用电器、控制装置及存储装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911275528.9A CN111007734B (zh) | 2019-12-12 | 2019-12-12 | 家用电器的控制方法、家用电器、控制装置及存储装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111007734A true CN111007734A (zh) | 2020-04-14 |
CN111007734B CN111007734B (zh) | 2023-03-31 |
Family
ID=70115770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911275528.9A Active CN111007734B (zh) | 2019-12-12 | 2019-12-12 | 家用电器的控制方法、家用电器、控制装置及存储装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111007734B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108460329A (zh) * | 2018-01-15 | 2018-08-28 | 任俊芬 | 一种基于深度学习检测的人脸手势配合验证方法 |
CN108805016A (zh) * | 2018-04-27 | 2018-11-13 | 新智数字科技有限公司 | 一种头肩区域检测方法及装置 |
CN109358546A (zh) * | 2018-10-29 | 2019-02-19 | 珠海格力电器股份有限公司 | 家用电器的控制方法、装置和系统 |
CN109814401A (zh) * | 2019-03-11 | 2019-05-28 | 广东美的制冷设备有限公司 | 家电设备的控制方法、家电设备及可读存储介质 |
CN110186167A (zh) * | 2019-05-31 | 2019-08-30 | 广东美的制冷设备有限公司 | 空调器的控制方法、装置、空调器及存储介质 |
-
2019
- 2019-12-12 CN CN201911275528.9A patent/CN111007734B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108460329A (zh) * | 2018-01-15 | 2018-08-28 | 任俊芬 | 一种基于深度学习检测的人脸手势配合验证方法 |
CN108805016A (zh) * | 2018-04-27 | 2018-11-13 | 新智数字科技有限公司 | 一种头肩区域检测方法及装置 |
CN109358546A (zh) * | 2018-10-29 | 2019-02-19 | 珠海格力电器股份有限公司 | 家用电器的控制方法、装置和系统 |
CN109814401A (zh) * | 2019-03-11 | 2019-05-28 | 广东美的制冷设备有限公司 | 家电设备的控制方法、家电设备及可读存储介质 |
CN110186167A (zh) * | 2019-05-31 | 2019-08-30 | 广东美的制冷设备有限公司 | 空调器的控制方法、装置、空调器及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111007734B (zh) | 2023-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110826519B (zh) | 人脸遮挡检测方法、装置、计算机设备及存储介质 | |
CN109076198B (zh) | 基于视频的对象跟踪遮挡检测系统、方法和设备 | |
US11941874B2 (en) | User interfaces to configure a thermal imaging system | |
US20180211104A1 (en) | Method and device for target tracking | |
TWI497247B (zh) | 實現亮度調節的資料處理設備及方法 | |
CN111353506B (zh) | 自适应的视线估计方法和设备 | |
JP5197279B2 (ja) | コンピュータによって実施されるシーン内を移動している物体の3d位置を追跡する方法 | |
KR20180109665A (ko) | 객체 검출을 위한 영상 처리 방법 및 장치 | |
TW201445454A (zh) | 提升人臉辨識率的影像處理系統及影像處理方法 | |
CN105704472A (zh) | 一种识别儿童用户的电视控制方法和系统 | |
CN105554486A (zh) | 一种投影校正方法和装置 | |
CN110749061A (zh) | 空调器及其空调控制方法、控制装置和可读存储介质 | |
CN111444555B (zh) | 一种测温信息显示方法、装置及终端设备 | |
CN108596135A (zh) | 身份识别方法及系统 | |
CN105430501B (zh) | 一种音量调节方法和系统 | |
CN111240217B (zh) | 状态检测方法、装置、电子设备及存储介质 | |
CN111256315A (zh) | 基于神经网络空调控制模型的创建方法、控制方法、空调 | |
CN111126300B (zh) | 一种人体图像检测方法、装置和电子设备及可读存储介质 | |
CN113009897A (zh) | 一种智能家电的控制方法、装置、智能家电及存储介质 | |
CN103607558A (zh) | 一种视频监控系统及其目标匹配方法和装置 | |
CN111007734B (zh) | 家用电器的控制方法、家用电器、控制装置及存储装置 | |
CN111062306B (zh) | 家用电器的控制方法、控制装置、家用电器及存储装置 | |
WO2020237941A1 (zh) | 一种基于眼睑特征信息的人员状态检测方法及装置 | |
CN111610886A (zh) | 触控屏幕亮度的调整方法、设备及计算机可读存储介质 | |
CN105700402A (zh) | 基于人员检测的嵌入式控制系统、设备和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |