CN110632849A - 智能家电及其控制方法和装置、存储介质 - Google Patents
智能家电及其控制方法和装置、存储介质 Download PDFInfo
- Publication number
- CN110632849A CN110632849A CN201910785981.8A CN201910785981A CN110632849A CN 110632849 A CN110632849 A CN 110632849A CN 201910785981 A CN201910785981 A CN 201910785981A CN 110632849 A CN110632849 A CN 110632849A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- neural network
- point cloud
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 75
- 238000003062 neural network model Methods 0.000 claims abstract description 70
- 230000015654 memory Effects 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000013528 artificial neural network Methods 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000003897 fog Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本申请公开了一种智能家电及其控制方法和装置、存储介质。其中，该方法包括：通过毫米波雷达传感器采集目标空间范围内的点云数据，雷达传感器安装在智能家电上；将点云数据和点云数据的采集时间转换为待处理数据，待处理数据采用目标编码格式进行编码；根据第一神经网络模型对待处理数据的识别结果控制智能家电，第一神经网络模型是采用训练数据进行训练后得到的，具有标记信息的训练数据采用目标编码格式进行编码，标记信息用于标记训练数据中是否存在目标对象，识别结果用于指示待处理数据中是否存在目标对象。本申请解决了相关技术中的智能家电的安全性较低的技术问题。
Description
技术领域
本申请涉及智能家电领域，具体而言，涉及一种智能家电及其控制方法和装置、存储介质。
背景技术
智能家电是将微处理器、传感器技术、网络通信技术引入家电设备后形成的家电产品，具有自动感知住宅空间状态和家电自身状态、家电服务状态，能够自动控制及接收住宅用户在住宅内或远程的控制指令；同时，智能家电作为智能家居的组成部分，能够与住宅内其它家电和家居、设施互联组成系统，实现智能家居功能。
随着人工智能技术的快速发展，越来越多的智能家电产品具备识别物体的功能，但是，随之也带来的隐私泄露的风险，目前市场上消费级产品大都采用摄像头、红外线等进行人体检测，比如，家电产品利用摄像头进行图片采集，使用采集到的图片进行识别分析，实现期望的识别功能。但是，摄像头设备采集的家庭房间内部的图片，很可能就被网络黑客窃取、在网上泄露等，存在重大隐私泄露问题，特别是产品的用户众多时，问题将更加严重。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种智能家电及其控制方法和装置、存储介质，以至少解决相关技术中的智能家电的安全性较低的技术问题。
根据本申请实施例的一个方面，提供了一种智能家电的控制方法，包括：通过毫米波雷达传感器采集目标空间范围内的点云数据，雷达传感器安装在智能家电上；将点云数据和点云数据的采集时间转换为待处理数据，待处理数据采用目标编码格式进行编码；根据第一神经网络模型对待处理数据的识别结果控制智能家电，第一神经网络模型是采用训练数据进行训练后得到的，具有标记信息的训练数据采用目标编码格式进行编码，标记信息用于标记训练数据中是否存在目标对象，识别结果用于指示待处理数据中是否存在目标对象。
根据本申请实施例的另一方面，还提供了一种智能家电的控制装置，包括：采集单元，用于通过毫米波雷达传感器采集目标空间范围内的点云数据，雷达传感器安装在智能家电上；转换单元，用于将点云数据和点云数据的采集时间转换为待处理数据，待处理数据采用目标编码格式进行编码；控制单元，用于根据第一神经网络模型对待处理数据的识别结果控制智能家电，第一神经网络模型是采用训练数据进行训练后得到的，具有标记信息的训练数据采用目标编码格式进行编码，标记信息用于标记训练数据中是否存在目标对象，识别结果用于指示待处理数据中是否存在目标对象。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的方法。
根据本申请实施例的另一方面，还提供了一种智能家电，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器通过计算机程序执行上述的方法。
在本申请实施例中，考虑到雷达信号灵敏度高、无需直接接触、可穿透性强等特点，特别是芯片级的毫米波雷达的出现，使得消费级雷达信号的可用性大大增强；因此，本申请使用毫米波雷达信号进行人体检测，并通过转换毫米波雷达信号产生的数据格式，进而结合深度学习识别技术，确认被检测的空间范围内是否存在人体，由于毫米波雷达不生成图像感光数据，只生成粒子运动的点云数据，可以解决相关技术中的智能家电的安全性较低的技术问题，进而达到提高智能家电的安全性的技术效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种可选的智能家电的示意图；
图2是根据本申请实施例的一种可选的智能家电的控制方法的流程图；
图3是根据本申请实施例的一种可选的雷达扫描区域的示意图；
图4是根据本申请实施例的一种可选的雷达回波信号处理的示意图；
图5是根据本申请实施例的一种可选的转换后的点云数据的示意图；
图6是根据本申请实施例的一种可选的点云数据的可视化示意图；
图7是根据本申请实施例的一种可选的神经网络模型的示意图；
图8是根据本申请实施例的一种可选的人体检测的流程图；
以及
图9是根据本申请实施例的一种可选的智能家电的控制装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或者术语适用于如下解释：
人工神经网络(Artificial Neural Networks，简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model)，是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型，在工程与学术界也常直接简称为“神经网络”或类神经网络，可模仿动物神经网络行为特征，是进行分布式并行信息处理的算法数学模型，这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
为了解决背景技术中提及的问题，根据本申请实施例的一个方面，提供了一种智能家电的实施例。如图1所示，本申请的智能家电(如智能电视、智能空调、智能冰箱等)可以包括：一个或多个(图1中仅示出一个)处理器101、存储器103、以及传输装置105(如WiFi、蓝牙、NFC等)，如图1所示，该智能家电还可以包括输入输出设备107、毫米波雷达传感器109。
其中，存储器103可用于存储软件程序以及模块，如本申请实施例中的智能家电的控制方法和装置对应的程序指令/模块，处理器101通过运行存储在存储器103内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的智能家电的控制方法。存储器103可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器103可进一步包括相对于处理器101远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置105用于经由一个网络接收或者发送数据(如WiFi模块)，还可以用于处理器与存储器之间的数据传输(如内部总线)。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置105包括一个网络适配器(Network InterfaceController，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置105为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
上述存储器103用于存储应用程序，如图2所示的步骤对应的应用程序。
上述输入输出设备107为可与智能空调进行交互的设备，如智能手机、遥控器等设备。
毫米波雷达传感器109，毫米波是指30～300GHz频域(波长为1～10mm)的波，其中24GHz雷达传感器、77Ghz雷达传感器主要用于汽车防撞，毫米波的波长介于厘米波和光波之间，因此毫米波兼有微波制导和光电制导的优点。同厘米波雷达相比，毫米波雷达具有体积小、易集成和空间分辨率高的特点。与摄像头、红外、激光等光学传感器相比，毫米波雷达穿透雾、烟、灰尘的能力强，抗干扰能力强，具有全天候(大雨天除外)全天时的特点。
根据本申请实施例的另一个方面，还提供了一种智能家电的控制方法的方法实施例。图2是根据本申请实施例的一种可选的智能家电的控制方法的流程图，如图2所示，该方法可以包括以下步骤：
步骤S202，通过毫米波雷达传感器采集目标空间范围内的点云数据，雷达传感器安装在智能家电上。
上述的目标空间范围为位于毫米波雷达传感器辐射范围的区域，如一间房屋、一个大厅等；点云数据是利用毫米波雷达传感器的发射信号的回波信号得到的。
步骤S204，将点云数据和点云数据的采集时间转换为待处理数据，待处理数据采用目标编码格式进行编码。
上述的目标编码格式可以为与神经网络模型能够识别的数据匹配的编码格式，如图像的编码格式。
步骤S206，根据第一神经网络模型对待处理数据的识别结果控制智能家电，第一神经网络模型是采用训练数据进行训练后得到的，具有标记信息的训练数据采用目标编码格式进行编码，标记信息用于标记训练数据中是否存在目标对象，识别结果用于指示待处理数据中是否存在目标对象。
上述神经网络模型为深度卷积神经网络模型；标记信息至少标识出训练数据中是否存在目标对象，还可标识出目标对象在训练数据中的位置，类似地，识别结果至少用来指示是否存在目标对象，还可指示目标对象的位置；上述目标对象为待识别对象，如可以为人体、动物等。
在本申请的技术方案中，考虑到雷达信号灵敏度高、无需直接接触、可穿透性强等特点，特别是芯片级的毫米波雷达的出现，使得消费级雷达信号的可用性大大增强；因此，本申请使用毫米波雷达信号进行人体检测，并通过转换毫米波雷达信号产生的数据格式，进而结合深度学习识别技术，确认被检测的空间范围内是否存在人体，由于毫米波雷达不生成图像感光数据，只生成粒子运动的点云数据，可以解决相关技术中的智能家电的安全性较低的技术问题，进而达到提高智能家电的安全性的技术效果。
本申请提出了一种使用毫米波雷达采集人体信息，并将信息转换为图片格式，再将图片格式的信息送入深度学习神经网络，根据神经网络输出结果，判定目标空间中是否有人体存在的方法。下面结合图2所示的步骤进一步详述本申请的技术方案。
在步骤S202提供的技术方案中，通过毫米波雷达传感器采集目标空间范围内的点云数据，雷达传感器安装在智能家电上。
本申请中涉及的雷达检测一种可选的的目标空间范围的空间简图如图3所示，以房间内部作为毫米波雷达放置的空间。毫米波雷达可以扫描它前方的矩形区域，其中，在靠近雷达位置有一小块盲区，即图3中虚线包围区域，毫米波雷达芯片，向房间发射电磁波雷达信号，电磁波在空间中遇到障碍物后，给雷达返回回波信号。
雷达回波信号处理如图4所示，①雷达发射信号，并得到回波信号；②将回波信号输入低通滤波器(IIR)进行滤波；③ADC模数转换器，将回波信号由模拟状态信号为数字信号；④使用快速傅里叶变换FFT进行频谱分析；⑤根据频谱信息，估计得到空间中运动的物体相对于雷达的距离、方位角、仰角；⑥根据前后相邻两帧数据的相位差，使用多普勒效应原理，计算出物体运动的径向速度；⑦使用恒虚警滤(CFAR)过程，在保持虚警率一定的情况下，区分估计出判别信号和噪声信号，得出信噪比；⑧至此，得到了全部点云数据和时频信息，即距离、角度、速度、信噪比、时间，因为这些数据是离散的，所以通常这五个参数为点云数据，这部分信号处理，可以由芯片硬件电子电路来完成。
在步骤S204提供的技术方案中，将点云数据和点云数据的采集时间转换为待处理数据，待处理数据采用目标编码格式进行编码。
在上述实施例中，将点云数据和点云数据的采集时间转换为待处理数据包括：将每个点云数据和点云数据的采集时间按照目标编码格式转换为待处理图像中的一个像素点的像素值，待处理数据包括待处理图像。
可选地，将每个点云数据和点云数据的采集时间按照目标编码格式转换为待处理图像中的一个像素点的像素值包括：将点云数据和采集时间放入目标数组中，其中，目标数组中的第一元素为采集时间，目标数组中的第二元素用于表示点云数据中的速度信息，目标数组中的第三元素包括点云数据中的距离信息、角度信息以及信噪比信息三个子元素；将目标数组作为待处理图像中的像素点的像素值。
在将点云数据和采集时间放入目标数组中时，可将点云数据中的距离信息、角度信息以及信噪比信息归一化到目标数值区间后作为目标数组中第三元素的三个子元素。类似地，也可对第一元素和第二元素进行归一化处理。
如图5所示，示出了一种可选的点云数据转换为图片格式的示意图(其中null表示0)，为了将原来应用于图片识别的深度卷积神经网络，迁移应用于本申请的毫米波雷达信号处理，需要将毫米波雷达生成的点云数据，转换成图片的数据结构类型，正常的RGB图片，加载到内存后，数据类型类似如下：
[R,G,B],[R,G,B],…,[R,G,B],[R,G,B]]
在这个维度为(h,w,3)的数组矩阵中，纵轴h是图片的高，横轴w是图片的宽，数字3是图片三原色R、G、B对应的通道值。参考上面的数据结构，将毫米波雷达产生的点云数据，如图5一样分布，组成一个维度为(v,t,3)的数组矩阵，v是速度，t是采集时间，数字3对应距离，角度，信噪比这三个通道。这样的数据结构类型就和图片的数据结构类型一致。连续多帧点云数据可组成一张图片，RGB的值要求在0至255之间，所以将[距离,角度,信噪比]归一化到0至255之间(即目标数值区间)，v和t归一化为1024*1024(也可以是其它的图片大小，比如128*128、800*1000等)，可视化之后，效果类似如图6所示，分别示出了行走、坐下去、站起来等行为的图。
可见，采用本申请的技术方案，大幅降低了毫米波雷达信号分析的难度，将以前需要专家知识，经过专业特征提取，专用工具分析等才能完成的信号分析，转交由深度神经网络自动训练，最终到达良好的识别效果。此外，本申请的方案有很强的隐私保护性，毫米波雷达不生成图像感光数据，只生成粒子运动的点云数据，从而在某种程度上，起到保护隐私的作用。
在步骤S206提供的技术方案中，根据第一神经网络模型对待处理数据的识别结果控制智能家电，第一神经网络模型是采用训练数据进行训练后得到的，具有标记信息的训练数据采用目标编码格式进行编码，标记信息用于标记训练数据中是否存在目标对象，识别结果用于指示待处理数据中是否存在目标对象。也即本申请的方案可将人体毫米波雷达信号的数据，转换为图片格式的数据，并将转换后的数据送入深度卷积神经网络进行识别，根据识别结果判定是否有人体存在。
在上述实施例中，在利用神经网络模型进行识别之前，可以按照如下方式对模型进行训练：通过使用训练数据对第二神经网络模型中的参数进行训练，得到第一神经网络模型，其中，第二神经网络模型为深度卷积神经网络模型。
可选地，通过使用训练数据对第二神经网络模型中的参数进行训练，得到第一神经网络模型包括：通过训练数据对第二神经网络模型内各网络层中的参数进行初始化，得到第三神经网络模型；在第三神经网络模型对测试数据的识别准确度达到目标阈值的情况下，将第三神经网络模型作为第一神经网络模型，其中，测试数据采用目标编码格式进行编码；在第三神经网络模型对测试数据的识别准确度未达到目标阈值的情况下，继续使用训练数据对第三神经网络模型进行训练，以调整第三神经网络模型内各网络层中的参数的数值，直至第三神经网络模型对测试数据的识别准确度达到目标阈值。
在深度卷积神经网络(即上述神经网络模型)训练与推导的过程中，考虑到人体运动产生的回波信号，和其它物体产生的回波信号是不一样的，所以点云数据也是不一样的，由此生成的如图6的可视化效果图就不一样。故可以将大量的类似于图6的人体运动图进行标记，同时也找一些非人体运动生成的图进行标记，最终得到训练用的图片集(即训练数据)。然后，将这些训练集，交由通用的CNN深度卷积神经网络(包括输入层、隐藏层以及输出层)进行训练，比如像Yolo-V3这样的CNN卷积神经网络代码框架，训练后生成识别模型(即第一神经网络模型)，该识别模型类似于一个函数，只是这个函数参数众多，参数数量往往上百万个。如图7所示，模型简化公式类似如下：
f(x)＝时间*W1+速度*W2+[距离,角度,信噪比]*W3
W1、W2、W3就是训练阶段得到的模型参数，它们数据结构类型一般是多维数组。f(x)在这里只有两个结果，一个是f(x)＝人体，一个是f(x)＝非人体BG(background)。深度神经网络训练与识别的过程，即图片如何使用深度卷积神经网络(CNN)训练和识别的过程。
可选地，根据第一神经网络模型对待处理数据的识别结果控制智能家电包括：获取智能家电的多种工作模式中与识别结果对应的目标模式；指示智能家电按照目标模式进行工作。以智能空调为例，检测到没有人的时候可以开启节能模式，而有人的时候可以开启另一模式(如风随人)。
作为一种可选的实施例，本申请利用毫米波雷达采集数据，对目标空间范围内进行雷达信号扫描。雷达回波信号通过芯片电子硬件电路，生成点云数据和时频信息(包括采集时间)，之后将这些点云数据和时频信息，转换成图片格式的数据包，将该数据包传入神经网络识别，得到识别结果，最终确定目标空间是否有人体存在。下面结合如图8所示的具体实施方式进一步详述本申请的技术方案，具体实施步骤如下：
如图8所示，本申请的人体检测流程图。这里分为两个阶段：训练阶段和识别阶段。训练阶段的流程如下：
步骤S802，毫米波雷达产生并发射电磁波雷达信号。
步骤S804，发射的电磁波雷达信号在空间中遇到物体后，接收返回的回波信号。
步骤S806，回波信号经过芯片电子电路完成处理，生成点云数据。
步骤S808，点云数据通过采用本申请技术方案的程序代码的转换，将数据的数据结构处理成图片的数据结构类型(即图片格式转换)。
步骤S810，保存成可视化图片，并对这些图片进行标记，生成深度学习卷积神经网络训练使用的图片训练集。
步骤S812，利用图片训练集，对深度卷积神经网络CNN进行训练。
步骤S814，在完成训练后生成识别模型，训练阶段就此完成，得到的识别模型将在识别阶段得到利用。
训练阶段往往需要使用GPU服务器训练好几天，故可在模型使用前提前训练好。
识别阶段的流程如下：
步骤S816，毫米波雷达产生并发射电磁波雷达信号。
步骤S818，发射的电磁波雷达信号在空间中遇到物体后，返回回波信号。
步骤S820，回波信号经过芯片电子电路完成处理，生成点云数据。
步骤S822，点云数据通过采用本申请技术方案的程序代码的转换，将数据的数据结构处理成图片的数据结构类型(即图片格式处理)，保存成可视化图片。
可见，识别阶段的前期和训练阶段一样，将毫米波雷达在某个时间段内产生的检测数据，生成一帧图片数据结构类型的数据，然后将这一帧数据直接传入训练阶段生成的那个识别模型中。
步骤S824，将生成的帧图片数据结构类型的数据输入识别模型进行识别。
步骤S826，经过识别模型计算判别之后，得出识别结果。结果可有两个，要么是目标空间中有人体存在，要么是目标空间中没有人体存在。至此，完成了整个识别过程。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
根据本申请实施例的另一个方面，还提供了一种用于实施上述智能家电的控制方法的智能家电的控制装置。图9是根据本申请实施例的一种可选的智能家电的控制装置的示意图，如图9所示，该装置可以包括：
采集单元901，用于通过毫米波雷达传感器采集目标空间范围内的点云数据，雷达传感器安装在智能家电上。
转换单元903，用于将点云数据和点云数据的采集时间转换为待处理数据，待处理数据采用目标编码格式进行编码。
控制单元905，用于根据第一神经网络模型对待处理数据的识别结果控制智能家电，第一神经网络模型是采用训练数据进行训练后得到的，具有标记信息的训练数据采用目标编码格式进行编码，标记信息用于标记训练数据中是否存在目标对象，识别结果用于指示待处理数据中是否存在目标对象。
需要说明的是，该实施例中的采集单元901可以用于执行本申请实施例中的步骤S202，该实施例中的转换单元903可以用于执行本申请实施例中的步骤S204，该实施例中的控制单元905可以用于执行本申请实施例中的步骤S206。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。
可选地，上述转换单元还可用于：将每个点云数据和点云数据的采集时间按照目标编码格式转换为待处理图像中的一个像素点的像素值，其中，待处理数据包括待处理图像。
可选地，上述转换单元还可用于：将点云数据和采集时间放入目标数组中，其中，目标数组中的第一元素为采集时间，目标数组中的第二元素用于表示点云数据中的速度信息，目标数组中的第三元素包括点云数据中的距离信息、角度信息以及信噪比信息三个子元素；将目标数组作为待处理图像中的像素点的像素值。
可选地，上述转换单元在将点云数据和采集时间放入目标数组中时，可将点云数据中的距离信息、角度信息以及信噪比信息归一化到目标数值区间后作为目标数组中第三元素的三个子元素。
可选地，本申请的装置还可包括：训练单元，用于在通过毫米波雷达传感器采集目标空间范围内的点云数据之前，通过使用训练数据对第二神经网络模型中的参数进行训练，得到第一神经网络模型，其中，第二神经网络模型为深度卷积神经网络模型。
可选地，上述训练单元还可用于通过训练数据对第二神经网络模型内各网络层中的参数进行初始化，得到第三神经网络模型；在第三神经网络模型对测试数据的识别准确度达到目标阈值的情况下，将第三神经网络模型作为第一神经网络模型，其中，测试数据采用目标编码格式进行编码；在第三神经网络模型对测试数据的识别准确度未达到目标阈值的情况下，继续使用训练数据对第三神经网络模型进行训练，以调整第三神经网络模型内各网络层中的参数的数值，直至第三神经网络模型对测试数据的识别准确度达到目标阈值。
可选地，控制单元905，还可用于获取智能家电的多种工作模式中与识别结果对应的目标模式；指示智能家电按照目标模式进行工作。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行智能家电的控制方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
通过毫米波雷达传感器采集目标空间范围内的点云数据，其中，雷达传感器安装在智能家电上；
将点云数据和点云数据的采集时间转换为待处理数据，其中，待处理数据采用目标编码格式进行编码；
根据第一神经网络模型对待处理数据的识别结果控制智能家电，其中，第一神经网络模型是采用训练数据进行训练后得到的，具有标记信息的训练数据采用目标编码格式进行编码，标记信息用于标记训练数据中是否存在目标对象，识别结果用于指示待处理数据中是否存在目标对象。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种智能家电的控制方法，其特征在于，包括：
通过毫米波雷达传感器采集目标空间范围内的点云数据，其中，所述雷达传感器安装在智能家电上；
将所述点云数据和所述点云数据的采集时间转换为待处理数据，其中，所述待处理数据采用目标编码格式进行编码；
根据第一神经网络模型对所述待处理数据的识别结果控制所述智能家电，其中，所述第一神经网络模型是采用训练数据进行训练后得到的，具有标记信息的所述训练数据采用所述目标编码格式进行编码，所述标记信息用于标记所述训练数据中是否存在目标对象，所述识别结果用于指示所述待处理数据中是否存在目标对象。
2.根据权利要求1所述的方法，其特征在于，将所述点云数据和所述点云数据的采集时间转换为待处理数据包括：
将每个所述点云数据和所述点云数据的采集时间按照所述目标编码格式转换为待处理图像中的一个像素点的像素值，其中，所述待处理数据包括所述待处理图像。
3.根据权利要求2所述的方法，其特征在于，将每个所述点云数据和所述点云数据的采集时间按照所述目标编码格式转换为待处理图像中的一个像素点的像素值包括：
将所述点云数据和所述采集时间放入目标数组中，其中，所述目标数组中的第一元素为所述采集时间，所述目标数组中的第二元素用于表示所述点云数据中的速度信息，所述目标数组中的第三元素包括所述点云数据中的距离信息、角度信息以及信噪比信息三个子元素；
将所述目标数组作为所述待处理图像中的像素点的像素值。
4.根据权利要求3所述的方法，其特征在于，将所述点云数据和所述采集时间放入目标数组中包括：
将所述点云数据中的距离信息、角度信息以及信噪比信息归一化到目标数值区间后作为所述目标数组中第三元素的三个子元素。
5.根据权利要求1至4中任意一项所述的方法，其特征在于，在通过毫米波雷达传感器采集目标空间范围内的点云数据之前，所述方法还包括：
通过使用所述训练数据对第二神经网络模型中的参数进行训练，得到所述第一神经网络模型，其中，所述第二神经网络模型为深度卷积神经网络模型。
6.根据权利要求5所述的方法，其特征在于，通过使用所述训练数据对第二神经网络模型中的参数进行训练，得到所述第一神经网络模型包括：
通过所述训练数据对所述第二神经网络模型内各网络层中的参数进行初始化，得到第三神经网络模型；
在所述第三神经网络模型对测试数据的识别准确度达到目标阈值的情况下，将所述第三神经网络模型作为所述第一神经网络模型，其中，所述测试数据采用所述目标编码格式进行编码；
在所述第三神经网络模型对所述测试数据的识别准确度未达到所述目标阈值的情况下，继续使用所述训练数据对所述第三神经网络模型进行训练，以调整所述第三神经网络模型内各网络层中的参数的数值，直至所述第三神经网络模型对所述测试数据的识别准确度达到所述目标阈值。
7.根据权利要求1至4中任意一项所述的方法，其特征在于，根据第一神经网络模型对所述待处理数据的识别结果控制所述智能家电包括：
获取所述智能家电的多种工作模式中与所述识别结果对应的目标模式；
指示所述智能家电按照所述目标模式进行工作。
8.一种智能家电的控制装置，其特征在于，包括：
采集单元，用于通过毫米波雷达传感器采集目标空间范围内的点云数据，其中，所述雷达传感器安装在智能家电上；
转换单元，用于将所述点云数据和所述点云数据的采集时间转换为待处理数据，其中，所述待处理数据采用目标编码格式进行编码；
控制单元，用于根据第一神经网络模型对所述待处理数据的识别结果控制所述智能家电，其中，所述第一神经网络模型是采用训练数据进行训练后得到的，具有标记信息的所述训练数据采用所述目标编码格式进行编码，所述标记信息用于标记所述训练数据中是否存在目标对象，所述识别结果用于指示所述待处理数据中是否存在目标对象。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7任一项中所述的方法。
10.一种智能家电，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序执行上述权利要求1至7任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910785981.8A CN110632849B (zh) | 2019-08-23 | 2019-08-23 | 智能家电及其控制方法和装置、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910785981.8A CN110632849B (zh) | 2019-08-23 | 2019-08-23 | 智能家电及其控制方法和装置、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110632849A true CN110632849A (zh) | 2019-12-31 |
| CN110632849B CN110632849B (zh) | 2020-11-17 |
Family
ID=68970778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910785981.8A Active CN110632849B (zh) | 2019-08-23 | 2019-08-23 | 智能家电及其控制方法和装置、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110632849B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112097374A (zh) * | 2020-09-16 | 2020-12-18 | 珠海格力电器股份有限公司 | 设备控制方法、装置、设备及计算机可读介质 |
| CN112148769A (zh) * | 2020-09-15 | 2020-12-29 | 浙江大华技术股份有限公司 | 数据的同步方法、装置、存储介质以及电子装置 |
| CN112327664A (zh) * | 2020-11-30 | 2021-02-05 | 深圳市艾特智能科技有限公司 | 智能家居设备控制方法、装置、存储介质及计算机设备 |
| CN114005246A (zh) * | 2021-01-29 | 2022-02-01 | 江苏中科西北星信息科技有限公司 | 一种基于调频连续波毫米波雷达的老人跌倒检测方法及装置 |
| CN114063572A (zh) * | 2020-07-31 | 2022-02-18 | 北京熵行科技有限公司 | 一种无感知智能设备控制方法、电子设备及控制系统 |
| CN114199168A (zh) * | 2021-12-16 | 2022-03-18 | 珠海格力电器股份有限公司 | 一种室内体积探测方法、装置、设备及介质 |
| CN115968080A (zh) * | 2023-03-17 | 2023-04-14 | 森思泰克河北科技有限公司 | 基于雷达的夜灯控制方法、装置、雷达及存储介质 |
| CN116068910A (zh) * | 2023-04-06 | 2023-05-05 | 江西财经大学 | 一种基于大数据的智能家居控制方法及系统 |
| CN114063572B (zh) * | 2020-07-31 | 2024-05-31 | 北京熵行科技有限公司 | 一种无感知智能设备控制方法、电子设备及控制系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104459669A (zh) * | 2014-12-10 | 2015-03-25 | 珠海纳睿达科技有限公司 | 雷达反射信号处理装置及其处理方法 |
| KR20180076814A (ko) * | 2016-12-28 | 2018-07-06 | 클라트 주식회사 | Ｆｍｃｗ 레이더 기반의 객체 탐지 시스템 및 방법 |
| CN108845321A (zh) * | 2018-04-19 | 2018-11-20 | 北京三快在线科技有限公司 | 目标对象的识别方法、装置及无人驾驶智能设备 |
| CN109581361A (zh) * | 2018-11-22 | 2019-04-05 | 九牧厨卫股份有限公司 | 一种检测方法、检测装置、终端以及检测系统 |
| CN109799501A (zh) * | 2018-12-17 | 2019-05-24 | 珠海格力电器股份有限公司 | 一种监控设备的监控方法、装置、存储介质及监控设备 |
| CN109857251A (zh) * | 2019-01-16 | 2019-06-07 | 珠海格力电器股份有限公司 | 智能家电的手势识别控制方法、装置、存储介质及设备 |
| CN110118966A (zh) * | 2019-05-28 | 2019-08-13 | 长沙莫之比智能科技有限公司 | 基于毫米波雷达的人员检测与计数系统 |
| CN110147706A (zh) * | 2018-10-24 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 障碍物的识别方法和装置、存储介质、电子装置 |
-
2019
- 2019-08-23 CN CN201910785981.8A patent/CN110632849B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104459669A (zh) * | 2014-12-10 | 2015-03-25 | 珠海纳睿达科技有限公司 | 雷达反射信号处理装置及其处理方法 |
| KR20180076814A (ko) * | 2016-12-28 | 2018-07-06 | 클라트 주식회사 | Ｆｍｃｗ 레이더 기반의 객체 탐지 시스템 및 방법 |
| CN108845321A (zh) * | 2018-04-19 | 2018-11-20 | 北京三快在线科技有限公司 | 目标对象的识别方法、装置及无人驾驶智能设备 |
| CN110147706A (zh) * | 2018-10-24 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 障碍物的识别方法和装置、存储介质、电子装置 |
| CN109581361A (zh) * | 2018-11-22 | 2019-04-05 | 九牧厨卫股份有限公司 | 一种检测方法、检测装置、终端以及检测系统 |
| CN109799501A (zh) * | 2018-12-17 | 2019-05-24 | 珠海格力电器股份有限公司 | 一种监控设备的监控方法、装置、存储介质及监控设备 |
| CN109857251A (zh) * | 2019-01-16 | 2019-06-07 | 珠海格力电器股份有限公司 | 智能家电的手势识别控制方法、装置、存储介质及设备 |
| CN110118966A (zh) * | 2019-05-28 | 2019-08-13 | 长沙莫之比智能科技有限公司 | 基于毫米波雷达的人员检测与计数系统 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114063572A (zh) * | 2020-07-31 | 2022-02-18 | 北京熵行科技有限公司 | 一种无感知智能设备控制方法、电子设备及控制系统 |
| CN114063572B (zh) * | 2020-07-31 | 2024-05-31 | 北京熵行科技有限公司 | 一种无感知智能设备控制方法、电子设备及控制系统 |
| CN112148769A (zh) * | 2020-09-15 | 2020-12-29 | 浙江大华技术股份有限公司 | 数据的同步方法、装置、存储介质以及电子装置 |
| CN112097374A (zh) * | 2020-09-16 | 2020-12-18 | 珠海格力电器股份有限公司 | 设备控制方法、装置、设备及计算机可读介质 |
| CN112327664A (zh) * | 2020-11-30 | 2021-02-05 | 深圳市艾特智能科技有限公司 | 智能家居设备控制方法、装置、存储介质及计算机设备 |
| CN114005246A (zh) * | 2021-01-29 | 2022-02-01 | 江苏中科西北星信息科技有限公司 | 一种基于调频连续波毫米波雷达的老人跌倒检测方法及装置 |
| CN114005246B (zh) * | 2021-01-29 | 2024-01-30 | 江苏中科西北星信息科技有限公司 | 一种基于调频连续波毫米波雷达的老人跌倒检测方法及装置 |
| CN114199168A (zh) * | 2021-12-16 | 2022-03-18 | 珠海格力电器股份有限公司 | 一种室内体积探测方法、装置、设备及介质 |
| CN115968080A (zh) * | 2023-03-17 | 2023-04-14 | 森思泰克河北科技有限公司 | 基于雷达的夜灯控制方法、装置、雷达及存储介质 |
| CN116068910A (zh) * | 2023-04-06 | 2023-05-05 | 江西财经大学 | 一种基于大数据的智能家居控制方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110632849B (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110632849B (zh) | 智能家电及其控制方法和装置、存储介质 | |
| US11443498B2 (en) | Target object recognition method and apparatus, storage medium, and electronic device | |
| US11475760B2 (en) | Method, digital tool, device and system for detecting movements of objects and/or living beings in a radio range, in particular of an indoor area | |
| US20200166611A1 (en) | Detection method, detection device, terminal and detection system | |
| CN110925969B (zh) | 一种空调控制方法、装置、电子设备及存储介质 | |
| WO2022012158A1 (zh) | 一种目标确定方法以及目标确定装置 | |
| CN111033445B (zh) | 用于手势辨识的系统和方法 | |
| CN110012496B (zh) | 一种基于WiFi的入侵检测方法及装置 | |
| CN111839360B (zh) | 扫地机数据处理方法、装置、设备及计算机可读介质 | |
| CN109740522B (zh) | 一种人员检测方法、装置、设备及介质 | |
| US20090135045A1 (en) | Through-the-obstacle radar system and method of operation | |
| CN111712730A (zh) | 通过多信道雷达监测生活设施 | |
| CN111474955B (zh) | 无人机图传信号制式的识别方法、装置、设备及存储介质 | |
| Ma et al. | Device-free, activity during daily life, recognition using a low-cost lidar | |
| CN109247861B (zh) | 一种信息处理方法及其设备 | |
| CN112396791A (zh) | 入侵行为的报警方法和装置、存储介质、电子装置 | |
| CN115131756A (zh) | 一种目标检测方法及装置 | |
| Chau et al. | Parking monitoring based on FMCW radar imaging with deep transfer learning | |
| CN116700228A (zh) | 机器人路径规划方法、电子设备及可读存储介质 | |
| Vaca-Rubio et al. | User localization using rf sensing: A performance comparison between lis and mmwave radars | |
| TW202129595A (zh) | 生命體檢測的雷達偵測系統、生命體判斷方法及特徵資料庫建立方法 | |
| CN113439274A (zh) | 身份识别方法、终端设备及计算机存储介质 | |
| CN110794462B (zh) | 建筑工地安全监测系统及其监测方法、装置 | |
| Li et al. | Indoor Multi-Human Device-Free Tracking System Using Multi-Radar Cooperative Sensing | |
| CN116821778B (zh) | 一种基于wifi信号的步态识别方法、装置和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |