CN117590761B - 用于智能家居的开门状态检测方法及系统 - Google Patents
用于智能家居的开门状态检测方法及系统 Download PDFInfo
- Publication number
- CN117590761B CN117590761B CN202311854354.8A CN202311854354A CN117590761B CN 117590761 B CN117590761 B CN 117590761B CN 202311854354 A CN202311854354 A CN 202311854354A CN 117590761 B CN117590761 B CN 117590761B
- Authority
- CN
- China
- Prior art keywords
- dimensional code
- code image
- atomized
- feature map
- shallow feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 238000012800 visualization Methods 0.000 claims description 71
- 238000012549 training Methods 0.000 claims description 60
- 238000000889 atomisation Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 4
- 238000005728 strengthening Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000003416 augmentation Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
一种用于智能家居的开门状态检测方法及系统，其包括步骤：在待检测家居门上贴附具有二维码的标签，其中二维码包含门的编号和位置信息；在待检测家居门的上方部署摄像头，用于拍摄待检测家居门的二维码标签；当待检测家居门的开关状态发生变化时，摄像头自动拍摄二维码标签的图像，并将图像发送给传感器节点的处理器；通过处理器从图像中提取出二维码标签的信息，并判断待检测家居门的开关状态；将二维码标签的信息和待检测家居门的开关状态发送给智能家居控制中心；通过智能家居控制中心进行相应的智能控制操作。这样，可以智能地实现开门状态检测，提高智能家居系统的便捷性和灵活性。
Description
技术领域
本申请涉及智能家居技术领域，并且更具体地，涉及一种用于智能家居的开门状态检测方法及系统。
背景技术
智能家居系统是指通过各种传感器、设备和网络连接，实现对家居环境的智能化管理和控制的系统，其中，开门状态检测是智能家居系统中的一个重要功能，不仅可以实现自动化的门禁控制、安全监测，还能够便于实现智能家居的控制，例如在检测到智能家居的开门状态时，可以自动调节室内温度、照明、安防等。
然而，传统的开门状态检测方法通常使用物理传感器，如开关、磁传感器等，来检测门的开关状态，这些传感器需要额外的硬件设备和布线，增加了系统的成本和复杂性。此外，传统的物理传感器通常需要安装在门的特定位置，以便准确检测门的开关状态。这限制了传感器的布置和应用场景，不够灵活。并且，传统的开门状态检测方法通常只能通过物理传感器提供门的开关状态信息，缺乏智能化的功能，例如，无法区分不同用户的身份，无法实现个性化的门控制和权限管理。
因此，期望一种优化的用于智能家居的开门状态检测方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于智能家居的开门状态检测方法及系统，其包括步骤：在待检测家居门上贴附具有二维码的标签，其中二维码包含门的编号和位置信息；在待检测家居门的上方部署摄像头，用于拍摄待检测家居门的二维码标签；当待检测家居门的开关状态发生变化时，摄像头自动拍摄二维码标签的图像，并将图像发送给传感器节点的处理器；通过处理器从图像中提取出二维码标签的信息，并判断待检测家居门的开关状态；将二维码标签的信息和待检测家居门的开关状态发送给智能家居控制中心；通过智能家居控制中心进行相应的智能控制操作。这样，可以智能地实现开门状态检测，提高智能家居系统的便捷性和灵活性。
第一方面，提供了一种用于智能家居的开门状态检测方法，其包括：
在待检测家居门上贴附具有二维码的标签，其中，所述二维码包含门的编号和位置信息；
在所述待检测家居门的上方部署摄像头，所述摄像头用于拍摄所述待检测家居门的二维码标签；
响应于所述待检测家居门的开关状态发生变化时，所述摄像头自动拍摄所述二维码标签的图像，并将所述二维码标签的图像发送给传感器节点的处理器；
通过所述传感器节点的处理器从图像中提取出所述二维码标签的信息，并判断所述待检测家居门的开关状态；
通过所述传感器节点将所述二维码标签的信息和所述待检测家居门的开关状态发送给智能家居控制中心；
通过所述智能家居控制中心进行相应的智能控制操作。
第二方面，提供了一种用于智能家居的开门状态检测系统，其包括：
二维码的标签贴附模块，用于在待检测家居门上贴附具有二维码的标签，其中，所述二维码包含门的编号和位置信息；
摄像头部署模块，用于在所述待检测家居门的上方部署摄像头，所述摄像头用于拍摄所述待检测家居门的二维码标签；
图像发送模块，用于响应于所述待检测家居门的开关状态发生变化时，所述摄像头自动拍摄所述二维码标签的图像，并将所述二维码标签的图像发送给传感器节点的处理器；
二维码标签信息提取模块，用于通过所述传感器节点的处理器从图像中提取出所述二维码标签的信息，并判断所述待检测家居门的开关状态；
开关状态发送模块，用于通过所述传感器节点将所述二维码标签的信息和所述待检测家居门的开关状态发送给智能家居控制中心；
智能控制操作模块，用于通过所述智能家居控制中心进行相应的智能控制操作。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本申请实施例的用于智能家居的开门状态检测方法的流程图。
图2为根据本申请实施例的用于智能家居的开门状态检测方法的架构示意图。
图3为根据本申请实施例的用于智能家居的开门状态检测系统的框图。
图4为根据本申请实施例的用于智能家居的开门状态检测方法的场景示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
智能家居系统是指利用各种传感器、设备和网络连接技术，实现对家居环境的智能化管理和控制，通过收集各种传感器的数据，进行数据处理和分析，然后根据用户设定的条件和需求，自动进行相应的控制操作。其中，开门状态检测是智能家居系统中的一个重要功能，通过安装门磁传感器等设备，可以实时监测门的开启和关闭状态，这样，就能够实现自动化的门禁控制，例如在检测到门开启时，可以触发报警或发送通知给用户，以提高家居的安全性。
除了门禁控制，开门状态检测还能够方便实现智能家居的控制。例如，当智能家居系统检测到门被打开时，可以根据用户的设定自动调节室内温度、照明、安防等。比如，在门打开时，可以自动关闭空调或加热器，以节约能源；同时，也可以自动开启灯光，提供足够的照明；还可以联动安防设备，例如摄像头、门禁系统等，对家居进行安全监测。通过开门状态检测，智能家居系统可以更加智能化地管理和控制家居环境，通过对门的开启和关闭状态进行监测，智能家居系统可以自动化地实现门禁控制、安全监测，以及便捷的智能家居控制，提升家居的舒适性、便利性和安全性。
然而，传统的开门状态检测方法使用物理传感器来检测门的开关状态，通常需要额外的硬件设备和布线，增加了系统的成本和复杂性，这些传感器需要安装在门的特定位置，以便准确检测门的开关状态，这限制了传感器的布置和应用场景，不够灵活。此外，传统的物理传感器通常只能提供门的开关状态信息，缺乏智能化的功能。例如，无法区分不同用户的身份，无法实现个性化的门控制和权限管理，这意味着无法实现智能家居系统针对不同用户的个性化设置，无法根据用户的身份和需求自动调节室内环境和设备。
为了克服传统开门状态检测方法的局限性，现代智能家居系统采用了更先进的技术。例如，利用无线传感器网络和物联网技术，可以实现无线的门磁传感器，避免了布线的麻烦，提高了系统的灵活性和便捷性。另外，现代智能家居系统还引入了人脸识别、指纹识别、声纹识别等生物特征识别技术，可以实现对不同用户身份的识别和验证，这样，可以根据用户的身份和权限进行个性化的门控制和权限管理，实现更智能化的门禁功能。
在本申请中，提供一种优化的用于智能家居的开门状态检测方案。
图1为根据本申请实施例的用于智能家居的开门状态检测方法的流程图。如图1所示，所述用于智能家居的开门状态检测方法，包括：110，在待检测家居门上贴附具有二维码的标签，其中，所述二维码包含门的编号和位置信息；120，在所述待检测家居门的上方部署摄像头，所述摄像头用于拍摄所述待检测家居门的二维码标签；130，响应于所述待检测家居门的开关状态发生变化时，所述摄像头自动拍摄所述二维码标签的图像，并将所述二维码标签的图像发送给传感器节点的处理器；140，通过所述传感器节点的处理器从图像中提取出所述二维码标签的信息，并判断所述待检测家居门的开关状态；150，通过所述传感器节点将所述二维码标签的信息和所述待检测家居门的开关状态发送给智能家居控制中心；160，通过所述智能家居控制中心进行相应的智能控制操作。这样，无需安装额外的硬件设备，只需在门上贴上一张带有二维码的标签，即可实现开门状态检测。
应可以理解，二维码是一种二维图形码，可以存储大量的信息，它具有识别速度快、容错率高、信息密度大等优点。通过扫描二维码，可以快速获取相关信息，如门的编号和位置信息。在智能家居系统中，将二维码标签贴附在家居门上，可以方便地获取门的信息。摄像头是智能家居系统中常用的感知设备之一，可以实时拍摄门上的二维码图像。通过分析二维码的图像，可以判断门的开关状态。
相应地，考虑到当二维码所处的环境发生变化时，例如光照不足、遮挡、污损、雾化等，会影响二维码的识别效果。尤其是在冬天，由于温差和湿度的原因，摄像头容易起雾，导致所采集的图像存在雾化而变得模糊不清，这使得无法进行精准的特征提取和识别，导致对于二维码识别的精准度降低，从而影响对于开门状态检测和智能家居控制的效率和质量。
针对上述技术问题，本申请的技术构思为通过摄像头采集雾化二维码图像后，在后端引入图像处理和分析算法来进行该雾化二维码图像的特征分析，以此来生成去雾后二维码图像，以确保在雾化环境下对二维码进行有效的去雾和识别。这样，能够提高二维码的识别率和准确性，从而有利于提高对智能家居的开门状态检测的精准度，以提供更灵活、准确和智能的门控制功能，通过这样的方式，能够便于实现相应的智能家居控制，从而提供更安全和高效的智能家居环境。
图2为根据本申请实施例的用于智能家居的开门状态检测方法的架构示意图。如图2所示，通过所述传感器节点的处理器从图像中提取出所述二维码标签的信息，并判断所述待检测家居门的开关状态，包括：首先，获取由所述摄像头采集的雾化二维码图像；然后，通过基于深度神经网络模型的雾化二维码图像浅层特征提取器对所述雾化二维码图像进行特征提取以得到雾化二维码图像浅层特征图；接着，将所述雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以得到空间显化雾化二维码图像浅层特征图；然后，将所述空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块以得到局部增强空间显化雾化二维码图像浅层特征图作为局部增强空间显化雾化二维码图像浅层特征；最后，基于所述局部增强空间显化雾化二维码图像浅层特征，生成去雾后二维码图像。
其中，所述深度神经网络模型为卷积神经网络模型。
具体地，在本申请的技术方案中，首先，获取由摄像头采集的雾化二维码图像。接着，使用在图像的隐含特征提取方面具有优异表现性能的基于卷积神经网络模型的雾化二维码图像浅层特征提取器对所述雾化二维码图像进行特征提取，以提取出所述雾化二维码图像中有关于二维码的隐含特征分布信息，从而得到雾化二维码图像浅层特征图。
应可以理解，在雾化的图像中，由于雾化效应的存在，图像中关于二维码的细节和边缘信息可能被模糊或混淆，导致图像特征提取的困难。而在进行雾化的二维码图像特征分析时，应更加关注于空间位置上关于二维码的空间排布和纹理等特征信息。因此，在本申请的技术方案中，进一步将所述雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以得到空间显化雾化二维码图像浅层特征图。应可以理解，由于所述空间自注意力层是一种注意力机制，可以自动学习和捕捉图像中的空间关系和关键区域的空间特征信息。通过引入空间自注意力层，可以对图像中的每个位置进行自适应的特征加权，使得空间上关于二维码的重要特征得到更多的关注，而不重要的特征得到较少的关注，从而增强所述雾化二维码图像中关于二维码的特征表示能力，使得二维码模糊的细节、纹理和边缘信息得以突出。
在本申请的一个具体实施例中，将所述雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以得到空间显化雾化二维码图像浅层特征图，包括：将所述雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以如下强化公式进行处理以得到所述空间显化雾化二维码图像浅层特征图；其中，所述强化公式为：
Foutput1＝Finput1⊙Fself-attention
Fself-attention＝Active{Cov[Aug(Finput1)]}
其中，Finput1为所述雾化二维码图像浅层特征图，Fself-attention为空间互注意力图，Active表示激活函数，Cov表示卷积层，且Aug表示当卷积核的大小大于一时，对所述雾化二维码图像浅层特征图进行的低廉增广，Foutput1为所述空间显化雾化二维码图像浅层特征图，⊙表示按位置点乘。
然后，考虑到在实际进行二维码的识别时，不仅需要关注到二维码的全局特征，还应更加关注到二维码中的局部细节特征信息。但是，由于传统意义上的卷积神经网络模型的结构为卷积加池化层，即可使用具有局部感受野的神经元(如3×3卷积核)提取特征并由池化降维，同时获得各通道上的显著信息，但这种方法感受野大，会导致提取的二维码图像中关于二维码的分布特征模糊，容易忽略掉特征图中具有分辨力的二维码细节特征信息。因此，为了更好地捕捉图像中的局部信息和细节特征，在本申请的技术方案中，进一步将所述空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块以得到局部增强空间显化雾化二维码图像浅层特征图。应可以理解，所述局部信息高效建模模块能够在传统卷积后增加1×1卷积核和ReLU激活函数，从跨通道池化的角度来看，这样等效于在一个正常的卷积层上实施级联跨通道加权池化，使得模型能够学习到通道之间的关系，对所述二维码图像中关于二维码的局部特征信息进行更高效地建模和特征刻画，以使得图像中的二维码局部细节特征更加突出和凸显，从而提高对二维码特征提取的充分度和精准度，以生成更为精准地去雾后二维码图像。
在本申请的一个具体实施例中，将所述空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块以得到局部增强空间显化雾化二维码图像浅层特征图作为局部增强空间显化雾化二维码图像浅层特征，包括：将所述空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块中使用如下显著化公式进行处理以得到所述局部增强空间显化雾化二维码图像浅层特征图；其中，所述显著化公式为：
Foutput2＝ReLU(Conv1×1[Conv3×3(Finput2)])
其中，Finput2表示所述空间显化雾化二维码图像浅层特征图，Conv3×3(·)表示使用3×3的卷积核进行卷积处理，Conv1×1(·)表示使用1×1的卷积核进行卷积处理，ReLU(·)表示ReLU函数，Foutput2表示所述局部增强空间显化雾化二维码图像浅层特征图。
继而，再将所述局部增强空间显化雾化二维码图像浅层特征图通过基于对抗生成网络的去雾生成器以得到去雾后二维码图像。也就是说，将经过局部空间显化特征增强后的雾化二维码图像浅层特征信息通过对抗生成网络中进行去雾后二维码图像的生成。应可以理解，所述对抗生成网络是一种由生成器和判别器组成的网络结构，可以实现图像的生成和去雾。通过训练基于对抗生成网络的去雾生成器，可以学习到雾化图像和清晰图像之间的映射关系，从而更为准确地生成去雾后的二维码图像，以确保在雾化环境下对二维码进行有效的去雾和识别。
在本申请的一个具体实施例中，基于所述局部增强空间显化雾化二维码图像浅层特征，生成去雾后二维码图像，包括：将所述局部增强空间显化雾化二维码图像浅层特征图通过基于对抗生成网络的去雾生成器以得到去雾后二维码图像。
在本申请的一个实施例中，所述用于智能家居的开门状态检测方法，还包括训练步骤：用于对所述基于卷积神经网络模型的雾化二维码图像浅层特征提取器、所述基于空间自注意力层的空间显化器、所述局部信息高效建模模块和所述基于对抗生成网络的去雾生成器进行训练。所述训练步骤，包括：获取由所述摄像头采集的训练雾化二维码图像；通过所述基于深度神经网络模型的雾化二维码图像浅层特征提取器对所述训练雾化二维码图像进行特征提取以得到训练雾化二维码图像浅层特征图；将所述训练雾化二维码图像浅层特征图通过所述基于空间自注意力层的空间显化器以得到训练空间显化雾化二维码图像浅层特征图；将所述训练空间显化雾化二维码图像浅层特征图通过所述局部信息高效建模模块以得到训练局部增强空间显化雾化二维码图像浅层特征图；将所述训练局部增强空间显化雾化二维码图像浅层特征图通过所述基于对抗生成网络的去雾生成器以得到训练去雾后二维码图像；计算所述训练局部增强空间显化雾化二维码图像浅层特征图和所述训练雾化二维码图像浅层特征图的损失函数值；基于所述损失函数值对所述基于卷积神经网络模型的雾化二维码图像浅层特征提取器、所述基于空间自注意力层的空间显化器、所述局部信息高效建模模块和所述基于对抗生成网络的去雾生成器进行训练。
特别地，在本申请的技术方案中，将所述训练雾化二维码图像通过基于卷积神经网络模型的雾化二维码图像浅层特征提取器后，得到的所述训练雾化二维码图像浅层特征图的每个特征矩阵用于表达所述训练雾化二维码图像的图像语义特征，而其各个特征矩阵间具有卷积神经网络模型的通道关联，并且，在将所述训练雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以得到训练空间显化雾化二维码图像浅层特征图，并将所述训练空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块以得到训练局部增强空间显化雾化二维码图像浅层特征图后，所述训练局部增强空间显化雾化二维码图像浅层特征图的每个特征矩阵的图像语义特征空间分布会得到进一步强化。但这也会使得所述训练局部增强空间显化雾化二维码图像浅层特征图与所述训练雾化二维码图像浅层特征图具有不同的整体特征群密度，也就是，在进行特征局部强化表达的同时，会使得所述训练局部增强空间显化雾化二维码图像浅层特征图与所述训练雾化二维码图像浅层特征图存在较为严重的域偏移，导致部分有用特征可能会被弱化甚至被淹没，影响所述训练局部增强空间显化雾化二维码图像浅层特征图通过基于对抗生成网络的去雾生成器得到的训练去雾后二维码图像的图像质量。
因此，本申请的申请人考虑提升所述训练局部增强空间显化雾化二维码图像浅层特征图相对于所述训练雾化二维码图像浅层特征图的特征群密度表示一致性，从而进一步引入了用于所述训练局部增强空间显化雾化二维码图像浅层特征图和所述训练雾化二维码图像浅层特征图的损失函数，表示为：以如下优化公式计算所述训练局部增强空间显化雾化二维码图像浅层特征图和所述训练雾化二维码图像浅层特征图的损失函数值；其中，所述优化公式为：
其中，V1是所述训练局部增强空间显化雾化二维码图像浅层特征图展开得到的第一特征向量，V2是所述训练雾化二维码图像浅层特征图展开得到的第二特征向量，L是特征向量的长度，且表示向量的二范数的平方，/>表示损失函数值，exp(·)表示计算以数值为幂的自然指数函数值，/>表示按位置减法。
这里，所述损失函数基于特征群密度来进行群计数注意力，其通过将群计数作为输出特征群密度的递归映射，来进行所述训练局部增强空间显化雾化二维码图像浅层特征图和所述训练雾化二维码图像浅层特征图之间的不同密度表示模式的自适应注意力。通过以其作为损失函数训练模型，可以使得模型针对所述训练局部增强空间显化雾化二维码图像浅层特征图和所述训练雾化二维码图像浅层特征图的特征分布下的不同密度模式来避免过估计和欠估计，并学习特征值分布与群密度分布之间的对应关系，从而实现具有不同特征密度的所述训练局部增强空间显化雾化二维码图像浅层特征图和所述训练雾化二维码图像浅层特征图之间的特征群密度表示一致性优化，以提升所述训练局部增强空间显化雾化二维码图像浅层特征图通过基于对抗生成网络的去雾生成器得到的训练去雾后二维码图像的图像质量。这样，能够在进行智能家居门的二维码识别过程中自动进行二维码图像的去雾处理，以确保在雾化环境下对二维码进行有效的识别，通过这样的方式，能够提高对智能家居的开门状态检测的精准度，以此来提供更灵活、准确和智能的门控制功能，以便于实现相应的智能家居控制，从而提供更安全和高效的智能家居环境。
综上，基于本申请实施例的用于智能家居的开门状态检测方法被阐明，其通过摄像头采集雾化二维码图像后，在后端引入图像处理和分析算法来进行该雾化二维码图像的特征分析，以此来生成去雾后二维码图像，以确保在雾化环境下对二维码进行有效的去雾和识别。这样，能够提高二维码的识别率和准确性，从而有利于提高对智能家居的开门状态检测的精准度，以提供更灵活、准确和智能的门控制功能，通过这样的方式，能够便于实现相应的智能家居控制，从而提供更安全和高效的智能家居环境。
在本申请的一个实施例中，图3为根据本申请实施例的用于智能家居的开门状态检测系统的框图。如图3所示，根据本申请实施例的用于智能家居的开门状态检测系统200，包括：二维码的标签贴附模块210，用于在待检测家居门上贴附具有二维码的标签，其中，所述二维码包含门的编号和位置信息；摄像头部署模块220，用于在所述待检测家居门的上方部署摄像头，所述摄像头用于拍摄所述待检测家居门的二维码标签；图像发送模块230，用于响应于所述待检测家居门的开关状态发生变化时，所述摄像头自动拍摄所述二维码标签的图像，并将所述二维码标签的图像发送给传感器节点的处理器；二维码标签信息提取模块240，用于通过所述传感器节点的处理器从图像中提取出所述二维码标签的信息，并判断所述待检测家居门的开关状态；开关状态发送模块250，用于通过所述传感器节点将所述二维码标签的信息和所述待检测家居门的开关状态发送给智能家居控制中心；智能控制操作模块260，用于通过所述智能家居控制中心进行相应的智能控制操作。
在所述用于智能家居的开门状态检测系统中，所述二维码标签信息提取模块，包括：二维码图像获取单元，用于获取由所述摄像头采集的雾化二维码图像；特征提取单元，用于通过基于深度神经网络模型的雾化二维码图像浅层特征提取器对所述雾化二维码图像进行特征提取以得到雾化二维码图像浅层特征图；空间自注意力单元，用于将所述雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以得到空间显化雾化二维码图像浅层特征图；局部信息高效建模单元，用于将所述空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块以得到局部增强空间显化雾化二维码图像浅层特征图作为局部增强空间显化雾化二维码图像浅层特征；去雾后二维码图像生成单元，用于基于所述局部增强空间显化雾化二维码图像浅层特征，生成去雾后二维码图像。
这里，本领域技术人员可以理解，上述用于智能家居的开门状态检测系统中的各个单元和模块的具体功能和操作已经在上面参考图1到图2的用于智能家居的开门状态检测方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的用于智能家居的开门状态检测系统200可以实现在各种终端设备中，例如用于智能家居的开门状态检测的服务器等。在一个示例中，根据本申请实施例的用于智能家居的开门状态检测系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该用于智能家居的开门状态检测系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该用于智能家居的开门状态检测系统200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该用于智能家居的开门状态检测系统200与该终端设备也可以是分立的设备，并且用于智能家居的开门状态检测系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图4为根据本申请实施例的用于智能家居的开门状态检测方法的场景示意图。如图4所示，在该应用场景中，首先，获取由所述摄像头采集的雾化二维码图像(例如，如图4中所示意的C)；然后，将获取的雾化二维码图像输入至部署有用于智能家居的开门状态检测算法的服务器(例如，如图4中所示意的S)中，其中所述服务器能够基于用于智能家居的开门状态检测算法对所述雾化二维码图像进行处理，以生成去雾后二维码图像，通过所述传感器节点将所述二维码标签的信息和所述待检测家居门的开关状态发送给智能家居控制中心。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (7)
1.一种用于智能家居的开门状态检测方法，其特征在于，包括：
在待检测家居门上贴附具有二维码的标签，其中，所述二维码包含门的编号和位置信息；
在所述待检测家居门的上方部署摄像头，所述摄像头用于拍摄所述待检测家居门的二维码标签；
响应于所述待检测家居门的开关状态发生变化时，所述摄像头自动拍摄所述二维码标签的图像，并将所述二维码标签的图像发送给传感器节点的处理器；
通过所述传感器节点的处理器从图像中提取出所述二维码标签的信息，并判断所述待检测家居门的开关状态；
通过所述传感器节点将所述二维码标签的信息和所述待检测家居门的开关状态发送给智能家居控制中心；
通过所述智能家居控制中心进行相应的智能控制操作；
通过所述传感器节点的处理器从图像中提取出所述二维码标签的信息，并判断所述待检测家居门的开关状态，包括：
获取由所述摄像头采集的雾化二维码图像；
通过基于深度神经网络模型的雾化二维码图像浅层特征提取器对所述雾化二维码图像进行特征提取以得到雾化二维码图像浅层特征图；
将所述雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以得到空间显化雾化二维码图像浅层特征图；
将所述空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块以得到局部增强空间显化雾化二维码图像浅层特征图作为局部增强空间显化雾化二维码图像浅层特征；
基于所述局部增强空间显化雾化二维码图像浅层特征，生成去雾后二维码图像；
将所述雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以得到空间显化雾化二维码图像浅层特征图，包括：将所述雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以如下强化公式进行处理以得到所述空间显化雾化二维码图像浅层特征图；
其中，所述强化公式为：
Foutput1＝Finput1⊙Fself-attention
Fself-attention＝Active{Cov[Aug(Finput1)]}
其中，Finput1为所述雾化二维码图像浅层特征图，Fself-attention为空间互注意力图，Active表示激活函数，Cov表示卷积层，且Aug表示当卷积核的大小大于一时，对所述雾化二维码图像浅层特征图进行的低廉增广，Foutput1为所述空间显化雾化二维码图像浅层特征图，⊙表示按位置点乘；
将所述空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块以得到局部增强空间显化雾化二维码图像浅层特征图作为局部增强空间显化雾化二维码图像浅层特征，包括：将所述空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块中使用如下显著化公式进行处理以得到所述局部增强空间显化雾化二维码图像浅层特征图；
其中，所述显著化公式为：
Foutput2＝ReLU(Conv1×1[Conv3×3(Finput2)])
其中，Finput2表示所述空间显化雾化二维码图像浅层特征图，Conv3×3(·)表示使用3×3的卷积核进行卷积处理，Conv1×1(·)表示使用1×1的卷积核进行卷积处理，ReLU(·)表示ReLU函数，Foutput2表示所述局部增强空间显化雾化二维码图像浅层特征图。
2.根据权利要求1所述的用于智能家居的开门状态检测方法，其特征在于，所述深度神经网络模型为卷积神经网络模型。
3.根据权利要求2所述的用于智能家居的开门状态检测方法，其特征在于，基于所述局部增强空间显化雾化二维码图像浅层特征，生成去雾后二维码图像，包括：将所述局部增强空间显化雾化二维码图像浅层特征图通过基于对抗生成网络的去雾生成器以得到去雾后二维码图像。
4.根据权利要求3所述的用于智能家居的开门状态检测方法，其特征在于，还包括训练步骤：用于对基于卷积神经网络模型的雾化二维码图像浅层特征提取器、所述基于空间自注意力层的空间显化器、所述局部信息高效建模模块和所述基于对抗生成网络的去雾生成器进行训练。
5.根据权利要求4所述的用于智能家居的开门状态检测方法，其特征在于，所述训练步骤，包括：
获取由所述摄像头采集的训练雾化二维码图像；
通过所述基于深度神经网络模型的雾化二维码图像浅层特征提取器对所述训练雾化二维码图像进行特征提取以得到训练雾化二维码图像浅层特征图；
将所述训练雾化二维码图像浅层特征图通过所述基于空间自注意力层的空间显化器以得到训练空间显化雾化二维码图像浅层特征图；
将所述训练空间显化雾化二维码图像浅层特征图通过所述局部信息高效建模模块以得到训练局部增强空间显化雾化二维码图像浅层特征图；
将所述训练局部增强空间显化雾化二维码图像浅层特征图通过所述基于对抗生成网络的去雾生成器以得到训练去雾后二维码图像；
计算所述训练局部增强空间显化雾化二维码图像浅层特征图和所述训练雾化二维码图像浅层特征图的损失函数值；
基于所述损失函数值对所述基于卷积神经网络模型的雾化二维码图像浅层特征提取器、所述基于空间自注意力层的空间显化器、所述局部信息高效建模模块和所述基于对抗生成网络的去雾生成器进行训练。
6.一种采用如权利要求1所述的用于智能家居的开门状态检测方法的检测系统，其特征在于，包括：
二维码的标签贴附模块，用于在待检测家居门上贴附具有二维码的标签，其中，所述二维码包含门的编号和位置信息；
摄像头部署模块，用于在所述待检测家居门的上方部署摄像头，所述摄像头用于拍摄所述待检测家居门的二维码标签；
图像发送模块，用于响应于所述待检测家居门的开关状态发生变化时，所述摄像头自动拍摄所述二维码标签的图像，并将所述二维码标签的图像发送给传感器节点的处理器；
二维码标签信息提取模块，用于通过所述传感器节点的处理器从图像中提取出所述二维码标签的信息，并判断所述待检测家居门的开关状态；
开关状态发送模块，用于通过所述传感器节点将所述二维码标签的信息和所述待检测家居门的开关状态发送给智能家居控制中心；
智能控制操作模块，用于通过所述智能家居控制中心进行相应的智能控制操作。
7.根据权利要求6所述的检测系统，其特征在于，所述二维码标签信息提取模块，包括：
二维码图像获取单元，用于获取由所述摄像头采集的雾化二维码图像；
特征提取单元，用于通过基于深度神经网络模型的雾化二维码图像浅层特征提取器对所述雾化二维码图像进行特征提取以得到雾化二维码图像浅层特征图；
空间自注意力单元，用于将所述雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以得到空间显化雾化二维码图像浅层特征图；
局部信息高效建模单元，用于将所述空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块以得到局部增强空间显化雾化二维码图像浅层特征图作为局部增强空间显化雾化二维码图像浅层特征；
去雾后二维码图像生成单元，用于基于所述局部增强空间显化雾化二维码图像浅层特征，生成去雾后二维码图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311854354.8A CN117590761B (zh) | 2023-12-29 | 2023-12-29 | 用于智能家居的开门状态检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311854354.8A CN117590761B (zh) | 2023-12-29 | 2023-12-29 | 用于智能家居的开门状态检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117590761A CN117590761A (zh) | 2024-02-23 |
| CN117590761B true CN117590761B (zh) | 2024-04-19 |
Family
ID=89913479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311854354.8A Active CN117590761B (zh) | 2023-12-29 | 2023-12-29 | 用于智能家居的开门状态检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117590761B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476219A (zh) * | 2020-06-02 | 2020-07-31 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
| CN114863173A (zh) * | 2022-05-06 | 2022-08-05 | 南京审计大学 | 一种面向土地资源审计的自互注意力高光谱图像分类方法 |
| CN115641584A (zh) * | 2022-12-26 | 2023-01-24 | 武汉深图智航科技有限公司 | 一种雾天图像识别方法及装置 |
| WO2023005699A1 (zh) * | 2021-07-29 | 2023-02-02 | 广州安思创信息技术有限公司 | 视频增强网络训练方法、视频增强方法及装置 |
| WO2023040108A1 (zh) * | 2021-09-14 | 2023-03-23 | 浙江师范大学 | 一种图像超分辨率放大模型及其方法 |
| WO2023092813A1 (zh) * | 2021-11-25 | 2023-06-01 | 苏州大学 | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 |
| CN116468625A (zh) * | 2023-03-23 | 2023-07-21 | 河南大学 | 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统 |
| WO2023207163A1 (zh) * | 2022-04-24 | 2023-11-02 | 城云科技（中国）有限公司 | 用于消防通道占用目标检测的目标检测模型、方法及应用 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7895191B2 (en) * | 2003-04-09 | 2011-02-22 | International Business Machines Corporation | Improving performance of database queries |
-
2023
- 2023-12-29 CN CN202311854354.8A patent/CN117590761B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476219A (zh) * | 2020-06-02 | 2020-07-31 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
| WO2023005699A1 (zh) * | 2021-07-29 | 2023-02-02 | 广州安思创信息技术有限公司 | 视频增强网络训练方法、视频增强方法及装置 |
| WO2023040108A1 (zh) * | 2021-09-14 | 2023-03-23 | 浙江师范大学 | 一种图像超分辨率放大模型及其方法 |
| WO2023092813A1 (zh) * | 2021-11-25 | 2023-06-01 | 苏州大学 | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 |
| WO2023207163A1 (zh) * | 2022-04-24 | 2023-11-02 | 城云科技（中国）有限公司 | 用于消防通道占用目标检测的目标检测模型、方法及应用 |
| CN114863173A (zh) * | 2022-05-06 | 2022-08-05 | 南京审计大学 | 一种面向土地资源审计的自互注意力高光谱图像分类方法 |
| CN115641584A (zh) * | 2022-12-26 | 2023-01-24 | 武汉深图智航科技有限公司 | 一种雾天图像识别方法及装置 |
| CN116468625A (zh) * | 2023-03-23 | 2023-07-21 | 河南大学 | 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117590761A (zh) | 2024-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105100724B (zh) | 一种基于视觉分析的智能家居远程安全监控方法 | |
| US10769914B2 (en) | Informative image data generation using audio/video recording and communication devices | |
| Duong et al. | Activity recognition and abnormality detection with the switching hidden semi-markov model | |
| CN106803301A (zh) | 一种基于深度学习的人脸识别门禁方法及系统 | |
| CN106372576A (zh) | 一种基于深度学习的智能室内入侵检测方法及系统 | |
| Sodemann et al. | A review of anomaly detection in automated surveillance | |
| CN109298785A (zh) | 一种监测设备的人机联控系统及方法 | |
| CN101933058A (zh) | 具有目标和事件分类的视频传感器和警报系统以及方法 | |
| JP6716787B2 (ja) | 無線音声／ビデオ記録通信装置のための小包窃盗抑止 | |
| Ni et al. | Open-set human identification based on gait radar micro-Doppler signatures | |
| CN101414411A (zh) | 影像式的空位侦测系统与方法 | |
| CN107680097A (zh) | 一种输电线路杆塔识别鸟巢的方法 | |
| Ahmed et al. | An IoT‐based human detection system for complex industrial environment with deep learning architectures and transfer learning | |
| CN114693624A (zh) | 一种图像检测方法、装置、设备及可读存储介质 | |
| CN115410222A (zh) | 一种姿态感知的视频行人再识别网络 | |
| CN109951866B (zh) | 一种基于隐马尔科夫模型的人流量监测方法 | |
| CN117590761B (zh) | 用于智能家居的开门状态检测方法及系统 | |
| CN116012335A (zh) | 一种基于WiFi信号与视觉图像融合的室内人群计数方法 | |
| CN114818974A (zh) | 对智能信息系统下用户活动监测的推断攻击方法及系统 | |
| Pan et al. | Youhome system and dataset: Making your home know you better | |
| CN114298973A (zh) | 一种基于红外图像分割的智能供热监测方法 | |
| CN113313165A (zh) | 一种基于雷达的人数统计方法、装置、设备及存储介质 | |
| Girme et al. | Internet of Things Based Intelligent Security using Android Application | |
| Zhao | [Retracted] Research on the Effect of IOT Wireless Network Technology on the Educational Management of China’s Universities | |
| CN117275156B (zh) | 无人值守共享棋牌室预定系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |