CN117590761B - 用于智能家居的开门状态检测方法及系统 - Google Patents

用于智能家居的开门状态检测方法及系统 Download PDF

Info

Publication number
CN117590761B
CN117590761B CN202311854354.8A CN202311854354A CN117590761B CN 117590761 B CN117590761 B CN 117590761B CN 202311854354 A CN202311854354 A CN 202311854354A CN 117590761 B CN117590761 B CN 117590761B
Authority
CN
China
Prior art keywords
dimensional code
code image
atomized
feature map
shallow feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311854354.8A
Other languages
English (en)
Other versions
CN117590761A (zh
Inventor
梁晓东
胡新尧
张俊峰
梁恒
林狄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Fulinmen Shijia Smart Home Co ltd
Original Assignee
Guangdong Fulinmen Shijia Smart Home Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Fulinmen Shijia Smart Home Co ltd filed Critical Guangdong Fulinmen Shijia Smart Home Co ltd
Priority to CN202311854354.8A priority Critical patent/CN117590761B/zh
Publication of CN117590761A publication Critical patent/CN117590761A/zh
Application granted granted Critical
Publication of CN117590761B publication Critical patent/CN117590761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

一种用于智能家居的开门状态检测方法及系统，其包括步骤：在待检测家居门上贴附具有二维码的标签，其中二维码包含门的编号和位置信息；在待检测家居门的上方部署摄像头，用于拍摄待检测家居门的二维码标签；当待检测家居门的开关状态发生变化时，摄像头自动拍摄二维码标签的图像，并将图像发送给传感器节点的处理器；通过处理器从图像中提取出二维码标签的信息，并判断待检测家居门的开关状态；将二维码标签的信息和待检测家居门的开关状态发送给智能家居控制中心；通过智能家居控制中心进行相应的智能控制操作。这样，可以智能地实现开门状态检测，提高智能家居系统的便捷性和灵活性。

Description

用于智能家居的开门状态检测方法及系统
技术领域
本申请涉及智能家居技术领域，并且更具体地，涉及一种用于智能家居的开门状态检测方法及系统。
背景技术
智能家居系统是指通过各种传感器、设备和网络连接，实现对家居环境的智能化管理和控制的系统，其中，开门状态检测是智能家居系统中的一个重要功能，不仅可以实现自动化的门禁控制、安全监测，还能够便于实现智能家居的控制，例如在检测到智能家居的开门状态时，可以自动调节室内温度、照明、安防等。
然而，传统的开门状态检测方法通常使用物理传感器，如开关、磁传感器等，来检测门的开关状态，这些传感器需要额外的硬件设备和布线，增加了系统的成本和复杂性。此外，传统的物理传感器通常需要安装在门的特定位置，以便准确检测门的开关状态。这限制了传感器的布置和应用场景，不够灵活。并且，传统的开门状态检测方法通常只能通过物理传感器提供门的开关状态信息，缺乏智能化的功能，例如，无法区分不同用户的身份，无法实现个性化的门控制和权限管理。
因此，期望一种优化的用于智能家居的开门状态检测方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于智能家居的开门状态检测方法及系统，其包括步骤：在待检测家居门上贴附具有二维码的标签，其中二维码包含门的编号和位置信息；在待检测家居门的上方部署摄像头，用于拍摄待检测家居门的二维码标签；当待检测家居门的开关状态发生变化时，摄像头自动拍摄二维码标签的图像，并将图像发送给传感器节点的处理器；通过处理器从图像中提取出二维码标签的信息，并判断待检测家居门的开关状态；将二维码标签的信息和待检测家居门的开关状态发送给智能家居控制中心；通过智能家居控制中心进行相应的智能控制操作。这样，可以智能地实现开门状态检测，提高智能家居系统的便捷性和灵活性。
第一方面，提供了一种用于智能家居的开门状态检测方法，其包括：
在待检测家居门上贴附具有二维码的标签，其中，所述二维码包含门的编号和位置信息；
在所述待检测家居门的上方部署摄像头，所述摄像头用于拍摄所述待检测家居门的二维码标签；
响应于所述待检测家居门的开关状态发生变化时，所述摄像头自动拍摄所述二维码标签的图像，并将所述二维码标签的图像发送给传感器节点的处理器；
通过所述传感器节点的处理器从图像中提取出所述二维码标签的信息，并判断所述待检测家居门的开关状态；
通过所述传感器节点将所述二维码标签的信息和所述待检测家居门的开关状态发送给智能家居控制中心；
通过所述智能家居控制中心进行相应的智能控制操作。
第二方面，提供了一种用于智能家居的开门状态检测系统，其包括：
二维码的标签贴附模块，用于在待检测家居门上贴附具有二维码的标签，其中，所述二维码包含门的编号和位置信息；
摄像头部署模块，用于在所述待检测家居门的上方部署摄像头，所述摄像头用于拍摄所述待检测家居门的二维码标签；
图像发送模块，用于响应于所述待检测家居门的开关状态发生变化时，所述摄像头自动拍摄所述二维码标签的图像，并将所述二维码标签的图像发送给传感器节点的处理器；
二维码标签信息提取模块，用于通过所述传感器节点的处理器从图像中提取出所述二维码标签的信息，并判断所述待检测家居门的开关状态；
开关状态发送模块，用于通过所述传感器节点将所述二维码标签的信息和所述待检测家居门的开关状态发送给智能家居控制中心；
智能控制操作模块，用于通过所述智能家居控制中心进行相应的智能控制操作。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本申请实施例的用于智能家居的开门状态检测方法的流程图。
图2为根据本申请实施例的用于智能家居的开门状态检测方法的架构示意图。
图3为根据本申请实施例的用于智能家居的开门状态检测系统的框图。
图4为根据本申请实施例的用于智能家居的开门状态检测方法的场景示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
智能家居系统是指利用各种传感器、设备和网络连接技术，实现对家居环境的智能化管理和控制，通过收集各种传感器的数据，进行数据处理和分析，然后根据用户设定的条件和需求，自动进行相应的控制操作。其中，开门状态检测是智能家居系统中的一个重要功能，通过安装门磁传感器等设备，可以实时监测门的开启和关闭状态，这样，就能够实现自动化的门禁控制，例如在检测到门开启时，可以触发报警或发送通知给用户，以提高家居的安全性。
除了门禁控制，开门状态检测还能够方便实现智能家居的控制。例如，当智能家居系统检测到门被打开时，可以根据用户的设定自动调节室内温度、照明、安防等。比如，在门打开时，可以自动关闭空调或加热器，以节约能源；同时，也可以自动开启灯光，提供足够的照明；还可以联动安防设备，例如摄像头、门禁系统等，对家居进行安全监测。通过开门状态检测，智能家居系统可以更加智能化地管理和控制家居环境，通过对门的开启和关闭状态进行监测，智能家居系统可以自动化地实现门禁控制、安全监测，以及便捷的智能家居控制，提升家居的舒适性、便利性和安全性。
然而，传统的开门状态检测方法使用物理传感器来检测门的开关状态，通常需要额外的硬件设备和布线，增加了系统的成本和复杂性，这些传感器需要安装在门的特定位置，以便准确检测门的开关状态，这限制了传感器的布置和应用场景，不够灵活。此外，传统的物理传感器通常只能提供门的开关状态信息，缺乏智能化的功能。例如，无法区分不同用户的身份，无法实现个性化的门控制和权限管理，这意味着无法实现智能家居系统针对不同用户的个性化设置，无法根据用户的身份和需求自动调节室内环境和设备。
为了克服传统开门状态检测方法的局限性，现代智能家居系统采用了更先进的技术。例如，利用无线传感器网络和物联网技术，可以实现无线的门磁传感器，避免了布线的麻烦，提高了系统的灵活性和便捷性。另外，现代智能家居系统还引入了人脸识别、指纹识别、声纹识别等生物特征识别技术，可以实现对不同用户身份的识别和验证，这样，可以根据用户的身份和权限进行个性化的门控制和权限管理，实现更智能化的门禁功能。
在本申请中，提供一种优化的用于智能家居的开门状态检测方案。
图1为根据本申请实施例的用于智能家居的开门状态检测方法的流程图。如图1所示，所述用于智能家居的开门状态检测方法，包括：110，在待检测家居门上贴附具有二维码的标签，其中，所述二维码包含门的编号和位置信息；120，在所述待检测家居门的上方部署摄像头，所述摄像头用于拍摄所述待检测家居门的二维码标签；130，响应于所述待检测家居门的开关状态发生变化时，所述摄像头自动拍摄所述二维码标签的图像，并将所述二维码标签的图像发送给传感器节点的处理器；140，通过所述传感器节点的处理器从图像中提取出所述二维码标签的信息，并判断所述待检测家居门的开关状态；150，通过所述传感器节点将所述二维码标签的信息和所述待检测家居门的开关状态发送给智能家居控制中心；160，通过所述智能家居控制中心进行相应的智能控制操作。这样，无需安装额外的硬件设备，只需在门上贴上一张带有二维码的标签，即可实现开门状态检测。
应可以理解，二维码是一种二维图形码，可以存储大量的信息，它具有识别速度快、容错率高、信息密度大等优点。通过扫描二维码，可以快速获取相关信息，如门的编号和位置信息。在智能家居系统中，将二维码标签贴附在家居门上，可以方便地获取门的信息。摄像头是智能家居系统中常用的感知设备之一，可以实时拍摄门上的二维码图像。通过分析二维码的图像，可以判断门的开关状态。
相应地，考虑到当二维码所处的环境发生变化时，例如光照不足、遮挡、污损、雾化等，会影响二维码的识别效果。尤其是在冬天，由于温差和湿度的原因，摄像头容易起雾，导致所采集的图像存在雾化而变得模糊不清，这使得无法进行精准的特征提取和识别，导致对于二维码识别的精准度降低，从而影响对于开门状态检测和智能家居控制的效率和质量。
针对上述技术问题，本申请的技术构思为通过摄像头采集雾化二维码图像后，在后端引入图像处理和分析算法来进行该雾化二维码图像的特征分析，以此来生成去雾后二维码图像，以确保在雾化环境下对二维码进行有效的去雾和识别。这样，能够提高二维码的识别率和准确性，从而有利于提高对智能家居的开门状态检测的精准度，以提供更灵活、准确和智能的门控制功能，通过这样的方式，能够便于实现相应的智能家居控制，从而提供更安全和高效的智能家居环境。
图2为根据本申请实施例的用于智能家居的开门状态检测方法的架构示意图。如图2所示，通过所述传感器节点的处理器从图像中提取出所述二维码标签的信息，并判断所述待检测家居门的开关状态，包括：首先，获取由所述摄像头采集的雾化二维码图像；然后，通过基于深度神经网络模型的雾化二维码图像浅层特征提取器对所述雾化二维码图像进行特征提取以得到雾化二维码图像浅层特征图；接着，将所述雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以得到空间显化雾化二维码图像浅层特征图；然后，将所述空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块以得到局部增强空间显化雾化二维码图像浅层特征图作为局部增强空间显化雾化二维码图像浅层特征；最后，基于所述局部增强空间显化雾化二维码图像浅层特征，生成去雾后二维码图像。
其中，所述深度神经网络模型为卷积神经网络模型。
具体地，在本申请的技术方案中，首先，获取由摄像头采集的雾化二维码图像。接着，使用在图像的隐含特征提取方面具有优异表现性能的基于卷积神经网络模型的雾化二维码图像浅层特征提取器对所述雾化二维码图像进行特征提取，以提取出所述雾化二维码图像中有关于二维码的隐含特征分布信息，从而得到雾化二维码图像浅层特征图。
应可以理解，在雾化的图像中，由于雾化效应的存在，图像中关于二维码的细节和边缘信息可能被模糊或混淆，导致图像特征提取的困难。而在进行雾化的二维码图像特征分析时，应更加关注于空间位置上关于二维码的空间排布和纹理等特征信息。因此，在本申请的技术方案中，进一步将所述雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以得到空间显化雾化二维码图像浅层特征图。应可以理解，由于所述空间自注意力层是一种注意力机制，可以自动学习和捕捉图像中的空间关系和关键区域的空间特征信息。通过引入空间自注意力层，可以对图像中的每个位置进行自适应的特征加权，使得空间上关于二维码的重要特征得到更多的关注，而不重要的特征得到较少的关注，从而增强所述雾化二维码图像中关于二维码的特征表示能力，使得二维码模糊的细节、纹理和边缘信息得以突出。
在本申请的一个具体实施例中，将所述雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以得到空间显化雾化二维码图像浅层特征图，包括：将所述雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以如下强化公式进行处理以得到所述空间显化雾化二维码图像浅层特征图；其中，所述强化公式为：
Foutput1＝Finput1⊙Fself-attention
Fself-attention＝Active{Cov[Aug(Finput1)]}
其中，Finput1为所述雾化二维码图像浅层特征图，Fself-attention为空间互注意力图，Active表示激活函数，Cov表示卷积层，且Aug表示当卷积核的大小大于一时，对所述雾化二维码图像浅层特征图进行的低廉增广，Foutput1为所述空间显化雾化二维码图像浅层特征图，⊙表示按位置点乘。
然后，考虑到在实际进行二维码的识别时，不仅需要关注到二维码的全局特征，还应更加关注到二维码中的局部细节特征信息。但是，由于传统意义上的卷积神经网络模型的结构为卷积加池化层，即可使用具有局部感受野的神经元(如3×3卷积核)提取特征并由池化降维，同时获得各通道上的显著信息，但这种方法感受野大，会导致提取的二维码图像中关于二维码的分布特征模糊，容易忽略掉特征图中具有分辨力的二维码细节特征信息。因此，为了更好地捕捉图像中的局部信息和细节特征，在本申请的技术方案中，进一步将所述空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块以得到局部增强空间显化雾化二维码图像浅层特征图。应可以理解，所述局部信息高效建模模块能够在传统卷积后增加1×1卷积核和ReLU激活函数，从跨通道池化的角度来看，这样等效于在一个正常的卷积层上实施级联跨通道加权池化，使得模型能够学习到通道之间的关系，对所述二维码图像中关于二维码的局部特征信息进行更高效地建模和特征刻画，以使得图像中的二维码局部细节特征更加突出和凸显，从而提高对二维码特征提取的充分度和精准度，以生成更为精准地去雾后二维码图像。
在本申请的一个具体实施例中，将所述空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块以得到局部增强空间显化雾化二维码图像浅层特征图作为局部增强空间显化雾化二维码图像浅层特征，包括：将所述空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块中使用如下显著化公式进行处理以得到所述局部增强空间显化雾化二维码图像浅层特征图；其中，所述显著化公式为：
Foutput2＝ReLU(Conv1×1[Conv3×3(Finput2)])
其中，Finput2表示所述空间显化雾化二维码图像浅层特征图，Conv3×3(·)表示使用3×3的卷积核进行卷积处理，Conv1×1(·)表示使用1×1的卷积核进行卷积处理，ReLU(·)表示ReLU函数，Foutput2表示所述局部增强空间显化雾化二维码图像浅层特征图。
继而，再将所述局部增强空间显化雾化二维码图像浅层特征图通过基于对抗生成网络的去雾生成器以得到去雾后二维码图像。也就是说，将经过局部空间显化特征增强后的雾化二维码图像浅层特征信息通过对抗生成网络中进行去雾后二维码图像的生成。应可以理解，所述对抗生成网络是一种由生成器和判别器组成的网络结构，可以实现图像的生成和去雾。通过训练基于对抗生成网络的去雾生成器，可以学习到雾化图像和清晰图像之间的映射关系，从而更为准确地生成去雾后的二维码图像，以确保在雾化环境下对二维码进行有效的去雾和识别。
在本申请的一个具体实施例中，基于所述局部增强空间显化雾化二维码图像浅层特征，生成去雾后二维码图像，包括：将所述局部增强空间显化雾化二维码图像浅层特征图通过基于对抗生成网络的去雾生成器以得到去雾后二维码图像。
在本申请的一个实施例中，所述用于智能家居的开门状态检测方法，还包括训练步骤：用于对所述基于卷积神经网络模型的雾化二维码图像浅层特征提取器、所述基于空间自注意力层的空间显化器、所述局部信息高效建模模块和所述基于对抗生成网络的去雾生成器进行训练。所述训练步骤，包括：获取由所述摄像头采集的训练雾化二维码图像；通过所述基于深度神经网络模型的雾化二维码图像浅层特征提取器对所述训练雾化二维码图像进行特征提取以得到训练雾化二维码图像浅层特征图；将所述训练雾化二维码图像浅层特征图通过所述基于空间自注意力层的空间显化器以得到训练空间显化雾化二维码图像浅层特征图；将所述训练空间显化雾化二维码图像浅层特征图通过所述局部信息高效建模模块以得到训练局部增强空间显化雾化二维码图像浅层特征图；将所述训练局部增强空间显化雾化二维码图像浅层特征图通过所述基于对抗生成网络的去雾生成器以得到训练去雾后二维码图像；计算所述训练局部增强空间显化雾化二维码图像浅层特征图和所述训练雾化二维码图像浅层特征图的损失函数值；基于所述损失函数值对所述基于卷积神经网络模型的雾化二维码图像浅层特征提取器、所述基于空间自注意力层的空间显化器、所述局部信息高效建模模块和所述基于对抗生成网络的去雾生成器进行训练。
特别地，在本申请的技术方案中，将所述训练雾化二维码图像通过基于卷积神经网络模型的雾化二维码图像浅层特征提取器后，得到的所述训练雾化二维码图像浅层特征图的每个特征矩阵用于表达所述训练雾化二维码图像的图像语义特征，而其各个特征矩阵间具有卷积神经网络模型的通道关联，并且，在将所述训练雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以得到训练空间显化雾化二维码图像浅层特征图，并将所述训练空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块以得到训练局部增强空间显化雾化二维码图像浅层特征图后，所述训练局部增强空间显化雾化二维码图像浅层特征图的每个特征矩阵的图像语义特征空间分布会得到进一步强化。但这也会使得所述训练局部增强空间显化雾化二维码图像浅层特征图与所述训练雾化二维码图像浅层特征图具有不同的整体特征群密度，也就是，在进行特征局部强化表达的同时，会使得所述训练局部增强空间显化雾化二维码图像浅层特征图与所述训练雾化二维码图像浅层特征图存在较为严重的域偏移，导致部分有用特征可能会被弱化甚至被淹没，影响所述训练局部增强空间显化雾化二维码图像浅层特征图通过基于对抗生成网络的去雾生成器得到的训练去雾后二维码图像的图像质量。
因此，本申请的申请人考虑提升所述训练局部增强空间显化雾化二维码图像浅层特征图相对于所述训练雾化二维码图像浅层特征图的特征群密度表示一致性，从而进一步引入了用于所述训练局部增强空间显化雾化二维码图像浅层特征图和所述训练雾化二维码图像浅层特征图的损失函数，表示为：以如下优化公式计算所述训练局部增强空间显化雾化二维码图像浅层特征图和所述训练雾化二维码图像浅层特征图的损失函数值；其中，所述优化公式为：
其中，V1是所述训练局部增强空间显化雾化二维码图像浅层特征图展开得到的第一特征向量，V2是所述训练雾化二维码图像浅层特征图展开得到的第二特征向量，L是特征向量的长度，且表示向量的二范数的平方，/>表示损失函数值，exp(·)表示计算以数值为幂的自然指数函数值，/>表示按位置减法。
这里，所述损失函数基于特征群密度来进行群计数注意力，其通过将群计数作为输出特征群密度的递归映射，来进行所述训练局部增强空间显化雾化二维码图像浅层特征图和所述训练雾化二维码图像浅层特征图之间的不同密度表示模式的自适应注意力。通过以其作为损失函数训练模型，可以使得模型针对所述训练局部增强空间显化雾化二维码图像浅层特征图和所述训练雾化二维码图像浅层特征图的特征分布下的不同密度模式来避免过估计和欠估计，并学习特征值分布与群密度分布之间的对应关系，从而实现具有不同特征密度的所述训练局部增强空间显化雾化二维码图像浅层特征图和所述训练雾化二维码图像浅层特征图之间的特征群密度表示一致性优化，以提升所述训练局部增强空间显化雾化二维码图像浅层特征图通过基于对抗生成网络的去雾生成器得到的训练去雾后二维码图像的图像质量。这样，能够在进行智能家居门的二维码识别过程中自动进行二维码图像的去雾处理，以确保在雾化环境下对二维码进行有效的识别，通过这样的方式，能够提高对智能家居的开门状态检测的精准度，以此来提供更灵活、准确和智能的门控制功能，以便于实现相应的智能家居控制，从而提供更安全和高效的智能家居环境。
综上，基于本申请实施例的用于智能家居的开门状态检测方法被阐明，其通过摄像头采集雾化二维码图像后，在后端引入图像处理和分析算法来进行该雾化二维码图像的特征分析，以此来生成去雾后二维码图像，以确保在雾化环境下对二维码进行有效的去雾和识别。这样，能够提高二维码的识别率和准确性，从而有利于提高对智能家居的开门状态检测的精准度，以提供更灵活、准确和智能的门控制功能，通过这样的方式，能够便于实现相应的智能家居控制，从而提供更安全和高效的智能家居环境。
在本申请的一个实施例中，图3为根据本申请实施例的用于智能家居的开门状态检测系统的框图。如图3所示，根据本申请实施例的用于智能家居的开门状态检测系统200，包括：二维码的标签贴附模块210，用于在待检测家居门上贴附具有二维码的标签，其中，所述二维码包含门的编号和位置信息；摄像头部署模块220，用于在所述待检测家居门的上方部署摄像头，所述摄像头用于拍摄所述待检测家居门的二维码标签；图像发送模块230，用于响应于所述待检测家居门的开关状态发生变化时，所述摄像头自动拍摄所述二维码标签的图像，并将所述二维码标签的图像发送给传感器节点的处理器；二维码标签信息提取模块240，用于通过所述传感器节点的处理器从图像中提取出所述二维码标签的信息，并判断所述待检测家居门的开关状态；开关状态发送模块250，用于通过所述传感器节点将所述二维码标签的信息和所述待检测家居门的开关状态发送给智能家居控制中心；智能控制操作模块260，用于通过所述智能家居控制中心进行相应的智能控制操作。
在所述用于智能家居的开门状态检测系统中，所述二维码标签信息提取模块，包括：二维码图像获取单元，用于获取由所述摄像头采集的雾化二维码图像；特征提取单元，用于通过基于深度神经网络模型的雾化二维码图像浅层特征提取器对所述雾化二维码图像进行特征提取以得到雾化二维码图像浅层特征图；空间自注意力单元，用于将所述雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以得到空间显化雾化二维码图像浅层特征图；局部信息高效建模单元，用于将所述空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块以得到局部增强空间显化雾化二维码图像浅层特征图作为局部增强空间显化雾化二维码图像浅层特征；去雾后二维码图像生成单元，用于基于所述局部增强空间显化雾化二维码图像浅层特征，生成去雾后二维码图像。
这里，本领域技术人员可以理解，上述用于智能家居的开门状态检测系统中的各个单元和模块的具体功能和操作已经在上面参考图1到图2的用于智能家居的开门状态检测方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的用于智能家居的开门状态检测系统200可以实现在各种终端设备中，例如用于智能家居的开门状态检测的服务器等。在一个示例中，根据本申请实施例的用于智能家居的开门状态检测系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该用于智能家居的开门状态检测系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该用于智能家居的开门状态检测系统200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该用于智能家居的开门状态检测系统200与该终端设备也可以是分立的设备，并且用于智能家居的开门状态检测系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图4为根据本申请实施例的用于智能家居的开门状态检测方法的场景示意图。如图4所示，在该应用场景中，首先，获取由所述摄像头采集的雾化二维码图像(例如，如图4中所示意的C)；然后，将获取的雾化二维码图像输入至部署有用于智能家居的开门状态检测算法的服务器(例如，如图4中所示意的S)中，其中所述服务器能够基于用于智能家居的开门状态检测算法对所述雾化二维码图像进行处理，以生成去雾后二维码图像，通过所述传感器节点将所述二维码标签的信息和所述待检测家居门的开关状态发送给智能家居控制中心。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (7)

1.一种用于智能家居的开门状态检测方法，其特征在于，包括：
在待检测家居门上贴附具有二维码的标签，其中，所述二维码包含门的编号和位置信息；
在所述待检测家居门的上方部署摄像头，所述摄像头用于拍摄所述待检测家居门的二维码标签；
响应于所述待检测家居门的开关状态发生变化时，所述摄像头自动拍摄所述二维码标签的图像，并将所述二维码标签的图像发送给传感器节点的处理器；
通过所述传感器节点的处理器从图像中提取出所述二维码标签的信息，并判断所述待检测家居门的开关状态；
通过所述传感器节点将所述二维码标签的信息和所述待检测家居门的开关状态发送给智能家居控制中心；
通过所述智能家居控制中心进行相应的智能控制操作；
通过所述传感器节点的处理器从图像中提取出所述二维码标签的信息，并判断所述待检测家居门的开关状态，包括：
获取由所述摄像头采集的雾化二维码图像；
通过基于深度神经网络模型的雾化二维码图像浅层特征提取器对所述雾化二维码图像进行特征提取以得到雾化二维码图像浅层特征图；
将所述雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以得到空间显化雾化二维码图像浅层特征图；
将所述空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块以得到局部增强空间显化雾化二维码图像浅层特征图作为局部增强空间显化雾化二维码图像浅层特征；
基于所述局部增强空间显化雾化二维码图像浅层特征，生成去雾后二维码图像；
将所述雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以得到空间显化雾化二维码图像浅层特征图，包括：将所述雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以如下强化公式进行处理以得到所述空间显化雾化二维码图像浅层特征图；
其中，所述强化公式为：
Foutput1＝Finput1⊙Fself-attention
Fself-attention＝Active{Cov[Aug(Finput1)]}
其中，Finput1为所述雾化二维码图像浅层特征图，Fself-attention为空间互注意力图，Active表示激活函数，Cov表示卷积层，且Aug表示当卷积核的大小大于一时，对所述雾化二维码图像浅层特征图进行的低廉增广，Foutput1为所述空间显化雾化二维码图像浅层特征图，⊙表示按位置点乘；
将所述空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块以得到局部增强空间显化雾化二维码图像浅层特征图作为局部增强空间显化雾化二维码图像浅层特征，包括：将所述空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块中使用如下显著化公式进行处理以得到所述局部增强空间显化雾化二维码图像浅层特征图；
其中，所述显著化公式为：
Foutput2＝ReLU(Conv1×1[Conv3×3(Finput2)])
其中，Finput2表示所述空间显化雾化二维码图像浅层特征图，Conv3×3(·)表示使用3×3的卷积核进行卷积处理，Conv1×1(·)表示使用1×1的卷积核进行卷积处理，ReLU(·)表示ReLU函数，Foutput2表示所述局部增强空间显化雾化二维码图像浅层特征图。
2.根据权利要求1所述的用于智能家居的开门状态检测方法，其特征在于，所述深度神经网络模型为卷积神经网络模型。
3.根据权利要求2所述的用于智能家居的开门状态检测方法，其特征在于，基于所述局部增强空间显化雾化二维码图像浅层特征，生成去雾后二维码图像，包括：将所述局部增强空间显化雾化二维码图像浅层特征图通过基于对抗生成网络的去雾生成器以得到去雾后二维码图像。
4.根据权利要求3所述的用于智能家居的开门状态检测方法，其特征在于，还包括训练步骤：用于对基于卷积神经网络模型的雾化二维码图像浅层特征提取器、所述基于空间自注意力层的空间显化器、所述局部信息高效建模模块和所述基于对抗生成网络的去雾生成器进行训练。
5.根据权利要求4所述的用于智能家居的开门状态检测方法，其特征在于，所述训练步骤，包括：
获取由所述摄像头采集的训练雾化二维码图像；
通过所述基于深度神经网络模型的雾化二维码图像浅层特征提取器对所述训练雾化二维码图像进行特征提取以得到训练雾化二维码图像浅层特征图；
将所述训练雾化二维码图像浅层特征图通过所述基于空间自注意力层的空间显化器以得到训练空间显化雾化二维码图像浅层特征图；
将所述训练空间显化雾化二维码图像浅层特征图通过所述局部信息高效建模模块以得到训练局部增强空间显化雾化二维码图像浅层特征图；
将所述训练局部增强空间显化雾化二维码图像浅层特征图通过所述基于对抗生成网络的去雾生成器以得到训练去雾后二维码图像；
计算所述训练局部增强空间显化雾化二维码图像浅层特征图和所述训练雾化二维码图像浅层特征图的损失函数值；
基于所述损失函数值对所述基于卷积神经网络模型的雾化二维码图像浅层特征提取器、所述基于空间自注意力层的空间显化器、所述局部信息高效建模模块和所述基于对抗生成网络的去雾生成器进行训练。
6.一种采用如权利要求1所述的用于智能家居的开门状态检测方法的检测系统，其特征在于，包括：
二维码的标签贴附模块，用于在待检测家居门上贴附具有二维码的标签，其中，所述二维码包含门的编号和位置信息；
摄像头部署模块，用于在所述待检测家居门的上方部署摄像头，所述摄像头用于拍摄所述待检测家居门的二维码标签；
图像发送模块，用于响应于所述待检测家居门的开关状态发生变化时，所述摄像头自动拍摄所述二维码标签的图像，并将所述二维码标签的图像发送给传感器节点的处理器；
二维码标签信息提取模块，用于通过所述传感器节点的处理器从图像中提取出所述二维码标签的信息，并判断所述待检测家居门的开关状态；
开关状态发送模块，用于通过所述传感器节点将所述二维码标签的信息和所述待检测家居门的开关状态发送给智能家居控制中心；
智能控制操作模块，用于通过所述智能家居控制中心进行相应的智能控制操作。
7.根据权利要求6所述的检测系统，其特征在于，所述二维码标签信息提取模块，包括：
二维码图像获取单元，用于获取由所述摄像头采集的雾化二维码图像；
特征提取单元，用于通过基于深度神经网络模型的雾化二维码图像浅层特征提取器对所述雾化二维码图像进行特征提取以得到雾化二维码图像浅层特征图；
空间自注意力单元，用于将所述雾化二维码图像浅层特征图通过基于空间自注意力层的空间显化器以得到空间显化雾化二维码图像浅层特征图；
局部信息高效建模单元，用于将所述空间显化雾化二维码图像浅层特征图通过局部信息高效建模模块以得到局部增强空间显化雾化二维码图像浅层特征图作为局部增强空间显化雾化二维码图像浅层特征；
去雾后二维码图像生成单元，用于基于所述局部增强空间显化雾化二维码图像浅层特征，生成去雾后二维码图像。
CN202311854354.8A 2023-12-29 2023-12-29 用于智能家居的开门状态检测方法及系统 Active CN117590761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311854354.8A CN117590761B (zh) 2023-12-29 2023-12-29 用于智能家居的开门状态检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311854354.8A CN117590761B (zh) 2023-12-29 2023-12-29 用于智能家居的开门状态检测方法及系统

Publications (2)

Publication Number Publication Date
CN117590761A CN117590761A (zh) 2024-02-23
CN117590761B true CN117590761B (zh) 2024-04-19

Family

ID=89913479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311854354.8A Active CN117590761B (zh) 2023-12-29 2023-12-29 用于智能家居的开门状态检测方法及系统

Country Status (1)

Country Link
CN (1) CN117590761B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476219A (zh) * 2020-06-02 2020-07-31 苏州科技大学 智能家居环境中图像目标检测方法
CN114863173A (zh) * 2022-05-06 2022-08-05 南京审计大学 一种面向土地资源审计的自互注意力高光谱图像分类方法
CN115641584A (zh) * 2022-12-26 2023-01-24 武汉深图智航科技有限公司 一种雾天图像识别方法及装置
WO2023005699A1 (zh) * 2021-07-29 2023-02-02 广州安思创信息技术有限公司 视频增强网络训练方法、视频增强方法及装置
WO2023040108A1 (zh) * 2021-09-14 2023-03-23 浙江师范大学 一种图像超分辨率放大模型及其方法
WO2023092813A1 (zh) * 2021-11-25 2023-06-01 苏州大学 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN116468625A (zh) * 2023-03-23 2023-07-21 河南大学 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统
WO2023207163A1 (zh) * 2022-04-24 2023-11-02 城云科技（中国）有限公司 用于消防通道占用目标检测的目标检测模型、方法及应用

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7895191B2 (en) * 2003-04-09 2011-02-22 International Business Machines Corporation Improving performance of database queries

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476219A (zh) * 2020-06-02 2020-07-31 苏州科技大学 智能家居环境中图像目标检测方法
WO2023005699A1 (zh) * 2021-07-29 2023-02-02 广州安思创信息技术有限公司 视频增强网络训练方法、视频增强方法及装置
WO2023040108A1 (zh) * 2021-09-14 2023-03-23 浙江师范大学 一种图像超分辨率放大模型及其方法
WO2023092813A1 (zh) * 2021-11-25 2023-06-01 苏州大学 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
WO2023207163A1 (zh) * 2022-04-24 2023-11-02 城云科技（中国）有限公司 用于消防通道占用目标检测的目标检测模型、方法及应用
CN114863173A (zh) * 2022-05-06 2022-08-05 南京审计大学 一种面向土地资源审计的自互注意力高光谱图像分类方法
CN115641584A (zh) * 2022-12-26 2023-01-24 武汉深图智航科技有限公司 一种雾天图像识别方法及装置
CN116468625A (zh) * 2023-03-23 2023-07-21 河南大学 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统

Also Published As

Publication number Publication date
CN117590761A (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN105100724B (zh) 一种基于视觉分析的智能家居远程安全监控方法
US10769914B2 (en) Informative image data generation using audio/video recording and communication devices
US10594987B1 (en) Identifying and locating objects by associating video data of the objects with signals identifying wireless devices belonging to the objects
CN106803301A (zh) 一种基于深度学习的人脸识别门禁方法及系统
CN106372576A (zh) 一种基于深度学习的智能室内入侵检测方法及系统
Sodemann et al. A review of anomaly detection in automated surveillance
US20200320837A1 (en) Parcel theft deterrence for audio/video recording and communication devices
CN110135319A (zh) 一种异常行为检测方法及其系统
Zhang et al. Wi-Fi sensing for joint gesture recognition and human identification from few samples in human-computer interaction
US11647165B1 (en) Audio/video recording and communication doorbell devices including transistor assemblies, and associated systems and methods
CN101414411B (zh) 影像式的空位侦测系统与方法
CN102254394A (zh) 一种基于视频差异分析的输电线路杆塔防盗监控方法
WO2018081327A1 (en) Parcel delivery assistance and parcel theft deterrence for audio/video recording and communication devices
CN109543569A (zh) 目标识别方法、装置、视觉传感器及智能家居系统
Ni et al. Open-set human identification based on gait radar micro-Doppler signatures
Ahmed et al. An IoT‐based human detection system for complex industrial environment with deep learning architectures and transfer learning
CN115410222A (zh) 一种姿态感知的视频行人再识别网络
Abdou et al. Crowd counting: a survey of machine learning approaches
CN117590761B (zh) 用于智能家居的开门状态检测方法及系统
CN112394647B (zh) 家居设备的控制方法、装置、设备及存储介质
US20220335725A1 (en) Monitoring presence or absence of an object using local region matching
Vareto et al. Face spoofing detection via ensemble of classifiers toward low-power devices
CN109951866B (zh) 一种基于隐马尔科夫模型的人流量监测方法
CN113313165A (zh) 一种基于雷达的人数统计方法、装置、设备及存储介质
Girme et al. Internet of Things Based Intelligent Security using Android Application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant