CN109377624A - 一种基于人脸图像识别的房门智能开启系统 - Google Patents

一种基于人脸图像识别的房门智能开启系统 Download PDF

Info

Publication number
CN109377624A
CN109377624A CN201811405512.0A CN201811405512A CN109377624A CN 109377624 A CN109377624 A CN 109377624A CN 201811405512 A CN201811405512 A CN 201811405512A CN 109377624 A CN109377624 A CN 109377624A
Authority
CN
China
Prior art keywords
image
subgraph
module
door
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811405512.0A
Other languages
English (en)
Other versions
CN109377624B (zh
Inventor
卢伟涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen baochengtong Technology Development Co.,Ltd.
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201811405512.0A priority Critical patent/CN109377624B/zh
Publication of CN109377624A publication Critical patent/CN109377624A/zh
Application granted granted Critical
Publication of CN109377624B publication Critical patent/CN109377624B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于人脸图像识别的房门智能开启系统，包括人员检测模块、亮度采集与调控模块、图像采集模块、图像预处理模块、图像区域划分模块、特征提取模块、存储数据库、处理器、管理平台、门状态检测模块和执行控制模块；处理器分别与人员检测模块、门状态检测模块、亮度采集与调控模块、图像采集模块连接，图像采集模块通过图像预处理模块与图像区域划分模块连接，图像区域划分模块分别与特征提取模块和管理平台连接，管理平台分别与特征提取模块、存储数据库和执行控制模块连接。本发明通过对人脸图像进行多层次特征、轮廓特征提取，以及进行特征融合和匹配度系数的统计，提高了人脸识别的准确性，实现了对门的智能化开启控制。

Description

一种基于人脸图像识别的房门智能开启系统
技术领域
本发明属于智能门控制技术领域，涉及到一种基于人脸图像识别的房门智能开启系统。
背景技术
随着移动互联网以及智能家居的不断发展，人们对家居安全的要求越来越高，现有智能家居中智能门锁已成为智能家居系统中重要的组成部分。
现有的智能门锁不采用以往的机械钥匙，而采用指纹技术、数字密码技术、磁卡、射频卡等进行门的智能化开启，具有便利性高的特点，但是现有的智能化门锁采用磁卡、射频卡，若一旦卡丢失，将造成卡被复制的可能，造成人们居住环境的危险性，对于指纹和数字密码，一旦手指受伤或数字密码忘记，也会造成门无法正常开启的问题。
为了提高居民居住环境的安全性，现设计一种基于人脸图像识别的房门智能开启系统。
发明内容
本发明的目的在于提供的基于人脸图像识别的房门智能开启系统，通过人员图像采集、特征提取以及特征融合，对人员图像进行识别，以对门进行开启控制，解决了现有门开启控制，存在安全性差和准确性低的问题。
本发明的目的可以通过以下技术方案实现：
一种基于人脸图像识别的房门智能开启系统，包括人员检测模块、亮度采集与调控模块、图像采集模块、图像预处理模块、图像区域划分模块、特征提取模块、存储数据库、处理器、管理平台、门状态检测模块和执行控制模块；
处理器分别与人员检测模块、门状态检测模块、亮度采集与调控模块、图像采集模块连接，图像采集模块通过图像预处理模块与图像区域划分模块连接，图像区域划分模块分别与特征提取模块和管理平台连接，管理平台分别与特征提取模块、存储数据库和执行控制模块连接；
人员检测模块安装在住户门上，用于检测房门外是否有人，并检测人员停留在房门处的时间，并将检测的是否有人以及停留的时间发送至处理器；
门状态检测模块用于实时检测门的状态信息，并将检测的门状态信息发送至处理器，所述门状态信息包括门打开状态和门关闭状态；
亮度采集与调控模块用于采集门外的亮度信息，并将采集的亮度信息发送至处理器，同时，接收处理器发送的亮度调控指令，进行亮度调节，并将调节后的亮度信息反馈至处理器；
处理器接收门状态检测模块发送的门状态信息，若门处于关闭状态，则处理器接收人员检测模块发送的门外是否有人信号，若门外有人，则处理器发送计时控制指令至人员检测模块中的计时统计单元，并接收反馈的门外人员停留的时间，判断人员停留的时间是否超过设定的时间阈值，若超过设定的时间阈值，则处理器发送控制指令至亮度采集与调控模块，同时，接收亮度采集与调控模块反馈的亮度信息，并将反馈的亮度信息与设定的亮度阈值进行对比，若大于设定的亮度阈值，则处理器不发送亮度调控指令至亮度采集与调控模块，若小于设定的亮度阈值，则处理器发送亮度调控指令至亮度采集与调控模块，直至亮度采集与调控模块反馈的亮度信息大于设定的亮度阈值，一旦亮度信息大于设定的亮度阈值，则处理器发送控制指令至图像采集模块；
图像采集模块用于对人脸的图像进行采集，并将采集的人脸图像发送至图像预处理模块；
图像预处理模块用于接收图像采集模块发送的人脸图像信息，并对接收的人脸图像进行预处理，预处理后的人脸图像信息发送至图像区域划分模块，所述预处理用于对人脸图像的背景和亮度进行处理，转换成灰度图像；
图像区域划分模块用于对图像预处理模块发送的图像预处理后的图像信息，并对接收的处理后的人脸图像进行划分，划分成若干子图像，对各子图像按照各子图像按照设定的顺序进行排列，分别为1,2,...,u,...,k，图像区域划分模块将划分后的各子图像以及各子图像对应的编号分别发送至特征提取模块和管理平台；
特征提取模块用于接收图像区域划分模块发送的各子图像以及各子图像对应的编号，对同一子图像进行H(H＝1,2,3,4)次特征提取，得到H层特征子图像，提取同一子图像中的各特征子图像中的f个点，且提取的f个点为不重复的点，并以提取的点为中心，在半径为R的环形区域内提取n个像素点，将提取的像素点与中心点的像素点进行对比，以确定提取n个像素点与该中心点间的特征值，并将各子图像中f个点对应的特征值发送至管理平台；
存储数据库用于事先存储该住户家庭成员对应的训练样本，对家庭成员进行编号设置，分别为1,2,...,z，所述训练样本包括家庭各成员的脸部图像对应的标准融合特征以及各层中各子图像对应的融合特征所占的比重系数，家庭成员的脸部图像划分成k个子图像，每个子图像划分成H层的标准融合特征集合WzH(wzH1,wzH2,...,wzHu,...,wzHk)，wzHu表示为第z个家庭成员中第H层对应的第u个子图像的融合特征，不同层的各子图像对应的融合特征比重系数分别为τzH1,τzH2,...,τzHu,...,τzHk，且
管理平台接收特征提取模块发送的各子图像中G个点对应的特征值，根据同一图像中f个中心点对应的特征值，得到子图像特征值集合PHu(pHu1,pHu2,...,pHuf)，PHu表示为第u个特征子图像的第H层对应的各中心点的特征值，pHuf表示为第u个特征子图像的第H层对应的第f个中心点的特征值，管理平台根据平均值计算公式，统计各特征子图像在各层的平均特征值，平均值计算公式为 表示为第u个特征子图像在第H层的平均特征值，管理平台通过统计的各特征子图像在不同层的平均特征值，构成层平均特征值集合MH表示为第H层中各特征子图像对应的平均特征值；
管理平台接收图像区域划分模块发送的各子图像以及各子图像对应的编号，对接收的各子图像进行划分，划分成若干待检测子图像，对待检测子图像进行轮廓特征提取，并根据各待检测子图像提取的轮廓特征统计各检测子图像对应轮廓幅值特征集合λu，并通过各检测子图像对应轮廓幅值特征集合λu统计由各待检测子图像获得的子图像轮廓特征集合γ(γ1,γ2,...,γu,...,γk)，γu表示为第u个子图像中各待检测子图像对应的轮廓幅值特征累计和，λum表示为第u个子图像中第m个待检测子图像中各像素点累计的梯度幅值，管理平台将各子图像对应的轮廓幅值特征集合分别与各层中与之对应的子图像的特征值进行融合，得到各层融合特征集合QH(qH1,qH2,...,qHu,...,qHk)，qHu表示为第u个子图像对应的轮廓特征值累计和与第H层中的第u个子图像对应的平均特征值融合的特征；
管理平台将获得的各层对应的各子图像的融合特征与存储数据库中存储的各家庭成员在不同层对应的各子图像的融合特征进行逐一对比，得到对比层融合特征集合ΔWzH(ΔwzH1,ΔwzH2,...,ΔwzHu,...,ΔwzHk)，ΔwzHu表示为第H层中第u个子图像的融合特征与第z个家庭成员的第H层中第u个子图像的融合特征的对比情况；管理平台统计采集的图像对应的融合特征与各家庭成员对应的融合特征的匹配度系数 表示为采集图像与第z个家庭成员间的融合特征的匹配度系数，τzHu表示为第z个家庭成员中第H层对应的第u个子图像融合特征的比重系数，并将获得的融合特征的匹配系数与设定的融合特征匹配系数阈值进行对比，若小于设定的融合特征匹配系数阈值，则不发送控制指令至执行控制模块，反之，则发送门开启控制指令至执行控制模块；
执行控制模块用于接收管理平台发送的门开启控制指令，对门进行开启控制。
进一步地，所述人员检测模块包括计时统计单元和红外检测单元，所述红外检测单元，采用红外检测装置，用于检测门外是否有人，并将检测到有人的信息发送至处理器；计时统计单元为计时器，用于累计门外人员停留的时间，并将累计的时间发送至处理器；
进一步地，所述特征提取的方法，包括以下步骤：
S1、对各个子图像进行H次特征提取，得到各子图像的H层特征子图像；
S2、依次提取第一层中第u个特征子图像中的某一点作为中心点，记为AHu(xHu,yHu)；
S3、以该点为中心，在半径为R的环形区域内，均匀提取n个像素点；
S4、判断n个像素点的灰度值是否大于该中心点AHu的灰度值，若n个像素点中有一个或多个像素点的灰度值大于中心点AHu的灰度值，则取灰度值大于中心点AHu的像素点的权重系数为1，反之，则取0，并根据特征值计算公式，统计第H层特征子图像上各像素点到该点处的特征值，所述特征值计算公式为gHui表示为第H层中的第u个特征子图像的中心点的灰度值，gHi表示为第H层中第u个特征子图像中半径为R的环形区域内第i个像素点的灰度值，sf(gHui-gHu)表示为第H层中第u个特征子图像中半径为R的环形区域内第i个像素点到中心点的灰度值变化对应的权重系数，f表示提取作为中心点的像素点的次数；
S5、重新提取该特征子图像中的另一点，并重复步骤S3和S4，直至重复提取的次数等于f，且重新提取的子图像中的点为未提取的子图像中的点；
S6、取u＝u+1，重复执行步骤S3-S5,直至u等于k；
S7、特征子图像的层数加1，重复步骤S3-S6，直至获得H层特征子图像中的各特征子图像的特征值。
进一步地，H次特征子图像中各特征子图像中提取的点的位置坐标相同，获得不同层特征子图像中同一位置处的特征值。
进一步地，所述轮廓特征提取的方法，包括以下步骤：
L1、对各子图像进行划分，分别划分成m个待检测子图像；
L2、分别从各子图像中的各待测子图像上提取像素点，并提取各待检测子图像中像素点的灰度值，统计像素点的梯度方向β和梯度幅值ψ,β(xm,ym)＝arctan(I(xm,ym+1)-I(xm,ym-1))/(I(xm+1,ym)-I(xm-1,ym))，I(xm,ym)表示为第m个待检测子图像中某一像素点的像素值；
L3、将同一待检测子图像中360°均匀划分成B个区间,各区间的角度范围依次进行编号分别为1,2,...,B，各编号对应的角度范围分别为
L4、依次判断各待测子图像中的各像素点的梯度方向和梯度幅值，将同一区间内的像素点的梯度幅值进行累计，得到同一区间内的累计梯度幅值；
L5、将获得的各子图像中的各待检测子图像在不同区间内的累计梯度幅值构成轮廓幅值特征集合λu(λu1,λu2,...,λum)，λum表示为第u个子图像中第m个待检测子图像中各像素点累计的梯度幅值。
进一步地，若第H层中第u个子图像的融合特征与第z个家庭成员的第H层中第u个子图像的融合特征的相同，则ΔwzHu取1，反之，则取0。
进一步地，所述执行控制模块包括上电控制单元、处理单元、电源单元、电磁铁、门铁芯和伸缩弹簧，处理单元分别与上电控制单元、管理平台连接，上电控制单元通过电源单元与电磁铁连接，电磁铁通电后与门铁芯一端连接，门铁芯另一端与伸缩弹簧连接。
进一步地，当管理平台发送门开启控制指令至执行控制模块中的处理单元时，处理单元接收门开启控制指令并发送断电控制指令至上电控制单元，上电控制单元控制电源单元停止继续为电磁铁供电，使得电磁铁失去磁性，门铁芯在伸缩弹簧的作用下，将门铁芯从与电磁铁连接状态，切换成断开状态。
本发明的有益效果：
本发明提供的基于人员图像识别的房门智能开启系统，通过处理器并结合人员检测模块和门状态检测模块，判断门关闭状态下，是否有人在门外，并控制图像采集模块对门外人员进行图像采集，同时，经过图像预处理模块将采集的图像转换成灰度图像，为后期人员特征的提取、识别提供可靠的图像基础；
通过图像区域划分模块进行图像的划分，并通过特征提取模块对划分的图像进行多层次的特征提取，以提高特征提取的准确性和层次性，为后期特征的融合提供可靠的多层次特征提取的基础，具有准确性高的特点；
另外，通过管理平台对图像中的轮廓特征进行提取，便于对采集人脸图像中的轮廓进行提取，提高了轮廓特征提取的准确性，并将提取的轮廓特征与各多层次的特征进行融合，融合的特征与存储的各家庭成员的融合特征进行匹配度系数的统计，根据匹配度系数确定是否开启门，实现了对门的智能化控制，且提高了对图像分析、对比的准确性，提高了人脸识别的准确性，便于对门进行智能化开启控制。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明中一种基于人脸图像识别的房门智能开启系统的示意图；
图2为本发明执行控制模块的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，一种基于人脸图像识别的房门智能开启系统，包括人员检测模块、亮度采集与调控模块、图像采集模块、图像预处理模块、图像区域划分模块、特征提取模块、存储数据库、处理器、管理平台、门状态检测模块和执行控制模块；
处理器分别与人员检测模块、门状态检测模块、亮度采集与调控模块、图像采集模块连接，图像采集模块通过图像预处理模块与图像区域划分模块连接，图像区域划分模块分别与特征提取模块和管理平台连接，管理平台分别与特征提取模块、存储数据库和执行控制模块连接；
人员检测模块安装在住户门上，用于检测房门外是否有人，并检测人员停留在房门处的时间，并将检测的是否有人以及停留的时间发送至处理器；所述人员检测模块包括计时统计单元和红外检测单元，所述红外检测单元，采用红外检测装置，用于检测门外是否有人，并将检测到有人的信息发送至处理器；计时统计单元为计时器，用于累计门外人员停留的时间，并将累计的时间发送至处理器；
门状态检测模块用于实时检测门的状态信息，并将检测的门状态信息发送至处理器，所述门状态信息包括门打开状态和门关闭状态。
亮度采集与调控模块用于采集门外的亮度信息，并将采集的亮度信息发送至处理器，同时，接收处理器发送的亮度调控指令，进行亮度调节，并将调节后的亮度信息反馈至处理器；
处理器接收门状态检测模块发送的门状态信息，若门处于关闭状态，则处理器接收人员检测模块发送的门外是否有人信号，若门外有人，则处理器发送计时控制指令至人员检测模块中的计时统计单元，并接收反馈的门外人员停留的时间，判断人员停留的时间是否超过设定的时间阈值，若超过设定的时间阈值，则处理器发送控制指令至亮度采集与调控模块，同时，接收亮度采集与调控模块反馈的亮度信息，并将反馈的亮度信息与设定的亮度阈值进行对比，若大于设定的亮度阈值，则处理器不发送亮度调控指令至亮度采集与调控模块，若小于设定的亮度阈值，则处理器发送亮度调控指令至亮度采集与调控模块，直至亮度采集与调控模块反馈的亮度信息大于设定的亮度阈值，一旦亮度信息大于设定的亮度阈值，则处理器发送控制指令至图像采集模块；
图像采集模块用于对人脸的图像进行采集，并将采集的人脸图像发送至图像预处理模块；
图像预处理模块用于接收图像采集模块发送的人脸图像信息，并对接收的人脸图像进行预处理，预处理后的人脸图像信息发送至图像区域划分模块，所述预处理用于对人脸图像的背景和亮度进行处理，转换成灰度图像；
图像区域划分模块用于对图像预处理模块发送的图像预处理后的图像信息，并对接收的处理后的人脸图像进行划分，划分成若干子图像，对各子图像按照各子图像按照设定的顺序进行排列，分别为1,2,...,u,...,k，图像区域划分模块将划分后的各子图像以及各子图像对应的编号分别发送至特征提取模块和管理平台；
特征提取模块用于接收图像区域划分模块发送的各子图像以及各子图像对应的编号，对同一子图像进行H(H＝1,2,3,4)次特征提取，得到H层特征子图像，提取同一子图像中的各特征子图像中的f个点，且提取的f个点为不重复的点，并以提取的点为中心，在半径为R的环形区域内提取n个像素点，将提取的像素点与中心点的像素点进行对比，以确定提取n个像素点与该中心点间的特征值，并将各子图像中f个点对应的特征值发送至管理平台；
所述特征提取的方法，包括以下步骤：
S1、对各个子图像进行H次特征提取，得到各子图像的H层特征子图像；
S2、依次提取第一层中第u个特征子图像中的某一点作为中心点，记为AHu(xHu,yHu)；
S3、以该点为中心，在半径为R的环形区域内，均匀提取n个像素点；
S4、判断n个像素点的灰度值是否大于该中心点AHu的灰度值，若n个像素点中有一个或多个像素点的灰度值大于中心点AHu的灰度值，则取灰度值大于中心点AHu的像素点的权重系数为1，反之，则取0，并根据特征值计算公式，统计第H层特征子图像上各像素点到该点处的特征值，所述特征值计算公式为gHui表示为第H层中的第u个特征子图像的中心点的灰度值，gHi表示为第H层中第u个特征子图像中半径为R的环形区域内第i个像素点的灰度值，sf(gHui-gHu)表示为第H层中第u个特征子图像中半径为R的环形区域内第i个像素点到中心点的灰度值变化对应的权重系数，f表示提取作为中心点的像素点的次数；
S5、重新提取该特征子图像中的另一点，并重复步骤S3和S4，直至重复提取的次数等于f，且重新提取的子图像中的点为未提取的子图像中的点；
S6、取u＝u+1，重复执行步骤S3-S5,直至u等于k；
S7、特征子图像的层数加1，重复步骤S3-S6，直至获得H层特征子图像中的各特征子图像的特征值。
H次特征子图像中各特征子图像中提取的点的位置坐标相同，获得不同层特征子图像中同一位置处的特征值。
存储数据库用于事先存储该住户家庭成员对应的训练样本，对家庭成员进行编号设置，分别为1,2,...,z，所述训练样本包括家庭各成员的脸部图像对应的标准融合特征以及各层中各子图像对应的融合特征所占的比重系数，家庭成员的脸部图像划分成k个子图像，每个子图像划分成H层的标准融合特征集合WzH(wzH1,wzH2,...,wzHu,...,wzHk)，wzHu表示为第z个家庭成员中第H层对应的第u个子图像的融合特征，不同层的各子图像对应的融合特征比重系数分别为τzH1,τzH2,...,τzHu,...,τzHk，且
管理平台接收特征提取模块发送的各子图像中G个点对应的特征值，根据同一图像中f个中心点对应的特征值，得到子图像特征值集合PHu(pHu1,pHu2,...,pHuf)，PHu表示为第u个特征子图像的第H层对应的各中心点的特征值，pHuf表示为第u个特征子图像的第H层对应的第f个中心点的特征值，管理平台根据平均值计算公式，统计各特征子图像在各层的平均特征值，平均值计算公式为 表示为第u个特征子图像在第H层的平均特征值，管理平台通过统计的各特征子图像在不同层的平均特征值，构成层平均特征值集合MH表示为第H层中各特征子图像对应的平均特征值；
管理平台接收图像区域划分模块发送的各子图像以及各子图像对应的编号，对接收的各子图像进行划分，划分成若干待检测子图像，对待检测子图像进行轮廓特征提取，并根据各待检测子图像提取的轮廓特征统计各检测子图像对应轮廓幅值特征集合λu，并通过各检测子图像对应轮廓幅值特征集合λu统计由各待检测子图像获得的子图像轮廓特征集合γ(γ1,γ2,...,γu,...,γk)，γu表示为第u个子图像中各待检测子图像对应的轮廓幅值特征累计和，λum表示为第u个子图像中第m个待检测子图像中各像素点累计的梯度幅值，管理平台将各子图像对应的轮廓幅值特征集合分别与各层中与之对应的子图像的特征值进行融合，得到各层融合特征集合QH(qH1,qH2,...,qHu,...,qHk)，qHu表示为第u个子图像对应的轮廓特征值累计和与第H层中的第u个子图像对应的平均特征值融合的特征。
管理平台将获得的各层对应的各子图像的融合特征与存储数据库中存储的各家庭成员在不同层对应的各子图像的融合特征进行逐一对比，得到对比层融合特征集合ΔWzH(ΔwzH1,ΔwzH2,...,ΔwzHu,...,ΔwzHk)，ΔwzHu表示为第H层中第u个子图像的融合特征与第z个家庭成员的第H层中第u个子图像的融合特征的对比情况，若第H层中第u个子图像的融合特征与第z个家庭成员的第H层中第u个子图像的融合特征的相同，则ΔwzHu取1，反之，则取0；管理平台统计采集的图像对应的融合特征与各家庭成员对应的融合特征的匹配度系数 表示为采集图像与第z个家庭成员间的融合特征的匹配度系数，τzHu表示为第z个家庭成员中第H层对应的第u个子图像融合特征的比重系数，并将获得的融合特征的匹配系数与设定的融合特征匹配系数阈值进行对比，若小于设定的融合特征匹配系数阈值，则不发送控制指令至执行控制模块，反之，则发送门开启控制指令至执行控制模块；
其中，所述轮廓特征提取的方法，包括以下步骤：
L1、对各子图像进行划分，分别划分成m个待检测子图像；
L2、分别从各子图像中的各待测子图像上提取像素点，并提取各待检测子图像中像素点的灰度值，统计像素点的梯度方向β和梯度幅值ψ,β(xm,ym)＝arctan(I(xm,ym+1)-I(xm,ym-1))/(I(xm+1,ym)-I(xm-1,ym))，I(xm,ym)表示为第m个待检测子图像中某一像素点的像素值；
L3、将同一待检测子图像中360°均匀划分成B个区间,各区间的角度范围依次进行编号分别为1,2,...,B，各编号对应的角度范围分别为
L4、依次判断各待测子图像中的各像素点的梯度方向和梯度幅值，将同一区间内的像素点的梯度幅值进行累计，得到同一区间内的累计梯度幅值；
L5、将获得的各子图像中的各待检测子图像在不同区间内的累计梯度幅值构成轮廓幅值特征集合λu(λu1,λu2,...,λum)，λum表示为第u个子图像中第m个待检测子图像中各像素点累计的梯度幅值。
如图2所示，执行控制模块用于接收管理平台发送的门开启控制指令，对门进行开启控制，实现门的开启，所述执行控制模块包括上电控制单元、处理单元、电源单元、电磁铁、门铁芯和伸缩弹簧，处理单元分别与上电控制单元、管理平台连接，上电控制单元通过电源单元与电磁铁连接，电磁铁通电后与门铁芯一端连接，门铁芯另一端与伸缩弹簧连接。
当管理平台发送门开启控制指令至执行控制模块中的处理单元时，处理单元接收门开启控制指令并发送断电控制指令至上电控制单元，上电控制单元控制电源单元停止继续为电磁铁供电，使得电磁铁失去磁性，门铁芯在伸缩弹簧的作用下，将门铁芯从与电磁铁连接状态，切换成断开状态，实现门的智能开启。
本发明提供的基于人员图像识别的房门智能开启系统，通过处理器并结合人员检测模块和门状态检测模块，判断门关闭状态下，是否有人在门外，并控制图像采集模块对门外人员进行图像采集，同时，经过图像预处理模块将采集的图像转换成灰度图像，为后期人员特征的提取、识别提供可靠的图像基础；
通过图像区域划分模块进行图像的划分，并通过特征提取模块对划分的图像进行多层次的特征提取，以提高特征提取的准确性和层次性，为后期特征的融合提供可靠的多层次特征提取的基础，具有准确性高的特点；
另外，通过管理平台对图像中的轮廓特征进行提取，便于对采集人脸图像中的轮廓进行提取，提高了轮廓特征提取的准确性，并将提取的轮廓特征与各多层次的特征进行融合，融合的特征与存储的各家庭成员的融合特征进行匹配度系数的统计，根据匹配度系数确定是否开启门，实现了对门的智能化控制，且提高了对图像分析、对比的准确性，提高了人脸识别的准确性，便于对门进行智能化开启控制。
以上内容仅仅是对本发明的构思所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的构思或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (8)

1.一种基于人脸图像识别的房门智能开启系统，其特征在于：包括人员检测模块、亮度采集与调控模块、图像采集模块、图像预处理模块、图像区域划分模块、特征提取模块、存储数据库、处理器、管理平台、门状态检测模块和执行控制模块；
处理器分别与人员检测模块、门状态检测模块、亮度采集与调控模块、图像采集模块连接，图像采集模块通过图像预处理模块与图像区域划分模块连接，图像区域划分模块分别与特征提取模块和管理平台连接，管理平台分别与特征提取模块、存储数据库和执行控制模块连接；
人员检测模块安装在住户门上，用于检测房门外是否有人，并检测人员停留在房门处的时间，并将检测的是否有人以及停留的时间发送至处理器；
门状态检测模块用于实时检测门的状态信息，并将检测的门状态信息发送至处理器，所述门状态信息包括门打开状态和门关闭状态；
亮度采集与调控模块用于采集门外的亮度信息，并将采集的亮度信息发送至处理器，同时，接收处理器发送的亮度调控指令，进行亮度调节，并将调节后的亮度信息反馈至处理器；
处理器接收门状态检测模块发送的门状态信息，若门处于关闭状态，则处理器接收人员检测模块发送的门外是否有人信号，若门外有人，则处理器发送计时控制指令至人员检测模块中的计时统计单元，并接收反馈的门外人员停留的时间，判断人员停留的时间是否超过设定的时间阈值，若超过设定的时间阈值，则处理器发送控制指令至亮度采集与调控模块，同时，接收亮度采集与调控模块反馈的亮度信息，并将反馈的亮度信息与设定的亮度阈值进行对比，若大于设定的亮度阈值，则处理器不发送亮度调控指令至亮度采集与调控模块，若小于设定的亮度阈值，则处理器发送亮度调控指令至亮度采集与调控模块，直至亮度采集与调控模块反馈的亮度信息大于设定的亮度阈值，一旦亮度信息大于设定的亮度阈值，则处理器发送控制指令至图像采集模块；
图像采集模块用于对人脸的图像进行采集，并将采集的人脸图像发送至图像预处理模块；
图像预处理模块用于接收图像采集模块发送的人脸图像信息，并对接收的人脸图像进行预处理，预处理后的人脸图像信息发送至图像区域划分模块，所述预处理用于对人脸图像的背景和亮度进行处理，转换成灰度图像；
图像区域划分模块用于对图像预处理模块发送的图像预处理后的图像信息，并对接收的处理后的人脸图像进行划分，划分成若干子图像，对各子图像按照各子图像按照设定的顺序进行排列，分别为1,2,...,u,...,k，图像区域划分模块将划分后的各子图像以及各子图像对应的编号分别发送至特征提取模块和管理平台；
特征提取模块用于接收图像区域划分模块发送的各子图像以及各子图像对应的编号，对同一子图像进行H(H＝1,2,3,4)次特征提取，得到H层特征子图像，提取同一子图像中的各特征子图像中的f个点，且提取的f个点为不重复的点，并以提取的点为中心，在半径为R的环形区域内提取n个像素点，将提取的像素点与中心点的像素点进行对比，以确定提取n个像素点与该中心点间的特征值，并将各子图像中f个点对应的特征值发送至管理平台；
存储数据库用于事先存储该住户家庭成员对应的训练样本，对家庭成员进行编号设置，分别为1,2,...,z，所述训练样本包括家庭各成员的脸部图像对应的标准融合特征以及各层中各子图像对应的融合特征所占的比重系数，家庭成员的脸部图像划分成k个子图像，每个子图像划分成H层的标准融合特征集合WzH(wzH1,wzH2,...,wzHu,...,wzHk)，wzHu表示为第z个家庭成员中第H层对应的第u个子图像的融合特征，不同层的各子图像对应的融合特征比重系数分别为τzH1,τzH2,...,τzHu,...,τzHk，且
管理平台接收特征提取模块发送的各子图像中G个点对应的特征值，根据同一图像中f个中心点对应的特征值，得到子图像特征值集合PHu(pHu1,pHu2,...,pHuf)，PHu表示为第u个特征子图像的第H层对应的各中心点的特征值，pHuf表示为第u个特征子图像的第H层对应的第f个中心点的特征值，管理平台根据平均值计算公式，统计各特征子图像在各层的平均特征值，平均值计算公式为 表示为第u个特征子图像在第H层的平均特征值，管理平台通过统计的各特征子图像在不同层的平均特征值，构成层平均特征值集合MH表示为第H层中各特征子图像对应的平均特征值；
管理平台接收图像区域划分模块发送的各子图像以及各子图像对应的编号，对接收的各子图像进行划分，划分成若干待检测子图像，对待检测子图像进行轮廓特征提取，并根据各待检测子图像提取的轮廓特征统计各检测子图像对应轮廓幅值特征集合λu，并通过各检测子图像对应轮廓幅值特征集合λu统计由各待检测子图像获得的子图像轮廓特征集合γ(γ1,γ2,...,γu,...,γk)，γu表示为第u个子图像中各待检测子图像对应的轮廓幅值特征累计和，λum表示为第u个子图像中第m个待检测子图像中各像素点累计的梯度幅值，管理平台将各子图像对应的轮廓幅值特征集合分别与各层中与之对应的子图像的特征值进行融合，得到各层融合特征集合QH(qH1,qH2,...,qHu,...,qHk)，qHu表示为第u个子图像对应的轮廓特征值累计和与第H层中的第u个子图像对应的平均特征值融合的特征；
管理平台将获得的各层对应的各子图像的融合特征与存储数据库中存储的各家庭成员在不同层对应的各子图像的融合特征进行逐一对比，得到对比层融合特征集合ΔWzH(ΔwzH1,ΔwzH2,...,ΔwzHu,...,ΔwzHk)，ΔwzHu表示为第H层中第u个子图像的融合特征与第z个家庭成员的第H层中第u个子图像的融合特征的对比情况；管理平台统计采集的图像对应的融合特征与各家庭成员对应的融合特征的匹配度系数 表示为采集图像与第z个家庭成员间的融合特征的匹配度系数，τzHu表示为第z个家庭成员中第H层对应的第u个子图像融合特征的比重系数，并将获得的融合特征的匹配系数与设定的融合特征匹配系数阈值进行对比，若小于设定的融合特征匹配系数阈值，则不发送控制指令至执行控制模块，反之，则发送门开启控制指令至执行控制模块；
执行控制模块用于接收管理平台发送的门开启控制指令，对门进行开启控制。
2.根据权利要求1所述的一种基于人脸图像识别的房门智能开启系统，其特征在于：所述人员检测模块包括计时统计单元和红外检测单元，所述红外检测单元，采用红外检测装置，用于检测门外是否有人，并将检测到有人的信息发送至处理器；计时统计单元为计时器，用于累计门外人员停留的时间，并将累计的时间发送至处理器。
3.根据权利要求1所述的一种基于人脸图像识别的房门智能开启系统，其特征在于：所述特征提取的方法，包括以下步骤：
S1、对各个子图像进行H次特征提取，得到各子图像的H层特征子图像；
S2、依次提取第一层中第u个特征子图像中的某一点作为中心点，记为AHu(xHu,yHu)；
S3、以该点为中心，在半径为R的环形区域内，均匀提取n个像素点；
S4、判断n个像素点的灰度值是否大于该中心点AHu的灰度值，若n个像素点中有一个或多个像素点的灰度值大于中心点AHu的灰度值，则取灰度值大于中心点AHu的像素点的权重系数为1，反之，则取0，并根据特征值计算公式，统计第H层特征子图像上各像素点到该点处的特征值，所述特征值计算公式为gHui表示为第H层中的第u个特征子图像的中心点的灰度值，gHi表示为第H层中第u个特征子图像中半径为R的环形区域内第i个像素点的灰度值，sf(gHui-gHu)表示为第H层中第u个特征子图像中半径为R的环形区域内第i个像素点到中心点的灰度值变化对应的权重系数，f表示提取作为中心点的像素点的次数；
S5、重新提取该特征子图像中的另一点，并重复步骤S3和S4，直至重复提取的次数等于f，且重新提取的子图像中的点为未提取的子图像中的点；
S6、取u＝u+1，重复执行步骤S3-S5,直至u等于k；
S7、特征子图像的层数加1，重复步骤S3-S6，直至获得H层特征子图像中的各特征子图像的特征值。
4.根据权利要求1所述的一种基于人脸图像识别的房门智能开启系统，其特征在于：H次特征子图像中各特征子图像中提取的点的位置坐标相同，获得不同层特征子图像中同一位置处的特征值。
5.根据权利要求1所述的一种基于人脸图像识别的房门智能开启系统，其特征在于：所述轮廓特征提取的方法，包括以下步骤：
L1、对各子图像进行划分，分别划分成m个待检测子图像；
L2、分别从各子图像中的各待测子图像上提取像素点，并提取各待检测子图像中像素点的灰度值，统计像素点的梯度方向β和梯度幅值ψ,β(xm,ym)＝arctan(I(xm,ym+1)-I(xm,ym-1))/(I(xm+1,ym)-I(xm-1,ym))，I(xm,ym)表示为第m个待检测子图像中某一像素点的像素值；
L3、将同一待检测子图像中360°均匀划分成B个区间,各区间的角度范围依次进行编号分别为1,2,...,B，各编号对应的角度范围分别为
L4、依次判断各待测子图像中的各像素点的梯度方向和梯度幅值，将同一区间内的像素点的梯度幅值进行累计，得到同一区间内的累计梯度幅值；
L5、将获得的各子图像中的各待检测子图像在不同区间内的累计梯度幅值构成轮廓幅值特征集合λu(λu1,λu2,...,λum)，λum表示为第u个子图像中第m个待检测子图像中各像素点累计的梯度幅值。
6.根据权利要求1所述的一种基于人脸图像识别的房门智能开启系统，其特征在于：若第H层中第u个子图像的融合特征与第z个家庭成员的第H层中第u个子图像的融合特征的相同，则ΔwzHu取1，反之，则取0。
7.根据权利要求1所述的一种基于人脸图像识别的房门智能开启系统，其特征在于：所述执行控制模块包括上电控制单元、处理单元、电源单元、电磁铁、门铁芯和伸缩弹簧，处理单元分别与上电控制单元、管理平台连接，上电控制单元通过电源单元与电磁铁连接，电磁铁通电后与门铁芯一端连接，门铁芯另一端与伸缩弹簧连接。
8.根据权利要求7所述的一种基于人脸图像识别的房门智能开启系统，其特征在于：当管理平台发送门开启控制指令至执行控制模块中的处理单元时，处理单元接收门开启控制指令并发送断电控制指令至上电控制单元，上电控制单元控制电源单元停止继续为电磁铁供电，使得电磁铁失去磁性，门铁芯在伸缩弹簧的作用下，将门铁芯从与电磁铁连接状态，切换成断开状态。
CN201811405512.0A 2018-11-23 2018-11-23 一种基于人脸图像识别的房门智能开启系统 Expired - Fee Related CN109377624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811405512.0A CN109377624B (zh) 2018-11-23 2018-11-23 一种基于人脸图像识别的房门智能开启系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811405512.0A CN109377624B (zh) 2018-11-23 2018-11-23 一种基于人脸图像识别的房门智能开启系统

Publications (2)

Publication Number Publication Date
CN109377624A true CN109377624A (zh) 2019-02-22
CN109377624B CN109377624B (zh) 2020-09-08

Family

ID=65382795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811405512.0A Expired - Fee Related CN109377624B (zh) 2018-11-23 2018-11-23 一种基于人脸图像识别的房门智能开启系统

Country Status (1)

Country Link
CN (1) CN109377624B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189447A (zh) * 2019-05-31 2019-08-30 安徽柏络智能科技有限公司 一种基于人脸身份识别的智慧社区闸机控制系统
CN110186166A (zh) * 2019-05-31 2019-08-30 宁波奥克斯电气股份有限公司 空调舒适性控制方法、控制装置及空调
CN111198549A (zh) * 2020-02-18 2020-05-26 陈文翔 一种基于大数据的家禽养殖监测管理系统
CN112186760A (zh) * 2020-09-30 2021-01-05 重庆一厂科技有限公司 一种用于网约房的供电控制系统及方法
CN112866541A (zh) * 2019-11-12 2021-05-28 宏碁股份有限公司 装置控制方法与电子装置
CN116092577A (zh) * 2023-01-09 2023-05-09 中国海洋大学 一种基于多源异质信息聚合的蛋白质功能预测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250858A (zh) * 2016-08-05 2016-12-21 重庆中科云丛科技有限公司 一种融合多种人脸识别算法的识别方法及系统
CN106682641A (zh) * 2017-01-05 2017-05-17 北京细推科技有限公司 基于fhog‑lbph特征的图像行人识别方法
CN106887059A (zh) * 2017-01-18 2017-06-23 华南农业大学 一种基于面部识别的智能电子门锁系统
CN107016755A (zh) * 2017-03-24 2017-08-04 新疆习美人工智能科技有限公司 一种门禁装置及快速人脸识别认证通行方法
CN107072016A (zh) * 2017-06-13 2017-08-18 安徽讯桥信息科技有限公司 一种楼宇公共区域的照明控制系统
CN107578007A (zh) * 2017-09-01 2018-01-12 杭州电子科技大学 一种基于多特征融合的深度学习人脸识别方法
CN108053522A (zh) * 2016-11-18 2018-05-18 广西大学 一种智能门控系统
CN108388920A (zh) * 2018-03-01 2018-08-10 福州大学 一种融合hog和lbph特征的身份证复印件检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250858A (zh) * 2016-08-05 2016-12-21 重庆中科云丛科技有限公司 一种融合多种人脸识别算法的识别方法及系统
CN108053522A (zh) * 2016-11-18 2018-05-18 广西大学 一种智能门控系统
CN106682641A (zh) * 2017-01-05 2017-05-17 北京细推科技有限公司 基于fhog‑lbph特征的图像行人识别方法
CN106887059A (zh) * 2017-01-18 2017-06-23 华南农业大学 一种基于面部识别的智能电子门锁系统
CN107016755A (zh) * 2017-03-24 2017-08-04 新疆习美人工智能科技有限公司 一种门禁装置及快速人脸识别认证通行方法
CN107072016A (zh) * 2017-06-13 2017-08-18 安徽讯桥信息科技有限公司 一种楼宇公共区域的照明控制系统
CN107578007A (zh) * 2017-09-01 2018-01-12 杭州电子科技大学 一种基于多特征融合的深度学习人脸识别方法
CN108388920A (zh) * 2018-03-01 2018-08-10 福州大学 一种融合hog和lbph特征的身份证复印件检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
万源等: "LBP和HOG的分层特征融合的人脸识别", 《计算机辅助设计与图形学学报》 *
高聪等: "局部HOG和分层LBP特征融合的车牌字符识别", 《计算机系统应用》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189447A (zh) * 2019-05-31 2019-08-30 安徽柏络智能科技有限公司 一种基于人脸身份识别的智慧社区闸机控制系统
CN110186166A (zh) * 2019-05-31 2019-08-30 宁波奥克斯电气股份有限公司 空调舒适性控制方法、控制装置及空调
CN112866541A (zh) * 2019-11-12 2021-05-28 宏碁股份有限公司 装置控制方法与电子装置
CN111198549A (zh) * 2020-02-18 2020-05-26 陈文翔 一种基于大数据的家禽养殖监测管理系统
CN111198549B (zh) * 2020-02-18 2020-11-06 湖南伟业动物营养集团股份有限公司 一种基于大数据的家禽养殖监测管理系统
CN112186760A (zh) * 2020-09-30 2021-01-05 重庆一厂科技有限公司 一种用于网约房的供电控制系统及方法
CN116092577A (zh) * 2023-01-09 2023-05-09 中国海洋大学 一种基于多源异质信息聚合的蛋白质功能预测方法
CN116092577B (zh) * 2023-01-09 2024-01-05 中国海洋大学 一种基于多源异质信息聚合的蛋白质功能预测方法

Also Published As

Publication number Publication date
CN109377624B (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN109377624A (zh) 一种基于人脸图像识别的房门智能开启系统
CN101763671B (zh) 通过使用摄像机来监控人的系统
CN208314931U (zh) 电力安全工器具管理系统
CN110189447B (zh) 一种基于人脸身份识别的智慧社区闸机控制系统
CN108648310A (zh) 一种双重认证的人脸识别门禁系统及其应用方法
CN205210991U (zh) 基于二代身份证与人脸识别的门禁系统
CN206162736U (zh) 一种基于人脸识别的门禁系统
CN202134021U (zh) 井口安全检查设备
CN110276320A (zh) 基于人脸识别的门禁方法、装置、设备和存储介质
CN107798308A (zh) 一种基于短视频训练法的人脸识别方法
CN107274529A (zh) 一种智能社区门禁系统
CN110490126A (zh) 一种基于人工智能的保险柜安全管控系统
CN108615286A (zh) 一种小区智能管理方法和系统
CN106529258A (zh) 移动设备的安全管理方法及系统
Pan Research and implementation of access control system based on RFID and FNN-face recognition
CN104658083A (zh) 智能门锁控制系统及其工作方法
CN107895421A (zh) 一种智能门禁系统
CN109147123A (zh) 门禁锁的解锁方法、装置、电子设备和计算机存储介质
CN107452110A (zh) 一种小区门禁的自动管理控制系统
CN115063921B (zh) 一种工地智能闸机系统及搭建方法
CN207752551U (zh) 智能人脸识别门禁一体机
CN107705393A (zh) 金库门禁系统
CN208421928U (zh) 一种开锁系统
Keerthana et al. AI enabled smart surveillance system
CN106372486A (zh) 一种鼠标、面部识别系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200811

Address after: Room 4D, 4 / F, building 8, phase II, Nanshan Yungu Pioneer Park, No.2 Pingshan 1st Road, Pingshan community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong Province

Applicant after: Shenzhen baochengtong Technology Development Co.,Ltd.

Address before: 521000 No. 29 Xinyang new lane, Chen Qiao village, Feng Xin Street, Xiangqiao District, Chaozhou, Guangdong.

Applicant before: Lu Weitao

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200908