CN110598648B - 视频人脸检测的方法、视频人脸检测单元和系统 - Google Patents

视频人脸检测的方法、视频人脸检测单元和系统 Download PDF

Info

Publication number
CN110598648B
CN110598648B CN201910876665.1A CN201910876665A CN110598648B CN 110598648 B CN110598648 B CN 110598648B CN 201910876665 A CN201910876665 A CN 201910876665A CN 110598648 B CN110598648 B CN 110598648B
Authority
CN
China
Prior art keywords
face detection
module
detection unit
data
wide area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910876665.1A
Other languages
English (en)
Other versions
CN110598648A (zh
Inventor
吕楠
张丽秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Huiyan Artificial Intelligence Technology Co ltd
Original Assignee
Wuxi Huiyan Artificial Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Huiyan Artificial Intelligence Technology Co ltd filed Critical Wuxi Huiyan Artificial Intelligence Technology Co ltd
Priority to CN201910876665.1A priority Critical patent/CN110598648B/zh
Publication of CN110598648A publication Critical patent/CN110598648A/zh
Application granted granted Critical
Publication of CN110598648B publication Critical patent/CN110598648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供一种广域地理范围的人脸检测方法、检测单元和检测系统。所述人脸检测的方法包括如下步骤：在广域范围内划分若干个子区域；每个子区域内部署若干个终端和一个中继节点；每个终端负责拍摄视频并对视频进行人脸检测预识别；每个终端将预识别的人脸数据汇总至同一子区域内的中继节点；不同子区域的中继节点再将人脸数据汇总至汇聚节点；汇聚节点将人脸数据上传至云服务器；云服务器进行人脸深度识别和分析。本发明提供的方法和系统可以减少数据传输的带宽和电能的使用量，尤其是针对室外的广域范围，本发明的方法和系统可以准确地获取客流数据及其他客流的信息。

Description

视频人脸检测的方法、视频人脸检测单元和系统
技术领域
本发明大致涉及视频处理技术和无线通信领域，尤其涉及一种视频实时人脸检测方法和无线传输图片策略。
背景技术
随着以大数据、云计算、人工智能技术为主的数据时代到来，人脸检测技术在安防监控、人证比对、人机交互、社交等领域都有重要的应用价值。人脸检测技术已广泛应用于客流统计领域，通过在图像或者视频流中找到人脸所在的位置及其大小准确获取人的行为和状态，便于数据挖掘和分析，为管理人员的决策提供重要的依据。
当前，基于人脸检测技术的客流统计主要集中在店铺、商场、车站等室内场景，上述区域通常具备完善的通信基础设施，即高带宽、低延迟的网络和可靠的电力供电。摄像机可以将拍摄到的图片直接以有线或无线方式传输至服务器，服务器运行人脸检测算法，从而获取客流信息。如果在公园、景区等区域面积大、人流量密集的室外场景，则受到很大的约束。一方面，室外环境面积大，缺乏可靠、低廉的网络和电力；另一方面，摄像机拍摄到的图片尺寸通常为1080p，单张图片数据量大。导致图片无法实时被传输至服务器，用户无法获取区域内的客流信息，便无法做出科学的决策。
目前，基于人脸检测技术的室外客流统计主要部署在检票口、重要出入口，而剩余的广大室外区域则处于监测空白。为了解决网络问题，通常为每个摄像机配置4G通信模块或部署有线网络，但是这会增加用户成本；或使用室外WIFI，但是这会严重降低传输的可靠性和安全性。为了解决电力问题，通常将设备部署在靠近路灯区域，但这大大限制了摄像头的应用范围。
背景技术部分的内容仅仅是发明人所知晓的技术，并不当然代表本领域的现有技术。
发明内容
针对室外的广域范围的环境不具备高带宽、低延迟的网络和完善的电力供应等特性，用户无法实现获取视频流或图片数据，进而无法获取准确的客流数据的问题，本发明提供一种广域范围的视频人脸检测的方法，包括如下步骤：
在广域范围内划分若干个子区域；
在每个子区域内设置若干个终端和一个中继节点，中继节点管辖同一子区域内的终端节点；
每个终端拍摄视频并进行人脸检测预识别；
每个终端将预识别的人脸数据汇总至同一子区域内的中继节点；
不同子区域的中继节点再将人脸数据汇总至汇聚节点；
汇聚节点将人脸数据上传至云服务器；
云服务器进行人脸深度识别。
现有技术的方法通常是在子区域内设置若干个摄像头，将摄像头拍摄的数据传输至云服务器，本发明的终端不仅包括摄像头的拍摄功能，还对拍摄的照片进行预识别，将需要传输的数据进行过滤筛选，以减小数据传输量，再将数据汇总至云服务器，使从终端到服务器间传输的数据量大幅度减小，减小了带宽的占用，对网络和电力的要求降低，从而降低成本。同时，通过中继节点的传输，使广域范围内的数据传输更有序。
根据本发明的一个方面，终端通过时分多址的技术将预识别的人脸数据汇总至中继节点。同一个子区域内的终端数量比较多，采用时分多址的技术能够较高效地传输图片数据。
根据本发明的一个方面，中继节点通过码分多址的技术将人脸数据汇总至汇聚节点。中继节点的数量较少，但是其传输的数据较多，采用码分多址的技术能够更高效地传输图片数据。
根据本发明的一个方面，终端采用ZigBee协议将预识别的人脸数据汇总至中继节点。
根据本发明的一个方面，中继节点采用ZigBee协议将人脸数据汇总至汇聚节点。
根据本发明的一个方面，汇聚节点采用NB-IoT协议将人脸数据上传至云服务器。
根据本发明的一个方面，所述人脸检测预识别的方法包括对视频流进行采样以获取帧图片，识别图片中是否有人脸，如果识别出人脸，则截取图片中的人脸区域。
对人脸图片进行预识别，将没有人脸的图片过滤掉，再将有人脸的图片区域进行截取，极大地减轻了网络传输的压力。
优选地，所述人脸检测预识别的方法还包括截取图片中的人脸区域后，存储截取的图片。因为广域范围的终端经常会设置在室外，会受到供电的限制，将截取后的图片先存储起来，防止掉电或网络出现问题时造成的数据丢失。
根据本发明的一个方面，所述人脸深度识别的方法包括：将接收到的图片进行人脸校正、人脸特征点定位、人脸特征提取及统计操作。
进行人脸深度识别时，需要较强的算力，不适合在终端进行，因此，终端只需要进行人脸预识别，将不需要的图片筛除，减小网络负载，再在云服务器中进行深度识别，能够更高效地完成数据统计。
本发明还提供一种广域范围的视频人脸检测单元，包括：
若干组终端，一组终端对应广域范围内的一个子区域，同一组的终端分布于同一子区域内，每一组终端均包含若干个终端，同一组的若干个终端与广域范围中的同一个子区域的中继节点通讯连接，用于拍摄图像或视频数据，并进行人脸检测预处理，截取人脸区域数据，将人脸区域数据发送给中继节点、以及接收并执行中继节点的命令；
若干个中继节点，每一个中继节点对应一组终端，并与汇聚节点和所述若干个终端通讯连接，用于接收终端的数据并发送给汇聚节点、接收并执行汇聚节点的命令、以及向终端发送命令；和
一个汇聚节点，与所述中继节点通讯连接，用于接收中继节点的数据并发送给云服务器、接收并执行云服务器的命令、以及向中继节点发送命令。
根据本发明的一个方面，所述汇聚节点和中继节点之间通过有线网络和/无线网络进行数据传输。
优选地，所述汇聚节点和中继节点之间通过ZigBee进行数据传输。
根据本发明的一个方面，所述中继节点和终端之间通过有线网络和/或无线网络进行数据传输。
优选地，所述中继节点和终端之间通过ZigBee进行数据传输。
基于ZigBee协议栈的自组网，能够在整个单元范围内相互通信，用户能够获取到单元范围内中继节点和各终端的信息。
根据本发明的一个方面，所述中继节点采用路由器。
根据本发明的一个方面，所述汇聚节点采用协调器。
根据本发明的一个方面，所述汇聚节点包括CPU模块、存储器模块、电源模块和通信模块，所述CPU模块与存储器模块、电源模块和通信模块连接，电源模块与CPU模块、存储器模块和通信模块连接。电源模块用于给其他各模块提供电源，CPU模块用于处理数据并将数据传输至存储器模块进行保存，通信模块用于发送和接收数据。电源模块通过DC-DC降压后，为汇聚节点的正常运行提供12V电源。
优选地，所述CPU模块采用ARM7系列处理器。
优选地，所述存储器模块包括RAM和FLASH存储器。
优选地，所述通信模块包括云服务器通信模块和中继节点通信模块。
进一步优选地，所述云服务器通信模块采用NB-IoT模块。
进一步优选地，所述中继节点通信模块包括ZigBee通信模块和/或网卡模块。
优选地，所述ZigBee通信模块还包括功率放大器。
根据本发明的一个方面，所述中继节点包括CPU模块、存储器模块、电源模块和通信模块，所述CPU模块与存储器模块、电源模块和通信模块连接，电源模块与CPU模块、存储器模块和通信模块连接。电源模块用于给其他各模块提供电源，CPU模块用于处理数据，并将数据传输至存储器模块进行保存，通信模块用于发送和接收数据。电源模块通过DC-DC降压后，为中继节点的正常运行提供12V电源。
优选地，所述CPU模块采用ARM7系列处理器。
优选地，所述存储器模块包括RAM和FLASH存储器。
优选地，所述通信模块包括ZigBee通信模块和/或网卡模块。
进一步优选地，所述ZigBee通信模块还包括功率放大器。因为中继节点传输到汇聚节点的数据量比较大且中继节点和汇聚节点的距离较远，在ZigBee通信模块内增设功率放大器，能够提高传输的效率。
根据本发明的一个方面，所述终端包括监控模块、CPU模块、存储器模块、通信模块和电源模块，所述CPU模块与监控模块、存储器模块、电源模块和通信模块连接，电源模块与监控模块、CPU模块、存储器模块和通信模块连接。电源模块用于给其他各模块提供电源，监控模块用于采集图像信息，CPU模块用于接收和执行命令、以及进行人脸检测预处理，并将数据传输至存储器模块进行保存，通信模块用于发送和接收数据。电源模块通过DC-DC降压后，为终端的正常运行提供12V电源。
优选地，所述CPU模块采用ARM7系列处理器。
优选地，所述终端每秒分析2张以上的图片；进一步优选地，所述终端每秒分析4.25张图片。
优选地，所述终端进行人脸检测预处理的准确率在90％以上。
进一步优选地，所述终端进行人脸检测预处理的准确率为93.9％。
优选地，所述存储器模块包括RAM和FLASH存储器。
优选地，所述通信模块包括ZigBee通信模块和/或网卡模块。因为终端和中继节点的距离较近，且传输的数据量较小，终端内的ZigBee通信模块不包含功率放大器模块，这不仅能够有效降低设备的成本，还能够降低电量的使用。
在传输时，终端在功率不大的情况下，采用时分多址将数据传输给中继节点，能够避免数据阻塞，使传输的效率更高。而中继节点因为包含了功率放大器，可以采用码分多址将数据传输给汇聚节点，能够避免数据阻塞，使传输的效率提高。
本发明的检测单元采用层次型网络拓扑结构，形成一个多跳的自组网络，终端只与中继节点通信，汇聚节点只与路由器通信。通过这样的网络结构，可以显著扩展自组网的覆盖范围，也可以减少设备之间的传输距离，降低设备的能量消耗。
采用ZigBee通信模块，整个检测单元形成一个自组网络，用户可以通过自组网络的终端、中继节点或汇聚节点进行数据查询和网络控制。在自组网内，通信模式可以为点播、组播和广播。在点播模式下，用户可以实时查询区域内某个中继节点或某个终端的数据。在组播模式下，用户可以实时查询区域内某个中继节点及其所辖的众多终端的数据。在广播模式下，用户可以实时查询区域内所有中继节点或所有终端的数据。
本发明还提供了一种广域范围的视频人脸检测系统，包括：
若干个所述的广域范围的视频人脸检测单元；和
云服务器，与所述的检测单元内的协调器通讯连接，用于接收并处理协调器发来的人脸数据和向汇聚节点发送命令。
根据本发明的一个方面，汇聚节点和云服务器之间通过有线网络和/或无线网络进行数据传输。
优选地，汇聚节点和云服务器之间通过NB-IoT进行数据传输。
ZigBee是一种短距离的传输方式，其最多只能传输1000米，因此ZigBee适用在小范围的检测单元内部进行传输。然而，汇聚节点和云服务器之间的距离非常远，不适用ZigBee传输，本发明之所以设置汇聚节点和云服务器之间通过NB-IoT进行数据传输，是因为NB-IoT是一种长距离的传输方式，能够与距离最近的移动(或联通、电信)基站通信，只要有信号存在的地方，就可以将数据传输到任意地方，且带宽大，可以源源不断地传输大数据，非常适合于传输物联网这种周期性的大数据，且可以将数据云端化，便于后续处理。
但是NB-IoT成本高，且需要向运营商申请办理。因此，检测单元内通过ZigBee将数据汇总至汇聚节点，基于ZigBee的自组网，不需要向运营商申请办理，可以在自组网内自由定义设备的数量，降低子区域内网络设置的成本；汇集了数据的汇聚节点通过NB-IoT技术，使检测单元内的数据云端化，突破了地理范围的限制，极大地扩展了检测单元的使用范围。
本发明的有益效果是：
(1)本发明的终端、中继节点、汇聚节点和云服务器可以兼容多种供电方式，如市电、电池组或太阳能电池板，同时还兼容了多种组网方式，如ZigBee自组网、有线网或无线WIFI，可以适用于室内、室外多种应用场景，且终端、中继节点和汇聚节点具有体积小、可靠性好、安全性高、安装便利等优点。
(2)通过层级的网络连接，可以减少设备间的传输距离，降低设备的能量消耗，扩展网络的覆盖范围。
(3)在终端先进行人脸过滤，只传输人脸区域图片，显著减少了设备间传输的带宽。
(4)使用本发明的终端进行测试，在实际场景下测试了8834张图片。测试结果如表1所示：
事实上为正样本(张) 事实上为负样本(张)
检测为人脸图片 1135 6
未被检测为人脸图片 532 7161
表1检测精度测试结果
准确率可通过以下公式计算得到：
Figure BDA0002204512780000071
其中，Acc表示准确率，TP表示检测出为正样本且实际上也是正样本，FP表示检测出为正样本但事实上是负样本，FN表示检测出为负样本但事实上是正样本，TN表示检测出为负样本且事实上也是负样本。
申请人通过调整算法的参数，使终端每秒处理2张上以上的图片，甚至每秒处理4.25张图片，如图6所示。
可见，本发明的终端人脸识别速率快且准确率高，每个终端每秒可以处理4.25张图片，准确率高达93.9％。
(5)本发明的终端通过层级网络与云服务器进行通讯，用户可以控制网络运行，将命令发送至云服务器，云服务器将命令转发至汇聚节点，汇聚节点解析命令后广播至所有中继节点，中继节点根据汇聚节点的命令控制终端进行工作。除了人脸检测，终端还可以根据用户的配置，切换识别模式如人头检测或人体行为检测等。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是人脸检测系单元的拓扑结构图；
图2是终端的各模块的连接关系图；
图3是中继节点的各模块的连接关系图；
图4是汇聚节点的各模块的连接关系图；
图5是人脸检测系统的拓扑结构图；
图6是终端处理图片运算效率图，横坐标表示使用不同的算法，纵坐标表示每秒处理图片的数量(单位：张)。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接:可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
作为本发明的第一种实施方式，展示了一种广域范围内的人脸检测单元，包括若干组终端，若干个路由器和一个协调器。如图1所示，广域范围内有N个子区域，分别为Area1，Area2，...，AreaN，图中的Terminal表示终端，Router表示路由器，Coordinator表示协调器。一组终端对应广域范围内的一个子区域，同一组的终端分布于同一子区域内，每一组终端均包含若干个终端，同一组的若干个终端与广域范围中的同一个子区域的路由器通讯连接，用于拍摄视频数据，并进行人脸检测预处理，截取人脸区域数据，将人脸区域数据发送给路由器、以及接收并执行路由器的命令。每一个路由器管辖一组终端，并与协调器和若干个终端通讯连接，用于接收终端的数据并发送给协调器、接收并执行协调器的命令、以及向终端发送命令。协调器与路由器通讯连接，用于接收路由器的数据并发送给云服务器、接收并执行云服务器的命令、以及向路由器发送命令。
如图2所示，终端包括监控模块、CPU模块、存储器模块、通信模块和电源模块，CPU模块与监控模块、存储器模块、电源模块和通信模块连接，电源模块与监控模块、CPU模块、存储器模块和通信模块连接。电源模块用于给其他各模块提供电源，监控模块用于采集图像信息，CPU模块用于接收和执行命令、以及进行人脸检测预处理，并将数据传输至存储器模块进行保存，通信模块用于发送和接收数据。电源模块通过DC-DC降压后，为终端的正常运行提供12V电源。CPU模块采用ARM7系列处理器。终端每秒分析2张以上的图片。作为优选的实施方式，终端每秒分析4.25张图片。终端进行人脸检测预处理的准确率在90％以上。作为优选的实施方式，终端进行人脸检测预处理的准确率为93.9％。终端分析图片的速度快且精确率高，先由终端进行预处理再传输给云服务器，不会影响最终的识别结果。存储器模块包括RAM和FLASH存储器。通信模块包括ZigBee通信模块和网卡模块，可以兼容地使用ZigBee通信模块和网卡模块，在室内时可使用网卡模块进行通讯，在室外的情况下可使用ZigBee通信模块进行通讯。因为终端和路由器的距离较近，且传输的数据量较小，终端内的ZigBee通信模块不包含功率放大器模块能够有效减少设备的成本，还能够降低电量的使用。
如图3所示，路由器包括CPU模块、存储器模块、电源模块和通信模块，CPU模块与存储器模块、电源模块和通信模块连接，电源模块与CPU模块、存储器模块和通信模块连接。电源模块用于给其他各模块提供电源，CPU模块用于处理数据，并将数据传输至存储器模块进行保存，通信模块用于发送和接收数据。电源模块通过DC-DC降压后，为路由器的正常运行提供12V电源。CPU模块采用ARM7系列处理器。存储器模块包括RAM和FLASH存储器。通信模块包括ZigBee通信模块和网卡模块，可以兼容地使用ZigBee通信模块和网卡模块，在室内时可使用网卡模块进行通讯，在室外的情况下可使用ZigBee通信模块进行通讯。ZigBee通信模块还包括功率放大器。因为路由器传输到协调器的数据量比较大且路由器和协调器的距离较远，在ZigBee通信模块内增设功率放大器，能够提高传输距离。
如图4所示，协调器包括CPU模块、存储器模块、电源模块和通信模块，CPU模块与存储器模块、电源模块和通信模块连接，电源模块与CPU模块、存储器模块和通信模块连接。电源模块用于给其他各模块提供电源，CPU模块用于处理数据并将数据传输至存储器模块进行保存，通信模块用于发送和接收数据。电源模块通过DC-DC降压后，为协调器的正常运行提供12V电源。CPU模块采用ARM7系列处理器。存储器模块包括RAM和FLASH存储器。通信模块包括云服务器通信模块和路由器通信模块。云服务器通信模块采用NB-IoT模块。路由器通信模块包括ZigBee通信模块和网卡模块，可以兼容地使用ZigBee通信模块和网卡模块，在室内时可使用网卡模块进行通讯，在室外的情况下可使用ZigBee通信模块进行通讯。ZigBee通信模块还包括功率放大器。
检测单元内人脸数据传输的方式如下：
终端的视频帧率为25帧每秒，视频采样率为1帧每秒，即从1秒的视频中随机抽取一帧图片，将该帧图片经过人脸识别算法过滤后，通过有线网络和/或无线网络，在指定的时间片内将截取的人脸图片上传至同一子区域内的路由器，采用时分多址的方式让终端在指定的时间段将数据传输给路由器，能够避免数据阻塞，使传输的效率更高。如果终端设置在室外，优选通过ZigBee进行数据传输。
路由器在收到终端的人脸图片后，通过有线网络和/或无线网络，采用码分多址的方式将人脸图片上传至协调器，采用码分多址的方式将数据传输给协调器，能够避免数据阻塞，使传输的效率提高。如果路由器设置在室外，优选通过ZigBee进行数据传输。
基于ZigBee协议栈的自组网，能够在整个单元范围内相互通信，用户能够获取到单元范围内各协调器、路由器和终端的信息。终端、路由器和协调器形成了一个多跳的自组网络，可以减少设备之间的传输距离，降低设备的能量消耗，扩展自组网的覆盖范围。
作为本发明的第二种实施方式，展示了一种广域范围的视频人脸检测系统，包括：若干个第一种实施方式的检测单元和云服务器。如图5所示，云服务器与检测单元内的协调器通讯连接，用于接收并处理协调器发来的人脸数据和向协调器发送命令。协调器和云服务器之间通过有线网络和/或无线网络进行数据传输。协调器在室外的情况下，优选通过NB-IoT进行数据传输。采用NB-IoT技术，使检测单元内的数据云端化，突破了地理范围的限制，极大地扩展了使用范围，适用于远距离的协调器和云服务器之间的数据传输。
协调器在收到路由器发送来的人脸图片后，将人脸图片上传至云服务器。云服务器收到图片后，进行人脸校正、人脸特征点定位和人脸特征提取等操作，还可以根据具体的业务需求，生成相应的报表。用户还可以通过云服务器，向协调器发布命令，协调器收到命令后，将命令广播至检测单元内的路由器，路由器根据协调器的命令控制终端工作。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (39)

1.一种广域范围的视频人脸检测的方法，其特征在于，包括如下步骤：
在广域范围内划分若干个子区域；
在每个子区域内设置若干个终端和一个中继节点，中继节点管辖同一子区域内的终端；
每个终端拍摄视频并进行人脸检测预识别；
每个终端将预识别的人脸数据汇总至同一子区域内的中继节点；
不同子区域的中继节点再将人脸数据汇总至汇聚节点；
汇聚节点将人脸数据上传至云服务器；和
云服务器进行人脸深度识别。
2.根据权利要求1所述的广域范围的视频人脸检测的方法，其特征在于，所述终端通过时分多址的技术将预识别的人脸数据汇总至中继节点。
3.根据权利要求1所述的广域范围的视频人脸检测的方法，其特征在于，所述中继节点通过码分多址的技术将人脸数据汇总至汇聚节点。
4.根据权利要求1所述的广域范围的视频人脸检测的方法，其特征在于，所述终端采用ZigBee协议将预识别的人脸数据汇总至中继节点。
5.根据权利要求1所述的广域范围的视频人脸检测的方法，其特征在于，所述中继节点采用ZigBee协议将人脸数据汇总至汇聚节点。
6.根据权利要求1所述的广域范围的视频人脸检测的方法，其特征在于，所述汇聚节点采用NB-IoT协议将人脸数据上传至云服务器。
7.根据权利要求1所述的广域范围的视频人脸检测的方法，其特征在于，所述人脸检测预识别的方法包括对视频流进行采样以获取帧图片，识别图片中是否有人脸，如果识别出人脸，则截取图片中的人脸区域。
8.根据权利要求7所述的广域范围的视频人脸检测的方法，其特征在于，所述人脸检测预识别的方法还包括截取图片中的人脸区域后，存储截取的图片。
9.根据权利要求1所述的广域范围的视频人脸检测的方法，其特征在于，所述人脸深度识别的方法包括：将接收到的图片进行人脸校正、人脸特征点定位和人脸特征提取及统计操作。
10.一种广域范围的视频人脸检测单元，其特征在于，包括：
若干组终端，一组终端对应广域范围内的一个子区域，同一组的终端分布于同一子区域内，每一组终端均包含若干个终端，同一组的若干个终端与广域范围中的同一个区域的中继节点通讯连接，用于拍摄视频数据，并进行人脸检测预处理，截取人脸区域数据，将人脸区域数据发送给中继节点、以及接收并执行中继节点的命令；
若干个中继节点，每一个中继节点对应一组终端，并与汇聚节点和所述若干个终端通讯连接，用于接收终端的数据并发送给汇聚节点、接收并执行汇聚节点的命令、以及向终端发送命令；和
一个汇聚节点，与所述中继节点通讯连接，用于接收中继节点的数据并发送给云服务器、接收并执行云服务器的命令、以及向中继节点发送命令。
11.根据权利要求10所述的广域范围的视频人脸检测单元，其特征在于，所述汇聚节点和中继节点之间通过有线网络和/无线网络进行数据传输。
12.根据权利要求11所述的广域范围的视频人脸检测单元，其特征在于，所述汇聚节点和中继节点之间通过ZigBee进行数据传输。
13.根据权利要求10所述的广域范围的视频人脸检测单元，其特征在于，所述中继节点和终端之间通过有线网络和/或无线网络进行数据传输。
14.根据权利要求13所述的广域范围的视频人脸检测单元，其特征在于，所述中继节点和终端之间通过ZigBee进行数据传输。
15.根据权利要求10所述的广域范围的视频人脸检测单元，其特征在于，所述中继节点采用路由器。
16.根据权利要求10所述的广域范围的视频人脸检测单元，其特征在于，所述汇聚节点采用协调器。
17.根据权利要求10所述的广域范围的视频人脸检测单元，其特征在于，所述汇聚节点包括CPU模块、存储器模块、电源模块和通信模块，所述CPU模块与存储器模块、电源模块和通信模块连接，电源模块与CPU模块、存储器模块和通信模块连接。
18.根据权利要求17所述的广域范围的视频人脸检测单元，其特征在于，所述CPU模块采用ARM7系列处理器。
19.根据权利要求17所述的广域范围的视频人脸检测单元，其特征在于，所述存储器模块包括RAM和FLASH存储器。
20.根据权利要求17所述的广域范围的视频人脸检测单元，其特征在于，所述通信模块包括云服务器通信模块和中继节点通信模块。
21.根据权利要求20所述的广域范围的视频人脸检测单元，其特征在于，所述云服务器通信模块采用NB-IoT模块。
22.根据权利要求20所述的广域范围的视频人脸检测单元，其特征在于，所述中继节点通信模块包括ZigBee通信模块和/或网卡模块。
23.根据权利要求22所述的广域范围的视频人脸检测单元，其特征在于，所述ZigBee通信模块还包括功率放大器。
24.根据权利要求10所述的广域范围的视频人脸检测单元，其特征在于，所述中继节点包括CPU模块、存储器模块、电源模块和通信模块，所述CPU模块与存储器模块、电源模块和通信模块连接，电源模块与CPU模块、存储器模块和通信模块连接。
25.根据权利要求24所述的广域范围的视频人脸检测单元，其特征在于，所述CPU模块采用ARM7系列处理器。
26.根据权利要求24所述的广域范围的视频人脸检测单元，其特征在于，所述存储器模块包括RAM和FLASH存储器。
27.根据权利要求24所述的广域范围的视频人脸检测单元，其特征在于，所述通信模块包括ZigBee通信模块和/或网卡模块。
28.根据权利要求27所述的广域范围的视频人脸检测单元，其特征在于，所述ZigBee通信模块还包括功率放大器。
29.根据权利要求10所述的广域范围的视频人脸检测单元，其特征在于，所述终端包括监控模块、CPU模块、存储器模块、通信模块和电源模块，所述CPU模块与监控模块、存储器模块、电源模块和通信模块连接，电源模块与监控模块、CPU模块、存储器模块和通信模块连接。
30.根据权利要求29所述的广域范围的视频人脸检测单元，其特征在于，所述CPU模块采用ARM7系列处理器。
31.根据权利要求29所述的广域范围的视频人脸检测单元，其特征在于，所述终端每秒分析2张以上的图片。
32.根据权利要求31所述的广域范围的视频人脸检测单元，其特征在于，所述终端每秒分析4.25张图片。
33.根据权利要求29所述的广域范围的视频人脸检测单元，其特征在于，所述终端进行人脸检测处理的准确率在90%以上。
34.根据权利要求33所述的广域范围的视频人脸检测单元，其特征在于，所述终端进行人脸检测预处理的准确率为93.9%。
35.根据权利要求29所述的广域范围的视频人脸检测单元，其特征在于，所述存储器模块包括RAM和FLASH存储器。
36.根据权利要求29所述的广域范围的视频人脸检测单元，其特征在于，所述通信模块包括ZigBee通信模块和/或网卡模块。
37.一种广域范围的视频人脸检测系统，其特征在于，包括：
若干如权利要求10-36任一项所述的视频人脸检测单元；和
云服务器，与所述的视频人脸检测单元内的协调器通讯连接，用于接收并处理协调器发来的人脸数据和向汇聚节点发送命令。
38.根据权利要求37所述的广域范围的视频人脸检测系统，其特征在于，所述汇聚节点和云服务器之间通过有线网络和/或无线网络进行数据传输。
39.根据权利要求38所述的广域范围的视频人脸检测系统，其特征在于，所述汇聚节点和云服务器之间通过NB-IoT进行数据传输。
CN201910876665.1A 2019-09-17 2019-09-17 视频人脸检测的方法、视频人脸检测单元和系统 Active CN110598648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910876665.1A CN110598648B (zh) 2019-09-17 2019-09-17 视频人脸检测的方法、视频人脸检测单元和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910876665.1A CN110598648B (zh) 2019-09-17 2019-09-17 视频人脸检测的方法、视频人脸检测单元和系统

Publications (2)

Publication Number Publication Date
CN110598648A CN110598648A (zh) 2019-12-20
CN110598648B true CN110598648B (zh) 2023-05-09

Family

ID=68860165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910876665.1A Active CN110598648B (zh) 2019-09-17 2019-09-17 视频人脸检测的方法、视频人脸检测单元和系统

Country Status (1)

Country Link
CN (1) CN110598648B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209057B (zh) * 2020-01-10 2022-09-09 厦门瑞为信息技术有限公司 一种快速调整感知终端的方法以及装置
CN111724606A (zh) * 2020-06-30 2020-09-29 广州市云景信息科技有限公司 一种黑烟车抓拍视频后处理系统及方法
CN113079389B (zh) * 2021-03-23 2022-01-25 国网江苏省电力有限公司信息通信分公司 一种边缘计算环境下的资源自适应调节方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101083658A (zh) * 2007-07-13 2007-12-05 浙江大学 一种角度随机中继协议实现方法
CN102754509A (zh) * 2009-08-14 2012-10-24 诺基亚公司 用于管理干扰处理开销的方法和设备
CN103209224A (zh) * 2013-04-28 2013-07-17 上海海事大学 基于p2p的水声传感器网络系统及其数据传输方法
CN103456314A (zh) * 2013-09-03 2013-12-18 广州创维平面显示科技有限公司 一种情感识别方法以及装置
CN105809707A (zh) * 2014-12-30 2016-07-27 江苏慧眼数据科技股份有限公司 一种基于随机森林算法的行人跟踪方法
CN106778634A (zh) * 2016-12-19 2017-05-31 江苏慧眼数据科技股份有限公司 一种基于区域融合的显著性人体区域检测方法
CN106791365A (zh) * 2016-11-25 2017-05-31 努比亚技术有限公司 人脸图像预览处理方法及装置
CN107066951A (zh) * 2017-03-15 2017-08-18 中国地质大学（武汉） 一种人脸自发表情的识别方法及系统
CN107896253A (zh) * 2017-11-24 2018-04-10 上海璞玫信息科技有限公司 一种危险品港区储运安全监管系统
CN108596140A (zh) * 2018-05-08 2018-09-28 青岛海信移动通信技术股份有限公司 一种移动终端人脸识别方法及系统
CN109002789A (zh) * 2018-07-10 2018-12-14 银河水滴科技（北京）有限公司 一种应用于摄像头的人脸识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150256355A1 (en) * 2014-03-07 2015-09-10 Robert J. Pera Wall-mounted interactive sensing and audio-visual node devices for networked living and work spaces
EP3148223A3 (en) * 2015-09-04 2017-06-21 Music Group IP Ltd. A method of relating a physical location of a loudspeaker of a loudspeaker system to a loudspeaker identifier
US20170364828A1 (en) * 2016-06-15 2017-12-21 James Duane Bennett Multifunction mobile units

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101083658A (zh) * 2007-07-13 2007-12-05 浙江大学 一种角度随机中继协议实现方法
CN102754509A (zh) * 2009-08-14 2012-10-24 诺基亚公司 用于管理干扰处理开销的方法和设备
CN103209224A (zh) * 2013-04-28 2013-07-17 上海海事大学 基于p2p的水声传感器网络系统及其数据传输方法
CN103456314A (zh) * 2013-09-03 2013-12-18 广州创维平面显示科技有限公司 一种情感识别方法以及装置
CN105809707A (zh) * 2014-12-30 2016-07-27 江苏慧眼数据科技股份有限公司 一种基于随机森林算法的行人跟踪方法
CN106791365A (zh) * 2016-11-25 2017-05-31 努比亚技术有限公司 人脸图像预览处理方法及装置
CN106778634A (zh) * 2016-12-19 2017-05-31 江苏慧眼数据科技股份有限公司 一种基于区域融合的显著性人体区域检测方法
CN107066951A (zh) * 2017-03-15 2017-08-18 中国地质大学（武汉） 一种人脸自发表情的识别方法及系统
CN107896253A (zh) * 2017-11-24 2018-04-10 上海璞玫信息科技有限公司 一种危险品港区储运安全监管系统
CN108596140A (zh) * 2018-05-08 2018-09-28 青岛海信移动通信技术股份有限公司 一种移动终端人脸识别方法及系统
CN109002789A (zh) * 2018-07-10 2018-12-14 银河水滴科技（北京）有限公司 一种应用于摄像头的人脸识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
The impact of data aggregation on the performance of wireless sensor networks;Kemal Akkaya 等;《Wireless Communications and Mobile Computing》;20060912;171-193 *
基于ZigBee技术的人脸识别智能家居系统的研究与设计;周显恩;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140415;I136-445 *
基于图像识别与LoRa的自动远传抄表系统设计与实现;熊诚;《中国优秀硕士学位论文全文数据库 信息科技辑》;20181215;I138-1319 *

Also Published As

Publication number Publication date
CN110598648A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN110598648B (zh) 视频人脸检测的方法、视频人脸检测单元和系统
CN102724773B (zh) 基于m2m通信的无线智能监控装置及方法
CN104202568A (zh) 车载监控系统以及监控方法
CN110807460B (zh) 一种基于图像识别的变电站智能巡视系统及其应用方法
CN104113731A (zh) 基于物联网云服务的远程无线视频监控系统
CN112702101B (zh) 用于野外红外照相监控的高速无线网络传输方法
CN112087528B (zh) 一种基于深度学习的水环境智能监测系统及方法
CN111371895A (zh) 一种高速公路隧道用机电设备管理系统及其方法
CN104820414A (zh) 一种高压电力无线网络监控与报警定位系统
CN106921942A (zh) 一种设备控制方法及装置
CN106303390A (zh) 图像采集方法及其装置，图像传输方法及其装置
CN107404633A (zh) 视频监控系统及其视频压缩编码方法、联合告警追踪方法
CN207636515U (zh) 一种用于绝缘子缺陷的无人机检测装置
KR101734320B1 (ko) 원격으로 복수의 카메라를 제어하는 방법 및 장치
CN112966552B (zh) 一种基于智能识别的例行巡视方法及系统
JP2017017670A (ja) 通信装置及び通信方法
CN104469912A (zh) 环境侦测装置及其数据传输方法
CN107832192A (zh) 一种服务器启停智能控制系统
WO2020243929A1 (en) Method and apparatus for application services over a cellular network
CN103777575A (zh) 新风系统的监控管理方法与系统
CN106060488A (zh) 输电线路自动化视频巡线系统及方法
CN113033326B (zh) 一种光伏电站施工踩踏组件监测方法
CN114679702A (zh) 无人环境下多址边缘计算蜂窝网络的部署
CN211239451U (zh) 一种输电线路监控系统
CN112312091A (zh) 基于5g的无人机图像传输方法、装置、存储介质及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191219

Address after: 214174 Tsinghua innovation building a1511, No.1, wisdom road, Huishan Economic Development Zone, Wuxi, Jiangsu Province

Applicant after: Wuxi Huiyan Artificial Intelligence Technology Co.,Ltd.

Address before: 214000 Tsinghua innovation building, No. 1, wisdom road, Huishan Economic Development Zone, Wuxi, Jiangsu, Wuxi A1501-A1509

Applicant before: ABD SMART EYE ELECTRONICS Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant