CN113301256B - 一种低功耗多目标连续自动监测的摄像模组及其摄像方法 - Google Patents

一种低功耗多目标连续自动监测的摄像模组及其摄像方法 Download PDF

Info

Publication number
CN113301256B
CN113301256B CN202110561685.7A CN202110561685A CN113301256B CN 113301256 B CN113301256 B CN 113301256B CN 202110561685 A CN202110561685 A CN 202110561685A CN 113301256 B CN113301256 B CN 113301256B
Authority
CN
China
Prior art keywords
camera
target
panoramic image
module
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110561685.7A
Other languages
English (en)
Other versions
CN113301256A (zh
Inventor
钟富群
何松山
程富超
郭良刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shenya Technology Co ltd
Original Assignee
Chengdu Shenya Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shenya Technology Co ltd filed Critical Chengdu Shenya Technology Co ltd
Priority to CN202110561685.7A priority Critical patent/CN113301256B/zh
Publication of CN113301256A publication Critical patent/CN113301256A/zh
Application granted granted Critical
Publication of CN113301256B publication Critical patent/CN113301256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本发明公开了一种低功耗多目标连续自动监测的摄像模组，包括超低功耗的MCU单元；光感传感器；补光灯；电源模块；视频存储器；无线通信模块；人脸识别模块；电动变焦摄像头；电动变焦摄像头安装在电动云台上，电动云台与MCU单元连接；MCU单元发送控制信号控制电动变焦摄像头的焦距。此外，本发明还公开了利用该摄像模组的摄像方法。本发明的摄像模组采用了超低功耗的MCU处理单元，优化了信息传输和处理的算法，使得智能识别摄像模组的监控范围能达到30米，能够实现视频图像数据实时预处理的功能，能够对视频监控区域至少30个目标实时识别，识别准确率达到95%以上，同时配合人脸识别技术，能够对潜在危险目标进行监控功能。

Description

一种低功耗多目标连续自动监测的摄像模组及其摄像方法
技术领域
本发明涉及视频监控技术领域，具体涉及到一种低功耗多目标连续自动监测的摄像模组。
背景技术
随着智慧城市建设的推进和智能安防技术的革新，在视频监控系统中引入智能视频分析技术，成为节省人力物力、提高监控安全等级的有效手段。
摄像模组必须要包括摄像机等摄像器材，其作用就是通过收集光线然后将物体成像到感光芯片的表面；感光芯片的作用是将表面的上镜头送过来的光信号转化成为电信号，然后通过处理电信号，就可以得到照片。
现有技术中的监控摄像模组或者监控摄像机等设备往往具备有视频录制和图像拍摄的功能，通过摄像机能够实现多种功能。
例如：可以利用摄像机进行测距，常见的具有单目测距和双目测距；也可以利用摄像机进行人脸识别，进而实现安防监控；还可以通过摄像机实现火灾预警等功能。
在摄像模组的多种功能中，安防无疑是最重要的功能之一，现有技术中由于人脸识别的准确度不断提高、摄像机的处理能力越来越高，摄像机的分辨率也不断增加，使得通过摄像模组实现安防监控更加容易。
现有技术中的摄像模组具有以下缺陷：
1、摄像模组为了能够具有高分辨率，往往采用更高级的摄像机，拍摄得到的视频和图片越来越大，使得通过无线网络实时传输给控制中心越来越困难，或者需要配置更高级的无线通信模块，也加大了CPU的处理功耗。
然而，摄像机拍摄的视频和图像中，并非全部由用，控制中心更希望能够得到的视频和图像是在特点的时机，例如出现预警情况时，在正常状态下希望能够保持低功耗。
2、现有技术中的摄像模组往往仅含有单一的摄像装置，不能够对细节进行放大拍摄，识别的准确度不高，监控的对象较少等缺陷。
发明内容
本发明的目的是提供一种低功耗多目标连续自动监测的摄像模组。
为达上述目的，本发明的一个实施例中提供了一种低功耗多目标连续自动监测的摄像模组，包括：
超低功耗的MCU单元；
光感传感器，用于检测环境光线强度；
补光灯；补光灯配置有补光灯驱动电路；
电源模块；通过导线为摄像模组提供电源；
视频存储器，用于存储视频或图像；
无线通信模块，用于接收和传输信号；
人脸识别模块，用于识别视频或者图像中的人脸模型；
电动变焦摄像头，用于拍摄长焦视频或图片，并将拍摄得到的长焦图像通过图像传感器发送至MCU单元进行处理；
电动变焦摄像头安装在电动云台上，电动云台与MCU单元连接；MCU单元发送控制信号控制电动变焦摄像头的焦距。
本发明还公开了一种低功耗多目标连续自动监测的摄像模组的摄像方法，包括以下步骤：
步骤(1)调整摄像模组的两个摄像头的安装位置，使两个摄像头安装在同一水平面上；摄像头包括广角定焦摄像头和电动变焦摄像头；
步骤(2)预先存储目标人物的人脸特征，每个人脸特征均包括多个人脸特征点；
步骤(3)在工作状态下，通过广角定焦摄像头采集监控区域内的全景图像，并在全景图像中标注焦距F1；通过人脸识别模块抓取全景图像中每个人的人脸特征；判断全景图像中是否含有目标人物；
步骤(4)当全景图像中含有目标人物时，确定目标人物的数量；然后以全景图像为平面模型建立二维坐标系，并在二维坐标系中标注出每个目标人物的位置区域；
步骤(5)将全景图像转换为灰度图，对每个目标人物的位置区域进行平滑降噪，每个位置区域均使用最小外接矩形进行替换，并获得最小外接矩形的中心坐标，每个中心坐标代表目标人物在二维坐标系中的坐标位置；
步骤(6)确定所有中心坐标后，计算所有两个中心坐标之间的距离l，获得距离集合；计算距离集合中的所有中心坐标的离散程度，离散程度用离散值K表示；判断离散值K是否超过离散阈值；
步骤(7)当离散值K未超过离散阈值时，进行以下操作：
(7-1)调用距离集合或者修正距离集合中所有中心坐标的横坐标值和纵坐标值，确定最大横坐标值XR1、最小横坐标值XR2、最大纵坐标值YR1和最小纵坐标值YR2；并在二维坐标系中建立平行矩形，平行矩形的四个边的函数公式如下：
(7-2)根据平行矩形的函数公式，确定平行矩形的四个顶点坐标、横向长度Ag和纵向长度Bg，得到平行矩形的横纵比Hg＝Ag/Bg；
(7-3)调取全景图像在二维坐标系中的横向长度Aq和纵向长度Bq，得到全景图像的横纵比Hq＝Aq/Bq；
(7-4)判断Hg是否与Hq相等，计算对比面积Sp和全景图像面积Sq：
若Hg与Hq相等，则计算平行矩形的面积，以平行矩形的面积作为对比面积Sp；
若不相等，则对平行矩形进行短边补齐处理，处理后得到的修正平行矩形的横纵比与全景图像的横纵比相等，以修正平行矩形的面积作为对比面积Sp；
(7-5)确定全景图像面积Sq与对比面积Sp的比例C＝Sq/Sp；该比例C为镜头变焦比例；调取全景图像中的焦距F1，确定电动变焦镜头的焦距F2＝C*F1；
(7-6)控制电动变焦镜头的焦距调节至F2对目标人物进行拍摄，将所有目标人物放大后拍摄形成目标全景图像；
步骤(8)当离散值K超过离散阈值时，进行以下操作：
(8-1)删除距离集合中距离值最大的距离limax；得到修正距离集合，根据修正距离集合重新计算新的离散值K；
(8-2)若根据修正距离集合计算得到的离散值K超过离散阈值时，重复(8-1)，直至得到的离散值K不超过离散阈值。
本发明优选的实施例中，所述离散值K的计算方法为：其中n为距离集合或者修正距离集合中的中心坐标数量，li为距离集合中第i个距离值；n个中心坐标中、每两个中心坐标产生1个距离值，则合计具有/>个距离值。
本发明优选的实施例中，通过红外检测单元判断监控区域内是否有活体；若监控区域内未出现活体，则摄像模组处于休眠状态，若监控区域内出现活体，则摄像模组处于工作状态。
本发明优选的实施例中，在(7-6)中，根据目标人物的移动驱使，通过云台控制电动变焦镜头的转动角度，使得电动变焦镜头能够对目标人物进行跟踪拍摄。
本发明优选的实施例中，所述广角定焦摄像头上配置有红外测距传感器，用于检测在监测范围内所有人物与广角定焦摄像头之间的距离。
本发明优选的实施例中，还包括步骤(9)，当检测到目标人物后，通过电动变焦镜头获得目标全景图像后，将获得的目标全景图像和视频通过无线网络发送至控制中心并进行报警提示。
本发明优选的实施例中，步骤(9)中，当未检测到目标人物时且处于工作状态时，将拍摄得到的视频和图像存储在摄像模组配置的视频存储器内。
本发明优选的实施例中，还包括步骤(10)，当离散值K超过离散阈值时，记录从距离集合中被删除的中心坐标，形成补充中心坐标集合，当电动变焦镜头对修正距离集合中的中心坐标所在位置区域进行拍摄后，再依次对补充中心坐标集合所代表的位置区域或者目标人物进行拍摄。
综上所述，本发明具有以下优点：
1、本发明的摄像模组采用了超低功耗的MCU处理单元，优化了信息传输和处理的算法，使得智能识别摄像模组的监控范围能达到30米，能够实现视频图像数据实时预处理的功能，能够对视频监控区域至少30个目标实时识别，识别准确率达到95％以上，同时配合人脸识别技术，能够对潜在危险目标进行监控功能。
2、本发明还优化了电动变焦镜头的拍摄方式，能够在发现目标人物时通过电动变焦镜头对目标人物进行放大抓拍，并能够根据离散值来判断抓拍时使用的焦距，从而能够一次性将更多的目标人物进行抓拍。
附图说明
图1为本发明一个实施例中摄像模组的示意图；
图2为本发明一个实施例中摄像方法的流程图；
图3为本发明一个实施例中平面矩形在二维坐标系中的构建示意图；
图4为本发明一个实施例中短边补齐处理的示意图。
具体实施方式
本发明提供了一种低功耗多目标连续自动监测的摄像模组，包括：
超低功耗的MCU单元；
光感传感器，用于检测环境光线强度；
补光灯；补光灯配置有补光灯驱动电路；
电源模块；通过导线为摄像模组提供电源；
视频存储器，用于存储视频或图像；
无线通信模块，用于接收和传输信号；
人脸识别模块，用于识别视频或者图像中的人脸模型；
电动变焦摄像头，用于拍摄长焦视频或图片，并将拍摄得到的长焦图像通过图像传感器发送至MCU单元进行处理；
电动变焦摄像头安装在电动云台上，电动云台与MCU单元连接；MCU单元发送控制信号控制电动变焦摄像头的焦距。
本发明基于上述摄像模组，公开了一种低功耗多目标连续自动监测的摄像模组的摄像方法，包括以下步骤：
步骤(1)调整摄像模组的两个摄像头的安装位置，使两个摄像头安装在同一水平面上；摄像头包括广角定焦摄像头和电动变焦摄像头。
本发明的两个摄像头安装在同一水平面上有利于在拍摄时保持同样的角度，使得算法在运用过程中误差较小，特别是有利于电动变焦摄像头对目标人物进行追踪时，角度的调节更加简单化。
步骤(2)预先存储目标人物的人脸特征，每个人脸特征均包括多个人脸特征点。
目标人物的人脸特征可以是从其他渠道获得，例如公安系统，例如预先存储等。人脸特征是人脸识别模块工作的基础之一，能够使得本发明的摄像模组实现人脸识别功能，能够对镜头内的人脸进行识别，进而实现安防监控。
步骤(3)在工作状态下，通过广角定焦摄像头采集监控区域内的全景图像，并在全景图像中标注焦距F1；通过人脸识别模块抓取全景图像中每个人的人脸特征；判断全景图像中是否含有目标人物。
为了降低功耗，本发明除了采用超低功耗的MCU单元外，还从摄像方法上进行优化，摄像机主要拍摄的对象是人物，例如在凌晨时人较少，出现的频率很低，可以在未出现人物时进行待机，例如当摄像机中未出现人物后，间隔一定时间后即保持待机状态，待机状态不进行拍摄；当发现有活体或者人物时，则正常进行拍摄。具体的，可以通过红外检测单元判断监控区域内是否有活体；若监控区域内未出现活体，则摄像模组处于休眠状态，若监控区域内出现活体，则摄像模组处于工作状态。
步骤(4)当全景图像中含有目标人物时，确定目标人物的数量；然后以全景图像为平面模型建立二维坐标系，并在二维坐标系中标注出每个目标人物的位置区域。
当拍摄到目标人物，例如被通缉的人物时，即可对其进行拍摄。目标人物有可能是1人，也可能是多人。根据实际情况统计，目标人物的数量往往以1-5人居多。而且，目标人物出现在同一全景图像时，则表明其大概率属于一个团队或者组织，其往往也不会距离太远。因此，本发明针对这种情况特别有效。
本发明在此处确定目标人物的数量，是因为需要根据目标人物的数量来确定电动变焦镜头的焦距。焦距越小，拍摄得到的图片往往是广角的，图像上的人物较小，焦距增大，人物被拉进，使得图像上人物看起来更大，能够观察到更多细节。因此本发明通过广角镜头来大范围的拍摄更多人物，当广角镜头发现目标人物后，通过电动变焦镜头来对发现的目标人物进行跟踪放大拍摄，以获得更多细节。
目标人物的标记，主要是标记其头部图像，因此位置区域也主要是指头部或者脸部所在位置区域。
步骤(5)将全景图像转换为灰度图，对每个目标人物的位置区域进行平滑降噪，每个位置区域均使用最小外接矩形进行替换，并获得最小外接矩形的中心坐标，每个中心坐标代表目标人物在二维坐标系中的坐标位置。
每个目标人物的位置区域的外形是不规则的，这是由于人的头部本身是不规则的。但是这种不规则的图像是不便于后续处理的，因此本发明首先对其进行处理，使用最小外接矩形进行替换。头部的位置区域全部被一个外接矩形包含在内部，这样使用矩形替换不规则的位置区域，以矩形的中心坐标来代替目标人物的大概位置或者大致的中心位置或者中心坐标，能够简化后续运输，也能够保证良好的精度，不会使得后续拍摄的图像具有非常大的偏差。
步骤(6)确定所有中心坐标后，计算所有两个中心坐标之间的距离l，获得距离集合；计算距离集合中的所有中心坐标的离散程度，离散程度用离散值K表示；判断离散值K是否超过离散阈值。
每个目标人物具有一个独立的，不相同的中心坐标，中心坐标确定后，才能够计算两个中心坐标之间的距离。当检测出有n个目标人物时，则具有n个中心坐标，即在二维坐标系中形成n个点，任意两个中心坐标进行连线，则会形成n(n-1)个连线，即形成n(n-1)个距离；则距离集合中含有n(n-1)个数据。
本发明的离散程度是自定义的参数，离散程度是表明中心坐标的离散程度的，即所有中心坐标靠的越近，离散程度越小，相反则越大。若离散程度小，则表示目标人物聚集在一起，能够便于使用电动变焦镜头在一个图像中进行拍照，若离散程度很大，超过离散阈值，则表示目标人物非常分散，不能够或者不便于通过电动变焦镜头将所有目标人物拍摄到同一个照片中。
已知两个中心坐标的X、Y值，则两个中心坐标的距离的计算方式是常规的，即
本发明的离散值K的计算方法为：其中/>n为距离集合或者修正距离集合中的中心坐标数量，li为距离集合中第i个距离值；n个中心坐标中、每两个中心坐标产生1个距离值，则合计具有/>个距离值。
其中m即表示了距离集合或者修正距离集合中的数据个数，离散值是取平均数，这样使得不会因为数据个数的多少而受到影响，离散值是将距离集合或者修正距离集合中的每个距离的n次方进行求和，然后取平均数计算得到的。
本发明的每个距离是按照n次方进行计算的，采用n次方是考虑到数据数量和运算量的，数据数量越多，某一中心坐标的偏离程度越大时，应当被放大，这样使得获得的平均数受到更多影响，否则当数据越多时，容易造成偏差。
步骤(7)当离散值K未超过离散阈值时，进行以下操作：
(7-1)调用距离集合或者修正距离集合中所有中心坐标的横坐标值和纵坐标值，确定最大横坐标值XR1、最小横坐标值XR2、最大纵坐标值YR1和最小纵坐标值YR2；并在二维坐标系中建立平行矩形，平行矩形的四个边的函数公式如下：
通过最大横坐标值XR1、最小横坐标值XR2、最大纵坐标值YR1和最小纵坐标值YR2；能够确定一个矩形，且该矩形是与X轴或者Y轴保持平行的，也与全景图像是保持平行的，这样有利于后续电动变焦镜头拍摄得到的图像也是与全景图像、平行矩形保持在同一平面、同一水平方向上的。
距离集合或者修正距离集合中的每个中心坐标表示1个目标人物，这些目标人物在二维坐标系上形成一个坐标。这些坐标虽然可以使用圆形、其他不规则形状、翻转矩形进行包括，即绘制一个圆形、其他不规则形状、翻转矩形将所有中心坐标包括在内部；但是由于摄像头拍摄得到的图像是矩形的，且本发明是根据全景图像建立的二维坐标系，两个摄像头所拍摄得到的图像均是与X轴平行的矩形图像，若使用非平行矩形的其他形状进行包含，首先不便于确定其面积，其次无法根据面积来计算比例，不能够确定电动变焦镜头的焦距。
本发明的翻转矩形是指矩形的两个边与X轴的夹角都不为0°或者90°。本发明的平行矩形是指矩形的边与X轴的夹角为0°或者90°。
本发明的两个镜头的安装是有一定要求的，同时建立的二维坐标系也是以全景图像的轮廓进行构建的，这样使得电动变焦镜头获得的图像的轮廓也是与这个二维坐标系平行的，即图像的最下螺孔与X轴是平行的。
(7-2)根据平行矩形的函数公式，确定平行矩形的四个顶点坐标、横向长度Ag和纵向长度Bg，得到平行矩形的横纵比Hg＝Ag/Bg。
(7-3)调取全景图像在二维坐标系中的横向长度Aq和纵向长度Bq，得到全景图像的横纵比Hq＝Aq/Bq。
(7-4)判断Hg是否与Hq相等，计算对比面积Sp和全景图像面积Sq：
若Hg与Hq相等，则计算平行矩形的面积，以平行矩形的面积作为对比面积Sp。
若不相等，则对平行矩形进行短边补齐处理，处理后得到的修正平行矩形的横纵比与全景图像的横纵比相等，以修正平行矩形的面积作为对比面积Sp。
本发明的短边补齐处理是指，当平行矩形的横纵比达不到要求时，则对相对较短的边进行延长，使得延长后的平行矩形能够达到Hg与Hq相等。
例如：参考图3和图4，图4虚线部分的高度为2，即为补齐的部分。假设全景图像中横向长度Aq为10，纵向长度Bq为8；平行矩形的横向长度Ag为5、纵向长度Bg为3。若需要两者的横纵比相等，则平行矩形的纵向长度需要增加2，则对平行矩形的纵向长度上增加2形成新的修正平行矩形即可。
(7-5)确定全景图像面积Sq与对比面积Sp的比例C＝Sq/Sp；该比例C为镜头变焦比例；调取全景图像中的焦距F1，确定电动变焦镜头的焦距F2＝C*F1。
(7-6)控制电动变焦镜头的焦距调节至F2对目标人物进行拍摄，将所有目标人物放大后拍摄形成目标全景图像。
步骤(8)当离散值K超过离散阈值时，进行以下操作：
(8-1)删除距离集合中距离值最大的距离limax；得到修正距离集合，根据修正距离集合重新计算新的离散值K；
(8-2)若根据修正距离集合计算得到的离散值K超过离散阈值时，重复(8-1)，直至得到的离散值K不超过离散阈值。
本发明优选的，在(7-6)中，根据目标人物的移动驱使，通过云台控制电动变焦镜头的转动角度，使得电动变焦镜头能够对目标人物进行跟踪拍摄。
本发明优选的，广角定焦摄像头上配置有红外测距传感器，用于检测在监测范围内所有人物与广角定焦摄像头之间的距离。
本发明还包括步骤(9)，当检测到目标人物后，通过电动变焦镜头获得目标全景图像后，将获得的目标全景图像和视频通过无线网络发送至控制中心并进行报警提示。
本发明优选的，步骤(9)中，当未检测到目标人物时且处于工作状态时，将拍摄得到的视频和图像存储在摄像模组配置的视频存储器内。
本发明还包括步骤(10)，当离散值K超过离散阈值时，记录从距离集合中被删除的中心坐标，形成补充中心坐标集合，当电动变焦镜头对修正距离集合中的中心坐标所在位置区域进行拍摄后，再依次对补充中心坐标集合所代表的位置区域或者目标人物进行拍摄。
当离散值K超过离散阈值，则表示拍摄得到图像中必然有漏掉个别目标人物，漏掉的目标人物必然是与其他多个目标人物距离较远，因此优先拍摄多个目标人物在一起的图像；然后再拍摄单独的目标人物的图像。
虽然结合附图对本发明的具体实施方式进行了详细地描述，但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。

Claims (8)

1.一种低功耗多目标连续自动监测的摄像模组的摄像方法，所述摄像模组包括：超低功耗的MCU单元；光感传感器，用于检测环境光线强度；补光灯；补光灯配置有补光灯驱动电路；电源模块；通过导线为摄像模组提供电源；视频存储器，用于存储视频或图像；无线通信模块，用于接收和传输信号；人脸识别模块，用于识别视频或者图像中的人脸模型；电动变焦摄像头，用于拍摄长焦视频或图片，并将拍摄得到的长焦图像通过图像传感器发送至MCU单元进行处理；电动变焦摄像头安装在电动云台上，电动云台与MCU单元连接；MCU单元发送控制信号控制电动变焦摄像头的焦距；
其特征在于，摄像模组的摄像方法包括以下步骤：
步骤(1)调整摄像模组的两个摄像头的安装位置，使两个摄像头安装在同一水平面上；摄像头包括广角定焦摄像头和电动变焦摄像头；
步骤(2)预先存储目标人物的人脸特征，每个人脸特征均包括多个人脸特征点；
步骤(3)在工作状态下，通过广角定焦摄像头采集监控区域内的全景图像，并在全景图像中标注焦距F1；通过人脸识别模块抓取全景图像中每个人的人脸特征；判断全景图像中是否含有目标人物；
步骤(4)当全景图像中含有目标人物时，确定目标人物的数量；然后以全景图像为平面模型建立二维坐标系，并在二维坐标系中标注出每个目标人物的位置区域；
步骤(5)将全景图像转换为灰度图，对每个目标人物的位置区域进行平滑降噪，每个位置区域均使用最小外接矩形进行替换，并获得最小外接矩形的中心坐标，每个中心坐标代表目标人物在二维坐标系中的坐标位置；
步骤(6)确定所有中心坐标后，计算所有两个中心坐标之间的距离l，获得距离集合；计算距离集合中的所有中心坐标的离散程度，离散程度用离散值K表示；判断离散值K是否超过离散阈值；
步骤(7)当离散值K未超过离散阈值时，进行以下操作：
(7-1)调用距离集合或者修正距离集合中所有中心坐标的横坐标值和纵坐标值，确定最大横坐标值XR1、最小横坐标值XR2、最大纵坐标值YR1和最小纵坐标值YR2；并在二维坐标系中建立平行矩形，平行矩形的四个边的函数公式如下：
(7-2)根据平行矩形的函数公式，确定平行矩形的四个顶点坐标、横向长度Ag和纵向长度Bg，得到平行矩形的横纵比Hg＝Ag/Bg；
(7-3)调取全景图像在二维坐标系中的横向长度Aq和纵向长度Bq，得到全景图像的横纵比Hq＝Aq/Bq；
(7-4)判断Hg是否与Hq相等，计算对比面积Sp和全景图像面积Sq：
若Hg与Hq相等，则计算平行矩形的面积，以平行矩形的面积作为对比面积Sp；
若不相等，则对平行矩形进行短边补齐处理，处理后得到的修正平行矩形的横纵比与全景图像的横纵比相等，以修正平行矩形的面积作为对比面积Sp；
(7-5)确定全景图像面积Sq与对比面积Sp的比例C＝Sq/Sp；该比例C为镜头变焦比例；调取全景图像中的焦距F1，确定电动变焦镜头的焦距F2＝C*F1；
(7-6)控制电动变焦镜头的焦距调节至F2对目标人物进行拍摄，将所有目标人物放大后拍摄形成目标全景图像；
步骤(8)当离散值K超过离散阈值时，进行以下操作：
(8-1)删除距离集合中距离值最大的距离limax；得到修正距离集合，根据修正距离集合重新计算新的离散值K；
(8-2)若根据修正距离集合计算得到的离散值K超过离散阈值时，重复(8-1)，直至得到的离散值K不超过离散阈值。
2.如权利要求1所述的低功耗多目标连续自动监测的摄像模组的摄像方法，其特征在于：
所述离散值K的计算方法为：其中/>n为距离集合或者修正距离集合中的中心坐标数量，li为距离集合中第i个距离值；n个中心坐标中、每两个中心坐标产生1个距离值，则合计具有/>个距离值。
3.如权利要求1所述的低功耗多目标连续自动监测的摄像模组的摄像方法，其特征在于：
通过红外检测单元判断监控区域内是否有活体；若监控区域内未出现活体，则摄像模组处于休眠状态，若监控区域内出现活体，则摄像模组处于工作状态。
4.如权利要求1所述的低功耗多目标连续自动监测的摄像模组的摄像方法，其特征在于：在(7-6)中，根据目标人物的移动驱使，通过云台控制电动变焦镜头的转动角度，使得电动变焦镜头能够对目标人物进行跟踪拍摄。
5.如权利要求1所述的低功耗多目标连续自动监测的摄像模组的摄像方法，其特征在于：所述广角定焦摄像头上配置有红外测距传感器，用于检测在监测范围内所有人物与广角定焦摄像头之间的距离。
6.如权利要求1所述的低功耗多目标连续自动监测的摄像模组的摄像方法，其特征在于：还包括步骤(9)，当检测到目标人物后，通过电动变焦镜头获得目标全景图像后，将获得的目标全景图像和视频通过无线网络发送至控制中心并进行报警提示。
7.如权利要求6所述的低功耗多目标连续自动监测的摄像模组的摄像方法，其特征在于：所述步骤(9)中，当未检测到目标人物时且处于工作状态时，将拍摄得到的视频和图像存储在摄像模组配置的视频存储器内。
8.如权利要求1所述的低功耗多目标连续自动监测的摄像模组的摄像方法，其特征在于：还包括步骤(10)，当离散值K超过离散阈值时，记录从距离集合中被删除的中心坐标，形成补充中心坐标集合，当电动变焦镜头对修正距离集合中的中心坐标所在位置区域进行拍摄后，再依次对补充中心坐标集合所代表的位置区域或者目标人物进行拍摄。
CN202110561685.7A 2021-05-23 2021-05-23 一种低功耗多目标连续自动监测的摄像模组及其摄像方法 Active CN113301256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110561685.7A CN113301256B (zh) 2021-05-23 2021-05-23 一种低功耗多目标连续自动监测的摄像模组及其摄像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110561685.7A CN113301256B (zh) 2021-05-23 2021-05-23 一种低功耗多目标连续自动监测的摄像模组及其摄像方法

Publications (2)

Publication Number Publication Date
CN113301256A CN113301256A (zh) 2021-08-24
CN113301256B true CN113301256B (zh) 2023-12-22

Family

ID=77324050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110561685.7A Active CN113301256B (zh) 2021-05-23 2021-05-23 一种低功耗多目标连续自动监测的摄像模组及其摄像方法

Country Status (1)

Country Link
CN (1) CN113301256B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114285998A (zh) * 2021-12-24 2022-04-05 申通庞巴迪(上海)轨道交通车辆维修有限公司 一种车厢动态人像抓取与定位追随的视屏监控系统
CN115150552A (zh) * 2022-06-23 2022-10-04 中国华能集团清洁能源技术研究院有限公司 一种基于深度学习自适应的施工人员安全监测方法、系统及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4748509A (en) * 1986-09-18 1988-05-31 Victor Company Of Japan, Ltd. Focusing control and indication of information relating to an object
CN2667571Y (zh) * 2003-10-27 2004-12-29 北京雷波泰克信息技术有限公司 快速多目标人像自动识别与跟踪安全防御装置
CN101236599A (zh) * 2007-12-29 2008-08-06 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置
CN104135645A (zh) * 2014-07-31 2014-11-05 天津市亚安科技股份有限公司 人脸跟踪抓拍视频监控系统及方法
JP2016076791A (ja) * 2014-10-03 2016-05-12 キヤノン株式会社 物体追尾装置、物体追尾方法、およびプログラム
CN107343174A (zh) * 2017-07-26 2017-11-10 浙江树人学院 远距离移动目标防伪人脸虹膜抓拍装置及方法
CN108243304A (zh) * 2016-12-23 2018-07-03 厦门博聪信息技术有限公司 枪球一体式动态人脸抓拍专用摄像机及动态人脸抓拍方法
CN108900758A (zh) * 2018-09-07 2018-11-27 厦门博聪信息技术有限公司 一种枪球协作的智能人脸抓拍摄像机及其人脸抓拍方法
CN110719444A (zh) * 2019-11-07 2020-01-21 中国人民解放军国防科技大学 多传感器融合的全方位监控与智能摄像方法与系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101362765B1 (ko) * 2007-11-07 2014-02-13 삼성전자주식회사 촬영 장치 및 그 제어 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4748509A (en) * 1986-09-18 1988-05-31 Victor Company Of Japan, Ltd. Focusing control and indication of information relating to an object
CN2667571Y (zh) * 2003-10-27 2004-12-29 北京雷波泰克信息技术有限公司 快速多目标人像自动识别与跟踪安全防御装置
CN101236599A (zh) * 2007-12-29 2008-08-06 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置
CN104135645A (zh) * 2014-07-31 2014-11-05 天津市亚安科技股份有限公司 人脸跟踪抓拍视频监控系统及方法
JP2016076791A (ja) * 2014-10-03 2016-05-12 キヤノン株式会社 物体追尾装置、物体追尾方法、およびプログラム
CN108243304A (zh) * 2016-12-23 2018-07-03 厦门博聪信息技术有限公司 枪球一体式动态人脸抓拍专用摄像机及动态人脸抓拍方法
CN107343174A (zh) * 2017-07-26 2017-11-10 浙江树人学院 远距离移动目标防伪人脸虹膜抓拍装置及方法
CN108900758A (zh) * 2018-09-07 2018-11-27 厦门博聪信息技术有限公司 一种枪球协作的智能人脸抓拍摄像机及其人脸抓拍方法
CN110719444A (zh) * 2019-11-07 2020-01-21 中国人民解放军国防科技大学 多传感器融合的全方位监控与智能摄像方法与系统

Also Published As

Publication number Publication date
CN113301256A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
US10587813B2 (en) Intelligent object tracking
CN113301256B (zh) 一种低功耗多目标连续自动监测的摄像模组及其摄像方法
WO2018228410A1 (zh) 一种目标对象抓拍方法、装置及视频监控设备
WO2020029921A1 (zh) 一种监控方法与装置
CN109376601B (zh) 基于高速球的物体跟踪方法、监控服务器、视频监控系统
JP2006235921A (ja) 車番認識装置、および車番認識装置の電動レンズの調整方法
CN206260046U (zh) 一种基于红外热像仪的热源及闯入跟踪装置
US8406468B2 (en) Image capturing device and method for adjusting a position of a lens of the image capturing device
CN103929592A (zh) 全方位智能监控设备及方法
KR102196086B1 (ko) 카메라의 ptz 자율 자세보정 방법 및 이를 이용한 교통정보 시스템
CN102348102A (zh) 天台安全监控系统及方法
JP2003331265A (ja) 目画像撮像装置及び虹彩認証装置
KR20200132137A (ko) 움직임 감지와 레이더 센서를 이용한 탐지 객체 위치 산출 장치
CN113850137A (zh) 一种输电线路图像在线监测方法、系统及设备
WO2021204298A1 (zh) 一种拍摄方法、装置及系统
US20210271878A1 (en) Detecting dual band infrared light source for object tracking
CN109785562A (zh) 一种立式光电地面威胁警戒系统及可疑目标识别方法
CN113645397A (zh) 移动目标对象的跟踪方法、装置及跟踪系统
US20220086482A1 (en) Automated film-making using image-based object tracking
WO2022000211A1 (zh) 拍摄系统的控制方法、设备、及可移动平台、存储介质
JP3828096B2 (ja) 物体追跡装置
US20200213524A1 (en) Intelligent object tracking
US8433139B2 (en) Image processing apparatus, image processing method and program for segmentation based on a degree of dispersion of pixels with a same characteristic quality
US20120026292A1 (en) Monitor computer and method for monitoring a specified scene using the same
CN112990187A (zh) 一种基于手持终端图像的目标位置情报生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant