CN111862511B - 基于双目立体视觉的目标入侵检测装置及其方法 - Google Patents

基于双目立体视觉的目标入侵检测装置及其方法 Download PDF

Info

Publication number
CN111862511B
CN111862511B CN202010796201.2A CN202010796201A CN111862511B CN 111862511 B CN111862511 B CN 111862511B CN 202010796201 A CN202010796201 A CN 202010796201A CN 111862511 B CN111862511 B CN 111862511B
Authority
CN
China
Prior art keywords
parallax
acquisition module
point
module
blk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010796201.2A
Other languages
English (en)
Other versions
CN111862511A (zh
Inventor
张先江
杨铭全
雷明军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Tianma Zhixing Technology Co ltd
Original Assignee
Hunan Hisignal Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Hisignal Information Technology Co ltd filed Critical Hunan Hisignal Information Technology Co ltd
Priority to CN202010796201.2A priority Critical patent/CN111862511B/zh
Publication of CN111862511A publication Critical patent/CN111862511A/zh
Application granted granted Critical
Publication of CN111862511B publication Critical patent/CN111862511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

基于双目立体视觉的目标入侵检测装置及其方法，该装置包括入侵检测模块、上位机和报警器，入侵检测模块与上位机相连，上位机与报警器相连；入侵检测模块包括双目立体视觉传感器、视差图处理模块，视差背景帧获取模块、掩膜图像获取模块、二值化结果矩阵获取模块和运动前景目标获取模块，双目立体视觉传感器与视差图处理模块相连，视差图处理模块与视差背景帧获取模块、掩膜图像获取模块相连，视差背景帧获取模块、掩膜图像获取模块与二值化结果矩阵获取模块相连，二值化结果矩阵获取模块与运动前景目标获取模块相连。还包括基于双目立体视觉的目标入侵检测方法。本发明对光照不敏感，避免噪声影响，减少虚景产生，降低虚报率，提高检测准确性。

Description

基于双目立体视觉的目标入侵检测装置及其方法
技术领域
本发明涉及目标入侵检测，具体是涉及一种基于双目立体视觉的目标入侵检测装置及其方法。
背景技术
随着社会经济的快速发展，人们对领域安全的重视程度也日益提高。采用视频监控来监测领域安全应用非常广泛，通过对视频进行智能分析，可判断出是否有活动目标越界、入侵感兴趣区域。
目前入侵目标检测大多是基于二维视觉图像来进行，基于二维视觉图像进行入侵目标检测存在对光照变化敏感，检测准确率低，虚报率高等缺陷。
发明内容
本发明所要解决的技术问题是，克服上述背景技术的不足，提供一种基于双目立体视觉的目标入侵检测装置及其方法，对光照不敏感，能够有效的避免视差数据的噪声影响，减少虚景的产生，降低虚报率，提高检测的准确性。
本发明解决其技术问题采用的技术方案是，一种基于双目立体视觉的目标入侵检测装置，包括入侵检测模块、上位机和报警器，入侵检测模块与上位机相连，上位机与报警器相连；所述入侵检测模块包括双目立体视觉传感器、视差图处理模块，视差背景帧获取模块、掩膜图像获取模块、二值化结果矩阵获取模块和运动前景目标获取模块，所述双目立体视觉传感器与视差图处理模块相连，视差图处理模块分别与视差背景帧获取模块、掩膜图像获取模块相连，视差背景帧获取模块、掩膜图像获取模块分别与二值化结果矩阵获取模块相连，二值化结果矩阵获取模块与运动前景目标获取模块相连；
所述双目立体视觉传感器用于采集立体视觉图像；
所述视差图处理模块用于采集视差图，并对视差数据进行排序计算；
所述视差背景帧获取模块用于根据视差数据的排序获取视差背景帧；
所述掩膜图像获取模块用于根据视差数据的排序获取掩膜图像；
所述二值化结果矩阵获取模块用于将视差背景帧，掩膜图像，视差当前帧进行背景分块差分二值化计算，得到二值化结果矩阵；
所述运动前景目标获取模块用于获取运动前景目标。
进一步，所述视差图处理模块包括视差图采集模块和视差数据排序计算模块，差图采集模块与视差数据排序计算模块相连，视差数据排序计算模块分别与视差背景帧获取模块、掩膜图像获取模块相连；
所述视差图采集模块用于从双目结构光相机上连续采集相同时间间隔的N副视差图；
所述视差数据排序计算模块用于对N个视差数据进行排序计算，获得像素点pi'在时间域上的最大值、最小值以及中值。
进一步，所述视差背景帧获取模块用于将视差数据排序计算模块获得的中值保存至视差背景帧bgim中。
进一步，所述掩膜图像获取模块用于将视差数据排序计算模块获得的最大值与最小值之差与设定的阈值thread1进行数值比较，如果最大值与最小值之差大于thread1，则令掩膜图像mask在pi'点的值mask(pi')＝0，如果最大值与最小值之差小于或等于thread1，则令掩膜mask在pi'点的值mask(pi')＝1。
进一步，所述运动前景目标获取模块包括连通区域获取模块和运动前景目标判别模块，连通区域获取模块与运动前景目标判别模块相连；
所述连通区域获取模块用于根据分块二值化结果矩阵求取连通区域；
所述运动前景目标判别模块用于将连通区域的连通区域点数目与设定的阈值thread3比较，如果某个连通区域的连通区域点数目大于设定的阈值thread3，则判定该连通区域为检测到的运动前景目标。
一种基于双目立体视觉的目标入侵检测方法，包括以下步骤：
步骤S1：提取视差背景帧和掩膜图像；
步骤S2：将视差背景帧，掩膜图像，视差当前帧进行背景分块差分二值化计算；
步骤S3：提取运动前景目标；
步骤S4：上传检测结果并报警；
步骤S5：更新视差背景帧和掩膜图像。
进一步，步骤S1中，提取视差背景帧和掩膜图像，具体包括以下步骤：
步骤S1-1：从双目立体视觉传感器上连续采集相同时间间隔的N副视差图imi，i＝1,2……N；
步骤S1-2：视差图中的第i'个像素点pi'在N副视差图imi的时间域上有N个视差数据：im1(pi'),im2(pi')……imN(pi')，i'＝1,2……n，n表示视差图中像素点的个数；对N个视差数据进行排序计算，获得该像素点pi'在时间域上的最大值、最小值以及中值；
步骤S1-3：将最大值与最小值之差与设定的阈值thread1进行数值比较，如果最大值与最小值之差大于thread1，则掩膜图像mask在pi'点的值mask(pi')＝0，即该像素点pi'标记为无效点，不参与视差背景差分计算；如果最大值与最小值之差小于或等于thread1，则掩膜mask在pi'点的值mask(pi')＝1，即该点标记为有效点，参与视差背景差分计算；
步骤S1-4：将步骤S1-2中的中值保存至视差背景帧bgim中，表示为bgim(pi')；
步骤S1-5：重复步骤S1-2～S1-4，依次取i'＝1，i'＝2……i'＝n；得到整个视差背景帧bgim和掩膜图像mask，视差背景帧bgim和掩膜图像mask的图像大小相同，图像大小表示为W×H。
进一步，步骤S2中，将视差背景帧，掩膜图像，视差当前帧进行背景分块差分二值化计算，具体包括以下步骤：
步骤S2-1：设定分块大小为blk_w×blk_h，blk_w表示块宽，blk_h表示块高；视差背景帧、视差当前帧的图像大小表示为W×H；分块的数目blk_num＝blk_num_w×blk_num_h，其中，
Figure BDA0002625718870000051
步骤S2-2：在每个块的范围内，选取掩膜图像为1的点，将该点的视差当前帧数据与将该点的视差背景帧数据做绝对差值，将差值与设定的阈值thread2作比较，如果差值大于thread2，记为1，如果差值小于或等于thread2，记为0，统计每个块内1的数量num；
步骤S2-3：计算每个块内1的数量num与分块大小blk_w×blk_h的比值：
Figure BDA0002625718870000052
如果计算结果大于设定的系数cor，则该块的差分结果为1，如果计算结果小于或等于设定的系数cor，则该块的差分结果为0，将数据保存在分块二值化结果矩阵imblk中，所有块计算完毕后，得到完整的分块二值化结果矩阵imblk，imblk的矩阵大小为blk_num_w×blk_num_h。
进一步，步骤S3中，提取运动前景目标，具体包括以下步骤：
步骤S3-1：根据分块二值化结果矩阵imblk求取连通区域；
步骤S3-2：将连通区域的连通区域点数目与设定的阈值thread3比较，如果某个连通区域的连通区域点数目大于设定的阈值thread3，则该连通区域为检测到的运动前景目标，也即检测到的入侵目标；所有的连通区域的连通区域点数目与设定的阈值thread3比较完毕后，即可得到运动前景目标的最终数目，也即入侵目标的数目。
进一步，步骤S3-1中，根据分块二值化结果矩阵imblk求取连通区域，具体包括以下步骤：
步骤S3-1-1：逐个的循环分块二值化结果矩阵imblk，找到某个为1的点，作为某个联通区域的起点；
步骤S3-1-2：以步骤S3-1-1中找到的点为起点，寻找相邻点为1的点，相邻点是指上下左右四个相邻位置的点，如果相邻点为1，则标记该相邻点的位置并保存在统计矩阵vector中；
步骤S3-1-3：以找到的相邻点为原点，找寻该原点的相邻点为1的点；
步骤S3-1-4：重复步骤S3-1-3，直至所有的点都寻找完毕，标记找到的所有点的位置并保存在统计矩阵vector中，找到的所有点所连通的区域则为找的某个连通区域；
步骤S3-1-5：将步骤S3-1-4中找到的连通区域的矩阵imblk对应点全部赋值0，然后重复步骤S3-1-1～S3-1-4，直至找到所有的连通区域。
与现有技术相比，本发明的优点如下：
本发明基于双目立体视觉传感器来实现目标入侵检测，利用双目立体视觉传感器提供的视差图像序列中的视差当前帧和视差背景帧差异化来检测图像视野范围内的入侵目标，对视差当前帧和视差背景帧分块处理，对光照不敏感，能够有效的避免视差数据的噪声影响，减少虚景的产生，降低虚报率，提高检测的准确性。
附图说明
图1是本发明实施例之基于双目立体视觉的目标入侵检测装置的结构框图。
图2是图1所示实施例的入侵检测模块的结构框图。
图3是本发明实施例之基于双目立体视觉的目标入侵检测方法的流程图。
图中，1—入侵检测模块，2—上位机，3—报警器，1-1—双目结构光相机，1-2—视差图处理模块，1-3—视差背景帧获取模块，1-4—掩膜图像获取模块，1-5—二值化结果矩阵获取模块，1-6—运动前景目标获取模块。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细描述。
参照图1，本实施例之基于双目立体视觉的目标入侵检测装置包括入侵检测模块1、上位机2、报警器3，入侵检测模块1与上位机2相连，上位机2与报警器3相连。
参照图2，入侵检测模块1包括双目结构光相机1-1、视差图处理模块1-2，视差背景帧获取模块1-3、掩膜图像获取模块1-4、二值化结果矩阵获取模块1-5和运动前景目标获取模块1-6，双目结构光相机1-1与视差图处理模块1-2相连，视差图处理模块1-2分别与视差背景帧获取模块1-3、掩膜图像获取模块1-4相连，视差背景帧获取模块1-3、掩膜图像获取模块1-4分别与二值化结果矩阵获取模块1-5相连，二值化结果矩阵获取模块1-5与运动前景目标获取模块1-6相连。
双目结构光相机1-1用于采集立体视觉图像。
视差图处理模块1-2用于采集视差图，并对视差数据进行排序计算。
视差背景帧获取模块1-3用于根据视差数据的排序获取视差背景帧。
掩膜图像获取模块1-4用于根据视差数据的排序获取掩膜图像。
二值化结果矩阵获取模块1-5用于将视差背景帧，掩膜图像，视差当前帧进行背景分块差分二值化计算，得到二值化结果矩阵。
运动前景目标获取模块1-6用于获取运动前景目标。
视差图处理模块1-2包括视差图采集模块和视差数据排序计算模块，差图采集模块与视差数据排序计算模块相连，视差数据排序计算模块分别与视差背景帧获取模块、掩膜图像获取模块相连。
视差图采集模块用于从双目结构光相机上连续采集相同时间间隔的N副视差图。
视差数据排序计算模块用于对N个视差数据进行排序计算，获得像素点pi'在时间域上的最大值、最小值以及中值。
视差背景帧获取模块1-3用于根据视差数据的排序获取视差背景帧，具体为用于将视差数据排序计算模块获得的中值保存至视差背景帧bgim中。
掩膜图像获取模块1-4用于根据视差数据的排序获取掩膜图像，具体为用于将视差数据排序计算模块获得的最大值与最小值之差与设定的阈值thread1进行数值比较，如果最大值与最小值之差大于thread1，则令掩膜图像mask在pi'点的值mask(pi')＝0，如果最大值与最小值之差小于或等于thread1，则令掩膜mask在pi'点的值mask(pi')＝1。
运动前景目标获取模块1-6包括连通区域获取模块、运动前景目标判别模块，连通区域获取模块与运动前景目标判别模块相连。
连通区域获取模块用于根据分块二值化结果矩阵求取连通区域。
运动前景目标判别模块用于将连通区域的连通区域点数目与设定的阈值thread3比较，如果某个连通区域的连通区域点数目大于设定的阈值thread3，则判定该连通区域为检测到的运动前景目标。
参照图3，本实施例之基于双目立体视觉的目标入侵检测方法，包括以下步骤：
步骤S1：提取视差背景帧和掩膜图像，具体包括以下步骤：
步骤S1-1：从双目结构光相机上连续采集相同时间间隔的N副视差图imi，i＝1,2……N；本实施例中，N＝10，实际应用中，N可取5～20。
步骤S1-2：视差图中的第i'个像素点pi'在N副视差图imi的时间域上有N个视差数据：im1(pi'),im2(pi')……imN(pi')，i'＝1,2……n，n表示视差图中像素点的个数；对N个视差数据进行排序计算，获得该像素点pi'在时间域上的最大值、最小值以及中值；
步骤S1-3：将最大值与最小值之差与设定的阈值thread1进行数值比较，如果最大值与最小值之差大于thread1，则掩膜图像mask在pi'点的值mask(pi')＝0，即该像素点pi'标记为无效点，不参与视差背景差分计算；如果最大值与最小值之差小于或等于thread1，则掩膜mask在pi'点的值mask(pi')＝1，即该点标记为有效点，参与视差背景差分计算；本实施例中，thread1＝4，实际应用中，thread1可取2～6。
步骤S1-4：将步骤S1-2中的中值保存至视差背景帧bgim中，表示为bgim(pi')；
步骤S1-5：重复步骤S1-2～S1-4，依次取i'＝1，i'＝2……i'＝n；得到整个视差背景帧bgim和掩膜图像mask，视差背景帧bgim和掩膜图像mask的图像大小相同，图像大小表示为W×H。
步骤S2：将视差背景帧，掩膜图像，视差当前帧(当前帧图像)进行背景分块差分二值化计算，具体包括以下步骤：
步骤S2-1：设定分块大小为blk_w×blk_h，blk_w表示块宽，blk_h表示块高；视差背景帧、视差当前帧的图像大小表示为W×H；分块的数目blk_num＝blk_num_w×blk_num_h，其中，
Figure BDA0002625718870000101
步骤S2-2：在每个块的范围内，选取掩膜图像为1的点(掩膜图像为0的点不参与计算)，将该点的视差当前帧数据与将该点的视差背景帧数据做绝对差值，将差值与设定的阈值thread2作比较，如果差值大于thread2，记为1，如果差值小于或等于thread2，记为0，统计每个块内1的数量num；本实施例中，thread2＝2，实际应用中，thread2可取1～4。
步骤S2-3：计算每个块内1的数量num与分块大小blk_w×blk_h的比值：
Figure BDA0002625718870000111
如果计算结果大于设定的系数cor，则该块的差分结果为1，如果计算结果小于或等于设定的系数cor，则该块的差分结果为0，将数据保存在分块二值化结果矩阵imblk中，所有块计算完毕后，得到完整的分块二值化结果矩阵imblk，imblk的矩阵大小为blk_num_w×blk_num_h。
步骤S3：提取运动前景目标，具体包括以下步骤：
步骤S3-1：根据分块二值化结果矩阵imblk求取连通区域；
步骤S3-1-1：逐个的循环分块二值化结果矩阵imblk，找到某个为1的点，作为某个联通区域的起点；
步骤S3-1-2：以步骤S3-1-1中找到的点为起点，寻找相邻点为1的点，相邻点是指上下左右四个相邻位置的点，如果相邻点为1，则标记该相邻点的位置并保存在统计矩阵vector中；
步骤S3-1-3：以找到的相邻点为原点，找寻该原点的相邻点为1的点；
步骤S3-1-4：重复步骤S3-1-3，直至所有的点都寻找完毕，标记找到的所有点的位置并保存在统计矩阵vector中，找到的所有点所连通的区域则为找的某个连通区域；
步骤S3-1-5：将步骤S3-1-4中找到的连通区域的矩阵imblk对应点全部赋值0，然后重复步骤S3-1-1～S3-1-4，直至找到所有的连通区域。
步骤S3-2：将连通区域的连通区域点数目与设定的阈值thread3比较，如果某个连通区域的连通区域点数目大于设定的阈值thread3，则该连通区域为检测到的运动前景目标，也即检测到的入侵目标；所有的连通区域的连通区域点数目与设定的阈值thread3比较完毕后，即可得到运动前景目标的最终数目，也即入侵目标的数目。本实施中，thread3＝4，即取值0.6×blk_w×blk_h，在实际应该中，thread3取值3～5。
步骤S4：上传检测结果并报警：将检测到的入侵目标上传给上位机，上位机驱动报警器进行语音报警。
步骤S5：更新视差背景帧和掩膜图像。
若连续监测到M次入侵结果或者连续M'次没有监测到入侵物体，重复步骤S1更新背景视差和掩膜图像。本实施例中，M＝300，M'＝300，在实际应用中，M可取值100～500，M'可取值100～500。
本发明基于双目立体视觉传感器(实施例中采用双目结构光相机)来实现目标入侵检测，利用双目立体视觉传感器提供的视差图像序列中的视差当前帧和视差背景帧差异化来检测图像视野范围内的入侵目标，对视差当前帧和视差背景帧分块处理，对光照不敏感，能够有效的避免视差数据的噪声影响，减少虚景的产生，降低虚报率，提高检测的准确性。
本领域的技术人员可以对本发明进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。
说明书中未详细描述的内容为本领域技术人员公知的现有技术。

Claims (9)

1.一种基于双目立体视觉的目标入侵检测装置，其特征在于：包括入侵检测模块、上位机和报警器，入侵检测模块与上位机相连，上位机与报警器相连；所述入侵检测模块包括双目立体视觉传感器、视差图处理模块，视差背景帧获取模块、掩膜图像获取模块、二值化结果矩阵获取模块和运动前景目标获取模块，所述双目立体视觉传感器与视差图处理模块相连，视差图处理模块分别与视差背景帧获取模块、掩膜图像获取模块相连，视差背景帧获取模块、掩膜图像获取模块分别与二值化结果矩阵获取模块相连，二值化结果矩阵获取模块与运动前景目标获取模块相连；
所述双目立体视觉传感器用于采集立体视觉图像；
所述视差图处理模块用于采集视差图，并对视差数据进行排序计算；
所述视差背景帧获取模块用于根据视差数据的排序获取视差背景帧；
所述掩膜图像获取模块用于根据视差数据的排序获取掩膜图像；
所述二值化结果矩阵获取模块用于将视差背景帧，掩膜图像，视差当前帧进行背景分块差分二值化计算，得到二值化结果矩阵，具体为：设定分块大小为blk_w×blk_h，blk_w表示块宽，blk_h表示块高；视差背景帧、视差当前帧的图像大小表示为W×H；分块的数目blk_num＝blk_num_w×blk_num_h，其中，
Figure FDA0003140929840000021
在每个块的范围内，选取掩膜图像为1的点，将该点的视差当前帧数据与将该点的视差背景帧数据做绝对差值，将差值与设定的阈值thread2作比较，如果差值大于thread2，记为1，如果差值小于或等于thread2，记为0，统计每个块内1的数量num；
计算每个块内1的数量num与分块大小blk_w×blk_h的比值：
Figure FDA0003140929840000022
如果计算结果大于设定的系数cor，则该块的差分结果为1，如果计算结果小于或等于设定的系数cor，则该块的差分结果为0，将数据保存在分块二值化结果矩阵imblk中，所有块计算完毕后，得到完整的分块二值化结果矩阵imblk，imblk的矩阵大小为blk_num_w×blk_num_h；
所述运动前景目标获取模块用于获取运动前景目标。
2.如权利要求1所述的基于双目立体视觉的目标入侵检测装置，其特征在于：所述视差图处理模块包括视差图采集模块和视差数据排序计算模块，差图采集模块与视差数据排序计算模块相连，视差数据排序计算模块分别与视差背景帧获取模块、掩膜图像获取模块相连；
所述视差图采集模块用于从双目结构光相机上连续采集相同时间间隔的N副视差图；
所述视差数据排序计算模块用于对N个视差数据进行排序计算，获得像素点pi'在时间域上的最大值、最小值以及中值。
3.如权利要求2所述的基于双目立体视觉的目标入侵检测装置，其特征在于：所述视差背景帧获取模块用于将视差数据排序计算模块获得的中值保存至视差背景帧bgim中。
4.如权利要求2所述的基于双目立体视觉的目标入侵检测装置，其特征在于：所述掩膜图像获取模块用于将视差数据排序计算模块获得的最大值与最小值之差与设定的阈值thread1进行数值比较，如果最大值与最小值之差大于thread1，则令掩膜图像mask在pi'点的值mask(pi')＝0，如果最大值与最小值之差小于或等于thread1，则令掩膜mask在pi'点的值mask(pi')＝1。
5.如权利要求1或2所述的基于双目立体视觉的目标入侵检测装置，其特征在于：所述运动前景目标获取模块包括连通区域获取模块和运动前景目标判别模块，连通区域获取模块与运动前景目标判别模块相连；
所述连通区域获取模块用于根据分块二值化结果矩阵求取连通区域；
所述运动前景目标判别模块用于将连通区域的连通区域点数目与设定的阈值thread3比较，如果某个连通区域的连通区域点数目大于设定的阈值thread3，则判定该连通区域为检测到的运动前景目标。
6.一种基于双目立体视觉的目标入侵检测方法，其特征在于，包括以下步骤：
步骤S1：提取视差背景帧和掩膜图像；
步骤S2：将视差背景帧，掩膜图像，视差当前帧进行背景分块差分二值化计算；
步骤S3：提取运动前景目标；
步骤S4：上传检测结果并报警；
步骤S5：更新视差背景帧和掩膜图像；
所述步骤S2中，将视差背景帧，掩膜图像，视差当前帧进行背景分块差分二值化计算，具体包括以下步骤：
步骤S2-1：设定分块大小为blk_w×blk_h，blk_w表示块宽，blk_h表示块高；视差背景帧、视差当前帧的图像大小表示为W×H；分块的数目blk_num＝blk_num_w×blk_num_h，其中，
Figure FDA0003140929840000041
步骤S2-2：在每个块的范围内，选取掩膜图像为1的点，将该点的视差当前帧数据与将该点的视差背景帧数据做绝对差值，将差值与设定的阈值thread2作比较，如果差值大于thread2，记为1，如果差值小于或等于thread2，记为0，统计每个块内1的数量num；
步骤S2-3：计算每个块内1的数量num与分块大小blk_w×blk_h的比值：
Figure FDA0003140929840000042
如果计算结果大于设定的系数cor，则该块的差分结果为1，如果计算结果小于或等于设定的系数cor，则该块的差分结果为0，将数据保存在分块二值化结果矩阵imblk中，所有块计算完毕后，得到完整的分块二值化结果矩阵imblk，imblk的矩阵大小为blk_num_w×blk_num_h。
7.如权利要求6所述的基于双目立体视觉的目标入侵检测方法，其特征在于：步骤S1中，提取视差背景帧和掩膜图像，具体包括以下步骤：
步骤S1-1：从双目立体视觉传感器上连续采集相同时间间隔的N副视差图imi，i＝1,2……N；
步骤S1-2：视差图中的第i'个像素点pi'在N副视差图imi的时间域上有N个视差数据：im1(pi'),im2(pi')……imN(pi')，i'＝1,2……n，n表示视差图中像素点的个数；对N个视差数据进行排序计算，获得该像素点pi'在时间域上的最大值、最小值以及中值；
步骤S1-3：将最大值与最小值之差与设定的阈值thread1进行数值比较，如果最大值与最小值之差大于thread1，则掩膜图像mask在pi'点的值mask(pi')＝0，即该像素点pi'标记为无效点，不参与视差背景差分计算；如果最大值与最小值之差小于或等于thread1，则掩膜mask在pi'点的值mask(pi')＝1，即该点标记为有效点，参与视差背景差分计算；
步骤S1-4：将步骤S1-2中的中值保存至视差背景帧bgim中，表示为bgim(pi')；
步骤S1-5：重复步骤S1-2～S1-4，依次取i'＝1，i'＝2……i'＝n；得到整个视差背景帧bgim和掩膜图像mask，视差背景帧bgim和掩膜图像mask的图像大小相同，图像大小表示为W×H。
8.如权利要求6所述的基于双目立体视觉的目标入侵检测方法，其特征在于：步骤S3中，提取运动前景目标，具体包括以下步骤：
步骤S3-1：根据分块二值化结果矩阵imblk求取连通区域；
步骤S3-2：将连通区域的连通区域点数目与设定的阈值thread3比较，如果某个连通区域的连通区域点数目大于设定的阈值thread3，则该连通区域为检测到的运动前景目标，也即检测到的入侵目标；所有的连通区域的连通区域点数目与设定的阈值thread3比较完毕后，即可得到运动前景目标的最终数目，也即入侵目标的数目。
9.如权利要求8所述的基于双目立体视觉的目标入侵检测方法，其特征在于：步骤S3-1中，根据分块二值化结果矩阵imblk求取连通区域，具体包括以下步骤：
步骤S3-1-1：逐个的循环分块二值化结果矩阵imblk，找到某个为1的点，作为某个联通区域的起点；
步骤S3-1-2：以步骤S3-1-1中找到的点为起点，寻找相邻点为1的点，相邻点是指上下左右四个相邻位置的点，如果相邻点为1，则标记该相邻点的位置并保存在统计矩阵vector中；
步骤S3-1-3：以找到的相邻点为原点，找寻该原点的相邻点为1的点；
步骤S3-1-4：重复步骤S3-1-3，直至所有的点都寻找完毕，标记找到的所有点的位置并保存在统计矩阵vector中，找到的所有点所连通的区域则为找的某个连通区域；
步骤S3-1-5：将步骤S3-1-4中找到的连通区域的矩阵imblk对应点全部赋值0，然后重复步骤S3-1-1～S3-1-4，直至找到所有的连通区域。
CN202010796201.2A 2020-08-10 2020-08-10 基于双目立体视觉的目标入侵检测装置及其方法 Active CN111862511B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010796201.2A CN111862511B (zh) 2020-08-10 2020-08-10 基于双目立体视觉的目标入侵检测装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010796201.2A CN111862511B (zh) 2020-08-10 2020-08-10 基于双目立体视觉的目标入侵检测装置及其方法

Publications (2)

Publication Number Publication Date
CN111862511A CN111862511A (zh) 2020-10-30
CN111862511B true CN111862511B (zh) 2021-08-24

Family

ID=72972716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010796201.2A Active CN111862511B (zh) 2020-08-10 2020-08-10 基于双目立体视觉的目标入侵检测装置及其方法

Country Status (1)

Country Link
CN (1) CN111862511B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734796B (zh) * 2021-01-18 2023-04-18 烟台南山学院 一种运动目标检测方法及实现运动目标检测方法的检测系统
CN117173643B (zh) * 2023-11-03 2024-01-30 深圳市湾测技术有限公司 一种基于3d相机的监控保护方法、装置及相关设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080007451A (ko) * 2005-04-11 2008-01-21 휴먼아이즈 테크놀로지즈 리미티드 깊이 착시 디지털 이미지화
JP2009139995A (ja) * 2007-12-03 2009-06-25 National Institute Of Information & Communication Technology ステレオ画像対における画素のリアルタイムマッチングのための装置及びプログラム
US8406619B2 (en) * 2009-03-23 2013-03-26 Vincent Pace & James Cameron Stereo camera with automatic control of interocular distance
CN101588445B (zh) * 2009-06-09 2011-01-19 宁波大学 一种基于深度的视频感兴趣区域提取方法
RU2426172C1 (ru) * 2010-01-21 2011-08-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
US9363498B2 (en) * 2011-11-11 2016-06-07 Texas Instruments Incorporated Method, system and computer program product for adjusting a convergence plane of a stereoscopic image
CN103106651B (zh) * 2012-07-16 2015-06-24 清华大学深圳研究生院 一种基于三维hough变换的获取视差平面的方法
US9609305B1 (en) * 2013-03-13 2017-03-28 Amazon Technologies, Inc. Feature-based rectification of stereo cameras
TWI520110B (zh) * 2014-08-21 2016-02-01 思創影像科技股份有限公司 判斷物體是否進入隨選區域之立體視覺偵測方法與系統
CN104376574B (zh) * 2014-12-03 2017-08-18 歌尔股份有限公司 一种图像污点测量方法及系统
CN107315095B (zh) * 2017-06-19 2019-07-02 哈尔滨工业大学 基于视频处理的具有光照适应性的多车辆自动测速方法
CN109831664B (zh) * 2019-01-15 2020-11-27 天津大学 基于深度学习的快速压缩立体视频质量评价方法
CN111553252B (zh) * 2020-04-24 2022-06-07 福建农林大学 一种基于深度学习及u-v视差算法的道路行人自动识别定位方法

Also Published As

Publication number Publication date
CN111862511A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN106327520B (zh) 一种运动目标检测方法及系统
CN108764085B (zh) 基于生成对抗网络的人群计数方法
US8831336B2 (en) Method, system and computer program product for detecting an object in response to depth information
CN108257165B (zh) 图像立体匹配方法、双目视觉设备
CN112883820B (zh) 基于激光雷达点云的道路目标3d检测方法及系统
CN103093198B (zh) 一种人群密度监测方法及装置
CN109035307B (zh) 基于自然光双目视觉的设定区域目标追踪方法及系统
CN102510734A (zh) 瞳孔检测装置及瞳孔检测方法
CN111862511B (zh) 基于双目立体视觉的目标入侵检测装置及其方法
CN110189294B (zh) 基于深度可信度分析的rgb-d图像显著性检测方法
CN102609724B (zh) 一种基于双摄像头的周围环境信息提示方法
US8989481B2 (en) Stereo matching device and method for determining concave block and convex block
CN106612385B (zh) 视频检测方法和视频检测装置
CN106530407A (zh) 一种用于虚拟现实的三维全景拼接方法、装置和系统
CN103747240A (zh) 融合颜色和运动信息的视觉显著性滤波方法
CN106920247A (zh) 一种基于比对网络的目标跟踪方法及装置
CN102982334A (zh) 基于目标边缘特征与灰度相似性的稀疏视差获取方法
CN106295657A (zh) 一种视频数据结构化过程中提取人体高度特征的方法
CN108388901B (zh) 基于空间-语义通道的协同显著目标检测方法
CN108230351A (zh) 基于双目立体视觉行人检测的柜台评价方法与系统
WO2019088333A1 (ko) 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치
CN104243970A (zh) 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法
CN113762009B (zh) 一种基于多尺度特征融合及双注意力机制的人群计数方法
CN102013101A (zh) 一种经过模糊后处理的置换篡改图像盲检测方法
CN112465735A (zh) 行人检测方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221027

Address after: Room 304D, Building B-7, Lugu Yuyuan Production Workshop, No. 27, Wenxuan Road, Changsha Hi tech Development Zone, Changsha, Hunan 410221

Patentee after: Hunan Tianma Zhixing Technology Co.,Ltd.

Address before: 410000 44th floor, international C1 office building, Wanda headquarters, Kaifu District, Changsha City, Hunan Province

Patentee before: HUNAN HISIGNAL INFORMATION TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right