CN115512281B - 一种结合视频相机和激光雷达的入侵物监测方法和系统 - Google Patents

Abstract

本发明公开一种结合视频相机和激光雷达的入侵物监测方法和系统，其中，结合视频相机和激光雷达的入侵物监测方法包括：控制视频相机实时获取被监测场景的视频图像；根据预设图像检测入侵算法，检测视频图像中被监测场景的特征变化；根据被监测场景的特征变化，判断被监测场景是否存在入侵物；当判定被监测场景中存在入侵物时，根据入侵物在视频图像的坐标位置，启动激光雷达实时扫描入侵物，提取得到被监测场景中入侵物的三维点云；根据入侵物的三维点云，实时追踪监测入侵物。本发明的技术方案能解决现有技术中相机传感器不能依靠单个相机获取入侵目标的三维位置信息，不能对目标物准确定位的问题。

Description

一种结合视频相机和激光雷达的入侵物监测方法和系统

技术领域

本发明涉及入侵物监测技术领域，尤其涉及一种结合视频相机和激光雷达的入侵物监测方法和系统。

背景技术

入侵物监测技术能够在无人值守的情况下，实时或动态监测入侵目标。由于入侵物监测技术的上述功能，入侵物监测技术已经广泛应用在交通、建筑、安防等领域。

入侵物监测技术的基本原理是，首先传感器采集场景数据；然后计算机分析传感器上传的场景数据，根据该场景数据确定是否存在入侵目标；计算机在确定存在入侵目标时，将入侵目标的分析结果反馈给相应的接收端，完成一次完整的入侵物监测过程。当前，入侵物监测技术使用的传感器主要为被动获取数据的视频设备。该使用视频设备监测入侵物的技术中，视频设备通过内部的感光元件获取现场场景反射的光信号，形成图像或视频，利用相关的图像算法分析现场场景中是否有入侵物，比如通过与先前图像进行前景和背景像素的比对，分析算法存在入侵物。当视频设备检测到存在入侵物时向上级服务器进行报警。

现有的入侵物监测方法多是基于单一类型的传感器（例如相机）、使用单一方法实现。相机以其低成本、低功耗、高可靠性和使用寿命长等因素受到普遍采用；然而，相机传感器不能依靠单个相机获取入侵目标的三维位置信息，不能对目标物准确定位。若是激光器，其功耗较高、稳定性和使用寿命都不如相机。对于长期无人值守、无充足电源的使用场景，如野外地区，节能降耗和延长设备使用寿命是入侵监测需要考虑的主要需求。

发明内容

本发明提供一种结合视频相机和激光雷达的入侵物监测方案，旨在解决现有技术提供的相机传感器检测入侵物的方案，相机传感器不能依靠单个相机获取入侵目标的三维位置信息，不能对目标物准确定位的问题。

为实现上述目的，根据本发明的第一方面，本发明提供了一种结合视频相机和激光雷达的入侵物监测方法，包括：

控制视频相机实时获取被监测场景的视频图像；

根据预设图像检测入侵算法，检测视频图像中被监测场景的特征变化；

根据被监测场景的特征变化，判断被监测场景是否存在入侵物；

当判定被监测场景中存在入侵物时，根据入侵物在视频图像的坐标位置，启动激光雷达实时扫描入侵物，提取得到被监测场景中入侵物的三维点云；

根据入侵物的三维点云，实时追踪监测入侵物。

优选的，所述入侵物监测方法中，根据入侵物的三维点云，实时追踪监测入侵物的步骤包括：

使用入侵物的三维点云计算入侵物的三维坐标；

使用入侵物的三维坐标与被监测场景中目标保护物的三维坐标，计算入侵物与目标保护物的空间距离；

判断入侵物与目标保护物的空间距离是否小于或等于预设报警距离；

若空间距离小于或等于预设报警距离，则对入侵物进行报警；

以及，使用入侵物的三维坐标，判断入侵物是否离开被监测场景；

若入侵物离开被监测场景，则关闭激光雷达。

优选的，上述入侵物监测方法中，根据预设图像检测入侵算法，检测视频图像中被监测场景的特征变化的步骤包括：

计算视频图像中当前帧图像与前一帧图像的像素差值，得到差分图像；

根据差分图像中像素差值与预设差值阈值的大小关系，构建二值图像；

对二值图像依次进行图像腐蚀和图像膨胀，得到图像膨胀后的二值图像；

从图像膨胀后的二值图像中提取轮廓线，得到特征变化区域；

根据变化区域中的像素数量过滤变化区域，得到有效变化区域；

提取有效变化区域的边界，得到入侵物的包围盒坐标范围。

优选的，上述入侵物监测方法中，根据入侵物在视频图像的坐标位置，启动激光雷达实时扫描入侵物，提取得到被监测场景中入侵物的三维点云的步骤包括：

启动激光雷达扫描被监测场景，得到被监测场景的三维点云；

根据入侵物的包围盒坐标范围，按照预标定参数从被监测场景的三维点云中提取对应的点云坐标范围；

提取点云坐标范围内的三维点云；

使用前一帧点云图像对点云坐标范围内的三维点云进行坐标变化检测，得到坐标发生变化的点云集合。

优选的，上述入侵物监测方法中，使用前一帧点云图像对点云坐标范围内的三维点云进行坐标变化检测，得到坐标发生变化的点云集合的步骤包括：

分别从点云坐标范围内选取每一三维点，作为第一中心三维点；

计算前一帧图像中第一中心三维点与最近点的点间距；

判断第一中心三维点与最近点的点间距是否大于第一预设间距；

若点间距大于第一预设间距，则将第一中心三维点添加至点云集合；

判断点云集合中三维点的数量是否大于或等于预设点数阈值；

若三维点的数量大于或等于预设点数阈值，则将点云集合作为坐标发生变化的点云集合。

优选的，上述入侵物监测方法，在得到坐标发生变化的点云集合的步骤后还包括：

将坐标发生变化的点云集合存入完整点云集合中；

从完整点云集合中选取三维点，作为第二中心三维点；

从被监测场景的三维点云中搜索、与第二中心三维点的间距小于或等于第二预设间距，且不在完整点云集合的所有三维点；

将搜索到的所有三维点存入完整点云集合；

对完整点云集合中的所有三维点执行上述步骤，将得到的完整点云集合作为监测场景中入侵物的三维点云。

优选的，上述入侵物监测方法，在提取得到被监测场景中入侵物的三维点云的步骤之后还包括：

对于入侵物的三维点云中每一三维点，分别使用标定参数计算视频图像的图像坐标系下的像素坐标和像素值；

使用像素值对三维点进行赋色。

根据本发明的第二方面，本发明还提供了一种结合视频相机和激光雷达的入侵物监测系统，包括：

图像获取模块，用于控制视频相机实时获取被监测场景的视频图像；

特征检测模块，用于根据预设图像检测入侵算法，检测视频图像中被监测场景的特征变化；

入侵物判断模块，用于根据被监测场景的特征变化，判断被监测场景是否存在入侵物；

入侵物扫描模块，用于当入侵物判断模块判定被监测场景中存在入侵物时，根据入侵物在视频图像的坐标位置，启动激光雷达实时扫描入侵物；

点云提取模块，用于提取得到被监测场景中入侵物的三维点云；

入侵物追踪模块，用于根据入侵物的三维点云，实时追踪监测入侵物。

优选的，上述入侵物监测系统中，特征检测模块包括：

像素差值计算子模块，用于计算视频图像中当前帧图像与前一帧图像的像素差值，得到差分图像；

二值图像构建子模块，用于根据差分图像中像素差值与预设差值阈值的大小关系，构建二值图像；

二值图像处理子模块，用于对二值图像依次进行图像腐蚀和图像膨胀，得到图像膨胀后的二值图像；

轮廓线提取子模块，用于从图像膨胀后的二值图像中提取轮廓线，得到特征变化区域；

变化区域过滤子模块，用于根据变化区域中的像素数量过滤变化区域，得到有效变化区域；

边界提取子模块，用于提取有效变化区域的边界，得到入侵物的包围盒坐标范围。

优选的，上述入侵物监测系统中，入侵物扫描模块包括：

场景扫描子模块，用于启动激光雷达扫描被监测场景，得到被监测场景的三维点云；

坐标范围提取子模块，用于根据入侵物的包围盒坐标范围，按照预标定参数从被监测场景的三维点云中提取对应的点云坐标范围；

三维点云提取子模块，用于提取点云坐标范围内的三维点云；

坐标变化检测子模块，用于使用前一帧点云图像对点云坐标范围内的三维点云进行坐标变化检测，得到坐标发生变化的点云集合。

综上，本发明提供的结合视频相机和激光配搭的入侵物监测方案，通过视频相机与激光雷达相结合对入侵物进行监测，首先视频相机实时获取被监测场景的视频图像，然后根据预设图像检测入侵算法，检测视频图像中被监测场景的特征变化，从而通过影像判断是否存在可疑入侵物，当判定被监测场景中存在可疑入侵物时，根据入侵物在视频图像的坐标位置启动激光雷达实时扫描入侵物，从而提取得到被监测场景中入侵物的三维点云，实现对入侵物的实时追踪监测。因为本发明结合了视频相机和激光雷达，视频相机能够获得被监测场景的视频图像，以此作为激光雷达的启动依据，相机监测到入侵物时，启动激光雷达扫描场景，能够准确确定入侵物的准确位置和形状，提高了入侵物的检测准确率。通过上述方式，相较于单一的入侵物监测方式，不仅能够提高入侵物监测准确率，降低虚假报警率，还能够准确获得入侵物的各种特征。另外激光雷达并不一直开启，只有视频相机检测到存在入侵物时才开启激光雷达，因此能够节省激光雷达的功耗，从而解决了现有技术中难以获得入侵目标的三维位置信息，难以对入侵目标准确定位的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是本发明实施例提供的一种结合视频相机和激光雷达的入侵物监测方法的流程示意图；

图2是图1所示实施例提供的一种视频图像中被监测场景的特征变化的检测方法的流程示意图；

图3是图1所示实施例提供的一种启动激光雷达扫描入侵物的方法的流程示意图；

图4是图1所示实施例提供的一种三维点云的坐标变化检测方法的流程示意图；

图5是图1所示实施例提供的一种入侵物的实时追踪监测方法的流程示意图；

图6是本发明实施例提供的第二种入侵物监测方法的流程示意图；

图7是本发明实施例提供的一种三维点云的赋色方法的流程示意图；

图8是本发明实施例提供的一种图像差分方法的流程示意图；

图9是本发明实施例提供的一种结合视频相机和激光雷达的入侵物监测系统的结构示意图；

图10是图9所示实施例提供的一种特征检测模块的结构示意图；

图11是图9所示实施例提供的一种入侵物扫描模块的结构示意图。

本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决的技术问题是：

现有的入侵物监测方法多是基于单一类型的传感器（例如相机）、使用单一方法实现。相机以其低成本、低功耗、高可靠性和使用寿命长等因素受到普遍采用；然而，相机传感器不能依靠单个相机获取入侵目标的三维位置信息，不能对目标物准确定位。若是激光器，其功耗较高、稳定性和使用寿命都不如相机。对于长期无人值守、无充足电源的使用场景，如野外地区，节能降耗和延长设备使用寿命是入侵监测需要考虑的主要需求。

为了解决上述问题，本发明下述实施例提供了结合视频相机和激光雷达的入侵物监测方案，通过相机辅助激光雷达监测入侵物，相机的监测结果作为是否启动激光器的依据。相机监测到入侵物后，再启动激光雷达，扫描被监测场景，从而准确确定入侵物的位置、形状和尺寸等信息，从而达到节省激光雷达电量，提高激光雷达使用寿命，并且准确获取目标物信息，对入侵目标物准确定位的目的。

为实现上述目的，具体参见图1，图1是本发明实施例提供的一种结合视频相机和激光雷达的入侵物监测方法的流程示意图。如图1所示，该结合视频相机和激光雷达的入侵物监测方法，包括：

S110：控制视频相机实时获取被监测场景的视频图像。相机的能耗较低，因此使用视频相机能够实时获取被监测场景的视频图像，当出现入侵物时获取入侵物图像，从而获取入侵物的大体形状。

S120：根据预设图像检测入侵算法，检测视频图像中被监测场景的特征变化。

图像检测入侵算法本质上是图像变化检测算法，主要有图像差分法、背景建模法、光流跟踪法和深度学习等方法。

作为一种优选的实施例，如图2所示，以图像差分法为例，上述根据预设图像检测入侵算法，检测视频图像中被监测场景的特征变化的步骤包括：

S121：计算视频图像中当前帧图像与前一帧图像的像素差值，得到差分图像。该步骤即构建差分图像，通过前一帧图像与当前帧图像的像素差值，得到上述差分图像。

S122：根据差分图像中像素差值与预设差值阈值的大小关系，构建二值图像。通常需要预设像素差值阈值，这样通过比较像素差值与预设差值阈值的大小关系就能够构建二值图像。其中大于该预设差值阈值的点为变化点，小于该预设差值阈值的点为非变化点。

S123：对二值图像依次进行图像腐蚀和图像膨胀，得到图像膨胀后的二值图像。通过图像腐蚀，能够去除二值图像中部分伪变化点和小范围的变化点，从而提高而知图像的变化点检测能力，对二值图像进行图像膨胀，能够保证后续有效检测出满足一定尺寸的变化区。

S124：从图像膨胀后的二值图像中提取轮廓线，得到特征变化区域。通过提取轮廓线，得到特征变化区域，能够确定入侵物的坐标范围。

S125：根据变化区域中的像素数量过滤变化区域，得到有效变化区域。

S126：提取有效变化区域的边界，得到入侵物的包围盒坐标范围。该包围盒坐标范围即入侵物的图像坐标范围，即入侵物在视频图像中的坐标范围。

结合图8所示，本申请实施例提供的图像差分法检测入侵物的方法，主要包括以下步骤：（1）获取上一帧图像。

（2）获取当前帧图像。

（3）差分图像。构建差分图像，以上一帧图像为基准，当前帧图像与上一帧图像求差值 ，得到差分图像；

（4）差分图像去噪。由于噪声的存在，差分图像上存在伪变化值，使用去噪算法对差分图像去噪后，能够尽可能突出真实变化区域。差分图像去噪算法有基于空间域的均值滤波法、中值滤波法和基于频率域的低通滤波法；以中值滤波法为例，将差分图像上各像素值为其邻域内所有像素值的中值。

（5）二值图像生成。设定像素变化阈值，当像素变化值大于该像素变化阈值时，认定像素变化的点为变化点；若小于像素变化阈值，则认定该像素变化的点为非变化点。

（6）腐蚀。具体为二值图像的腐蚀，由于像素变化阈值不能完全作为变化点和非变化点的标准，二值图像中仍然存在伪变化点，通过腐蚀后，能够去除部分伪变化点和小范围变化区中的点，结构元素可采用十字形、矩形和椭圆形等，以结构元素对二值图像进行卷积运算。

（7）膨胀。二值图像膨胀方法为对（6）得到二值图像，由于真实变化区腐蚀后区域会缩小，为保证后续能有效检测出满足一定尺寸的变化区，再对腐蚀图像做膨胀，膨胀所用结构元素可采用十字形、矩形、椭圆形等，以结构元素对二值图像进行卷积运算。

（8）轮廓线提取。对（7）得到的二值图像提取等高轮廓线，轮廓等高线（即上述轮廓线）所包围的区域即为变化区域。

（9）变化区提取。设定阈值，当轮廓等高线所包围区域的像素数大于该阈值时，则认为是有效化区域；

最后进行包围盒获取。对（9）得到的有效变化区域提取边界，得到入侵物体包围盒的图像坐标范围。

在检测被监测场景的特征变化后，图1所示实施例提供的入侵物监测方法还包括：

S130：根据被监测场景的特征变化，判断被监测场景是否存在入侵物。因为已经提取得到入侵物包围盒坐标范围，因此若该入侵物包围盒坐标范围出现变化，变化幅度超过预定阈值即可判定被监测场景存在入侵物。

S140：当判定被监测场景中存在入侵物时，根据入侵物在视频图像的坐标位置，启动激光雷达实时扫描入侵物，提取得到被监测场景中入侵物的三维点云。

具体的，作为一种优选的实施例，如图3所示，上述根据入侵物在视频图像的坐标位置，启动激光雷达实时扫描入侵物，提取得到被监测场景中入侵物的三维点云的步骤包括：

S141：启动激光雷达扫描被监测场景，得到被监测场景的三维点云。

S142：根据入侵物的包围盒坐标范围，按照预标定参数从被监测场景的三维点云中提取对应的点云坐标范围。

S143：提取点云坐标范围内的三维点云。

S144：使用前一帧点云图像对点云坐标范围内的三维点云进行坐标变化检测，得到坐标发生变化的点云集合。

当视频相机检测到入侵行为发生后，启动激光雷达对被监测场景进行扫描，获取当前被监测场景的三维点云F。对上述实施例得到的入侵物的包围盒坐标范围，利用标定参数，获取其在三维点云中的位置，提取三维点云F中该包围盒坐标范围内的三维点云A；然后将该三维点云A和上一次采集的点云B做变化检测分析，就能够得到该三维点云中相对于上一次采集的三维点云发生了变化的部分点云集合的变化检测分析结果。

作为一种优选的实施例，如图4所示，上述入侵物监测方法中，步骤S144：使用前一帧点云图像对点云坐标范围内的三维点云进行坐标变化检测，得到坐标发生变化的点云集合的步骤包括：

S1441：分别从点云坐标范围内选取每一三维点，作为第一中心三维点；

S1442：计算前一帧图像中第一中心三维点与最近点的点间距；

S1443：判断第一中心三维点与最近点的点间距是否大于第一预设间距；

S1444：若点间距大于第一预设间距，则将第一中心三维点添加至点云集合；

S1445：判断点云集合中三维点的数量是否大于或等于预设点数阈值；

S1446：若三维点的数量大于或等于预设点数阈值，则将点云集合作为坐标发生变化的点云集合。

具体地，设入侵物的包围盒坐标范围内的三维点云A中一三维点为p（X,Y,Z），以三维点p为中心，搜索上一次采集点云B中离三维点p最近的三维点q，计算三维点q到上一次采集点云B的点三维p的点间距r，设第一预设间距为t，当点间距r大于第一预设间距t时，则认为三维点云A中三维点p是一个变化点，放入点云集合R中

对三维点云A中的所有三维点执行上述操作，最后得到的点云集合R为即为三维点云A相对于三维点云B发生了变化的点云集合；

设预设点数阈值为s，当点云集合R中的元素数量大于预设点数阈值s时，认为三维点云A相对于三维点云B发生了有效变化，点云集合R为三维点云A相对于三维点云B发生了变化的三维点云。

若未检测到有效变化，则认为上述视频相机检测到的入侵物像素变化是伪变化，此时可以停止激光扫描，继续使用视频相机进行检测，并控制激光雷达进入待机模式；若检测到有效变化，即存在有变化点云，则提取入侵物体的完整点云。

在提取得到被监测场景中入侵物的三维点云后，图1所示实施例提供的技术方案还包括：

S150：根据入侵物的三维点云，实时追踪监测入侵物。需要使用三维点云计算入侵物的三维坐标，然后与目标保护物的三维坐标进行距离判断，如果距离过短，则发出报警；若通过入侵物的三维点云的三维坐标确定入侵物离开被监测场景，则关闭该激光雷达，以降低激光雷达的功耗。

具体地，作为一种优选的实施例，如图5所示，上述根据入侵物的三维点云，实时追踪监测入侵物的步骤包括：

S151：使用入侵物的三维点云计算入侵物的三维坐标；

S152：使用入侵物的三维坐标与被监测场景中目标保护物的三维坐标，计算入侵物与目标保护物的空间距离；

S153：判断入侵物与目标保护物的空间距离是否小于或等于预设报警距离；

S154：若空间距离小于或等于预设报警距离，则对入侵物进行报警；

以及，

S155：使用入侵物的三维坐标，判断入侵物是否离开被监测场景；

S156：若入侵物离开被监测场景，则关闭激光雷达。

综上，本发明实施例提供的结合视频相机和激光配搭的入侵物监测方法，通过视频相机与激光雷达相结合对入侵物进行监测，首先视频相机实时获取被监测场景的视频图像，然后根据预设图像检测入侵算法，检测视频图像中被监测场景的特征变化，从而通过影像判断是否存在可疑入侵物，当判定被监测场景中存在可疑入侵物时，根据入侵物在视频图像的坐标位置启动激光雷达实时扫描入侵物，从而提取得到被监测场景中入侵物的三维点云，实现对入侵物的实时追踪监测。因为本发明结合了视频相机和激光雷达，视频相机能够获得被监测场景的视频图像，以此作为激光雷达的启动依据，相机监测到入侵物时，启动激光雷达扫描场景，能够准确确定入侵物的准确位置和形状，提高了入侵物的检测准确率。通过上述方式，相较于单一的入侵物监测方式，不仅能够提高入侵物监测准确率，降低虚假报警率，还能够准确获得入侵物的各种特征，从而解决了现有技术中难以获得入侵目标的三维位置信息，难以对入侵目标准确定位的问题。

由上述内容可知，在检测到入侵物的三维点云后，需要进行变化点云区域增长，从而获取完整入侵物的点云。由于上述实施例获取到的点云集合R是相对于只能提取相对于上一次三维点云B的变化部分，属于A的是入侵物体上的局部点云，要获取完整的目标点云入侵物体，须基于上述实施例得到的变化点云集合R和物体表面具有连续性的假设，获取入侵物体上完整变化目标的点云。

具体地，参见图6，作为一种优选的实施例，本申请实施例提供的入侵物监测方法，在得到坐标发生变化的点云集合的步骤后还包括以下步骤：

S210：将坐标发生变化的点云集合存入完整点云集合中。

S220：从完整点云集合中选取三维点，作为第二中心三维点。

S230：从被监测场景的三维点云中搜索、与第二中心三维点的间距小于或等于第二预设间距，且不在完整点云集合的所有三维点。

S240：将搜索到的所有三维点存入完整点云集合。

S250：对完整点云集合中的所有三维点执行上述步骤，将得到的完整点云集合作为监测场景中入侵物的三维点云。

本申请实施例提供的技术方案，从完整点云集合中选取三维点，选择间距小于或等于第二预设间距，即将该第二中心三维点附近一定距离范围内的所有三维点加入到该完整点云集合中，从而得到入侵物的完整点云。

具体地，设点云集合R所属的当前采集的场景点云为F，物体入侵物体完整点云集合为C，点云集合R为完整点云集合C的子集，以入侵物的完整点云集合C中未被搜索过的1点P为中心，在当前场景的三维点云F中搜索满足到点P距离小于第二预设间距e，且不在完整点云C中的所有三维点Q，认为这些三维点属于同一个物体，放入完整点云集合C中；

重新执行上一步骤直到完整点云集合C中不存在未被搜索过的点或完整点云集合C中点数大于点数阈值c。最后得到的点集C即为入侵物体入侵目标的点集。

另外，因为激光雷达获取的点云没有纹理和色彩信息，因此激光雷达获取的入侵物点云不便于理解。为了解决该问题，作为一种优选的实施例，如图7所示，上述入侵物监测方法，在提取得到被监测场景中入侵物的三维点云的步骤之后还包括：

S310：对于入侵物的三维点云中每一三维点，分别使用标定参数计算视频图像的图像坐标系下的像素坐标和像素值。

S320：使用像素值对三维点进行赋色。

对得到的入侵物的完整点云集合C中的各三维点，利用标定参数计算其在图像坐标系下的坐标（u，v）和像素值（R、G、B）。将像素值（R、G、B）作为三维点的色彩属性。每隔固定时长（如1s）重复执行上述使用视频相机和激光雷达检测入侵物的步骤，直到未检测到入侵物，此时关闭激光雷达，继续使用视频相机检测被监测场景。

基于上述方法实施例的同一构思，本发明实施例还提供了结合视频相机和激光雷达的入侵物监测系统，用于实现本发明的上述方法，由于该系统实施例解决问题的原理与方法相似，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

参见图9，图9为本发明还提供了一种结合视频相机和激光雷达的入侵物监测系统的结构示意图。如图9所示，该结合视频相机和激光雷达的入侵物监测系统，包括：

图像获取模块110，用于控制视频相机实时获取被监测场景的视频图像；

特征检测模块120，用于根据预设图像检测入侵算法，检测视频图像中被监测场景的特征变化；

入侵物判断模块130，用于根据被监测场景的特征变化，判断被监测场景是否存在入侵物；

入侵物扫描模块140，用于当入侵物判断模块判定被监测场景中存在入侵物时，根据入侵物在视频图像的坐标位置，启动激光雷达实时扫描入侵物；

点云提取模块150，用于提取得到被监测场景中入侵物的三维点云；

入侵物追踪模块160，用于根据入侵物的三维点云，实时追踪监测入侵物。

综上，本发明上述实施例提供的结合视频相机和激光配搭的入侵物监测系统，通过视频相机与激光雷达相结合对入侵物进行监测，首先视频相机实时获取被监测场景的视频图像，然后根据预设图像检测入侵算法，检测视频图像中被监测场景的特征变化，从而通过影像判断是否存在可疑入侵物，当判定被监测场景中存在可疑入侵物时，根据入侵物在视频图像的坐标位置启动激光雷达实时扫描入侵物，从而提取得到被监测场景中入侵物的三维点云，实现对入侵物的实时追踪监测。因为本发明结合了视频相机和激光雷达，视频相机能够获得被监测场景的视频图像，以此作为激光雷达的启动依据，相机监测到入侵物时，启动激光雷达扫描场景，能够准确确定入侵物的准确位置和形状，提高了入侵物的检测准确率。通过上述方式，相较于单一的入侵物监测方式，不仅能够提高入侵物监测准确率，降低虚假报警率，还能够准确获得入侵物的各种特征。另外激光雷达并不一直开启，只有视频相机检测到存在入侵物时才开启激光雷达，因此能够节省激光雷达的功耗，从而解决了现有技术中难以获得入侵目标的三维位置信息，难以对入侵目标准确定位的问题。

作为一种优选的实施例，如图10所示，上述入侵物监测系统中的特征检测模块120包括：

像素差值计算子模块121，用于计算视频图像中当前帧图像与前一帧图像的像素差值，得到差分图像；

二值图像构建子模块122，用于根据差分图像中像素差值与预设差值阈值的大小关系，构建二值图像；

二值图像处理子模块123，用于对二值图像依次进行图像腐蚀和图像膨胀，得到图像膨胀后的二值图像；

轮廓线提取子模块124，用于从图像膨胀后的二值图像中提取轮廓线，得到特征变化区域；

变化区域过滤子模块125，用于根据变化区域中的像素数量过滤变化区域，得到有效变化区域；

边界提取子模块126，用于提取有效变化区域的边界，得到入侵物的包围盒坐标范围。

作为一种优选的实施例，如图11所示，上述入侵物监测系统中，入侵物扫描模块140包括：

场景扫描子模块141，用于启动激光雷达扫描被监测场景，得到被监测场景的三维点云；

坐标范围提取子模块142，用于根据入侵物的包围盒坐标范围，按照预标定参数从被监测场景的三维点云中提取对应的点云坐标范围；

三维点云提取子模块143，用于提取点云坐标范围内的三维点云；

坐标变化检测子模块144，用于使用前一帧点云图像对点云坐标范围内的三维点云进行坐标变化检测，得到坐标发生变化的点云集合。

综上，与背景技术相比，本申请上述实施例提供的技术方案具有以下效果：

1. 基于视频相机的视频监控方法和基于三维激光雷达的方法只能提供单一的数据源，得到检测结果信息量较少。本发明实施例结合了相机和激光雷达数据的优点，相较传统方法，不仅可提高入侵物报警准确率，降低虚警率，还可得到入侵目标三维位置、尺寸、距离及色彩和纹理等信息。

2. 本发明上述实施例提供的技术方案以相机的监测结果作为激光器的引导，而不是使激光器实时工作，在节能和延迟激光器使用寿命方面有重要优势。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种结合视频相机和激光雷达的入侵物监测方法，其特征在于，包括：

控制视频相机实时获取被监测场景的视频图像；

根据预设图像检测入侵算法，检测所述视频图像中被监测场景的特征变化；

根据所述被监测场景的特征变化，判断所述被监测场景是否存在入侵物；

当判定所述被监测场景中存在入侵物时，根据所述入侵物在所述视频图像的坐标位置，启动激光雷达实时扫描所述入侵物，提取得到所述被监测场景中入侵物的三维点云；

根据所述入侵物的三维点云，实时追踪监测所述入侵物；

其中，所述根据预设图像检测入侵算法，检测所述视频图像中被监测场景的特征变化的步骤，包括：

计算所述视频图像中当前帧图像与前一帧图像的像素差值，得到差分图像；

根据所述差分图像中像素差值与预设差值阈值的大小关系，构建二值图像；

对所述二值图像依次进行图像腐蚀和图像膨胀，得到图像膨胀后的二值图像；

从所述图像膨胀后的二值图像中提取轮廓线，得到特征变化区域；

根据所述变化区域中的像素数量过滤所述变化区域，得到有效变化区域；

提取所述有效变化区域的边界，得到所述入侵物的包围盒坐标范围。

2.根据权利要求1所述的入侵物监测方法，其特征在于，所述根据所述入侵物的三维点云，实时追踪监测所述入侵物的步骤，包括：

使用所述入侵物的三维点云计算入侵物的三维坐标；

使用所述入侵物的三维坐标与所述被监测场景中目标保护物的三维坐标，计算所述入侵物与目标保护物的空间距离；

判断所述入侵物与目标保护物的空间距离是否小于或等于预设报警距离；

若所述空间距离小于或等于预设报警距离，则对所述入侵物进行报警；

以及，

使用所述入侵物的三维坐标，判断所述入侵物是否离开所述被监测场景；

若所述入侵物离开所述被监测场景，则关闭所述激光雷达。

3.根据权利要求1所述的入侵物监测方法，其特征在于，所述根据所述入侵物在所述视频图像的坐标位置，启动激光雷达实时扫描所述入侵物，提取得到所述被监测场景中入侵物的三维点云的步骤，包括：

启动所述激光雷达扫描所述被监测场景，得到所述被监测场景的三维点云；

根据所述入侵物的包围盒坐标范围，按照预标定参数从所述被监测场景的三维点云中提取对应的点云坐标范围；

提取所述点云坐标范围内的三维点云；

使用前一帧点云图像对所述点云坐标范围内的三维点云进行坐标变化检测，得到坐标发生变化的点云集合。

4.根据权利要求3所述的入侵物监测方法，其特征在于，所述使用前一帧点云图像对所述点云坐标范围内的三维点云进行坐标变化检测，得到坐标发生变化的点云集合的步骤，包括：

分别从所述点云坐标范围内选取每一三维点，作为第一中心三维点；

计算所述前一帧图像中所述第一中心三维点与最近点的点间距；

判断所述第一中心三维点与所述最近点的点间距是否大于第一预设间距；

若所述点间距大于第一预设间距，则将所述第一中心三维点添加至点云集合；

判断所述点云集合中三维点的数量是否大于或等于预设点数阈值；

若所述三维点的数量大于或等于预设点数阈值，则将所述点云集合作为坐标发生变化的点云集合。

5.根据权利要求4所述的入侵物监测方法，其特征在于，在得到坐标发生变化的点云集合的步骤后，所述方法还包括：

将所述坐标发生变化的点云集合存入完整点云集合中；

从所述完整点云集合中选取三维点，作为第二中心三维点；

从所述被监测场景的三维点云中搜索、与所述第二中心三维点的间距小于或等于第二预设间距，且不在所述完整点云集合的所有三维点；

将搜索到的所有三维点存入所述完整点云集合；

对所述完整点云集合中的所有三维点执行上述步骤，将得到的所述完整点云集合作为所述被监测场景中入侵物的三维点云。

6.根据权利要求1所述的入侵物监测方法，其特征在于，在所述提取得到所述被监测场景中入侵物的三维点云的步骤之后，所述方法还包括：

对于所述入侵物的三维点云中每一三维点，分别使用标定参数计算视频图像的图像坐标系下的像素坐标和像素值；

使用所述像素值对所述三维点进行赋色。

7.一种结合视频相机和激光雷达的入侵物监测系统，其特征在于，包括：

图像获取模块，用于控制视频相机实时获取被监测场景的视频图像；

特征检测模块，用于根据预设图像检测入侵算法，检测所述视频图像中被监测场景的特征变化；

入侵物判断模块，用于根据所述被监测场景的特征变化，判断所述被监测场景是否存在入侵物；

入侵物扫描模块，用于当所述入侵物判断模块判定所述被监测场景中存在入侵物时，根据所述入侵物在所述视频图像的坐标位置，启动激光雷达实时扫描所述入侵物；

点云提取模块，用于提取得到所述被监测场景中入侵物的三维点云；

入侵物追踪模块，用于根据所述入侵物的三维点云，实时追踪监测所述入侵物；

其中，所述特征检测模块，包括：

像素差值计算子模块，用于计算所述视频图像中当前帧图像与前一帧图像的像素差值，得到差分图像；

二值图像构建子模块，用于根据所述差分图像中像素差值与预设差值阈值的大小关系，构建二值图像；

二值图像处理子模块，用于对所述二值图像依次进行图像腐蚀和图像膨胀，得到图像膨胀后的二值图像；

轮廓线提取子模块，用于从所述图像膨胀后的二值图像中提取轮廓线，得到特征变化区域；

变化区域过滤子模块，用于根据所述变化区域中的像素数量过滤所述变化区域，得到有效变化区域；

边界提取子模块，用于提取所述有效变化区域的边界，得到所述入侵物的包围盒坐标范围。

8.根据权利要求7所述的入侵物监测系统，其特征在于，所述入侵物扫描模块，包括：

场景扫描子模块，用于启动所述激光雷达扫描所述被监测场景，得到所述被监测场景的三维点云；

坐标范围提取子模块，用于根据所述入侵物的包围盒坐标范围，按照预标定参数从所述被监测场景的三维点云中提取对应的点云坐标范围；

三维点云提取子模块，用于提取所述点云坐标范围内的三维点云；

坐标变化检测子模块，用于使用前一帧点云图像对所述点云坐标范围内的三维点云进行坐标变化检测，得到坐标发生变化的点云集合。

Images