CN112488022A - 一种环视全景监控方法、装置及系统 - Google Patents

一种环视全景监控方法、装置及系统 Download PDF

Info

Publication number
CN112488022A
CN112488022A CN202011440029.3A CN202011440029A CN112488022A CN 112488022 A CN112488022 A CN 112488022A CN 202011440029 A CN202011440029 A CN 202011440029A CN 112488022 A CN112488022 A CN 112488022A
Authority
CN
China
Prior art keywords
image
panoramic
target
monitoring
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011440029.3A
Other languages
English (en)
Inventor
胡钊政
彭超
李娜
袁行船
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202011440029.3A priority Critical patent/CN112488022A/zh
Publication of CN112488022A publication Critical patent/CN112488022A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

本发明涉及一种环视全景监控方法，包括以下步骤：获取监控场景的全景图像以及多维激光点云数据；采用训练图像集对神经网络进行训练得到图像分类器，通过所述图像分类器对所述全景图像中监控目标进行检测识别，得到第一目标识别结果；对所述多维激光点云数据中的前景点进行分离，利用聚类算法对所述前景点进行聚类，得到第二目标识别结果；将所述第二目标识别结果映射到所述全景图像中，并采用DS证据法对所述第一目标识别结果和所述第二目标识别结果进行融合，得到融合目标识别结果。本发明能够实现360度全景监控，且能够对监控目标的三维结构位置信息进行获取。

Description

一种环视全景监控方法、装置及系统
技术领域
本发明涉及智能监控技术领域，尤其涉及一种环视全景监控方法、装置、系统及计算机存储介质。
背景技术
视频监控系统被广泛应用于城市安防、交通监控、室内监控、作业现场监控等系统中。近年来，视频监控系统中的摄像机成像核心技术得到了飞速的发展。一方面，摄像机的成像性能得到显著的提高：成像的画质与分辨率都得到了长足的进步，使得监控系统能够获取更高质量的视频图像数据，实现更加精细、准确的监控任务。另一方面，摄像机的价格也显著下降，进一步推动视频监控系统的更加全面的部署。随着技术与监控需求的发展，新一代的安防系统对传感器成像质量提出了更高的要求。
例如，面向新一代的智能交通路侧终端(RSU)是车路协同系统的重要组成部分，与传统的视频监控系统相比，这种RSU系统不仅需要检测出大范围路段上的交通目标，还需要精确计算出目标位置、姿态、轨迹等信息。但是，目前的主流监控摄像机存在着视场角小(典型视场角在40度与60度之间)、监控区域有限等缺点，不能满足大场景特别是全景场景的监控需求。另一方面，基于摄像机的监控系统无法获取场景与目标的三维结构信息，在目标高精度位置计算、轨迹计算等方面存在较大的技术难题。
发明内容
有鉴于此，有必要提供一种环视全景监控方法、装置及系统，用以解决目前监控系统无法实现全景监控、无法获取监控目标的三维结构信息的问题。
本发明提供一种环视全景监控方法，包括以下步骤：
获取监控场景的全景图像以及多维激光点云数据；
采用训练图像集对神经网络进行训练得到图像分类器，通过所述图像分类器对所述全景图像中监控目标进行检测识别，得到第一目标识别结果；
对所述多维激光点云数据中的前景点进行分离，利用聚类算法对所述前景点进行聚类，得到第二目标识别结果；
将所述第二目标识别结果映射到所述全景图像中，并采用DS证据法对所述第一目标识别结果和所述第二目标识别结果进行融合，得到融合目标识别结果。
进一步的，获取监控场景的全景图像，具体为：
获取主摄像机与次摄像机之间的主次标定矩阵；
分别获取所述主摄像机以及所述次摄像机采集的监控场景的图像数据，并根据所述主次标定矩阵对各摄像机采集的图像数据进行拼接得到所述全景图像。
进一步的，采用训练图像集对神经网络进行训练得到图像分类器，通过所述图像分类器对所述全景图像中监控目标进行检测识别，得到第一目标识别结果，具体为：
采集监控场景的图像样本，并对所述图像样本中监控目标进行标注，得到所述训练图像集；
采用所述训练图像集对所述神经网络进行训练，得到所述图像分类器；
将所述全景图像输入所述图像分类器中，得到所述第一目标识别结果。
进一步的，对所述多维激光点云数据中的前景点进行分离，具体为：
利用激光高斯模型对激光雷达每个测量角度进行高斯背景建模，计算多次测量的距离的均值和均方差；
基于所述均值和均方差建立高斯背景模型，并根据所述高斯背景模型设置分离阈值；
计算所述多维激光点云数据中各数据点属于背景的概率；
判断数据点属于背景的概率是否大于所述分离阈值，如果大于，则将对应数据点标记为背景点，否则将对应数据点标记为前景点。
进一步的，利用聚类算法对所述前景点进行聚类，得到第二目标识别结果，具体为：
利用DBSCAN聚类算法对所述前景点的运动目标点进行聚类，得到所述第二目标识别结果。
进一步的，将所述第二目标识别结果映射到所述全景图像中，具体为：
获取主摄像机与激光雷达之间的异构标定矩阵；
基于所述异构标定矩阵将所述第二目标识别结果映射到所述全景图像中。
进一步的，采用DS证据法对所述第一目标识别结果和所述第二目标识别结果进行融合，得到融合目标识别结果，具体为：
基于监控场景内的监控目标种类设置识别框架，基于所述识别框架获取相应的幂集；
采集监控场景的测试图像以及测试点云数据，建立测试图像集以及测试点云数据集；
采用测试图像集对图像分类器进行测试，得到图像分类器针对所述幂集中每一子集的mass函数；
采用点云数据集对点云分类器进行测试，得到点云分类器针对所述幂集中每一子集的mass函数；
根据所述mass函数计算各监控目标的信度函数和似真度函数；
根据Dempster合成规则计算各监控目标的合成mass函数；
基于所述合成mass函数分别计算所述第一目标识别结果和所述第二目标识别结果的基本概率值，选择基本概率值较大的结果作为所述融合目标结果。
本发明还提供一种环视全景监控装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述环视全景监控方法。
本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现所述环视全景监控方法。
本发明还提供一种环视全景监控系统，包括所述环视全景监控装置，还包括主摄像机、次摄像机、激光雷达以及供电电源；
所述主摄像机以及所述次摄像机用于采集所述图像数据，并发送至所述环视全景监控装置；
所述激光雷达用于采集所述三维激光点云数据，并发送至所述环视全景监控装置；
所述供电电源用于为所述主摄像机、所述次摄像机以及所述激光雷达供电。
有益效果：本方法利用多维激光点云数据与全景图像数据相融合，在传统视频监控的基础上进一步扩大监控范围并获取监控目标三维信息。与现有监控技术相比较，本发明改进了传统视频监控过程中的无法获取位置信息的缺陷，可以通过三维激光点云数据获取到监控目标的位置信息，同时，三维激光点云数据与全景图像融合的监控方向可以实现360度环向的全景监控效果，扩大了监控范围、增强监控的准确性。
附图说明
图1为本发明提供的环视全景监控方法第一实施例的方法流程图；
图2为本发明提供的环视全景监控系统第一实施例的系统结构图；
附图标记：
1、激光雷达；2、主摄像机；3、第一次摄像机；4、第二次摄像机；5、供电电源；6、三角支撑架。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
实施例1
如图1所示，本发明的实施例1提供了环视全景监控方法，包括以下步骤：
S1、获取监控场景的全景图像以及多维激光点云数据；
S2、采用训练图像集对神经网络进行训练得到图像分类器，通过所述图像分类器对所述全景图像中监控目标进行检测识别，得到第一目标识别结果；
S3、对所述多维激光点云数据中的前景点进行分离，利用聚类算法对所述前景点进行聚类，得到第二目标识别结果；
S4、将所述第二目标识别结果映射到所述全景图像中，并采用DS证据法对所述第一目标识别结果和所述第二目标识别结果进行融合，得到融合目标识别结果。
本实施例首先获取了全景图像和多维激光点云数据两种不同类型的数据。然后利用已经训练好的图像分类器对全景图像中的监控目标(本实施例中监控目标为行人与车辆)进行检测与识别；基于激光高斯模型对所采集多维激光点云数据中的前景点进行分离并利用聚类算法对行人与车辆进行检测与识别；最后将两种结果都映射到全景图像中，并基于DS证据法对两种结果进行融合，得到鲁棒的、精确的目标检测与识别结果。且还可以进一步根据三维激光点云数据获取监控目标的位置信息。
本方法利用多维激光点云数据与全景图像数据相融合，在传统视频监控的基础上进一步扩大监控范围并获取监控目标三维信息。与现有监控技术相比较，本发明改进了传统视频监控过程中的无法获取位置信息的缺陷，可以通过三维激光点云数据获取到监控目标的位置信息，同时，三维激光点云数据与全景图像融合的监控方向可以实现360度环向的全景监控效果，扩大了监控范围、增强监控的准确性。
优选的，获取监控场景的全景图像，具体为：
获取主摄像机与次摄像机之间的主次标定矩阵；
分别获取所述主摄像机以及所述次摄像机采集的监控场景的图像数据，并根据所述主次标定矩阵对各摄像机采集的图像数据进行拼接得到所述全景图像。
本实施例采用多个摄像机(三个及以上)获取监控场景的全景图像，多个摄像机中选择一个作为主摄像机，其它作为次摄像机。主摄像机和次摄像机分别从不同角度获取监控场景的图像数据，最终拼接成全景图像。由于需要对各摄像机所拍摄的图像数据进行拼接，因此首先需要对各摄像机进行标定。对主摄像机与各次摄像机之间进行两两标定，获得主摄像机与每一个次摄像机之间的旋转矩阵、平移矩阵，从而得到各摄像机之间的主次标定矩阵。
优选的，获取主摄像机与次摄像机之间的主次标定矩阵，具体为：
采用张正友标定法对所述主摄像机与所述次摄像机进行标定，得到所述主摄像机与所述次摄像机之间的旋转矩阵和平移矩阵；
结合所述主摄像机与所述次摄像机之间的旋转矩阵和平移矩阵，得到所述主次标定矩阵。
具体的，本实施例中次摄像机有两个：
对主摄像机和第一次摄像机进行联合标定，求其外参矩阵：将棋盘格标定板放置在主摄像机与第一次摄像机的视野重合区域，分别拍摄一张图像，通过张正友标定法分别计算主摄像机与标定板之间的旋转矩阵、平移矩阵，以及第一次摄像机与标定板之间的旋转矩阵、平移矩阵：
b＝R00a+T00；
b＝R10a1+T10；
其中，b标定板坐标系下的标定点，a为主摄像机坐标系下的标定点，R00为主摄像机与标定板之间的旋转矩阵，T00为主摄像机与标定板之间的平移矩阵，a1为第一次摄像机坐标系下的标定点，R10为第一次摄像机与标定板之间的旋转矩阵，T10为第一次摄像机与标定板之间的平移矩阵；
那么主摄像机与第一次摄像机之间的旋转矩阵和平移矩阵分别为：
Figure BDA0002830182310000071
Figure BDA0002830182310000072
其中，R1为主摄像机与第一次摄像机之间的旋转矩阵，T1为主摄像机与第一次摄像机之间的平移矩阵；
同样地，将棋盘格标定板放置在主摄像机与第二次摄像机的视野重合区域，分别拍摄一张图像，通过张正友标定法分别计算主摄像机与标定板之间的旋转矩阵、平移矩阵，以及第二次摄像机与标定板之间的旋转矩阵、平移矩阵：
b＝R00a+T00；
b＝R20a2+T20；
其中，b标定板坐标系下的标定点，a为主摄像机坐标系下的标定点，R00为主摄像机与标定板之间的旋转矩阵，T00为主摄像机与标定板之间的平移矩阵，a2为第二次摄像机坐标系下的标定点，R20为第二次摄像机与标定板之间的旋转矩阵，T20为第二次摄像机与标定板之间的平移矩阵；
那么主摄像机与第二次摄像机之间的旋转矩阵和平移矩阵分别为：
Figure BDA0002830182310000073
Figure BDA0002830182310000074
其中，R2为主摄像机与第二次摄像机之间的旋转矩阵，T2为主摄像机与次摄像机之间的平移矩阵。
优选的，根据所述主次标定矩阵对各摄像机采集的图像数据进行拼接得到全景图像，具体为：
采用张正友标定法对所述主摄像机和所述次摄像机分别进行标定，得到每个摄像机的内参数矩阵和畸变矩阵；
根据各摄像机的内参数矩阵以及畸变矩阵对相应的图像数据进行畸变矫正；
根据所述主次标定矩阵将所述次摄像机对应的图像数据拼接到主摄像机对应的图像数据上，得到所述全景图像。
通过标定得到的每个摄像机的内参数矩阵和畸变系数矩阵，将各摄像机拍摄的图像进行畸变矫正，然后通过图像匹配将两个次摄像机所拍摄的图像拼接到主摄像机拍摄的图像上，形成一张全景图像。具体的，本实施例中摄像机采用鱼眼摄像机，使用多源异构传感器标定方法将3个鱼眼摄像机采集图像数据拼接成视野范围为360度的全景图像。
优选的，采用训练图像集对神经网络进行训练得到图像分类器，通过所述图像分类器对所述全景图像中监控目标进行检测识别，得到第一目标识别结果，具体为：
采集监控场景的图像样本，并对所述图像样本中监控目标进行标注，得到所述训练图像集；
采用所述训练图像集对所述神经网络进行训练，得到所述图像分类器；
将所述全景图像输入所述图像分类器中，得到所述第一目标识别结果。
具体的，本实施例首先采集大量行人与车辆的图像数据，并进行行人与车辆的标注，然后使用Mask-RCNN网络进行训练得到行人与车辆的Mask-RCNN图像分类器。最后使用Mask-RCNN图像分类器提取全景图像中的行人与车辆目标。
优选的，对所述多维激光点云数据中的前景点进行分离，具体为：
利用激光高斯模型对激光雷达每个测量角度进行高斯背景建模，计算多次测量的距离的均值和均方差；
基于所述均值和均方差建立高斯背景模型，并根据所述高斯背景模型设置分离阈值；
计算所述多维激光点云数据中各数据点属于背景的概率；
判断数据点属于背景的概率是否大于所述分离阈值，如果大于，则将对应数据点标记为背景点，否则将对应数据点标记为前景点。
具体的，利用激光雷达测距的工作原理：激光雷达水平视场角为360度，水平角分辨率为0.1-0.4度，垂直视场角根据激光雷达线束的不同而不同，激光雷达测距精度为3cm左右。当激光雷达某一线束在测距范围内扫描到某一物体时将会记录激光雷达远点到该物体的距离。
激光高斯模型对每个测量角度进行高斯背景建模，设某个角度θ对应的N次测量距离为d1,d2,…,dN，则这N次测量对应的均值与均方差可计算如下：
Figure BDA0002830182310000091
Figure BDA0002830182310000092
其中，μ(θ)为均值，dj为第j次测量的距离，j＝1,2,…,N，N为测量次数，σ(θ)为均方差；
利用上述计算得到的均值和均方差可以得到对应的高斯背景模型并根据高斯模型设定对应的阈值ξ；
计算所述多维激光点云数据中各数据点属于背景的概率：
Figure BDA0002830182310000093
其中，θ为多维激光点云数据中数据点对应的测量角度，d(θ)为测量角度θ对应的测量值，P(d(θ))为多维激光点云数据中数据点属于背景的概率；
在上式中，通过输入一个在测量角度θ的新的测量值d(θ)，即可计算得到该测量角度对应的数据点属于背景点的概率。若P(d(θ))＞ξ，则该数据点被标记为背景目标；若P(d(θ))≤ξ，则该点被标记为前景目标。
优选的，利用聚类算法对所述前景点进行聚类，得到第二目标识别结果，具体为：
利用DBSCAN聚类算法对所述前景点的运动目标点进行聚类，得到所述第二目标识别结果。
通过激光高斯模型可以提取监控场景中的运动目标，并剔除所有的背景目标。但是，提取的运动目标点可能属于不同的运动目标，因此，需要通过聚类算法将这些提取出来的运动目标点进行聚类，获得运动目标更精细化的表征。本实施例采用经典的DBSCAN聚类算法对提取的运动目标点进行聚类，根据激光点云的特征对行人和车辆点云进行提取。
优选的，将所述第二目标识别结果映射到所述全景图像中，具体为：
获取主摄像机与激光雷达之间的异构标定矩阵；
基于所述异构标定矩阵将所述第二目标识别结果映射到所述全景图像中。
要实现基于全景图像和多维激光点云数据这两种不同类型数据所获得的识别结果的融合，需要先对采集全景图像的摄像机与采集多维激光点云数据的激光雷达进行标定。
优选的，获取主摄像机与激光雷达之间的异构标定矩阵，具体为：
采集多张标定板点云数据，同时采集多张标定板图像；
采用张正友标定法获取每张标定板图像中标定板平面的法向量与距离；
计算每张标定板点云数据中标定板平面的法向量与距离；
计算主摄像机与激光雷达之间的旋转矩阵；
计算主摄像机与激光雷达之间的平移矩阵；
结合所述主摄像机与所述激光雷达之间的旋转矩阵和平移矩阵，得到所述异构标定矩阵。
具体的，将标定板放置在激光雷达和主摄像机的视野重合区域，不断地改变标定板位置但保证标定板始终在激光雷达和主摄像机的视野重合区域，采集多张标定板点云数据，同时采集多张标定板图像，采集次数大于3，利用张正友标定法获取每张图像中标定板平面的法向量与距离；提取标定板点云数据中的标定板所在的标定板点云平面，计算每张标定板点云平面的法向量与距离，那么激光雷达到主摄像机的旋转矩阵R3和平移矩阵T3分别为：
R3[n1,n2,…,na]＝[m1,m2,…,ma]；
R3＝nimi T(mimi T)-1；
其中，R3为主摄像机与激光雷达之间的旋转矩阵，mi为第i张标定板图像中标定板平面的法向量，mi T为mi的转置，ni为第i张标定板点云数据中标定板平面的法向量，i＝1,2,…,a，a为标定板图像的张数，即标定板点云数据的张数，a≥3
Figure BDA0002830182310000111
T3＝(R3n)-T(d-l)T；
其中，A为标定板图像中标定板平面，A＝[mi,li]T，li为第i张标定板图像中标定板平面的距离，B为标定板点云数据中标定板平面，B＝[ni,di]T，di为第i张标定板点云数据中标定板平面的距离，x为主摄像机坐标系中标定点的3D坐标，y为激光雷达坐标系中标定点的3D坐标，T3为主摄像机与激光雷达之间的平移矩阵，n＝[n1,n2,…,na]，m＝[m1,m2,…,ma]，d＝[d1,d2,…,da]，l＝[l1,l2,…,la]。
优选的，并采用DS证据法对所述第一目标识别结果和所述第二目标识别结果进行融合，得到融合目标识别结果，具体为：
基于监控场景内的监控目标种类设置识别框架，基于所述识别框架获取相应的幂集；
采集监控场景的测试图像以及测试点云数据，建立测试图像集以及测试点云数据集；
采用测试图像集对图像分类器进行测试，得到图像分类器针对所述幂集中每一子集的mass函数；
采用点云数据集对点云分类器进行测试，得到点云分类器针对所述幂集中每一子集的mass函数；
根据所述mass函数计算各监控目标的信度函数和似真度函数；
根据Dempster合成规则计算各监控目标的合成mass函数；
基于所述合成mass函数分别计算所述第一目标识别结果和所述第二目标识别结果的基本概率值，选择基本概率值较大的结果作为所述融合目标结果。
优选的，还包括：根据所述融合目标识别结果以及所述多维激光点云数据获取监控目标的位置信息。
采集监控场景的测试图像以及测试点云数据，再通过训练好的Mask-RCNN图像分类器和基于激光高斯模型的运动目标检测算法分别对测试图像以及测试点云数据，进行目标检测与识别，最后根据目标检测与识别结果人为地计算两种分类器针对行人与车辆的进行检测与识别的正确率、错检率和漏检率。
具体的，以X表示行人、Y表示车辆，设识别框架Θ＝{X,Y}，幂集2Θ是上所有子集构成的集类，那么：
2Θ＝{X|X,Y|X,Φ|X,X|Y,Y|Y,Φ|Y,X|Φ,Y|Φ,φ}
其中，XY表示真实目标为Y而检测识别目标为X，其它同理可得；Φ表示没有目标或没有识别出目标，φ表示空集，即真实目标为空而检测识别目标也为空。
每个幂集的mass函数可由测试结果获得，其中m(Φ|Φ)＝0，
Figure BDA0002830182310000125
通过mass函数获取X与Y的信度函数与似真度函数；
根据Dempster合成规则计算识别目标为行人的合成mass函数：
Figure BDA0002830182310000121
其中，
Figure BDA0002830182310000122
针对行人的合成mass函数，m1(A)表示使用激光雷达进行目标识别的mass函数，m2(B)表示使用摄像机进行识别的mass函数，K为归一化常数：
Figure BDA0002830182310000124
同理可计算识别目标为车辆的合成mass函数
Figure BDA0002830182310000123
根据最大基本概率赋值决策准则对合成mass函数进行判断，选择可能性最大的结果作为融合结果。
本发明针对监控领域的技术发展趋势，提出了一种基于全景图像和多维激光点云数据融合的全景智能监控方法。本方法提出利用多台广角摄像机实现全景视觉成像，通过激光雷达与摄像机的高精度标定与融合，实现在颜色(即RGB三个颜色通道)和三维结构(即XYZ三个方向的坐标)共六个维度(6D)的全景成像，在此基础上，实现监控目标智能化检测与识别。
实施例2
本发明的实施例2提供了环视全景监控装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现实施例1提供的环视全景监控方法。
本发明实施例提供的环视全景监控装置，用于实现环视全景监控方法，因此，环视全景监控方法所具备的技术效果，环视全景监控装置同样具备，在此不再赘述。
实施例3
本发明的实施例3提供了计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例1提供的环视全景监控方法。
本发明实施例提供的计算机存储介质，用于实现环视全景监控方法，因此，环视全景监控方法所具备的技术效果，计算机存储介质同样具备，在此不再赘述。
实施例4
如图2所示，本发明的实施例4提供了环视全景监控系统，包括所述环视全景监控装置，还包括主摄像机2、次摄像机、激光雷达1以及供电电源5；
所述主摄像机2以及所述次摄像机用于采集所述图像数据，并发送至所述环视全景监控装置；
所述激光雷达1用于采集所述三维激光点云数据，并发送至所述环视全景监控装置；
所述供电电源5用于为所述主摄像机2、所述次摄像机以及所述激光雷达供电。
具体的，本实施例中次摄像机有两个，分别为第一次摄像机3和第二次摄像机4；还包括三角支撑架6，激光雷达1、主摄像机2、第一次摄像机3以及第二次摄像机4均安装于三角支撑架6上，以便实现全景监控。
本实施例包括硬件和软件两个部分：硬件部分由3个180度鱼眼摄像机和一个多线激光雷达组成的全景监控设备，分别用于采集全方位的、360度全景的图像数据与多维激光点云数据；软件部分即实施例1提供的方式，包括基于Mask-RCNN的视觉目标检测与识别算法、基于激光高斯模型与DBSCAN聚类的激光雷达目标检测与识别算法和基于DS证据法的目标识别融合算法，用于处理图像数据和点云数据，得到鲁棒的、精确的目标检测与识别结果。
本发明提出的基于激光雷达和多摄像机融合的智能路侧环视监控系统及方法，以激光雷达和摄像机为基础，首先进行多源异构传感器的标定，其次基于Mask-RCNN进行视觉目标的检测与识别，然后基于激光高斯模型和DBSCAN聚类进行激光雷达目标的检测与识别，最后利用DS证据法对激光和图像的目标识别结果进行融合。与现有监控技术相比较，本发明改进了传统视频监控过程中的无法获取位置信息的缺陷，提出的激光与多摄像机融合的监控方法可以扩大监控范围、增强监控的准确性。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种环视全景监控方法，其特征在于，包括以下步骤：
获取监控场景的全景图像以及多维激光点云数据；
采用训练图像集对神经网络进行训练得到图像分类器，通过所述图像分类器对所述全景图像中监控目标进行检测识别，得到第一目标识别结果；
对所述多维激光点云数据中的前景点进行分离，利用聚类算法对所述前景点进行聚类，得到第二目标识别结果；
将所述第二目标识别结果映射到所述全景图像中，并采用DS证据法对所述第一目标识别结果和所述第二目标识别结果进行融合，得到融合目标识别结果。
2.根据权利要求1所述的环视全景监控方法，其特征在于，获取监控场景的全景图像，具体为：
获取主摄像机与次摄像机之间的主次标定矩阵；
分别获取所述主摄像机以及所述次摄像机采集的监控场景的图像数据，并根据所述主次标定矩阵对各摄像机采集的图像数据进行拼接得到所述全景图像。
3.根据权利要求1所述的环视全景监控方法，其特征在于，采用训练图像集对神经网络进行训练得到图像分类器，通过所述图像分类器对所述全景图像中监控目标进行检测识别，得到第一目标识别结果，具体为：
采集监控场景的图像样本，并对所述图像样本中监控目标进行标注，得到所述训练图像集；
采用所述训练图像集对所述神经网络进行训练，得到所述图像分类器；
将所述全景图像输入所述图像分类器中，得到所述第一目标识别结果。
4.根据权利要求1所述的环视全景监控方法，其特征在于，对所述多维激光点云数据中的前景点进行分离，具体为：
利用激光高斯模型对激光雷达每个测量角度进行高斯背景建模，计算多次测量的距离的均值和均方差；
基于所述均值和均方差建立高斯背景模型，并根据所述高斯背景模型设置分离阈值；
计算所述多维激光点云数据中各数据点属于背景的概率；
判断数据点属于背景的概率是否大于所述分离阈值，如果大于，则将对应数据点标记为背景点，否则将对应数据点标记为前景点。
5.根据权利要求1所述的环视全景监控方法，其特征在于，利用聚类算法对所述前景点进行聚类，得到第二目标识别结果，具体为：
利用DBSCAN聚类算法对所述前景点的运动目标点进行聚类，得到所述第二目标识别结果。
6.根据权利要求1所述的环视全景监控方法，其特征在于，将所述第二目标识别结果映射到所述全景图像中，具体为：
获取主摄像机与激光雷达之间的异构标定矩阵；
基于所述异构标定矩阵将所述第二目标识别结果映射到所述全景图像中。
7.根据权利要求1所述的环视全景监控方法，其特征在于，采用DS证据法对所述第一目标识别结果和所述第二目标识别结果进行融合，得到融合目标识别结果，具体为：
基于监控场景内的监控目标种类设置识别框架，基于所述识别框架获取相应的幂集；
采集监控场景的测试图像以及测试点云数据，建立测试图像集以及测试点云数据集；
采用测试图像集对图像分类器进行测试，得到图像分类器针对所述幂集中每一子集的mass函数；
采用点云数据集对点云分类器进行测试，得到点云分类器针对所述幂集中每一子集的mass函数；
根据所述mass函数计算各监控目标的信度函数和似真度函数；
根据Dempster合成规则计算各监控目标的合成mass函数；
基于所述合成mass函数分别计算所述第一目标识别结果和所述第二目标识别结果的基本概率值，选择基本概率值较大的结果作为所述融合目标结果。
8.一种环视全景监控装置，其特征在于，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-7任一项所述的环视全景监控方法。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机该程序被处理器执行时，实现如权利要求1-7任一项所述的环视全景监控方法。
10.一种环视全景监控系统，其特征在于，包括如权利要求8所述的环视全景监控装置，还包括主摄像机、次摄像机、激光雷达以及供电电源；
所述主摄像机以及所述次摄像机用于采集所述图像数据，并发送至所述环视全景监控装置；
所述激光雷达用于采集所述三维激光点云数据，并发送至所述环视全景监控装置；
所述供电电源用于为所述主摄像机、所述次摄像机以及所述激光雷达供电。
CN202011440029.3A 2020-12-11 2020-12-11 一种环视全景监控方法、装置及系统 Pending CN112488022A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011440029.3A CN112488022A (zh) 2020-12-11 2020-12-11 一种环视全景监控方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011440029.3A CN112488022A (zh) 2020-12-11 2020-12-11 一种环视全景监控方法、装置及系统

Publications (1)

Publication Number Publication Date
CN112488022A true CN112488022A (zh) 2021-03-12

Family

ID=74941439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011440029.3A Pending CN112488022A (zh) 2020-12-11 2020-12-11 一种环视全景监控方法、装置及系统

Country Status (1)

Country Link
CN (1) CN112488022A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113721255A (zh) * 2021-08-17 2021-11-30 北京航空航天大学 基于激光雷达与视觉融合的列车站台停车点精准检测方法
CN113866743A (zh) * 2021-12-06 2021-12-31 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种用于车路协同感知的路侧激光点云精简方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366250A (zh) * 2013-07-12 2013-10-23 中国科学院深圳先进技术研究院 基于三维实景数据的市容环境检测方法及系统
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
CN108648272A (zh) * 2018-04-28 2018-10-12 上海激点信息科技有限公司 三维实景采集建模方法、可读存储介质及装置
CN109444911A (zh) * 2018-10-18 2019-03-08 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN110363820A (zh) * 2019-06-28 2019-10-22 东南大学 一种基于激光雷达、图像前融合的目标检测方法
CN110956137A (zh) * 2019-12-02 2020-04-03 深圳市镭神智能系统有限公司 点云数据的目标检测方法、系统及介质
CN111582080A (zh) * 2020-04-24 2020-08-25 杭州鸿泉物联网技术股份有限公司 车辆360度环视监控实现方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366250A (zh) * 2013-07-12 2013-10-23 中国科学院深圳先进技术研究院 基于三维实景数据的市容环境检测方法及系统
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
CN108648272A (zh) * 2018-04-28 2018-10-12 上海激点信息科技有限公司 三维实景采集建模方法、可读存储介质及装置
CN109444911A (zh) * 2018-10-18 2019-03-08 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN110363820A (zh) * 2019-06-28 2019-10-22 东南大学 一种基于激光雷达、图像前融合的目标检测方法
CN110956137A (zh) * 2019-12-02 2020-04-03 深圳市镭神智能系统有限公司 点云数据的目标检测方法、系统及介质
CN111582080A (zh) * 2020-04-24 2020-08-25 杭州鸿泉物联网技术股份有限公司 车辆360度环视监控实现方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113721255A (zh) * 2021-08-17 2021-11-30 北京航空航天大学 基于激光雷达与视觉融合的列车站台停车点精准检测方法
CN113866743A (zh) * 2021-12-06 2021-12-31 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种用于车路协同感知的路侧激光点云精简方法和系统

Similar Documents

Publication Publication Date Title
Dhiman et al. Pothole detection using computer vision and learning
CN109059954B (zh) 支持高精度地图车道线实时融合更新的方法和系统
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
CN113671480A (zh) 雷达与视频融合交通目标跟踪方法、系统、设备、终端
CN109859269B (zh) 岸基视频辅助定位无人机大范围流场测量方法及装置
CN113111887A (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN108362205B (zh) 基于条纹投影的空间测距方法
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN112488022A (zh) 一种环视全景监控方法、装置及系统
CN112950717A (zh) 一种空间标定方法和系统
CN113034586B (zh) 道路倾角检测方法和检测系统
CN114399675A (zh) 一种基于机器视觉与激光雷达融合的目标检测方法和装置
CN114913290A (zh) 多视角融合的场景重建方法、感知网络训练方法及装置
CN114742905B (zh) 一种多相机参数标定方法、装置、设备及存储介质
CN112562005A (zh) 一种空间标定方法和系统
CN115797408A (zh) 融合多视角图像和三维点云的目标跟踪方法及装置
Deng et al. Joint calibration of dual lidars and camera using a circular chessboard
Ramirez et al. Panoramic stitching for driver assistance and applications to motion saliency-based risk analysis
CN115166722B (zh) 用于路侧单元的无盲区单杆多传感器检测装置及控制方法
CN111598956A (zh) 标定方法、装置和系统
CN116778094A (zh) 一种基于优选视角拍摄的建筑物变形监测方法及装置
CN116630267A (zh) 基于无人机与激光雷达数据融合的路基沉降监测方法
CN115249345A (zh) 一种基于倾斜摄影三维实景地图的交通拥堵检测方法
CN114782496A (zh) 一种对象的跟踪方法、装置、存储介质及电子装置
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination