CN111143504A - 一种多摄像机室内视频地图构建方法 - Google Patents

Abstract

本发明公开了一种多摄像机室内视频地图构建方法。该方法的具体步骤包括：(1)选取与目标等高的室内背景物体辅助单应矩阵计算；(2)通过单应矩阵将不同摄像机内检测目标映射至室内地图中，并将各摄像机下重复视域内的目标进行目标优选；(3)将各目标地图映射结果实时智能纠偏；(4)对目标状态进行短时智能判定；(5)根据目标信息历史统计结果，结合时空热点的属性，使映射目标在地图上符号化显示，完成地图制作。本发明的方法解决了现有室内视频地图映射中存在的摄像机场景要求视角固定单一、多摄像机下重叠视域目标重复映射、地图目标位置不精确、目标检测结果不稳定、地图符号信息单一的问题。

Description

一种多摄像机室内视频地图构建方法

技术领域

本发明涉及一种多摄像机室内视频地图构建方法，属于室内目标实时分析技术领域。

背景技术

社会经济发展快速，人类活动日益频繁，当前室内空间已成为人类活动的重要场所，如工作、购物、旅游等。室内人员的管理、室内空间的安全、规划、应急响应等都对人员的实时、历史信息提出了迫切需求。当前，室内摄像机日益增多，甚至可达到无死角监控。同时，室内地图更为精细化，可以清晰表达室内的座椅、电器、电网、门窗等。如何有效利用摄像机网络、详细的二三维地理信息，构建一个满足要求的实时地图，即视频地图，将会极大提高室内管理及安保的信息化水平。

目前摄像机数量大幅增加和室内监控的需求日益提高，而大部分监控技术都仅针对单个摄像机，各个摄像机之间无法传递信息，导致监控工作人员必须同时对多个摄像机窗口进行同时监控，视域受到限制无法连续监控。当下已有的视频拼接技术虽可以将多个摄像机视域综合，达到无死角监控，但仍无法对多个监控视频中的目标信息同时进行准确实时地综合管理与统计分析。在实际应用需求中，不仅要知道目标在视频实时场景中的哪个位置，同时要能够知道相关场景的总体目标研究区域、目标的准确地理定位与相关路线、目标的未来特征趋势预测等信息。可见多摄像机室内视频地图构建并对目标行为状态进行分析仍面临着诸多挑战，这就需要一种能够结合多个摄像机场景，且同时顾及多个优化目标的地图构建方法。

发明内容

本发明为解决现有视频地图映射中存在的摄像机场景要求视角固定单一、多摄像机下重叠视域目标重复、映射地图目标位置不精确、目标检测结果不稳定的技术问题，提供了一种多摄像机室内视频地图构建方法，基于深度学习目标检测与实时视频中目标地图映射，结合GIS对研究目标信息进行分析模拟预测，实现多摄像机下结合GIS功能的室内视频地图构建，以实现室内视频地图快速、准确、高效构建。

本发明采用的技术方案如下：

一种多摄像机室内视频地图构建方法，包括如下步骤：

步骤1，选取与检测目标在同一水平高度上的固定室内标志点作为图像控制点，以代替活动目标控制点，分别求解各摄像机下不同视域的图像映射至地图的单应矩阵；

步骤2，通过各摄像机视域映射对应的单应矩阵，将各摄像机视域内检测目标映射至地图中，对多个摄像机间重叠视域重复检测的目标进行目标优选，使重复映射的检测目标得到最优目标唯一显示；

步骤3，根据检测目标实时场景中的活动区域范围，设置半径值，基于此半径对地图中位置中心进行缓冲区分析，若检测目标映射结果在缓冲区内，则将映射目标实时纠偏至地图中距离最近的位置中心显示；

步骤4，针对摄像机视频的检测目标会出现某帧图像漏检或检测错误的情况，计算检测目标在短时间内状态信息不应改变的时间值，根据各个检测目标在该时间段内的历史信息状态记录，实时对检测目标的信息进行智能判定和修正，保证目标状态正确显示与信息保存；

步骤5，根据检测目标的历史与实时特征，对检测目标未来特征进行预测分析，以图表形式展示各个目标特征发展趋势，并使各个检测目标在地图上区别符号化显示，完成地图制作。进一步地，所述步骤1中，用固定的室内标志点作为图像控制点来辅助单应矩阵计算，图像控制点的选取均匀分布于整个图像且处于同一水平面，各个单应矩阵的解算要求控制点的数量≥4。

进一步地，所述步骤2中，对多个摄像机间重叠视域重复检测的目标进行目标优选，其优选的条件为：(1)置信度较高的视频检测目标较准确；(2)距摄像机较近的检测目标较准确；且(3)与摄像机视域中心线夹角较小的检测目标较准确，这三个条件的影响根据不同场景下各自所占权重综合考虑。

进一步地，所述步骤4中，对检测目标的信息进行智能判定的具体依据为：根据目标物最快离开中心位置可活动范围的时间T_min，设置阈值；若在当前时刻前T_min时间段内，目标历史信息显示该目标状态为在相应位置上，则针对此段时间内的漏检视频帧均应添加目标状态信息在相应位置上、对检测错误的视频帧均应修正为目标状态在相应位置上；以此类推，每帧视频根据前T_min时间内的目标状态信息，实时对各个目标特征进行智能判定和修正。

进一步地，所述步骤5中，根据各个检测目标历史特征状态与实时特征状态的不同，对目标在当前时刻至当天结束时刻的未来特征状态进行预测分析，以折线图形式展示各个目标特征趋势，并据此使各个目标在地图上实时区别显示。

本发明的方法与现有技术相比，具有以下技术效果：

(1)为构建视频地图，当前技术主要存在视频中活动研究目标对于该视角下单应矩阵求解影响较大、映射结果精度低的问题，本发明利用视频图像中同一水平面固定控制点代替活动目标控制点的方法，可以快速准确地求解多摄像机下不同视角分别所对应的转换矩阵。

(2)面对现有多摄像机有重叠视域的问题，当前技术主要存在重叠视域目标重复分析、同一目标数据冗余导致分析结果不准确的问题，本发明依据目标检测结果的置信度、目标距摄像机远近距离、目标与摄像机视域中心线夹角大小三方面因素综合考虑，实现多摄像机下重复视域中的检测目标优选，使重复映射的目标得到最优目标唯一显示，提高映射精度并减少数据冗余。

(3)考虑当前技术存在研究目标小范围内活动导致映射显示效果多变、不稳定的问题，本发明根据目标在实时场景中的活动区域范围，对地图中各个目标中心位置设置合理半径进行缓冲区分析，将在分析结果区域内的目标映射结果实时纠偏至距离最近的目标中心位置，从而达到稳定、准确的可视化效果。

(4)考虑目标检测会出现某祯视频漏检或检测错误的现象，本发明根据检测目标状态最快变化的最短时间，设置阈值，在每帧视频对应的此段历史时间内，对漏检视频帧中的各个检测目标的特征状态实时智能判定、对检测错误该视频帧中的研究目标特征状态实时修正，从而保证信息统计的完整性与正确性。

(5)本发明根据研究目标历史与实时特征状态信息，对目标在当前时刻至当天结束时刻的行为状态进行预测分析，以折线统计图形式展示各个目标趋势发展特征，使各个目标在地图上实时区别显示，实现顾及时空热点的地图符号可视化，克服了现有方法存在地图符号信息单一等缺点。达到了将多摄像机下视频三维场景中的目标实时、准确、高效、符号化地映射在室内二维地图上的效果。

附图说明

图1是本发明方法的流程框图；

图2是多摄像机视频地图映射矩阵求解中像素控制点选取方法示意图；

图3是地图中对于重叠视域下目标优选步骤示意图；

图4是地图中对于重叠视域下目标优选方法及实现效果；

图5是各摄像机目标地图映射及纠偏实现效果；

图6是GIS下目标状态短时智能判定示意图；

图7是室内地图目标实时映射显示效果；

图8是顾及时空热点的视频地图符号化示意图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。

考虑多摄像机下不同视角分别所对应不同的转换矩阵且研究动态目标导致求解矩阵误差较大，本发明提供一种多摄像机室内视频地图构建方法，并对重叠区域进行目标优选，对目标在地图上的映射结果自动纠偏，结合时空热点属性将目标在地图上符号可视化显示。

本实施例的多摄像机室内视频地图构建方法，整体的技术思路为：首先依据实际比例对室内地图进行初步建设及其地理坐标配准；再分别对室内地图结构与多摄像机下室内视频图像进行抽象建模，利用室内固定标志物控制点代替研究目标活动控制点的方法选取完成控制点后，分别解算单应矩阵，使其具有明确的地理空间关系。下一步依据多摄像机下不同视角分别所对应的转换矩阵，将视频中研究目标实时映射至室内地图进行可视化显示。并综合考虑各映射目标结果置信度较高、目标距摄像机距离较近、目标与摄像机视域中心线间夹角较小的目标映射结果较准确的条件，对多摄像机下重叠视域的映射目标进行目标优选，达到唯一目标的唯一映射效果。考虑检测人员目标存在不确定姿势、不确定高度、位置不固定等因素，对目标活动范围设置合适活动半径，在地图上基于此活动半径进行缓冲区分析，将映射目标实时纠偏至地图上距离最近的位置中心，使目标显示效果居中且稳定，利于实时对应监控视频中的目标对象。由于室内目标检测技术依然受到照明、视图点、阴影、模糊、运动、天气状况、图像噪音等因素影响，为保证分类准确性和实时性，根据目标状态最快变化的最小时间设置阈值，在每帧视频图像此历史时间段内，对目标的特征状态进行判定或修正，实现目标状态短时智能判定，使检测模型的不确定因素影响对于数据采集分析和视频地图可视化的影响降到最低，达到多摄像机下室内视频地图的准确性、稳定性、实时性。最后，将视频数据与地图数据相结合，包括各个摄像机下目标实时数量、目标增减趋势、目标在规定时间内的人员数目平常期、高峰期、转折期、低谷期的分析报告，以及各个研究目标人员的图像坐标、地理坐标、实时状态、工作时长、工作状态分析报告等，将数据分析整理得到可视化显示，基于各个目标历史状态的记录信息与实时状态信息，对目标数据进行分析预测，将视频、地图、GIS相结合，实现GIS下顾及时空热点的视频地图符号化，提供给用户更直观的显示效果。

本实施例的多摄像机室内视频地图构建方法，在具体的实际应用过程中，基于基础目标室内地图构建，首先用ArcMap系列软件，画出室内地图相应的地物(对应点、线、面图形类型)，定义所需投影坐标，导出.shp文件至相应的文件夹从而得到地图数据；其次获取各个摄像头的RTSP(Real Time Streaming Protocol)地址，根据多摄像机下视频获取，提前训练好符合室内应用场景与符合研究对象多视角检测的检测模型，然后实时连接摄像机、实时调用模型对视频进行目标检测，得到多摄像机下各个目标的像素横坐标、纵坐标、宽、高以及目标检测置信度的信息；具体按如下步骤进行执行，实现多摄像机室内视频地图构建。

步骤1.空间场景下多个摄像机分别对应多个空间视角，每个视角中的检测目标映射至地图上均需对应不同的单应矩阵。对于单应矩阵的求解，根据像素坐标与地图坐标一一对应，(控制点选取应均匀分布于整个图像，且数目应≥4)，地图上的点已赋有固定坐标并准确显示，控制点易于选取；而视频中的目标是动态变化的，若是根据目标位置选取控制点，则解算出特定摄像机视角与特定地图之间的对应关系却不唯一，因此可选取与目标在同一水平高度上的固定室内标志物特定的点作为图像控制点，从而准确快速求得多摄像机下不同视角的图像映射至地图的单应矩阵。

针对室内监控摄像机路网结构中的多个监控摄像机，分别计算各个摄像机的视域所对应室内地图的的单应矩阵，单应矩阵(Homography Matrix)是描述两个投影平面关于同一个3D世界所建立的数学模型。对于视频中实际目标到地图上的映射，需要在图像与地图之间的矩阵关系，而不同视角分别对应不同的数学关系。图像控制点与地图控制点一一对应，应不少于4对，图像由像素组成，像素坐标是像素在图像中的位置，此处使用图像坐标系，以图像左上角为原点建立以像素为单位的直角坐标系x-y，像素的横坐标x与纵坐标y分别是在其图像数组中所在的列数与所在行数；地图坐标由选定的投影坐标系确定。地图上的点已赋有固定坐标并准确显示，控制点易于选取；而视频中的目标是动态变化的，若是根据目标位置选取控制点，则解算出特定摄像机视角与特定地图之间的对应关系却不唯一，因此可选取与目标在同一水平高度上的固定室内标志物特定的点作为图像控制点(如图2所示)，从而提高解算关系矩阵的准确性与可执行性。

步骤2.将多个摄像机视频中的目标映射至地图中，其中必定有相同或重复的视域。分别针对各摄像机重叠视域，进行目标优选，达到唯一目标的唯一映射效果。根据映射目标间距离在一定阈值范围内的目标属同一目标、在一定面积内颜色直方图相似度达到一定阈值内属同一目标判断出重叠视域的重复映射目标；根据同一目标中检测结果置信度较高、目标距离摄像机距离较近、目标与摄像机视域中心线夹角较小的目标映射结果较准确。利用各个摄像机影响因素的加权因数之和，实现多摄像机下重复视域中的检测目标优选。目标优选步骤如图3所示；方法及实现如图4所示。

针对多个监控摄像机重复视域，根据如下公式，求解各个摄像机下重复视域内最佳匹配的地图目标；

α％+β％+γ％<100％

Sobject＝(1-Confidence)×α％+Distance×β％+Angle×γ％

其中Sobject表示多摄像机重叠视域内各个目标映射影响因素的加权之和，最后计算出Sobject越小，则重复映射的目标中，该目标最准确。摄像机在三维场景中坐标为(x，y，z)，摄像机视域中心线与地面交点坐标为(p，q，0)，检测目标映射在地图上点的坐标为(m，n，0)，

表示目标和摄像机连线与摄像机中心线之间的夹角，distance表示检测目标距该摄像机的距离值；Confidence表示目标检测结果置信度(其值范围在[0,1]之间)；α％、β％、γ％分别是目标检测结果置信度、检测目标距摄像机距离、目标与摄像机中心线间夹角大小各影响因素所占权重。

步骤3.摄像机下室内目标的状态不可能完全一致且保持不变，分别针对室内监控摄像机结构中的各个监控摄像机，根据步骤1中的多摄像机下的地图映射矩阵求解，执行各摄像机地图映射及重叠视域下的目标优选；在地图上对于各个中心位置点进行缓冲区分析，将落在分析结果区域内的映射目标实时纠偏至各个位置中心，从而达到更清晰、准确、规范的可视化效果，效果如图5所示。

步骤4.由于目标检测受到光照、运动、图像噪音等外界不可控因素影响，所得效果并不完全稳定，针对某一特定目标也可能会出现视频中某一帧图像漏检或检测错误的情况。此步根据目标物最快和最慢可能离开摄像机视域的时间，设置阈值。可设当前目标处于视频第n帧，视频播放帧率为v(帧/秒)，研究目标从视域中离开最短时间为Δt秒(公式如下)，存在δ∈[(n-Δt×v),n]，若在视频第δ帧之内若该目标存在，则此时第n帧视频中该目标应该存在，在每帧视频对应的此段Δt历史时间内对漏检视频帧中的各个研究目标的特征状态实时智能判定、对检测错误视频帧中的目标特征状态实时修正。根据GIS下目标状态短时智能判定，从而保证分类准确性和实时性，使检测模型的不确定因素影响对于数据采集分析和视频地图可视化的影响降到最低，达到多摄像机下室内视频地图的准确性、稳定性、实时性，图6为此步骤功能效果之一。

本步骤中，考虑目标检测会出现某祯视频漏检或检测错误的现象，根据如下公式，计算检测目标从视域中离开最短时间Δt，在该段时间内对检测目标进行短时智能判定和修正。

地理坐标(X₁,Y₁)由该目标在图像中的像素坐标(x₁,y₁)和该目标所在图像与地图之间对应的关系矩阵

(各摄像机映射矩阵H已在步骤1算出)计算得到；(X₀,Y₀)是地图中距离该目标最近的摄像视域边缘点，即该目标到最近视域边界垂线与该视域边界的交点；v_max是指该检测目标移动最快的速度，例如，正常人每分钟步行速度大约是1m/s，步距大概60～75cm，则按照此v_max＝1m/s计算。据此计算各个检测目标从视域中离开最短时间Δt，进而完成对各个检测目标状态特征进行短时智能判定和修改。

步骤5.实时读取数据库中研究目标信息数据并进行计算统计，针对室内研究目标在地图上的显示，根据多摄像机下室内目标状态分析，结合时空热点的属性，利用GIS分析、模拟、预测方法，使数据直观化。用户根据自己的应用需求，对检测目标检测结果、地图映射结果、目标优选及纠偏结果进行分析，将视频数据与地图数据相结合，包括各个摄像机下目标实时数量、目标增减趋势、目标在规定时间内的人员数目平常期、高峰期、转折期、低谷期的分析报告，以及各个研究目标人员的图像坐标、地理坐标、实时状态、工作时长、工作状态分析报告等，根据研究目标历史与实时特征状态信息，对目标在当前时刻至当天结束时刻的行为状态进行预测分析，以折线统计图形式展示各个目标趋势发展特征，使各个目标在地图上实时区别显示，实现顾及时空热点的地图符号可视化，克服了现有方法存在地图符号信息单一等缺点。将数据分析整理得到可视化显示，融入GIS对目标数据进行分析预测，将视频、地图、GIS相结合，实现GIS下顾及时空热点的视频地图符号化，提供给用户更直观的显示效果，图7为室内地图目标实时映射显示效果，图8为顾及时空热点的视频地图符号化显示效果。

上述技术方案所涉及的多摄像机室内视频地图构建方法，针对室内多摄像机下多目标在地图上的映射效果进行优化，解决了现有视频地图映射中存在的摄像机场景要求视角固定单一、多摄像机下重叠视域目标重复、映射地图目标位置不精确、目标检测结果不稳定的问题，针对多摄像机下室内视频地图的构建，快速求解多摄像机下不同视角分别所对应的转换矩阵，并对重叠区域进行目标优选，对目标在地图上的映射结果自动纠偏，结合时空热点属性将目标在地图上符号可视化显示。达到了将多摄像机下视频三维场景中的目标实时、准确、高效、符号化地映射在室内二维地图上的效果。

Claims (6)

1.一种多摄像机室内视频地图构建方法，其特征在于，包括如下步骤：

步骤1，选取与检测目标在同一水平高度上的固定室内标志点作为图像控制点，以代替活动目标控制点，分别求解各摄像机下不同视域的图像映射至地图的单应矩阵；

步骤2，通过各摄像机视域映射对应的单应矩阵，将各摄像机视域内检测目标映射至地图中，对多个摄像机间重叠视域重复检测的目标进行目标优选，使重复映射的检测目标得到最优目标唯一显示；

步骤3，根据检测目标实时场景中的活动区域范围，设置半径值，基于此半径对地图中位置中心进行缓冲区分析，若检测目标映射结果在缓冲区内，则将映射目标实时纠偏至地图中距离最近的位置中心显示；

步骤4，针对摄像机视频的检测目标会出现某帧图像漏检或检测错误的情况，计算检测目标在短时间内状态信息不应改变的时间值，根据各个检测目标在该时间段内的历史信息状态记录，实时对检测目标的信息进行智能判定和修正，保证目标状态正确显示与信息保存；

步骤5，根据检测目标的历史与实时特征，对检测目标未来特征进行预测分析，以图表形式展示各个目标特征发展趋势，并使各个检测目标在地图上区别符号化显示，完成地图制作。

2.根据权利要求1所述一种多摄像机室内视频地图构建方法，其特征在于：所述步骤1中，用固定的室内标志点作为图像控制点来辅助单应矩阵计算，图像控制点的选取均匀分布于整个图像且处于同一水平面，各个单应矩阵的解算要求控制点的数量≥4。

3.根据权利要求1所述一种多摄像机室内视频地图构建方法，其特征在于：所述步骤2中，对多个摄像机间重叠视域重复检测的目标进行目标优选，其优选的条件为：(1)置信度较高的视频检测目标较准确；(2)距摄像机较近的检测目标较准确；且(3)与摄像机视域中心线夹角较小的检测目标较准确，这三个条件的影响根据不同场景下各自所占权重综合考虑。

4.根据权利要求1所述一种多摄像机室内视频地图构建方法，其特征在于：所述步骤4中，对检测目标的信息进行智能判定的具体依据为：根据目标物最快离开中心位置可活动范围的时间T_min，设置阈值；若在当前时刻前T_min时间段内，目标历史信息显示该目标状态为在相应位置上，则针对此段时间内的漏检视频帧均应添加目标状态信息在相应位置上，并对检测错误的视频帧均应修正为目标状态在相应位置上；以此类推，每帧视频根据前T_min时间内的目标状态信息，实时对各个目标特征进行智能判定和修正。

5.根据权利要求1所述一种多摄像机室内视频地图构建方法，其特征在于：所述步骤5中，根据各个检测目标历史特征状态与实时特征状态的不同，对目标在当前时刻至当天结束时刻的未来特征状态进行预测分析，以折线图形式展示各个目标特征趋势，并据此使各个目标在地图上实时区别显示。

6.根据权利要求1所述一种多摄像机室内视频地图构建方法，其特征在于：所述步骤2中，针对多个摄像机间重叠视域，根据如下公式，求解各个摄像机下重叠视域内最佳匹配的地图目标；

α％+β％+γ％<100％

Sobject＝(1-Confidence)×α％+Distance×β％+Angle×γ％

其中Sobject表示多摄像机重叠视域内各个目标映射影响因素的加权之和，最后计算出Sobject越小，则重复映射的目标中，该目标最准确。摄像机在三维场景中坐标为(x，y，z)，摄像机视域中心线与地面交点坐标为(p，q，0)，检测目标映射在地图上点的坐标为(m，n，0)，

表示目标和摄像机连线与摄像机中心线之间的夹角，distance表示检测目标距该摄像机的距离值；Confidence表示目标检测结果置信度；α％、β％、γ％分别是目标检测结果置信度、检测目标距摄像机距离、目标与摄像机中心线间夹角大小各影响因素所占权重。

Images