CN112288865A - 地图的构建方法、装置、设备及存储介质 - Google Patents

地图的构建方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112288865A
CN112288865A CN201910667862.2A CN201910667862A CN112288865A CN 112288865 A CN112288865 A CN 112288865A CN 201910667862 A CN201910667862 A CN 201910667862A CN 112288865 A CN112288865 A CN 112288865A
Authority
CN
China
Prior art keywords
video data
homologous
information
tracked
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910667862.2A
Other languages
English (en)
Inventor
王华伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BYD Co Ltd
Original Assignee
BYD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BYD Co Ltd filed Critical BYD Co Ltd
Priority to CN201910667862.2A priority Critical patent/CN112288865A/zh
Publication of CN112288865A publication Critical patent/CN112288865A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Abstract

本发明公开了一种地图的构建方法、装置、设备及介质，所述方法包括：获取目标场景的视频数据；从所述视频数据中获取同源视频数据，对所述同源视频数据进行检测，得到待追踪对象的特征信息；从所述视频数据中获取非同源视频数据，对所述非同源视频数据中所述特征信息进行识别，生成跨镜追踪路径；以所述跨镜追踪路径为导向，对所述视频数据进行地图构建，得到所述目标场景的地图。本发明解决了现有技术在对大场景进行地图构建时SLAM算法产生的回环闭合问题、地图构建效果欠佳的问题，所得到的地图图像逼真，大大地提高了地图的构建效果。

Description

地图的构建方法、装置、设备及存储介质
技术领域
本发明涉及信息技术领域，尤其涉及一种地图的构建方法、装置、设备及存储介质。
背景技术
即时定位与地图构建(Simultaneous localization and mapping，简称SLAM)是计算机视觉的一个研究方向，属于深度学习的一个分支，可以理解为希望机器人在未知环境中从未知地点出发，在运动过程中通过摄像机或者雷达等重复观测到的特征(比如，墙角，柱子，地面标志等)定位自身位置和姿态，再根据自身位置增量式的地图构建，从而达到即时定位和地图构建的目的。
现有技术中，针对大场景的地图构建，比如地铁站、商城，使用激光雷达配合SLAM算法，通过使用远距离测距半径的激光雷达，比如测距半径在16米以上的激光雷达，比较理想的测量半径为25米，以保证能够应对各类极端条件。发明人发现，首先，上述地图构建技术需要激光测距雷达等硬件支持，成本高；其次，该技术虽具有闭环检查能力，但是在复杂场景中，比如长走廊和环路较多的场景，SLAM算法难以形成有效的全局匹配参考，从而很容易导致局部区域累计误差无法及时清除，进而产生回环闭合问题，极大地影响地图构建效果。
因此，现有技术对大场景进行地图构建时SLAM算法产生的回环闭合、地图构建效果欠佳等成为本领域技术人员亟需解决的技术问题。
发明内容
本发明实施例提供了一种地图的构建方法、装置、设备及存储介质，以解决现有技术在对大场景进行地图构建时SLAM算法产生的回环闭合问题、地图路线效果欠佳的问题。
一种地图的构建方法，包括：
获取目标场景的视频数据；
从所述视频数据中获取同源视频数据，对所述同源视频数据进行检测，得到待追踪对象的特征信息；
从所述视频数据中获取非同源视频数据，对所述非同源视频数据中所述特征信息进行识别，生成跨镜追踪路径；
以所述跨镜追踪路径为导向，对所述视频数据进行地图构建，得到所述目标场景的地图。
可选地，所述从所述视频数据中获取同源视频数据，对所述同源视频数据进行检测，得到待追踪对象的特征信息包括：
从所述视频数据中获取同源视频数据；
从所述同源视频数据中获取预设时刻的同源视频帧信息；
采用尺度不变特征变换算法对所述同源视频帧信息进行检测，得到待追踪对象的若干个特征信息。
可选地，所述得到待追踪对象的若干个特征信息之后，还包括：
根据每一特征信息的表征能力设置对应的第一权重。
可选地，所述从所述视频数据中获取非同源视频数据，对所述非同源视频数据中所述特征信息进行识别，生成跨镜追踪路径包括：
从所述视频数据中获取非同源视频数据；
从所述预设时刻起，按照预设时间间隔从所述非同源视频数据中获取非同源视频帧信息；
采用行人重识别技术对所述非同源视频帧信息中的所述特征信息进行识别，得到多个待追踪对象对应的追踪路径；
根根据所述多个待追踪对象对应的追踪路径构建所述目标场景中摄像机的图结构，生成所述目标场景的跨镜追踪路径。
可选地，所述采用行人重识别技术对所述非同源视频帧信息中的所述特征信息进行识别，得到多个待追踪对象对应的追踪路径之后，还包括：
根据所述非同源视频帧信息中所识别到的特征信息及其对应的第二权重，得到每一所述待追踪对象的追踪价值；
保留追踪价值大于或等于预设阈值的待追踪对象的特征信息及其对应的第二权重，得到所述待追踪对象对应的追踪路径。
可选地，所述以所述跨镜追踪路径为导向，对所述视频数据进行地图构建，得到所述目标场景的地图包括：
对摄像机进行标定，建立成像模型，根据所述成像模型获取视频数据中每一视频帧信息对应的摄像机内部参数矩阵；
根据所述摄像机内部参数矩阵，计算每一视频帧信息所表示空间的三维点坐标；
提取每一视频帧信息的特征信息，得到视频帧信息的稀疏图像，依据所述三维点坐标及特征信息关联不同摄像机所获取的视频帧信息的稀疏图像；
以所述跨镜追踪路径为导向，根据所关联的稀疏图像重建稠密图像、重建表面和进行纹理映射，得到所述目标场景的地图。
一种地图的构建装置，包括：
视频获取模块，用于获取目标场景的视频数据；
特征信息获取模块，用于从所述视频数据中获取同源视频数据，对所述同源视频数据进行检测，得到待追踪对象的特征信息；
特征信息追踪模块，用于从所述视频数据中获取非同源视频数据，对所述非同源视频数据中所述特征信息进行识别，生成跨镜追踪路径；
地图构建模块，用于以所述跨镜追踪路径为导向，对所述视频数据进行地图构建，得到所述目标场景的地图。
可选地，所述特征信息获取模块包括：
同源视频获取单元，用于从所述视频数据中获取同源视频数据；
同源视频帧获取单元，用于从所述同源视频数据中获取预设时刻的同源视频帧信息；
特征获取单元，用于采用尺度不变特征变换算法对所述同源视频帧信息进行检测，得到待追踪对象的若干个特征信息。可选地，所述特征信息追踪模块包括：
非同源视频获取单元，用于从所述视频数据中获取非同源视频数据；
非同源视频帧获取单元，用于从所述预设时刻起，按照预设时间间隔从所述非同源视频数据中获取非同源视频帧信息；
行人重识别单元，用于采用行人重识别技术对所述非同源视频帧信息中的所述特征信息进行识别，得到多个待追踪对象对应的追踪路径；
跨镜追踪路径生成单元，用于根根据所述多个待追踪对象对应的追踪路径构建所述目标场景中摄像机的图结构，生成所述目标场景的跨镜追踪路径。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述地图的构建方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述地图的构建方法。
本发明实施例通过获取目标场景的视频数据；从所述视频数据中获取同源视频数据，对所述同源视频数据进行检测，得到待追踪对象的特征信息；从所述视频数据中获取非同源视频数据，对所述非同源视频数据中所述特征信息进行识别，生成跨镜追踪路径；最后以所述跨镜追踪路径为导向，对所述视频数据进行地图构建，得到所述目标场景的地图。本发明采用目标场景中的摄像机获取的图像及三维重建技术，避免了回环闭合问题，且所得到的地图图像更加逼真，大大地提高了地图的构建效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中地图的构建方法的一流程图；
图2是本发明一实施例中地图的构建方法中步骤S102的一流程图；
图3是本发明一实施例中地图的构建方法中步骤S103的一流程图；
图4是本发明一实施例中地图的构建方法中步骤S303的一流程图；
图5是本发明一实施例中地图的构建方法中步骤S104的一流程图；
图6是本发明一实施例中地图的构建装置的一原理框图；
图7是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下对本实施例提供的地图的构建方法进行详细的描述。在本实施例中，所述地图的构建方法应用在终端设备上，所述终端设备包括但不限于计算机。如图1所示，所述地图的构建方法包括：
在步骤S101中，获取目标场景的视频数据。
在本发明实施例中，所述目标场景为需要进行地图构建的场景，包括但不限于比如地铁站、商场。所述视频数据为所述目标场景内布置的摄像机获取的视频数据。本发明实施例从所述目标场景布置的多个摄像机中获取视频数据，包括但不限于视频帧信息及其时间戳、所属的摄像机编号。在这里，为了便于管理视频数据，每一个摄像机对应一个摄像机编号。对所获取的视频数据进行存储，构建所述目标场景的视频数据库。
在步骤S102中，从所述视频数据中获取同源视频数据，对所述同源视频数据进行检测，得到待追踪对象的特征信息。
在这里，所述同源视频数据是指来自同一个摄像机获取的视频数据，所述同源视频数据具有相同的摄像机编号。本发明实施例选取在某一时刻的同源视频帧信息，以定位待检测的视频帧信息；然后采用尺度不变特征变换算法进行检测，得到待追踪对象及其对应的特征信息。可选地，图2示出了本发明实施例提供的地图的构建方法中步骤S102的实现流程。参阅图2，所述步骤S102包括：
在步骤S201中，从所述视频数据中获取同源视频数据。
本发明实施例根据所属的摄像机编号，从所述视频数据中获取同一所属的摄像机编号的视频帧信息，得到同源视频数据。
在步骤S202中，从所述同源视频数据中获取预设时刻的同源视频帧信息。
在这里，所述同源视频帧信息用于对待追踪对象进行检测，要求所述同源视频帧信息中的待追踪对象是较为清晰的，容易辨认的，以便于检测。因此，可以依据目标场景的不同，选择不同时刻的同源视频帧信息进行。以地铁站为例，由于其作为公共交通的属性，地铁站在早高峰和晚高峰时间段内人流量较大，人员密集，特征信息较多且密集，通过各个摄像机获取的视频数据容易产生重叠，影响特征检测效果，也不便于完整特征的提取，因此可以舍弃早高峰和晚高峰时间段内的视频数据。而非早高峰和非晚高峰时间段内，人流量较少，目标遮挡、重叠的情况较少。选择非早高峰和非晚高峰时间段内的同源视频数据进行待追踪对象的检测，有利于后期的视频追踪，形成较为准确的追踪路径。
在步骤S203中，采用尺度不变特征变换算法对所述同源视频帧信息进行检测，得到待追踪对象的若干个特征信息。
在这里，所述尺度不变特征变换(Scale Invariant Feature Transform，简称SIFT)算法可以在同源视频帧信息中检测出关键点，这些关键点对影像大小、旋转角度、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。可选地，作为本发明的一个优选示例，对于同源视频数据中的同源视频帧信息，可以通过高斯微分函数来识别潜在的对于尺度和旋转不变的关键点，然后对于所述关键点，通过预设的拟合精细的模型来确定位置和尺度，并基于图像局部的梯度方向为每一个关键点分配一个或多个方向，最后为每个关键点建立对应的描述符，从而完成对同源视频帧信息的特征检测，得到所述同源视频帧信息中的若干个特征信息。
在这里，从同源视频帧信息中检测到的特征信息有多个，考虑到各个特征信息之间的差异性，本发明实施例进一步对所述视频帧信息中的若干个特征信息赋予不同权重。可选地，所述步骤S203得到待追踪对象的若干个特征信息之后，还包括：
根据每一特征信息的表征能力设置对应的第一权重。
在这里，所述第一权重表示特征信息的表征能力大小。一个特征信息的表征能力为通过所述特征信息表达事物之间的区别的能力。特征信息的表征能力越大，其越容易分辨，设置的第一权重越大，表征能力越小，其越难以分辨，设置的第一权重越小。示例性地，假设所获取的特征信息包括人脸特征、衣着特征，可以为人脸特征赋予更高的第一权重，比如0.8；为衣着特征赋予较低的第一权重，比如0.5。这是因为，衣着特征主要通过颜色来表现，则不同个体的衣着特征可能相似甚至相同的，通过所述衣着特征表达个体之间的区别的能力较弱，赋予较低的第一权重。而人脸特征是明显特征，不同个体的人脸特征不可能相同，通过所述人脸特征表达个体之间的区别的能力较强，可以赋予较高的第一权重。。
可选地，作为本发明的一个优选示例，在得到待追踪对象的若干个特征信息及其第一权重后，还可以对所述特征信息按照第一权重由大到小进行排序，选取排序较前的若干个特征信息作为待追踪对象的特征信息。
由于所述同源视频帧信息中的若干个特征信息赋予了不同第一权重，本发明实施例通过对第一权重由大到小进行排序，然后获取第一权重较大的特征信息，即在同源视频帧信息中表征能力较强、容易分辨的特征信息，作为待追踪对象的特征信息，有利于提高后续进行追踪的准确性。
在步骤S103中，从所述视频数据中获取非同源视频数据，对所述非同源视频数据中所述特征信息进行识别，生成跨镜追踪路径。
在通过对预设时刻的同源视频数据进行特征检测，得到待追踪对象及其对应的特征信息后，对于所述预设时刻的相邻时间段内的非同源视频数据，采用行人重识别技术对所述待追踪对象进行追踪识别。可选地，图3示出了本发明实施例提供的地图的构建方法中步骤S103的实现流程。参阅图3，所述步骤S103包括：
在步骤S301中，从所述视频数据中获取非同源视频数据。
在这里，所述非同源视频数据是指来自不同摄像机的视频数据，所述不同摄像机是指与步骤S102的同源视频数据对应的摄像机编号不相同的一个或多个摄像机。本发明实施例根据所述摄像机编号，从所述视频数据中获取具有不同的摄像机编号的视频帧信息，得到非同源视频数据。
在步骤S302中，从所述预设时刻起，按照预设时间间隔从所述非同源视频数据中获取非同源视频帧信息。
如前所述，本发明实施例在所述预设时刻获取待追踪对象的特征信息，完成对待追踪对象的定位。考虑到待追踪对象的活动时间，本发明实施例预设时间间隔，从所述预设时刻起，按照预设时间间隔从所述非同源视频数据中获取非同源视频帧信息，来对所述待追踪对象进行跟踪识别。所述预设时间间隔的大小根据目标场景进行不同的设置。示例性地，以地跌站为例，一个乘客从进站到乘车离开大概10分钟，因此，可以设置所述预设时间间隔为10分钟。在这里，所述预设时间间隔可以根据经验设置，也可以通过对已标定数据的大规模的机器学习统计得到。
在步骤S303中，采用行人重识别技术对所述非同源视频帧信息中的所述特征信息进行识别，得到多个待追踪对象对应的追踪路径。
在这里，所述待追踪对象对应的追踪路径是指所述待追踪对象在目标场景内的活动路径，表示了所述待追踪对象的去向、目标场景的出口信息、入口信息。本发明实施例采用行人重识别技术(Person re-identification)，通过利用计算机视觉技术判断所获取的非同源视频帧信息中是否存在所述待追踪对象，以补充同源视频数据中单一摄像机的视觉局限，实现对待追踪对象的活动路径识别，得到待追踪对象对应的追踪路径。
可选地，为了提高所生成的跨镜追踪路径的准确性，作为本发明的另一个优选示例，如图4所示，在步骤S303采用行人重识别技术对所述非同源视频帧信息中的所述特征信息进行识别，得到多个待追踪对象对应的追踪路径之后，还包括：
在步骤S401中，根据所述非同源视频帧信息中所识别到的特征信息及其对应的第二权重，得到每一所述待追踪对象的追踪价值。
在这里，所述第二权重表示特征信息在所述视频帧信息中的清晰度，第二权重越大，特征信息的清晰度越高，越容易分辨；反之则越低，越难辨认。在对预设时间间隔内的非同源视频帧信息识别待追踪对象时，若待追踪对象出现在视频帧信息中，则可以得到所述待追踪对象的特征信息及其对应的第二权重。然而在追踪过程中，有可能待追踪对象由于各种原因淡出摄像机的拍摄范围内，导致路径追踪中断或者特征信息模糊不清，这些待追踪对象为错误对象，需要进行丢弃。本发明实施例根据所述非同源视频帧信息中所识别到的特征信息及其对应的第二权重，计算每一所述待追踪对象的追踪价值，以初步判断追踪的准确度。可选地，所述追踪价值可以是特征信息在不同非同源视频帧信息中的第二权重的累加，表示待追踪对象的追踪准确程度。
在步骤S402中，保留追踪价值大于或等于预设阈值的待追踪对象的特征信息及其对应的第二权重，得到所述待追踪对象对应的追踪路径。
如前所述，所述第二权重表示特征信息在所述视频帧信息中的清晰度，第二权重越大，特征信息的清晰度越高，越容易分辨；反之则越低，越难辨认。若步骤S102得到的特征信息未出现在非同源视频帧信息中时，第二权重为0，若特征信息出现在非同源视频帧信息的显著位置时，第二权重为1；通过求取特征信息在多个非同源视频帧信息中的第二权重的和值，若特征信息持续出现在多个非同源视频帧信息中，其和值，也即追踪价值相对较大，否则较小。本发明实施例通过预设阈值，所述预设阈值为是否丢弃待追踪对象的判断标准。当所述待追踪对象的追踪价值大于或等于所述预设阈值时，保留所述待追踪对象的特征信息及其对应的第二权重；当所述待追踪对象的追踪价值小于所述预设阈值时，丢弃所述待追踪对象的特征信息及其对应的第二权重，以提高目标追踪的准确度。
重复步骤S102和步骤S103，通过步骤S102对多个不同时期的同源视频数据进行检测时，得到多个待追踪对象；通过步骤S103对非同源视频数据进行追踪，则可以得到多个待追踪对象对应的追踪路径。示例性地，以地铁站为例，在地铁运营一段时间积累大量的视频数据后，通过步骤S102对不同时期的同源视频数据的特征检测及步骤S103对非同源视频数据的特征追踪，可以得到大量待追踪对象对应的追踪路径。
在步骤S304中，根根据所述多个待追踪对象对应的追踪路径构建所述目标场景中摄像机的图结构，生成所述目标场景的跨镜追踪路径。
在这里，所述跨镜追踪路径为跨镜头的追踪路径，是基于多待追踪对象对应的追踪路径构建而成。本发明实施例根据所述多个待追踪对象对应的追踪路径构建所述目标场景中不同摄像机的图结构。在所述图结构中，包括多个节点及节点之间的连线；每一个节点表示目标场景中的摄像机，节点之间的连线表示依据追踪路径得到的摄像机在目标场景中的位置关系。通过所述图结构，可得到目标场景的所有跨镜路径数据。
作为一个示例，也可以通过获取多个图像，以生成跨镜追踪路径，具体过程与上述方法相似，在此不再赘述。
在步骤S104中，以所述跨镜追踪路径为导向，对所述视频数据进行地图构建，得到所述目标场景的地图。
在得到所述目标场景的跨镜追踪路径后，依据所述跨镜追踪路径作为地图重建指导，基于所获取的视频数据，通过三维重建技术构建所述目标场景的地图。在这里，基于视觉的三维重建技术，指的是通过摄像机获取目标场景内人物/物体的数据图像，并对此图像进行分析处理，再结合计算机视觉知识推导出现实目标场景中人物/物体的三维信息。本发明实施例通过三维重建技术实现目标场景的地图构建，所得到的地图逼真，较传统的导航应用更方便于人们的使用及方位地辨识与导航。
可选地，在本发明实施例中，所述三维重建技术包括稀疏重建、密集重建、表面重建的步骤；图5示出了本发明实施例提供的步骤S104的具体实现流程；参阅图5，步骤S104包括：
在步骤S501中，对摄像机进行标定，建立成像模型，根据所述成像模型获取视频数据中每一视频帧信息对应的摄像机内部参数矩阵。
在这里，摄像机标定的目的，是通过确定空间物体表面某点的三维几何位置与其在图像中对应点之间的互相关系，建立摄像机成像的几何模型，所述几何模型为摄像机内部参数。本发明实施例通过对同源视频数据和非同源视频数据对应的摄像机标定来建立成像模型，基于所述成像模型求解出摄像机内部参数，构建每一视频帧信息对应的摄像机内部参数矩阵。所述摄像机内部参数矩阵用于对所述视频数据中每一视频帧信息匹配空间三维点坐标。
在步骤S502中，根据所述摄像机内部参数矩阵，计算每一视频帧信息所表示空间的三维点坐标。
在这里，假设摄像机内部参数矩阵分别为k1和k2的两个视频帧信息之间的基础矩阵为F，由此可以得到两个视频帧信息之间的本质矩阵：E＝k2 TFk1。接着采用SVD分解法对本质矩阵E进行分解，得到旋转矩阵R和平移向量t，然后分别计算出两个视频帧信息对应的投影矩阵p1和p2，最后根据投影矩阵得到空间三维点坐标。
在步骤S503中，提取每一视频帧信息的特征信息，得到视频帧信息的稀疏图像，依据所述三维点坐标及特征信息关联不同摄像机所获取的视频帧信息的稀疏图像。
在这里，本发明实施例通过提取所述视频帧信息中的特征信息，实现对视频帧信息的稀疏表示，得到视频帧信息对应的稀疏图像。所述特征信息包括但不限于SIFT特征、SURF特征。然后根据视频帧信息所表示空间的三维点坐标以及特征信息，建立起不同摄像机所获取视频帧信息之间的对应关系，以将同一物理空间点在多幅不同视频帧信息中的成像点一一对应起来。
在步骤S504中，以所述跨镜追踪路径为导向，根据所关联的稀疏图像重建稠密图像、重建表面和进行纹理映射，得到所述目标场景的地图。
在这里，步骤S503所得到的稀疏图像只包括图像轮廓，其中的细节信息较差。本发明实施例进一步采用OpenMVS(open Multi-View Stereo reconstruction library，多视立体重建库)重建稠密点云、重建表面和纹理映射，向所述稀疏图像补充更多的细节信息；并且在三维重建过程中充分考虑上述跨镜追踪路径，以路径信息为导向，实现对目标场景的三维重建，最终得到目标场景的地图。
在本发明实施例中，所述目标场景的地图图像逼真，构建效果好；由于无需使用现有SLAM地图构建方法，不需要依赖专业设备，比如激光雷达、机器人等，地图重建成本低。本发明实施例提供的视频追踪及人脸识别技术，还可以应用到商场广告屏的智能推销推荐系统，对顾客展示定向广告，提高广告宣传效果。
综上所述，本发明实施例通过获取目标场景的视频数据；从所述视频数据中获取同源视频数据，采用尺度不变特征变换算法对所述同源视频数据进行检测，得到待追踪对象的特征信息；从所述视频数据中获取非同源视频数据，采用行人重识别技术对所述非同源视频数据中所述特征信息进行识别，生成跨镜追踪路径；最后以所述跨镜追踪路径为导向，采用三维重建技术对所述视频数据进行地图构建，得到所述目标场景的地图。本发明采用目标场景中的摄像机获取的图像及三维重建技术，避免了SLAM方法的回环闭合问题，且所得到的地图图像更加逼真，大大地提高了地图构建效果。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种地图的构建装置，该地图的构建装置与上述实施例中地图的构建方法一一对应。如图6所示，该地图的构建装置包括视频获取模块61、特征信息获取模块62、特征信息追踪模块63、地图构建模块64。各功能模块详细说明如下：
视频获取模块61，用于获取目标场景的视频数据；
特征信息获取模块62，用于从所述视频数据中获取同源视频数据，对所述同源视频数据进行检测，得到待追踪对象的特征信息；
特征信息追踪模块63，用于从所述视频数据中获取非同源视频数据，对所述非同源视频数据中所述特征信息进行识别，生成跨镜追踪路径；
地图构建模块64，用于以所述跨镜追踪路径为导向，对所述视频数据进行地图构建，得到所述目标场景的地图。
可选地，所述特征信息获取模块62包括：
同源视频获取单元，用于从所述视频数据中获取同源视频数据；
同源视频帧获取单元，用于从所述同源视频数据中获取预设时刻的同源视频帧信息；
特征获取单元，用于采用尺度不变特征变换算法对所述同源视频帧信息进行检测，得到待追踪对象的若干个特征信息。
可选地，所述特征获取单元还用于：
根据每一特征信息的表征能力设置对应的第一权重。
可选地，所述特征信息追踪模块63包括：
非同源视频获取单元，用于从所述视频数据中获取非同源视频数据；
非同源视频帧获取单元，用于从所述预设时刻起，按照预设时间间隔从所述非同源视频数据中获取非同源视频帧信息；
行人重识别单元，用于采用行人重识别技术对所述非同源视频帧信息中的所述特征信息进行识别，得到多个待追踪对象对应的追踪路径；
跨镜追踪路径生成单元，用于根根据所述多个待追踪对象对应的追踪路径构建所述目标场景中摄像机的图结构，生成所述目标场景的跨镜追踪路径。
可选地，所述特征信息追踪模块63还包括：
追踪价值获取单元，用于根据所述非同源视频帧信息中所识别到的特征信息及其对应的第二权重，得到每一所述待追踪对象的追踪价值；
选取单元，用于保留追踪价值大于或等于预设阈值的待追踪对象的特征信息及其对应的第二权重，得到所述待追踪对象对应的追踪路径。
可选地，所述地图构建模块64包括：
内参矩阵获取单元，用于对摄像机进行标定，建立成像模型，根据所述成像模型获取视频数据中每一视频帧信息对应的摄像机内部参数矩阵；
计算单元，用于根据所述摄像机内部参数矩阵，计算每一视频帧信息所表示空间的三维点坐标；
关联单元，用于提取每一视频帧信息的特征信息，得到视频帧信息的稀疏图像，依据所述三维点坐标及特征信息关联不同摄像机所获取的视频帧信息的稀疏图像；
三维重建单元，用于以所述跨镜追踪路径为导向，根据所关联的稀疏图像重建稠密图像、重建表面和进行纹理映射，得到所述目标场景的地图。
关于地图的构建装置的具体说明可以参见上文中对于地图的构建方法的说明，在此不再赘述。上述地图的构建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种地图的构建方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取目标场景的视频数据；
从所述视频数据中获取同源视频数据，对所述同源视频数据进行检测，得到待追踪对象的特征信息；
从所述视频数据中获取非同源视频数据，对所述非同源视频数据中所述特征信息进行识别，生成跨镜追踪路径；
以所述跨镜追踪路径为导向，对所述视频数据进行地图构建，得到所述目标场景的地图。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取目标场景的视频数据；
从所述视频数据中获取同源视频数据，对所述同源视频数据进行检测，得到待追踪对象的特征信息；
从所述视频数据中获取非同源视频数据，对所述非同源视频数据中所述特征信息进行识别，生成跨镜追踪路径；
以所述跨镜追踪路径为导向，对所述视频数据进行地图构建，得到所述目标场景的地图。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种地图的构建方法，其特征在于，包括：
获取目标场景的视频数据；
从所述视频数据中获取同源视频数据，对所述同源视频数据进行检测，得到待追踪对象的特征信息；
从所述视频数据中获取非同源视频数据，对所述非同源视频数据中所述特征信息进行识别，生成跨镜追踪路径；
以所述跨镜追踪路径为导向，对所述视频数据进行地图构建，得到所述目标场景的地图。
2.如权利要求1所述的地图的构建方法，其特征在于，所述从所述视频数据中获取同源视频数据，对所述同源视频数据进行检测，得到待追踪对象的特征信息包括：
从所述视频数据中获取同源视频数据；
从所述同源视频数据中获取预设时刻的同源视频帧信息；
采用尺度不变特征变换算法对所述同源视频帧信息进行检测，得到待追踪对象的若干个特征信息。
3.如权利要求2所述的地图的构建方法，其特征在于，所述得到待追踪对象的若干个特征信息之后，还包括：
根据每一特征信息的表征能力设置对应的第一权重，所述第一权重表示特征信息的表征能力大小。
4.如权利要求3所述的地图的构建方法，其特征在于，所述从所述视频数据中获取非同源视频数据，对所述非同源视频数据中所述特征信息进行识别，生成跨镜追踪路径包括：
从所述视频数据中获取非同源视频数据；
从所述预设时刻起，按照预设时间间隔从所述非同源视频数据中获取非同源视频帧信息；
采用行人重识别技术对所述非同源视频帧信息中的所述特征信息进行识别，得到多个待追踪对象对应的追踪路径；
根根据所述多个待追踪对象对应的追踪路径构建所述目标场景中摄像机的图结构，生成所述目标场景的跨镜追踪路径。
5.如权利要求4所述的地图的构建方法，其特征在于，所述采用行人重识别技术对所述非同源视频帧信息中的所述特征信息进行识别，得到多个待追踪对象对应的追踪路径之后，还包括：
根据所述非同源视频帧信息中所识别到的特征信息及其对应的第二权重，得到每一所述待追踪对象的追踪价值；
保留追踪价值大于或等于预设阈值的待追踪对象的特征信息及其对应的第二权重，得到所述待追踪对象对应的追踪路径；
所述第二权重表示特征信息在视频帧信息中的清晰度。
6.如权利要求1至5任一项所述的地图的构建方法，其特征在于，所述以所述跨镜追踪路径为导向，对所述视频数据进行地图构建，得到所述目标场景的地图包括：
对摄像机进行标定，建立成像模型，根据所述成像模型获取视频数据中每一视频帧信息对应的摄像机内部参数矩阵；
根据所述摄像机内部参数矩阵，计算每一视频帧信息所表示空间的三维点坐标；
提取每一视频帧信息的特征信息，得到视频帧信息的稀疏图像，依据所述三维点坐标及特征信息关联不同摄像机所获取的视频帧信息的稀疏图像；
以所述跨镜追踪路径为导向，根据所关联的稀疏图像重建稠密图像、重建表面和进行纹理映射，得到所述目标场景的地图。
7.一种地图的构建装置，其特征在于，包括：
视频获取模块，用于获取目标场景的视频数据；
特征信息获取模块，用于从所述视频数据中获取同源视频数据，对所述同源视频数据进行检测，得到待追踪对象的特征信息；
特征信息追踪模块，用于从所述视频数据中获取非同源视频数据，对所述非同源视频数据中所述特征信息进行识别，生成跨镜追踪路径；
地图构建模块，用于以所述跨镜追踪路径为导向，对所述视频数据进行地图构建，得到所述目标场景的地图。
8.如权利要求7所述的地图的构建装置，其特征在于，所述特征信息获取模块包括：
同源视频获取单元，用于从所述视频数据中获取同源视频数据；
同源视频帧获取单元，用于从所述同源视频数据中获取预设时刻的同源视频帧信息；
特征获取单元，用于采用尺度不变特征变换算法对所述同源视频帧信息进行检测，得到待追踪对象的若干个特征信息。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的地图的构建方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的地图的构建方法。
CN201910667862.2A 2019-07-23 2019-07-23 地图的构建方法、装置、设备及存储介质 Pending CN112288865A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910667862.2A CN112288865A (zh) 2019-07-23 2019-07-23 地图的构建方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910667862.2A CN112288865A (zh) 2019-07-23 2019-07-23 地图的构建方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112288865A true CN112288865A (zh) 2021-01-29

Family

ID=74419530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910667862.2A Pending CN112288865A (zh) 2019-07-23 2019-07-23 地图的构建方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112288865A (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102036054A (zh) * 2010-10-19 2011-04-27 北京硅盾安全技术有限公司 一种基于三维虚拟场景的智能视频监控系统
CN103941748A (zh) * 2014-04-29 2014-07-23 百度在线网络技术（北京）有限公司 自主导航方法及系统和地图建模方法及系统
CN103984915A (zh) * 2014-02-28 2014-08-13 中国计量学院 一种监控视频中行人重识别方法
CN106096577A (zh) * 2016-06-24 2016-11-09 安徽工业大学 一种摄像头分布地图中的目标追踪系统及追踪方法
CN106446002A (zh) * 2016-08-01 2017-02-22 三峡大学 一种基于运动目标在地图中轨迹的视频检索方法
CN106525057A (zh) * 2016-10-26 2017-03-22 陈曦 高精度道路地图的生成系统
CN106600675A (zh) * 2016-12-07 2017-04-26 西安蒜泥电子科技有限责任公司 一种基于深度图约束的点云合成方法
CN106599108A (zh) * 2016-11-30 2017-04-26 浙江大学 一种三维环境中多模态环境地图构建方法
CN107197200A (zh) * 2017-05-22 2017-09-22 北斗羲和城市空间科技（北京）有限公司 一种实现监控视频显示的方法及装置
CN107704824A (zh) * 2017-09-30 2018-02-16 北京正安维视科技股份有限公司 基于空间约束的行人重识别方法及设备
CN107771342A (zh) * 2016-06-20 2018-03-06 华为技术有限公司 一种增强现实显示方法及头戴式显示设备
CN108769598A (zh) * 2018-06-08 2018-11-06 复旦大学 基于行人重识别的跨摄像头视频浓缩方法
CN109215055A (zh) * 2017-06-30 2019-01-15 杭州海康威视数字技术股份有限公司 一种目标特征提取方法、装置及应用系统
CN109214315A (zh) * 2018-08-21 2019-01-15 北京深瞐科技有限公司 人车跨镜头追踪方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102036054A (zh) * 2010-10-19 2011-04-27 北京硅盾安全技术有限公司 一种基于三维虚拟场景的智能视频监控系统
CN103984915A (zh) * 2014-02-28 2014-08-13 中国计量学院 一种监控视频中行人重识别方法
CN103941748A (zh) * 2014-04-29 2014-07-23 百度在线网络技术（北京）有限公司 自主导航方法及系统和地图建模方法及系统
CN107771342A (zh) * 2016-06-20 2018-03-06 华为技术有限公司 一种增强现实显示方法及头戴式显示设备
CN106096577A (zh) * 2016-06-24 2016-11-09 安徽工业大学 一种摄像头分布地图中的目标追踪系统及追踪方法
CN106446002A (zh) * 2016-08-01 2017-02-22 三峡大学 一种基于运动目标在地图中轨迹的视频检索方法
CN106525057A (zh) * 2016-10-26 2017-03-22 陈曦 高精度道路地图的生成系统
CN106599108A (zh) * 2016-11-30 2017-04-26 浙江大学 一种三维环境中多模态环境地图构建方法
CN106600675A (zh) * 2016-12-07 2017-04-26 西安蒜泥电子科技有限责任公司 一种基于深度图约束的点云合成方法
CN107197200A (zh) * 2017-05-22 2017-09-22 北斗羲和城市空间科技（北京）有限公司 一种实现监控视频显示的方法及装置
CN109215055A (zh) * 2017-06-30 2019-01-15 杭州海康威视数字技术股份有限公司 一种目标特征提取方法、装置及应用系统
CN107704824A (zh) * 2017-09-30 2018-02-16 北京正安维视科技股份有限公司 基于空间约束的行人重识别方法及设备
CN108769598A (zh) * 2018-06-08 2018-11-06 复旦大学 基于行人重识别的跨摄像头视频浓缩方法
CN109214315A (zh) * 2018-08-21 2019-01-15 北京深瞐科技有限公司 人车跨镜头追踪方法及装置

Similar Documents

Publication Publication Date Title
Fan et al. Pothole detection based on disparity transformation and road surface modeling
CN111462200B (zh) 一种跨视频行人定位追踪方法、系统及设备
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN109598794B (zh) 三维gis动态模型的构建方法
Benfold et al. Guiding visual surveillance by tracking human attention.
CN109447121B (zh) 一种视觉传感器网络多目标跟踪方法、装置及系统
CN111126304A (zh) 一种基于室内自然场景图像深度学习的增强现实导航方法
CN105335955A (zh) 对象检测方法和对象检测装置
CN104517095B (zh) 一种基于深度图像的人头分割方法
CN109583373B (zh) 一种行人重识别实现方法
Pascoe et al. Robust direct visual localisation using normalised information distance.
Ji et al. RGB-D SLAM using vanishing point and door plate information in corridor environment
KR101548639B1 (ko) 감시 카메라 시스템의 객체 추적장치 및 그 방법
EP3593322B1 (en) Method of detecting moving objects from a temporal sequence of images
CN112528974B (zh) 测距方法、装置、电子设备及可读存储介质
Wang et al. Automatic node selection and target tracking in wireless camera sensor networks
CN106530407A (zh) 一种用于虚拟现实的三维全景拼接方法、装置和系统
Führ et al. Camera self-calibration based on nonlinear optimization and applications in surveillance systems
CN104754327A (zh) 一种检测及消除高光谱图像坏点的方法
CN114663598A (zh) 三维建模方法、装置和存储介质
Ghidoni et al. A multi-viewpoint feature-based re-identification system driven by skeleton keypoints
CN106558069A (zh) 一种基于视频监控下的目标跟踪方法及系统
Hoa et al. Efficient determination of disparity map from stereo images with modified sum of absolute differences (SAD) algorithm
Palazzolo et al. Change detection in 3d models based on camera images
CN104915967B (zh) 一种隧道内车辆运动路径的预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination