CN110619674B - 用于事故和警情场景还原的三维增强现实设备及方法 - Google Patents

Abstract

本申请公开了用于事故和警情场景还原的三维增强现实方法，首先获取现实场景图像，然后从现实场景图像中识别出人工标记，并算出虚拟模型在虚拟场景中的位置，之后获取到与人工标记相应的虚拟三维静态模型和/或虚拟三维动态模型，并将模型放置于虚拟场景中相应的虚拟模型位置处，最后将虚拟场景与现实场景图像相融合得到增强现实的还原场景画面。通过增强现实技术对事故发生过程进行还原，帮助相关人员正确且快速地了解事故情况并作出判断。

Description

用于事故和警情场景还原的三维增强现实设备及方法

技术领域

本申请涉及事故处理技术领域，特别涉及用于事故和警情场景还原的三维增强现实设备及方法。

背景技术

在人类日常生活过程中，难免会发生一些事故，例如交通事故等，有时还会发生入室抢劫等刑事案件。

当道路上发生交通事故后，交管部门会派出交警到现场进行勘察，进行定责定损。然而对于一些案情复杂的交通事故，交警在到达现场进行定责定损时，由于事故已经发生，因此交警有时很难快速并准确地判断出事故的发生过程，也就很难立即对事故责任方进行公正地处罚从而结案。对于车流量较大的路段，若为了判定事故责任方而长时间保持事故现场不动，会导致交通拥堵，不利于车辆出行且更加容易导致交通安全事故发生。另外，若事故发生地点较为偏僻，事故发生过程并未被监控摄像头摄录下来，则同样会加大交警进行事故处理的难度。

对于刑事案件同样存在上述问题。当警方到达案发现场时，事故已经发生，留下的只是较为凌乱的案发现场，而现场勘验人员需要根据遗留的现场进行痕迹、物证进行勘察检验，侦查人员也需要对案发过程进行试验以确认案件事实。对于较为复杂的现场来说，勘验和侦查工作都可能较为困难，对于现场勘验人员来说，很难既准确又快速地推测出案情。

发明内容

(一)申请目的

基于此，为了对事故和警情在一定程度上进行发生过程的还原，以帮助交警、现场勘验人员快速判断出事故和警情过程，本申请公开了以下技术方案。

(二)技术方案

作为本申请的第一方面，本申请公开了一种用于事故和警情场景还原的三维增强现实设备，包括：

现场图像获取模块，用于获取现实场景图像；

人工标记识别模块，用于从所述现场图像获取模块获取的现实场景图像中识别出所述人工标记，并算出虚拟模型在虚拟场景中的位置；

三维模型获取模块，用于获取到与所述人工标记识别模块识别出的人工标记相应的虚拟三维静态模型和/或虚拟三维动态模型，并将所述模型放置于虚拟场景中所述人工标记识别模块算出的相应虚拟模型位置处；

增强现实显示模块，用于将所述虚拟场景与现实场景图像相融合得到增强现实的还原场景画面；

其中，所述人工标记设置于现场事故痕迹和物证附近。

在一种可能的实施方式中，所述人工标记识别模块通过对所述现实场景图像与本地动态加载的识别数据集进行特征匹配实现所述从所述现实场景图像中识别出所述人工标记；

并且，在所述人工标记识别模块从所述现实场景图像中识别出所述人工标记之后，所述三维模型获取模块将所述特征匹配结果上传至远程服务器，获取到远程服务器反馈的与所述匹配结果相应的所述静态模型和/或所述动态模型。

在一种可能的实施方式中，该设备还包括：

模型消隐模块，用于在所述人工标记识别模块从所述现实场景图像中识别出多个所述人工标记的情况下，并且在所述增强现实显示模块融合所述虚拟场景与现实场景图像之前：

分别计算出各所述人工标记相对于相机的平移矩阵，进而算出各所述人工标记相对于相机的平移量，通过比较各所述人工标记相对于相机的平移量大小，确定出被遮挡的虚拟模型，并对被遮挡模型的相应部分进行消隐；

另外，所述增强现实显示模块融合的虚拟场景为经过模型消隐处理的虚拟场景。

在一种可能的实施方式中，该设备还包括：

对象消隐模块，用于从所述现实场景图像中提取出SURF特征点，从所述特征点中确定出与现实目标模板匹配的特征点，从而识别出现实目标，分别计算出所述现实目标和所述虚拟模型相对于相机的平移矩阵，进而算出所述现实目标和所述虚拟模型相对于相机的平移量，通过比较所述现实目标和所述虚拟模型相对于相机的平移量大小，确定出所述现实目标和所述虚拟模型的遮挡关系，并对被遮挡对象的相应部分进行消隐。

在一种可能的实施方式中，该设备还包括：

背景干扰消除模块，用于对所述现实场景图像进行边缘检测得到边缘图像，对遮挡平面进行渲染得到遮挡区域掩码图，将所述遮挡区域掩码图和所述边缘图像中的相应区域进行叠加，以对相应人工标记进行遮挡。

作为本申请的第二方面，本申请还公开了一种用于事故和警情场景还原的三维增强现实方法，包括：

获取现实场景图像；

从所述现实场景图像中识别出所述人工标记，并算出虚拟模型在虚拟场景中的位置；

获取到与所述人工标记相应的虚拟三维静态模型和/或虚拟三维动态模型，并将所述模型放置于虚拟场景中相应的虚拟模型位置处；

将所述虚拟场景与现实场景图像相融合得到增强现实的还原场景画面；

其中，所述人工标记设置于现场事故痕迹和物证附近。

在一种可能的实施方式中，通过对所述现实场景图像与本地动态加载的识别数据集进行特征匹配实现所述从所述现实场景图像中识别出所述人工标记；

并且，在所述从所述现实场景图像中识别出所述人工标记之后，将所述特征匹配结果上传至远程服务器，获取到远程服务器反馈的与所述匹配结果相应的所述静态模型和/或所述动态模型。

在一种可能的实施方式中，在从所述现实场景图像中识别出多个所述人工标记的情况下，并且在融合所述虚拟场景与现实场景图像之前，该方法还包括：

分别计算出各所述人工标记相对于相机的平移矩阵，进而算出各所述人工标记相对于相机的平移量，通过比较各所述人工标记相对于相机的平移量大小，确定出被遮挡的虚拟模型，并对被遮挡模型的相应部分进行消隐；

另外，融合的虚拟场景为经过模型消隐处理的虚拟场景。

在一种可能的实施方式中，该方法还包括：

从所述现实场景图像中提取出SURF特征点，从所述特征点中确定出与现实目标模板匹配的特征点，从而识别出现实目标，分别计算出所述现实目标和所述虚拟模型相对于相机的平移矩阵，进而算出所述现实目标和所述虚拟模型相对于相机的平移量，通过比较所述现实目标和所述虚拟模型相对于相机的平移量大小，确定出所述现实目标和所述虚拟模型的遮挡关系，并对被遮挡对象的相应部分进行消隐。

在一种可能的实施方式中，所述将所述虚拟场景与现实场景图像相融合得到增强现实的还原场景画面包括：

对所述现实场景图像进行边缘检测得到边缘图像，对遮挡平面进行渲染得到遮挡区域掩码图，将所述遮挡区域掩码图和所述边缘图像中的相应区域进行叠加，以对相应人工标记进行遮挡。

(三)有益效果

本申请公开的用于事故和警情场景还原的三维增强现实设备及方法，利用计算机视觉等技术，向真实环境场景中添加由计算机生成的虚拟物体模型，增强了交警/勘验人员所看到的真实环境，甚至用动画还原出事故发生过程，帮助交警/勘验人员理清思路，从而公正快速地对交通事故进行定责定损/对案件进行准确勘察检验，减少因为交通事故的发生导致其他车辆缓行甚至拥堵的局面。

附图说明

以下参考附图描述的实施例是示例性的，旨在用于解释和说明本申请，而不能理解为对本申请的保护范围的限制。

图1是本申请公开的三维增强现实设备实施例的结构框图。

图2是交通事故现场俯视示意图。

图3是设置人工标记的交通事故现场俯视示意图，其中车辆及后轮未示出。

图4是本申请公开的三维增强现实方法实施例的流程示意图。

具体实施方式

为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。

下面参考图1-图3详细描述本申请公开的三维增强现实设备实施例。以下均以交通事故为例对本实施例进行描述。如图1所示，本实施例主要包括有现场图像获取模块、人工标记识别模块、三维模型获取模块和增强现实显示模块。

现场图像获取模块用于获取现实场景图像。

在道路上发生A车与B车相撞的交通事故之后，对现场进行保护。事故现场的俯视图如图2所示，A车10在沿图中箭头方向行驶时并线并与后方同向行驶的B车20相撞，并将A车10的左后视镜30撞落到地上。交警到达现场后，先对图2所示现场设置人工标记，得到图3所示的带有人工标记的示意图。

人工标记作为标识物，设置于现场事故痕迹和物证附近，用于标识出事故现场的痕迹、车辆位置、遗撒物、伤员位置等能够帮助交警判断事故发生过程以及判定事故责任的特征。采用的人工标记一般具有形状规则、色彩鲜明、图案简单清晰等特点，使得人工标记由于具备很强的特征性而能够区别于背景形状，便于后续被识别。

如图3所示，A车的前轮11和后轮12处分别施画“T”型人工标记13和14，B车的前轮21和后轮22处分别施画“T”型人工标记23和24，用于标识事故发生后车辆停下的位置。A车和B车在路面留下的刹车痕迹(图中横线阴影部分)分别用方形人工标记15和方形人工标记25围起，用于标识事故过程中的车辆移动轨迹。掉落在地上的左后视镜30用圆形人工标记31圈起，用于标识事故发生过程中的掉落的物品。

对车辆位置、车辆行驶痕迹、遗撒物等进行人工标记设置之后，交警通过三维增强现实设备的现场图像获取模块获取现实场景图像。

人工标记识别模块用于从现场图像获取模块获取的现实场景图像中识别出人工标记，并算出虚拟模型在虚拟场景中的位置。

识别出人工标记的目的是为了获取对应的虚拟模型，例如通过T型标记获取车辆模型，而对人工标记进行位置确定的目的则是为了确定出相应的虚拟模型应当显示于虚拟场景中的具体位置。虚拟场景是设备生成的与现实场景相对应的用于显示虚拟模型的场景，其由虚拟模型组成。

由于人工标记是专门设计制作的，具有很强的先验性，因此采用简单快速的算法就能达到标记识别和跟踪的目的，并且具有很高的稳定性。在现实场景图像中包含有多种人工标记时，人工标记识别模块会相应地识别出所有的人工标记及其所在位置，实现多目标识别。

人工标记的识别过程，可以先采用模板匹配方法来寻找现实场景图像中具有特定形状和特定图案的特征区域，具体是先将现实场景图像转换为灰度图像，然后用模板图像的轮廓和图案作为比对标准，在灰度图像中逐次进行特定的轮廓寻找，将灰度图像中所有满足该条件的轮廓全部进行标记。进行了模板图像匹配后得到以图像轮廓为特征的一系列目标区域，然后在该目标区域中以颜色信息进行筛选，就可以准确的识别跟踪同一轮廓下不同颜色的人工标记。

计算虚拟模型在现实场景中的位置坐标通常需要涉及两个转换过程：一个是从世界坐标系下转换到相机(现场图像获取模块)坐标系的过程，另一个转换过程是将相机坐标系下的点转换到显示设备(增强现实显示模块)的成像坐标系下的过程。通过两个过程的转换，使得跟踪目标从世界坐标系映射到成像坐标系，进而在增强现实显示模块上显示。

三维模型获取模块用于获取到与人工标记识别模块识别出的人工标记相应的虚拟三维静态模型和/或虚拟三维动态模型，并将上述模型放置于虚拟场景中人工标记识别模块算出的相应虚拟模型位置处。

在人工标记识别模块识别出人工标记后，三维模型获取模块相应的从本地后台数据库或远程后台数据库中获取到相应的三维虚拟模型，以用于增强现实显示模块的显示。虚拟模型可以是静态的，也可以是动态的。

静态模型是始终保持自身不与现实场景中的坐标系发生相对移动的模型，例如路面上用于隔离机动车道与非机动车道的金属围栏被撞翻，则在被撞翻的金属围栏处设置人工标记，使得在虚拟场景中显示出位于该处不动的金属围栏。

动态模型是产生动作的、与现实场景中的坐标系发生相对移动的模型，例如依据刹车痕迹的人工标记显示车辆沿刹车痕迹动态移动的动画。

静态模型和动态模型分别适配于事故过程中不同类型的涉及物，两者相配合能够更逼真地还原事故发生过程。

增强现实显示模块用于将虚拟场景与现实场景图像相融合得到增强现实的还原场景画面。

虚拟场景经过三维模型获取模块放置相应的三维虚拟静态/动态模型后，再经过增强现实显示模块与现实场景进行融合，得到还原场景画面。由于A车和B车均采用的动态模型，因此在同时显示有代表车辆最终停止位置的“T”型人工标记13、14、23、24，以及代表车辆刹车痕迹的方形人工标记15、25，以及代表掉落的左后视镜30的圆形人工标记31的现实场景图像中，增强现实显示模块融合出的相应的还原场景画面会显示有：A车虚拟模型和B车虚拟模型分别沿各自的刹车痕迹行进并停止于最终停止位置，左后视镜30始终位于掉落地点处不动。交警通过分析该还原场景画面，能够迅速判断出事故责任方。

该三维增强现实设备利用计算机视觉等技术，向真实环境场景中添加由计算机生成的虚拟物体模型，增强了交警所看到的真实环境，甚至用动画还原出事故发生过程，帮助交警理清思路，从而公正快速地对交通事故进行定责定损，减少因为交通事故的发生导致其他车辆缓行甚至拥堵的局面。

三维增强现实设备的模型资源获取方式可以为本地获取，模型资源存储于三维增强现实设备内部，在识别出人工标记后，直接从设备内调用相应的虚拟模型。但由于模型资源占用存储空间较大，因此本地获取的方式对设备存储空间要求较高，尤其是在大量模型资源的导入的情况下。因此在一种实施方式中，人工标记识别模块通过对现实场景图像与本地动态加载的识别数据集进行特征匹配实现从现实场景图像中识别出人工标记。并且，在人工标记识别模块从现实场景图像中识别出人工标记之后，三维模型获取模块将特征匹配结果上传至远程服务器，获取到远程服务器反馈的与匹配结果相应的静态模型和/或动态模型。

模型资源包括3D模型资源、视音频资源、文字信息资源、图片资源、按钮等，其数据量较大。识别数据集存储有识别图配置信息和特征点数据，其数据量相比于模型资源来说较小。

在基于特征点数据或基于其他方式识别出人工标记后，人工标记识别模块将识别数据集中与识别出的人工标记对应的识别信息发送至远程服务器。识别信息与相应的模型资源预先建立有匹配关系，服务器接收到识别信息后，将相应的模型资源发送至三维增强现实设备。三维增强现实设备接收到模型资源后，会将其缓存在设备本地的存储模块，以用于在本次使用过程中能够随时调用而无需重复地与服务器进行数据交互。

将占用较大存储空间的模型资源存储于服务器，并在进行三维增强现实时动态请求和动态使用，节省了设备本地存储空间。

现有的增强现实设备在进行虚拟场景与现实场景融合时，只是将采集到的现实场景图像作为背景以像素点的形式绘制于绘图空间中，再在空间中绘制虚拟模型，简单的将虚拟模型注册到现实场景中。在虚拟场景中存在多个虚拟模型并且各虚拟模型的占用区域之间存在冲突时，也只是全部地将各虚拟模型显示出来，导致无法体现出相冲突的虚拟物体之间的遮挡与被遮挡关系，使得融合后的画面不但没有达到增强现实的目的，反而使得场景更加混乱，影响交警对事故的观察和判断。

因此为了强化增强现实中虚拟模型之间的位置关系，增强融合的真实感，在通过增强现实来帮助交警快速公正地进行事故判断时不会因为虚拟模型位置关系而反过来影响到判断，在一种实施方式中，该三维增强现实设备还包括：模型消隐模块，用于在人工标记识别模块从现实场景图像中识别出多个人工标记的情况下，并且在增强现实显示模块融合虚拟场景与现实场景图像之前：分别计算出各人工标记相对于相机的平移矩阵，进而算出各人工标记相对于相机的平移量，通过比较各人工标记相对于相机的平移量大小，确定出被遮挡的虚拟模型，并对被遮挡模型的相应部分进行消隐。另外，增强现实显示模块融合的虚拟场景为经过消隐处理的虚拟场景。

通过人工标记识别模块的前述人工标记跟踪注册过程，人工标记在现实场景中的位姿就会被确定下来，同时人工标记对于相机(三维增强现实设备)的平移向量也被确定下来，不同的标记在同一个摄像机坐标系下的平移向量是不同的，这样对于不同的标记就存在一定的前后深度关系，通过标记的前后位置不同，进而确定遮挡关系。通过比较三维图形像素的深度信息，判定先后位置关系，进而确定遮挡关系，最终将被遮挡的像素点进行剔除，实现图形的消隐，完成图形的绘制。

具体的，假设人工标记中一点坐标在世界坐标系下为(X_W,Y_W,Z_W,1)，而该点在相机坐标系下表示为(X_C,Y_C,Z_C,1)，在成像坐标系下表示为(Xi,Yi,1)，则世界坐标系转换到相机坐标系通过以下公式表示：

其中，R为3×3的正交旋转矩阵，T为3×1的平移矩阵，M为同时包含了旋转、平移矩阵的相机外参数矩阵(相机位姿)。

并且，相机坐标系转换到成像坐标系通过以下公式表示：

其中，fx为相机物理焦距f与X轴方向相对物理尺度dx之商，fy为相机物理焦距f与Y轴方向相对物理尺度dx之商，fx和fy的意义为将单位毫米转换为像素的个数，r为成像坐标系与物体所在世界坐标系之间坐标轴的倾斜参数，矩阵K是相机内参数矩阵，(u,v,1)为从点坐标(Xi,Yi,1)转换得到的像素坐标，(u₀,v₀,1)为相机光心轴与相机成像平面的交点坐标。

单应性矩阵H(反映三维空间中的点与成像平面上的点之间的映射关系)通过以下公式表示：

其中，M为前述相机外参数矩阵，K为前述相机内参数矩阵，r1、r2、r3分别为表示人工标识相对于相机X轴、Y轴、Z轴旋转量的旋转矩阵，t为表示沿三个坐标轴平移量的平移矩阵。

在上述坐标转换过程中，通过提取特定的点来求取相机的参数，包括相机的固定特性包括光心、焦距等内参数，以及相机的位姿等外参数。该位姿用外参数矩阵的形式表示，包括旋转矩阵和平移矩阵。通过对相机外参数矩阵的求解，就可以计算出被跟踪目标在相机坐标系下的旋转量与平移量。由于不同的跟踪目标在同一个相机坐标系下的位姿是不同的，因此可以近似的将跟踪目标的平移量来作为深度信息判定位置关系，为后续增强现实显示模块的虚实场景融合处理提供比对参数。对于存在显示冲突的两个虚拟模型，平移量小(位于前方)的虚拟模型会遮挡住平移量大(位于后方)的虚拟模型，因此会对平移量大的虚拟模型进行消隐处理。

另外，对于上述进行虚拟场景与现实场景融合时，只是将采集到的现实场景图像作为背景以像素点的形式绘制于绘图空间中，还会使得虚拟物体始终存在于现实场景的前面，当虚拟模型需要出现在环境中真实物体的后方时，则无法进行相应显示，导致无法体现出真实物体与虚拟物体之间的遮挡与被遮挡关系。着同样会使得融合后的画面更加混乱，影响交警对事故的观察和判断。

因此为了强化增强现实中虚实融合过程的虚实位置关系，增强融合的真实感，在通过增强现实来帮助交警快速公正地进行事故判断时不会因为虚拟模型位置关系而反过来影响到判断，在一种实施方式中，该三维增强现实设备还包括：对象消隐模块，用于从现实场景图像中提取出SURF特征点，从特征点中确定出与现实目标模板匹配的特征点，从而识别出现实目标；分别计算出现实目标和虚拟模型相对于相机的平移矩阵，进而算出现实目标和虚拟模型相对于相机的平移量；通过比较现实目标和虚拟模型相对于相机的平移量大小，确定出现实目标和虚拟模型的遮挡关系，并对被遮挡对象的相应部分进行消隐，得到经过对象消隐处理的还原场景画面。

对象消隐模块采用SURF(Speeded-Up Robust Features)算法对现实目标进行检测、匹配和跟踪，并在现实目标与虚拟模型之间存在显示区域冲突时，依据两者的平移量判断出距离相机近的一方，将该一方作为遮挡方遮挡住距离相机远的另一方。

具体的，特征点检测过程大致如下：

1、构建黑塞矩阵(Hessian Matrix)，通过判定正负值来确定单应性矩阵H的特征值是否是极值点。

2、构建尺度空间，将图像按照组别和层次来划分空间尺度，而每组的图像通过不同尺度的滤波模板与原始图像进行卷积运算，进而得到一组新的图像集，最后将每组再划分成若干个不同层次的图像。

3、特征点定位，通过构建尺度空间，在每组特定的尺度中寻找出相对应的特征点，该特征点存在于该尺度下的三维空间(x,y,σ)内。在空间中获取的每一个特征点都与其它空间尺度下的对应点进行比较，计算该点是否在尺度空间中存在的极值。

4、确定特征点主方向，通过计算以特征点为中心，6s(其中s为特征点所在的尺度值)为半径的邻域内点的Harr小波响应值，并将所有范围内的响应值相加形成新的矢量，在整个区域遍历确定出最长矢量，该最长矢量的方向即代表了该特征点的主方向。通过逐点计算得到每个特征点的主方向。

5、特征点描述子生成，将坐标系中的坐标轴旋转到关键点主方向上，然后以关键点为中心选取8×8窗口，求取每个像素的梯度值和梯度方向，然后用高斯窗口对其进行加权运算，通过求取高斯权值以及绘制每个梯度方向的累加值来形成一个特征点的种子点。

提取特征点之后，在现实图像中寻找出与模板特征点匹配的点，进而在图像中进行实时的跟踪处理。特征点的匹配是利用匹配规则将符合该规则的或满足一定阈值的特征点对进行标记的过程。特征点匹配过程大致如下：

1、KD(K-Dimensional)树辅助匹配，利用KD树在多维空间中检索关键数据速度快的特性来加速特征点的查找匹配过程。

2、匹配提纯，采用以下比较方式：最近邻距离≤次近邻距离×THR来判定该最近邻和标记中特征点匹配成功，其中THR范围是0到1，如果不满足则认为匹配失败，删除该匹配特征点对。

3、误匹配点剔除，采用RANSAC(Random Sample Consensus)算法，利用计算所得的样本空间模型与原始空间模型进行比较，其中满足阈值内的点为合理点，以此针对误匹配的特征点对误匹配点进行剔除。剔除误匹配点的作用在于减小错误匹配带来的误差，减小系统的负担，提高处理速度。

由于在通过人工标记将虚拟模型注册到现实场景中时，增强现实显示模块显示的画面中同时也会显示出人工标记，这会对画面产生一定的干扰，不利于交警快速辨明画面中的各对象。例如在还原场景画面中显示很多遗撒物，且这些遗撒物互相之间的位置较为密集时，则相应的圆形人工标记也会有很多且较为密集，此时画面较为混乱。因此为了消除显示画面中的人工标记，减少画面干扰，同时避免在遮挡标记的同时挡住真实物体，在一种实施方式中，该三维增强现实设备还包括：背景干扰消除模块，用于对现实场景图像进行边缘检测得到边缘图像；对遮挡平面进行渲染得到遮挡区域掩码图；将遮挡区域掩码图和边缘图像中的相应人工标记区域进行叠加，以对相应人工标记进行遮挡。

边缘检测可以采取Canny边缘检测算法。

首先通过高斯滤波器对现实场景图像进行噪声消除。使用高斯滤波器与现实场景图像进行卷积，使得图像平滑，以减少噪声影响。

然后计算现实场景图像中每个像素点的梯度强度和方向。Canny算法使用四个算子来检测图像中的水平、垂直和对角边缘，例如可以采用Sobel算子作为边缘检测的算子。

之后对现实场景图像中每个像素点进行非极大值抑制得到边缘像素。非极大值抑制则可以将局部最大值之外的所有梯度值抑制为0。具体实施为：将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较，如果当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制。

最后对边缘像素进行双阈值检测得到边缘图像。双阈值分为高阈值和低阈值，如果边缘像素的梯度值高于高阈值，则将其标记为强边缘像素并进行保留；如果边缘像素的梯度值小于高阈值并且大于低阈值，则将其标记为弱边缘像素，弱边缘像素只有符合一定条件时才会被保留，例如弱边缘像素的邻域像素中存在强边缘像素则被保留；如果边缘像素的梯度值小于低阈值，则会被认为不是边缘像素而被抑制。

遮挡区域掩码图中包含了相应的遮挡区域，能够起到人工标记遮挡作用。遮挡平面是用于遮挡人工标记的平面。遮挡区域还具有相应的纹理掩膜。通过引入一张掩码作为透明度，使得边缘部分融合的时候平滑过渡，掩码中间部分的透明度为1，然后透明度由1向四周逐渐减小。当进行渲染的时候，在片段着色器中可以取透明度掩码对应位置处的值作为此片段的透明度，而不必把透明度和具体纹理绑定，使得透明度掩码和具体纹理分离。

通过使用透明度掩码进行遮挡平面边缘过渡，并使用纹理掩膜进行物体边缘叠加的“虚实融合纹理掩膜”技术，它能够消除背景的杂乱。

下面参考图4详细描述本申请公开的三维增强现实方法实施例。本实施例用于实施前述的三维增强现实设备。如图4所示，本实施例公开的方法包括步骤100至步骤400。

步骤100，获取现实场景图像；

步骤200，从现实场景图像中识别出人工标记，并算出虚拟模型在虚拟场景中的位置；

步骤300，获取到与人工标记相应的虚拟三维静态模型和/或虚拟三维动态模型，并将模型放置于虚拟场景中相应的虚拟模型位置处；

步骤400，将虚拟场景与现实场景图像相融合得到增强现实的还原场景画面；

其中，人工标记设置于现场事故痕迹和物证附近。

在一种实施方式中，通过对现实场景图像与本地动态加载的识别数据集进行特征匹配实现从现实场景图像中识别出人工标记；

并且，在从现实场景图像中识别出人工标记之后，将特征匹配结果上传至远程服务器，获取到远程服务器反馈的与匹配结果相应的静态模型和/或动态模型。

在一种实施方式中，在从现实场景图像中识别出多个人工标记的情况下，并且在融合虚拟场景与现实场景图像之前，该方法还包括：

分别计算出各人工标记相对于相机的平移矩阵，进而算出各人工标记相对于相机的平移量，通过比较各人工标记相对于相机的平移量大小，确定出被遮挡的虚拟模型，并对被遮挡模型的相应部分进行消隐；

另外，融合的虚拟场景为经过模型消隐处理的虚拟场景。

在一种实施方式中，该方法还包括：

从现实场景图像中提取出SURF特征点，从特征点中确定出与现实目标模板匹配的特征点，从而识别出现实目标，分别计算出现实目标和虚拟模型相对于相机的平移矩阵，进而算出现实目标和虚拟模型相对于相机的平移量，通过比较现实目标和虚拟模型相对于相机的平移量大小，确定出现实目标和虚拟模型的遮挡关系，并对被遮挡对象的相应部分进行消隐。

在一种实施方式中，将虚拟场景与现实场景图像相融合得到增强现实的还原场景画面包括：

对现实场景图像进行边缘检测得到边缘图像，对遮挡平面进行渲染得到遮挡区域掩码图，将遮挡区域掩码图和边缘图像中的相应区域进行叠加，以对相应人工标记进行遮挡。

需要说明的是：所描述的实施例是本申请一部分实施例，而不是全部的实施例，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本文中的模块、单元的划分仅仅是一种逻辑功能的划分，在实际实现时可以有其他的划分方式，例如多个模块和/或单元可以结合或集成于另一个系统中。作为分离部件说明的模块、单元在物理上可以是分开的，也可以是不分开的。作为单元显示的部件可以是物理单元，也可以不是物理单元，即可以位于一个具体地方，也可以分布到网格单元中。因此可以根据实际需要选择其中的部分或全部的单元来实现实施例的方案。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种用于事故和警情场景还原的三维增强现实设备，其特征在于，包括：

现场图像获取模块，用于获取包含人工标记的现实场景图像；

人工标记识别模块，用于从所述现场图像获取模块获取的现实场景图像中识别出人工标记，并依据人工标记的位置算出虚拟模型在虚拟场景中的位置；

三维模型获取模块，用于获取到与所述人工标记识别模块识别出的人工标记相应的虚拟三维静态模型和虚拟三维动态模型，并将所述模型放置于虚拟场景中所述人工标记识别模块算出的相应虚拟模型位置处；

增强现实显示模块，用于将所述虚拟场景与现实场景图像相融合得到增强现实的还原场景画面；

其中，所述人工标记设置于现场事故痕迹和物证附近，用于标识出事故现场的痕迹、车辆位置、遗撒物、伤员位置的特征，以用于判断事故发生过程以及判定事故责任，并且，所述人工标记通过形状、色彩和图案的特征而区别于背景形状；

所述人工标记识别模块通过对所述现实场景图像与本地动态加载的识别数据集进行特征匹配实现所述从所述现实场景图像中识别出所述人工标记，所述识别数据集存储有识别图配置信息和特征点数据，其数据量小于模型资源的数据量；

并且，在所述人工标记识别模块从所述现实场景图像中识别出所述人工标记之后，所述三维模型获取模块将所述特征匹配结果上传至远程服务器，获取到远程服务器反馈的与所述匹配结果相应的所述静态模型和所述动态模型，其中，所述特征匹配结果与相应的模型资源预先建立有匹配关系。

2.如权利要求1所述的设备，其特征在于，该设备还包括：

模型消隐模块，用于在所述人工标记识别模块从所述现实场景图像中识别出多个所述人工标记的情况下，并且在所述增强现实显示模块融合所述虚拟场景与现实场景图像之前：

分别计算出各所述人工标记相对于相机的平移矩阵，进而算出各所述人工标记相对于相机的平移量，通过比较各所述人工标记相对于相机的平移量大小，确定出被遮挡的虚拟模型，并对被遮挡模型的相应部分进行消隐；

另外，所述增强现实显示模块融合的虚拟场景为经过模型消隐处理的虚拟场景。

3.如权利要求1或2所述的设备，其特征在于，该设备还包括：

对象消隐模块，用于从所述现实场景图像中提取出SURF特征点，从所述特征点中确定出与现实目标模板匹配的特征点，从而识别出现实目标，分别计算出所述现实目标和所述虚拟模型相对于相机的平移矩阵，进而算出所述现实目标和所述虚拟模型相对于相机的平移量，通过比较所述现实目标和所述虚拟模型相对于相机的平移量大小，确定出所述现实目标和所述虚拟模型的遮挡关系，并对被遮挡对象的相应部分进行消隐。

4.如权利要求1所述的设备，其特征在于，该设备还包括：

背景干扰消除模块，用于对所述现实场景图像进行边缘检测得到边缘图像，对遮挡平面进行渲染得到遮挡区域掩码图，将所述遮挡区域掩码图和所述边缘图像中的相应区域进行叠加，以对相应人工标记进行遮挡。

5.一种用于事故和警情场景还原的三维增强现实方法，其特征在于，包括：

获取包含人工标记的现实场景图像；

从所述现实场景图像中识别出人工标记，并依据人工标记的位置算出虚拟模型在虚拟场景中的位置；

获取到与所述人工标记相应的虚拟三维静态模型和虚拟三维动态模型，并将所述模型放置于虚拟场景中相应的虚拟模型位置处；

将所述虚拟场景与现实场景图像相融合得到增强现实的还原场景画面；

其中，所述人工标记设置于现场事故痕迹和物证附近，用于标识出事故现场的痕迹、车辆位置、遗撒物、伤员位置的特征，以用于判断事故发生过程以及判定事故责任，并且，所述人工标记通过形状、色彩和图案的特征而区别于背景形状；另外，

通过对所述现实场景图像与本地动态加载的识别数据集进行特征匹配实现所述从所述现实场景图像中识别出所述人工标记，所述识别数据集存储有识别图配置信息和特征点数据，其数据量小于模型资源的数据量；

并且，在所述从所述现实场景图像中识别出所述人工标记之后，将所述特征匹配结果上传至远程服务器，获取到远程服务器反馈的与所述匹配结果相应的所述静态模型和所述动态模型，其中，所述特征匹配结果与相应的模型资源预先建立有匹配关系。

6.如权利要求5所述的方法，其特征在于，在从所述现实场景图像中识别出多个所述人工标记的情况下，并且在融合所述虚拟场景与现实场景图像之前，该方法还包括：

分别计算出各所述人工标记相对于相机的平移矩阵，进而算出各所述人工标记相对于相机的平移量，通过比较各所述人工标记相对于相机的平移量大小，确定出被遮挡的虚拟模型，并对被遮挡模型的相应部分进行消隐；

另外，融合的虚拟场景为经过模型消隐处理的虚拟场景。

7.如权利要求5或6所述的方法，其特征在于，该方法还包括：

从所述现实场景图像中提取出SURF特征点，从所述特征点中确定出与现实目标模板匹配的特征点，从而识别出现实目标，分别计算出所述现实目标和所述虚拟模型相对于相机的平移矩阵，进而算出所述现实目标和所述虚拟模型相对于相机的平移量，通过比较所述现实目标和所述虚拟模型相对于相机的平移量大小，确定出所述现实目标和所述虚拟模型的遮挡关系，并对被遮挡对象的相应部分进行消隐。

8.如权利要求5所述的方法，其特征在于，所述将所述虚拟场景与现实场景图像相融合得到增强现实的还原场景画面包括：

对所述现实场景图像进行边缘检测得到边缘图像，对遮挡平面进行渲染得到遮挡区域掩码图，将所述遮挡区域掩码图和所述边缘图像中的相应区域进行叠加，以对相应人工标记进行遮挡。

Images