CN114882003A - 一种检测相机的拍摄位姿变化的方法、介质及计算设备 - Google Patents

Abstract

本说明书披露的多个实施例提供了一种检测相机的拍摄位姿变化的方法、介质及计算设备。将相机所拍摄的实景中保持静止的物体作为参考物，分别获取相机在预设位姿下拍摄实景得到的第一原始图像与相机在当前位姿下拍摄实景得到的第二原始图像，利用目标分割技术处理第一原始图像，得到突显参考物轮廓的第一轮廓图像，基于目标分割技术处理第二原始图像，得到相应的突显参考物轮廓的第二轮廓图像。如果第二轮廓图像中参考物轮廓相对于第一轮廓图像中参考物轮廓的偏移程度超过预设程度，则可以认定相机的拍摄位姿发生变化，即当前位姿不同于预设位姿。

Description

一种检测相机的拍摄位姿变化的方法、介质及计算设备

技术领域

本说明书多个实施例涉及信息技术领域，尤其涉及一种检测相机的拍摄位姿变化的方法、介质及计算设备。

背景技术

相机的拍摄位姿，是指相机进行拍摄时所采用的姿态、焦距等。在一些场景下，相机具有预设的拍摄位姿(即相机的预设位姿)，事务方可以基于相机在预置位姿下拍摄实景所得到的图像，计算得到实景相关数据。例如，事务方可以基于相机在预置位姿参数下拍摄的交通道路图像，计算得到道路中行驶的车辆的位置坐标。

然而一些情况可能会导致相机的拍摄位姿发生变化。例如，相机的安装部件形变、相机所安装的路段发生震动等情况可能导致相机的拍摄位姿被动地发生变化。又如，相机的后台控制系统响应于用户指令，主动改变相机的拍摄位姿。

如果相机的拍摄位姿在事务方不知晓的情况下发生变化，则会直接影响到事务方计算的实景相关数据的准确性。因此，事务方迫切需要一种能够检测到相机的拍摄位姿是否发生变化的技术方案。

发明内容

本说明书的多个实施例提供一种检测相机的拍摄位姿变化的方法、介质及计算设备，以便事务方能够检测到相机的拍摄位姿是否发生变化。

根据本说明书多个实施例的第一方面，提出了一种检测相机的拍摄位姿变化的方法，包括：

获取相机在预设位姿下拍摄实景得到的第一原始图像，以及获取所述相机在当前位姿下拍摄所述实景得到的第二原始图像；其中，所述实景中包括保持静止的参考物；

基于所述第一原始图像，得到突显参考物轮廓的第一轮廓图像；基于所述第二原始图像，得到相应的突显参考物轮廓的第二轮廓图像；

分析所述第二轮廓图像中的参考物轮廓相对于所述第一轮廓图像中的参考物轮廓的偏移程度，作为所述第二轮廓图像对应的偏移程度；

若所述第二轮廓图像对应的偏移程度超过第一预设程度，则确定所述当前位姿不同于所述预设位姿。

根据本说明书多个实施例的第二方面，提出了一种修正坐标转换矩阵的方法，其中，第一坐标转换矩阵用于，将相机在预设位姿下拍摄交通场景得到的图像中的像素点坐标转换成经纬度坐标；所述交通场景下的路面包含多个以固定间隔连续排列的车道线，所述方法包括：

在确定相机的当前位姿不同于所述预设位姿之后，基于所述第一原始图像，得到突显路面中多个连续的车道线轮廓的第三轮廓图像；基于第二原始图像，得到突显路面中多个连续的车道线轮廓的第四轮廓图像；

从所述第三轮廓图像中多个连续的车道线轮廓的边界上采集M个第三像素点，从所述第四轮廓图像中多个连续的车道线轮廓的边界上采集M个第四像素点；其中，所述M个第三像素点与所述M个第四像素点一一对应，任一第一像素点在所述第一轮廓图像中的车道线轮廓的边界上的相对位置，与其对应的第二像素点在该第二轮廓图像中的车道线轮廓的边界上的相对位置相同；M＞1；

根据每组具有对应关系的第三像素点与第四像素点的像素坐标转换关系，确定第二坐标转换矩阵；

基于所述第二坐标转换矩阵，修正所述第一坐标转换矩阵，使得修正后的所述第一坐标转换矩阵用于，将相机在当前位姿下拍摄交通场景得到的图像中的像素点坐标转换成经纬度坐标。

根据本说明书多个实施例的第三方面，提出了一种计算设备，包括存储器、处理器；所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现第一方面或第二方面所述的方法。

根据本说明书多个实施例的第四方面，提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面或第二方面所述的方法。

在上述技术方案中，将相机所拍摄的实景中保持静止的物体作为参考物，分别获取相机在预设位姿下拍摄实景得到的第一原始图像与相机在当前位姿下拍摄实景得到的第二原始图像，利用目标分割技术处理第一原始图像，得到突显参考物轮廓的第一轮廓图像，基于目标分割技术处理第二原始图像，得到相应的突显参考物轮廓的第二轮廓图像。

第一轮廓图像与第二轮廓图像共用同一图像坐标系，因此，第二轮廓图像中参考物轮廓相对于第一轮廓图像中参考物轮廓的偏移程度越大，则说明相机的拍摄位姿发生变化的可能性越高。如果第二轮廓图像中参考物轮廓相对于第一轮廓图像中参考物轮廓的偏移程度超过预设程度，则可以认定相机的拍摄位姿发生变化，即当前位姿不同于预设位姿。

通过上述技术方案，对于根据相机所拍摄的图像计算实景相关数据的事务方来说，仅依赖于相机所拍摄的图像就可以检测相机的拍摄位姿是否可能发生变化。

附图说明

图1示例性提供一种检测相机的拍摄位姿变化的方法的流程。

图2示例性提供检测相机的拍摄位姿变化的过程示意图。

图3示例性提供一种修正坐标转换矩阵的方法的流程。

图4是本公开提供的一种计算机可读存储介质的结构示意图。

图5是本公开提供的一种计算设备的结构示意图。

在附图中，相同或对应的标号表示相同或对应的部分。附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

在实际应用中，事务方需要根据相机拍摄实景所得到的图像来计算实景相关数据。如果相机的拍摄位姿发生变化(即相机的当前拍摄位姿不再是预设位姿)，则相机在当前位姿下拍摄实景得到的图像与事务方基于预设位姿所配置的图像计算方法很可能不适配，导致事务方计算得到的实景相关数据不够准确。因此，事务方有必要检测相机的拍摄位姿是否发生变化。

而事务方通常并不是相机的控制方或管理方，不了解相机的控制协议，不容易获得相机的控制信号，因此，很难知晓相机的拍摄位姿是否实际发生变化。

基于此，需要向事务方提供一种不依赖于相机的控制协议来检测相机的拍摄位姿变化的技术方案。

具体而言，可以将相机所拍摄的实景中保持静止的物体作为参考物，分别获取相机在预设位姿下拍摄实景得到的第一原始图像与相机在当前位姿下拍摄实景得到的至少一个第二原始图像，利用目标分割技术处理第一原始图像，得到突显参考物轮廓的第一轮廓图像，基于目标分割技术处理每个第二原始图像，得到相应的突显参考物轮廓的第二轮廓图像。

第一轮廓图像与第二轮廓图像共用同一图像坐标系，因此，第二轮廓图像中参考物轮廓相对于第一轮廓图像中参考物轮廓的偏移程度越大，则说明相机的拍摄位姿发生变化的可能性越高。如果第二轮廓图像中参考物轮廓相对于第一轮廓图像中参考物轮廓的偏移程度超过预设程度，则可以认定相机的拍摄位姿发生变化，即当前位姿不同于预设位姿。

通过上述技术方案，对于根据相机所拍摄的图像计算实景相关数据的事务方来说，仅依赖于相机所拍摄的图像就可以检测相机的拍摄位姿是否可能发生变化。

以下结合附图，详细说明上述技术方案。

图1示例性提供一种检测相机的拍摄位姿变化的方法的流程，包括以下步骤：

S100：获取相机在预设位姿下拍摄实景得到的第一原始图像，以及获取所述相机在当前位姿下拍摄所述实景得到的第二原始图像。

本公开中的相机，可以是指部署在现实场景(即实景)中，用于对实景进行拍摄的相机。例如，相机可以对实景进行监测，拍摄实景的监测视频，监测视频由相机拍摄实景得到的若干帧图像组成。

相机具体可以是PTZ相机。PTZ是Pan/Tilt/Zoom的简写，Pan表示相机在水平方向上的移动，即相机的旋转；Tilt表示相机在垂直方向上的移动，即相机镜头的高低俯仰；Zoom表示变焦，即调整相机的焦距。容易理解，PTZ可以定义相机的拍摄位姿。

上述的实景例如可以是交通场景、写字楼场景等。

通常，相机具有预设的拍摄位姿(即预设位姿)，事务方基于相机的预设位姿对自身采用的图像计算方法进行配置，以便于根据相机在预设位姿下拍摄的图像计算得到准确的实景相关参数。

例如，事务方可以基于相机在预置位姿参数下拍摄的交通道路图像，计算得到道路中行驶的车辆的位置坐标，从而对车辆的行使路线进行追踪。又如，事务方可以基于相机在预置位姿参数下拍摄的交通道路图像，计算得到道路中行使的车辆的行使方向，从而判断车辆是否逆行。

如果相机的拍摄位姿发生变化(不再是预设位姿)，那么事务方需要知晓该变化已经发生，以便及时调整自己的图像计算方法，使得调整后的图像计算方法与变化后的拍摄位姿适配。

本公开中所述的第一原始图像，可以是指相机在预设位姿下拍摄实景得到的一帧图像。本公开中所述的第二原始图像，可以是指相机在当前位姿下拍摄实景得到的一帧图像。

将实景中出现的保持静止的物体作为参考物的原因在于，这样的参考物与相机的拍摄位姿之间的空间关系是相对固定的，利用第一原始图像与第二原始图像共享图像坐标系的性质，可以比较第一原始图像与第二原始图像中的参考物轮廓之间的偏移程度，可以间接反映相机的预设位姿与当前位姿的差异程度。

在一些实施例中，上述的实景例如可以是交通场景，上述的参考物例如可以是路面。容易理解，相机通常布置在路面的一侧或两侧。例如，可以将相机布置在路面两侧的路灯杆上。有的路面具有行驶方向相反的双车道，这种情况下，第一原始图像中的参考物与第二原始图像中的参考物通常应当是某一行驶方向的同一路面。

在一些实施例中，可以仅获取一个第二原始图像，根据第一原始图像与第二原始图像分析判断相机的拍摄位姿是否变化。在另一些实施例中，可以获取至少两个(例如3个)第二原始图像，将第一原始图像与每个第二原始图像作为一组，根据各组图像综合分析判断相机的拍摄位姿是否变化。相应的，若每个第二轮廓图像对应的偏移程度皆超过第一预设程度，则可以确定所述当前位姿不同于所述预设位姿。基于多个第二原始图像进行分析得到的综合判断结果，可以更好的排除“相机位姿实际未变化，但是拍摄环境出现特殊情况导致拍摄出的第二原始图像造成分析误判”的情况。

S102：基于所述第一原始图像，得到突显参考物轮廓的第一轮廓图像；基于每个第二原始图像，得到相应的突显参考物轮廓的第二轮廓图像。

步骤S102通常是基于目标分割技术实现的。目标分割技术例如可以是语义分割或实例分割。目标分割技术用于从图像中分割出特定目标的轮廓区域。目标的轮廓区域又称目标的面具(MASK)，其本质上是在二值化图像中突显出的区域。此处需要说明，在图像的目标分割技术领域，MASK即是从图像中分割出的目标的轮廓区域，由于目标的轮廓区域通常不包含像素点信息，像是为目标遮掩一层面具，因此也将目标的轮廓区域称为MASK。容易理解，以参考物为需要分割的目标时，可以得到突显参考物轮廓的轮廓图像。

S104：分析所述第二轮廓图像中的参考物轮廓相对于所述第一轮廓图像中的参考物轮廓的偏移程度，作为该第二轮廓图像对应的偏移程度。

S106：若第二轮廓图像对应的偏移程度超过第一预设程度，则确定所述当前位姿不同于所述预设位姿。

在一些实施例中，如果第二轮廓图像对应的偏移程度低于或等于第一预设程度，则可以认定当前位姿相对于预设位姿为发生变化或者发生的变化不明显。

本领域技术人员基于第一轮廓图像与第二轮廓图像共享图像坐标系的性质，可以容易想到多种方式来分析第二轮廓图像中的参考物轮廓相对于所述第一轮廓图像中的参考物轮廓的偏移程度。本公开提供的实施方式仅作为示例。

针对该第二轮廓图像中的参考物轮廓与所述第一轮廓图像中的参考物轮廓，执行交并比(Intersection Of Union，IOU)计算；在IOU计算结果大于第一比例的情况下，确定该第二轮廓图像对应的偏移程度低于或等于预设程度。

假设第一区域为A，第二区域为B，那么，第一区域与该第二区域的交并比IOU计算公式为：

IOU(A,B)＝(A∩B)/(A∪B-A∩B)。

在一些实施例中，如果IOU计算结果小于或等于第一比例(如90％)，则可以确定该第二轮廓图像对应的偏移程度超过第一预设程度。

在另一些实施例中，如果IOU计算结果小于或等于第一比例，则为了判断的准确性，可以暂不得出结论，而是进一步分析该第二轮廓图像中的参考物轮廓的边界与所述第一轮廓图像中的参考物轮廓的边界的重叠程度，若重叠程度低于第二预设程度，则确定该第二轮廓图像对应的偏移程度超过第一预设程度。

此外，如果重叠程度高于或等于第二预设程度，则可以进一步判断重叠程度与第三预设程度的关系，第三预设程度大于第二预设程度。若重叠程度高于第三预设程度，则可以确定该第二轮廓图像对应的偏移程度低于或等于第一预设程度(即偏移程度不够高)。

如果重叠程度高于或等于第二预设程度，且低于或等于第三预设程度，则说明重叠程度不能算很高，也不能算很低，不太好判定这种重叠程度能否说明该第二轮廓图像对应的偏移程度足够高。

因此，可以采用如下的辅助手段进一步判定：

图像中通常不仅包括在实景中静止的参考物，而且包括在实景中保持静止的背景物集合(一个或多个背景物)。例如，相机拍摄交通场景得到图像中不仅包括路面(参考物)，而且包括绿化带、路灯杆等背景物。在实景中保持静止的背景物同样不会随着拍摄时间的不同而发生位置变化，包含背景物的图像所蕴含的像素点分布结构与相机的拍摄位姿具有相关性。如果第一原始图像与第二原始图像中背景物集合图像所蕴含的像素点分布结构比较相似，那么可以说明相机拍摄第一原始图像时的拍摄位姿与拍摄第二原始图像时的拍摄位姿是比较接近的。

需要说明，实景中还可能包括运动的物体，比如交通道路上行驶的车辆。在实景中运动的物体会随着拍摄时间的不同而发生位置变化，因此，运动物体图像所蕴含的像素点分布结构与相机的拍摄位姿不具有相关性。因此，在对第一原始图像与第二原始图像中的背景物图像所蕴含的像素点分布结构进行相似性分析时，实际上是基于突显背景物集合图像的第一背景图像与突显背景物集合图像的第二背景图像，计算所述第一背景图像与该第二背景图像的像素点分布结构的相似度。

具体而言，若重叠程度高于或等于第二预设程度，且低于或等于第三预设程度，则可以获取基于所述第一原始图像得到的、突显背景物集合图像的第一背景图像，以及基于该第二轮廓图像对应的第二原始图像，得到相应的突显背景物集合图像的第二背景图像。

计算所述第一背景图像与该第二背景图像的像素点分布结构的相似度，作为该第二轮廓图像对应的相似度。若该第二背景图像对应的相似度超过指定相似度，则确定该第二轮廓图像对应的偏移程度低于或等于第一预设程度。若该第二背景图像对应的相似度低于或等于指定相似度，则确定该第二轮廓图像对应的偏移程度超过第一预设程度。

假设将第一部分图像记为x，将第二部分图像记为y，那么，此处示例性提供一种计算x与y的像素点分布的结构衡量指标(Structure Similarity Index Measure，SSIM)值的公式：

其中，u代表相应图像的各个像素值的平均值，c₁、c₂为常数，σ_xy代表x与y的像素值矩阵的协方差，σ_x代表x的像素值矩阵的标准差，σ_y代表y的像素值矩阵的标准差。

如果从每个第二背景图像与第一背景图像的相似度皆低于或等于指定相似度，则可以确定当前位姿不同于预设位姿。如果从任一个第二原始图像中提取的第二部分图像与第一部分图像的相似度超过预设相似度，则可以确定当前位姿不同于预设位姿。

需要说明的是，在本公开提供的技术方案中，是将实景中所有背景物融合为一个整体特征来表征像素点分布结构，因此不需要依赖人工在图像中标注出显示不同类型的背景物(方便选择最突显的背景物)，也可以不必考虑光照、天气、遮挡等环境因素可能导致图像中背景物显示不明显的情况，方案实施的鲁棒性更强。并且，将实景中所有背景物融合为一个整体特征来表征像素点分布结构，虽然不够精细化，该整体特征固然与相机的拍摄位姿仅具有一般程度的相关性(不具有非常强的相关性)，但是，上述方式仅仅作为基于参考物轮廓IOU计算以及参考物轮廓边界重叠比较等主要手段的辅助手段，是在主要手段已经确保较高的准确性的基础上进一步分析，因此，得到的相机位姿是否变化的检测结果依然是比较精确的。

此外，对于如何分析第二轮廓图像中参考物轮廓的边界与所述第一轮廓图像中的参考物轮廓的边界的重叠程度，本领域技术人员基于第一轮廓图像与第二轮廓图像共享图像坐标系的性质，可以容易想到多种方式。本公开示例性提供一种方式如下：

可以从该第二轮廓图像中的参考物轮廓的边界上采样N个第二像素点，从所述第一轮廓图像中的参考物轮廓的边界上采样N个第一像素点；其中，所述N个第二像素点与所述N个第一像素点一一对应，具有对应关系的第一像素点与第二像素点形成一个像素点组合，同一像素点组合中第一像素点在所述第一轮廓图像中的参考物轮廓的边界上的相对位置，与对应的第二像素点在该第二轮廓图像中的参考物轮廓的边界上的相对位置相同；N＞1。

然后，可以计算每个像素点组合中第一像素点与第二像素点在图像坐标系中的相对距离，并确定相对距离小于预设距离的像素点组合在全部像素点组合中所占的比例，作为该第二轮廓图像中的参考物轮廓的边界与所述第一轮廓图像中的参考物轮廓的边界的重叠程度。

在确定相机的当前位姿不同于所述预设位姿之后，可以根据所述第一原始图像、所述第二原始图像以及所述预设位姿，推算所述当前位姿，以便基于所述当前位姿计算实景相关数据。例如，事务方可以基于当前位姿调整图像计算方法，使得调整后的图像计算方法与当前位姿适配。

如果确定相机的当前位姿与预设位姿相同，则说明相机的拍摄位姿未发生变化，可以不必调整图像计算方法。

在一些实施例中，在确定所述当前位姿不同于所述预设位姿之后，可以获取所述相机在当前位姿下拍摄所述实景得到的至少一个第三原始图像。此处的第三原始图像可以是指判定相机的拍摄位姿发生变化之后，重新在当前位姿下拍摄实景得到的图像。

可以基于所述第三原始图像，得到相应的突显参考物轮廓的第三轮廓图像。接着，可以分析所述第三轮廓图像中的参考物轮廓相对于所述第一轮廓图像中的参考物轮廓的偏移程度，作为所述第三轮廓图像对应的偏移程度。然后，若所述第三轮廓图像对应的偏移程度超过第一预设程度，则可以确定所述当前位姿已恢复至所述预设位姿。

也就是说，根据本公开的技术方案所采用的技术思路，可以进一步检测出相机的拍摄位姿在发生变化之后是否恢复至预设位姿。当然，在第二原始图像的数量为多个的实施例中，相应的，当需要进一步检测相机的拍摄位姿在发生变化之后是否恢复至预设位姿时，也需要基于多个第三原始图像进行判断，若每个第三轮廓图像对应的偏移程度皆超过第一预设程度，则可以确定所述当前位姿已恢复至所述预设位姿。

图2示例性提供检测相机的拍摄位姿变化的过程示意图。如图2所示，以仅获取一个第二原始图像为例，容易理解，在获取多个第二原始图像的实施例中，针对每个第二原始图像都执行一次图2所示的流程，在基于每个第二原始图像都得出暂定位姿变化的结果之后，可以认定实际位姿变化。在基于任一第二原始图像得出位姿未变化的结果时，可以认定实际位姿未变化。

另外，在交通场景下，有时需要将相机拍摄的图像中的像素坐标转换成经纬度坐标。例如，在交通场景下部署相机，利用相机对车辆的多个行驶位置点进行监测，将多个行驶位置点在图像中的像素点坐标转换成经纬度坐标，将这些行驶位置点的经纬度坐标形成行驶路线。

而将图像中的像素点坐标转换成经纬度坐标，依赖于坐标转换矩阵(本文称之为第一坐标转换矩阵，其属于单应矩阵)。第一坐标转换矩阵是根据相机的拍摄姿态确定的，通常，第一坐标转换矩阵默认根据相机的预设姿态确定。而如果相机的当前姿态不再是预设姿态，那么相机在当前姿态下拍摄得到的图像中的像素点坐标与第一坐标转换矩阵就不再适配，容易导致转换成的经纬度坐标不够准确。

因此，需要将第一坐标转换矩阵进行修正，使得修正后的第一坐标转换矩阵可以比较准确的将相机在当前位姿下拍摄交通场景得到的图像中的像素点坐标转换成经纬度坐标。

本公开提供的一种修正第一坐标转换矩阵的方案为，利用交通场景中保持静止并且位置关系相对稳定的多条车道线(车道线又称69线)为基准，通过分析第一原始图像中的多条车道线轮廓与第二原始图像中的多条车道线轮廓的像素坐标转换关系(本文称之为第二坐标转换矩阵，也属于单应矩阵)，来明确需要对第一坐标转换矩阵进行何种程度的修正。

而考虑到对于相机的拍摄范围来说，路面在行驶方向上的两端是无线延展的，因此，路面的不同路段之间很难区分，很难明确第一原始图像中的哪个路段轮廓与第二原始图像中的哪个路段轮廓具有匹配关系，也就很难基于匹配的两个路段轮廓来计算不同拍摄姿态下得到图像的像素坐标转换关系。

图3示例性提供一种修正坐标转换矩阵的方法的流程，包括以下步骤：

S300：在确定相机的当前位姿不同于所述预设位姿之后，基于所述第一原始图像，得到突显路面中多个连续的车道线轮廓的第三轮廓图像；基于第二原始图像，得到突显路面中多个连续的车道线轮廓的第四轮廓图像。

容易理解，如果有多个第二原始图像，则可以选择其中任一个第二原始图像来执行步骤S300。

S302：从所述第三轮廓图像中多个连续的车道线轮廓的边界上采集M个第三像素点，从所述第四轮廓图像中多个连续的车道线轮廓的边界上采集M个第四像素点。

需要说明的是，所述M个第三像素点与所述M个第四像素点一一对应，任一第一像素点在所述第一轮廓图像中的车道线轮廓的边界上的相对位置，与其对应的第二像素点在该第二轮廓图像中的车道线轮廓的边界上的相对位置相同；M＞1。

S304：根据每组具有对应关系的第三像素点与第四像素点的像素坐标转换关系，确定第二坐标转换矩阵。

S306：基于所述第二坐标转换矩阵，修正所述第一坐标转换矩阵。

通过步骤S306，使得修正后的所述第一坐标转换矩阵用于，将相机在当前位姿下拍摄交通场景得到的图像中的像素点坐标转换成经纬度坐标。通常可以将第一坐标转换矩阵与第二坐标转换矩阵相乘，得到修正后的第一坐标转换矩阵。

确定相机的当前位姿不同于所述预设位置的方法，可以是图1所示的方法，也可以现有技术中的其他方法。

在一些实施例中，路面可以具有行驶方向相反的双车道。这种情况下，第三轮廓图像中多个连续的车道线轮廓，与所述第四轮廓图像中多个连续的车道线轮廓，通常应当为同一车道上的车道线轮廓。

在一些实施例中，考虑到交通场景下，路面上的线类型不仅有车道线，而且还包括其他线，如掉头线。为此，可以将车道线在形式上定义为虚线，可以基于所述第一原始图像，得到突显路面中虚线类型目标的轮廓的第五轮廓图像；基于边缘检测算法，检测所述第五轮廓图像中虚线类型目标的轮廓中每个线段的轮廓，得到突显路面中多个连续的车道线轮廓的第三轮廓图像；其中，每个线段代表一个车道线，每个线段的轮廓作为一个车道线轮廓。

进一步地，如果基于边缘检测算法检测出的车道线轮廓的形状不规则，则可以对车道线轮廓进行矩形拟合，得到接近于矩形形状的车道线轮廓。

在实际应用中，通常需要确保第三轮廓图像中的各个车道线轮廓与第四轮廓图像中的各个车道线轮廓是一一对应的。具有对应关系且包含于不同图像的两个车道线轮廓，通常是实景中的同一个车道线在不同图像中的轮廓，也就是说，是相机在不同位姿下拍摄该同一车道线得到的不同车道线轮廓。

这意味着，需要满足这样的对齐条件：确保第三轮廓图像中的各个连续车道线轮廓的数量，与第四轮廓图像中的各个连续车道线轮廓的数量相同；并且，需要确保第三轮廓图像、第四轮廓图像中的相邻两个车道线轮廓之间的间距大致符合常规的车道线间距(例如9米)；并且，需要确保第三轮廓图像、第四轮廓图像中的每个车道线轮廓是完整的一条车道线的轮廓，而不是半截车道线的轮廓。

满足上述对齐条件的情况下，可以确保第三轮廓图像中的各个车道线轮廓与第四轮廓图像中的各个车道线轮廓是一一对应的。

如果不满足上述对齐条件，则需要先对第三轮廓图像中的各个车道线轮廓与第四轮廓图像中的各个车道线轮廓进行对齐处理以满足上述对齐条件，例如，将不匹配的车道线轮廓删除。

本公开还提供一种计算机可读存储介质，如图4所示，该介质140上存储有计算机程序，所述程序被处理器执行时实现本公开实施例的方法。

本公开还提供一种计算设备，包括存储器、处理器；所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开实施例的方法。

图5是本公开提供的一种计算设备的结构示意图，该计算设备15可以包括但不限于：处理器151、存储器152、连接不同系统组件(包括存储器152和处理器151)的总线153。

其中，存储器152存储有计算机指令，该计算机指令可以被处理器151执行，使得处理器151能够执行本公开任一实施例的方法。存储器152可以包括随机存取存储单元RAM1521、高速缓存存储单元1522和/或只读存储单元ROM1523。该存储器152还可以包括：具有一组程序模块1524的程序工具1525，该程序模块1524包括但不限于：操作系统、一个或多个应用程序、其他程序模块和程序数据，这些程序模块一种或多种组合可以包含网络环境的实现。

总线153例如可以包括数据总线、地址总线和控制总线等。该计算设备15还可以通过I/O接口154与外部设备155通信，该外部设备155例如可以是键盘、蓝牙设备等。该计算设备150还可以通过网络适配器156与一个或多个网络通信，例如，该网络可以是局域网、广域网、公共网络等。如图所示，该网络适配器156还可以通过总线153与计算设备15的其他模块进行通信。

此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。在一个典型的配置中，计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

上述对本说明书多个实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在本说明书多个实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书多个实施例。在本说明书多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的方法实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本说明书多个实施例的较佳实施例而已，并不用以限制本说明书多个实施例，凡在本说明书多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书多个实施例保护的范围之内。

Claims (15)

1.一种检测相机的拍摄位姿变化的方法，包括：

获取相机在预设位姿下拍摄实景得到的第一原始图像，以及获取所述相机在当前位姿下拍摄所述实景得到的第二原始图像；其中，所述实景中包括保持静止的参考物；

基于所述第一原始图像，得到突显参考物轮廓的第一轮廓图像；基于所述第二原始图像，得到相应的突显参考物轮廓的第二轮廓图像；

分析所述第二轮廓图像中的参考物轮廓相对于所述第一轮廓图像中的参考物轮廓的偏移程度，作为所述第二轮廓图像对应的偏移程度；

若所述第二轮廓图像对应的偏移程度超过第一预设程度，则确定所述当前位姿不同于所述预设位姿。

2.如权利要求1所述方法，分析所述第二轮廓图像中的参考物轮廓相对于所述第一轮廓图像中的参考物轮廓的偏移程度的步骤，包括：

针对所述第二轮廓图像中的参考物轮廓与所述第一轮廓图像中的参考物轮廓，执行交并比IOU计算；

在IOU计算结果大于第一比例的情况下，确定所述第二轮廓图像对应的偏移程度低于或等于预设程度。

3.如权利要求2所述方法，在IOU计算结果小于或等于第一比例的情况下，分析所述第二轮廓图像中的参考物轮廓相对于所述第一轮廓图像中的参考物轮廓的偏移程度的步骤，还包括：

分析所述第二轮廓图像中的参考物轮廓的边界与所述第一轮廓图像中的参考物轮廓的边界的重叠程度，若重叠程度低于第二预设程度，则确定所述第二轮廓图像对应的偏移程度超过第一预设程度。

4.如权利要求3所述方法，分析所述第二轮廓图像中的参考物轮廓的边界与所述第一轮廓图像中的参考物轮廓的边界的重叠程度，包括：

从所述第二轮廓图像中的参考物轮廓的边界上采样N个第二像素点，从所述第一轮廓图像中的参考物轮廓的边界上采样N个第一像素点；其中，所述N个第二像素点与所述N个第一像素点一一对应，具有对应关系的第一像素点与第二像素点形成一个像素点组合，同一像素点组合中第一像素点在所述第一轮廓图像中的参考物轮廓的边界上的相对位置，与对应的第二像素点在该第二轮廓图像中的参考物轮廓的边界上的相对位置相同；N＞1；

计算每个像素点组合中第一像素点与第二像素点在图像坐标系中的相对距离，并确定相对距离小于预设距离的像素点组合在全部像素点组合中所占的比例，作为所述第二轮廓图像中的参考物轮廓的边界与所述第一轮廓图像中的参考物轮廓的边界的重叠程度。

5.如权利要求3所述方法，分析所述第二轮廓图像中的参考物轮廓相对于所述第一轮廓图像中的参考物轮廓的偏移程度的步骤，还包括：

若重叠程度高于第三预设程度，则确定所述第二轮廓图像对应的偏移程度低于或等于第一预设程度；其中，所述第三预设程度大于所述第二预设程度。

6.如权利要求5所述方法，其中，所述实景中还包括保持静止的背景物集合；

分析所述第二轮廓图像中的参考物轮廓相对于所述第一轮廓图像中的参考物轮廓的偏移程度的步骤，还包括：

若重叠程度高于或等于第二预设程度，且低于或等于第三预设程度，则获取基于所述第一原始图像得到的、突显背景物集合图像的第一背景图像，以及基于所述第二轮廓图像对应的第二原始图像，得到相应的突显背景物集合图像的第二背景图像；

计算所述第一背景图像与所述第二背景图像的像素点分布结构的相似度，作为所述第二轮廓图像对应的相似度；

若所述第二背景图像对应的相似度超过指定相似度，则确定所述第二轮廓图像对应的偏移程度低于或等于第一预设程度；

若所述第二背景图像对应的相似度低于或等于指定相似度，则确定所述第二轮廓图像对应的偏移程度超过第一预设程度。

7.如权利要求1-6任一项所述方法，还包括：

在确定所述相机的当前位姿不同于所述预设位姿之后，根据所述第一原始图像、所述第二原始图像以及所述预设位姿，推算所述当前位姿，以便基于所述当前位姿计算实景相关数据。

8.如权利要求1所述方法，还包括

在确定所述当前位姿不同于所述预设位姿之后，获取所述相机在当前位姿下拍摄所述实景得到的第三原始图像；

基于所述第三原始图像，得到相应的突显参考物轮廓的第三轮廓图像；

分析所述第三轮廓图像中的参考物轮廓相对于所述第一轮廓图像中的参考物轮廓的偏移程度，作为所述第三轮廓图像对应的偏移程度；

若所述第三轮廓图像对应的偏移程度超过第一预设程度，则确定所述当前位姿已恢复至所述预设位姿。

9.如权利要求1所述方法，其中，所述第二原始图像的数量为至少两个；

若所述第二轮廓图像对应的偏移程度超过第一预设程度，则确定所述当前位姿不同于所述预设位姿，包括：

若每个第二轮廓图像对应的偏移程度皆超过第一预设程度，则确定所述当前位姿不同于所述预设位姿。

10.如权利要求1-6，8-9任一项所述方法，其中，所述实景为交通场景，所述参考物为路面。

11.一种修正坐标转换矩阵的方法，其中，第一坐标转换矩阵用于，将相机在预设位姿下拍摄交通场景得到的图像中的像素点坐标转换成经纬度坐标；所述交通场景下的路面包含多个以固定间隔连续排列的车道线，所述方法包括：

在基于权利要求9所述方法确定相机的当前位姿不同于所述预设位姿之后，基于所述第一原始图像，得到突显路面中多个连续的车道线轮廓的第三轮廓图像；基于第二原始图像，得到突显路面中多个连续的车道线轮廓的第四轮廓图像；

从所述第三轮廓图像中多个连续的车道线轮廓的边界上采集M个第三像素点，从所述第四轮廓图像中多个连续的车道线轮廓的边界上采集M个第四像素点；其中，所述M个第三像素点与所述M个第四像素点一一对应，任一第一像素点在所述第一轮廓图像中的车道线轮廓的边界上的相对位置，与其对应的第二像素点在该第二轮廓图像中的车道线轮廓的边界上的相对位置相同；M＞1；

根据每组具有对应关系的第三像素点与第四像素点的像素坐标转换关系，确定第二坐标转换矩阵；

基于所述第二坐标转换矩阵，修正所述第一坐标转换矩阵，使得修正后的所述第一坐标转换矩阵用于，将相机在当前位姿下拍摄交通场景得到的图像中的像素点坐标转换成经纬度坐标。

12.如权利要求11所述方法，所述路面具有行驶方向相反的双车道；

所述第三轮廓图像中多个连续的车道线轮廓，与所述第四轮廓图像中多个连续的车道线轮廓，为同一车道上的车道线轮廓。

13.如权利要求11所述方法，基于所述第一原始图像，得到突显路面中多个连续的车道线轮廓的第三轮廓图像，包括：

基于所述第一原始图像，得到突显路面中虚线类型目标的轮廓的第五轮廓图像；

基于边缘检测算法，检测所述第五轮廓图像中虚线类型目标的轮廓中每个线段的轮廓，

得到突显路面中多个连续的车道线轮廓的第三轮廓图像；其中，每个线段代表一个车道线，每个线段的轮廓作为一个车道线轮廓。

14.一种计算设备，包括存储器、处理器；所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至13任一项所述方法。

15.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现权利要求1至13任一项所述方法。

Images