CN111429518A - 一种标注方法、装置、计算设备及存储介质 - Google Patents

Abstract

本申请公开了一种标注方法、装置、计算设备及存储介质，用于解决AR标注设置效率低的技术问题。所述方法包括：将云台设备发送的多张原始图像进行拼接，以获得拼接后的全景图像，多张原始图像为云台设备在各个监控场景下获取的图像；在全景图像中选择待标注实体，并确定待标注实体在全景图像中的至少一个第一位置坐标；将至少一个第一位置坐标转换为至少一个第二位置坐标，至少一个第二位置坐标为待标注实体在对应的原始图像中的位置坐标；将至少一个第二位置坐标发送给云台设备，以使云台设备基于至少一个第二位置坐标对待标注实体进行标注。

Description

一种标注方法、装置、计算设备及存储介质

技术领域

本发明涉及增强现实(Augmented Reality，AR)技术领域，尤其涉及一种标注方法、装置、计算设备及存储介质。

背景技术

增强现实技术(Augmented Reality，AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。随着随身电子产品CPU运算能力的提升，以及人们生活水平的提高，AR技术具有非常广阔的发展前景。

在现有的视频监控系统中，采集图像的摄像头由云台控制方向，由于摄像头在固定视角下所能看到的监控场景有限，因此，需要依靠全景云台对监控场景中的各个方向和角度进行有效监控。所谓全景云台，是既可以调节摄像头节点在一个纵轴线上转动，又可以让摄像头在水平面上进行水平转动拍摄，从而达到使摄像头拍摄节点在三维空间中的一个固定位置进行全方位拍摄。

摄像机在实现AR标注设置时，需要控制云台转到某一场景，在某一场景里面对多个目标进行逐一标注后，需要再次转动云台到其它场景进行类似操作，配置工作量较大。所以，如果是在实体繁多且排布复杂的真实场景中对某些实体进行标注，不仅耗时费力，而且效率较低。综上所述，目前亟需一种标注方法，用以解决AR标注设置效率低的技术问题。

发明内容

本申请实施例提供一种标注方法、装置、计算设备及存储介质，用于解决AR标注设置效率低的技术问题。

第一方面，提供一种标注方法，所述方法包括：

将云台设备发送的多张原始图像进行拼接，以获得拼接后的全景图像，所述多张原始图像为所述云台设备在各个监控场景下获取的图像；

在所述全景图像中选择待标注实体，并确定所述待标注实体在所述全景图像中的至少一个第一位置坐标；

将所述至少一个第一位置坐标转换为至少一个第二位置坐标，所述至少一个第二位置坐标为所述待标注实体在对应的原始图像中的位置坐标；

将所述至少一个第二位置坐标发送给所述云台设备，以使所述云台设备基于所述至少一个第二位置坐标对所述待标注实体进行标注。

在一种可能的设计中，确定所述待标注实体在所述全景图像中的至少一个第一位置坐标，包括：

确定所述待标注实体的一组关键标注点；

确定所述一组关键标注点中每个关键标注点在所述全景图像的坐标，得到所述至少一个第一位置坐标。

在一种可能的设计中，在获得拼接后的全景图像之后，所述方法还包括：

记录图像拼接信息，所述图像拼接信息包括所述云台设备拍摄每张原始图像时所述云台设备的参数，所述参数包括所述云台设备的水平方位角、垂直高度角以及变倍率。

在一种可能的设计中，将所述至少一个第一位置坐标转换为至少一个第二位置坐标，包括：

确定所述一组关键标注点中每个关键标注点所处的目标原始图像，所述目标原始图像为所述多张原始图像中的至少一张原始图像；

从所述图像拼接信息中获取所述目标原始图像对应的所述云台设备的参数；

根据所述云台设备的参数、所述第一位置坐标以及所述第二位置坐标之间的坐标转换关系，将所述至少一个第一位置坐标转为所述至少一个第二位置坐标。

在一种可能的设计中，将所述至少一个第一位置坐标转换为至少一个第二位置坐标，包括：

在所述全景图像中选取处于不同原始图像中的第一标注点和第二标注点；

分别确定所述第一标注点在第一原始图像的坐标和所述第一标注点在所述全景图像中的第三位置坐标，以及，分别确定所述第二标注点在第二原始图像中的坐标和所述第二标注点在所述全景图像中的第四位置坐标，所述第一标注点位于所述第一原始图像中，所述第二标注点位于所述第二原始图像中；确定所述第一标注点在所述第一原始图像中的坐标与所述第三位置坐标的第一对应关系，以及所述第二标注点在所述第二原始图像中的坐标与在所述第四位置坐标的第二对应关系；

根据所述第一对应关系和所述第二对应关系确定所述第一位置坐标与所述第二位置坐标之间的对应关系；

根据所述对应关系，将所述至少一个第一位置坐标转为所述至少一个第二位置坐标。

第二方面，提供一种标注装置，所述装置包括：

拼接模块，用于将云台设备发送的多张原始图像进行拼接，以获得拼接后的全景图像，所述多张原始图像为所述云台设备在各个监控场景下获取的图像；

确定模块，用于在所述全景图像中选择待标注实体，并确定所述待标注实体在所述全景图像中的至少一个第一位置坐标；

转换模块，用于将所述至少一个第一位置坐标转换为至少一个第二位置坐标，所述至少一个第二位置坐标为所述待标注实体在对应的原始图像中的位置坐标；

发送模块，用于将所述至少一个第二位置坐标发送给所述云台设备，以使所述云台设备基于所述至少一个第二位置坐标对所述待标注实体进行标注。

在一种可能的设计中，所述确定模块，用于：

确定所述待标注实体的一组关键标注点；

确定所述一组关键标注点中每个关键标注点在所述全景图像的坐标，得到所述至少一个第一位置坐标。

在一种可能的设计中，所述装置还包括记录模块，用于：

记录图像拼接信息，所述图像拼接信息包括所述云台设备拍摄每张原始图像时所述云台设备的参数，所述参数包括所述云台设备的水平方位角、垂直高度角以及变倍率。

在一种可能的设计中，所述转换模块，用于：

确定所述一组关键标注点中每个关键标注点所处的目标原始图像，所述目标原始图像为所述多张原始图像中的至少一张原始图像；

从所述图像拼接信息中获取所述目标原始图像对应的所述云台设备的参数；

根据所述云台设备的参数、所述第一位置坐标以及所述第二位置坐标之间的坐标转换关系，将所述至少一个第一位置坐标转为所述至少一个第二位置坐标。

在一种可能的设计中，所述转换模块，用于：

在所述全景图像中选取处于不同原始图像中的第一标注点和第二标注点；

分别确定所述第一标注点在第一原始图像的坐标和所述第一标注点在所述全景图像中的第三位置坐标，以及，分别确定所述第二标注点在第二原始图像中的坐标和所述第二标注点在所述全景图像中的第四位置坐标，所述第一标注点位于所述第一原始图像中，所述第二标注点位于所述第二原始图像中；确定所述第一标注点在所述第一原始图像中的坐标与所述第三位置坐标的第一对应关系，以及所述第二标注点在所述第二原始图像中的坐标与在所述第四位置坐标的第二对应关系；

根据所述第一对应关系和所述第二对应关系确定所述第一位置坐标与所述第二位置坐标之间的对应关系；

根据所述对应关系，将所述至少一个第一位置坐标转为所述至少一个第二位置坐标。

第三方面，提供一种计算设备，所述计算设备包括：

至少一个处理器，以及

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如第一方面及任一可能的实施例中所述的方法。

第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面及任一可能的实施例中所述的方法。

第五方面，提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行上述各种可能的实现方式中所描述的标注方法。

在本申请实施例中，可以先将云台设备在不同场景下拍摄的原始图像进行拼接，以获得该云台设备可以监控到的全景图像，然后就可以在全景图像中选择需要进行标注的实体，并通过坐标转换在原始图像中对选择的实体进行标注。由于可以直接根据坐标转换在原始图像中进行标注，而不需要在标注时，控制云台设备实时转动到需进行标注的实体的对应场景下，所以，可以简化标注的过程。而在全景图像中选择待标注实体时，也可以同时选择多个待标注实体，也就是说，可以实现同时对多个实体进行标注，相对于相关技术中，只能逐一进行标注的标注方法，本申请实施例中提供的标注方法效率更高。而且，通过全景图像，可以比较方便简洁地对道路等比较难标注的实体进行标注，也可以提高标注效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的视频监控系统的结构示意图；

图2为本申请实施例提供的标注方法的流程示意图；

图3为本申请实施例提供的关键标注点的示意图；

图4a为本申请实施例提供的标注装置的结构框图；

图4b为本申请实施例提供的标注装置的另一结构框图；

图5为本申请实施例提供的计算设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请中的“多个”可以表示至少两个，例如可以是两个、三个或者更多个，本申请实施例不做限制。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。

在现有的视频监控系统中，需要通过云台设备来实现全方位监控。请参见图1，图1为视频监控系统的结构示意图，包括云台控制器101和云台设备102，云台控制器例如可以理解为是一台服务器，或者一个遥控器，它可以控制云台进行转动，从而实现全方位监控。云台设备可以理解为是云台摄像机，或者云台视频图像采集器，它可以根据云台控制器的控制，转动到不同的方位角，进行视频图像的采集。

在相关技术中，云台设备在固定视角内能看到的监控场景是有限的，所以，如果要对监控画面中的实体进行AR标注，就需要将云台设备转动到包含有该实体的监控场景下进行标注。AR标注，可以简单理解为AR场景中对目标实体的标注过程，例如，需要对某个AR场景中的建筑物进行AR标注，则首先获取该AR场景中的一张实时图像，识别出该实时图像中是否包括有建筑物，并确定建筑物的名称以及位置，然后在该建筑物对应的位置显示一个文字框，在文字框内显示其名称，这样，就可以清楚直观地查看到各个建筑物对应的标注内容。

但是，如果有多个实体需要进行标注，那么在标注完一个实体之后，就需要确定下一个实体所处的监控场景，并通过云台控制器控制云台设备转动到该监控场景下，才能再次进行标注。这样，就会使得对实体进行标注的过程比较繁琐，而且需要消耗很多的时间，导致标注的效率较低。

鉴于此，本申请实施提供一种标注方法，通过该方法在将多个监控场景下获得的局部图像进行拼接后的全景图像中，选择需要标注的一个或多个实体，然后经过坐标转换，在对应的原始图像同时对需标注的实体进行标注。由于无需将云台设备转动到对应场景下，就可以对多个实体进行同步标注，有效提高了标注效率。

为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时，可按照实施例或者附图所示的方法顺序执行或者并行执行。

请参见图2所示，图2为本申请实施例提供的标注方法的一种示例的流程图，该方法可以部署在如图1所示的云台控制器101中。图2中的标注方法的流程描述如下：

步骤201：将云台设备发送的多张原始图像进行拼接，以获得拼接后的全景图像，多张原始图像为云台设备在各个监控场景下获取的图像。

在具体的实施过程中，云台设备可以在水平方向做360度旋转，而垂直方向上的可旋转角度取决于各个云台设备的产品设计，比如有的云台设备在垂直方向的可旋转角度为0～90度，有的为-20～90度，等等，在此不做限制。正是由于云台设备可自由旋转角度，所以，可以通过旋转云台设备对各个方位和角度进行有效监督，在云台设备旋转角度不一样时，就可以获取到各个监控场景下的图像，该图像即为本申请中的原始图像，原始图像也就可以理解为是云台设备在对应监控场景下拍摄到的局部图像。

在获取到多张原始图像之后，就可以对多张原始图像进行拼接。在具体的拼接过程中，可以采用相关技术中现有的图像拼接校准技术进行拼接，对于具体的拼接方式，本申请实施例不做限制。经过拼接之后，就可以将多张原始图像合成为一张全景图像，该全景图像中包含有多张原始图像中包含的所有实体图像。需要说明的是，为了保证拼接的全景图像的拼接质量，进行拼接的多张原始图像的尺寸大小可以是保持一致的。

在一种可能的实施方式中，在对多张原始图像进行拼接处理时，还可以记录对应的图像拼接信息，图像拼接信息中可以包括云台设备的参数，该参数为拍摄每张原始图像时云台设备的对应设备参数，该参数具体可以包括云台设备的水平方位角、垂直方位角以及设备变倍率。这样，就可以根据记录的图像拼接信息，确定出每张原始图像是在哪一个具体的监控场景下进行拍摄获取到的。在具体的实施过程中，图像拼接信息中还可以包括有原始图像的拼接顺序、原始图像的尺寸信息，或者其它一些图像信息，本申请实施例不做限制。

在具体的实施方式中，云台设备例如可以是全方位移动及镜头变倍、变焦控制(Pan/Tilt/Zoom，PTZ)摄像机，那么对应于每张原始图像的云台设备的参数，即可以是PTZ摄像机转动到不同监控场景下的角度信息，以及拍摄时的变倍率参数。例如拍摄某一原始图像时，PTZ的水平方位角为75度，垂直高度角为45度，变倍率为20，那么，这三个参数即为拍摄该原始图像时云台设备的参数，也即保存的该原始图像的图像拼接信息。

在保存图像拼接信息时，可以是通过表格的形式进行记录的，也可以是通过文本的方式进行记录的，或者，还可以是通过其它一些方式进行记录的，本申请实施例不做限制。

步骤202：在全景图像中选择待标注实体，并确定待标注实体在全景图像中的至少一个第一位置坐标。

在一种可能的实施方式中，获得全景图像之后，就可以在全景图像中选择需要进行标注的实体，例如可以将选择的实体称为是待标注实体。在选择待标注实体时，可以选择一个待标注实体，也可以选择多个待标注实体，对于待标注实体的数量，本申请实施例不做限制。在选择待标注实体时，可以是云台控制器基于用户的点击操作进行选择的，例如用户通过鼠标等外接输入设备，在全景图像上通过点击或者框选的方式选择待标注实体；或者，也可以是用户输入要标注的类型，云台控制器根据用户输入的类型确定待标注实体，例如，用户输入的标注类型是道路，那么就将全景图像中的所有道路确定为待标注实体；或者，还可以是云台控制器根据历史选择结果自动选择待标注实体，对于待标注实体的选择方式，本申请实施例也不做限制。需要说明的是，如果通过用户点击的方式选择待标注实体，且选择的数量为多个时，可以逐一点击选中实体，如果是通过框选的方式进行选择，那么框内包含的所有实体均为待标注实体。

在选择出待标注实体之后，就可以获取各个待标注实体在全景图像中的坐标，为了便于区分，可以将待标注实体在全景图像中的坐标称为是第一位置坐标。

在一种可能的实施方式中，每个待标注实体的第一位置坐标的数量可以是一个，也可以是多个，例如可以是将每个待标注实体的中心点坐标作为其第一位置坐标，那么此时，每个待标注实体的第一位置坐标就只有一个；或者也可以是选择待标注实体中的至少两个关键点的坐标作为其第一位置坐标，那么此时，每个待标注实体的第一位置坐标就有多个。也就是说，每个待标注实体可以有一组对应于自身的关键点，例如，可以将该组关键点称为是待标注实体的关键标注点，在后续进行坐标转换的时候，只需要对关键标注点的坐标进行转换即可，这样，不仅可以减少转换坐标的数量，也可以确保进行的标注是准确有效的。在具体的实施过程中，可以将一组关键标注点构成的区域理解为是对应待标注实体的区域，所以，通过关键标注点的坐标转换就可以获得待标注实体的第二位置坐标，进而可以较为准确地对实体进行标注。

在具体的实施过程中，确定待标注实体的关键标注点时，可以根据各个实体的具体结构进行确定。也就是说，可以预先设置确定关键标注点的一些确定规则，在某一实体需要进行标注时，就可以根据预先设置好的关键标注点确定规则确定待标注实体的关键标注点，进而获取对应的第一位置坐标。举例来说，假设待标注实体是一条道路，那么就可以将该道路的起始点和终止点作为该道路的关键标注点，那么这两个关键标注点即为该道路对应的一组关键标注点，这两个关键标注点在全景图像中的坐标即可以理解为是该道路的第一位置坐标；或者，待标注实体是一幢建筑大厦，那么就可以将该大厦的四个顶点确定为是关键标注点，此时，这四个顶点即可以理解为是该建筑大厦的一组关键标注点，这组关键标注点在全景图像中的坐标，即可以理解为是该建筑大厦的第一位置坐标。

需要说明的是，如果待标注实体的关键标注点数量为多个，那么，在确定该待标注实体的第一位置坐标时，需要确定每个关键标注点在全景图像中的坐标，以获得该待标注实体的第一位置坐标，即一个关键标注点对应有一个第一位置坐标。这样，可以通过设置多个关键标注点的方式，确保坐标转换的准确性，以及进行实体标注的有效性。

步骤203：将至少一个第一位置坐标转换为至少一个第二位置坐标，至少一个第二位置坐标为待标注实体在对应的原始图像中的位置坐标。

在一种可能的实施方式中，将待标注实体在全景图像中的第一位置坐标转换为对应的第二位置坐标时，可以先确定待标注实体的关键标注点处于哪几张原始图像中，例如可以将包含有关键标注点的原始图像称为是目标原始图像。

在具体的实施方式中，图像拼接信息中还可以记录每张原始图像对应于全景图像中的横纵坐标信息，那么在确定目标原始图像时，就可以是通过图像拼接信息中记录的横纵坐标参数来进行确定。例如，全景图像的水平位置坐标为0～100，垂直坐标为0～50，原始图像1对应于全景图像的横坐标范围为0～30，纵坐标范围为0～20，那么全景图像中横坐标范围为0～30，纵坐标范围为0～20的区域对应的就是原始图像1，那么在此范围之内的关键标注点的目标原始图像即为原始图像1。

需要说明的是，确定出的多个关键标注点可能存在于一张原始图像中，也可以存在于多张原始图像中。请参见图3，图3中包含有一条待标注道路，该待标注道路即为前述的待标注实体，图中包含有两个关键标注点，分别为关键标注点1和关键标注点2，这两个关键标注点即为待标注道路的起始点和终止点。假设关键标注点1位于拼接之前的原始图像1中，关键标注点2位于拼接之前的原始图像2中，也就是说，两个关键点位于不同的原始图像中，那么此时，就可以将原始图像1和原始图像2确定为是目标原始图像。或者，两个关键点也可能同时处于一张原始图像中，那么，确定出的目标原始图像只有一张。

在确定出目标原始图像之后，就可以从存储的图像拼接信息中获得云台设备在拍摄目标原始图像时的设备参数，然后就可以根据获取的参数，将各个关键标注点的第一位置坐标转换为第二位置坐标，该第二位置坐标即为关键标注点在目标原始图像中的位置坐标。

在一种可能的实施方式中，可以先构建云台设备的参数、第一位置坐标与第二位置坐标之间的坐标转换关系，在进行坐标转换的时候，在确定出关键标注点所处的目标原始图像之后，就可以根据该目标原始图像对应的云台设备的参数，将关键标注点的第一位置坐标转换为第二位置坐标。

当云台设备为PTZ摄像机时，图像拼接信息中可以通过坐标(P，T，Z)的形式记录原始图像的图像拼接信息，其中，P指的是云台设备拍摄原始图像时的水平方位角，T指的是云台设备拍摄原始图像时的垂直高度角，Z指的是云台设备拍摄原始图像时的摄像机的变倍率。举例来说，例如存储的原始图像1的坐标为(36°，70°，20)，那么就表明PTZ摄像机在拍摄原始图像1时的水平方位角为36°，垂直高度角为70°，摄像机的变倍率为20。例如确定的关键标注点1的处于原始图像1中，且关键标注点1的第一位置坐标为(x1，y1)，那么就可以根据坐标转换关系与原始图像1的PTZ坐标(36°，70°，20)，将关键标注点1的第一位置坐标(x1，y1)转换为第二位置坐标，例如转换后的第二位置坐标为(X1，Y1)。

在另一种可能的实施方式中，也可以是根据历史经验值，获取到第一位置坐标与第二位置坐标之间的对应关系，在进行坐标转换时，直接通过该对应关系就可以将第一位置坐标转换为第二位置坐标。

例如，在进行坐标转换之前，可以先在全景图像中随机选取两个处于不同原始图像中的标注点，例如是第一标注点和第二标注点，第一标注点处于第一原始图像中，第二标注点处于第二原始图像中，然后确定出这两个标注点在全景图像中的坐标，为了便于区分，例如将第一标注点在全景图像中的坐标称为是第三位置坐标，将第二标注点在全景图像中的坐标称为是第四位置坐标，例如第一标注点在全景图像中的坐标(即第三位置坐标)为(x1，y1)，第二标注点在全景图像中的坐标(即第四位置坐标)为(x2，y2)，同时也确定出这两个标注点在各自的原始图像中的坐标，例如第一标注点在第一原始图像中的坐标为(X1，Y1),第二标注点在第二原始图像中的坐标为(X2，Y2)，然后就可以建立第一标注点的坐标(x1，y1)与(X1，Y1)之间的对应关系，例如将该对应关系称为是第一对应关系，以及建立第二标注点的坐标(x2，y2)与(X2，Y2)之间的对应关系，例如将该对应关系称为是第二对应关系，进而通过这两组对应关系确定第一位置坐标与第二位置坐标之间的对应关系，然后就可以直接根据确定出的对应关系将第一位置坐标转换为第二位置坐标。

需要说明的是，为了保证确定出的对应关系的准确性，也可以在每张原始图像中都取一些标注点确定其对应关系，然后通过获得出的多组对应关系确定第一位置坐标与第二位置坐标之间的对应关系，例如可以是将多组对应关系的平均值作为第一位置坐标与第二位置坐标之间的对应关系。在具体的实施过程中，还可以是通过其它一些坐标转换的方式将第一位置坐标转换为第二位置坐标，对于第一位置坐标与第二位置坐标之间的具体转换方式，在此不做限制。

步骤204：将至少一个第二位置坐标发送给云台设备，以使云台设备基于至少一个第二位置坐标对待标注实体进行标注。

在具体的实施过程中，在将待标注实体的第一位置坐标转换为第二位置坐标之后，就可以将第二位置坐标发送给云台设备，以使云台设备根据第二位置坐标对待标注实体进行标注。例如，给第二位置坐标对应的位置打上标签等。

在一种可能的实施过程中，在云台设备对各个待标注实体进行标注时，需要知道具体的标注内容，云台设备根据标注内容对待标注实体进行标注之后，就可以在各个监控场景下，显示待标注实体的标注内容。例如，将待标注道路标注为了“和平路”，那么在包含有该道路的监控场景下，就可以显示该道路为“和平路”，这样，在不转动云台设备的基础上，就可以实现对待标注实体的标注操作，简化了标注的过程，并且，通过直接通过全景图像进行实体标注的方式，可以较为便捷、准确的选择待标注实体，在一定程度上提高了标注的准确性。

在具体实施过程中，云台设备控制器可以在确定第二位置坐标之后，设置好与各个第二位置坐标关联的标注内容，在向云台设备发送第二位置坐标的同时，就可以将与之关联的标注内容同步发送给云台设备，那么云台设备就可以根据第二位置坐标，将对应的标注内容标注在各个待标注实体上。或者，也可以是在将第二位置坐标发送给云台设备之后，再分别将标注内容发送给云台设备。例如，可以按顺序进行发送标注内容，在向云台设备发送第二位置坐标时，记录发送的顺序，然后按该顺序向云台设备发送与第二位置坐标关联的标注内容。或者，也可能是同时将多个第二位置坐标下发至云台设备的，那也可以预先设置好第二位置坐标与标注内容之间的关联关系，在将第二位置坐标全部发送给云台设备之后，再将标注内容发送过去，云台设备通过关联关系确定各个位置的标注内容。

在标注完待标注实体之后，可以对全景图像进行刷新处理，然后就可以获得带有标注信息的全景图像，例如，标注了一条道路为“建设路”，标注了一幢建筑大厦为“中国银行”，那么在完成标注之后刷新全景图像，就可以在全景图像中显示对应的标注内容，这样，可以方便用户进行查看各个实体的标注情况。

在本申请实施例中，可以在全景图像中选择需要进行标注的实体，并通过坐标转换在原始图像中对选择的实体进行标注，相对于现有技术中在标注时需要控制云台设备实时转动到对应场景下的标注方法，可以简化标注的过程，提高标注的时效性。而在全景图像中选择待标注实体时，也可以同时选择多个待标注实体，也就是说，可以实现同时对多个实体进行标注，相对于相关技术中，只能逐一进行标注的标注方法，本申请实施例中提供的标注方法效率更高。而且，相关技术中，将云台设备转动到对应的监控场景下对实体进行标注时，由于各个监控场景下显示的视频画面是有限的，类似道路这种实体在同一监控场景下，可能会存在显示不完整的问题，在某一实体显示不完整时，可能就不会对该实体进行标注，或者容易出现标注错误的问题，由于本申请实施例是在全景图像选择待标注实体，标注实体可以完整的显示在全景图像中，进而可以对道路等难以标注的实体进行标注，不仅提高标注效率，也可以规避由于实体显示不完整造成无法标注或者标记错误的问题。

基于同一发明构思，本申请实施例提供了一种标注装置，该标注装置能够实现前述的标注方法对应的功能。该标注装置可以是硬件结构、软件模块、或者硬件结构加软件模块。该标注装置可以由芯片系统实现，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。请参见图4a所示，该标注装置包括拼接模块401、确定模块402、转换模块403和发送模块404。其中：

拼接模块401，用于将云台设备发送的多张原始图像进行拼接，以获得拼接后的全景图像，多张原始图像为云台设备在各个监控场景下获取的图像；

确定模块402，用于在全景图像中选择待标注实体，并确定待标注实体在全景图像中的至少一个第一位置坐标；

转换模块403，用于将至少一个第一位置坐标转换为至少一个第二位置坐标，至少一个第二位置坐标为待标注实体在对应的原始图像中的位置坐标；

发送模块404，用于将至少一个第二位置坐标发送给云台设备，以使云台设备基于至少一个第二位置坐标对待标注实体进行标注。

在一种可能的实施方式中，确定模块402，用于：

确定待标注实体的一组关键标注点；

确定一组关键标注点中每个关键标注点在全景图像的坐标，得到至少一个第一位置坐标。

请参见图4b所示，本申请实施例中的标注装置还包括记录模块405，用于：

记录图像拼接信息，图像拼接信息包括云台设备拍摄每张原始图像时云台设备的参数，参数包括云台设备的水平方位角、垂直高度角以及变倍率。

在一种可能的实施方式中，转换模块403，用于：

确定一组关键标注点中每个关键标注点所处的目标原始图像，目标原始图像为多张原始图像中的至少一张原始图像；

从图像拼接信息中获取目标原始图像对应的云台设备的参数；

根据云台设备的参数、第一位置坐标以及第二位置坐标之间的坐标转换关系，将至少一个第一位置坐标转为至少一个第二位置坐标。

在一种可能的实施方式中，转换模块403，用于：

在全景图像中选取处于不同原始图像中的第一标注点和第二标注点；

分别确定第一标注点在第一原始图像的坐标和第一标注点在全景图像中的第三位置坐标，以及，分别确定第二标注点在第二原始图像中的坐标和第二标注点在全景图像中的第四位置坐标，第一标注点位于第一原始图像中，第二标注点位于第二原始图像中；

确定第一标注点在第一原始图像中的坐标与第三位置坐标的第一对应关系，以及第二标注点在第二原始图像中的坐标与在第四位置坐标的第二对应关系；

根据第一对应关系和第二对应关系确定第一位置坐标与第二位置坐标之间的对应关系；

根据对应关系，将至少一个第一位置坐标转为至少一个第二位置坐标。

前述的标注方法的实施例涉及的各步骤的所有相关内容均可援引到本申请施例中的标注装置所对应的功能模块的功能描述，在此不再赘述。

本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

基于同一发明构思，本申请实施例提供一种计算设备。请参见图5所示，该计算设备包括至少一个处理器501，以及与至少一个处理器连接的存储器502，本申请实施例中不限定处理器501与存储器502之间的具体连接介质，图5中是以处理器501和存储器502之间通过总线500连接为例，总线500在图5中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线500可以分为地址总线、数据总线、控制总线等，为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

本申请实施例中的计算设备还可以包括通信接口503，该通信接口503例如是网口，计算设备可以通过该通信接口503接收数据或者发送数据。

在本申请实施例中，存储器502存储有可被至少一个处理器501执行的指令，至少一个处理器501通过执行存储器502存储的指令，可以执行前述的标注方法中所包括的步骤。

其中，处理器501是计算设备的控制中心，可以利用各种接口和线路连接整个计算设备的各个部分，通过运行或执行存储在存储器502内的指令以及调用存储在存储器502内的数据，计算设备的各种功能和处理数据，从而对计算设备进行整体监控。可选的，处理器501可包括一个或多个处理单元，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。在一些实施例中，处理器501和存储器502可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器501可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的标注方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器502可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器502是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器502还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

通过对处理器501进行设计编程，可以将前述实施例中介绍的标注方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行前述的标注方法的步骤，如何对处理器501进行设计编程为本领域技术人员所公知的技术，这里不再赘述。

基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行如前述的标注方法的步骤。

在一些可能的实施方式中，本申请提供的标注方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算设备上运行时，程序代码用于使该计算设备执行本说明书上述描述的根据本申请各种示例性实施方式的标注方法中的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种标注方法，其特征在于，所述方法包括：

将云台设备发送的多张原始图像进行拼接，以获得拼接后的全景图像，所述多张原始图像为所述云台设备在各个监控场景下获取的图像；

在所述全景图像中选择待标注实体，并确定所述待标注实体在所述全景图像中的至少一个第一位置坐标；

将所述至少一个第一位置坐标转换为至少一个第二位置坐标，所述至少一个第二位置坐标为所述待标注实体在对应的原始图像中的位置坐标；

将所述至少一个第二位置坐标发送给所述云台设备，以使所述云台设备基于所述至少一个第二位置坐标对所述待标注实体进行标注。

2.如权利要求1所述的方法，其特征在于，确定所述待标注实体在所述全景图像中的至少一个第一位置坐标，包括：

确定所述待标注实体的一组关键标注点；

确定所述一组关键标注点中每个关键标注点在所述全景图像的坐标，得到所述至少一个第一位置坐标。

3.如权利要求1所述的方法，其特征在于，在获得拼接后的全景图像之后，所述方法还包括：

记录图像拼接信息，所述图像拼接信息包括所述云台设备拍摄每张原始图像时所述云台设备的参数，所述参数包括所述云台设备的水平方位角、垂直高度角以及变倍率。

4.如权利要求1-3任一所述的方法，其特征在于，将所述至少一个第一位置坐标转换为至少一个第二位置坐标，包括：

确定所述一组关键标注点中每个关键标注点所处的目标原始图像，所述目标原始图像为所述多张原始图像中的至少一张原始图像；

从所述图像拼接信息中获取所述目标原始图像对应的所述云台设备的参数；

根据所述云台设备的参数、所述第一位置坐标以及所述第二位置坐标之间的坐标转换关系，将所述至少一个第一位置坐标转为所述至少一个第二位置坐标。

5.如权利要求1-3任一所述的方法，其特征在于，将所述至少一个第一位置坐标转换为至少一个第二位置坐标，包括：

在所述全景图像中选取处于不同原始图像中的第一标注点和第二标注点；

分别确定所述第一标注点在第一原始图像的坐标和所述第一标注点在所述全景图像中的第三位置坐标，以及，分别确定所述第二标注点在第二原始图像中的坐标和所述第二标注点在所述全景图像中的第四位置坐标，所述第一标注点位于所述第一原始图像中，所述第二标注点位于所述第二原始图像中；

确定所述第一标注点在所述第一原始图像中的坐标与所述第三位置坐标的第一对应关系，以及所述第二标注点在所述第二原始图像中的坐标与在所述第四位置坐标的第二对应关系；

根据所述第一对应关系和所述第二对应关系确定所述第一位置坐标与所述第二位置坐标之间的对应关系；

根据所述对应关系，将所述至少一个第一位置坐标转为所述至少一个第二位置坐标。

6.一种标注装置，其特征在于，所述装置包括：

拼接模块，用于将云台设备发送的多张原始图像进行拼接，以获得拼接后的全景图像，所述多张原始图像为所述云台设备在各个监控场景下获取的图像；

确定模块，用于在所述全景图像中选择待标注实体，并确定所述待标注实体在所述全景图像中的至少一个第一位置坐标；

转换模块，用于将所述至少一个第一位置坐标转换为至少一个第二位置坐标，所述至少一个第二位置坐标为所述待标注实体在对应的原始图像中的位置坐标；

发送模块，用于将所述至少一个第二位置坐标发送给所述云台设备，以使所述云台设备基于所述至少一个第二位置坐标对所述待标注实体进行标注。

7.如权利要求6所述的装置，其特征在于，所述确定模块，用于：

确定所述待标注实体的一组关键标注点；

确定所述一组关键标注点中每个关键标注点在所述全景图像的坐标，得到所述至少一个第一位置坐标。

8.如权利要求6所述的装置，其特征在于，所述装置还包括记录模块，用于：

记录图像拼接信息，所述图像拼接信息包括所述云台设备拍摄每张原始图像时所述云台设备的参数，所述参数包括所述云台设备的水平方位角、垂直高度角以及变倍率。

9.如权利要求6-8任一所述的装置，其特征在于，所述转换模块，用于：

确定所述一组关键标注点中每个关键标注点所处的目标原始图像，所述目标原始图像为所述多张原始图像中的至少一张原始图像；

从所述图像拼接信息中获取所述目标原始图像对应的所述云台设备的参数；

根据所述云台设备的参数、所述第一位置坐标以及所述第二位置坐标之间的坐标转换关系，将所述至少一个第一位置坐标转为所述至少一个第二位置坐标。

10.如权利要求6-8任一所述的装置，其特征在于，所述转换模块，用于：

在所述全景图像中选取处于不同原始图像中的第一标注点和第二标注点；

分别确定所述第一标注点在第一原始图像的坐标和所述第一标注点在所述全景图像中的第三位置坐标，以及，分别确定所述第二标注点在第二原始图像中的坐标和所述第二标注点在所述全景图像中的第四位置坐标，所述第一标注点位于所述第一原始图像中，所述第二标注点位于所述第二原始图像中；

确定所述第一标注点在所述第一原始图像中的坐标与所述第三位置坐标的第一对应关系，以及所述第二标注点在所述第二原始图像中的坐标与在所述第四位置坐标的第二对应关系；

根据所述第一对应关系和所述第二对应关系确定所述第一位置坐标与所述第二位置坐标之间的对应关系；

根据所述对应关系，将所述至少一个第一位置坐标转为所述至少一个第二位置坐标。

11.一种计算设备，其特征在于，所述计算设备包括：

至少一个处理器，以及

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1-5中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-5中任一项所述的方法。

Images