CN114202554A - 标记生成、模型训练、标记方法、装置、存储介质及设备 - Google Patents

Abstract

本申请涉及标记生成、模型训练、标记方法、装置、存储介质及设备。其中，标记生成方法包括：获取目标物的待标记图；获取待标记图对应的转换图；获取目标物的基准图；关联转换图和基准图，以得到转换关系或变换关系；基于转换关系或变换关系，映射基准标记，以得到标记。采用本申请的技术方案实现图像标记的自动化。

Description

标记生成、模型训练、标记方法、装置、存储介质及设备

技术领域

本申请涉及图像的自动标记技术领域，特别是涉及一种标记生成、模型训练、标记方法、装置、存储介质及设备。

背景技术

随着科技的发展，图像的自动标记技术在很多领域得到发展和应用。

以人工智能模型的训练领域来说，人工智能模型在基于某些方法(比如：监督学习、半监督学习)进行训练的过程中，需要依赖训练样本及训练样本的标记对模型的参数进行不断优化。现有技术中，往往需要依赖人工对训练样本进行标记，比如：以火牛姿态识别技术领域为例，在火牛姿态识别模型训练过程中，需要人为预先对火牛在各种姿态下的采集的多张训练样本中的火牛的关键点进行人工标记，进而根据标记后的关键点识别火牛的姿态信息等。

人工标记的过程往往需要耗费大量的人力成本，进而提高了整个技术开发的成本。

发明内容

有鉴于此，本发明提供一种标记生成、模型训练、标记方法、装置、存储介质及设备。

本发明第一方面提供一种标记生成方法，所述方法包括如下方法步骤：获取目标物的待标记图；获取所述待标记图对应的转换图；获取所述目标物的基准图；其中，所述基准图中包括基准标记；关联所述转换图和所述基准图，以得到转换关系或变换关系；基于所述转换关系或所述变换关系，映射所述基准标记，以得到所述标记。

在一个实施例中，所述标记生成方法还包括：转换所述待标记图，得到所述转换图。

在一个实施例中，所述转换图为转换3D图；所述基准图为基准3D图。

在一个实施例中，所述转换3D图为点云图或深度图；所述基准图为点云图或深度图。

在一个实施例中，关联所述转换图和所述基准图包括：匹配所述转换3D图和所述基准3D图；获取完成所述匹配时的所述变换关系。

在一个实施例中，所述转换图为边缘提取图；所述基准图为多个2D基准图的图库；其中，每个所述2D基准图对应一基准变换关系。

在一个实施例中，所述关联所述转换图和所述基准图包括：匹配所述转换图和所述基准图；获取与所述转换图匹配的所述2D基准图对应的所述基准变换关系,以所述基准变换关系作为所述变换关系。

在一个实施例中，所述基于所述变换关系，映射所述基准标记包括：根据所述变换关系，求取所述基准标记的目标姿态；根据所述目标姿态和成像参数，映射所述基准标记，以得到所述标记；或所述基于所述转换关系，映射所述基准标记包括：将所述基准图对应的基准变换关系与所述转换关系相结合，得到所述变换关系；根据所述变换关系，求取所述基准标记的目标姿态；根据所述目标姿态和成像参数，映射所述基准标记，以得到所述标记；或根据所述转换关系，求取所述基准标记的目标姿态；根据所述目标姿态和成像参数，映射所述基准标记，以得到所述标记。

本发明第二方面提供一种标记生成方法，所述方法包括如下方法步骤：获取目标物的待标记图；获取所述目标物的基准图；其中，所述基准图中包括基准标记；关联所述待标记图和所述基准图，以得到转换关系或变换关系；基于所述转换关系或所述变换关系，映射所述基准标记，以得到所述标记。

在一个实施例中，所述基准图为多个2D基准图的图库；所述关联所述待标记图和所述基准图包括：匹配所述待标记图和所述基准图；获取与所述待标记图匹配的所述基准图对应的所述变换关系。

在一个实施例中，所述基于所述变换关系，映射所述基准标记包括：根据所述变换关系，求取所述基准标记的目标姿态；根据所述目标姿态和成像参数、或所述目标姿态，映射所述基准标记，以得到所述标记；或所述基于所述转换关系，映射所述基准标记包括：将所述基准图对应的基准变换关系与所述转换关系相结合，得到所述变换关系；根据所述目标姿态和所述成像参数、或所述目标姿态，映射所述基准标记，以得到所述标记；或根据所述转换关系，求取所述基准标记的目标姿态；根据所述目标姿态和成像参数、或所述目标姿态，映射所述基准标记，以得到所述标记。

本发明第三方面提供一种标记模型的训练方法，所述训练方法包括：获取所述标记模型的初始模型；基于训练样本训练所述初始模型，得到所述标记模型；其中，所述训练样本为基于上面所述的标记生成方法标注标记后的训练样本；或

获取所述标记模型的初始模型；执行迭代操作；所述迭代操作包括：基于初始训练样本训练所述初始模型，得到预处理模型；将当前待标记图输入所述预处理模型，输出当前预处理标记结果；其中，执行第一次迭代操作中的所述初始训练样本为基于上面所述的标记生成方法标注标记后的训练样本；将所述预处理模型作为新的所述初始模型，将所述初始训练样本和当前训练样本作为新的所述初始训练样本，返回所述执行迭代操作，直到满足预设条件为止，将满足所述预设条件时的所述预处理模型作为所述标记模型；其中，所述当前训练样本为所述当前待标记图及其符合预设标准的所述当前预处理标记结果。

本发明第四方面提供一种标记方法，所述标记方法包括：获取输入图；将所述输入图输入标记模型中，输出标记结果；所述标记模型基于上面所述标记模型的训练方法训练得到。

本发明第五方面提供一种标记装置，所述装置包括：图像获取模块，用于获取目标物的待标记图；转换获取模块，用于获取所述待标记图对应的转换图；基准获取模块，用于获取所述目标物的基准图；其中，所述基准图中包括基准标记；所述基准图对应基准目标物坐标系和基准图像传感器坐标系的基准变换关系；第一图像关联模块，用于关联所述转换图和所述基准图，以得到转换关系或变换关系；标记映射模块，用于基于所述转换关系或所述变换关系，映射所述基准标记，以得到所述标记；或图像获取模块，用于获取目标物的待标记图；基准获取模块，用于获取所述目标物的基准图；其中，所述基准图中包括基准标记；第二图像关联模块，用于关联所述待标记图和所述基准图，以得到转换关系或变换关系；标记映射模块，用于基于所述转换关系或所述变换关系，映射所述基准标记，以得到所述标记。

本发明第六方面提供一种标记模型训练装置，所述装置包括：初始获取模块，用于获取所述标记模型的初始模型；模型训练模块，用于基于标注标记后的待标记图训练所述初始模型，得到所述标记模型；其中，所述训练样本为基于上面所述的标记生成装置标注标记后的训练样本；或

初始获取模块，用于获取所述标记模型的初始模型；迭代训练模块，用于执行迭代操作；所述迭代操作包括：基于初始训练样本训练所述初始模型，得到预处理模型；将当前待标记图输入所述预处理模型，输出当前预处理标记结果；其中，执行第一次迭代操作中的所述初始训练样本为基于上面所述的标记生成装置标注标记后的训练样本；结果确定模块，用于将所述预处理模型作为新的所述初始模型，将所述初始训练样本和当前训练样本作为新的所述初始训练样本，返回所述执行迭代操作，直到满足预设条件为止，将满足所述预设条件时的所述预处理模型作为所述标记模型；其中，所述当前训练样本为所述当前待标记图及其符合预设标准的所述当前预处理标记结果。

本发明第七方面提供一种标记装置，所述标记装置包括：输入获取模块，用于获取输入图；标记输出模块，用于将所述输入图输入标记模型中，输出标记结果；所述标记模型基于上面所述标记模型的训练装置训练得到。

本发明第八方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上面任一项所述的标记生成方法；上面所述的标记模型训练方法；和/或上面所述的标记方法。

本发明第九方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求上面任一项所述的标记生成方法；上面所述的标记模型训练方法；和/或上面所述的标记方法。

通过将待标记图转换为转换图，关联转换图和基准图，以得到转换图和基准图的变换关系；基于变换关系，将关联后的所述基准图中的基准标记映射得到待标记图的标记，从而实现图像的自动标记，节省了人工标记的成本；另外，在某些情况下减少了人工肉眼带来的误差，提高了标记的准确率。

另外，通过获取待标记图的转换图，基于转换图与基准图进行关联，进而将基准变换关系转换为真实变换关系，可以方便待标记图的采集，降低对待标记图采集的要求，降低了系统的成本；另外，在某些情况下，通过转换图可以帮助提高关联的准确性，进而提高标记的准确性。

另外，通过关联待标记图和基准图，以得到待标记图和基准图的变换关系；基于变换关系，将关联后的基准图中的基准标记映射得到待标记图的标记，从而实现图像的自动标记，节省了人工标记的成本；另外，在某些情况下减少了人工肉眼带来的误差，提高了标记的准确率。

另外，通过将该标记方法应用于人工智能标记模型的训练样本标记中，节省了人工对训练样本标记成本；另外，在某些情况下，减少了人工肉眼带来的误差，提高了标记的准确率，进而提高了后续标记模型输出的标记结果的精度。

另外，通过将预处理模型作为新的初始模型，将初始训练样本和当前训练样本作为新的初始训练样本，对标记模型进行下一次迭代训练，使得在不额外增加过多训练样本的标记成本下，提高标记模型的泛化能力和/或鲁棒性。

附图说明

图1A为一个实施例中应用于标记生成方法的系统的第一结构框图；图1B为一个实施例中应用于标记生成方法的系统的第二结构框图；图1C为一个实施例中应用于基准标记生成方法的系统的第三结构框图；图1D为一个实施例中应用于基准标记生成方法的系统的第四结构框图；图1E为标注了基准标记的CAD模型示意图；

图2为一个实施例中计算机设备的第一结构框图；

图3为一个实施例中点云转换图；

图4为一个实施例边缘提取转换图；

图5A为一个实施例中待标记图；图5B为一个实施例中标记后的待标记图；

图6A为一个实施例中标记生成方法的第一流程示意图；图6B为一个实施例中标记生成方法的第二流程示意图；

图7为一个实施例中标记生成方法的第三流程示意图；

图8为一个实施例中标记生成方法的第四流程示意图；

图9为一个实施例中标记生成方法的第五流程示意图；

图10A为一个实施例中标记生成方法的第六流程示意图；10B为一个实施例中标记生成方法的第七流程示意图；10C为一个实施例中标记生成方法的第八流程示意图；

图11为一个实施例中匹配转换3D图和基准3D图方法的第一流程示意图；

图12为一个实施例中标记模型训练方法的第一流程示意图；

图13为一个实施例中标记模型训练方法的第二流程示意图；

图14为一个实施例中标记方法的第一流程示意图；

图15A为一个实施例中标记生成装置的第一结构框图；图15B为一个实施例中标记生成装置的第二结构框图；

图16为一个实施例中标记生成装置的第三结构框图；

图17为一个实施例中标记生成装置的第四结构框图；

图18为一个实施例中标记生成装置的第五结构框图；

图19为一个实施例中标记生成装置的第六结构框图；

图20为一个实施例中标记模型训练装置的第一结构框图；

图21为一个实施例中标记模型训练装置的第二结构框图；

图22为一个实施例中标记装置的第一结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本发明实施例提供的标记生成、模型训练、标记方法、装置、系统、存储介质及设备，可以应用于图像的自动标记技术领域，通过该方法可以实现针对图像的自动标记，节省了人工标记的成本；另外，在某些情况下减少了人工肉眼带来的误差，提高了标记的准确率。

其中，上述标记为与目标物关联的关键特征，比如：关键点和/或关键线。关键特征可以位于目标物上，或者位于目标物外，比如：可以为包围目标物的最小包括盒(boundingbox)的各个顶点。

姿态信息可以为针对目标物的预设坐标系的3d坐标；刚体在3维空间的运动可以用3d坐标(共6个自由度)描述，具体的，可以分为旋转和平移，各为3个自由度。刚体在3维空间的平移是普通的线性变换，可以使用一个3x1的向量描述平移位置；而旋转姿态常用的描述方式包括但不限于：旋转矩阵、旋转向量、四元数、欧拉角和李代数。

人工智能模型的训练方法可以根据目标模型的用途等等的不同而不同，可以采用现在已有或将来开发的各种模型训练方法，比如：监督学习、半监督学习。标记是指在模型训练过程中，与输入模型的训练样本对应的标准输出结果，以监督学习为例，可以将训练数据输入到具有初始参数的神经网络模型中，将模型的输出结果与标准输出结果进行对比，根据差值不断更新模型的初始参数，直到满足预设条件。

本发明实施例提供的标记生成、模型训练、标记方法可以应用于移动终端；计算机终端；服务器；终端和服务器，并通过终端和服务器的交互实现；或者类似的运算装置中执行。具体的，可以应用于如图2所示的计算机设备中，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其它技术实现。该计算机程序被处理器执行时以实现一种标记生成、模型训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的安检、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等等。

其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)，以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音响、智能手表等，但并不局限于此。终端以及服务器可以通过有线或者无线通信方式进行直接或间接地连接，本申请在此不做限定。

除上述终端和/或服务器等之外，本发明实施例的系统还可以包括图像传感器，具体的，图像传感器可以包括但不限于：照相机、摄像机、扫描仪或其他带有相关功能的设备(手机、电脑)等等。图像传感器可以为各种2D图像传感器，在一些实施例中，图像传感器还可以为3D图像传感器(比如：3D激光传感器、深度传感器)。图像传感器的数量可以根据需要设计为一个或者多个。示例性的，如图1A所示，本具体实施例以两个2D照相机210、220(简称“双目相机”或“相机”)为例进行说明；或者如图1B所示，也可以围绕目标物M设置多组双目相机210、220等。

需要说明的是，对于2D图像传感器而言，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是图像传感器的成像参数，预先对每个图像传感器进行标定，可以求出图像传感器的内、外参数和/或畸变参数等成像参数。

在一个实施例中，对于双目相机等包括多个数量的图像传感器而言，成像参数还可以包括结构参数，通常需要确定一个主图像传感器，通过各个图像传感器彼此之间进行标定，可以告诉其它图像传感器怎么相对于主图像传感器经过旋转和平移到达现在位置。以双目相机为例，通过结构参数，便可以把左右相机获取的图像的每一个像素点之间的关系用数学语言描述，因此本实施例中下面所述的基于双目相机得到的基准变换关系和真实变换关系都是指目标物坐标系和主相机坐标系之间的变换关系。

本领域技术人员可以理解，图1A-1D或图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

如图6A所示，在一个实施例中，提供一种标记生成方法，以该方法应用于图1A或1B所示的系统中的终端110为例，该方法包括以下步骤：

步骤S110获取目标物的待标记图；

步骤S120获取待标记图对应的转换图；

步骤S130获取目标物的基准图；其中，基准图中包括基准标记；

步骤S140关联转换图和基准图，以得到转化关系或变换关系；

步骤S150基于转换关系或变换关系，映射基准标记，以得到标记。

通过将待标记图转换为转换图，关联转换图和基准图，将基准变换关系转换为真实变换关系；基于真实变换关系，将关联后的所述基准图中的基准标记映射得到待标记图的标记，从而实现图像的自动标记，节省了人工标记的成本；另外，在某些情况下减少了人工肉眼带来的误差，提高了标记的准确率。

另外，通过获取待标记图的转换图，基于转换图与基准图进行关联，进而将基准变换关系转换为真实变换关系，可以方便待标记图的采集，降低对待标记图采集的要求，比如：本实施例只需要采集2D待标记图像，相对后面的实施例，需要通过3D图像传感器采集3D图，降低了系统的成本；另外，在某些情况下，通过转换图可以帮助提高关联的准确性，进而提高标记的准确性。

为方便理解，下面进行进一步详细说明。

步骤S110获取目标物的待标记图；

具体的，该待标记图可以是直接通过2D图像传感器采集或者经过某些预处理后得到的2D图像数据(比如：RGB图像、黑白图像、灰度图像或红外图像)或者从各种类型的视频中提取的2D图像帧等。

如图1A所示，在一个实施例中，通过双目相机210、220分别采集待标记图，分别命名为“左图”L1和“右图”L2。

步骤S120获取待标记图对应的转换图；

具体的转换图可以根据需要设计为任意，比如：3D图、边缘提取图、干净背景图等等。其中，3D图可以但不限于是：点云图(point cloud image)或深度图(depth image)。

其中，深度图可以是指将从相机到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。深度图经过坐标转换可以计算为点云图，有规则及必要信息的点云图也可以反算为深度图。

其中，点云图可以是指在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合。

如图7所示，在一个实施例中，转换图可以是通过待标记图转换而来的，则步骤S120之前还可以包括:步骤S160转换待标记图，得到转换图。

进一步，在一个实施例中，该转换图可以是基于待标记图转换得到的3D图。

如图1A所示，示例性的，以双目相机为例，点云图的生成方法可以为：在目标物上投射散斑，通过左右相机分别采集目标物被投射散斑后的左图L1和右图L2，则以左图L1和右图L2作为上述待标记图。然后基于散斑在移动空间范围内具有唯一性的特征对两张图像上的各个像素点进行匹配，再基于三角测量的方法可以找到每对匹配像素点在三维空间的具体位置，从而形成点云图，多目相机的成像原理参见双目相机，在此不再赘述。而当相机只有一个时(简称“单目相机”)，则可以设定参考图像，将单目相机采集的图像与参考图像匹配，从而得到匹配像素点在图像传感器坐标系下的三维空间的具体位置。为方便理解，本具体实施例后面以点云图为例进一步详细说明。

其中，目标物坐标系是建立在目标物上，一经建立就固定在目标物上，随物体移动而保持相同的空间几何变换，目标物坐标系的原点可以根据需要任意设置，比如：位于目标物的几何中心，或者位于目标物的某个标记点上；而图像传感器坐标系是建立在图像传感器上，一经建立就固定在图像传感器上，随图像传感器的移动而保持相同的空间几何变换。

如图4所示，进一步，在一个实施例中，该转换图可以是基于待标记图生成的边缘提取图。

具体的，边缘图可以包括但不限于：只包括目标物的外轮廓信息的边缘图(如图4所示)；只包括目标物的几何边缘的几何边缘图，比如：以目标物为立方体为例，其几何边缘为立方体的各条边；或包括目标物的纹理信息的边缘图。

优选

具体的，可以基于各种现在已有或者将来开发的方法生成图像中的目标物的边缘提取图。比如:基于人工智能的方法(将待识别图像输入边缘识别模型，然后输出目标物边缘提取后的图像)；基于某些算子(比如：Canny算子、Sobel算子或robert算子)对图像进行处理，然后经过阈值处理得到边缘提取图；基于某些已经开发的软件提取的边缘，比如：Matlab；或为可以表示边缘信息的梯度图。

具体的，上述边缘提取图可以为RGB图像、灰度图像、二值化图像等等。优选二值化图像，这样可以形成稀疏矩阵，将稀疏矩阵输入模型，可以帮助提高终端系统的反应速度。

优选基于待标记图得到转换图，这样可以提高转换图与待标记的对应性，提高后续标记生成的精度；另外，也省去了另外获取其它图片生成转换图的多余步骤。

在一个实施例中，转换图也可以不基于待标记图转换而来，比如：可以直接通过3D激光传感器采集与待标记图中相同的物体的点云图，且保证该点云图与待标记图对应；其中，对应至少是指点云图和待标记图具有相同的待标记物坐标系与图像传感器坐标系之间的真实坐标变换关系。这样可以将求取的点云图对应的真实坐标变换关系作为待标记图对应的真实坐标变换关系。或者在另一个实施例中，也可以根据上面实施例所述通过双目相机在待标记图之外，另采集的图像基础上生成的点云图等等，只要保证该点云图与待标记图对应，都属于本发明保护的范围。

步骤S130获取目标物的基准图；其中，基准图中包括基准标记；

具体的，基准图可以但不限于是：2D图(比如：RGB图、二值化图、灰度图或红外。图)、3D图(比如：深度图或点云图)。

为方便理解，下面进一步详细说明。

在一个实施例中，基准图可以为基于目标物(如图1C或1D所示)；或目标物的3D模型，比如：CAD模型(如图1E所示)；或基于2D图纸生成的3D模型等生成的基准3D图。

需要说明的是，为与如图1A和1B中所示的应用于标记生成方法的系统中的目标物和图像传感器区别，将如图1C-1E中所示的用于生成基准图的系统对应的目标物或目标物的3D模型等统称为基准目标物，其坐标系称为基准目标物坐标系；将对应的图像传感器坐标系称为基准图像传感器，其坐标系称为基准图像传感器坐标系。

如图3所示，在一个实施例中，以基准3D图为点云图为例，上述基准点云图可以是基于某个视角下(即基准图像传感器坐标系下)得到的可视面的基准点云图。示例性的，可以通过Z-Buffer等等现在已有或将来开发的方法实现基于3D模型生成转换基准3D图，以Z-Buffer方法为例，Z-Buffer主要是将某个视角下的物体的3D模型的隐藏面消除，然后在可视面上随机标记多个点，从而生成目标物的点云图，基于基准图像传感器坐标系和基准目标物坐标系(比如：可以设目标物的中心为坐标系的原点)之间的变换关系，以及每个点在目标物坐标系下的姿态(比如：可以基于目标物实际测量或者基于CAD模型的信息得到该姿态)，可以得到该点在基准图像传感器坐标系下的姿态。如图1C所示，在另一个实施例中，也可以对真实的目标物在某个视角下拍摄图像，根据图像和上面实施例所述的转换点云图的生成方法生成基准点云图等等。

在另一个实施例中，基准点云图也可以是某个视角下的多组点云图拼接而成的目标物或3D模型的整体的点云图，如图1D所示，比如:将多组双目相机210、220围绕目标物M设置，同样多组相机中确定一个相机为主相机，得到多幅在同一主相机坐标系下的点云图，将多幅点云图进行拼接，从而形成目标物整体的点云图。采用该方法可以将某个视角下的不可见标记也标记出来。

需要说明的是，为保证转换3D图和基准3D图完成匹配，通常需要根据基准图对应的视角限定待标记图和转换图对应的视角范围，使得其形成的主要画面与基准3D图的主要画面相同，或者进一步通过裁剪，以保证转换3D图和基准3D图之间可以完成匹配。

需要说明的是，无论采用哪种方法生成基准3D图，每个基准3D图都是基于某个视角下得到的基准目标物的3D图，该视角即为基准图像传感器坐标系和基准目标物坐标系的变换关系，该变换关系称为基准变换关系。

在一个实施例中，基准图可以为多个2D基准图的图库；

其中，每个2D基准图可以基于目标物或目标物的3D模型(基准目标物)，以及上述标定后的基准图像传感器的成像参数得到，且每个2D基准图同样对应一基准图像传感器坐标系和基准目标物坐标系的基准变换关系。

示例性的，以基准目标物的3D模型为例，可以将3D模型为中心的姿态空间离散化，目的是获得一个3D模型相对于基准图像传感器的坐标变换关系，想象一个以3D模型为中心，半径任意的球面，把基准图像传感器放在这个球面上移动，并对3D模型拍照，3D模型的姿态即与基准图像传感器在球面上的位置有关，图中每一个点都是一个视角，每一个视角都对应了一个姿态(即上述基准变换关系)。我们只需要估计出物体的姿态属于哪一个视角，即可得到其所对应的图像传感器和目标物的坐标变换关系，并建立一个2D基准图-基准变换关系一一对应的关系表，并将该关系表预先存储在计算机可读存储介质内。这样当转化图在图库内轮询，并找到与之匹配的2D基准图时，则可以从存储介质内获取预先存储的该2D基准图对应的基准变换关系。采用这种方法的识别的精度取决于离散化程度，球面被分割得越精细，精度越高。

基准图上需根据需要设置基准标记，比如：可以预先通过人工标注的方法在基准图中标注基准标记。如图1C或1D所示，示例性的，可以将目标物上预先画出标记(比如：点或线)，然后对目标物进行拍照；或者如图1E所示，在3D模型上标注标记等。具体的，基准标记同上述标记，为与目标物关联的关键特征，比如：关键点和/或关键线。

需要说明的是，上述标记可以包括可见标记和/或不可见标记。不可见标记是指在上述某视角下，被遮挡的标记。实例性的，如图1D所示，标记a1为可见标记，标记b1为不可见标记。

步骤S140关联转换图和基准图，以得到转换关系或变换关系；

需要说明的是，针对不同的基准图可以采用现在已有或将来开发的各种不同的关联方法，从而得到对应的转换关系或变换关系。其中，转换关系可以是指转换3D图和基准3D图之间的姿态的转换关系；变换关系可以是指基准目标物坐标系与图像传感器(比如：如图1A或1B所示的系统中所示的图像传感器)坐标系的真实的变换关系。

如图8所示，在一个实施例中，以转换图为转换3D图,基准图为基准3D图为例,则步骤S140可以包括如下方法步骤：

步骤S141匹配转换3D图和基准3D图；

步骤S143获取完成匹配时的转换关系。

示例性的，以3D图为点云图为例，可以通过将基准图像传感器坐标系下的基准点云图整体进行姿态变换(旋转和/或平移)，与图像传感器坐标系下的转换点云图进行匹配，除此之外，也可以对转换点云图进行姿态变换，与基准点云图进行匹配，直到完成最优的匹配，获取完成最优匹配时的姿态的转换关系，则上述转换关系是指转换3D图和基准3D图之间的姿态转换关系。需要说明的是，上述3D图或基准3D图，除可以指在图像传感器坐标系下外，也可以转换到同一个其它坐标系下后(比如：机械手坐标系)，进行匹配，本具体实施例不做限定。

具体的，可以采用各种现在已有或者将来开发的方法进行点云图匹配。比如：最临近点的方法(比如：Global-ICP RANSAC-ICP)，描述子的方法(比如：FPFH、PPF)等等。

如图11所示，为方便理解，以最邻近点的方法为例，上述步骤S141匹配方法可以包括如下方法步骤：

步骤S1411初步确定转换点云图和基准点云图的匹配的关键点；

上述关键点可以随机选取，也可以为上面实施例所述的基准标记点。

步骤S1412根据转换点云图上的关键点的姿态，计算该关键点在基准点云图中的投影；

步骤S1413执行迭代操作，该迭代操作包括：将投影与基准点云图中最邻近的关键点的位置进行比较，得到重投影误差；以最小化重投影误差为目标，更新基准点云图的位置；

具体的，可以利用非线性优化算法，最小化重投影误差为目标，对问题进行求解。其中，非线性优化算法包括但不限于：牛顿法，高斯牛顿法，列文伯格-马夸尔特法。

需要说明的是，基准点云图的位置的更新也属于刚性运动，即点云图整体运动。

步骤S1414以更新的基准点云图中的关键点的位置作为新的关键点的位置，返回执行迭代操作，直到重投影误差满足预设条件为止(比如：小于某个预设的阈值或更新达到某预设次数)，以满足预设条件时的基准点云图的姿态作为最优的目标物和图像传感器的坐标变换关系。

如图9所示，在一个实施例中，以转换图为边缘提取图，基准图为2D基准图的图库为例，则步骤S140关联转换图和基准图，以得到变换关系可以包括如下方法步骤：

步骤S142匹配转换图和基准图；

步骤S144获取与转换图匹配的基准图对应的基准变换关系，以基准变换关系作为变换关系。

根据上面实施例所述，由于每张2D基准图对应唯一的基准变换关系，因此找到了匹配的2D基准图，就可以获取对应的基准变换关系，以基准变换关系作为变换关系，此时，该变换关系可以指基准目标物坐标系和图像传感器坐标系的真实的变换关系。

通过获取待标记图的边缘图，基于边缘图与基准图进行关联，可以排除目标物的背景和物体本身等存在的干扰因素，提高关联的匹配度，进而提高了真实变换关系的转换精度，从而提高标记的精度；另外，通过提取边缘图，也降低了系统在关联过程中的运算量，提高了系统的反应速度。

在一个实施例中，步骤S150可以为基于转换关系或变换关系，求取基准标记的目标姿态；基于目标姿态映射基准标记，以得到标记。下面进行进一步详细说明。

如图10C所示，在一个实施例中，步骤S150基于转换关系，映射基准标记，以得到标记可以包括如下方法步骤：

步骤S152根据转换关系，求取基准标记的目标姿态；

在一个实施例中，将基准标记在基准图像传感器坐标系下的基准姿态基于转换关系进行转换后，得到基准标记在图像传感器坐标系下的目标姿态。

具体的，以上面实施例所述的基准图为点云图为例，可以根据CAD模型信息或针对真实目标物的测量，得到基准标记在基准目标物坐标系下的姿态，进而得到基准标记在基准图像传感器坐标系下的基准姿态。

步骤S154根据目标姿态和成像参数，映射基准标记，以得到标记。

基于上面各个实施例所述得到的基准标记的目标姿态，根据成像参数(比如：内参、外参、畸变参数和/或结构参数)，将基准标记映射得到待标记图的标记；进一步，在一个实施例中，可以得到标记在映射后图像中的坐标；进一步，可以再根据上面实施例所述的双目相机的点云图成像原理，得到该标记在三维空间的姿态信息。

在一个实施例中，可以将基准标记映射在待标记图(如图5A所示)或转换图上，从而得到标注标记的标记图(如图5B所示)，根据标记后的待标记图。示例性的，如图1A所示，在双目相机下，可以得到基准目标物坐标系和主相机坐标系的真实变换关系；将基准标记根据真实变换关系转换到主相机坐标系下，再分别根据左右相机的成像参数，将该基准标记分别映射到左图和右图上。

在一个实施例中也可以将标记映射在另外一张与待标记图或转换图大小对应的空白的图上，则该标记图中只包括映射后的标记。

如图10B所示，在一个实施例中，步骤S150基于转换关系，映射基准标记，以得到标记可以包括如下方法步骤：

步骤S155将基准图对应的基准变换关系与转换关系相结合，得到变换关系。

当为转换关系时，将基准图对应的基准变换关系与转换关系相结合，可以得到基准目标物坐标系和图像传感器坐标系的真实的变换关系，然后根据下面实施例步骤S151-步骤S153的方法得到标记。

在一个实施例中，当为变换关系时，步骤S150基于变换关系，映射基准标记，以得到标记可以包括如下方法步骤：

在一个实施例中，当基准目标物坐标系的原点正好设立在唯一的基准标记上，则真实的变换关系即为基准标记点在图像传感器坐标系下的目标姿态信息。

如图10A所示，在一个实施例中，当基准目标物坐标系的原点非设立在基准标记点上，比如：位于目标物的几何中心上；或只设置在部分基准标记点上，那对于其它标记点，则步骤S150可以包括如下方法步骤：

步骤S151根据变换关系，求取基准标记的目标姿态；

在一个实施例中，可以根据CAD模型信息或针对真实目标物的测量，得到基准标记在基准目标物坐标系下的基本姿态，再根据基准目标物坐标系和图像传感器坐标系的变换关系，将该基准标记的基本姿态信息进行相应的姿态变换，进而得到基准标记在图像传感器坐标系下的目标姿态。

在另一个实施例中，以上面实施例所述的基准2D图库为例，可以根据CAD模型信息或针对真实目标物的测量，可以预先针对每个2D基准图对应存储一基准标记在基准图像传感器坐标系下的基准姿态，因此可以将匹配的2D基准图对应的基准姿态作为基准标记在图像传感器坐标系下的目标姿态。

步骤S153根据目标姿态和成像参数，映射基准标记，以得到标记。

如图6B所示，在一个实施例中，还提供一种标记生成方法，以该方法应用于图1A或1B的系统中的终端110为例，该方法包括如下方法步骤：

步骤S210获取目标物的待标记图；

在一个实施例中，待标记图可以为直接通过3D图像传感器采集的3D图；或者上面实施例所述的2D图；

步骤S230获取目标物的基准图；其中，基准图中包括基准标记；

步骤S240关联待标记图和基准图，以得到转换关系或变换关系；

其中，转换关系可以是指3D待标记图和基准3D图之间的姿态的转换关系；变换关系可以是指基准目标物坐标系与图像传感器坐标系的真实的变换关系；

步骤S250基于转换关系或变换关系，映射基准标记，以得到标记。

通过上面实施例所述的方法，不需要获取待标记图的转换图，直接关联待标记图和基准图，以得到待标记图和基准图的变换关系；基于变换关系，将关联后的基准图中的基准标记映射得到待标记图的标记，从而实现图像的自动标记，节省了人工标记的成本；另外，在某些情况下减少了人工肉眼带来的误差，提高了标记的准确率。

在一个实施例中，当待标记图和基准图为3D图，步骤S240可以包括：

步骤S241匹配3D图和基准3D图；

步骤S243获取完成所述匹配时的所述转换关系。

在一个实施例中，当基准图为多个2D基准图的图库；其中，每个2D基准图对应一基准变换关系，则步骤S230可以包括：

步骤S242匹配待标记图和基准图；

步骤S244获取与转换图匹配的所述2D基准图对应的基准变换关系,以该基准变换关系作为变换关系。

在一个实施例中，步骤S250包括基于转换关系或变换关系，求取基准标记的目标姿态；基于目标姿态映射基准标记，以得到标记。

在一个实施例中，步骤S250基于变换关系，映射基准标记包括：

步骤S251根据变换关系，求取基准标记的目标姿态；

步骤S253根据目标姿态和成像参数，映射所述基准标记，以得到标记。

在一个实施例中，步骤S240基于转换关系，映射基准标记包括：

步骤S255将基准图对应的基准变换关系与转换关系相结合，得到变换关系；

步骤S251根据变换关系，求取基准标记的目标姿态；

步骤S253根据目标姿态和成像参数，映射基准标记，以得到标记。

在一个实施例中，步骤S250基于变换关系，映射基准标记包括：

步骤S252根据转换关系，求取基准标记的目标姿态；

步骤S254根据目标姿态和成像参数，映射基准标记，以得到标记。

在一个实施例中，当待标记图为3D待标记图时，对于上述步骤S253和步骤S254，不需要结合成像参数，可以直接基于目标姿态映射基准标记，得到三维空间中的3D标记。

有关标记生成方法的其它相关描述参见上面的实施例，在此不再赘述。

如图12所示，在一个实施例中，本发明还提供一种标记模型的训练方法，该训练方法包括上面所述的标记生成方法；

该训练方法还包括：

步骤S170获取标记模型的初始模型；

步骤S180基于训练样本训练初始模型，得到标记模型；其中，训练样本为基于上面实施例所述的标记生成方法标注标记后的训练样本。

有关标记生成方法的相关描述，参见上面的实施例，在此不再详细赘述。

通过基于上述标注标记后的待标记图作为训练样本对标记模型进行训练，节省了人力标记的成本，提高了标记速度和标记精度，进而可以提高整个模型的训练速度和模型标识的精度；；另外，在某些情况下，减少了人工肉眼带来的误差，提高了标记的准确率，进而提高了后续标记模型输出的标记结果的精度。

如图13所示，在一个实施例中，本发明提供一种自动标记模型的训练方法，该训练方法包括上面所述的标记生成方法；该训练方法还包括：

步骤S270获取标记模型的初始模型；

步骤S280执行迭代操作；迭代操作包括：基于初始训练样本训练初始模型，得到预处理模型；将当前待标记图输入所述预处理模型，输出当前预处理标记结果；其中，执行第一次迭代操作中的初始训练样本为基于上面实施例所述的标记生成方法标注标记后的训练样本；

步骤S290将预处理模型作为新的所述初始模型，将初始训练样本和当前训练样本作为新的初始训练样本，返回执行迭代操作，直到满足预设条件为止，将满足预设条件时的预处理模型作为标记模型；其中，当前训练样本为当前待标记图及其符合预设标准的当前预处理标记结果。

通过基于上述标注标记后的待标记图作为训练样本对标记模型进行训练，节省了人力标记的成本，提高了标记速度和标记精度，进而可以提高整个模型的训练速度和模型标识的精度；另外，在某些情况下，减少了人工肉眼带来的误差，提高了标记的准确率，进而提高了后续标记模型输出的标记结果的精度。

另外，通过将预处理模型作为新的初始模型，将初始训练样本和当前训练样本作为新的初始训练样本，对标记模型进行下一次迭代训练，使得在不额外增加过多训练样本的标记成本下，提高标记模型的泛化能力和/或鲁棒性。

有关标记生成方法的相关描述参见上面的实施例，在此不再赘述。

需要说明的是，上述模型可以包括但不限于是：卷积神经网络(ConvolutionalNeural Networks,CNN)，常见的CNN模型可以包括但不限于：LeNet，AlexNet，ZF，Net，VGG，GoogLeNet，Residual Net，DenseNet，R-CNN，SPP-NET，Fast-RCNN，Faster-RCNN，YOLO，SSD，BB8,YOLO-6D，Deep-6dPose，PoseCNN,Hourglass,CPN以及其他现在已知或将来开发的网络模型结构。

如图14所示，在一个实施例中，还提供一种标记方法，该标记方法包括：

步骤S310获取输入图；

步骤S320将输入图输入经过训练的标记模型中，输出标记结果。

有关标记模型的训练方法参见上面实施例所述，在此不再重复赘述。

应该理解的是，虽然图6A-14的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图6A-14的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

如图15A所示，在一个实施例中，提供一种标记装置，该标记装置包括：

图像获取模块110，用于获取目标物的待标记图；

转换获取模块120，用于获取待标记图对应的转换图；

基准获取模块130，用于获取目标物的基准图；其中，基准图中包括基准标记；

第一关联模块140，用于关联转换图和基准图，以得到转换关系或变换关系；

标记映射模块150，用于基于转换关系或变换关系，映射基准标记，以得到标记。

如图16所示，在一个实施例中，标记装置还包括：

图像转换模块160，用于转换待标记图，得到转换图。

如图17所示，在一个实施例中，第一图像关联模块140包括：

转换匹配单元141，用于匹配转换3D图和基准3D图；

变换获取单元143，用于获取完成匹配时的转换关系。

如图18所示，在一个实施例中，第一图像关联模块130包括：

图像匹配单元142，用于匹配转换图和基准图；

变换确定单元144，用于获取与转换图匹配的基准图对应的基准变换关系，以基准变换关系作为变换关系；

如图19所示，在一个实施例中，标记映射模块150包括：

姿态获取单元151，用于根据变换关系，求取基准标记的目标姿态；

姿态映射单元153，用于根据目标姿态和成像参数，映射基准标记，以得到标记。

在一个实施例中，标记映射模块150包括：

变换求取单元155，用于将基准图对应的基准变换关系与转换关系相结合，得到变换关系。

姿态获取单元151，用于根据变换关系，求取基准标记的目标姿态；

姿态映射单元153，用于根据目标姿态和成像参数，映射基准标记，以得到标记。

在一个实施例中，标记映射模块150包括：

转换求取模块152，用于根据转换关系，求取基准标记的目标姿态；

姿态映射单元154根据目标姿态和成像参数，映射基准标记，以得到标记。

如图15B所示，在一个实施例中，提供一种标记装置，该标记装置包括：

图像获取模块210，用于获取目标物的待标记图；

基准获取模块230，用于获取目标物的基准图；其中，基准图中包括基准标记；

第二关联模块240，用于关联待标记图和基准图，以得转换关系或变换关系；

标记映射模块250，用于基于转换关系或变换关系，映射基准标记，以得到标记。

在一个实施例中，第二图像关联模块240包括：

转换匹配单元241，用于匹配3D图和基准3D图；

变换获取单元243，用于获取完成匹配时的转换关系。

在一个实施例中，第二图像关联模块240包括：

图像匹配单元242，用于匹配待标记图和基准图；

变换确定单元244，用于获取与待标记图匹配的基准图对应的基准变换关系，以基准变换关系作为变换关系；

在一个实施例中，标记映射模块250包括：

姿态获取单元251，用于根据变换关系，求取基准标记的目标姿态；

姿态映射单元253，用于根据目标姿态和成像参数、或目标姿态，映射基准标记，以得到标记；或根据目标姿态，映射基准标记，以得到标记。

在一个实施例中，标记映射模块250包括：

变换求取单元255，用于将基准图对应的基准变换关系与转换关系相结合，得到变换关系。

姿态获取单元251，用于根据变换关系，求取基准标记的目标姿态；

姿态映射单元253，用于根据目标姿态和成像参数、或目标姿态，映射基准标记，以得到标记；或根据目标姿态，映射基准标记，以得到标记。

在一个实施例中，标记映射模块250包括：

转换求取模块252，用于根据转换关系，求取基准标记的目标姿态；

姿态映射单元254，用于根据目标姿态和成像参数、或目标姿态，映射基准标记，以得到标记。

如图20所示，在一个实施例中，提供一种标记模型训练装置，该装置包括标记装置，以及该装置还包括：

初始获取模块170，用于获取标记模型的初始模型；

模型训练模块180，用于基于标注标记后的待标记图训练初始模型，得到标记模型；其中，训练样本为基于标记生成装置标注标记后的训练样本。

如图21所示，在一个实施例中，提供一种标记模型训练装置，该装置包括标记装置，以及该装置还包括：

初始获取模块270，用于获取标记模型的初始模型；

迭代训练模块280，用于执行迭代操作；迭代操作包括：基于初始训练样本训练所述初始模型，得到预处理模型；将当前待标记图输入预处理模型，输出当前预处理标记结果；其中，执行第一次迭代操作中的初始训练样本为基于标记生成装置标注标记后的训练样本；

结果确定模块290，用于将预处理模型作为新的初始模型，将初始训练样本和当前训练样本作为新的初始训练样本，返回所述执行迭代操作，直到满足预设条件为止，将满足预设条件时的预处理模型作为标记模型；其中，当前训练样本为当前待标记图及其符合预设标准的当前预处理标记结果。

如图22所示，在一个实施例中，还提供一种标记装置，该标记中装置包括：

输入获取模块310，用于获取输入图；

标记输出模块320，用于将输入图输入标记模型中，输出标记结果。

关于上述各个标记生成、标记模型训练、标记装置的具体限定可以参见上文中对于标记生成、标记模型训练、标记方法的限定，在此不再赘述。上述各个标记生成、标记模型训练、标记装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，如图2所示，提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述标记生成方法；标记模型训练方法；和/或标记方法的步骤。

在一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述标记生成方法；标记模型训练方法；和/或标记方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

需要说明的是，上述方法、装置等中提到的图像传感器、目标物等等，即可以是真实环境下的真实的物体，也可以是仿真平台下的虚拟的物体，通过仿真环境以达到连接真实物体的效果。将依赖虚拟环境完成训练后的运算装置，移植到真实环境下，对真实的物体进行控制或者再训练，可以节省训练过程的资源和时间。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的属于只是为了描述具体的实施方式的目的，不是用于限制本发明。

本发明的权利要求书和说明书及上述附图中的术语“第一”、“第二”、“第三”、“S110”、“S120”“S130”等等(如果存在)是用来区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换或在某些情况下同时发生，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如：包括了一系列步骤或者模块的过程、方法、系统、产品或机器人不必限于清楚地列出的那些步骤或者模块，而是包括没有清楚地列出的或对于这些过程、方法、系统、产品或机器人固有的其它步骤或模块。

需要说明的是，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的结构和模块并不一定是本发明所必须的。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (18)

1.一种标记生成方法，其特征在于，所述方法包括如下方法步骤：

获取目标物的待标记图；

获取所述待标记图对应的转换图；

获取所述目标物的基准图；其中，所述基准图中包括基准标记；

关联所述转换图和所述基准图，以得到转换关系或变换关系；

基于所述转换关系或所述变换关系，映射所述基准标记，以得到所述标记。

2.根据权利要求1所述的标记生成方法，其特征在于，所述方法还包括：

转换所述待标记图，得到所述转换图。

3.根据权利要求1所述的标记生成方法，其特征在于，所述转换图为转换3D图；所述基准图为基准3D图。

4.根据权利要求3所述的标记生成方法，其特征在于，所述转换3D图为点云图或深度图；所述基准图为点云图或深度图。

5.根据权利要求3或4所述的标记生成方法，其特征在于，关联所述转换图和所述基准图包括：

匹配所述转换3D图和所述基准3D图；

获取完成所述匹配时的所述转换关系。

6.根据权利要求1所述的标记生成方法，其特征在于，所述转换图为边缘提取图；所述基准图为多个2D基准图的图库；其中，每个所述2D基准图对应一基准变换关系。

7.根据权利要求6所述的标记生成方法，其特征在于，所述关联所述转换图和所述基准图包括：

匹配所述转换图和所述基准图；

获取与所述转换图匹配的所述2D基准图对应的所述基准变换关系,以所述基准变换关系作为所述变换关系。

8.根据权利要求3或6所述的标记生成方法，其特征在于，所述基于所述变换关系，映射所述基准标记包括：

根据所述变换关系，求取所述基准标记的目标姿态；

根据所述目标姿态和成像参数，映射所述基准标记，以得到所述标记；或

所述基于所述转换关系，映射所述基准标记包括：

将所述基准图对应的基准变换关系与所述转换关系相结合，得到所述变换关系；

根据所述变换关系，求取所述基准标记的目标姿态；

根据所述目标姿态和成像参数，映射所述基准标记，以得到所述标记；或

根据所述转换关系，求取所述基准标记的目标姿态；

根据所述目标姿态和成像参数，映射所述基准标记，以得到所述标记。

9.一种标记生成方法，其特征在于，所述方法包括如下方法步骤：

获取目标物的待标记图；

获取所述目标物的基准图；其中，所述基准图中包括基准标记；

关联所述待标记图和所述基准图，以得到转换关系或变换关系；

基于所述转换关系或所述变换关系，映射所述基准标记，以得到所述标记。

10.根据权利要求9所述的标记生成方法，其特征在于，所述基准图为多个2D基准图的图库；其中，每个所述2D基准图对应一基准变换关系；

所述关联所述待标记图和所述基准图包括：

匹配所述待标记图和所述基准图；

获取与所述待标记图匹配的所述基准图对应的所述基准变换关系，以所述基准变换关系作为所述变换关系。

11.根据权利要求9或10所述的标记生成方法，其特征在于，所述基于所述变换关系，映射所述基准标记包括：

根据所述变换关系，求取所述基准标记的目标姿态；

根据所述目标姿态和成像参数、或所述目标姿态，映射所述基准标记，以得到所述标记；或

所述基于所述转换关系，映射所述基准标记包括：

将所述基准图对应的基准变换关系与所述转换关系相结合，得到所述变换关系；

根据所述变换关系，求取所述基准标记的目标姿态；

根据所述目标姿态和成像参数、或所述目标姿态，映射所述基准标记，以得到所述标记；或

根据所述转换关系，求取所述基准标记的目标姿态；

根据所述目标姿态和成像参数、或所述目标姿态，映射所述基准标记，以得到所述标记。

12.一种标记模型的训练方法，其特征在于，所述训练方法包括：

获取所述标记模型的初始模型；

基于训练样本训练所述初始模型，得到所述标记模型；其中，所述训练样本为基于权利要求1-11标记生成方法标注标记后的训练样本；或

获取所述标记模型的初始模型；

执行迭代操作；所述迭代操作包括：基于初始训练样本训练所述初始模型，得到预处理模型；将当前待标记图输入所述预处理模型，输出当前预处理标记结果；其中，执行第一次迭代操作中的所述初始训练样本为基于权利要求1-11标记生成方法标注标记后的训练样本；

将所述预处理模型作为新的所述初始模型，将所述初始训练样本和当前训练样本作为新的所述初始训练样本，返回所述执行迭代操作，直到满足预设条件为止，将满足所述预设条件时的所述预处理模型作为所述标记模型；其中，所述当前训练样本为所述当前待标记图及其符合预设标准的所述当前预处理标记结果。

13.一种标记方法，其特征在于，所述标记方法包括：

获取输入图；

将所述输入图输入标记模型中，输出标记结果；所述标记模型基于权利要求12所述标记模型的训练方法训练得到。

14.一种标记生成装置，其特征在于，所述装置包括：

图像获取模块，用于获取目标物的待标记图；

转换获取模块，用于获取所述待标记图对应的转换图；

基准获取模块，用于获取所述目标物的基准图；其中，所述基准图中包括基准标记；

第一图像关联模块，用于关联所述转换图和所述基准图，以得转换关系或变换关系；

标记映射模块，用于基于所述转换关系或所述变换关系，映射所述基准标记，以得到所述标记；或

图像获取模块，用于获取目标物的待标记图；

基准获取模块，用于获取所述目标物的基准图；其中，所述基准图中包括基准标记；

第二图像关联模块，用于关联所述待标记图和所述基准图，以得到转换关系或变换关系；

标记映射模块，用于基于所述转换关系或所述变换关系，映射所述基准标记，以得到所述标记。

15.一种标记模型训练装置，其特征在于，所述装置包括：

初始获取模块，用于获取所述标记模型的初始模型；

模型训练模块，用于基于标注标记后的待标记图训练所述初始模型，得到所述标记模型；其中，所述训练样本为基于权利要求14标记生成装置标注标记后的训练样本；或

初始获取模块，用于获取所述标记模型的初始模型；

迭代训练模块，用于执行迭代操作；所述迭代操作包括：基于初始训练样本训练所述初始模型，得到预处理模型；将当前待标记图输入所述预处理模型，输出当前预处理标记结果；其中，执行第一次迭代操作中的所述初始训练样本为基于权利要求14标记生成装置标注标记后的训练样本；

结果确定模块，用于将所述预处理模型作为新的所述初始模型，将所述初始训练样本和当前训练样本作为新的所述初始训练样本，返回所述执行迭代操作，直到满足预设条件为止，将满足所述预设条件时的所述预处理模型作为所述标记模型；其中，所述当前训练样本为所述当前待标记图及其符合预设标准的所述当前预处理标记结果。

16.一种标记装置，其特征在于，所述标记装置包括：

输入获取模块，用于获取输入图；

标记输出模块，用于将所述输入图输入标记模型中，输出标记结果；所述标记模型基于权利要求15所述标记模型的训练装置训练得到。

17.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-11任一项所述的标记生成方法；权利要求12所述的标记模型训练方法；和/或权利要求13所述的标记方法。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-11任一项所述的标记生成方法；权利要求12所述的标记模型训练方法；和/或权利要求13所述的标记方法。

Images