CN115620094A - 关键点的标注方法、装置、电子设备及存储介质 - Google Patents
关键点的标注方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115620094A CN115620094A CN202211634077.5A CN202211634077A CN115620094A CN 115620094 A CN115620094 A CN 115620094A CN 202211634077 A CN202211634077 A CN 202211634077A CN 115620094 A CN115620094 A CN 115620094A
- Authority
- CN
- China
- Prior art keywords
- images
- target
- image
- key points
- dimensional coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Abstract
本申请提供了一种关键点的标注方法、装置、电子设备及存储介质，包括：获取待标注对象的多张图像；基于多张图像中的各图像的关键点在对应摄像头下的初始二维坐标和多个摄像头中的各摄像头的参数信息确定各图像的关键点的参考三维坐标；根据各图像的关键点的参考三维坐标对多张图像进行筛选，获得目标图像；根据目标图像对应的摄像头的参数信息和目标图像的关键点在对应摄像头下的初始二维坐标，确定目标图像的关键点的目标三维坐标；根据目标图像的关键点的目标三维坐标，对目标图像进行标注。本申请能够通过增加确定的关键点的目标三维坐标的准确性，来提高关键点的标注的准确性。
Description
技术领域
本申请涉及图标标注技术领域，更具体地，涉及一种关键点的标注方法、装置、电子设备及存储介质。
背景技术
关键点检测是计算机视觉中一种物体检测的常用方法。为获取效果良好的关键点检测模型，需要关键点的标注信息具有较高的准确性。而目前，为了满足训练需求，通常需要人为的进行大量的关键点的标注，成本极高，同时需要反复筛查和校验才能正确投入使用导致效率低下。并且对于不同人员的标注和同一人在不同时间下的标注存在理解差异、无法对齐。如何提高关键点的标注的准确性成为目前亟待解决的问题。
发明内容
鉴于上述问题，本申请实施例提出了一种关键点的标注方法、装置、电子设备及存储介质，以改善上述问题。
根据本申请实施例的一个方面，提供了一种关键点的标注方法，所述方法包括：获取待标注对象的多张图像，其中，所述多张图像为多个摄像头在不同视角下对所述待标注对象进行拍摄获得；获取所述多张图像中的各图像的关键点在对应摄像头下的初始二维坐标，以及获取所述多个摄像头中的各摄像头的参数信息；根据所述各摄像头的参数信息和所述各图像的关键点在对应摄像头下的初始二维坐标，确定所述各图像的关键点的参考三维坐标；根据所述各图像的关键点的参考三维坐标对所述多张图像进行筛选，获得目标图像；根据所述目标图像对应的摄像头的参数信息和所述目标图像的关键点在对应摄像头下的初始二维坐标，确定所述目标图像的关键点的目标三维坐标；根据所述目标图像的关键点的目标三维坐标，对所述目标图像进行标注。
根据本申请实施例的一个方面，提供了一种关键点的标注装置，所述装置包括：图像获取模块，用于获取待标注对象的多张图像，其中，所述多张图像为多个摄像头在不同视角下对所述待标注对象进行拍摄获得；初始二维坐标获取模块，用于获取所述多张图像中的各图像的关键点在对应摄像头下的初始二维坐标，以及获取所述多个摄像头中的各摄像头的参数信息；参考三维坐标确定模块，用于根据所述各摄像头的参数信息和所述各图像的关键点在对应摄像头下的初始二维坐标，确定所述各图像的关键点的参考三维坐标；筛选模块，用于根据所述各图像的关键点的参考三维坐标对所述多张图像进行筛选，获得目标图像；目标三维坐标确定模块，用于根据所述目标图像对应的摄像头的参数信息和所述目标图像的关键点在对应摄像头下的初始二维坐标，确定所述目标图像的关键点的目标三维坐标；标注模块，用于根据所述目标图像的关键点的目标三维坐标，对所述目标图像进行标注。
在一些实施例中，所述筛选模块包括：目标二维坐标确定子模块，用于将所述各图像的关键点的参考三维坐标分别在所述多个摄像头下进行二维投影，得到所述各图像的关键点分别在所述多个摄像头下的目标二维坐标；筛选子模块，用于根据所述各图像的关键点分别在所述多个摄像头下的目标二维坐标与所述各图像的关键点在对应摄像头下的初始二维坐标对所述多张图像进行筛选，获得所述目标图像。
在一些实施例中，所述筛选子模块包括：投影偏差确定单元，用于根据所述各图像的关键点分别在所述多个摄像头下的目标二维坐标与所述各图像的关键点在对应摄像头下的初始二维坐标，确定所述各图像的关键点分别在所述多张图像中的投影偏差；目标图像确定单元，用于从所述多张图像中，确定投影偏差小于或等于偏差阈值的图像作为所述目标图像。
在一些实施例中，所述投影偏差确定单元包括：第一距离确定子单元，用于根据所述各图像的关键点分别在所述多个摄像头下的目标二维坐标与所述各图像的关键点在对应摄像头下的初始二维坐标，计算所述各图像的关键点分别在所述多个摄像头下的目标二维坐标与所述各图像的关键点在对应摄像头下的初始二维坐标之间的第一距离；第二距离确定子单元，用于确定所述各图像的关键点的参考三维坐标与原点之间的第二距离；权重确定子单元，用于根据所述各图像的关键点的参考三维坐标与原点之间的第二距离，确定所述各图像的关键点对应的权重；投影偏差确定子单元，用于根据所述各图像的关键点在对应摄像头下的初始二维坐标之间的第一距离与所述各图像的关键点对应的权重，确定所述各图像的关键点分别在所述多张图像中的所述投影偏差。
在一些实施例中，所述目标三维坐标确定模块包括：判断子模块，用于判断所述目标图像的个数是否大于或等于预设个数；目标三维坐标确定子模块，用于若所述目标图像的个数大于或等于所述预设个数，则根据所述目标图像对应的摄像头的参数信息和所述目标图像的关键点在对应摄像头下的初始二维坐标，确定所述目标图像的关键点的目标三维坐标。
在一些实施例中，所述初始二维坐标获取模块包括：目标区域确定子模块，用于分别将所述多张图像输入至目标识别模型中，确定多张图像中的各图像中的目标区域；分割子模块，用于根据所述各图像中的目标区域分别对所述多张图像进行分割，得到多张分割图像；初始二维坐标确定子模块，用于根据所述多张分割图像，确定所述各图像的关键点在对应摄像头下的所述初始二维坐标。
在一些实施例中，所述关键点的标注装置还包括：标定图像获取模块，用于获取所述多个摄像头在不同视角下所拍摄的多张标定图像；参数信息确定模块，用于根据所述多张标定图像，确定所述多个摄像头中的各摄像头的参数信息。
根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储器，与所述一个或多个处理器电连接；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如上所述关键点的标注方法。
根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行如上所述关键点的标注方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如上所述关键点的标注方法。
在本申请的方案中，先通过多张图像中各图像的关键点在对应摄像头下的初始二维坐标和多个摄像头中各摄像头的参数信息，来确定各图像的关键点的参考三维坐标，然后根据各图像的关键点的参考三维坐标来对多张图像进行筛选，以此确定目标图像，最后基于目标图像中关键点的初始二维坐标和目标图像对应的摄像头的参考信息来确定关键点的目标三维坐标，以此提高关键点的目标三维坐标的准确性，进而提高关键点的标注的准确性。
应当理解的是，以上的一般描述和后文细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1根据本申请一实施例示出的适用于本申请的应用场景示意图。
图2是根据本申请一实施例示出的关键点的标注方法的流程图。
图3是根据本申请一实施例示出的步骤220的具体步骤的流程图。
图4是根据本申请另一实施例示出的关键点的标注方法的流程图。
图5是根据本申请一实施例示出的步骤350的具体步骤的流程图。
图6是根据本申请一实施例示出的步骤351的具体步骤的流程图。
图7是根据本申请又一实施例示出的关键点的标注方法的流程图。
图8是根据本申请还一实施例示出的关键点的标注方法的流程图。
图9是根据本申请一实施例示出的关键点的标注装置的框图。
图10示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
图1是根据本申请一实施例示出的适用于本申请的应用场景示意图。如图1所示，该应用场景中包括待标注对象110和多个摄像头，其中，多个摄像头包括第一摄像头120、第二摄像头130和第三摄像头140。
作为一种方式，第一摄像头120、第二摄像头130和第三摄像头140同时对待标注对象110进行图像采集，然后基于第一摄像头120所采集的待标注对象110的第一图像、第二摄像头130所采集的待标注对象110的第二图像和第三摄像头140所采集的待标注对象110的第三图像，确定关键点分别在第一图像中的第一初始二维坐标、第二图像中的第二初始二维坐标和第三图像中的第三初始二维坐标，并根据第一摄像头120的第一参数信息、第二摄像头130的第二参数信息和第三摄像头140的第三参数信息来确定第一图像中关键点的第一参考三维坐标、第二图像中关键点的第二参考三维坐标和第三图像中关键点的第三参考三维坐标；然后基于第一参考三维坐标、第二参考三维坐标和第三参考三维坐标，确定目标图像，进而根据目标图像来确定关键点的目标三维坐标。
可选的，若第一图像和第二图像为目标图像，则根据第一图像中关键点的第一初始二维坐标和第一参数信息，以及第二图像中关键点的第二初始二维坐标和第二参数信息来确定关键点的目标三维坐标，最后可分别对第一图像和第二图像中的关键点进行标注。
请参阅图2，图2示出了本申请一实施例提供的关键点的标注方法，在具体的实施例中，该关键点的标注方法可以应用于如图9所示的关键点的标注装置600以及配置有关键点的标注装置600的电子设备700（图10）。下面将说明本实施例的具体流程，当然，可以理解的，该方法可以由具备计算处理能力的电子设备执行，电子设备例如服务器、云服务器、台式电脑、笔记本电脑、智能手机等终端设备，该方法还可以由包括服务器和终端的处理系统来交互执行，在此不进行具体限定。下面将针对图2所示的流程进行详细的阐述，所述关键点的标注方法具体可以包括以下步骤：
步骤210，获取待标注对象的多张图像，其中，所述多张图像为多个摄像头在不同视角下对所述待标注对象进行拍摄获得。
作为一种方式，待标注对象的多张图像可以是灰度图像（灰阶图像），也可以是RGB图像，还可以是深度图像，在此不进行具体限定。可选的，待标注对象可以是人脸、人体的关节等，在此不进行限定。可选的，待标注对象的多张图像是在同一时刻由多个摄像头所采集的。
作为一种方式，由于单个摄像头无法在某一时刻获取待标注对象的多个视角的图像，则通过多个摄像头在不同位置来采集待标注对象在同一时刻的多个把不同视角下的多张图像，可选的，可预先对多个摄像头的位置进行设置，以便于能够实时采集待标注对象在不同视角下的图像。可选的，多个摄像可放置于预先设定好的位置上，并使得多个摄像头保持稳定，在稳定后获取待标注对象的多张图像。可选的，多个摄像头放置于预先设定好的位置上后不发生改变，即各摄像头的位置固定不变。
可选的，可分别对多个摄像头进行编号，在多个摄像头采集到待标注对象的多张图像后，按照对应摄像头的编号将所采集的对应的图像进行命名并进行存储。
作为一种方式，多个摄像头可以是彩色摄像头、灰度摄像头、RGB-D摄像头、深度摄像头中的一种或多种，可根据实际需要来设置，在此不进行具体限定。
步骤220，获取所述多张图像中的各图像的关键点在对应摄像头下的初始二维坐标，以及获取所述多个摄像头中的各摄像头的参数信息。
关键点是指在待标注对象上具有标识作用的点。例如，在人体关节上，关键点可以是关节点、骨骼点等，当然，还可以是其他由用户自定义的点。在人脸上，关键点可以是眉头点、嘴角点、内眼角点以及外眼角点等。可以理解的是，对于待标注对象，其上可以包括多个关键点，可选的，对于手掌可根据手掌中的关节设置21个关键点。
例如，待标注对象为手掌时，关键点可以是：手指的尖端位置的点、手指的远节指骨关节的指骨底的点、手指的指骨关节端部的点、手指与手掌的附着点的手掌指关节的点或手掌与人体前臂的附着点的腕部位置的点等。具体关键点数量以及位置可以根据实际需要设置，在此不进行具体限定。
作为一种方式，可以预先针对待标注对象设定关节关键点集合，从而，在步骤220中，在多张图像中定位该待标注对象所对应的关键点集合中的关键点。可以理解的是，针对不同的待标注对象，所设定的关键点集合中所包括的关键点是存在差异的。
各图像的关键点在对应摄像头下的初始二维坐标是指待标注对象的关键点在对应摄像头所采集的图像所在图像坐标系下的坐标。因此，在各图像中定位到关键点所在的像素后，即可对应获得关键点在各图像的关键点在对应摄像头下的初始二维坐标。在本申请的方案中，各图像中的关键点均相同，多张图像中的各图像的关键点在对应摄像头下的初始二维坐标不一定相同。
由于实际中，可能存在因图像不清晰等原因造成关节关键点定位错误的问题，为了保证后续确定的关键点的目标三维坐标的准确性，可以先进行异常像素点过滤，具体的，可以采用孤立森林算法（Isolation Forest）或者Local Outlier Factor（局部异常因子，LOF）算法来排除异常像素点。
各摄像头的参数信息可以包括各摄像头的内参、在其对应位置的外参。其中，外参是指摄像头将待标注对象从世界坐标系转换至相机坐标系下所需要的参数，其中，将待标注对象从世界坐标系转换至相机坐标系下是通过刚体变换进行的，即通过旋转变换和平移变换将世界坐标系下的待标注对象转换为相机坐标系下的待标注对象，在刚体变换中只改变物体位置，不改变物体形状。摄像头的外参矩阵是由旋转矩阵和平移矩阵构成的参数矩阵，表示为P，
。其中，R为3*3旋转矩阵，
，分别表示x、y、z三个轴的旋转角度，T为3*1的平移矩阵，
，分别表示在x、y、z三个方向上的平移量。可选的，外参可包括3个旋转角度参数和3个平移参数。
内参包括指摄像头的焦距和相机的摄像头的坐标，内参矩阵是根据摄像头的焦距和摄像头的光心的坐标构建的矩阵，该矩阵被称为摄像头的内参矩阵，记为
，
。其中
是摄像头的焦距，
是摄像头的光心坐标。可选的，内参可包括摄像头的焦距和摄像头的光心坐标4个参数。
作为另一种方式，各摄像头的参数信息还可包括畸变参数。畸变参数是摄像头由于制造精度以及组装工艺的偏差所导致原始图像的失真（即畸变）对应的参数。摄像头的畸变分为径向畸变和切向畸变两类，其中，径向畸变为图像沿着摄像头的半径方向分布的畸变，产生原因是光线在摄像头中心的地方比靠近中心的地方更加弯曲，切向畸变是由于摄像头本身与成像平面或图像平面不平行而产生的，这种情况多是由于摄像头的透镜被粘贴到镜头模组上的安装偏差导致。对应的其畸变参数包括径向畸变参数
、
、
和切向畸变参数
、
。即，可选的，畸变参数可包括3个径向畸变参数和2个切向畸变参数。
作为还一种方式，各摄像头的参数信息还包括待标注对象到各摄像头的光心的距离，即物距。可以理解的是，物距是待标注对象所在竖直平面到相机所在竖直平面之间的距离，可表示为d。
在一些实施例中，如图3所示，步骤220包括：
步骤221，分别将所述多张图像输入至目标识别模型中，确定多张图像中的各图像中的目标区域。
目标区域是指以待标注对象在各图像中的边界框及边界框内的区域。
作为一种方式，可以构建用于进行待标注对象在图像中的边界框及边界框内的区域的神经网络模型，将该用于识别待标注对象在图像中的边界框及边界框内的区域的神经网络模型称为目标识别模型，之后，通过目标识别模型来对图像进行待标注对象在图像中的目标区域进行识别。其中，待标注对象模型可以通过卷积神经网络、循环神经网络、长短时记忆神经网络、全连接神经网络、前馈神经网络等来构建的。
为了保证多张图像的待标注对象的识别的准确性，需要预先将用于进行待标注对象的目标区域识别的神经网络模型进行训练。具体的，预先构建样本集合，该样本集合包括多个样本图像和样本图像的标签信息，其中，多个样本图样可以是对同一待标注对象在同一时刻的不同位置所采集的图像；样本图像的标签信息用于指示该样本图像中的待标注对象的目标区域。在训练过程中，将各样本图像分别输入至目标识别模型中，通过目标识别模型中进行待标注对象的目标区域的识别，并输出样本识别结果，可以理解的是，该样本识别结果指示了所预测到该样本图像对应的待标注对象的目标区域。
若一样本图像的样本识别结果所指示的待识别图像的目标区域与该样本图像的标签信息所指示的目标区域不一致，则反向调整目标识别模型的参数，并通过调整参数后的目标识别模型再次针对该样本图像输出样本识别结果，直至针对该样本图像的样本识别结果所指示的待标注对象的目标区域与该样本图像的标签信息所指示的目标区域一致。
针对每一样本图像，重复上述过程，当达到训练结束条件时，则结束目标识别模型的训练。之后，将目标识别模型用于线上进行待标注对象在多张图像中的目标区域的识别，可以准确识别待标注对象分别在多张图像中的目标区域。
步骤222，根据所述各图像中的目标区域分别对所述多张图像进行分割，得到多张分割图像。
作为一种方式，当确定待标注对象分别在多张图像中的目标区域后，可根据待标注对象分别在多张图像中的目标区域，分别在对应各图像中，删除目标区域外的像素，仅保留待标注对象的边界区域以及边界区域内的像素。可选的，还可将待标注对象分别在多张图像中的目标区域设置掩膜（mask），基于各图像中的掩膜进行分割。
作为另一种方式，还可利用语义分割的方法来对多张图像进行分割。
步骤223，根据所述多张分割图像，确定所述各图像的关键点在对应摄像头下的所述初始二维坐标。
作为一种方式，可将多张分割图像分别输入至关键点识别模型中，利用关键点识别模型确定各图像的关键点在对应摄像头下的初始二维坐标。可选的，关键点识别模型的识别结果中还可包括各关键点在对应图像中的初始二维坐标的置信度。其中，各关键点在对应图像中的初始二维坐标的置信度用于表征各关键点在对应图像中的初始二维坐标的准确性。可选的，各关键点在对应图像中的初始二维坐标的置信度的取值位于0-1的范围内。
作为另一种方式，各图像的关键点在对应摄像头下的初始二维坐标可以是各图像的关键点在对应摄像头下的图像中的所在图像坐标系下的坐标。因此，在各图像中定位到关键点所在的像素后，即可对应获得该各图像的关键点在对应摄像头下的初始二维坐标。
请继续参阅图2，步骤230，根据所述各摄像头的参数信息和所述各图像的关键点在对应摄像头下的初始二维坐标，确定所述各图像的关键点的参考三维坐标。
作为一种方式，可通过相机成像原理根据各图像的关键点在对应摄像头下的初始二维坐标和各摄像头的参数信息可用于确定关键点在世界坐标系下的参考三维坐标。
对于世界坐标系中的一个点P，假设其在世界坐标系下的坐标为（X,Y,C），在一摄像头的相机坐标系下，该点P的坐标为（XC,YC,ZC）,基于该摄像头，将该点进行透视投影到图像坐标系下该点P的坐标为（u,v），首先，先将世界坐标系下的点P，转换为一摄像头的相机坐标系下的点P，具体转换过程为：
其中，R为该摄像头的外参中的旋转矩阵参数，T为该摄像头外参中的平移矩阵参数。
然后，将该摄像头的相机坐标系下的点P，转换为图像坐标系下的点P，可选的，为了便于后续计算，可将在该图像坐标系下点P的坐标写为齐次坐标，则
。
具体转换过程为：
其中，d为点P到该摄像头之间的距离，即该摄像头的物距。
由上可得到：
其中，为了便于计算，可将点P在世界坐标系下的坐标写为齐次坐标，即为
，即：
进一步变换，得到：
其中
代表该摄像头的内参矩阵的逆矩阵，
为该摄像头的外参矩阵的逆矩阵。
在一些实施例中，由于在将该摄像头的相机坐标系下的点P，转换为图像坐标系下的点P时，可能会因为摄像头制造精度的影响造成最后得到的图像发生畸变，因此，对应的在图像中点P的坐标也可能会发生改变，若畸变为径向畸变，则其畸变过程为：
其中，r为该摄像头的半径，
为径向畸变后点P在图像中的坐标。
若畸变为切向畸变，则其畸变过程为：
在本申请的实施例中，若点P为本申请中的关键点，但图像未发生畸变，则将
视为一图像中关键点在对应摄像头下的初始二维坐标；若图像发生畸变，则将
视为一图像中关键点在对应摄像头下的初始二维坐标。
作为另一种方式，可利用三角化（多视图三角化）的方法来确定各图像的关键点的参考三维坐标，即对至少两个摄像头的在不同位置对同一物体所观测到的同一关键点，通过至少两个摄像头的位姿和在对应摄像头下得到的图像中的关键点的图像坐标，来确定该关键点的空间三维坐标，即根据各图像中关键点在对应摄像头下的初始二维坐标和各摄像头的参数信息来确定各图像的关键点的参考三维坐标。
同上所述可先将各图像中关键点在对应摄像头下的初始二维坐标转换至相机坐标系下，然后基于相机坐标系与世界坐标系的关系来确定各图像的关键点的参考三维坐标。其中，将各图像中关键点在对应摄像头下的初始二维坐标转换至相机坐标系下的具体过程如下所示：
其中，
为各图像中的关键点在对应摄像头的相机坐标系下的坐标，
为各图像中的关键点在对应摄像头下的初始二维坐标的齐次坐标；k为多张图像的个数。
然后基于相机坐标系与世界坐标系的关系来确定各图像的关键点的参考三维坐标，具体过程为：
其中，
为比例系数，该比例系数为未知数，
为各图像对应的摄像头的外参矩阵，也可称为投影矩阵，
；P为各图像的关键点的参考三维坐标。
展开为：
可得到：
，并代入上述公式中，得到：
和
。
基于上述公式可得到：
最后对上述方程求得最小二乘解，将该最小二乘解确定为关键点的参考三维坐标，以此得到关键点的参考三维坐标。可选的，可利用牛顿法，梯度下降法，高斯牛顿法和列文伯格-马夸特法中的任一种方法求得上述方程的最小二乘解，在此不进行具体限定。
步骤240，根据所述各图像的关键点的参考三维坐标对所述多张图像进行筛选，获得目标图像。
由于在不同视角下多个摄像头对待标注对象所采集的图像不同，对应的所确定的同一关键点的初始二维坐标不同，导致后续确定的关键点的目标三维坐标不够准确。例如，多个摄像头在不同视角下所采集的复杂手势，在某视角下手指会存在部分遮挡，导致该视角下手势的关键点的初始二维坐标不准确，进而，导致所确定的关键点的三维坐标与该关键点在世界坐标系下的真实位置对应的三维坐标存在较大的偏差。因此，在确定关键点的目标三维坐标时需要挑选合适的图像，即挑选合适的摄像头对应的视角，以此降低所确定关键点的目标三维坐标与实际位置对应的三维坐标之间的位置误差，进而提高所确定的关键点的目标三维坐标的准确性。
作为一种方式，基于关键点的参考三维坐标在通过在各摄像头进行投影，得到投影后的关键点在各投影图像中的投影二维坐标，然后根据各图像中关键点的投影二维坐标和初始二维坐标来确定该摄像头所采集的待标注对象的图像是否有效。
作为另一种方式，可通过随机抽样一致算法（RANdom SAmple Consensus，RANSAC）来对多张图像进行筛选。可选的，可从多张图像中随机选取至少两张图像形成初始内点集合，即随机选取至少两张图像作为参考图像，并将该至少两张参考图像中所有关键点作为内点，同时形成内点集合。然后将内点集合中所有关键点的初始二维坐标通过步骤230所述方式，利用相机位置关系计算所有关键点的参考三维坐标。遍历内点集合外的所有图像，将三维参考坐标投影到各个图像中，计算投影在各个图像中的关键点的二维坐标与各图像中各关键点的初始二维坐标之间的距离。若在一图像下计算的投影的关键点的二维坐标与该关键点的初始二维坐标之间的距离低于距离阈值，则将该图像加入内点集合中。在遍历完所有图像后，判断此时内点集合内图像数量是否超过数量阈值，若内点集合中图像的数量超过数量阈值，则将内点集合中所有图像确定为目标图像；若确定内点集合中图像的数量未超过数量阈值，则重新选取新的内点集，即重新随机挑选至少两幅图像形成初始内点集合，再按照上述流程重新进行确定。可选的，若待标注的对象为人手，且设定人手需要关注的关键点有21个关键点，则可以根据每个关键点单独确定一组目标图像。在后续的步骤中，根据每个关键点对应的一组目标图像，确定每个关键点的目标三维坐标。
可选的，也可以是基于不同位置的摄像头所采集的待标注对象的图像来选取合适的视角，以此能够基于合适的视角来确定待标注对象的各关键点的目标三维坐标。
步骤250，根据所述目标图像对应的摄像头的参数信息和所述目标图像的关键点在对应摄像头下的初始二维坐标，确定所述目标图像的关键点的目标三维坐标。
作为一种方式，当确定了目标图像后，也可通过多视图三角化的方法来确定目标图像的关键点的目标三维坐标，具体计算方法可参考步骤220，在此不再进行赘述。可选的，目标图像可以是多张目标图像，在此不进行具体限定。
作为另一种方式，也可以利用如步骤220所示的基于相机成像原理的方法来确定目标图像的关键点的目标三维坐标。可选的，当确定出多张目标图像中各目标图像的关键点的三维坐标后，对三维坐标进行均值计算，将最后得到的各关键点的三维坐标均值作为目标三维坐标。可选的，在确定目标图像的关键点的目标三维坐标时，可获取各目标图像对应的各关键点的二维坐标的置信度，基于各目标图像对应的各关键点的二维坐标的置信度来依次确定各目标图像的关键点的三维坐标，并基于各目标图像对应的各关键点的二维坐标的置信度所对应的权重来确定各三维坐标的权重，然后根据该权重对所有三维坐标进行加权平均，以此得到关键点的目标三维坐标。
步骤260，根据所述目标图像的关键点的目标三维坐标，对所述目标图像进行标注。
作为一种方式，可对所确定所有目标图像均进行标注，以此能够基于任一目标图像来观察待标注对象的所有关键点的空间三维坐标。
作为一种方式，可将任意选取多个目标图像中的至少两张目标图像，并将至少两张目标图像中的所有关键点依次进行连接，并将各关键的目标三维坐标标注于对应的关键点旁边。
可选的，当对目标图像中的关键点进行标注后，可将各关键点的目标三维坐标与各关键点位于对应目标图像中的位置进行关联存储，当点击对应关键点时显示对应关键点的目标三维坐标，当未点击时，隐藏各关键点的目标三维坐标。
在本申请的实施例中，先基于多张图像中各图像的关键点在对应摄像头下的初始二维坐标和多个摄像头中各摄像头的参数信息，来确定各图像的关键点的参考三维坐标，然后根据各图像的关键点的参考三维坐标来对多张图像进行筛选，以此确定目标图像，最后基于目标图像中关键点的初始二维坐标和目标图像对应的摄像头的参考信息来确定关键点的目标三维坐标，以此提高关键点的目标三维坐标的准确性，进而提高关键点的标注的准确性。
并且，在本申请的方案中，关键点的标注方法均由如图9所示的关键点的标注装置600以及配置有关键点的标注装置600的电子设备700来进行，无需进行人工干预，以此提高关键点的标注的效率。
请参阅图4，图4示出了本申请一实施例提供的关键点的标注方法，在具体的实施例中，该关键点的标注方法可以应用于如图9所示的关键点的标注装置600以及配置有关键点的标注装置600的电子设备700（图10）。下面将说明本实施例的具体流程，当然，可以理解的，该方法可以由具备计算处理能力的电子设备执行，电子设备例如服务器、云服务器、台式电脑、笔记本电脑、智能手机等终端设备，该方法还可以由包括服务器和终端的处理系统来交互执行，在此不进行具体限定。下面将针对图4所示的流程进行详细的阐述，所述关键点的标注方法具体可以包括以下步骤：
步骤310，获取待标注对象的多张图像，其中，所述多张图像为多个摄像头在不同视角下对所述待标注对象进行拍摄获得。
步骤320，获取所述多张图像中的各图像的关键点在对应摄像头下的初始二维坐标，以及获取所述多个摄像头中的各摄像头的参数信息。
步骤330，根据所述各摄像头的参数信息和所述各图像的关键点在对应摄像头下的初始二维坐标，确定所述各图像的关键点的参考三维坐标。
其中，步骤310-步骤330的具体描述请参阅步骤210-步骤230，在此不再赘述。
步骤340，将所述各图像的关键点的参考三维坐标分别在所述多个摄像头下进行二维投影，得到所述各图像的关键点分别在所述多个摄像头下的目标二维坐标。
二维投影是指将各图像的关键点的参考三维坐标经过其对应摄像头进行投影。可以理解的是，将各图像化的关键点的参考三维坐标根据对应摄像头参数信息转换为关键点的二维坐标，并将该二维坐标作为目标二维坐标。
作为一种方式，将各图像的关键点的参考三维坐标分别在多个摄像头下进行二维投影的步骤可以参考步骤220中的一种方式所示，在此不再进行赘述。
步骤350，根据所述各图像的关键点分别在所述多个摄像头下的目标二维坐标与所述各图像的关键点在对应摄像头下的初始二维坐标对所述多张图像进行筛选，获得所述目标图像。
作为一种方式，可通过计算各图像的关键点分别在多个摄像头下的目标二维坐标，与各图像的关键点在对应摄像头下的初始二维坐标之间的误差来进行筛选。可选的，可预先设置一误差阈值，若在任一图像中任一关键点对应的目标二维坐标与初始二维坐标之间的误差小于误差阈值，则可确定该图像可作为目标图像。
作为另一种方式，还可在各图像中确定目标二维坐标与初始二维坐标之间的误差小于误差阈值的关键点的个数，可预先设置关键点的个数阈值，若任一图像中目标二维坐标与初始二维坐标之间的误差小于误差阈值的关键点的个数大于关键点的个数阈值，可确定该图像可作为目标图像。
作为还一种方式，在针对待标注对象的每一关键点确定对应的目标图像时，若一关键点对应的初始二维坐标的个数满足预设个数阈值，则退出筛选。可选的，可在确定各关键分别在多个图像中的初始二维坐标时，可生成对应标识，该标识用于指示各初始二维坐标对应的图像，以此能够基于该标识对多个图像进行筛选，进而确定目标图像。
在一些实施例中，如图5所示，步骤350包括：
步骤351，根据所述各图像的关键点分别在所述多个摄像头下的目标二维坐标与所述各图像的关键点在对应摄像头下的初始二维坐标，确定所述各图像的关键点分别在所述多张图像中的投影偏差。
投影偏差是指各图像的关键点分别在多个摄像头下进行二维投影后的目标二维坐标，与各图像的关键点在对应摄像头下的初始二维坐标之间的差值。
作为一种方式，可通过计算各图像的关键点的目标二维坐标与初始二维坐标之间的欧式距离来确定各图像的关键点分别在多张图像中的投影偏差。
在一些实施例中，如图6所示，步骤351包括：
步骤3511，根据所述各图像的关键点分别在所述多个摄像头下的目标二维坐标与所述各图像的关键点在对应摄像头下的初始二维坐标，计算所述各图像的关键点分别在所述多个摄像头下的目标二维坐标与所述各图像的关键点在对应摄像头下的初始二维坐标之间的第一距离。
作为一种方式，第一距离可以是各图像的关键点的目标二维坐标与初始二维坐标之间的欧式距离。其中，欧式距离的计算公式为：
，其中，
为一关键点在对应图像中的第一距离，该关键点对应于第n张图像的初始二维坐标为
；该关键点对应于第n张关节图像的目标二维坐标为
。
步骤3512，确定所述各图像的关键点的参考三维坐标与原点之间的第二距离。
作为一种方式，各图像的关键点的参考三维坐标与原点之间的第二距离可利用公式：
来计算，其中，
为一关键点在对应图像中的参考三维坐标与原点之间的第二距离；该关键点对应于第n张图像的参考三维坐标为
。
步骤3513，根据所述各图像的关键点的参考三维坐标与原点之间的第二距离，确定所述各图像的关键点对应的权重。
作为一种方式，可根据任一图像中所有关键点的参考三维坐标与原点之间的第二距离来确定该图像中各关键点对应的权重。可选的，可利用公式
，i=1,2,…,n计算得到。可以理解的是，各关键点在对应图像中的权重为该关键点对应的参考三维坐标与原点之间的第二距离占该图像中所有关键点的参考三维坐标与原点之间的第二距离之和的比例。
作为另一种方式，还可以根据各图像的关键点的参考三维坐标与原点之间的第二距离与权重之间的映射关系来确定对应关键点的权重。可选的，可预先设置不同距离范围与权重之间的对应关系，当确定一图像中的任一关键点的参考三维坐标与原点之间的第二距离后，确定该第二距离所属的距离范围，然后基于不同距离范围与权重之间的对应关系确定该关键点的权重。其中，不同距离范围与权重之间的对应关系可以是唯一的距离范围对应唯一的权重，也可以是多个距离范围对应一个权重，可根据实际需要来设置不同距离范围与权重之间的对应关系，在此不进行具体限定。
步骤3514，根据所述各图像的关键点在对应摄像头下的初始二维坐标之间的第一距离与所述各图像的关键点对应的权重，确定所述各图像的关键点分别在所述多张图像中的所述投影偏差。
在实际中，由于多个摄像头对待标注对象进行图像采集时，会因为各摄像头与待标注对象之间的距离不同，导致距离待标注对象近的摄像头所采集的图像中的关键点会比，距离待标注对象远的摄像头所采集的图像中的关键点所确定的投影偏差大，所以，在本申请的实施例中，利用各图像的关键点在对应摄像头下的初始二维坐标之间的第一距离与各图像的关键点对应的权重来确定各图像的关键点分别在多张图像中的投影偏差，以此减小误差，增加所确定目标图像的准确性，进而提高所确定的关键点的目标三维坐标的准确性。
作为一种方式，可将各图像的关键点在对应摄像头下的初始二维坐标之间的第一距离与各图像的关键点对应的权重相乘，以此得到各图像的关键点分别在多张图像中的所述投影偏差。
请继续参阅图5，步骤352，从所述多张图像中，确定投影偏差小于或等于偏差阈值的图像作为所述目标图像。
作为一种方式，当投影偏差小于或等于偏差阈值时，可确定该图像对应摄像头在对待标注对象进行图像采集时发生的误差或畸变较小。
请继续参阅图4，步骤360，根据所述目标图像对应的摄像头的参数信息和所述目标图像的关键点在对应摄像头下的初始二维坐标，确定所述目标图像的关键点的目标三维坐标。
步骤370，根据所述目标图像的关键点的目标三维坐标，对所述目标图像进行标注。
其中，步骤360-步骤370的具体描述请参阅步骤250-步骤260，在此不再赘述。
在本实施例中，通过根据各图像中的关键点的参考三维坐标分别在多个摄像头下进行二维投影，并基于投影后关键点的目标二维坐标和投影前关键点在对应图像中的初始二维坐标来对多张图像进行筛选，并基于筛选后的目标图像来确定关键点的目标三维坐标，能够使得所确定的关键点的目标三维坐标与关键点的实际位置在世界坐标系下的三维坐标之间的误差减小，进而提高关键点的标注的准确性。
请参阅图7，图7示出了本申请一实施例提供的关键点的标注方法，在具体的实施例中，该关键点的标注方法可以应用于如图9所示的关键点的标注装置600以及配置有关键点的标注装置600的电子设备700（图10）。下面将说明本实施例的具体流程，当然，可以理解的，该方法可以由具备计算处理能力的电子设备执行，电子设备例如服务器、云服务器、台式电脑、笔记本电脑、智能手机等终端设备，该方法还可以由包括服务器和终端的处理系统来交互执行，在此不进行具体限定。下面将针对图7所示的流程进行详细的阐述，所述关键点的标注方法具体可以包括以下步骤：
步骤410，获取待标注对象的多张图像，其中，所述多张图像为多个摄像头在不同视角下对所述待标注对象进行拍摄获得。
步骤420，获取所述多张图像中的各图像的关键点在对应摄像头下的初始二维坐标，以及获取所述多个摄像头中的各摄像头的参数信息。
步骤430，根据所述各摄像头的参数信息和所述各图像的关键点在对应摄像头下的初始二维坐标，确定所述各图像的关键点的参考三维坐标。
步骤440，根据所述各图像的关键点的参考三维坐标对所述多张图像进行筛选，获得目标图像。
其中，步骤410-步骤440的具体描述请参阅步骤210-步骤240，在此不再赘述。
步骤450，判断所述目标图像的个数是否大于或等于预设个数。
为了使得所确定关键点的目标三维坐标更加准确，需要利用更多的数据来进行计算，即，需要一定数量的目标图像，来基于一定数量的目标图像确定关键点的目标三维坐标。
作为一种方式，可设置一个数阈值，当目标图像的数量大于或等于该个数阈值时，即可根据这些目标图像来确定关键点的目标三维坐标。
步骤460，若所述目标图像的个数大于或等于所述预设个数，则根据所述目标图像对应的摄像头的参数信息和所述目标图像的关键点在对应摄像头下的初始二维坐标，确定所述目标图像的关键点的目标三维坐标。
作为一种方式，当目标图像的个数大于或等于预设个数时，可确定此时的数据较为全面，即可根据目标图像来确定关键点的目标三维坐标。
作为另一种方式，若目标图像的个数小于预设个数，则重复执行步骤440，直到目标图像的个数大于或等于预设个数。
可选的，根据目标图像对应的摄像头的参数信息和目标图像的关键点在对应摄像头下的初始二维坐标，确定目标图像的关键点的目标三维坐标的具体步骤可参阅步骤220，在此不再赘述。
步骤470，根据所述目标图像的关键点的目标三维坐标，对所述目标图像进行标注。
其中，步骤470的具体描述请参阅步骤260，在此不再赘述。
在本实施例中，通过对目标图像的个数进行统计，在目标图像的个数大于或等于预设个数时才确定目标图像中的关键点的目标三维坐标，以此保证了目标图像中的关键点的目标三维坐标的准确性，进而保证的对目标图像的关键点进行标注的准确性。
请参阅图8，图8示出了本申请一实施例提供的关键点的标注方法，在具体的实施例中，该关键点的标注方法可以应用于如图9所示的关键点的标注装置600以及配置有关键点的标注装置600的电子设备700（图10）。下面将说明本实施例的具体流程，当然，可以理解的，该方法可以由具备计算处理能力的电子设备执行，电子设备例如服务器、云服务器、台式电脑、笔记本电脑、智能手机等终端设备，该方法还可以由包括服务器和终端的处理系统来交互执行，在此不进行具体限定。下面将针对图8所示的流程进行详细的阐述，所述关键点的标注方法具体可以包括以下步骤：
步骤510，获取所述多个摄像头在不同视角下所拍摄的多张标定图像。
作为一种方式，可设置一待标注对象的多视角采集装置，该多视角采集装置可包括多个摄像头、多个相机支架、开发板、存储设备等。其中，相机支架用于固定各摄像头的位置；多个摄像头可以是彩色摄像头、灰度摄像头、RGB-D摄像头中的任意一种或多中，用于获取待标注对象的图像；开发板连接多个摄像头，用于控制摄像头进行图像采集；存储设备用于保存不同位置的视角下摄像头所采集的图像或视频数据。
可选的，待标注对象的多视角采集装置中各相机支架需要覆盖待标注对象的多角度，如呈环形向内拍摄，待标注对象在各摄像头所采集的图像中占比不能过小，一般不小于画面的1/5。
可选的，待标注对象的多视角采集装置需要能控制所有摄像头同步拍摄或录制视频，各摄像头之间的同步性是通过一个同步控制装置（例如拍摄遥控器）给开发板发送信号，开发板基于该信号来控制待标注对象的多视角采集装置中的所有摄像头的同步性。
作为一种方式，可通过获取所有摄像头同时刻抓拍的标定板的图像（即标定图像），使用多相机标定方法计算各摄像头的参数信息。可选的，标定图像可以是二维码等具有明显标记点的图像。
步骤520，根据所述多张标定图像，确定所述多个摄像头中的各摄像头的参数信息。
作为一种方式，可随机选取一摄像头作为参考摄像头（作为世界坐标系的基准），该摄像头所采集的标定图像作为参考标定图像，该摄像头的外参为单位矩阵；然后根据各摄像头所采集的标定图像，来确定其他标定图像对应的摄像到参考标定图像对应的参考摄像头下的转换矩阵，即为其他摄像头的外参矩阵。可选的，多个摄像头标定的平均投影误差需小于平均投影误差阈值，以此保证所确定的各摄像头的参数信息的准确性。可选的，平均投影误差阈值可以是一个像素，也可以是其他值，可根据实际需要设置，在此不进行具体限定。
步骤530，获取待标注对象的多张图像，其中，所述多张图像为多个摄像头在不同视角下对所述待标注对象进行拍摄获得。
步骤540，获取所述多张图像中的各图像的关键点在对应摄像头下的初始二维坐标，以及获取所述多个摄像头中的各摄像头的参数信息。
步骤550，根据所述各摄像头的参数信息和所述各图像的关键点在对应摄像头下的初始二维坐标，确定所述各图像的关键点的参考三维坐标。
步骤560，根据所述各图像的关键点的参考三维坐标对所述多张图像进行筛选，获得目标图像。
步骤570，根据所述目标图像对应的摄像头的参数信息和所述目标图像的关键点在对应摄像头下的初始二维坐标，确定所述目标图像的关键点的目标三维坐标。
步骤580，根据所述目标图像的关键点的目标三维坐标，对所述目标图像进行标注。
其中，步骤530-步骤580的具体描述请参阅步骤210-步骤260，在此不再赘述。
在本实施例中，通过在获取待标注图像的多张图像之前对多个摄像头进行标定，来确定各摄像头的参数信息，以此提高后续确定各图像中关键点的参考三维坐标和目标图像中关键点的目标三维坐标的准确性和效率，进而提高待标注对象的关键点的标注的效率和准确性。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的方法。对于本申请装置实施例中未披露的细节，请参照本申请上述方法实施例。
图9是根据本申请一实施例示出的三维坐标的确定装置的框图，如图9所示，该关键点的标注装置600包括：图像获取模块610、初始二维坐标获取模块620、参考三维坐标确定模块630、筛选模块640、目标三维坐标确定模块650和标注模块660。
图像获取模块610，用于获取待标注对象的多张图像，其中，所述多张图像为多个摄像头在不同视角下对所述待标注对象进行拍摄获得；初始二维坐标获取模块620，用于获取所述多张图像中的各图像的关键点在对应摄像头下的初始二维坐标，以及获取所述多个摄像头中的各摄像头的参数信息；参考三维坐标确定模块630，用于根据所述各摄像头的参数信息和所述各图像的关键点在对应摄像头下的初始二维坐标，确定所述各图像的关键点的参考三维坐标；筛选模块640，用于根据所述各图像的关键点的参考三维坐标对所述多张图像进行筛选，获得目标图像；目标三维坐标确定模块650，用于根据所述目标图像对应的摄像头的参数信息和所述目标图像的关键点在对应摄像头下的初始二维坐标，确定所述目标图像的关键点的目标三维坐标；标注模块660，用于根据所述目标图像的关键点的目标三维坐标，对所述目标图像进行标注。
在一些实施例中，所述筛选模块640包括：目标二维坐标确定子模块，用于将所述各图像的关键点的参考三维坐标分别在所述多个摄像头下进行二维投影，得到所述各图像的关键点分别在所述多个摄像头下的目标二维坐标；筛选子模块，用于根据所述各图像的关键点分别在所述多个摄像头下的目标二维坐标与所述各图像的关键点在对应摄像头下的初始二维坐标对所述多张图像进行筛选，获得所述目标图像。
在一些实施例中，所述筛选子模块包括：投影偏差确定单元，用于根据所述各图像的关键点分别在所述多个摄像头下的目标二维坐标与所述各图像的关键点在对应摄像头下的初始二维坐标，确定所述各图像的关键点分别在所述多张图像中的投影偏差；目标图像确定单元，用于从所述多张图像中，确定投影偏差小于或等于偏差阈值的图像作为所述目标图像。
在一些实施例中，所述投影偏差确定单元包括：第一距离确定子单元，用于根据所述各图像的关键点分别在所述多个摄像头下的目标二维坐标与所述各图像的关键点在对应摄像头下的初始二维坐标，计算所述各图像的关键点分别在所述多个摄像头下的目标二维坐标与所述各图像的关键点在对应摄像头下的初始二维坐标之间的第一距离；第二距离确定子单元，用于确定所述各图像的关键点的参考三维坐标与原点之间的第二距离；权重确定子单元，用于根据所述各图像的关键点的参考三维坐标与原点之间的第二距离，确定所述各图像的关键点对应的权重；投影偏差确定子单元，用于根据所述各图像的关键点在对应摄像头下的初始二维坐标之间的第一距离与所述各图像的关键点对应的权重，确定所述各图像的关键点分别在所述多张图像中的所述投影偏差。
在一些实施例中，所述目标三维坐标确定模块650包括：判断子模块，用于判断所述目标图像的个数是否大于或等于预设个数；目标三维坐标确定子模块，用于若所述目标图像的个数大于或等于所述预设个数，则根据所述目标图像对应的摄像头的参数信息和所述目标图像的关键点在对应摄像头下的初始二维坐标，确定所述目标图像的关键点的目标三维坐标。
在一些实施例中，所述初始二维坐标获取模块620包括：目标区域确定子模块，用于分别将所述多张图像输入至目标识别模型中，确定多张图像中的各图像中的目标区域；分割子模块，用于根据所述各图像中的目标区域分别对所述多张图像进行分割，得到多张分割图像；初始二维坐标确定子模块，用于根据所述多张分割图像，确定所述各图像的关键点在对应摄像头下的所述初始二维坐标。
在一些实施例中，所述关键点的标注装置600还包括：标定图像获取模块，用于获取所述多个摄像头在不同视角下所拍摄的多张标定图像；参数信息确定模块，用于根据所述多张标定图像，确定所述多个摄像头中的各摄像头的参数信息。
根据本申请实施例的一个方面，还提供了一种电子设备，如图10所示，该电子设备700包括处理器710以及一个或多个存储器720，一个或多个存储器720用于存储被处理器710执行的程序指令，处理器710执行程序指令时实施上述的关键点的标注方法。
进一步地，处理器710可以包括一个或者多个处理核。处理器710运行或执行存储在存储器720内的指令、程序、代码集或指令集，以及调用存储在存储器720内的数据。可选地，处理器710可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器710可集成中央处理器 (CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器中，单独通过一块通信芯片进行实现。
根据本申请的一个方面，本申请还提供了一种计算机可读存储介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载计算机可读指令，当该计算机可读存储指令被处理器执行时，实现上述任一实施例中的方法。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、闪存、光纤、便携式紧凑磁盘只读存储器（Compact Disc Read-Only Memory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种关键点的标注方法，其特征在于，所述方法包括：
获取待标注对象的多张图像，其中，所述多张图像为多个摄像头在不同视角下对所述待标注对象进行拍摄获得；
获取所述多张图像中的各图像的关键点在对应摄像头下的初始二维坐标，以及获取所述多个摄像头中的各摄像头的参数信息；
根据所述各摄像头的参数信息和所述各图像的关键点在对应摄像头下的初始二维坐标，确定所述各图像的关键点的参考三维坐标；
根据所述各图像的关键点的参考三维坐标对所述多张图像进行筛选，获得目标图像；
根据所述目标图像对应的摄像头的参数信息和所述目标图像的关键点在对应摄像头下的初始二维坐标，确定所述目标图像的关键点的目标三维坐标；
根据所述目标图像的关键点的目标三维坐标，对所述目标图像进行标注。
2.根据权利要求1所述的方法，其特征在于，所述根据所述各图像的关键点的参考三维坐标对所述多张图像进行筛选，获得目标图像，包括：
将所述各图像的关键点的参考三维坐标分别在所述多个摄像头下进行二维投影，得到所述各图像的关键点分别在所述多个摄像头下的目标二维坐标；
根据所述各图像的关键点分别在所述多个摄像头下的目标二维坐标与所述各图像的关键点在对应摄像头下的初始二维坐标对所述多张图像进行筛选，获得所述目标图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述各图像的关键点分别在所述多个摄像头下的目标二维坐标与所述各图像的关键点在对应摄像头下的初始二维坐标对所述多张图像进行筛选，获得所述目标图像，包括：
根据所述各图像的关键点分别在所述多个摄像头下的目标二维坐标与所述各图像的关键点在对应摄像头下的初始二维坐标，确定所述各图像的关键点分别在所述多张图像中的投影偏差；
从所述多张图像中，确定投影偏差小于或等于偏差阈值的图像作为所述目标图像。
4.根据权利要求3所述的方法，其特征在于，所述根据所述各图像的关键点分别在所述多个摄像头下的目标二维坐标与所述各图像的关键点在对应摄像头下的初始二维坐标，确定所述各图像的关键点分别在所述多张图像中的投影偏差，包括：
根据所述各图像的关键点分别在所述多个摄像头下的目标二维坐标与所述各图像的关键点在对应摄像头下的初始二维坐标，计算所述各图像的关键点分别在所述多个摄像头下的目标二维坐标与所述各图像的关键点在对应摄像头下的初始二维坐标之间的第一距离；
确定所述各图像的关键点的参考三维坐标与原点之间的第二距离；
根据所述各图像的关键点的参考三维坐标与原点之间的第二距离，确定所述各图像的关键点对应的权重；
根据所述各图像的关键点在对应摄像头下的初始二维坐标之间的第一距离与所述各图像的关键点对应的权重，确定所述各图像的关键点分别在所述多张图像中的所述投影偏差。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像对应的摄像头的参数信息和所述目标图像的关键点在对应摄像头下的初始二维坐标，确定所述目标图像的关键点的目标三维坐标，包括：
判断所述目标图像的个数是否大于或等于预设个数；
若所述目标图像的个数大于或等于所述预设个数，则根据所述目标图像对应的摄像头的参数信息和所述目标图像的关键点在对应摄像头下的初始二维坐标，确定所述目标图像的关键点的目标三维坐标。
6.根据权利要求1所述的方法，其特征在于，所述获取所述多张图像中的各图像的关键点在对应摄像头下的初始二维坐标，包括：
分别将所述多张图像输入至目标识别模型中，确定多张图像中的各图像中的目标区域；
根据所述各图像中的目标区域分别对所述多张图像进行分割，得到多张分割图像；
根据所述多张分割图像，确定所述各图像的关键点在对应摄像头下的所述初始二维坐标。
7.根据权利要求1-6任一项所述的方法，其特征在于，在所述获取待标注对象的多张图像之前，还包括：
获取所述多个摄像头在不同视角下所拍摄的多张标定图像；
根据所述多张标定图像，确定所述多个摄像头中的各摄像头的参数信息。
8.一种关键点的标注装置，其特征在于，所述装置包括：
图像获取模块，用于获取待标注对象的多张图像，其中，所述多张图像为多个摄像头在不同视角下对所述待标注对象进行拍摄获得；
初始二维坐标获取模块，用于获取所述多张图像中的各图像的关键点在对应摄像头下的初始二维坐标，以及获取所述多个摄像头中的各摄像头的参数信息；
参考三维坐标确定模块，用于根据所述各摄像头的参数信息和所述各图像的关键点在对应摄像头下的初始二维坐标，确定所述各图像的关键点的参考三维坐标；
筛选模块，用于根据所述各图像的关键点的参考三维坐标对所述多张图像进行筛选，获得目标图像；
目标三维坐标确定模块，用于根据所述目标图像对应的摄像头的参数信息和所述目标图像的关键点在对应摄像头下的初始二维坐标，确定所述目标图像的关键点的目标三维坐标；
标注模块，用于根据所述目标图像的关键点的目标三维坐标，对所述目标图像进行标注。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，与所述一个或多个处理器电连接；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211634077.5A CN115620094B (zh) | 2022-12-19 | 2022-12-19 | 关键点的标注方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211634077.5A CN115620094B (zh) | 2022-12-19 | 2022-12-19 | 关键点的标注方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115620094A true CN115620094A (zh) | 2023-01-17 |
| CN115620094B CN115620094B (zh) | 2023-03-21 |
Family
ID=84880889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211634077.5A Active CN115620094B (zh) | 2022-12-19 | 2022-12-19 | 关键点的标注方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115620094B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110910449A (zh) * | 2019-12-03 | 2020-03-24 | 清华大学 | 识别物体三维位置的方法和系统 |
| CN111783820A (zh) * | 2020-05-08 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 图像标注方法和装置 |
| CN111951326A (zh) * | 2019-05-15 | 2020-11-17 | 北京地平线机器人技术研发有限公司 | 基于多摄像装置的目标对象骨骼关键点定位方法和装置 |
| CN112767300A (zh) * | 2019-10-18 | 2021-05-07 | 宏达国际电子股份有限公司 | 自动生成手部的标注数据的方法和计算骨骼长度的方法 |
| WO2021174939A1 (zh) * | 2020-03-03 | 2021-09-10 | 平安科技（深圳）有限公司 | 人脸图像的获取方法与系统 |
| CN113454684A (zh) * | 2021-05-24 | 2021-09-28 | 华为技术有限公司 | 一种关键点标定方法和装置 |
| CN113610966A (zh) * | 2021-08-13 | 2021-11-05 | 北京市商汤科技开发有限公司 | 三维姿态调整的方法、装置、电子设备及存储介质 |
| CN113793413A (zh) * | 2021-08-13 | 2021-12-14 | 北京迈格威科技有限公司 | 三维重建方法、装置、电子设备及存储介质 |
| CN113870350A (zh) * | 2021-09-27 | 2021-12-31 | 深圳市优必选科技股份有限公司 | 图像样本标注方法、装置、终端设备和图像标注系统 |
| CN113869215A (zh) * | 2021-09-28 | 2021-12-31 | 重庆中科云从科技有限公司 | 一种标注车辆关键点的方法、系统、设备及介质 |
| WO2022042203A1 (zh) * | 2020-08-31 | 2022-03-03 | 魔门塔(苏州)科技有限公司 | 一种人体关键点的检测方法及装置 |
-
2022
- 2022-12-19 CN CN202211634077.5A patent/CN115620094B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111951326A (zh) * | 2019-05-15 | 2020-11-17 | 北京地平线机器人技术研发有限公司 | 基于多摄像装置的目标对象骨骼关键点定位方法和装置 |
| CN112767300A (zh) * | 2019-10-18 | 2021-05-07 | 宏达国际电子股份有限公司 | 自动生成手部的标注数据的方法和计算骨骼长度的方法 |
| CN110910449A (zh) * | 2019-12-03 | 2020-03-24 | 清华大学 | 识别物体三维位置的方法和系统 |
| WO2021174939A1 (zh) * | 2020-03-03 | 2021-09-10 | 平安科技（深圳）有限公司 | 人脸图像的获取方法与系统 |
| CN111783820A (zh) * | 2020-05-08 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 图像标注方法和装置 |
| WO2022042203A1 (zh) * | 2020-08-31 | 2022-03-03 | 魔门塔(苏州)科技有限公司 | 一种人体关键点的检测方法及装置 |
| CN113454684A (zh) * | 2021-05-24 | 2021-09-28 | 华为技术有限公司 | 一种关键点标定方法和装置 |
| CN113610966A (zh) * | 2021-08-13 | 2021-11-05 | 北京市商汤科技开发有限公司 | 三维姿态调整的方法、装置、电子设备及存储介质 |
| CN113793413A (zh) * | 2021-08-13 | 2021-12-14 | 北京迈格威科技有限公司 | 三维重建方法、装置、电子设备及存储介质 |
| CN113870350A (zh) * | 2021-09-27 | 2021-12-31 | 深圳市优必选科技股份有限公司 | 图像样本标注方法、装置、终端设备和图像标注系统 |
| CN113869215A (zh) * | 2021-09-28 | 2021-12-31 | 重庆中科云从科技有限公司 | 一种标注车辆关键点的方法、系统、设备及介质 |
Non-Patent Citations (4)
| Title |
|---|
| UMAR IQBAL ET AL: "KAMA: 3D Keypoint Aware Body Mesh Articulation" * |
| 丁宾;王阳生;杨明浩;姚健;: "从多张非标定图像重建三维人脸" * |
| 崔晓青;李谊;韩东峰;李远;李宗承;: "基于多幅图像序列的三维重建" * |
| 庄越挺,刘小明,潘云鹤,杨骏: "运动图像序列的人体三维运动骨架重建" * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115620094B (zh) | 2023-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| CN109801374B (zh) | 一种通过多角度图像集重构三维模型的方法、介质及系统 | |
| US20070106482A1 (en) | Fast imaging system calibration | |
| KR100793838B1 (ko) | 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법 | |
| CN111339951A (zh) | 体温测量方法、装置及系统 | |
| JP6793151B2 (ja) | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム | |
| CN111127422A (zh) | 图像标注方法、装置、系统及主机 | |
| JP2021093161A (ja) | 産業機器ゲージのデジタル化及びアラームのためのコンピュータビジョンシステム | |
| JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| CN109247068A (zh) | 用于滚动快门补偿的方法和设备 | |
| TW201118791A (en) | System and method for obtaining camera parameters from a plurality of images, and computer program products thereof | |
| EP3186787A1 (en) | Method and device for registering an image to a model | |
| CN110400315A (zh) | 一种缺陷检测方法、装置及系统 | |
| WO2022170844A1 (zh) | 一种视频标注方法、装置、设备及计算机可读存储介质 | |
| CN113689578B (zh) | 一种人体数据集生成方法及装置 | |
| WO2018216341A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN110544278B (zh) | 刚体运动捕捉方法及装置、agv位姿捕捉系统 | |
| US20210056337A1 (en) | Recognition processing device, recognition processing method, and program | |
| CN111105351B (zh) | 一种视频序列影像拼接方法及装置 | |
| US20220405968A1 (en) | Method, apparatus and system for image processing | |
| CN109214350A (zh) | 一种光照参数的确定方法、装置、设备及存储介质 | |
| CN109785439A (zh) | 人脸素描图像生成方法及相关产品 | |
| CN110111364A (zh) | 运动检测方法、装置、电子设备及存储介质 | |
| CN107704106B (zh) | 姿态定位方法、装置及电子设备 | |
| CN115620094B (zh) | 关键点的标注方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |