CN112712032A - 一种半自动物体姿态标注方案 - Google Patents

一种半自动物体姿态标注方案 Download PDF

Info

Publication number
CN112712032A
CN112712032A CN202011621413.3A CN202011621413A CN112712032A CN 112712032 A CN112712032 A CN 112712032A CN 202011621413 A CN202011621413 A CN 202011621413A CN 112712032 A CN112712032 A CN 112712032A
Authority
CN
China
Prior art keywords
marking
camera
semi
automatic
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011621413.3A
Other languages
English (en)
Inventor
李汉曦
廖美珍
张小杰
张宝昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Mizhen Technology Co ltd
Original Assignee
Nanchang Mizhen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Mizhen Technology Co ltd filed Critical Nanchang Mizhen Technology Co ltd
Priority to CN202011621413.3A priority Critical patent/CN112712032A/zh
Publication of CN112712032A publication Critical patent/CN112712032A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种半自动物体姿态标注方案，包括半自动标注和数据增强，本发明主要是解决现有技术中人工时间成本过大与提升机器学习模型泛化能力的一种半自动物体姿态标注方案，通过利用三面标注台，节省了大量时间和提高后续任务的鲁棒性和准确性。

Description

一种半自动物体姿态标注方案
技术领域
本申请涉及计算机视觉领域领域，特别是涉及一种半自动物体姿态标注方案。
背景技术
物体姿态标注是计算机视觉领域的重要任务。
传统的物体姿态标注方法是人工手动标注，也即对每张图片人手动标记物体上预设的关键点在这张图片上的2D位置，进而通过pnp算法求得相机与物体之间的位置关系，也即物体姿态。
另一种已有方案是记号板标注方案，利用一张记号板来辅助姿态标注的方案，具体来说，首先，该方案对放置于记号板上的目标物体进行数据采集（即多角度拍摄）得到图片数据；其次，由于记号板上有特殊符号，而且系统拥有计算相机与记号板之间精准位置关系的方法，如基于SIFT的点匹配和基于深度学习的方法，因此通过部分人工标注，该方案可以得到放置在记号板上的物体与记号板的位置关系；最后，由于既有定位记号板的方法，又有物体与记号板的相对位置，该方案便可在后续图片中，自动确定相机与物体之间的相对位置，从而完成物体姿态标注的任务。
记号板标注方案有两大缺点：第一，用此方法标注易出现无法定位记号板而导致无法自动标注的情况，主要原因是当拍摄时不是俯视角度时，记号板的重要符号容易被目标物体遮挡或者容易因光线不够拍摄失败导致记号板重要符号容易识别失败，因而无法确定记号板及物体的位置，无法标注，因为定位失败，所以这部分图片依然需要人工标注，依然浪费时间，第二，泛化能力下降，此方法中使用的记号板采集数据后，每一张图片的一部分面积都被记号板占据，这样的数据具有偏向性，容易造成由该数据训练得到的机器学习模型泛化能力下降。
发明内容
本发明主要是解决现有技术中人工时间成本过大与提升机器学习模型泛化能力的一种半自动物体姿态标注方案。
本发明的上述发明目的是通过以下技术方案得以实现的:
一种半自动物体姿态标注方案，包括半自动标注和数据增强，其中：
优选的，步骤S101，目标放置于三面标注台上，所述目标物体设置有若干物体三维关键点，获取一张目标物体置于三面标注台上的二维图像；
步骤S102，所选取的二维图像，通过SIFT点匹配或者基于深度学习的方法定位出三面标注台相对于相机的位置
Figure RE-DEST_PATH_IMAGE001
；
步骤S103，通过选取的二维图像，将目标物体三维关键点在这张二维图像中的映射人工标注出来，通过计算机辅助计算而得到目标物体与相机的相对位置T1；
步骤S104，所选定的二维图像，通过步骤S102得到三面标注台与相机的相对位置
Figure RE-84912DEST_PATH_IMAGE002
，通过步骤S103得到目标物体与相机的相对位置
Figure RE-DEST_PATH_IMAGE003
，通过链式法则，得到三面标注台与目标物体的位置关系
Figure RE-533210DEST_PATH_IMAGE004
=
Figure RE-640844DEST_PATH_IMAGE002
Figure RE-36053DEST_PATH_IMAGE003
；
步骤S105，目标物体与三面标注台位置固定，对目标物体进行拍摄；
步骤S106，将步骤S104得到的三面标注台与目标物的位置关系，计算得到三维关键点在每张拍摄二维图像上二维关键点的位置从而得到自动标注好的所有二维图像上的数据，
如需要对物体的多角度进行标注，则可以改变物体的放置角度，重复上述的所有标注步骤。
优选的，所述三面标注台，由记号板一、记号板二、记号板三组成，所述三块记号板两两垂直组装。
优选的，所述记号板一、记号板二、记号板三上均设置有不同的自动定位模型，所述定位模型能自动定位各自记号板相对于相机的位置，所述三块记号板相对位置固定，当其中一块记号板通过自动定位模型定位后，所述三面标注台位置已知。
优选的，同时超过一块记号板通过自动定位模型定位后，通过对位置进行取均值精准定位，因三块记号板共用同一世界坐标系，故我们只需计算三块板的平均位置，即Mean(
Figure RE-DEST_PATH_IMAGE005
),具体而言则分开计算R，t的平均数，定义
Figure RE-381584DEST_PATH_IMAGE006
将旋转矩阵
Figure RE-DEST_PATH_IMAGE007
,
Figure RE-269293DEST_PATH_IMAGE008
,
Figure RE-DEST_PATH_IMAGE009
通过变换关系
Figure RE-67484DEST_PATH_IMAGE010
转换成四元数
Figure RE-DEST_PATH_IMAGE011
,
Figure RE-531964DEST_PATH_IMAGE012
,那么
Figure RE-DEST_PATH_IMAGE013
=
Figure RE-732001DEST_PATH_IMAGE014
，
Figure RE-DEST_PATH_IMAGE015
=
Figure RE-53261DEST_PATH_IMAGE016
我们通过变换关系可将
Figure RE-DEST_PATH_IMAGE017
转换成
Figure RE-338749DEST_PATH_IMAGE018
，即
Figure RE-DEST_PATH_IMAGE019
=[
Figure RE-606919DEST_PATH_IMAGE020
]，也即相机与标注台的相对位置。
优选的，步骤S103所述计算机辅助计算，具体为：
若3D模型有关键点
Figure RE-DEST_PATH_IMAGE021
，含N个关键点，这些点在3D模型定义的3D坐标为
Figure RE-661463DEST_PATH_IMAGE022
，则在图像上的2d坐标为
Figure RE-DEST_PATH_IMAGE023
，
考虑3D空间中某点Pi，它的齐次坐标为：
Figure RE-622465DEST_PATH_IMAGE024
，在该图像中，投影点
Figure RE-DEST_PATH_IMAGE025
( 以归一化平面齐次坐标表示)。定义相机姿态T=[R|t]
Figure RE-395249DEST_PATH_IMAGE026
Figure RE-DEST_PATH_IMAGE027
，由投影关系
Figure RE-201531DEST_PATH_IMAGE028
用最后一行将s消去，得到两个约束
Figure RE-DEST_PATH_IMAGE029
，
Figure RE-376161DEST_PATH_IMAGE030
为了简化表示，将T的行向量定义为
Figure RE-DEST_PATH_IMAGE031
代入上述两个约束，因总共有N个关键点，可列出如下线性方程组
Figure RE-242486DEST_PATH_IMAGE032
由于t一共有12维，故至少需6对关键点即可实现T的线性求解，即可计算出
Figure RE-DEST_PATH_IMAGE033
，即物体与相机的相对位置。
优选的，自动标注好的所有二维图像上的数据方法可以为，已知计算相机与标注台相对位置的模型和标注台与物体的相对位置，通过链式法则计算得到相机与物体的相对位置R t，再使用pnp算法将3d关键点投影到二维图像上。
优选的，所述数据增强方法为，步骤S201用迭代的方式得到尽量准确的绿幕区域，以得到更好的相机姿态和精准的色键；步骤S202进行抠像。
优选的，所述准确绿幕区域的方法可以为所述三面标注台中的记号板一、记号板二、记号板三中图案均由深绿色与浅绿色小块相间拼成，大小依据目标物体的尺寸而定，针对不同情况也可为蓝色或红色。
优选的，所述抠像需要计算每个像素的前景与背景的比例，也即像素的
Figure RE-502566DEST_PATH_IMAGE034
值,首先，可利用传统机器学习或深度学习的方法取得记号板一、记号板二和记号板三中的绿色纹理背景的
Figure RE-DEST_PATH_IMAGE035
个色键值
Figure RE-849889DEST_PATH_IMAGE036
，其中
Figure RE-DEST_PATH_IMAGE037
表示第
Figure RE-879025DEST_PATH_IMAGE038
个色键在YUV空间的U-V取值,
Figure RE-447410DEST_PATH_IMAGE035
通常小于等于3，
然后，算法可通过下式得出每个像素的
Figure RE-132469DEST_PATH_IMAGE034
值：
Figure RE-DEST_PATH_IMAGE039
,
其中，
Figure RE-546133DEST_PATH_IMAGE040
是图像的像素个数，
Figure RE-DEST_PATH_IMAGE041
是第
Figure RE-429775DEST_PATH_IMAGE042
个像素的U-V取值，
Figure RE-DEST_PATH_IMAGE043
和
Figure RE-903482DEST_PATH_IMAGE044
为预先定义好的参数，Sigmoid函数的定义为：
Figure RE-DEST_PATH_IMAGE045
它使得函数结果映射在[0,1]区间内，最后，我们规定
Figure RE-872575DEST_PATH_IMAGE046
值大于0.5的为前景，其余像素为背景，即完成抠像，得到一张与图片一样尺寸的前景掩膜
Figure RE-DEST_PATH_IMAGE047
。
综上所述，本发明包括以下有益技术效果：
1、通过利用三面标注台，标注人员只需要对图片数据中的一张图片的所有关键点进行标注，就能完成后续的所有物体姿态标注，标注时间从m小时降到m秒，节省了大量的时间。
2、本方案设计的三面标注台是一个由三块标记板组合而成的标注工具，不论相机从哪个角度拍摄物体，总有一张标记板的重要符号能被拍摄进图片，不会出现“因为角度问题无法自动确定位置而导致必须人工标注”的情况。
3、本方案将“三面标注台”组合板的图案颜色设计成易于抠像的颜色，拍摄得到的数据可以将标记板的背景利用抠像技术扣掉，一方面，可以减少背景对实验数据的干扰，另一方面还可以以一换多，为扣掉背景后的目标物体换上其他背景，一张图片可以扩展成各种场景的图片，增加了数据量，有效的提高后续任务的鲁棒性和准确性。
附图说明
图1是本发明的物体姿态标注的流程示意图；
图2是本发明的抠像的流程示意图；
图3是本发明的三面标注台的外观示意图；
图4是本发明的目标物体放置于标记板上示意图；
图5是本发明的目标物体放置于标记板上设置三维关键点示意图。
图中：1记号板一、2记号板二、3记号板三。
具体实施方式
本发明提供了如图所示的一种半自动物体姿态标注方案，包括半自动标注和数据增强，其中：
具体的，步骤S101，目标放置于三面标注台上，所述目标物体设置有若干物体三维关键点，获取一张目标物体置于三面标注台上的二维图像；
步骤S102，所选取的二维图像，通过SIFT点匹配或者基于深度学习的方法定位出三面标注台相对于相机的位置
Figure RE-824350DEST_PATH_IMAGE001
；
步骤S103，通过选取的二维图像，将目标物体三维关键点在这张二维图像中的映射人工标注出来，通过计算机辅助计算而得到目标物体与相机的相对位置T1；
步骤S104，所选定的二维图像，通过步骤S102得到三面标注台与相机的相对位置
Figure RE-296920DEST_PATH_IMAGE002
，通过步骤S103得到目标物体与相机的相对位置
Figure RE-410369DEST_PATH_IMAGE003
，通过链式法则，得到三面标注台与目标物体的位置关系
Figure RE-866758DEST_PATH_IMAGE004
=
Figure RE-91066DEST_PATH_IMAGE002
Figure RE-480459DEST_PATH_IMAGE003
；
步骤S105，目标物体与三面标注台位置固定，对目标物体进行拍摄；
步骤S106，将步骤S104得到的三面标注台与目标物的位置关系，计算得到三维关键点在每张拍摄二维图像上二维关键点的位置从而得到自动标注好的所有二维图像上的数据，
如需要对物体的多角度进行标注，则可以改变物体的放置角度，重复上述的所有标注步骤。
具体的，所述三面标注台，由记号板一1、记号板二2、记号板三3组成，所述三块记号板两两垂直组装。
具体的，所述记号板一1、记号板二2、记号板三3上均设置有不同的自动定位模型，所述定位模型能自动定位各自记号板相对于相机的位置，所述三块记号板相对位置固定，当其中一块记号板通过自动定位模型定位后，所述三面标注台位置已知。
具体的，同时超过一块记号板通过自动定位模型定位后，通过对位置进行取均值精准定位，因三块记号板共用同一世界坐标系，故我们只需计算三块板的平均位置，即Mean(
Figure RE-764810DEST_PATH_IMAGE048
),具体而言则分开计算R，t的平均数，定义
Figure RE-177337DEST_PATH_IMAGE006
将旋转矩阵
Figure RE-470915DEST_PATH_IMAGE007
,
Figure RE-652498DEST_PATH_IMAGE008
,
Figure RE-373329DEST_PATH_IMAGE009
通过变换关系
Figure RE-DEST_PATH_IMAGE049
转换成四元数
Figure RE-601048DEST_PATH_IMAGE011
,
Figure RE-167159DEST_PATH_IMAGE050
,那么
Figure RE-999985DEST_PATH_IMAGE013
=
Figure RE-360560DEST_PATH_IMAGE014
，
Figure RE-16187DEST_PATH_IMAGE015
=
Figure RE-182727DEST_PATH_IMAGE016
我们通过变换关系可将
Figure RE-807743DEST_PATH_IMAGE017
转换成
Figure RE-401535DEST_PATH_IMAGE018
，即
Figure RE-744792DEST_PATH_IMAGE019
=[
Figure RE-715022DEST_PATH_IMAGE020
]，也即相机与标注台的相对位置。
具体的，步骤S103所述计算机辅助计算，具体为：
若3D模型有关键点
Figure RE-460124DEST_PATH_IMAGE021
，含N个关键点，这些点在3D模型定义的3D坐标为
Figure RE-224818DEST_PATH_IMAGE022
，则在图像上的2d坐标为
Figure RE-55371DEST_PATH_IMAGE023
，
考虑3D空间中某点Pi，它的齐次坐标为：
Figure RE-829292DEST_PATH_IMAGE024
，在该图像中，投影点
Figure RE-491217DEST_PATH_IMAGE025
( 以归一化平面齐次坐标表示)。定义相机姿态T=[R|t]
Figure RE-364495DEST_PATH_IMAGE026
Figure RE-947923DEST_PATH_IMAGE027
，由投影关系
Figure RE-197639DEST_PATH_IMAGE028
用最后一行将s消去，得到两个约束
Figure RE-510809DEST_PATH_IMAGE029
，
Figure RE-820567DEST_PATH_IMAGE030
为了简化表示，将T的行向量定义为
Figure RE-422450DEST_PATH_IMAGE031
代入上述两个约束，因总共有N个关键点，可列出如下线性方程组
Figure RE-475857DEST_PATH_IMAGE032
由于t一共有12维，故至少需6对关键点即可实现T的线性求解，即可计算出
Figure RE-581216DEST_PATH_IMAGE033
，即物体与相机的相对位置。
具体的，自动标注好的所有二维图像上的数据方法可以为，已知计算相机与标注台相对位置的模型和标注台与物体的相对位置，通过链式法则计算得到相机与物体的相对位置R t，再使用pnp算法将3d关键点投影到二维图像上。
具体的，所述数据增强方法为，步骤S201用迭代的方式得到尽量准确的绿幕区域，以得到更好的相机姿态和精准的色键；步骤S202进行抠像。
具体的，所述准确绿幕区域的方法可以为所述三面标注台中的记号板一1、记号板二2、记号板三3中图案均由深绿色与浅绿色小块相间拼成，大小依据目标物体的尺寸而定，针对不同情况也可为蓝色或红色。
具体的，所述抠像需要计算每个像素的前景与背景的比例，也即像素的
Figure RE-61876DEST_PATH_IMAGE034
值,首先，可利用传统机器学习或深度学习的方法取得记号板一1、记号板二2和记号板三3中的绿色纹理背景的
Figure RE-354317DEST_PATH_IMAGE035
个色键值
Figure RE-742573DEST_PATH_IMAGE036
，其中
Figure RE-436859DEST_PATH_IMAGE037
表示第
Figure RE-416317DEST_PATH_IMAGE038
个色键在YUV空间的U-V取值,
Figure RE-196054DEST_PATH_IMAGE035
通常小于等于3，
然后，算法可通过下式得出每个像素的
Figure RE-122422DEST_PATH_IMAGE034
值：
Figure RE-482601DEST_PATH_IMAGE039
,
其中，
Figure RE-305063DEST_PATH_IMAGE040
是图像的像素个数，
Figure RE-368834DEST_PATH_IMAGE041
是第
Figure RE-302155DEST_PATH_IMAGE042
个像素的U-V取值，
Figure RE-502192DEST_PATH_IMAGE043
和
Figure RE-495556DEST_PATH_IMAGE044
为预先定义好的参数，Sigmoid函数的定义为：
Figure RE-46623DEST_PATH_IMAGE045
它使得函数结果映射在[0,1]区间内，最后，我们规定
Figure RE-783635DEST_PATH_IMAGE046
值大于0.5的为前景，其余像素为背景，即完成抠像，得到一张与图片一样尺寸的前景掩膜
Figure RE-838179DEST_PATH_IMAGE047
。
工作原理
我们对三块记号板分别定位，给定标记板
Figure RE-DEST_PATH_IMAGE051
，并假设系统对他们的定位方法为
Figure RE-268023DEST_PATH_IMAGE052
，则有：
Figure RE-DEST_PATH_IMAGE053
其中，
Figure RE-509648DEST_PATH_IMAGE054
存储的是物体在第
Figure RE-DEST_PATH_IMAGE055
帧的位姿参数，也即旋转矩阵
Figure RE-378247DEST_PATH_IMAGE056
及偏移向量
Figure RE-DEST_PATH_IMAGE057
，
Figure RE-552877DEST_PATH_IMAGE058
表示第
Figure RE-153622DEST_PATH_IMAGE055
帧图片。
因三块记号板共用同一世界坐标系，故我们只需计算三块板的平均位姿，即Mean(
Figure RE-882544DEST_PATH_IMAGE005
),具体而言则分开计算R，t的平均数，定义
Figure RE-961358DEST_PATH_IMAGE006
将旋转矩阵
Figure RE-787232DEST_PATH_IMAGE007
,
Figure RE-27720DEST_PATH_IMAGE008
,
Figure RE-40676DEST_PATH_IMAGE009
通过变换关系
Figure RE-657602DEST_PATH_IMAGE010
转换成四元数
Figure RE-DEST_PATH_IMAGE059
,
Figure RE-541244DEST_PATH_IMAGE012
,那么
Figure RE-280530DEST_PATH_IMAGE013
=
Figure RE-452885DEST_PATH_IMAGE014
，
Figure RE-670240DEST_PATH_IMAGE015
=
Figure RE-142810DEST_PATH_IMAGE016
我们通过变换关系可将
Figure RE-990680DEST_PATH_IMAGE017
转换成
Figure RE-184420DEST_PATH_IMAGE018
，即
Figure RE-408728DEST_PATH_IMAGE019
=[
Figure RE-266962DEST_PATH_IMAGE020
]，也即相机与标注台的相对位置。
假设物体3D模型中，预先定义好的
Figure RE-551313DEST_PATH_IMAGE060
个关键点集为
Figure RE-DEST_PATH_IMAGE061
，它们的3D坐标为
Figure RE-291736DEST_PATH_IMAGE062
。考虑3D空间中某点Pi，它的齐次坐标为：
Figure RE-54156DEST_PATH_IMAGE024
，在该图像中，投影点
Figure RE-766897DEST_PATH_IMAGE025
( 以归一化平面齐次坐标表示)。定义相机姿态T=[R|t]
Figure RE-222149DEST_PATH_IMAGE026
Figure RE-DEST_PATH_IMAGE063
，由投影关系
Figure RE-387551DEST_PATH_IMAGE028
用最后一行将s消去，得到两个约束
Figure RE-281558DEST_PATH_IMAGE029
，
Figure RE-52067DEST_PATH_IMAGE030
为了简化表示，将T的行向量定义为
Figure RE-474959DEST_PATH_IMAGE031
代入上述两个约束，因总共有N个关键点，可列出如下线性方程组
Figure RE-596498DEST_PATH_IMAGE032
由于t一共有12维，故至少需6对关键点即可实现T的线性求解，即可计算出
Figure RE-497458DEST_PATH_IMAGE033
，即物体与相机的相对位置。假设物体与标注台的位置恒定不变，针对第t张图片，相机与标注台的位置关系T可以直接计算得出，通过链式法则，已知物体与相机的位置关系
Figure RE-388054DEST_PATH_IMAGE064
，相机与标注台的位置关系T，则三面标注台与物体的位置关系
Figure RE-DEST_PATH_IMAGE065
。
假设在当前帧
Figure RE-513005DEST_PATH_IMAGE058
上，由于在实际情况中，
Figure RE-856261DEST_PATH_IMAGE066
，算法也可以使用RANSAC方法来提高对
Figure RE-DEST_PATH_IMAGE067
估计的鲁棒性。
已知计算相机与标注台相对位置的模型（人工标注前已经训练好的，只要给定一张图片，即可自动得到相机与标注台的位置关系）和标注台与物体的相对位置（人工标注阶段直接算出的位置关系），要针对每张图片自动计算相机与物体的位置关系，则通过链式法则计算得到相机与物体的相对位置R t，再使用pnp算法将3d关键点投影到二维图像上，由此，所有的图片都可以通过算法直接标注，从而达到标注目的。
抠像换背景，当需要进行数据增强时，可使用抠像算法将图片数据的标注台背景抠除，换上其他场景的背景，所述三面标注台中的记号板1、记号板2、记号板3中图案均由深绿色与浅绿色小块相间拼成更利于抠像。
抠像过程：所述抠像需要计算每个像素的前景与背景的比例，也即像素的
Figure RE-560912DEST_PATH_IMAGE034
值,首先，可利用传统机器学习或深度学习的方法取得记号板一1、记号板二2和记号板三3中的绿色纹理背景的
Figure RE-368331DEST_PATH_IMAGE035
个色键值
Figure RE-70708DEST_PATH_IMAGE036
，其中
Figure RE-963578DEST_PATH_IMAGE037
表示第
Figure RE-144023DEST_PATH_IMAGE038
个色键在YUV空间的U-V取值,
Figure RE-71528DEST_PATH_IMAGE035
通常小于等于3，
然后，算法可通过下式得出每个像素的
Figure RE-944806DEST_PATH_IMAGE034
值：
Figure RE-327901DEST_PATH_IMAGE039
,
其中，
Figure RE-312038DEST_PATH_IMAGE040
是图像的像素个数，
Figure RE-94049DEST_PATH_IMAGE041
是第
Figure RE-138229DEST_PATH_IMAGE042
个像素的U-V取值，
Figure RE-5690DEST_PATH_IMAGE043
和
Figure RE-793518DEST_PATH_IMAGE044
为预先定义好的参数，Sigmoid函数的定义为：
Figure RE-430036DEST_PATH_IMAGE045
它使得函数结果映射在[0,1]区间内，最后，我们规定
Figure RE-645116DEST_PATH_IMAGE046
值大于0.5的为前景，其余像素为背景，即完成抠像，得到一张与图片一样尺寸的前景掩膜
Figure RE-734295DEST_PATH_IMAGE047
。
此方案设置方便数据增强，可以提高后续训练机器学习模型的泛化能力，为后续机器模型训练提供数据增强的可能。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种半自动物体姿态标注方案，包括半自动标注和数据增强，其特征在于：
步骤S101，目标放置于三面标注台上，所述目标物体设置有若干物体三维关键点，获取一张目标物体置于三面标注台上的二维图像；
步骤S102，所选取的二维图像，通过SIFT点匹配或者基于深度学习的方法定位出三面标注台相对于相机的位置
Figure RE-DEST_PATH_IMAGE002
；
步骤S103，通过选取的二维图像，将目标物体三维关键点在这张二维图像中的映射人工标注出来，通过计算机辅助计算而得到目标物体与相机的相对位置T1；
步骤S104，所选定的二维图像，通过步骤S102得到三面标注台与相机的相对位置
Figure RE-DEST_PATH_IMAGE004
，通过步骤S103得到目标物体与相机的相对位置
Figure RE-DEST_PATH_IMAGE006
，通过链式法则，得到三面标注台与目标物体的位置关系
Figure RE-DEST_PATH_IMAGE008
=
Figure RE-DEST_PATH_IMAGE004A
Figure RE-DEST_PATH_IMAGE006A
；
步骤S105，目标物体与三面标注台位置固定，对目标物体进行拍摄；
步骤S106，将步骤S104得到的三面标注台与目标物的位置关系，计算得到三维关键点在每张拍摄二维图像上二维关键点的位置从而得到自动标注好的所有二维图像上的数据，
如需要对物体的多角度进行标注，则可以改变物体的放置角度，重复上述的所有标注步骤。
2.根据权利要求1所述的一种半自动物体姿态标注方案，其特征在于：所述三面标注台，由记号板一（1）、记号板二（2）、记号板三（3）组成，所述三块记号板两两垂直组装。
3.根据权利要求2所述的一种半自动物体姿态标注方案，其特征在于：所述记号板一（1）、记号板二（2）、记号板三（3）上均设置有不同的自动定位模型，所述定位模型能自动定位各自记号板相对于相机的位置，所述三块记号板相对位置固定，当其中一块记号板通过自动定位模型定位后，所述三面标注台位置已知。
4.根据权利要求3所述的一种半自动物体姿态标注方案，其特征在于：同时超过一块记号板通过自动定位模型定位后，通过对位置进行取均值精准定位，因三块记号板共用同一世界坐标系，故我们只需计算三块板的平均位置，即Mean(
Figure RE-DEST_PATH_IMAGE010
),具体而言则分开计算R，t的平均数，定义
Figure RE-DEST_PATH_IMAGE012
将旋转矩阵
Figure RE-DEST_PATH_IMAGE014
,
Figure RE-DEST_PATH_IMAGE016
,
Figure RE-DEST_PATH_IMAGE018
通过变换关系
Figure RE-DEST_PATH_IMAGE020
转换成四元数
Figure RE-DEST_PATH_IMAGE022
,
Figure RE-DEST_PATH_IMAGE024
,那么
Figure RE-DEST_PATH_IMAGE026
=
Figure RE-DEST_PATH_IMAGE028
，
Figure RE-DEST_PATH_IMAGE030
=
Figure RE-DEST_PATH_IMAGE032
我们通过变换关系可将
Figure RE-DEST_PATH_IMAGE034
转换成
Figure RE-DEST_PATH_IMAGE036
，即
Figure RE-DEST_PATH_IMAGE038
=[
Figure RE-DEST_PATH_IMAGE040
]，也即相机与标注台的相对位置。
5.根据权利要求1所述的一种半自动物体姿态标注方案，其特征在于：步骤S103所述计算机辅助计算，具体为：
若3D模型有关键点
Figure RE-DEST_PATH_IMAGE042
，含N个关键点，这些点在3D模型定义的3D坐标为
Figure RE-DEST_PATH_IMAGE044
，则在图像上的2d坐标为
Figure RE-DEST_PATH_IMAGE046
，
考虑3D空间中某点Pi，它的齐次坐标为：
Figure RE-DEST_PATH_IMAGE048
，
在该图像中，投影点
Figure RE-DEST_PATH_IMAGE050
( 以归一化平面齐次坐标表示)
定义相机姿态T=[R|t]
Figure RE-DEST_PATH_IMAGE052
Figure RE-DEST_PATH_IMAGE054
，由投影关系
Figure RE-DEST_PATH_IMAGE056
用最后一行将s消去，得到两个约束
Figure RE-DEST_PATH_IMAGE058
，
Figure RE-DEST_PATH_IMAGE060
为了简化表示，将T的行向量定义为
Figure RE-DEST_PATH_IMAGE062
代入上述两个约束，因总共有N个关键点，可列出如下线性方程组
Figure RE-DEST_PATH_IMAGE064
由于t一共有12维，故至少需6对关键点即可实现T的线性求解，即可计算出
Figure RE-DEST_PATH_IMAGE066
，即物体与相机的相对位置。
6.根据权利要求1所述的一种半自动物体姿态标注方案，其特征在于：自动标注好的所有二维图像上的数据方法可以为，已知计算相机与标注台相对位置的模型和标注台与物体的相对位置，通过链式法则计算得到相机与物体的相对位置R t，再使用pnp算法将3d关键点投影到二维图像上。
7.根据权利要求1所述的一种半自动物体姿态标注方案，其特征在于：所述数据增强方法为，步骤S201用传统机器学习或深度学习的方法得到尽量准确的绿幕区域，以得到更好的相机姿态和精准的色键；步骤S202进行抠像。
8.根据权利要求7所述的一种半自动物体姿态标注方案，其特征在于：所述准确绿幕区域的方法可以为所述三面标注台中的记号板一（1）、记号板二（2）、记号板三（3）中图案均由深绿色与浅绿色小块相间拼成，大小依据目标物体的尺寸而定，针对不同情况也可为蓝色或红色。
9.根据权利要求7所述的一种半自动物体姿态标注方案，其特征在于：所述抠像需要计算每个像素的前景与背景的比例，也即像素的
Figure RE-DEST_PATH_IMAGE068
值,首先，可利用传统机器学习或深度学习的方法取得记号板一（1）、记号板二（2）和记号板三（3）中的绿色纹理背景的
Figure RE-DEST_PATH_IMAGE070
个色键值
Figure RE-DEST_PATH_IMAGE072
，其中
Figure RE-DEST_PATH_IMAGE074
表示第
Figure RE-DEST_PATH_IMAGE076
个色键在YUV空间的U-V取值,
Figure RE-DEST_PATH_IMAGE070A
通常小于等于3，
然后，算法可通过下式得出每个像素的
Figure RE-DEST_PATH_IMAGE068A
值：
Figure RE-DEST_PATH_IMAGE078
,
其中，
Figure RE-DEST_PATH_IMAGE080
是图像的像素个数，
Figure RE-DEST_PATH_IMAGE082
是第
Figure RE-DEST_PATH_IMAGE084
个像素的U-V取值，
Figure RE-DEST_PATH_IMAGE086
和
Figure RE-DEST_PATH_IMAGE088
为预先定义好的参数，Sigmoid函数的定义为：
Figure RE-DEST_PATH_IMAGE090
它使得函数结果映射在[0,1]区间内，
最后，我们规定
Figure RE-DEST_PATH_IMAGE092
值大于0.5的为前景，其余像素为背景，即完成抠像，得到一张与图片一样尺寸的前景掩膜
Figure RE-DEST_PATH_IMAGE094
。
CN202011621413.3A 2020-12-30 2020-12-30 一种半自动物体姿态标注方案 Pending CN112712032A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011621413.3A CN112712032A (zh) 2020-12-30 2020-12-30 一种半自动物体姿态标注方案

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011621413.3A CN112712032A (zh) 2020-12-30 2020-12-30 一种半自动物体姿态标注方案

Publications (1)

Publication Number Publication Date
CN112712032A true CN112712032A (zh) 2021-04-27

Family

ID=75547588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011621413.3A Pending CN112712032A (zh) 2020-12-30 2020-12-30 一种半自动物体姿态标注方案

Country Status (1)

Country Link
CN (1) CN112712032A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991526A (zh) * 2021-05-18 2021-06-18 创新奇智(北京)科技有限公司 一种图像的三维姿态标注的方法、装置、电子设备及介质
CN114663494A (zh) * 2022-03-18 2022-06-24 欧姆龙(上海)有限公司 三维物体的空间姿态的标注方法、装置以及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991526A (zh) * 2021-05-18 2021-06-18 创新奇智(北京)科技有限公司 一种图像的三维姿态标注的方法、装置、电子设备及介质
CN114663494A (zh) * 2022-03-18 2022-06-24 欧姆龙(上海)有限公司 三维物体的空间姿态的标注方法、装置以及电子设备

Similar Documents

Publication Publication Date Title
JP6905602B2 (ja) 画像照明方法、装置、電子機器および記憶媒体
US6618076B1 (en) Method and apparatus for calibrating projector-camera system
CN111401266B (zh) 绘本角点定位的方法、设备、计算机设备和可读存储介质
CN103019643A (zh) 一种即插即用的大屏幕投影自动校正与拼接显示方法
CN112734860B (zh) 一种基于弧形幕先验信息的逐像素映射投影几何校正方法
US9025906B2 (en) Generating an assembled group image from subject images
CN112712032A (zh) 一种半自动物体姿态标注方案
US20140169697A1 (en) Editor for assembled group images
CN106952219B (zh) 一种基于外参数修正鱼眼像机的图像生成方法
CN108257187B (zh) 一种相机-投影仪系统标定方法
CN110838086A (zh) 一种基于相关性模板匹配的室外图像拼接方法
CN108090877A (zh) 一种基于图像序列的rgb-d相机深度图像修复方法
CN111951333A (zh) 六维姿态数据集自动生成方法、系统、终端以及存储介质
CN107330856B (zh) 一种基于投影变换和薄板样条的全景成像方法
CN112426720A (zh) 一种三维游戏场景内角色绘制与互动系统及其实现方法
WO2023193763A1 (zh) 数据处理方法及装置、追踪标记、电子设备及存储介质
US10573045B2 (en) Generating an assembled group image from subject images
CN112365399B (zh) 基于深度学习的风机叶片图像全景拼接方法和系统
CN112866507B (zh) 智能化的全景视频合成方法、系统、电子设备及介质
JP2005250628A (ja) カメラキャリブレーションパターン、装置、および方法
WO2006053411A2 (en) Template based digital image correction system and magnetic pattern holder
CN111931741B (zh) 嘴部关键点的标注方法、装置、电子设备及存储介质
US11240429B2 (en) Target object elimination method based on panoramic camera
WO2012030975A2 (en) Method and apparatus for enhancing a white board experience
CN113344788A (zh) 一种基于图像拼接参数提取的全景相机及其实时性参数优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination