CN112258574A - 标注位姿信息的方法、装置及计算机可读存储介质 - Google Patents

标注位姿信息的方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN112258574A
CN112258574A CN202010997477.7A CN202010997477A CN112258574A CN 112258574 A CN112258574 A CN 112258574A CN 202010997477 A CN202010997477 A CN 202010997477A CN 112258574 A CN112258574 A CN 112258574A
Authority
CN
China
Prior art keywords
target
camera
dimensional model
model corresponding
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010997477.7A
Other languages
English (en)
Inventor
郭景昊
车广富
安山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202010997477.7A priority Critical patent/CN112258574A/zh
Publication of CN112258574A publication Critical patent/CN112258574A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种标注位姿信息的方法、装置及计算机可读存储介质，涉及计算机技术领域。其中的标注位姿信息的方法包括：获取相同时刻下不同拍摄角度的相机拍摄目标的图像；确定相机两两之间的相机坐标系转换矩阵；根据相机坐标系转换矩阵，在图像中同步渲染目标对应的三维模型；调整目标对应的三维模型在主图像中的位姿信息，使目标对应的三维模型与目标在各个图像中重合，主图像为任一图像；将目标在主图像中的位姿信息，标注为调整后目标对应的三维模型在主图像中的位姿信息。本公开能够更加准确的标注目标在图像中的位姿信息。

Description

标注位姿信息的方法、装置及计算机可读存储介质
技术领域
本公开涉及计算机技术领域，特别涉及一种标注位姿信息的方法、装置及计算机可读存储介质。
背景技术
3D标注是利用计算机视觉技术来标注图像或者视频中某个目标在视觉中的位姿信息。该技术可与车辆检测、行人检测、裸眼3D等技术结合，应用于人工智能系统、车辆辅助驾驶技术、智能机器人、虚拟现实换装、增强现实换装、智能视频监控、人体行为分析、智能交通等具体领域。
目前，3D标注的主要方法有多摄像头打点标注和3D包围盒标注。多摄像头打点标注采用多个摄像头从不同角度拍摄目标，通过捕捉感光点以及摄像头间的相互关系，恢复目标的位姿信息。3D包围盒标注则是通过拉取一个外包围盒，来实现对图像中目标的框选标注。
发明内容
本公开解决的一个技术问题是，如何更加准确的标注目标在图像中的位姿信息。
根据本公开实施例的一个方面，提供了一种标注位姿信息的方法，包括：获取相同时刻下不同拍摄角度的相机拍摄目标的图像；确定相机两两之间的相机坐标系转换矩阵；根据相机坐标系转换矩阵，在图像中同步渲染目标对应的三维模型；调整目标对应的三维模型在主图像中的位姿信息，使目标对应的三维模型与目标在各个图像中重合，主图像为任一图像；将目标在主图像中的位姿信息，标注为调整后目标对应的三维模型在主图像中的位姿信息。
在一些实施例中，根据相机坐标系转换矩阵，在图像中同步渲染目标对应的三维模型包括：利用目标对应的三维模型、目标对应的三维模型在主图像中的位姿信息、主图像所对应相机的相机内参，在主图像中渲染目标对应的三维模型；根据目标对应的三维模型在主图像所对应相机的相机坐标系坐标、相机坐标系转换矩阵，确定目标对应的三维模型在其它图像所对应相机的相机坐标系坐标；根据目标对应的三维模型在其它图像所对应相机的相机坐标系坐标、其它图像所对应相机的相机内参，在其它图像中同步渲染目标对应的三维模型。
在一些实施例中，调整目标对应的三维模型在主图像中的位姿信息，使目标对应的三维模型与目标在各个图像中重合包括：调整目标对应的三维模型在主图像中的欧拉角和三维位移，使目标对应的三维模型与目标在主图像中重合；保持目标对应的三维模型与目标在主图像中重合，继续调整目标对应的三维模型在主图像中的欧拉角和三维位移，使目标对应的三维模型与目标在其它图像中重合。
在一些实施例中，确定相机两两之间的相机坐标系转换矩阵包括：根据标定点在第一相机坐标系下的坐标、标定点在世界坐标系下的坐标，确定第一相机的旋转矩阵和平移矩阵；根据标定点在第二相机坐标系下的坐标、标定点在世界坐标系下的坐标，确定第二相机的旋转矩阵和平移矩阵；根据第一相机的旋转矩阵和平移矩阵、第二相机的旋转矩阵和平移矩阵，确定第一相机与第二相机之间的相机坐标系转换矩阵，第一相机与第二相机为任意两个相机。
在一些实施例中，该方法还包括：利用主图像以及目标在主图像中的位姿信息，对神经网络进行训练，使神经网络被配置为对包含目标的待识别图像进行处理，获得目标在待识别图像中的位姿信息。
在一些实施例中，该方法还包括：将包含目标的待识别图像输入神经网络，获得目标在待识别图像中的位姿信息。
在一些实施例中，采用开放图形库在图像中同步渲染目标对应的三维模型。
根据本公开实施例的一个方面，提供了一种标注位姿信息的装置，包括：图像获取模块，被配置为获取相同时刻下不同拍摄角度的相机拍摄目标的图像；矩阵确定模块，被配置为确定相机两两之间的相机坐标系转换矩阵；模型渲染模块，被配置为根据相机坐标系转换矩阵，在图像中同步渲染目标对应的三维模型；位姿调整模块，被配置为调整目标对应的三维模型在主图像中的位姿信息，使目标对应的三维模型与目标在各个图像中重合，主图像为任一图像；信息标注模块，被配置为将目标在主图像中的位姿信息，标注为调整后目标对应的三维模型在主图像中的位姿信息。
在一些实施例中，模型渲染模块被配置为：利用目标对应的三维模型、目标对应的三维模型在主图像中的位姿信息、主图像所对应相机的相机内参，在主图像中渲染目标对应的三维模型；根据目标对应的三维模型在主图像所对应相机的相机坐标系坐标、相机坐标系转换矩阵，确定目标对应的三维模型在其它图像所对应相机的相机坐标系坐标；根据目标对应的三维模型在其它图像所对应相机的相机坐标系坐标、其它图像所对应相机的相机内参，在其它图像中同步渲染目标对应的三维模型。
在一些实施例中，位姿调整模块被配置为：调整目标对应的三维模型在主图像中的欧拉角和三维位移，使目标对应的三维模型与目标在主图像中重合；保持目标对应的三维模型与目标在主图像中重合，继续调整目标对应的三维模型在主图像中的欧拉角和三维位移，使目标对应的三维模型与目标在其它图像中重合。
在一些实施例中，矩阵确定模块被配置为：根据标定点在第一相机坐标系下的坐标、标定点在世界坐标系下的坐标，确定第一相机的旋转矩阵和平移矩阵；根据标定点在第二相机坐标系下的坐标、标定点在世界坐标系下的坐标，确定第二相机的旋转矩阵和平移矩阵；根据第一相机的旋转矩阵和平移矩阵、第二相机的旋转矩阵和平移矩阵，确定第一相机与第二相机之间的相机坐标系转换矩阵，第一相机与第二相机为任意两个相机。
在一些实施例中，该装置还包括网络训练模块，被配置为：利用主图像以及目标在主图像中的位姿信息，对神经网络进行训练，使神经网络被配置为对包含目标的待识别图像进行处理，获得目标在待识别图像中的位姿信息。
在一些实施例中，该装置还包括位姿识别模块，被配置为：将包含目标的待识别图像输入神经网络，获得目标在待识别图像中的位姿信息。
在一些实施例中，模型渲染模块被配置为采用开放图形库在图像中同步渲染目标对应的三维模型。
根据本公开实施例的又一个方面，提供了另一种标注位姿信息的装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述的标注位姿信息的方法。
根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现前述的标注位姿信息的方法。
本公开能够更加准确的标注目标在图像中的位姿信息。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了单目相机拍摄目标的示意图。
图2示出了不同拍摄角度的相机拍摄目标的示意图。
图3示出了本公开一些实施例的标注位姿信息的方法的流程示意图。
图4示出了相同时刻下不同拍摄角度的相机拍摄目标的图像。
图5示出了世界坐标系、第一相机的相机坐标系、第二相机的相机坐标系之间的转换关系。
图6示出了在图像中同步渲染穿在脚部的鞋子的三维模型。
图7示出了调整鞋子的三维模型的示意图。
图8示出了本公开一些实施例的标注位姿信息的装置的结构示意图。
图9示出了本公开另一些实施例的标注位姿信息的装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
发明人研究发现，多摄像头打点标注需要在待标注目标上事先打上标记点，容易污染数据。且如果标记点较大的话，被标注物体的尺寸不能太小，标注点不能过密。因此，该方法成本较高且操作复杂，受限因素也较多。而3D包围盒标注的框自由度较少，包围盒本质上是二维框，因此位姿信息的标注精度相对较低，位姿信息的标注数据不够准确，只能保证单个拍摄角度下的位姿与实际位姿相接近，不能得到被标注目标的准确位姿信息。
图1示出了单目相机拍摄目标的示意图。如图1所示，通过单目相机拍摄目标的图像只能获得被标注目标相对于相机镜头的方向，无法准确获得被标注目标相对于单目相机的实际距离数据。图2示出了不同拍摄角度的相机拍摄目标的示意图。如图2所示，不同拍摄角度的相机可以根据相机之间的坐标转换关系、所拍摄图片中相对应关键点的位置关系，计算得到目标在相机坐标系中的实际位置。也就是说，可以准确获得被标注目标在相机坐标系中的真实位姿以及被标注目标的各点与镜头的距离等信息，该过程类似于双目测距。
首先结合图3描述本公开标注位姿信息的方法的一些实施例。
图3示出了本公开一些实施例的标注位姿信息的方法的流程示意图。如图3所示，本实施例包括步骤S301～步骤S305。
在步骤S301中，获取相同时刻下不同拍摄角度的相机拍摄目标的图像。
图4示出了相同时刻下不同拍摄角度的相机拍摄目标的图像。如图4所示，四个不同拍摄角度的相机同时拍摄脚部，得到相同时刻下不同拍摄角度的相机拍摄脚部的图像。
在步骤S302中，确定相机两两之间的相机坐标系转换矩阵。
假设第一相机和第二相机为任意两个不同拍摄角度的相机。首先对第一相机和第二相机进行标定(例如可以采用张正友标定方法)，根据标定点在第一相机坐标系下的坐标、标定点在世界坐标系下的坐标，确定第一相机的旋转矩阵Rwc1和平移矩阵Twc1；根据标定点在第二相机坐标系下的坐标、标定点在世界坐标系下的坐标，确定第二相机的旋转矩阵Rwc2和平移矩阵Twc2。其中，旋转矩阵Rwc1、Rwc2是3行3列的矩阵，平移矩阵Twc1、Twc2是3行1列的矩阵。
下面根据第一相机的旋转矩阵和平移矩阵、第二相机的旋转矩阵和平移矩阵，确定第一相机与第二相机之间的相机坐标系转换矩阵。为了得到两个相机之间的相机坐标系转换矩阵，采用两个相机从不同角度同时拍摄同一个位置的棋盘格，这样就得到同一个世界坐标系下的点Pw＝(xw，yw，zw)T在第一相机的相机坐标系下的坐标PC1＝(xC1，yC1，zC1)T以及在第二相机的相机坐标系下的坐标PC2＝(xC2，yC2，zC2)T。世界坐标系与第一相机的相机坐标系之间的转换关系如公式(1)所示，世界坐标系与第二相机的相机坐标系之间的转换关系如公式(2)所示。
Figure BDA0002693042110000061
Figure BDA0002693042110000062
假设第一相机与第二相机之间的相机坐标系转换矩阵为
Figure BDA0002693042110000071
则有公式(3)、公式(4)和公式(5)：
Figure BDA0002693042110000072
Figure BDA0002693042110000073
Figure BDA0002693042110000074
由于Rwc1、Twc1、Rwc2和Twc2是已知量，因此可以根据公式(5)求得RC1C2和TC1C2，从而计算出第一相机与第二相机之间的相机坐标系转换矩阵。图5示出了世界坐标系、第一相机的相机坐标系、第二相机的相机坐标系之间的转换关系。此后，通过对第一相机拍摄的图像中的标注点进行标注，就可以得到该标注点在第二相机拍摄的图像中的位置。
在步骤S303中，根据相机坐标系转换矩阵，在图像中同步渲染目标对应的三维模型。
例如，可以采用OpenGL(Open Graphics Library，开放图形库)在图像中同步渲染目标对应的三维模型。图6示出了在图像中同步渲染穿在脚部的鞋子的三维模型。
首先，利用目标对应的三维模型、目标对应的三维模型在主图像中的位姿信息、主图像所对应相机的相机内参，在主图像中渲染目标对应的三维模型。例如，OpenGL可以根据鞋子的三维模型、鞋子的三维模型在主图像中的位姿信息、主图像所对应相机的相机内参，在主图像中渲染目标对应的三维模型，其中主图像为上述图像中的任一图像，例如可以为第一相机拍摄的图像。
然后，根据目标对应的三维模型在主图像所对应相机的相机坐标系坐标、相机坐标系转换矩阵，确定目标对应的三维模型在其它图像所对应相机的相机坐标系坐标。例如，根据鞋子的三维模型在第一相机的相机坐标系下的坐标、第一相机与第二相机之间的相机坐标系转换矩阵，可以确定鞋子的三维模型在第二相机的相机坐标系下的坐标。
最后，根据目标对应的三维模型在其它图像所对应相机的相机坐标系坐标、其它图像所对应相机的相机内参，在其它图像中同步渲染目标对应的三维模型。例如，根据鞋子在第二相机的相机坐标系坐标、第二相机的相机内参，可以确定鞋子的三维模型在第二相机所拍摄图像的像素坐标系坐标，从而在第二相机所拍摄图像中同步渲染穿着在脚部的鞋子的三维模型。
在步骤S304中，调整目标对应的三维模型在主图像中的位姿信息，使目标对应的三维模型与目标在各个图像中重合，主图像为任一图像。
例如，可以调整目标对应的三维模型在主图像中的欧拉角和三维位移，使目标对应的三维模型与目标在主图像中重合。图7示出了调整鞋子的三维模型的示意图。然后，保持目标对应的三维模型与目标在主图像中重合，继续调整目标对应的三维模型在主图像中的欧拉角和三维位移，使目标对应的三维模型与目标在其它图像中重合。
在步骤S305中，将目标在主图像中的位姿信息，标注为调整后目标对应的三维模型在主图像中的位姿信息。
例如，可以通过OpenGL提供的接口，获得在第一相机所拍摄图像中调整鞋子的三维模型的累积量，即鞋子的模型从初始位姿到该图像中位姿的旋转参数和平移参数。然后将其作为目标在主图像中的位姿信息。本领域技术人员应理解，位姿信息具体包括位置信息和姿态信息，位置信息可以通过平移矩阵的形式来表示，姿态信息可以通过旋转矩阵、旋转向量、欧拉角、四元数等形式来表示，在此不做形式上的限定。
上述实施例将多路相机拍摄与3D渲染技术相结合，实现了对多路相机所拍摄图像中目标的协同标注，能够保证渲染的三维模型在各个图像中与目标重合，从而更加准确的标注目标在图像中的位姿信息，减少了标注位姿信息过程中的标注误差。
在一些实施例中，标注位姿信息的方法还包括步骤S306～步骤S307。
在步骤S306中，利用主图像以及目标在主图像中的位姿信息，对神经网络进行训练，使神经网络被配置为对包含目标的待识别图像进行处理，获得目标在待识别图像中的位姿信息。
在步骤S307中，将包含目标的待识别图像输入神经网络，获得目标在待识别图像中的位姿信息。
本实施例在准确标注位姿信息的基础上，提供了训练神经网络以及使用神经网络进行预测的技术方案，能够从图像中自动、高效的获得目标的位姿信息。
下面结合图8描述本公开标注位姿信息的装置的一些实施例。
图8示出了本公开一些实施例的标注位姿信息的装置的结构示意图。如图8所示，本实施例中的标注位姿信息的装置80包括：图像获取模块801，被配置为获取相同时刻下不同拍摄角度的相机拍摄目标的图像；矩阵确定模块802，被配置为确定相机两两之间的相机坐标系转换矩阵；模型渲染模块803，被配置为根据相机坐标系转换矩阵，在图像中同步渲染目标对应的三维模型；位姿调整模块804，被配置为调整目标对应的三维模型在主图像中的位姿信息，使目标对应的三维模型与目标在各个图像中重合，主图像为任一图像；信息标注模块805，被配置为将目标在主图像中的位姿信息，标注为调整后目标对应的三维模型在主图像中的位姿信息。
在一些实施例中，模型渲染模块803被配置为：利用目标对应的三维模型、目标对应的三维模型在主图像中的位姿信息、主图像所对应相机的相机内参，在主图像中渲染目标对应的三维模型；根据目标对应的三维模型在主图像所对应相机的相机坐标系坐标、相机坐标系转换矩阵，确定目标对应的三维模型在其它图像所对应相机的相机坐标系坐标；根据目标对应的三维模型在其它图像所对应相机的相机坐标系坐标、其它图像所对应相机的相机内参，在其它图像中同步渲染目标对应的三维模型。
在一些实施例中，位姿调整模块804被配置为：调整目标对应的三维模型在主图像中的欧拉角和三维位移，使目标对应的三维模型与目标在主图像中重合；保持目标对应的三维模型与目标在主图像中重合，继续调整目标对应的三维模型在主图像中的欧拉角和三维位移，使目标对应的三维模型与目标在其它图像中重合。
在一些实施例中，矩阵确定模块802被配置为：根据标定点在第一相机坐标系下的坐标、标定点在世界坐标系下的坐标，确定第一相机的旋转矩阵和平移矩阵；根据标定点在第二相机坐标系下的坐标、标定点在世界坐标系下的坐标，确定第二相机的旋转矩阵和平移矩阵；根据第一相机的旋转矩阵和平移矩阵、第二相机的旋转矩阵和平移矩阵，确定第一相机与第二相机之间的相机坐标系转换矩阵，第一相机与第二相机为任意两个相机。
在一些实施例中，模型渲染模块803被配置为采用开放图形库在图像中同步渲染目标对应的三维模型。
上述实施例将多路相机拍摄与3D渲染技术相结合，实现了对多路相机所拍摄图像中目标的协同标注，能够保证渲染的三维模型在各个图像中与目标重合，从而更加准确的标注目标在图像中的位姿信息，减少了标注位姿信息过程中的标注误差。
在一些实施例中，该装置80还包括网络训练模块806，被配置为：利用主图像以及目标在主图像中的位姿信息，对神经网络进行训练，使神经网络被配置为对包含目标的待识别图像进行处理，获得目标在待识别图像中的位姿信息。
在一些实施例中，该装置80还包括位姿识别模块807，被配置为：将包含目标的待识别图像输入神经网络，获得目标在待识别图像中的位姿信息。
本实施例在准确标注位姿信息的基础上，提供了训练神经网络以及使用神经网络进行预测的技术方案，能够从图像中自动、高效的获得目标的位姿信息。
下面结合图9描述本公开标注位姿信息的装置的另一些实施例。
图9示出了本公开另一些实施例的标注位姿信息的装置的结构示意图。如图9所示，该实施例的标注位姿信息的装置90包括：存储器910以及耦接至该存储器910的处理器920，处理器920被配置为基于存储在存储器910中的指令，执行前述任意一些实施例中的标注位姿信息的方法。
其中，存储器910例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
标注位姿信息的装置90还可以包括输入输出接口930、网络接口940、存储接口950等。这些接口930、940、950以及存储器910和处理器920之间例如可以通过总线960连接。其中，输入输出接口930为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口940为各种联网设备提供连接接口。存储接口950为SD卡、U盘等外置存储设备提供连接接口。
本公开还包括一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意一些实施例中的标注位姿信息的方法。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种标注位姿信息的方法，包括：
获取相同时刻下不同拍摄角度的相机拍摄目标的图像；
确定所述相机两两之间的相机坐标系转换矩阵；
根据所述相机坐标系转换矩阵，在所述图像中同步渲染目标对应的三维模型；
调整目标对应的三维模型在主图像中的位姿信息，使目标对应的三维模型与目标在各个所述图像中重合，所述主图像为任一所述图像；
将目标在所述主图像中的位姿信息，标注为调整后目标对应的三维模型在所述主图像中的位姿信息。
2.根据权利要求1所述的方法，其中，所述根据所述相机坐标系转换矩阵，在所述图像中同步渲染目标对应的三维模型包括：
利用目标对应的三维模型、目标对应的三维模型在所述主图像中的位姿信息、所述主图像所对应相机的相机内参，在所述主图像中渲染目标对应的三维模型；
根据目标对应的三维模型在所述主图像所对应相机的相机坐标系坐标、所述相机坐标系转换矩阵，确定目标对应的三维模型在其它图像所对应相机的相机坐标系坐标；
根据目标对应的三维模型在其它图像所对应相机的相机坐标系坐标、其它图像所对应相机的相机内参，在其它图像中同步渲染目标对应的三维模型。
3.根据权利要求1所述的方法，其中，所述调整目标对应的三维模型在主图像中的位姿信息，使目标对应的三维模型与目标在各个所述图像中重合包括：
调整目标对应的三维模型在主图像中的欧拉角和三维位移，使目标对应的三维模型与目标在所述主图像中重合；
保持目标对应的三维模型与目标在所述主图像中重合，继续调整目标对应的三维模型在主图像中的欧拉角和三维位移，使目标对应的三维模型与目标在其它图像中重合。
4.根据权利要求1所述的方法，其中，所述确定所述相机两两之间的相机坐标系转换矩阵包括：
根据标定点在第一相机坐标系下的坐标、标定点在世界坐标系下的坐标，确定第一相机的旋转矩阵和平移矩阵；
根据标定点在第二相机坐标系下的坐标、标定点在世界坐标系下的坐标，确定第二相机的旋转矩阵和平移矩阵；
根据第一相机的旋转矩阵和平移矩阵、第二相机的旋转矩阵和平移矩阵，确定第一相机与第二相机之间的相机坐标系转换矩阵，第一相机与第二相机为任意两个所述相机。
5.根据权利要求1所述的方法，还包括：
利用所述主图像以及目标在所述主图像中的位姿信息，对神经网络进行训练，使神经网络被配置为对包含目标的待识别图像进行处理，获得目标在待识别图像中的位姿信息。
6.根据权利要求5所述的方法，还包括：
将包含目标的待识别图像输入所述神经网络，获得目标在待识别图像中的位姿信息。
7.根据权利要求1所述的方法，其中，采用开放图形库在所述图像中同步渲染目标对应的三维模型。
8.一种标注位姿信息的装置，包括：
图像获取模块，被配置为获取相同时刻下不同拍摄角度的相机拍摄目标的图像；
矩阵确定模块，被配置为确定所述相机两两之间的相机坐标系转换矩阵；
模型渲染模块，被配置为根据所述相机坐标系转换矩阵，在所述图像中同步渲染目标对应的三维模型；
位姿调整模块，被配置为调整目标对应的三维模型在主图像中的位姿信息，使目标对应的三维模型与目标在各个所述图像中重合，所述主图像为任一所述图像；
信息标注模块，被配置为将目标在所述主图像中的位姿信息，标注为调整后目标对应的三维模型在所述主图像中的位姿信息。
9.一种标注位姿信息的装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至7中任一项所述的标注位姿信息的方法。
10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1至7中任一项所述的标注位姿信息的方法。
CN202010997477.7A 2020-09-21 2020-09-21 标注位姿信息的方法、装置及计算机可读存储介质 Pending CN112258574A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010997477.7A CN112258574A (zh) 2020-09-21 2020-09-21 标注位姿信息的方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010997477.7A CN112258574A (zh) 2020-09-21 2020-09-21 标注位姿信息的方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112258574A true CN112258574A (zh) 2021-01-22

Family

ID=74232923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010997477.7A Pending CN112258574A (zh) 2020-09-21 2020-09-21 标注位姿信息的方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112258574A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991526A (zh) * 2021-05-18 2021-06-18 创新奇智(北京)科技有限公司 一种图像的三维姿态标注的方法、装置、电子设备及介质
CN113194259A (zh) * 2021-05-07 2021-07-30 中山大学 一种基于多相机阵列的协同指向控制方法、系统及装置
CN113298868A (zh) * 2021-03-17 2021-08-24 阿里巴巴新加坡控股有限公司 模型建立方法、装置、电子设备、介质及程序产品
CN113763572A (zh) * 2021-09-17 2021-12-07 北京京航计算通讯研究所 一种基于ai智能识别的3d实体标注方法及存储介质
CN113763573A (zh) * 2021-09-17 2021-12-07 北京京航计算通讯研究所 一种三维物体数字化标注方法及装置
CN114140536A (zh) * 2021-11-30 2022-03-04 清华大学 位姿数据处理方法、装置、电子设备及存储介质
CN114935316A (zh) * 2022-05-20 2022-08-23 长春理工大学 基于光学跟踪与单目视觉的标准深度图像生成方法
CN115880470A (zh) * 2023-03-08 2023-03-31 深圳佑驾创新科技有限公司 3d图像数据的生成方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140300637A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
CN109003305A (zh) * 2018-07-18 2018-12-14 江苏实景信息科技有限公司 一种定位定姿方法及装置
CN110189397A (zh) * 2019-03-29 2019-08-30 北京市商汤科技开发有限公司 一种图像处理方法及装置、计算机设备和存储介质
CN110298877A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 一种物体三维位姿的确定方法、装置及电子设备
CN111127422A (zh) * 2019-12-19 2020-05-08 北京旷视科技有限公司 图像标注方法、装置、系统及主机

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140300637A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
CN110298877A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 一种物体三维位姿的确定方法、装置及电子设备
CN109003305A (zh) * 2018-07-18 2018-12-14 江苏实景信息科技有限公司 一种定位定姿方法及装置
CN110189397A (zh) * 2019-03-29 2019-08-30 北京市商汤科技开发有限公司 一种图像处理方法及装置、计算机设备和存储介质
CN111127422A (zh) * 2019-12-19 2020-05-08 北京旷视科技有限公司 图像标注方法、装置、系统及主机

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
闫小盼;敖磊;杨新;: "基于TOF相机的非合作矩形目标三维位姿测量方法", 计算机应用研究, no. 09, 1 September 2017 (2017-09-01) *
鲁静;杨克成;夏珉;李微;: "基于单目视觉激光成像的水下圆目标三维位姿检测", 激光与光电子学进展, no. 10, 10 October 2013 (2013-10-10) *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298868A (zh) * 2021-03-17 2021-08-24 阿里巴巴新加坡控股有限公司 模型建立方法、装置、电子设备、介质及程序产品
CN113298868B (zh) * 2021-03-17 2024-04-05 阿里巴巴创新公司 模型建立方法、装置、电子设备、介质及程序产品
CN113194259A (zh) * 2021-05-07 2021-07-30 中山大学 一种基于多相机阵列的协同指向控制方法、系统及装置
CN112991526A (zh) * 2021-05-18 2021-06-18 创新奇智(北京)科技有限公司 一种图像的三维姿态标注的方法、装置、电子设备及介质
CN113763572A (zh) * 2021-09-17 2021-12-07 北京京航计算通讯研究所 一种基于ai智能识别的3d实体标注方法及存储介质
CN113763573A (zh) * 2021-09-17 2021-12-07 北京京航计算通讯研究所 一种三维物体数字化标注方法及装置
CN113763573B (zh) * 2021-09-17 2023-07-11 北京京航计算通讯研究所 一种三维物体数字化标注方法及装置
CN114140536A (zh) * 2021-11-30 2022-03-04 清华大学 位姿数据处理方法、装置、电子设备及存储介质
CN114935316A (zh) * 2022-05-20 2022-08-23 长春理工大学 基于光学跟踪与单目视觉的标准深度图像生成方法
CN114935316B (zh) * 2022-05-20 2024-03-12 长春理工大学 基于光学跟踪与单目视觉的标准深度图像生成方法
CN115880470A (zh) * 2023-03-08 2023-03-31 深圳佑驾创新科技有限公司 3d图像数据的生成方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN112258574A (zh) 标注位姿信息的方法、装置及计算机可读存储介质
CN111783820B (zh) 图像标注方法和装置
EP3690815B1 (en) Method, medium and apparatus for automatically labeling target object within image
CN110411441B (zh) 用于多模态映射和定位的系统和方法
JP7506091B2 (ja) 画像ベースの位置特定
US10854006B2 (en) AR-enabled labeling using aligned CAD models
JP6011102B2 (ja) 物体姿勢推定方法
CN110176032B (zh) 一种三维重建方法及装置
KR102472767B1 (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
CN112652016B (zh) 点云预测模型的生成方法、位姿估计方法及其装置
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN109472828B (zh) 一种定位方法、装置、电子设备及计算机可读存储介质
CN108062776A (zh) 相机姿态跟踪方法和装置
CN111462249B (zh) 一种交通摄像头标定方法及装置
WO2016029939A1 (en) Method and system for determining at least one image feature in at least one image
GB2550037A (en) Method and system for virtual sensor data generation with depth ground truth annotation
CN113689578B (zh) 一种人体数据集生成方法及装置
CN105701828A (zh) 一种图像处理方法和装置
JP7379065B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN109934873B (zh) 标注图像获取方法、装置及设备
US20210142511A1 (en) Method of generating 3-dimensional model data
CN113096003A (zh) 针对多视频帧的标注方法、装置、设备和存储介质
CN111161398A (zh) 一种图像生成方法、装置、设备及存储介质
CN110310325B (zh) 一种虚拟测量方法、电子设备及计算机可读存储介质
CN115008454A (zh) 一种基于多帧伪标签数据增强的机器人在线手眼标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination