CN112150551A - 物体位姿的获取方法、装置和电子设备 - Google Patents
物体位姿的获取方法、装置和电子设备 Download PDFInfo
- Publication number
- CN112150551A CN112150551A CN202011025396.7A CN202011025396A CN112150551A CN 112150551 A CN112150551 A CN 112150551A CN 202011025396 A CN202011025396 A CN 202011025396A CN 112150551 A CN112150551 A CN 112150551A
- Authority
- CN
- China
- Prior art keywords
- image
- acquiring
- key point
- size
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 239000013598 vector Substances 0.000 claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 52
- 238000013519 translation Methods 0.000 claims description 45
- 238000004422 calculation algorithm Methods 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/04—Architectural design, interior design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了物体位姿的获取方法、装置和电子设备，涉及图像处理、计算机视觉、深度学习技术领域。具体实现方案为：从图像中提取物体的图像块，并生成图像块对应的图像局部坐标系；获取物体的3D模型上的多个3D关键点在图像坐标系下对应的2D投影关键点；将各2D投影关键点转换至图像局部坐标系，以生成对应的2D预测关键点；获取图像块内各像素点与各2D预测关键点间的方向向量，并根据方向向量，获取各2D预测关键点对应的2D目标关键点；以及根据3D关键点和2D目标关键点，确定物体的位姿。该方法利用物体的图像块获取物体位姿，在物体位姿的获取过程中，能够考虑光线强度、位置遮挡等影响因素，进而使得姿态估计的鲁棒性更好。
Description
技术领域
本申请涉及计算机技术领域中的图像处理、计算机视觉、深度学习技术领域，尤其涉及一种物体位姿的获取方法、装置、电子设备和存储介质。
背景技术
目前，物体位姿的获取方法在机器人抓取、工业生产自动化、建筑设计等领域得到了广泛的应用，例如，可利用物体位姿的获取方法确定物体的位置和方向，从而可得到机器人的抓取策略，使得机器人准确抓取到物体，或者，还可利用物体位姿的获取方法确定房屋中的家具的位置和方向，便于建筑设计人员规划房屋的建筑设计方案。然而，相关技术中的物体位姿的获取方法，容易受到图像遮挡的影响，鲁棒性较差。
发明内容
提供了一种物体位姿的获取方法、装置、电子设备和存储介质。
根据第一方面，提供了一种物体位姿的获取方法，包括：从图像中提取物体的图像块，并生成所述图像块对应的图像局部坐标系；获取所述物体的3D模型上的多个3D关键点在图像坐标系下对应的2D投影关键点；将各所述2D投影关键点转换至所述图像局部坐标系，以生成对应的2D预测关键点；获取所述图像块内各像素点与各所述2D预测关键点间的方向向量，并根据所述方向向量，获取各所述2D预测关键点对应的2D目标关键点；以及根据所述3D关键点和所述2D目标关键点，确定所述物体的位姿。
根据第二方面，提供了一种物体位姿的获取装置，包括：图像处理模块，用于从图像中提取物体的图像块，并生成所述图像块对应的图像局部坐标系；第一获取模块，用于获取所述物体的3D模型上的多个3D关键点在图像坐标系下对应的2D投影关键点；第二获取模块，用于将各所述2D投影关键点转换至所述图像局部坐标系，以生成对应的2D预测关键点；第三获取模块，获取所述图像块内各像素点与各所述2D预测关键点间的方向向量，并根据所述方向向量，获取各所述2D预测关键点对应的2D目标关键点；以及位姿确定模块，用于根据所述3D关键点和所述2D目标关键点，确定所述物体的位姿。
根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面所述的物体位姿的获取方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请第一方面所述的物体位姿的获取方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的物体位姿的获取方法的流程示意图；
图2是根据本申请第二实施例的物体位姿的获取方法中从图像中提取物体的图像块的流程示意图；
图3是根据本申请第三实施例的物体位姿的获取方法中生成图像块对应的图像局部坐标系的流程示意图；
图4是根据本申请第四实施例的物体位姿的获取方法中获取图像块内各像素点与各2D预测关键点间的方向向量的流程示意图；
图5是根据本申请第五实施例的物体位姿的获取方法中根据方向向量，获取各2D预测关键点对应的2D目标关键点的流程示意图；
图6是根据本申请第六实施例的物体位姿的获取方法中根据3D关键点和2D目标关键点，确定物体的位姿的流程示意图；
图7是根据本申请第七实施例的物体位姿的获取方法的示意图；
图8是根据本申请第一实施例的物体位姿的获取装置的框图；
图9是用来实现本申请实施例的物体位姿的获取方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请第一实施例的物体位姿的获取方法的流程示意图。
如图1所示，本申请第一实施例的物体位姿的获取方法包括：
S101，从图像中提取物体的图像块，并生成图像块对应的图像局部坐标系。
需要说明的是，本申请实施例的物体位姿的获取方法的执行主体可为具有数据信息处理能力的硬件设备和/或驱动该硬件设备工作所需必要的软件。可选的，执行主体可包括工作站、服务器，计算机、用户终端及其他设备。其中，用户终端包括但不限于手机、电脑、智能家电、车载终端等。
本公开的实施例中，可利用相机拍摄物体，以获取包括物体的图像块的图像，之后可从图像中提取物体的图像块，并生成图像块对应的图像局部坐标系。
可以理解的是，相较于相关技术中利用原图来获取物体位姿，本申请中可利用物体的图像块来获取物体位姿，图像块中可包括物体的遮挡区域，在物体位姿的获取过程中，能够考虑光线强度、位置遮挡等影响因素，进而使得姿态估计的鲁棒性更好。
本公开的实施例中，图像具体一个图像坐标系，该图像坐标系的原点可为图像上的左上角的像素点，从图像中提取物体的图像块之后，还可生成图像块对应的图像局部坐标系，该图像局部坐标系的原点可为图像块上的任意一点。
可选的，生成图像块对应的图像局部坐标系，可包括在图像块上选取一个点作为图像局部坐标系的原点，并基于原点构建图像局部坐标系。例如，若物体的图像块为矩形，则可选取图像块的左上角对应的顶点作为图像局部坐标系的原点，并基于原点构建图像局部坐标系。本公开的实施例中，以物体的图像块的中心点作为图像局部坐标系的原点，以该中心点为原点，建立该图像块的图像局部坐标系。
S102，获取物体的3D模型上的多个3D关键点在图像坐标系下对应的2D投影关键点。
本公开的实施例中，可预先建立物体的3D模型，并将物体的3D模型存储在3D模型库中，以便在获取物体位姿时使用。可选的，可为物体的3D模型设置标识，以区分不同物体的3D模型，还可根据标识从3D模型库中获取物体的3D模型。具体地，在从图像中检测出物体后，可以根据检测的物体信息，确定出该物体的标识，进而根据该标识从模型库中获取到该物体对应的3D模型。
或者，还可通过传感器、3D扫描仪等装置对物体进行扫描，以获取物体的3D模型。其中，物体的3D模型可包括物体的三维CAD图。
进一步地，获取物体的3D模型之后，可获取物体的3D模型上的多个3D关键点。其中，3D关键点包括但不限于物体的3D模型的顶点、中心点等，这里不做过多限定。例如，若物体为桌子，桌子由平台和四个支柱构成，则桌子的3D关键点可包括平台上的顶点和四个支柱的顶点。
可选的，可基于最远点采样(Farthest Point Sampling，FPS)算法，对3D模型进行关键点采样，以获取物体的3D模型上的多个3D关键点。可以理解的是，还可基于其他特征提取算法例如NARF(Normal Aligned Radial Feature，法线对齐的径向特征)算法来获取3D关键点，这里不做过多限定。
举例而言，假设基于最远点采样算法对3D模型进行关键点采样，可先取3D模型上的所有点构成的原始点集中的第一个点，作为关键点，然后从原始点集中的剩余点中选取与关键点距离最远的点，将其添加进关键点集，之后可继续从原始点集中的剩余点中选取与关键点集中的所有关键点距离之和最远的点，将其添加进关键点集，以此类推，直至关键点集中的关键点的数量达到预设阈值。
进一步地，获取物体的3D模型上的多个3D关键点之后，还可获取上述多个3D关键点在图像坐标系下对应的2D投影关键点。其中，图像坐标系为图像对应的图像坐标系，3D关键点与2D投影关键点一一对应。
S103，将各2D投影关键点转换至图像局部坐标系，以生成对应的2D预测关键点。
本公开的实施例中，2D投影关键点为图像坐标系下的点，则在获取2D投影关键点之后，还可将各2D投影关键点转换至图像局部坐标系，以生成对应的2D预测关键点。可以理解的是，2D投影关键点与2D预测关键点一一对应。
可选的，将各2D投影关键点转换至图像局部坐标系，以生成对应的2D预测关键点，可包括根据图像坐标系和图像局部坐标系之间的旋转角度和/或平移量，对各2D投影关键点进行坐标旋转和/或平移操作，以生成对应的2D预测关键点。
S104，获取图像块内各像素点与各2D预测关键点间的方向向量，并根据方向向量，获取各2D预测关键点对应的2D目标关键点。
本公开的实施例中，图像块内各像素点与各2D预测关键点间的方向向量，包括但不限于由各像素点指向各2D预测关键点的方向向量、由各2D预测关键点指向各像素点的方向向量，方向向量的长度可根据实际情况进行设置，例如，方向向量的长度可为1，即方向向量为单位方向向量。
S105，根据3D关键点和2D目标关键点，确定物体的位姿。
可选的，物体的位姿(Pose)可为物体的6D位姿。应说明的是，物体的6D位姿包括物体的3个自由度的平移，以及3个自由度的旋转。
3D关键点与2D目标关键点为一一对应关系，也就是说，3D关键点与2D目标关键点匹配成多个点对，然后根据多个点对估计物体的位姿，例如，采用PnP(Pespective-N-Point)算法进行位姿估计，得到该物体的6D位姿。
综上，根据本申请实施例的物体位姿的获取方法，能够从图像中提取物体的图像块，获取物体的3D关键点和2D预测关键点，并根据图像块上的像素点与2D预测关键点间的方向向量，确定2D目标关键点，之后可根据3D关键点和2D目标关键点，获取物体的位姿，相较于相关技术中利用原图来获取物体位姿，能够利用物体的图像块来获取物体位姿，在物体位姿的获取过程中，能够考虑光线强度、位置遮挡等影响因素，进而使得姿态估计的鲁棒性更好。
在上述任一实施例的基础上，步骤S101中生成图像块对应的图像局部坐标系之前，还可获取图像块的尺寸，若图像块的尺寸非标准尺寸，可对图像块进行尺寸调整操作，以调整至标准尺寸。
其中，标准尺寸可根据实际情况进行设置，例如，图像块为矩形时，标准尺寸可设置为图像块的高度为128px，宽度为128px。
可选的，对图像块进行尺寸调整操作，包括但不限于对图像块进行拉伸或者压缩操作。
由此，该方法可将图像块的尺寸调准至标准尺寸，即可统一图像块的尺寸，有助于降低图像局部坐标系的生成难度。
在上述任一实施例的基础上，如图2所示，步骤S101中从图像中提取物体的图像块，可包括：
S201，对图像进行物体识别，以生成物体的检测框。
可选的，可利用物体识别算法对图像进行物体识别，从而可从图像中定位到物体，以生成物体的检测框。其中，物体识别算法包括但不限于Mask R-CNN算法、Yolov3算法、SSD(Single Shoot Detectors)算法、CenterNet算法等，这里不做过多限定。
本公开的实施例中，物体的检测框可完全覆盖物体处于的图像区域。其中，检测框的形状包括但不限于圆形、矩形等，这里不做过多限定。
S202，获取检测框的第一尺寸。
可以理解的是，检测框的形状不同，对应的检测框的第一尺寸的类别也应不同。例如，若检测框为圆形，对应的检测框的第一尺寸包括但不限于检测框的半径、直径等；若检测框为矩形，对应的检测框的第一尺寸包括但不限于检测框的宽度、高度等。
例如，若检测框为矩形，获取的检测框的第一尺寸可包括检测框的高度为30px(Pixel，像素)，宽度为60px。应说明的是，px为一个相对长度单位。
S203，若第一尺寸小于或者等于第一预设尺寸，则扩大检测框的尺寸至第二尺寸，并截取第二尺寸的检测框所覆盖的图像区域生成图像块，其中，第二尺寸处于第一预设尺寸和第二预设尺寸之间。
本公开的实施例中，若第一尺寸小于或者等于第一预设尺寸，表明当前检测框的第一尺寸较小，当前检测框所覆盖的图像区域较小，则可扩大检测框的尺寸至第二尺寸，以扩大检测框的尺寸至第二尺寸，从而扩大检测框所覆盖的图像区域，并可截取第二尺寸的检测框所覆盖的图像区域生成图像块。其中，第二尺寸处于第一预设尺寸和第二预设尺寸之间。
可选的，第一预设尺寸、第二预设尺寸均可根据实际情况进行设置，第二预设尺寸大于或者等于第一预设尺寸。例如，第一预设尺寸可为检测框所允许的最小尺寸，第二预设尺寸可为检测框所允许的最大尺寸。
可选的，图像块具有标准尺寸时，第一预设尺寸可为标准尺寸的一半，第二预设尺寸可为标准尺寸。
例如，若图像块为矩形，图像块的标准尺寸为图像块的高度为128px，宽度为128px，则第一预设尺寸可为图像块的高度为64px，宽度为64px，第二预设尺寸可为图像块的高度为128px，宽度为128px。
可选的，检测框为矩形时，扩大检测框的尺寸至第二尺寸，可包括将检测框的宽度和高度按照相同的拉伸比例进行拉伸，以扩大检测框的尺寸至第二尺寸。
S204，若第一尺寸大于第一预设尺寸，则截取第一尺寸的检测框所覆盖的图像区域生成图像块。
本公开的实施例中，若第一尺寸大于第一预设尺寸，表明当前检测框的第一尺寸较大，当前检测框所覆盖的图像区域较大，则可直接截取第一尺寸的检测框所覆盖的图像区域生成图像块。
由此，该方法可在检测框的第一尺寸小于第一预设尺寸时，扩大检测框的尺寸至第二尺寸，可避免检测框过小导致生成的图像块过小的情况，有助于提高物体姿态获取的鲁棒性。
在上述任一实施例的基础上，如图3所示，步骤S101中生成图像块对应的图像局部坐标系，可包括：
S301，根据标准尺寸和图像块的中心点的图像坐标，确定图像块中像素点的平移量。
本公开的实施例中，图像块的中心点的图像坐标为中心点在图像坐标系下的坐标。
可以理解的是，已知图像块的标准尺寸和图像块的中心点的图像坐标，可获取图像块中像素点的平移量。其中，图像块中像素点的平移量可为一个二维向量m，m可由像素点在x轴(水平方向)上的平移量xm，以及像素点在y轴(竖直方向)上的平移量ym组成，m＝(xm，ym)。
S302，按照平移量对中心点进行坐标平移操作，形成图像局部坐标系的原点，基于原点构建图像局部坐标系。
本公开的实施例中，按照平移量对中心点进行坐标平移操作，可包括将中心点的图像坐标与平移量的和值对应的点，作为图像局部坐标系的原点。
举例而言，若图像块为矩形，对图像块进行尺寸调整之前的图像块的尺寸为图像块的宽度为w0，高度为h0，图像块的标准尺寸为图像块的宽度为1.5w0，高度为1.5h0，则可对图像块进行尺寸调整操作，将图像块的宽度和高度同时按照1.5的拉伸比例进行拉伸，以将图像块调整至标准尺寸。若图像块的中心点O的图像坐标为(x0，y0)，图像局部坐标系的原点为图像块的左下角的顶点，则图像块中像素点的平移量m为(-1.5w0/2，-1.5h0/2)。
进一步地，按照平移量m对中心点O进行坐标平移操作，形成图像局部坐标系的原点O’的图像坐标可为中心点O的图像坐标(x0，y0)与平移量m的和值，即为(x0-1.5w0/2，y0-1.5h0/2)，则可基于重新确定的原点O’构建图像局部坐标系。
由此，该方法在图像块的尺寸调整至标准尺寸之后，能够根据标准尺寸、图像块的中心点的图像坐标，确定图像局部坐标系的原点，从而建立图像块对应的图像局部坐标系。
在上述任一实施例的基础上，步骤S103中将各2D投影关键点转换至图像局部坐标系，以生成对应的2D预测关键点，可包括按照平移量，对图像块上的每个像素点进行坐标平移操作，以生成在图像局部坐标系下的像素点，其中，2D投影关键点进行坐标平移操作后生成2D预测关键点。
本公开的实施例中，按照平移量对图像块上的每个像素点进行坐标平移操作，可包括将图像块上的每个像素点的图像坐标与图像局部坐标系的原点的图像坐标的差值对应的点，作为图像局部坐标系下的像素点。
例如，图像块中像素点A在图像坐标系下的坐标为(xA，yA)，图像局部坐标系的原点O’在图像坐标系下的坐标为(x0-1.5w0/2，y0-1.5h0/2)，则该像素点A在图像局部坐标系下的像素点的坐标为(xA-x0+1.5w0/2，yA-y0+1.5h0/2)。
在上述任一实施例的基础上，如图4所示，步骤S104中获取图像块内各像素点与各2D预测关键点间的方向向量，可包括：
S401，获取图像块内各像素点在图像局部坐标系的第一坐标。
S402，获取各2D预测关键点在图像局部坐标系的第二坐标。
关于步骤S401-S402的相关内容可参照上述实施例，这里不再赘述。
S403，针对每个2D预测关键点，将各第一坐标分别与该2D预测关键点的第二坐标做向量计算，以获取该2D预测关键点对应的方向向量。
可选的，将各第一坐标分别与该2D预测关键点的第二坐标做向量计算，可包括将各第一坐标分别减去该2D关键点的第二坐标，或者将该2D关键点的第二坐标分别减去各第一坐标。
例如，若图像块内像素点A在图像局部坐标系的第一坐标为(xA’，yA’)，2D预测关键点B在图像局部坐标系的第二坐标为(xB’，yB’)，则像素点A与2D预测关键点B间的方向向量C的公式如下：
可知方向向量C为由2D预测关键点B指向像素点A的单位方向向量。
举例而言，假设图像块内具有M个像素点，2D预测关键点的数量为N个，则M个像素点和N个2D预测关键点间的方向向量的数量总共为M*N个，每个2D预测关键点对应M个方向向量，进而可根据每个2D预测关键点对应的M个方向向量，确定每个2D预测关键点对应的2D目标关键点，则可得到N个2D预测关键点分别对应的N个2D目标关键点。
由此，该方法可根据图像块内各像素点在图像局部坐标系下的第一坐标、各2D预测关键点在图像局部坐标系下的第二坐标，进行向量计算，以获取各2D预测关键点对应的方向向量。
在上述任一实施例的基础上，如图5所示，步骤S104中根据方向向量，获取各2D预测关键点对应的2D目标关键点，可包括：
S501，针对每个2D预测关键点，获取该2D预测关键点的两两方向向量的相交点，其中，相交点为2D候选关键点。
可以理解的是，每个2D预测关键点可对应多个方向向量，可针对每个2D预测关键点，获取该2D预测关键点的两两方向向量的相交点，并将获取的相交点作为该2D预测关键点对应的2D候选关键点，可知每个2D预测关键点可对应多个2D候选关键点，则可建立每个2D预测关键点对应的2D候选关键点的集合。
S502，基于投票选举算法，从每个2D预测关键点的2D候选关键点的集合中，获取每个2D预测关键点对应的2D目标关键点。
可选的，投票选举算法可为随机抽样一致(Random Sample Consensus，RANSAC)算法。
例如，基于随机抽样一致算法时，针对每个2D预测关键点，可计算图像块上的每个像素点对于2D候选关键点的分数，然后和分数阈值进行比较，若分数大于分数阈值，则该2D候选关键点的分数可增大预设值，最后从所有的2D候选关键点中选取分数最高的点，作为该2D预测关键点对应的2D目标关键点。
由此，该方法可利用投票选举算法，从每个2D预测关键点的方向方向的相交点的集合中，选出每个2D预测关键点对应的2D目标关键点，使得到的2D目标关键点较为准确。
在上述任一实施例的基础上，如图6所示，步骤S105中根据3D关键点和2D目标关键点，确定物体的位姿，可包括：
S601，获取3D关键点在世界坐标系下的第三坐标。
S602，获取2D目标关键点在图像坐标系下的第四坐标。
可选的，可先获取2D目标关键点在图像局部坐标系下的坐标，然后根据图像坐标系和图像局部坐标系之间的旋转角度和/或平移量，对2D目标关键点进行坐标旋转和/或平移操作，以获取2D目标关键点在图像坐标系下的第四坐标。
可以理解的是，2D目标关键点可为2D预测关键点对应的两个方向向量的相交点，则获取2D目标关键点在图像坐标系下的第四坐标，还可包括获取形成2D目标关键点的两个方向向量的向量信息，并根据两个向量信息，获取第四坐标。
S603，根据第三坐标和第四坐标，确定物体的位姿。
可选的，根据第三坐标和第四坐标，确定物体的位姿，可包括将第三坐标、第四坐标输入PnP算法，PnP算法可将3D关键点和2D目标关键点进行匹配，并根据匹配成功的3D关键点和2D关键点组成的点对，结合相机的内参矩阵K构建方程组，求解方程组得到物体的位姿。其中，PnP算法包括但不限于P3P、UPnP，EPnP等。
可选的，根据第三坐标和第四坐标，确定物体的位姿，还可包括根据第三坐标和第四坐标，确定相机的位姿，然后根据相机的位姿确定物体的位姿。其中，相机的位姿可用旋转矩阵R和平移矩阵t来表示。
可以理解的是，可通过相机的位姿与物体的位姿之间的变换关系，得到物体的位姿。
在具体实施中，若根据第三坐标和第四坐标，确定相机的位姿为旋转矩阵R和平移矩阵t，物体上的点A在世界坐标系下的坐标为TA 0，该点A在相机坐标系下的坐标为TA，则坐标TA可通过以下公式得到：
TA＝R*TA 0+t
由此，该方法能够根据3D关键点在世界坐标系下的第三坐标，以及2D目标关键点在图像坐标系下的第四坐标，得到物体的位姿。
在上述任一实施例的基础上，可将物体的图像块输入至预先训练好的目标网络中，以得到多个3D关键点在图像坐标系下对应的2D预测关键点。其中，目标网络可采用深度神经网络(Deep Neural Networks，DNN)。
可选的，可利用多张样本图像块对应的样本数据集训练目标网络，样本数据集包括但不限于样本图像块中物体的实际3D关键点数据、实际2D预测关键点数据、实际相机位姿数据。
则在训练目标网络时，可将样本图像块输入至目标网络，以得到目标网络估计的2D预测关键点数据，之后可根据网络估计的2D预测关键点数据、实际2D预测关键点数据之间的差异，调整目标网络的参数，直至网络估计的2D预测关键点的数据与实际2D预测关键点之间的差异小于预设阈值，则可将最后一次调整网络参数的目标网络确定为预先训练好的目标网络。
其中，实际2D预测关键点数据可根据实际3D关键点数据、实际相机位姿数据得到。
例如，假设3D关键点A在世界坐标系下的坐标为TA”，实际相机位姿为旋转矩阵R和平移矩阵t，相机内参矩阵为K，则3D关键点A在图像坐标系下的实际2D预测关键点坐标TA的公式如下：
TA＝K[R|t]TA”
其中，fx、fy分别为相机在x轴、y轴方向上的像素焦距，(cx，cy)是相机的主点。
由此，该方法可根据网络估计出多个3D关键点在图像坐标系下对应的2D预测关键点。
如图7所示，可根据物体的3D模型以及最远点采样算法，得到物体的3D关键点，同时可对相机采集的图像进行物体识别，以从图像中提出物体的图像块，之后可将图像块输入至预先训练好的目标网络中，以估计出物体的2D预测关键点，之后可根据投票选举算法，从每个2D预测关键点的2D候选关键点的集合中，获取对应的2D目标关键点，最后可将3D关键点和2D目标关键点输入至PnP算法，以得到物体位姿。
图8是根据本申请第一实施例的物体位姿的获取装置的框图。
如图8所示，本申请实施例的物体位姿的获取装置700，包括：图像处理模块701、第一获取模块702、第二获取模块703、第三获取模块704、位姿确定模块705。
图像处理模块701，用于从图像中提取物体的图像块，并生成所述图像块对应的图像局部坐标系；
第一获取模块702，用于获取所述物体的3D模型上的多个3D关键点在图像坐标系下对应的2D投影关键点；
第二获取模块703，用于将各所述2D投影关键点转换至所述图像局部坐标系，以生成对应的2D预测关键点；
第三获取模块704，获取所述图像块内各像素点与各所述2D预测关键点间的方向向量，并根据所述方向向量，获取各所述2D预测关键点对应的2D目标关键点；
位姿确定模块705，用于根据所述3D关键点和所述2D目标关键点，确定所述物体的位姿。
在本申请的一个实施例中，所述图像处理模块701，还用于：所述生成所述图像块对应的图像局部坐标系之前，获取所述图像块的尺寸，若所述图像块的尺寸非标准尺寸，对所述图像块进行尺寸调整操作，以调整至所述标准尺寸。
在本申请的一个实施例中，所述图像处理模块701，还用于：根据所述标准尺寸和所述图像块的中心点的图像坐标，确定所述图像块中像素点的平移量；以及按照所述平移量，对所述中心点进行坐标平移操作，形成所述图像局部坐标系的原点，基于所述原点构建所述图像局部坐标系。
在本申请的一个实施例中，所述第二获取模块703，还用于：按照所述平移量，对所述图像块上的每个像素点进行坐标平移操作，以生成在所述图像局部坐标系下的像素点，其中，所述2D投影关键点进行坐标平移操作后生成所述2D预测关键点。
在本申请的一个实施例中，所述第三获取模块704，包括：第一坐标获取单元，用于获取所述图像块内各像素点在所述图像局部坐标系的第一坐标；获取各所述2D预测关键点在所述图像局部坐标系的第二坐标；以及向量获取单元，用于针对每个所述2D预测关键点，将各所述第一坐标分别与该2D预测关键点的第二坐标做向量计算，以获取该2D预测关键点对应的方向向量。
在本申请的一个实施例中，所述第三获取模块704，还包括：交点获取单元，用于针对每个所述2D预测关键点，获取该2D预测关键点的两两所述方向向量的相交点，其中，所述相交点为2D候选关键点；以及投票获取单元，用于基于投票选举算法，从每个所述2D预测关键点的所述2D候选关键点的集合中，获取每个所述2D预测关键点对应的所述2D目标关键点。
在本申请的一个实施例中，所述位姿确定模块705，包括：第二坐标获取单元，用于获取所述3D关键点在世界坐标系下的第三坐标，以及获取所述2D目标关键点在所述图像坐标系下的第四坐标；以及位姿确定单元，用于根据所述第三坐标和所述第四坐标，确定所述物体的位姿。
在本申请的一个实施例中，所述位姿确定模块705，还用于：获取形成所述2D目标关键点的两个方向向量的向量信息，并根据两个所述向量信息，获取所述第四坐标。
在本申请的一个实施例中，所述第一获取模块702，还用于：所述获取所述物体的3D模型上的多个3D关键点在图像坐标系下对应的2D投影关键点之前，基于最远点采样算法，对所述3D模型进行关键点采样，获取所述多个3D关键点。
在本申请的一个实施例中，所述图像处理模块701，还用于：对所述图像进行物体识别，以生成所述物体的检测框；获取所述检测框的第一尺寸；若所述第一尺寸小于或者等于第一预设尺寸，则扩大所述检测框的尺寸至第二尺寸，并截取所述第二尺寸的检测框所覆盖的图像区域，生成所述图像块，其中，所述第二尺寸处于所述第一预设尺寸和所述第二预设尺寸之间；以及若所述第一尺寸大于第一预设尺寸，则截取所述第一尺寸的检测框所覆盖的图像区域，生成所述图像块。
综上，根据本申请实施例的物体位姿的获取装置，能够从图像中提取物体的图像块，获取物体的3D关键点和2D预测关键点，并根据图像块上的像素点与2D预测关键点间的方向向量，确定2D目标关键点，之后可根据3D关键点和2D目标关键点，获取物体的位姿，相较于相关技术中利用原图来获取物体位姿，能够利用物体的图像块来获取物体位姿，在物体位姿的获取过程中，能够考虑光线强度、位置遮挡等影响因素，进而使得姿态估计的鲁棒性更好。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图9所示，是根据本申请实施例的物体位姿的获取方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，智能语音交互设备、个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器801可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的物体位姿的获取方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的物体位姿的获取方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的物体位姿的获取方法对应的程序指令/模块(例如，附图8所示的图像处理模块701、第一获取模块702、第二获取模块703、第三获取模块704、位姿确定模块705)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的物体位姿的获取方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据物体位姿的获取方法的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至物体位姿的获取方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
物体位姿的获取方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与物体位姿的获取方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。
根据本申请实施例的技术方案，能够从图像中提取物体的图像块，获取物体的3D关键点和2D预测关键点，并根据图像块上的像素点与2D预测关键点间的方向向量，确定2D目标关键点，之后可根据3D关键点和2D目标关键点，获取物体的位姿，相较于相关技术中利用原图来获取物体位姿，能够利用物体的图像块来获取物体位姿，在物体位姿的获取过程中，能够考虑光线强度、位置遮挡等影响因素，进而使得姿态估计的鲁棒性更好。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (22)
1.一种物体位姿的获取方法，包括：
从图像中提取物体的图像块，并生成所述图像块对应的图像局部坐标系；
获取所述物体的3D模型上的多个3D关键点在图像坐标系下对应的2D投影关键点；
将各所述2D投影关键点转换至所述图像局部坐标系，以生成对应的2D预测关键点；
获取所述图像块内各像素点与各所述2D预测关键点间的方向向量，并根据所述方向向量，获取各所述2D预测关键点对应的2D目标关键点；以及
根据所述3D关键点和所述2D目标关键点，确定所述物体的位姿。
2.根据权利要求1所述的物体位姿的获取方法，其中，所述生成所述图像块对应的图像局部坐标系之前，还包括：
获取所述图像块的尺寸，若所述图像块的尺寸非标准尺寸，对所述图像块进行尺寸调整操作，以调整至所述标准尺寸。
3.根据权利要求2所述的物体位姿的获取方法，其中，所述生成所述图像块对应的图像局部坐标系，包括：
根据所述标准尺寸和所述图像块的中心点的图像坐标，确定所述图像块中像素点的平移量；以及
按照所述平移量，对所述中心点进行坐标平移操作，形成所述图像局部坐标系的原点，基于所述原点构建所述图像局部坐标系。
4.根据权利要求3所述的物体位姿的获取方法，其中，所述将各所述2D投影关键点转换至所述图像局部坐标系，以生成对应的2D预测关键点，包括：
按照所述平移量，对所述图像块上的每个像素点进行坐标平移操作，以生成在所述图像局部坐标系下的像素点，其中，所述2D投影关键点进行坐标平移操作后生成所述2D预测关键点。
5.根据权利要求1-4任一项所述的物体位姿的获取方法，其中，所述获取所述图像块内各像素点与各所述2D预测关键点间的方向向量，包括：
获取所述图像块内各像素点在所述图像局部坐标系的第一坐标；
获取各所述2D预测关键点在所述图像局部坐标系的第二坐标；以及
针对每个所述2D预测关键点，将各所述第一坐标分别与该2D预测关键点的第二坐标做向量计算，以获取该2D预测关键点对应的方向向量。
6.根据权利要求5所述的物体位姿的获取方法，其中，所述根据所述方向向量，获取各所述2D预测关键点对应的2D目标关键点，包括：
针对每个所述2D预测关键点，获取该2D预测关键点的两两所述方向向量的相交点，其中，所述相交点为2D候选关键点；以及
基于投票选举算法，从每个所述2D预测关键点的所述2D候选关键点的集合中，获取每个所述2D预测关键点对应的所述2D目标关键点。
7.根据权利要求6所述的物体位姿的获取方法，其中，所述根据所述3D关键点和所述2D目标关键点，确定所述物体的位姿，包括：
获取所述3D关键点在世界坐标系下的第三坐标；
获取所述2D目标关键点在所述图像坐标系下的第四坐标；以及
根据所述第三坐标和所述第四坐标，确定所述物体的位姿。
8.根据权利要求7所述的物体位姿的获取方法，其中，所述获取所述2D目标关键点在所述图像坐标系下的第四坐标，包括：
获取形成所述2D目标关键点的两个方向向量的向量信息，并根据两个所述向量信息，获取所述第四坐标。
9.根据权利要求1-4任一项所述的物体位姿的获取方法，其中，所述获取所述物体的3D模型上的多个3D关键点在图像坐标系下对应的2D投影关键点之前，还包括：
基于最远点采样算法，对所述3D模型进行关键点采样，获取所述多个3D关键点。
10.根据权利要求1-4任一项所述的物体位姿的获取方法，其中，所述从图像中提取物体的图像块，包括：
对所述图像进行物体识别，以生成所述物体的检测框；
获取所述检测框的第一尺寸；
若所述第一尺寸小于或者等于第一预设尺寸，则扩大所述检测框的尺寸至第二尺寸，并截取所述第二尺寸的检测框所覆盖的图像区域，生成所述图像块，其中，所述第二尺寸处于所述第一预设尺寸和所述第二预设尺寸之间；以及
若所述第一尺寸大于第一预设尺寸，则截取所述第一尺寸的检测框所覆盖的图像区域，生成所述图像块。
11.一种物体位姿的获取装置，包括：
图像处理模块，用于从图像中提取物体的图像块，并生成所述图像块对应的图像局部坐标系；
第一获取模块，用于获取所述物体的3D模型上的多个3D关键点在图像坐标系下对应的2D投影关键点；
第二获取模块，用于将各所述2D投影关键点转换至所述图像局部坐标系，以生成对应的2D预测关键点；
第三获取模块，获取所述图像块内各像素点与各所述2D预测关键点间的方向向量，并根据所述方向向量，获取各所述2D预测关键点对应的2D目标关键点；以及
位姿确定模块，用于根据所述3D关键点和所述2D目标关键点，确定所述物体的位姿。
12.根据权利要求11所述的物体位姿的获取装置，所述图像处理模块，还用于：
所述生成所述图像块对应的图像局部坐标系之前，获取所述图像块的尺寸，若所述图像块的尺寸非标准尺寸，对所述图像块进行尺寸调整操作，以调整至所述标准尺寸。
13.根据权利要求12所述的物体位姿的获取装置，所述图像处理模块，还用于：
根据所述标准尺寸和所述图像块的中心点的图像坐标，确定所述图像块中像素点的平移量；以及
按照所述平移量，对所述中心点进行坐标平移操作，形成所述图像局部坐标系的原点，基于所述原点构建所述图像局部坐标系。
14.根据权利要求13所述的物体位姿的获取装置，所述第二获取模块，还用于：
按照所述平移量，对所述图像块上的每个像素点进行坐标平移操作，以生成在所述图像局部坐标系下的像素点，其中，所述2D投影关键点进行坐标平移操作后生成所述2D预测关键点。
15.根据权利要求11-14任一项所述的物体位姿的获取装置，所述第三获取模块，包括：
第一坐标获取单元，用于获取所述图像块内各像素点在所述图像局部坐标系的第一坐标，以及获取各所述2D预测关键点在所述图像局部坐标系的第二坐标；以及
向量获取单元，用于针对每个所述2D预测关键点，将各所述第一坐标分别与该2D预测关键点的第二坐标做向量计算，以获取该2D预测关键点对应的方向向量。
16.根据权利要求15所述的物体位姿的获取装置，所述第三获取模块，还包括：
交点获取单元，用于针对每个所述2D预测关键点，获取该2D预测关键点的两两所述方向向量的相交点，其中，所述相交点为2D候选关键点；以及
投票获取单元，用于基于投票选举算法，从每个所述2D预测关键点的所述2D候选关键点的集合中，获取每个所述2D预测关键点对应的所述2D目标关键点。
17.根据权利要求16所述的物体位姿的获取装置，所述位姿确定模块，包括：
第二坐标获取单元，用于获取所述3D关键点在世界坐标系下的第三坐标，以及获取所述2D目标关键点在所述图像坐标系下的第四坐标；以及
位姿确定单元，用于根据所述第三坐标和所述第四坐标，确定所述物体的位姿。
18.根据权利要求17所述的物体位姿的获取装置，所述第二坐标获取单元，进一步用于：
获取形成所述2D目标关键点的两个方向向量的向量信息，并根据两个所述向量信息，获取所述第四坐标。
19.根据权利要求11-14任一项所述的物体位姿的获取装置，所述第一获取模块，进一步用于：
所述获取所述物体的3D模型上的多个3D关键点在图像坐标系下对应的2D投影关键点之前，基于最远点采样算法，对所述3D模型进行关键点采样，获取所述多个3D关键点。
20.根据权利要求11-14任一项所述的物体位姿的获取装置，所述图像处理模块，还用于：
对所述图像进行物体识别，以生成所述物体的检测框；
获取所述检测框的第一尺寸；
若所述第一尺寸小于或者等于第一预设尺寸，则扩大所述检测框的尺寸至第二尺寸，并截取所述第二尺寸的检测框所覆盖的图像区域，生成所述图像块，其中，所述第二尺寸处于所述第一预设尺寸和所述第二预设尺寸之间；以及
若所述第一尺寸大于第一预设尺寸，则截取所述第一尺寸的检测框所覆盖的图像区域，生成所述图像块。
21.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的物体位姿的获取方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的物体位姿的获取方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011025396.7A CN112150551B (zh) | 2020-09-25 | 2020-09-25 | 物体位姿的获取方法、装置和电子设备 |
| US17/346,835 US11887388B2 (en) | 2020-09-25 | 2021-06-14 | Object pose obtaining method, and electronic device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011025396.7A CN112150551B (zh) | 2020-09-25 | 2020-09-25 | 物体位姿的获取方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112150551A true CN112150551A (zh) | 2020-12-29 |
| CN112150551B CN112150551B (zh) | 2023-07-25 |
Family
ID=73897166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011025396.7A Active CN112150551B (zh) | 2020-09-25 | 2020-09-25 | 物体位姿的获取方法、装置和电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11887388B2 (zh) |
| CN (1) | CN112150551B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767412A (zh) * | 2020-12-31 | 2021-05-07 | 东软睿驰汽车技术（沈阳）有限公司 | 车辆部件级分割方法、装置以及电子设备 |
| CN113370217A (zh) * | 2021-06-29 | 2021-09-10 | 华南理工大学 | 基于深度学习的物体姿态识别和抓取的智能机器人的方法 |
| CN113705379A (zh) * | 2021-08-11 | 2021-11-26 | 广州虎牙科技有限公司 | 一种手势估计方法、装置、存储介质及设备 |
| CN113724331A (zh) * | 2021-09-02 | 2021-11-30 | 北京城市网邻信息技术有限公司 | 视频处理方法、视频处理装置和非瞬时性存储介质 |
| CN113963188A (zh) * | 2021-09-16 | 2022-01-21 | 杭州易现先进科技有限公司 | 一种结合地图信息视觉定位的方法、系统、装置和介质 |
| CN114189605A (zh) * | 2021-11-02 | 2022-03-15 | 联想(北京)有限公司 | 一种处理方法及装置 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11488325B2 (en) * | 2020-06-17 | 2022-11-01 | Microsoft Technology Licensing, Llc | Auto calibrating a single camera from detectable objects |
| US20220180548A1 (en) * | 2020-12-08 | 2022-06-09 | Samsung Electronics Co., Ltd. | Method and apparatus with object pose estimation |
| US11688091B2 (en) * | 2021-10-08 | 2023-06-27 | Zhuhai Timeline Technology Co., Ltd. | Real-time ranging method of common-virtual-axis three-dimensional camera based on YOLOv3-tiny |
| CN113887496A (zh) * | 2021-10-21 | 2022-01-04 | 广州小鹏自动驾驶科技有限公司 | 一种人体姿态表达方法和装置 |
| CN117078752B (zh) * | 2023-07-19 | 2024-05-28 | 苏州魔视智能科技有限公司 | 车辆位姿估计方法、装置、车辆及存储介质 |
| CN117994856B (zh) * | 2024-03-06 | 2024-08-06 | 东莞晋杨电子有限公司 | 一种用于vr电子玩具的姿态识别方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190012807A1 (en) * | 2017-07-04 | 2019-01-10 | Baidu Online Network Technology (Beijing) Co., Ltd.. | Three-dimensional posture estimating method and apparatus, device and computer storage medium |
| CN110188728A (zh) * | 2019-06-06 | 2019-08-30 | 四川长虹电器股份有限公司 | 一种头部姿态估计的方法及系统 |
| CN110322510A (zh) * | 2019-06-27 | 2019-10-11 | 电子科技大学 | 一种利用轮廓信息的6d位姿估计方法 |
| CN111179342A (zh) * | 2019-12-11 | 2020-05-19 | 上海非夕机器人科技有限公司 | 物体位姿的估计方法、装置、存储介质和机器人 |
| CN111259739A (zh) * | 2020-01-09 | 2020-06-09 | 浙江工业大学 | 一种基于3d人脸关键点和几何投影的人脸姿态估计方法 |
| WO2020135529A1 (zh) * | 2018-12-25 | 2020-07-02 | 浙江商汤科技开发有限公司 | 位姿估计方法及装置、电子设备和存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8437502B1 (en) * | 2004-09-25 | 2013-05-07 | Cognex Technology And Investment Corporation | General pose refinement and tracking tool |
| CN110390137B (zh) * | 2019-06-24 | 2020-12-08 | 浙江大学 | 一种针对机械零件三维注册的链状特征提取匹配方法 |
| US11341674B2 (en) * | 2020-06-17 | 2022-05-24 | Microsoft Technology Licensing, Llc | Determining an object's 3D orientation from a single camera's image |
-
2020
- 2020-09-25 CN CN202011025396.7A patent/CN112150551B/zh active Active
-
2021
- 2021-06-14 US US17/346,835 patent/US11887388B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190012807A1 (en) * | 2017-07-04 | 2019-01-10 | Baidu Online Network Technology (Beijing) Co., Ltd.. | Three-dimensional posture estimating method and apparatus, device and computer storage medium |
| CN109214980A (zh) * | 2017-07-04 | 2019-01-15 | 百度在线网络技术（北京）有限公司 | 一种三维姿态估计方法、装置、设备和计算机存储介质 |
| WO2020135529A1 (zh) * | 2018-12-25 | 2020-07-02 | 浙江商汤科技开发有限公司 | 位姿估计方法及装置、电子设备和存储介质 |
| CN110188728A (zh) * | 2019-06-06 | 2019-08-30 | 四川长虹电器股份有限公司 | 一种头部姿态估计的方法及系统 |
| CN110322510A (zh) * | 2019-06-27 | 2019-10-11 | 电子科技大学 | 一种利用轮廓信息的6d位姿估计方法 |
| CN111179342A (zh) * | 2019-12-11 | 2020-05-19 | 上海非夕机器人科技有限公司 | 物体位姿的估计方法、装置、存储介质和机器人 |
| CN111259739A (zh) * | 2020-01-09 | 2020-06-09 | 浙江工业大学 | 一种基于3d人脸关键点和几何投影的人脸姿态估计方法 |
Non-Patent Citations (2)
| Title |
|---|
| 夏军营;徐小泉;熊九龙;: "利用平行透视投影模型的位姿迭代估计", 光学精密工程, no. 06, pages 196 - 203 * |
| 马伟;宫乐;冯浩;殷晨波;周俊静;曹东辉;: "基于视觉的挖掘机工作装置位姿测量", 机械设计与研究, no. 05, pages 181 - 184 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767412A (zh) * | 2020-12-31 | 2021-05-07 | 东软睿驰汽车技术（沈阳）有限公司 | 车辆部件级分割方法、装置以及电子设备 |
| CN112767412B (zh) * | 2020-12-31 | 2024-04-12 | 东软睿驰汽车技术（沈阳）有限公司 | 车辆部件级分割方法、装置以及电子设备 |
| CN113370217A (zh) * | 2021-06-29 | 2021-09-10 | 华南理工大学 | 基于深度学习的物体姿态识别和抓取的智能机器人的方法 |
| CN113370217B (zh) * | 2021-06-29 | 2023-06-16 | 华南理工大学 | 基于深度学习的物体姿态识别和抓取的智能机器人的方法 |
| CN113705379A (zh) * | 2021-08-11 | 2021-11-26 | 广州虎牙科技有限公司 | 一种手势估计方法、装置、存储介质及设备 |
| CN113724331A (zh) * | 2021-09-02 | 2021-11-30 | 北京城市网邻信息技术有限公司 | 视频处理方法、视频处理装置和非瞬时性存储介质 |
| CN113963188A (zh) * | 2021-09-16 | 2022-01-21 | 杭州易现先进科技有限公司 | 一种结合地图信息视觉定位的方法、系统、装置和介质 |
| CN113963188B (zh) * | 2021-09-16 | 2024-08-23 | 杭州易现先进科技有限公司 | 一种结合地图信息视觉定位的方法、系统、装置和介质 |
| CN114189605A (zh) * | 2021-11-02 | 2022-03-15 | 联想(北京)有限公司 | 一种处理方法及装置 |
| CN114189605B (zh) * | 2021-11-02 | 2023-10-27 | 联想(北京)有限公司 | 一种处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112150551B (zh) | 2023-07-25 |
| US11887388B2 (en) | 2024-01-30 |
| US20210304438A1 (en) | 2021-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112150551B (zh) | 物体位姿的获取方法、装置和电子设备 | |
| US10732725B2 (en) | Method and apparatus of interactive display based on gesture recognition | |
| US11842514B1 (en) | Determining a pose of an object from rgb-d images | |
| CN111722245B (zh) | 定位方法、定位装置和电子设备 | |
| CN111709973B (zh) | 目标跟踪方法、装置、设备及存储介质 | |
| CN111291885A (zh) | 近红外图像的生成方法、生成网络的训练方法和装置 | |
| CN111797745B (zh) | 一种物体检测模型的训练及预测方法、装置、设备及介质 | |
| CN110109535A (zh) | 增强现实生成方法及装置 | |
| JP7228623B2 (ja) | 障害物検出方法、装置、設備、記憶媒体、及びプログラム | |
| CN103914876A (zh) | 用于在3d地图上显示视频的方法和设备 | |
| US20210374977A1 (en) | Method for indoor localization and electronic device | |
| CN112509058B (zh) | 外参的计算方法、装置、电子设备和存储介质 | |
| JP2015049776A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| CN111462179B (zh) | 三维物体跟踪方法、装置及电子设备 | |
| CN115578515A (zh) | 三维重建模型的训练方法、三维场景渲染方法及装置 | |
| CN114998433A (zh) | 位姿计算方法、装置、存储介质以及电子设备 | |
| CN111191619A (zh) | 车道线虚线段的检测方法、装置、设备和可读存储介质 | |
| CN111967481B (zh) | 视觉定位方法、装置、电子设备及存储介质 | |
| CN117422851A (zh) | 虚拟换衣方法及其装置、电子设备 | |
| CN112085842B (zh) | 深度值确定方法及装置、电子设备和存储介质 | |
| CN115578432A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN114565777A (zh) | 数据处理方法和装置 | |
| US20200167005A1 (en) | Recognition device and recognition method | |
| CN114820908B (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
| Alleaume et al. | Introduction to AR-Bot, an AR system for robot navigation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |