CN113763458B - 确定目标对象摆放面的方法和装置 - Google Patents
确定目标对象摆放面的方法和装置 Download PDFInfo
- Publication number
- CN113763458B CN113763458B CN202010847554.0A CN202010847554A CN113763458B CN 113763458 B CN113763458 B CN 113763458B CN 202010847554 A CN202010847554 A CN 202010847554A CN 113763458 B CN113763458 B CN 113763458B
- Authority
- CN
- China
- Prior art keywords
- projection
- target object
- image
- analyzed
- projection vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 239000013598 vector Substances 0.000 claims abstract description 169
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 230000004044 response Effects 0.000 claims abstract description 6
- 230000015654 memory Effects 0.000 claims description 19
- 238000005259 measurement Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 5
- 229910052704 radon Inorganic materials 0.000 claims description 4
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- NIJJYAXOARWZEE-UHFFFAOYSA-N Valproic acid Chemical compound CCCC(C(O)=O)CCC NIJJYAXOARWZEE-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Abstract
本申请公开了确定目标对象摆放面的方法和装置，实现方案为：响应于接收到某区域的点云数据和区域的二维图像，对点云数据和二维图像进行分析，确定区域的待分析图像；基于各个投影方向对待分析图像进行投影，得到与投影方向相对应的各个第一投影向量；根据待分析图像中各个目标对象的像素尺寸，确定各个目标对象所对应的投影向量组；根据各个第一投影向量，利用互相关检测算法对每个目标对象的各个第二投影向量进行检测，确定每个目标对象与各个第一投影向量相对应的第二投影向量；根据每个目标对象与各个第一投影向量相对应的第二投影向量，确定目标对象的摆放面。该方案实现了针对物体少纹理密排场景下利用投影互相关确定物体摆放面的方法。
Description
技术领域
本申请涉及计算机技术领域，具体涉及人工智能技术领域，尤其涉及确定目标对象摆放面的方法和装置。
背景技术
机器人抓取从八十年代研究至今已较为广泛，拥有广阔的应用前景。针对机器人抓取的目标定位技术涉及目标检测和分割技术，其中，目标检测提供目标对象的矩形包围框，目标分割提供目标对象的精确边界，同时提供更加精确的对象区域描述。机器人抓取的目标定位主要包括：针对2D图像特征的目标检测和针对3D特征的目标检测。
针对密排场景下少纹理的方形物体的目标定位，因物体的纹理较少，较难提取出2D特征，而方形物体在密排场景下，其点云呈现一个平面，3D特征技术效果也不好，因此基于2D特征和3D特征的方法很难有用武之地。
发明内容
本申请提供了一种确定目标对象摆放面的方法、装置、设备以及存储介质。
根据本申请的第一方面，提供了一种确定目标对象摆放面的方法，该方法包括：响应于接收到某区域的点云数据和区域的二维图像，对点云数据和二维图像进行分析，确定区域的待分析图像，其中，待分析图像用于表征多个目标对象对应的平面图像；基于各个投影方向对待分析图像进行投影，得到与投影方向相对应的各个第一投影向量，其中，各个投影方向基于目标对象的不同摆放方式而预先设定；根据待分析图像中各个目标对象的像素尺寸，确定各个目标对象所对应的投影向量组，其中，每个目标的像素尺寸基于相应目标对象的外形尺寸计算得到，投影向量组为表征目标对象的外形度量方式对应的各个第二投影向量的组合；根据各个第一投影向量，利用互相关检测算法对每个目标对象的各个第二投影向量进行检测，确定每个目标对象与各个第一投影向量相对应的第二投影向量，其中，互相关检测算法用于表征从所有第二投影向量中选取与每个第一投影向量相似度最高的第二投影向量；根据每个目标对象与各个第一投影向量相对应的第二投影向量，确定相应目标对象的摆放面。
在一些实施例中，对点云数据和二维图像进行分析，确定区域的待分析图像，包括：根据点云数据，对区域进行划分，得到区域的各个子区域；对二维图像进行边缘计算，得到二维图像的边缘图；根据区域的各个子区域和二维图像的边缘图，确定区域的各个子区域对应的边缘图；根据区域的各个子区域对应的边缘图，对区域的各个子区域进行选取，得到所选子区域对应的待分析图像，其中，待分析图像用于表征密排的多个目标对象所对应的图像。
在一些实施例中，在基于各个投影方向对待分析图像进行投影，得到与投影方向相对应的各个第一投影向量之前，还包括：对待分析图像进行矫正，得到矫正后的待分析图像。
在一些实施例中，对待分析图像进行矫正，得到矫正后的待分析图像，包括：利用拉东变换，对待分析图像进行各个角度的投影，得到待分析图像对应的各个角度的投影向量，其中，各个角度的投影向量基于角度间隔依次投影得到；根据计算得到的各个角度的投影向量的均方根，选取均方根的最大值所对应的角度作为待分析图像的旋转角度；利用旋转角度，对待分析图像进行矫正，得到矫正后的待分析图像。
在一些实施例中，方法还包括：根据确定的每个目标对象的摆放面，对相应目标对象进行检测；基于每个目标对象的检测结果，引导机械手对目标对象进行抓取。
根据本申请的第二方面，提供了一种确定目标对象摆放面的装置，装置包括：分析单元，被配置成响应于接收到某区域的点云数据和区域的二维图像，对点云数据和二维图像进行分析，确定区域的待分析图像，其中，待分析图像用于表征多个目标对象对应的平面图像；第一投影单元，被配置成基于各个投影方向对待分析图像进行投影，得到与投影方向相对应的各个第一投影向量，其中，各个投影方向基于目标对象的不同摆放方式而预先设定；第二投影单元，被配置成根据待分析图像中各个目标对象的像素尺寸，确定各个目标对象所对应的投影向量组，其中，每个目标的像素尺寸基于相应目标对象的外形尺寸计算得到，投影向量组为表征目标对象的外形度量方式对应的各个第二投影向量的组合；检测单元，被配置成根据各个第一投影向量，利用互相关检测算法对每个目标对象的各个第二投影向量进行检测，确定每个目标对象与各个第一投影向量相对应的第二投影向量，其中，互相关检测算法用于表征从所有第二投影向量中选取与每个第一投影向量相似度最高的第二投影向量；确定单元，被配置成根据每个目标对象与各个第一投影向量相对应的第二投影向量，确定相应目标对象的摆放面。
在一些实施例中，分析单元，包括：划分模块，被配置成根据点云数据，对区域进行划分，得到区域的各个子区域；计算模块，被配置成对二维图像进行边缘计算，得到二维图像的边缘图；确定模块，被配置成根据区域的各个子区域和二维图像的边缘图，确定区域的各个子区域对应的边缘图；选取模块，被配置成根据区域的各个子区域对应的边缘图，对区域的各个子区域进行选取，得到所选子区域对应的待分析图像，其中，待分析图像用于表征密排的多个目标对象所对应的图像。
在一些实施例中，装置还包括：矫正单元，被配置成对待分析图像进行矫正，得到矫正后的待分析图像。
在一些实施例中，矫正单元，包括：投影模块，被配置成利用拉东变换，对待分析图像进行各个角度的投影，得到待分析图像对应的各个角度的投影向量，其中，各个角度的投影向量基于角度间隔依次投影得到；选取模块，被配置成根据计算得到的各个角度的投影向量的均方根，选取均方根的最大值所对应的角度作为待分析图像的旋转角度；矫正模块，被配置成利用旋转角度，对待分析图像进行矫正，得到矫正后的待分析图像。
在一些实施例中，装置还包括：优化单元，被配置成根据确定的每个目标对象的摆放面，对相应目标对象进行检测；基于每个目标对象的检测结果，引导机械手对所述目标对象进行抓取。
根据本申请的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。
根据本申请的第四方面，本申请提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。
根据本申请的技术采用响应于接收到某区域的点云数据和区域的二维图像，对点云数据和二维图像进行分析，确定区域的待分析图像，基于各个投影方向对待分析图像进行投影，得到与投影方向相对应的各个第一投影向量，根据待分析图像中各个目标对象的像素尺寸，确定各个目标对象所对应的投影向量组，根据各个第一投影向量，利用互相关检测算法对每个目标对象的各个第二投影向量进行检测，确定每个目标对象与各个第一投影向量相对应的第二投影向量，根据每个目标对象与各个第一投影向量相对应的第二投影向量，确定相应目标对象的摆放面，利用物体尺寸的先验知识，通过对投影向量计算互相关度，从而推演出物体的摆放面，实现了针对物体少纹理密排场景下利用投影互相关确定物体摆放面的方法，解决了现有技术中因物体的纹理较少，较难提取2D特征的问题，避免了现有技术中在较难获得较多数据的情况下，基于深度学习的方法无法适用的问题，同时解决了现有技术中基于3D点云的方法对相机要求较高，使得项目成本超预算的问题，还解决了基于2D特征的方法，比如霍夫变换直线检测法，导致检测过程不鲁棒，容易识别出很多假线段的问题。通过使用投影技术，使得受噪声的影响很小，鲁棒性较好，利用每个目标对象的外形度量方式(比如长宽高)进行摆放面的确定，避免了现有技术中需要对不连续线段进行融合的后处理步骤，使过程更为便捷。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。
图1是根据本申请的确定目标对象摆放面的方法的第一实施例的示意图；
图2是可以实现本申请实施例的确定目标对象摆放面的方法的场景图；
图3是根据本申请的确定目标对象摆放面的方法的第二实施例的示意图；
图4是根据本申请的确定目标对象摆放面的装置的一个实施例的结构示意图；
图5是用来实现本申请实施例的确定目标对象摆放面的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了根据本申请的确定目标对象摆放面的方法的第一实施例的示意图100。该确定目标对象摆放面的方法，包括以下步骤：
步骤101，响应于接收到某区域的点云数据和该区域的二维图像，对点云数据和二维图像进行分析，确定区域的待分析图像。
在本实施例中，执行主体可以通过有线连接方式或者无线连接方式从其他电子设备或者本地接收某区域的点云数据和区域的二维图像，然后利用预设的图像确定方法，对点云数据和二维图像进行分析，确定区域的待分析图像。待分析图像可以用于表征多个目标对象对应的平面图像。所述区域可以为感兴趣区域ROI区域。需要指出的是，上述无线连接方式可以包括但不限于3G、4G、5G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
步骤102，基于各个投影方向对待分析图像进行投影，得到与投影方向相对应的各个第一投影向量。
在本实施例中，执行主体可以基于不同投影方向对步骤101中确定的待分析图像进行投影，得到与投影方向相对应的各个第一投影向量。各个投影方向基于目标对象的不同摆放方式而预先设定。目标对象可以为长方体、圆柱体、椎体等各种不规则形状的物体，摆放方式基于目标对象的外形而不同，比如长方体的摆放方式可以分为长和宽所形成的面作为摆放面、长和高所形成的面作为摆放面以及高和宽所形成的面作为摆放面；圆柱体的摆放方式可以分为将圆柱的柱状面作为摆放面和将圆柱的圆形面作为摆放面。例如针对长方体的目标对象投影方向可以设定为水平方向和垂直方向，投影表征将待分析图像沿水平和垂直方向做线性积分。
步骤103，根据待分析图像中各个目标对象的像素尺寸，确定各个目标对象所对应的投影向量组。
在本实施例中，执行主体可以利用每个目标对象预设的外形尺寸计算得到每个目标对象的像素尺寸后，根据待分析图像中各个目标对象的像素尺寸，确定各个目标对象所对应的投影向量组。投影向量组可以为表征目标对象的外形度量方式对应的各个第二投影向量的组合。例如目标对象为长方体，其外形度量方式为长度、宽度和高度，目标对象分别以长度、宽度和高度作为投影方向得到不同的第二投影向量为lc、wc和hc，则对应的投影向量组为[lc,wc,hc]。待分析图像中各个目标对象的像素尺寸可以根据相机的内外参和物体的实际尺寸估算得到。
步骤104，根据各个第一投影向量，利用互相关检测算法对每个目标对象的各个第二投影向量进行检测，确定每个目标对象与各个第一投影向量相对应的第二投影向量。
在本实施例中，执行主体可以根据步骤102得到的各个第一投影向量，利用互相关检测算法对步骤103得到的每个目标对象的各个第二投影向量进行检测，确定每个目标对象与各个第一投影向量相对应的第二投影向量。互相关检测算法可以用于表征从所有第二投影向量中选取与每个第一投影向量相似度最高的第二投影向量。
进一步举例说明，对于某个外形为长方体的目标对象，利用互相关(互协方差)函数，将该目标对象投影向量组中的第二投影向量lc与沿水平方向投影的第一投影向量做全卷积得到结果为：最大值出现的下标为566处，最大值为35241.9，对该目标对象投影向量组中的第二投影向量wc和hc做同样的操作，分别得到全卷积后的最大值为：19966.5和20300.8，可见lc的最大值最大，即相关度最高，因此可以确定该目标对象与沿水平方向的第一投影向量相对应的第二投影向量为lc。同理可以确定该目标对象与沿垂直方向的第一投影向量相对应的第二投影向量为hc。
步骤105，根据每个目标对象与各个第一投影向量相对应的第二投影向量，确定相应目标对象的摆放面。
在本实施例中，执行主体可以根据每个目标对象与各个第一投影向量相对应的第二投影向量所表征的外形度量方式，来确定相应目标对象的摆放面。摆放面表示为机械手在抓取目标对象时，从目标对象顶部看到的目标对象的显示面。例如基于步骤104中确定的lc(表征长度)和hc(表征高度)，即可确定目标物体的摆放面为长度和高度所形成的物体面。
需要说明的是，在事先不知道物体尺寸情况下，也可以计算投影向量的自相关系数从而得到周期，进而推演出物体尺寸。上述投影技术和互相关函数是目前广泛研究和应用的公知技术，在此不再赘述。
继续参见图2，本实施例的确定目标对象摆放面的方法200运行于电子设备201中。当电子设备201接收到某区域的点云数据和区域的二维图像后，电子设备201首先对点云数据和二维图像进行分析，确定区域的待分析图像202，然后电子设备201基于各个投影方向对待分析图像进行投影，得到与投影方向相对应的各个第一投影向量203，并根据待分析图像中各个目标对象的像素尺寸，确定各个目标对象所对应的投影向量组204，接着电子设备201根据各个第一投影向量，利用互相关检测算法对每个目标对象的各个第二投影向量进行检测，确定每个目标对象与各个第一投影向量相对应的第二投影向量205，最后电子设备201根据每个目标对象与各个第一投影向量相对应的第二投影向量，确定相应目标对象的摆放面206。
本申请的上述实施例提供的确定目标对象摆放面的方法采用响应于接收到某区域的点云数据和区域的二维图像，对点云数据和二维图像进行分析，确定区域的待分析图像，基于各个投影方向对待分析图像进行投影，得到与投影方向相对应的各个第一投影向量，根据待分析图像中各个目标对象的像素尺寸，确定各个目标对象所对应的投影向量组，根据各个第一投影向量，利用互相关检测算法对每个目标对象的各个第二投影向量进行检测，确定每个目标对象与各个第一投影向量相对应的第二投影向量，根据每个目标对象与各个第一投影向量相对应的第二投影向量，确定相应目标对象的摆放面，利用物体尺寸的先验知识，通过对投影向量计算互相关度，从而推演出物体的摆放面，实现了针对物体少纹理密排场景下利用投影互相关确定物体摆放面的方法，解决了现有技术中因物体的纹理较少，较难提取2D特征的问题，避免了现有技术中在较难获得较多数据的情况下，基于深度学习的方法无法适用的问题，同时解决了现有技术中基于3D点云的方法对相机要求较高，使得项目成本超预算的问题，还解决了基于2D特征的方法，比如霍夫变换直线检测法，导致检测过程不鲁棒，容易识别出很多假线段的问题。通过使用投影技术，使得受噪声的影响很小，鲁棒性较好，利用每个目标对象的外形度量方式(比如长宽高)进行摆放面的确定，避免了现有技术中需要对不连续线段进行融合的后处理步骤，使过程更为便捷。
进一步参考图3，其示出了确定目标对象摆放面的方法的第二实施例的示意图300。该方法的流程包括以下步骤：
步骤301，响应于接收到某区域的点云数据和区域的二维图像，对点云数据和二维图像进行分析，确定区域的待分析图像。
在本实施例的一些可选的实现方式中，对点云数据和二维图像进行分析，确定区域的待分析图像，包括：根据点云数据，对区域进行划分，得到区域的各个子区域；对二维图像进行边缘计算，得到二维图像的边缘图；根据区域的各个子区域和二维图像的边缘图，确定区域的各个子区域对应的边缘图；根据区域的各个子区域对应的边缘图，对区域的各个子区域进行选取，得到所选子区域对应的待分析图像，其中，待分析图像用于表征密排的多个目标对象所对应的图像。划分的方法可以包括：快速平面分割法PEAC和DON(differenceof normal)通过法线差分割平面。边缘图的计算可以包含脊滤波(ridge filter)、canny算子和基于深度学习的边缘计算方法。实现简单快速地获取待分析图像。
步骤302，对待分析图像进行矫正，得到矫正后的待分析图像。
在本实施例中，执行主体可以对待分析图像进行矫正，得到矫正后的待分析图像。
在本实施例的一些可选的实现方式中，对待分析图像进行矫正，得到矫正后的待分析图像，包括：利用拉东变换，对待分析图像进行各个角度的投影，得到待分析图像对应的各个角度的投影向量，其中，各个角度的投影向量基于角度间隔依次投影得到；根据计算得到的各个角度的投影向量的均方根，选取均方根的最大值所对应的角度作为待分析图像的旋转角度；利用旋转角度，对待分析图像进行矫正，得到矫正后的待分析图像。通过radon变换对待分析图像进行投影，从而计算旋转角度，提高了抗噪声性能。
步骤303，基于各个投影方向对待分析图像进行投影，得到与投影方向相对应的各个第一投影向量。
步骤304，根据待分析图像中各个目标对象的像素尺寸，确定各个目标对象所对应的投影向量组。
步骤305，根据各个第一投影向量，利用互相关检测算法对每个目标对象的各个第二投影向量进行检测，确定每个目标对象与各个第一投影向量相对应的第二投影向量。
步骤306，根据每个目标对象与各个第一投影向量相对应的第二投影向量，确定相应目标对象的摆放面。
在本实施例的一些可选的实现方式中，方法还包括：根据确定的每个目标对象的摆放面，对相应目标对象进行检测；基于每个目标对象的检测结果，引导机械手对目标对象进行抓取。通过事先预判待识别物体的摆放面，提高了后续算法识别的准确率。
在本实施例中，步骤301、303和306的具体操作与图1所示的实施例中的步骤101和105的操作基本相同，在此不再赘述。
从图3中可以看出，与图1对应的实施例相比，本实施例中的确定目标对象摆放面的方法的示意图300采用对待分析图像进行矫正，得到矫正后的待分析图像，即而进行后续处理，使后续的投影结果更为准确，提高了最终结果的准确率。
进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种确定目标对象摆放面的装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图4所示，本实施例的确定目标对象摆放面的装置400包括：分析单元401、第一投影单元402、第二投影单元403、检测单元404和确定单元405，其中，分析单元，被配置成响应于接收到某区域的点云数据和区域的二维图像，对点云数据和二维图像进行分析，确定区域的待分析图像，其中，待分析图像用于表征多个目标对象对应的平面图像；第一投影单元，被配置成基于各个投影方向对待分析图像进行投影，得到与投影方向相对应的各个第一投影向量，其中，各个投影方向基于目标对象的不同摆放方式而预先设定；第二投影单元，被配置成根据待分析图像中各个目标对象的像素尺寸，确定各个目标对象所对应的投影向量组，其中，每个目标的像素尺寸基于相应目标对象的外形尺寸计算得到，投影向量组为表征目标对象的外形度量方式对应的各个第二投影向量的组合；检测单元，被配置成根据各个第一投影向量，利用互相关检测算法对每个目标对象的各个第二投影向量进行检测，确定每个目标对象与各个第一投影向量相对应的第二投影向量，其中，互相关检测算法用于表征从所有第二投影向量中选取与每个第一投影向量相似度最高的第二投影向量；确定单元，被配置成根据每个目标对象与各个第一投影向量相对应的第二投影向量，确定相应目标对象的摆放面。
在本实施例中，确定目标对象摆放面的装置400的分析单元401、第一投影单元402、第二投影单元403、检测单元404和确定单元405的具体处理及其所带来的技术效果可分别参考图1对应的实施例中的步骤101到步骤105的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，分析单元，包括：划分模块，被配置成根据点云数据，对区域进行划分，得到区域的各个子区域；计算模块，被配置成对二维图像进行边缘计算，得到二维图像的边缘图；确定模块，被配置成根据区域的各个子区域和二维图像的边缘图，确定区域的各个子区域对应的边缘图；选取模块，被配置成根据区域的各个子区域对应的边缘图，对区域的各个子区域进行选取，得到所选子区域对应的待分析图像，其中，待分析图像用于表征密排的多个目标对象所对应的图像。
在本实施例的一些可选的实现方式中，装置还包括：矫正单元，被配置成对待分析图像进行矫正，得到矫正后的待分析图像。
在本实施例的一些可选的实现方式中，矫正单元包括：投影模块，被配置成利用拉东变换，对待分析图像进行各个角度的投影，得到待分析图像对应的各个角度的投影向量，其中，各个角度的投影向量基于角度间隔依次投影得到；选取模块，被配置成根据计算得到的各个角度的投影向量的均方根，选取均方根的最大值所对应的角度作为待分析图像的旋转角度；矫正模块，被配置成利用旋转角度，对待分析图像进行矫正，得到矫正后的待分析图像。
在本实施例的一些可选的实现方式中，装置还包括：优化单元，被配置成根据确定的每个目标对象的摆放面，对相应目标对象进行检测；基于每个目标对象的检测结果，引导机械手对所述目标对象进行抓取。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图5所示，是根据本申请实施例的确定目标对象摆放面的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的确定目标对象摆放面的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的确定目标对象摆放面的方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的确定目标对象摆放面的方法对应的程序指令/模块(例如，附图4所示的分析单元401、第一投影单元402、第二投影单元403、检测单元404和确定单元405)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的确定目标对象摆放面的方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据确定目标对象摆放面的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至确定目标对象摆放面的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
确定目标对象摆放面的方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与确定目标对象摆放面的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前侧部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前侧部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，采用响应于接收到某区域的点云数据和区域的二维图像，对点云数据和二维图像进行分析，确定区域的待分析图像，基于各个投影方向对待分析图像进行投影，得到与投影方向相对应的各个第一投影向量，根据待分析图像中各个目标对象的像素尺寸，确定各个目标对象所对应的投影向量组，根据各个第一投影向量，利用互相关检测算法对每个目标对象的各个第二投影向量进行检测，确定每个目标对象与各个第一投影向量相对应的第二投影向量，根据每个目标对象与各个第一投影向量相对应的第二投影向量，确定相应目标对象的摆放面，利用物体尺寸的先验知识，通过对投影向量计算互相关度，从而推演出物体的摆放面，实现了针对物体少纹理密排场景下利用投影互相关确定物体摆放面的方法，解决了现有技术中因物体的纹理较少，较难提取2D特征的问题，避免了现有技术中在较难获得较多数据的情况下，基于深度学习的方法无法适用的问题，同时解决了现有技术中基于3D点云的方法对相机要求较高，使得项目成本超预算的问题，还解决了基于2D特征的方法，比如霍夫变换直线检测法，导致检测过程不鲁棒，容易识别出很多假线段的问题。通过使用投影技术，使得受噪声的影响很小，鲁棒性较好，利用每个目标对象的外形度量方式(比如长宽高)进行摆放面的确定，避免了现有技术中需要对不连续线段进行融合的后处理步骤，使过程更为便捷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (12)
1.一种确定目标对象摆放面的方法，所述方法包括：
响应于接收到某区域的点云数据和所述区域的二维图像，对所述点云数据和所述二维图像进行分析，确定所述区域的待分析图像，其中，所述待分析图像用于表征多个目标对象对应的平面图像；
基于各个投影方向对所述待分析图像进行投影，得到与投影方向相对应的各个第一投影向量，其中，所述各个投影方向基于所述目标对象的不同摆放方式而预先设定；
根据所述待分析图像中各个目标对象的像素尺寸，确定各个目标对象所对应的投影向量组，其中，所述每个目标的像素尺寸基于相应目标对象的外形尺寸计算得到，所述投影向量组为表征所述目标对象的外形度量方式对应的各个第二投影向量的组合；
根据各个第一投影向量，利用互相关检测算法对每个目标对象的各个第二投影向量进行检测，确定每个目标对象与各个第一投影向量相对应的第二投影向量，其中，所述互相关检测算法用于表征从所有第二投影向量中选取与每个第一投影向量相似度最高的第二投影向量；
根据每个目标对象与各个第一投影向量相对应的第二投影向量，确定相应目标对象的摆放面。
2.根据权利要求1所述的方法，其中，所述对所述点云数据和所述二维图像进行分析，确定所述区域的待分析图像，包括：
根据所述点云数据，对所述区域进行划分，得到所述区域的各个子区域；
对所述二维图像进行边缘计算，得到所述二维图像的边缘图；
根据所述区域的各个子区域和所述二维图像的边缘图，确定所述区域的各个子区域对应的边缘图；
根据所述区域的各个子区域对应的边缘图，对所述区域的各个子区域进行选取，得到所选子区域对应的待分析图像，其中，所述待分析图像用于表征密排的多个目标对象所对应的图像。
3.根据权利要求1所述的方法，其中，在所述基于各个投影方向对所述待分析图像进行投影，得到与投影方向相对应的各个第一投影向量之前，还包括：
对所述待分析图像进行矫正，得到矫正后的所述待分析图像。
4.根据权利要求3所述的方法，其中，所述对所述待分析图像进行矫正，得到矫正后的所述待分析图像，包括：
利用拉东变换，对所述待分析图像进行各个角度的投影，得到所述待分析图像对应的各个角度的投影向量，其中，所述各个角度的投影向量基于角度间隔依次投影得到；
根据计算得到的各个角度的投影向量的均方根，选取所述均方根的最大值所对应的角度作为所述待分析图像的旋转角度；
利用所述旋转角度，对所述待分析图像进行矫正，得到矫正后的所述待分析图像。
5.根据权利要求1所述的方法，还包括：
根据确定的每个目标对象的摆放面，对相应目标对象进行检测；基于每个目标对象的检测结果，引导机械手对所述目标对象进行抓取。
6.一种确定目标对象摆放面的装置，所述装置包括：
分析单元，被配置成响应于接收到某区域的点云数据和所述区域的二维图像，对所述点云数据和所述二维图像进行分析，确定所述区域的待分析图像，其中，所述待分析图像用于表征多个目标对象对应的平面图像；
第一投影单元，被配置成基于各个投影方向对所述待分析图像进行投影，得到与投影方向相对应的各个第一投影向量，其中，所述各个投影方向基于所述目标对象的不同摆放方式而预先设定；
第二投影单元，被配置成根据所述待分析图像中各个目标对象的像素尺寸，确定各个目标对象所对应的投影向量组，其中，所述每个目标的像素尺寸基于相应目标对象的外形尺寸计算得到，所述投影向量组为表征所述目标对象的外形度量方式对应的各个第二投影向量的组合；
检测单元，被配置成根据各个第一投影向量，利用互相关检测算法对每个目标对象的各个第二投影向量进行检测，确定每个目标对象与各个第一投影向量相对应的第二投影向量，其中，所述互相关检测算法用于表征从所有第二投影向量中选取与每个第一投影向量相似度最高的第二投影向量；
确定单元，被配置成根据每个目标对象与各个第一投影向量相对应的第二投影向量，确定相应目标对象的摆放面。
7.根据权利要求6所述的装置，其中，所述分析单元，包括：
划分模块，被配置成根据所述点云数据，对所述区域进行划分，得到所述区域的各个子区域；
计算模块，被配置成对所述二维图像进行边缘计算，得到所述二维图像的边缘图；
确定模块，被配置成根据所述区域的各个子区域和所述二维图像的边缘图，确定所述区域的各个子区域对应的边缘图；
选取模块，被配置成根据所述区域的各个子区域对应的边缘图，对所述区域的各个子区域进行选取，得到所选子区域对应的待分析图像，其中，所述待分析图像用于表征密排的多个目标对象所对应的图像。
8.根据权利要求6所述的装置，还包括：
矫正单元，被配置成对所述待分析图像进行矫正，得到矫正后的所述待分析图像。
9.根据权利要求8所述的装置，其中，所述矫正单元，包括：
投影模块，被配置成利用拉东变换，对所述待分析图像进行各个角度的投影，得到所述待分析图像对应的各个角度的投影向量，其中，所述各个角度的投影向量基于角度间隔依次投影得到；
选取模块，被配置成根据计算得到的各个角度的投影向量的均方根，选取所述均方根的最大值所对应的角度作为所述待分析图像的旋转角度；
矫正模块，被配置成利用所述旋转角度，对所述待分析图像进行矫正，得到矫正后的所述待分析图像。
10.根据权利要求6所述的装置，还包括：
优化单元，被配置成根据确定的每个目标对象的摆放面，对相应目标对象进行检测；基于每个目标对象的检测结果，引导机械手对所述目标对象进行抓取。
11.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010847554.0A CN113763458B (zh) | 2020-08-21 | 2020-08-21 | 确定目标对象摆放面的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010847554.0A CN113763458B (zh) | 2020-08-21 | 2020-08-21 | 确定目标对象摆放面的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113763458A CN113763458A (zh) | 2021-12-07 |
| CN113763458B true CN113763458B (zh) | 2024-04-05 |
Family
ID=78785602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010847554.0A Active CN113763458B (zh) | 2020-08-21 | 2020-08-21 | 确定目标对象摆放面的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763458B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929612A (zh) * | 2019-11-13 | 2020-03-27 | 北京云聚智慧科技有限公司 | 一种目标对象标注方法、装置及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109345510A (zh) * | 2018-09-07 | 2019-02-15 | 百度在线网络技术（北京）有限公司 | 物体检测方法、装置、设备、存储介质及车辆 |
-
2020
- 2020-08-21 CN CN202010847554.0A patent/CN113763458B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929612A (zh) * | 2019-11-13 | 2020-03-27 | 北京云聚智慧科技有限公司 | 一种目标对象标注方法、装置及设备 |
Non-Patent Citations (2)
| Title |
|---|
| 蒋斌 ; 赵子龙 ; 宋展 ; 谷飞飞 ; .低成本微型结构光动态三维重建系统研究.集成技术.2020,(03),全文. * |
| 马洪霞 ; .基于子区域投影分析的车牌倾斜校正.计算机应用与软件.2012,(06),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113763458A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210190497A1 (en) | Simultaneous location and mapping (slam) using dual event cameras | |
| CN106846403B (zh) | 一种三维空间中手部定位的方法、装置及智能设备 | |
| US9881423B2 (en) | Augmented reality-based hand interaction apparatus and method using image information | |
| EP3314570B1 (en) | Real-time, model-based object detection and pose estimation | |
| EP3016071B1 (en) | Estimating device and estimation method | |
| EP2917754B1 (en) | Image processing method, particularly used in a vision-based localization of a device | |
| JP6760957B2 (ja) | ３次元モデリング方法及び装置 | |
| EP2858008A2 (en) | Target detecting method and system | |
| US11887388B2 (en) | Object pose obtaining method, and electronic device | |
| KR102455632B1 (ko) | 스테레오 매칭 방법 및 장치 | |
| CN111709973B (zh) | 目标跟踪方法、装置、设备及存储介质 | |
| Wang et al. | Point cloud and visual feature-based tracking method for an augmented reality-aided mechanical assembly system | |
| US11842514B1 (en) | Determining a pose of an object from rgb-d images | |
| JP6487642B2 (ja) | 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 | |
| JP6054831B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| US20230260216A1 (en) | Point cloud annotation device, method, and program | |
| CN115147558A (zh) | 三维重建模型的训练方法、三维重建方法及装置 | |
| CN111462179B (zh) | 三维物体跟踪方法、装置及电子设备 | |
| CA3236016A1 (en) | Three-dimensional building model generation based on classification of image elements | |
| CN105809664A (zh) | 生成三维图像的方法和装置 | |
| JP5976126B2 (ja) | ターゲットサイズを見積もるためのシステム及び方法 | |
| EP3872762A1 (en) | Edge-based three-dimensional tracking and registration method and apparatus for augmented reality, and storage medium | |
| CN111369571B (zh) | 三维物体位姿准确性判断方法、装置及电子设备 | |
| CN113763458B (zh) | 确定目标对象摆放面的方法和装置 | |
| KR20200083202A (ko) | 특징점 간 삼각형 닮음 조건 기반 영상 유사도 평가 알고리즘 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |