CN113536957B - 获取物体点云数据的系统 - Google Patents

Abstract

本公开涉及一种获取物体点云数据的系统，可快速方便的获取目标物体的点云数据，且不受环境光或物体表面纹理影响。该系统包括：红外光发射装置、红外光接收装置、光电转换器以及置物台；其中，所述红外光发射装置、所述置物台以及所述红外光接收装置依次布置在同一直线方向上；所述置物台包括置物台本体以及相对所述置物台本体可转动的转台，所述转台用于放置目标物体；所述红外光接收装置用于接收所述红外光发射装置向处于转动状态的所述转台上的所述目标物体发射的红外光；所述光电转换器与所述红外光接收装置连接，所述光电转换装置用于对所述红外光进行光电转换，从而得到多张图像，所述多张图像用于获取所述目标物体的点云数据。

Description

获取物体点云数据的系统

技术领域

本公开涉及计算机视觉领域，具体地，涉及一种获取物体点云数据的系统。

背景技术

获取体型较小的物体时，在算法层面需要对物体进行3D检测定位，目前3D检测定位效果较好的方法是利用物体的点云数据或其他3D数据格式的深度学习算法或传统的ICP配准方法。深度学习算法需要大量的3D模型作为支持，ICP配准也要求有完整的点云模型来构建数据库，无论哪种算法都需要物体3D模型作为支持。

目前获取3D模型可以通过3D扫描得到，但该方法成本高，且无法处理透明反光的表面；还可以通过MVS实现，但MVS依赖于图像特征，无法处理表面纹理不丰富的物体，且处理速度很慢。

发明内容

本公开的目的是提供一种获取物体点云数据的系统，可快速方便的获取目标物体的点云数据，且不受环境光或物体表面纹理影响。

为了实现上述目的，本公开提供一种获取物体点云数据的系统，所述系统包括：红外光发射装置、红外光接收装置、光电转换器以及置物台；

其中，所述红外光发射装置、所述置物台以及所述红外光接收装置依次布置在同一直线方向上；

所述置物台包括置物台本体以及相对所述置物台本体可转动的转台，所述转台用于放置目标物体；

所述红外光接收装置用于接收所述红外光发射装置向处于转动状态的所述转台上的所述目标物体发射的红外光；

所述光电转换器与所述红外光接收装置连接，所述光电转换装置用于对所述红外光进行光电转换，从而得到多张图像，所述多张图像用于获取所述目标物体的点云数据。

可选地，所述系统还包括同步平移装置，所述同步平移装置包括底座以及相对所述底座可滑动的两个相互平行的滑板；

所述红外光发射装置和所述红外光接收装置分别设置在所述两个相互平行的滑板上，从而使得所述红外光发射装置与所述红外光接收装置可沿所述目标物体的水平方向和/或竖直方向同步滑动。

可选地，所述红外光发射装置的红外光发射方向与所述转台的置物面平行。

可选地，所述红外光发射装置包括红外发射阵列，所述红外发射阵列由多个红外光发射单元组成。

可选地，所述红外光接收装置包括红外接收阵列，所述红外接收阵列由多个红外光接收单元组成；

其中，所述红外光接收单元的数量与所述红外光发射单元的数量相同，且位置一一对应。

可选地，所述红外发射阵列发射的红外光构成红外区域，所述红外区域覆盖所述目标物体。

可选地，所述红外光发射装置发射红外光的频率与所述转台的转动频率一致。

可选地，所述系统还包括与所述光电转换器连接的处理模块，所述处理模块用于根据所述多张图像获取所述目标物体的点云数据。

可选地，所述处理模块根据所述多张图像获取所述目标物体的点云数据，包括：

根据所述多张图像获取所述目标物体的边缘信息；

根据所述边缘信息得到所述目标物体的点云数据。

可选地，所述处理模块根据所述多张图像获取所述目标物体的边缘信息，包括：

根据预设单位对所述目标物体进行分层处理；

根据各所述图像确定所述目标物体在各层的多组轮廓平行线；

将所述目标物体在各层的多组轮廓平行线作为所述目标物体的边缘信息。

可选地，所述处理模块根据所述边缘信息得到所述目标物体的点云数据，包括：

分别对各层的多组轮廓平行线进行多边形拟合，得到所述目标物体在各层的多边形；

将各所述多边形根据分层的空间位置进行堆叠，得到所述目标物体的点云数据。

通过上述技术方案，本公开将目标物体设置在红外光发射装置和红外光接收装置之间，设置转台使目标物体转动，获取转台旋转其上的目标物体时的红外光，进行光电转换，得到目标物体的图像，无需设置摄像装置，节省了空间，消除透视投影效果，通过目标物体的图像得到的目标物体的边缘信息更加准确，且不受环境光以及物体表面纹理影响。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据本公开一实施例示出的一种获取物体点云数据的系统的示意图；

图2是根据本公开一实施例示出的处理模块获取目标物体点云数据的流程图；

图3是根据本公开一实施例示出的获取目标物体点云数据中步骤S101的流程图；

图4是根据本公开一实施例示出的获取目标物体点云数据中步骤S102的流程图；

图5是根据本公开一实施例示出的处理模块获取目标物体点云数据的示意图；

图6是根据本公开一实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

服务型机器人在抓取体型较小的物体，如饮料瓶、杯子、水果等，在算法层面需要对物体进行3D检测定位，3D检测定位主要为利用点云或者其他3D数据格式的深度学习算法或者传统的ICP(Iterative Closest Point，最近点迭代)配准方法。其中，深度学习算法是一种数据驱动算法，需要大量的3D模型作为支持，ICP配准算法需要完整的点云模型来构建数据库，即两种算法均需要物体的3D模型作为支持，3D模型由物体的点云数据构成。

相关技术中物体的3D模型可以通过3D扫描仪、MVS(Multi-View PatchmatchStereo，多视角立体拼接)、通过CAD(Computer Aided Design，计算机辅助设计)人工设计物体专用三维重建模型以及物体投影重建算法获得。

但发明人发现，3D扫描仪虽然可对任意形状的物体进行表面重建，不受物体形状的限制，且重建速度快，但设备昂贵，且无法获取表面透明、反光的物体的三维重建模型；MVS虽然可以根据物体的已知位姿的图片，对观察到的物体进行几何重建，但对图像的特征依赖较强，且无法获取表面纹理不丰富的物体的三维重建模型且处理速度很慢；通过CAD人工设计的物体专用三维重建模型虽然可得到最为精确的物体的模型，但受物体形状的限制，适用性底，且成本太高；对于物体投影重建算法，采用相机获取物体的边缘图像，从边缘图像中来获取物体的点云数据，但在相机拍摄过程中，物体边缘会收到环境光影响、且拍摄距离过近会产生透视投影，导致获取的点云数据不准确。

有鉴于此，本公开提供一种获取物体点云数据的系统，不受物体的形状、表面纹理、材质以及环境光等影响，得到物体的点云数据。

图1是根据本公开一实施例示出的一种获取物体点云数据的系统的示意图，参照图1，该获取物体点云数据的系统包括：红外光发射装置、红外光接收装置、光电转换器以及置物台；

其中，红外光发射装置、置物台以及红外光接收装置依次布置在同一直线方向上；

置物台包括置物台本体以及相对置物台本体可转动的转台，转台用于放置目标物体；

红外光接收装置用于接收红外光发射装置向处于转动状态的转台上的目标物体发射的红外光；

光电转换器与红外光接收装置连接，光电转换装置用于对红外光进行光电转换，从而得到多张图像，多张图像用于获取目标物体的点云数据。

本公开提供的获取物体点云数据的系统，将目标物体设置在红外光发射装置和红外光接收装置之间，设置转台使目标物体转动，获取转台旋转其上的目标物体时的红外光，进行光电转换，得到目标物体的图像，无需设置摄像装置，节省了空间，消除透视投影效果，通过目标物体的图像得到的目标物体的边缘信息更加准确，且不受环境光以及物体表面纹理影响，与光电转换器连接的处理模块根据多张图像获取目标物体的点云数据。

在一可实施例中，如图1所示，获取物体点云数据的系统还包括同步平移装置，同步平移装置包括底座以及相对底座可滑动的两个相互平行的滑板；

红外光发射装置和红外光接收装置分别设置在两个相互平行的滑板上，从而使得红外光发射装置与红外光接收装置可沿目标物体的水平方向和/或竖直方向同步滑动。

通过同步平移装置将红外光发射装置和红外光接收装置沿水平方向和/或竖直方向同步平移，可得到不同分辨率的图像，还可提高得到的图像的分辨率。

举例说明，在未通过同步平移装置对红外光发射装置和红外光接收装置进行移动式，得到的图像的分辨率为h*w，在需要得到分辨率为h’*w’的图像的情况下，需要通过同步平移装置将红外光发射装置和红外光接收装置沿水平方向平移h’/h次，沿竖直方向平移w’/w次；水平方向平移步长为Ww/[(w-1)w’]，竖直方向平移步长为Hh/[(h-1)h’]，在全部平移结束后，红外光接收装置将h’w’/hw个分辨率为h*w的图像合并为一个分辨率为h’*w’的高分辨率图像，其中，H为红外光发射装置的高度，W为红外光发射装置的宽度。

在一可实施例中，如图1所示，红外光发射装置的红外光发射方向与转台的置物面平行。

举例说明，如图1所示，在转台的置物面为水平面时，红外光发射装置发射的红外光为红外平行光，红外接收装置接收红外发射装置发射的红外平行光，通过红外平行光对目标物体进行扫面。

将红外光发射装置的红外光与转台的置物面调整为平行状态，可避免通过红外光得到的图像变形扭曲，无需对图像进行变形校正处理。

在一可实施例中，如图1所示，红外光发射装置包括红外光发射阵列，红外光发射阵列由多个红外光发射单元组成。

其中，多个红外光发射单元根据预设尺寸组成红外光发射阵列，预设尺寸可根据用户需要或者目标物体的大小尺寸进行预设。

在本实施例中，红外光发射阵列高位H，宽为W，由h行w列个红外光发射单元组成，各红外光发射单元在水平方向上的间距为H/(h-1)，在竖直方向上的间距为W/(w-1)。

通过红外光发射这列对目标物体进行扫描，可缩短获取目标物体图像的时间，提高获取目标物体图像的效率。

举例说明，通过单个红外光发射单元向目标物体发射红外光从而获取目标物体图像需要移动h’*w’次红外光发射单元，而使用红外光发射阵列向目标物体发射红外光可减小移动次数，将获取目标物体图像的时间缩短为1/h*w。

在一可实施例中，如图1所示，红外光接收装置包括红外接收阵列，红外接收阵列由多个红外光接收单元组成；

其中，红外光接收单元的数量与红外光发射单元的数量相同，且位置一一对应。

红外光接收阵列接收红外光发射阵列向处于转动状态的转台上的目标物体发射的红外光，对光信号的位置进行记录，得到一张稀疏的目标物体的投影图像。

举例说明，红外光接收阵列中各红外光在接收单元在接收到光信号时，该位置记为0，未收到光信号时，该位置记为1，从而得到对应目标物体的光信号，通过光电转换器将得到的所有光信号进行光电转换，得到目标物体的投影图像。

在一可实施例中，红外发射阵列发射的红外光构成红外区域，红外区域覆盖目标物体。

通过红外光获取目标物体的图像，不受环境光以及物体表面纹理影响。

在一可实施例中，红外光发射装置发射红外光的频率与转台的转动频率一致。

通过将红外光发射装置发射红外光的频率与转台的转动频率设置为一致，避免得到的图像模糊，无法获取目标物体的点云数据。

对本实施例中获取物体点云数据的系统获取目标物体图像的过程进行说明。

如图1所示，通过移动滑板与底座的位置，使得滑板上的红外光发射阵列中最低一列红外光发射单元发射的红外光所处平面低于转台平面，红外光发射整列中最高一列红外光发射单元发射的红外光所处平面高于目标物体最高位置所处的平面，即红外光发射阵列发射的红外光构成的红外区域覆盖目标物体，无需设置摄像装置，节省了空间；

校正红外光接收阵列与红外光发射阵列之间的对应关系，使得红外光接收阵列的每一个红外光接收单元都能接收到对应的红外光发射阵列中红外光发射单元发射的红外光(被置物台遮挡的除外)，消除了透视投影效果，且不受环境光以及目标物体表面纹理影响；

启动红外光发射阵列发射红外光，转台转动，且红外光发射频率与转动频率一致；通过红外光发射阵列和红外光接收阵列对目标物体进行扫描，扫描方式可以为逐行扫描或者逐列扫描，红外光接收阵列将每次扫描得到的光信号发送给光电转换器，光电转换器将光信号转换成数字信号，并以图像形式呈现；在转台旋转一周，全部扫描结束后，得到多张用于获取目标物体的点云数据的图像，通过该图像得到的点云数据可更加准确的体现出目标物体边缘状态。

在一可实施例中，获取物体点云数据的系统还包括与光电转换器连接的处理模块，处理模块用于根据多张图像获取目标物体的点云数据。

通过与光电转换器连接的处理模块根据多张图像获取目标物体的点云数据，根据该点云数据对目标物体进行三维模型构建的结果不受物体的形状、表面纹理、材质以及环境光的影响，且获取目标物体的点云数据的速度快、精度高且成本底。

目标物体的3D模型，绝大多数都只包含表面信息，无需目标物体的内部信息，因此从几何角度分析，目标物体的3D模型，是三维空间中的一个闭合曲面，其每一层都是三维空间中的一条闭合曲线，通过逐层地获取所有的闭合曲线，就能重建目标物体的表面，即可通过目标物体表面的点云信息重建目标物体的表面。

在点云数据中，点与点之间是没有建立关联的，即需实现点云的拼接，仅通过添加相应的三维坐标即可。沿目标物体的高度方向逐层重建点云，将所有点云坐标合并到一起即可得到目标物体的点云信息。

在一可实施例中，如图2所示，处理模块根据多张图像获取目标物体的点云数据，包括：

在步骤S101中，根据多张图像获取目标物体的边缘信息。

在步骤S102中，根据边缘信息得到目标物体的点云信息。

在通过多张图像获取目标物体的点云数据时，需提取图像中物体的边缘信息。而相关技术中主要基于深度学习的图像分割算法实现，基于深度学习的图像分割算法速度快且能识别语义信息，但其稳定性较差，且提取的边缘信息的精度达不到投影重建所需的要求。

在一可实施例中，如图3所示，步骤S101中根据所长图像获取目标物体的边缘信息包括以下步骤：

在步骤S1011中，根据预设单位对目标物体进行分层处理。

所示对目标物体分层后，如图5(a)目标物体的每层都是一个平面，在重建目标物体的三维模型时需提取每个平面中目标物体的边缘曲线。

在步骤S1012中，根据各图像确定目标物体在各层的多组轮廓平行线。

如图5(b)～5(e)所示，对于目标物体分层的各层，摄像装置在目标物体转动过程中的任一角度获取的图像可以得到目标物体的左右两个边缘点，对应图5(b)～5(e)所示的一组平行线，则可根据摄像装置获取的目标物体的多个图像确定构成目标物体的轮廓的多组平行线，即确定目标物体在各层的多组轮廓平行线。

在步骤S1013中，将目标物体在各层的多组轮廓平行线作为目标物体的边缘信息。

其中，预设单位可以是根据大量三维模型重建过程中，确定的能达到最好效果的单位，还可以是三维模型重建软件所能达到的最高精度状态下的单位，在本实施例中预设单位采用像素单位。

在一可实施例中，如图4所示，在步骤S102中，根据边缘信息得到目标物体的点云信息，包括以下步骤：

在步骤S1021中，分别对各层的多组轮廓平行线进行多边形拟合，得到目标物体在各层的多边形。

如图5(f)所示，计算出各层中所有直线的交点；如图5(g)利用点到直线的距离公式求出所有直线的交点的内点；如图5(h)～5(j)所示，利用Graham(凸包)算法，计算出内点形成的凸包，即目标物体在各层的多边形。

举例说明，设目标物体旋转一周相机拍摄了N次，目标物体的每次旋转角为π/N，旋转中心对应零点，对于第i次旋转，左右边缘的坐标值为l_i和r_i，此时对应的一组平行线为：

设点p＝[x₀，y₀]^T，直线Ax+By+C＝0，则点到直线的距离为：

设直线l₀：Ax+By+C＝0，直线l₁：Ax+By+C₁＝0，则直线l₀到l₁的距离为：

目标物体旋转一周得到N组平行线，可得到2N(N-1)个交点，遍历这些交点，若某个交点处于某组平行线之外则舍弃，保留符合处于线上的点，对保留下来的点，计算其凸包，作为目标物体在当前层的近似多边形。

在步骤S1022中，将各多边形根据分层空间位置进行堆叠，得到目标物体的点云信息。

在各多边形(即凸包)的顶点间做离散插值，得到由密度均匀的点云构成的一条闭合曲线，各点间距离为参数ρ，使得相机拍摄到的点云数据是密度均匀的，并且密度是可知的，尽量减少与实际采集数据间的差异。其中，参数ρ可根据目标物体的三维模型的构建进行设置，本公开不作具体限定。将各曲线在分层空间中根据从上至下或者从下至上的顺序进行堆叠，得到目标物体的点云信息。

在一实施例中，处理模块可以设置在电子设备上，图6是根据一示例性实施示出的一种电子设备700的框图。如图6所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。

其中，处理器701用于控制该电子设备700的整体操作，以完成上述的获取物体的点云数据的全部或部分步骤。

存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(StaticRandom Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。

I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。

通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。

在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的获取物体的点云数据的全部或部分步骤。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的获取物体的点云数据的全部或部分步骤的代码部分。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (8)

1.一种获取物体点云数据的系统，其特征在于，所述系统包括：红外光发射装置、红外光接收装置、光电转换器以及置物台；

其中，所述红外光发射装置、所述置物台以及所述红外光接收装置依次布置在同一直线方向上；

所述置物台包括置物台本体以及相对所述置物台本体可转动的转台，所述转台用于放置目标物体；

所述红外光接收装置用于接收所述红外光发射装置向处于转动状态的所述转台上的所述目标物体发射的红外光；

所述光电转换器与所述红外光接收装置连接，所述光电转换装置用于对所述红外光进行光电转换，从而得到多张图像，所述多张图像用于获取所述目标物体的点云数据；

其中，所述红外光发射装置包括红外发射阵列，所述红外发射阵列由多个红外光发射单元组成，所述红外光接收装置包括红外接收阵列，所述红外发射阵列发射的红外光构成红外区域，所述红外区域覆盖所述目标物体，所述红外接收阵列由多个红外光接收单元组成，所述红外光接收单元与所述红外光发射单元的数量相同且位置一一对应。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括同步平移装置，所述同步平移装置包括底座以及相对所述底座可滑动的两个相互平行的滑板；

所述红外光发射装置和所述红外光接收装置分别设置在所述两个相互平行的滑板上，从而使得所述红外光发射装置与所述红外光接收装置可沿所述目标物体的水平方向和/或竖直方向同步滑动。

3.根据权利要求2所述的系统，其特征在于，所述红外光发射装置的红外光发射方向与所述转台的置物面平行。

4.根据权利要求1所述的系统，其特征在于，所述红外光发射装置发射红外光的频率与所述转台的转动频率一致。

5.根据权利要求1所述的系统，其特征在于，所述系统还包括与所述光电转换器连接的处理模块，所述处理模块用于根据所述多张图像获取所述目标物体的点云数据。

6.根据权利要求5所述的系统，其特征在于，所述处理模块根据所述多张图像获取所述目标物体的点云数据，包括：

根据所述多张图像获取所述目标物体的边缘信息；

根据所述边缘信息得到所述目标物体的点云数据。

7.根据权利要求6所述的系统，其特征在于，所述处理模块根据所述多张图像获取所述目标物体的边缘信息，包括：

根据预设单位对所述目标物体进行分层处理；

根据各所述图像确定所述目标物体在各层的多组轮廓平行线；

将所述目标物体在各层的多组轮廓平行线作为所述目标物体的边缘信息。

8.根据权利要求7所述的系统，其特征在于，所述处理模块根据所述边缘信息得到所述目标物体的点云数据，包括：

分别对各层的多组轮廓平行线进行多边形拟合，得到所述目标物体在各层的多边形；

将各所述多边形根据分层的空间位置进行堆叠，得到所述目标物体的点云数据。

Images