CN113785331A - 点云数据处理装置、点云数据处理方法以及程序 - Google Patents

点云数据处理装置、点云数据处理方法以及程序 Download PDF

Info

Publication number
CN113785331A
CN113785331A CN202080033302.2A CN202080033302A CN113785331A CN 113785331 A CN113785331 A CN 113785331A CN 202080033302 A CN202080033302 A CN 202080033302A CN 113785331 A CN113785331 A CN 113785331A
Authority
CN
China
Prior art keywords
point cloud
cloud data
image data
attribute information
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080033302.2A
Other languages
English (en)
Inventor
岩见一央
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN113785331A publication Critical patent/CN113785331A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种点云数据处理装置、点云数据处理方法以及程序，无需使用作为对象的物体的二维图形，就能够容易且高效地对点云数据进行分组。点云数据处理装置(11)具备：获取物体的图像数据的图像数据获取部(13)；获取点云数据的点云数据获取部(15)；基于图像数据识别物体，并获取物体的区域和确定物体的属性信息的识别部(23)；以及选择点云数据中属于物体的区域的点云数据，并对所选择的点云数据赋予所确定的属性信息的属性赋予部(25)。

Description

点云数据处理装置、点云数据处理方法以及程序
技术领域
本发明涉及一种点云数据处理装置、点云数据处理方法以及程序，特别涉及对点云数据进行分类并赋予属性信息的技术。
背景技术
已知一种通过激光扫描仪等，利用在物体的表面的反射，获取由表示物体的表面的三维信息的多个点构成的点云数据的技术。以各种方式对所获取的点云数据进行应用。
例如，通过按每个物体对构成所获取的点云数据的各点进行分组，能够根据点云数据生成物体的三维模型。
在专利文献1中，记载了获取物体的点云数据，并利用预先制作的物体的二维图形来进行分组。
以往技术文献
专利文献
专利文献1：日本特开2013-97489号公报
发明内容
发明要解决的技术课题
在专利文献1中，通过利用对象的物体的二维图形来进行点云的分组，但作为对象的物体的二维图形未必能够由用户利用。例如，有不存在物体的二维图形的情况，或者虽然存在物体的二维图形，但在获取物体的点云数据时物体的形状被改变而在二维图形与物体之间存在差异的情况。
本发明是鉴于这样的情况而完成的，其目的是提供一种无需使用作为对象的物体的二维图形，就能够容易且高效地对点云数据进行分组的点云数据处理装置、点云数据处理方法以及程序。
用于解决技术课题的手段
作为用于实现上述目的的本发明的一个方面的点云数据处理装置具备：图像数据获取部，其获取物体的图像数据；点云数据获取部，其获取点云数据，该点云数据具有与图像数据对应的位置关系，并表示物体的外表面上的多个点的三维信息；识别部，其基于图像数据识别物体，并获取物体的区域和确定物体的属性信息；以及属性赋予部，其选择点云数据中属于物体的区域的点云数据，并对所选择的点云数据赋予所确定的属性信息。
根据本方面，可基于图像数据获取物体的区域和确定物体的属性信息，选择属于该确定的物体的区域的点云数据并赋予属性信息。由此，本方面即使在未预先准备物体的二维图形的情况下，也能够获取物体的图像数据而容易且高效地选择点云数据来赋予属性信息。
优选的是，识别部在图像数据中包含多个物体的图像数据的情况下，按每个物体获取各物体的区域和确定各物体的属性信息，属性赋予部按每个物体选择点云数据中属于各物体的区域的点云数据，并对按每个物体选择的点云数据赋予各物体的属性信息。
优选的是，识别部在图像数据中包含具有多个部分区域的物体的图像数据的情况下，识别各部分区域的区域，并获取各部分区域的区域和确定各部分区域的属性信息，属性赋予部按各部分区域选择点云数据中属于各部分区域的点云数据，并对按每个各部分区域选择的点云数据赋予各部分区域的属性信息。
优选的是，点云数据处理装置具备点云数据补充部，该点云数据补充部至少基于由识别部识别到的物体的区域，检测属于物体的区域的点云数据的缺失部分，并对检测到的缺失部分的点云数据进行插值，属性赋予部对补充后的点云数据赋予属性信息。
优选的是，图像数据获取部获取拍摄物体而得到的摄影图像作为图像数据。
优选的是，点云数据处理装置具备图像数据生成部，该图像数据生成部基于点云数据生成图像数据，图像数据获取部获取由图像数据生成部生成的图像数据。
优选的是，识别部包括进行了机器学习或深度学习的识别器。
优选的是，点云数据处理装置具备三维模型生成部，该三维模型生成部基于被赋予了属性信息的点云数据，生成物体的三维模型。
优选的是，图像数据及点云数据分别通过具有同一光轴的装置获取。
优选的是，图像数据及点云数据分别通过相互位置关系已知的装置获取。
作为用于实现上述目的的本发明的另一方面的点云数据处理方法包括：获取物体的图像数据的步骤；获取点云数据的步骤，该点云数据具有与图像数据对应的位置关系，并表示物体的外表面上的多个点的三维信息；基于图像数据识别物体，并获取物体的区域和确定物体的属性信息的步骤；以及选择点云数据中属于物体的区域的点云数据，并对所选择的点云数据赋予所确定的属性信息的步骤。
作为用于实现上述目的的本发明的另一方面的程序使计算机执行包括以下步骤的点云数据处理工序：获取物体的图像数据的步骤；获取点云数据的步骤，该点云数据具有与图像数据对应的位置关系，并表示物体的外表面上的多个点的三维信息；基于图像数据识别物体，并获取物体的区域和确定物体的属性信息的步骤；以及选择点云数据中属于物体的区域的点云数据，并对所选择的点云数据赋予所确定的属性信息的步骤。
发明效果
根据本发明，可基于图像数据获取物体的区域和确定物体的属性信息，选择属于该确定的物体的区域的点云数据并赋予属性信息，因此，即使在未预先准备物体的二维图形的情况下，也能够获取物体的图像数据而容易且高效地选择点云数据来赋予属性信息。
附图说明
图1是表示获取图像数据及点云数据的一个方面的概念图。
图2是说明搭载于三维测定器的激光扫描仪及摄影装置的概念图。
图3是说明摄影图像与点云数据具有对应的位置关系的概念图。
图4是表示点云数据处理装置的功能结构例的框图。
图5是关于对通过由识别部进行的分割来识别物体A进行说明的图。
图6是关于被赋予了属性信息的点Q进行说明的图。
图7是说明使用了点云数据处理装置的点云数据处理方法的流程图。
图8是表示点云数据处理装置的功能结构例的框图。
图9是对点云数据的补充进行说明的图。
图10是表示点云数据处理装置的功能结构例的框图。
图11是表示将作为三棱柱的物体作为被摄体的摄影图像的图。
具体实施方式
以下，根据附图对本发明所涉及的点云数据处理装置、点云数据处理方法以及程序的优选实施方式进行说明。
图1是表示通过三维计测器1获取输入到点云数据处理装置11(参照图4)的图像数据(摄影图像5)及点云数据7(参照图4)的一个方面的概念图。另外，图2是说明搭载于三维计测器1的激光扫描仪101及摄影装置(照相机)102的概念图。
如图1所示，三维计测器1获取作为计测对象的物体A的点云数据及以物体A为被摄体的摄影图像5。
三维计测器1是从搭载的激光扫描仪101(参照图2)射出激光脉冲，根据激光脉冲在作为计测对象的物体A的表面反射并返回为止的时间来计测距离的飞行时间方式的装置。另外，激光扫描仪101获取以激光扫描仪101的旋转中心为基准的激光脉冲的射出方向的角度信息(在图1中记载有水平方向α、垂直方向β)。然后，根据计测出的距离和激光脉冲的射出方向的角度信息，获取激光脉冲的反射点的三维信息。激光扫描仪101通过以规定的间距变更激光脉冲的射出方向的水平方向d和垂直方向β，获取多个点的三维信息。在此，点云数据是表示作为计测对象的物体的外表面上的多个点的三维信息的数据，而且构成点云数据的各点分别具有三维信息(三维坐标)。激光扫描仪101不限于飞行时间方式，也可以通过相位差方式、三角法方式获取点云数据。
三维计测器1通过搭载的具有光轴L的摄影装置102(参照图2)获取摄影图像5。摄影装置102包括CCD(Charge Coupled Device)等(未图示)摄像元件。摄像元件具有由在x方向(水平方向)及y方向(垂直方向)上二维排列的光电交换元件构成的多个像素，在多个像素的上表面具备例如R(红)、G(绿)及B(蓝)的滤波器二维拜耳排列的滤色器(未图示)。而且，通过摄影装置102获取彩色图像的摄影图像5。此外，通过摄影装置102获取的摄影图像不限于彩色图像，也可以是黑白图像。
三维计测器1在激光扫描仪101上设置有摄影装置102，激光扫描仪101与摄影装置102的位置关系是已知的。此外，激光扫描仪101与摄影装置102的位置关系只要是已知即可，没有特别限定。例如，激光扫描仪101和摄影装置102可以设置为具有同一光轴。另外，三维计测器1能够同时或依次获取点云数据及摄影图像5。
此外，在三维计测器1中，虽然由激光扫描仪101获取点云数据，但获取点云数据的装置并不限定于激光扫描仪101。例如，也可以使用ToF(Time-Of-Flight)相机或立体相机来获取点云数据。
图3是说明摄影图像5与点云数据7(参照图4)具有对应的位置关系的概念图。摄影图像5是像素P二维排列的图像数据。像素P分别具有R、G、B的值。在图3中，示出了摄影图像5中的坐标(Px，Py)的像素P，并示出具有与像素P对应的位置关系的点Q。点Q构成点云数据7，具有作为位置信息的三维坐标(x，y，z)、对应的像素P的R、G、B的值以及反射强度(I)的信息。此外，由于摄影图像5与点云数据7具有对应的位置关系，所以能够获取像素P与点Q的对应关系。
接着，对输入如上述那样获取的摄影图像5及点云数据7的点云数据处理装置11进行说明。
<第一实施方式>
图4是表示第一实施方式的点云数据处理装置11的功能结构例的框图。点云数据处理装置11例如由计算机构成。点云数据处理装置11可以搭载于三维计测器1，也可以由与三维计测器1分体的计算机构成。
点云数据处理装置11具备图像数据获取部13、点云数据获取部15、控制部17、显示控制部19、以及存储部21。
图像数据获取部13获取拍摄物体A而得到的摄影图像5作为图像数据。图像数据获取部13通过有线或无线获取摄影图像5。
点云数据获取部15获取点云数据7。点云数据获取部15通过有线或无线获取点云数据7。
通过图像数据获取部13及点云数据获取部15得到的摄影图像(图像数据)5和点云数据7具有对应的位置关系。
控制部17由搭载于计算机的CPU(Central Processing Unit)(未图示)构成。控制部17具备识别部23及属性赋予部25。
识别部23基于摄影图像5识别物体，获取物体的区域和对物体进行确定的属性信息。识别部23可通过各种方法获取摄影图像中的物体的区域和对物体进行确定的属性信息。例如，识别部23由实施了机器学习或深度学习的识别器构成，通过对摄影图像进行分割，获取物体的区域和对物体进行确定的属性信息。此外，在分割中可以使用FCN(FullConvolutional Network)、SegNet、Pix2Pix等现有的模型，也可以个别地制作与通过识别部23进行的物体A的识别方式对应的模型。另外，识别部23的学习可以使用深度学习，也可以在广义上使用机器学习。
图5是关于对通过由识别部23进行的分割来识别物体A进行说明的图。在此，物体A由物体B和物体C构成，识别部23使摄影图像5输入，获取物体B的区域和物体B的属性信息、以及物体C的区域和物体C的属性信息。
识别部23是实施了机器学习的识别器，通过对图5(A)的摄影图像5进行分割，如图5(B)所示，确定物体B的区域(在图5(B)中用虚线表示)，获取该区域的属性信息(Pole)，确定物体C的区域(在图5(B)中用虚线表示)，获取该区域的属性信息(Base)。此外，在图5中说明了根据摄影图像5识别物体B及物体C，但并不限定于此。例如，识别部23也可以根据摄影图像5获取物体A的区域以及物体A的属性信息。
返回到图4，属性赋予部25选择点云数据7中属于物体B的区域的点云数据，并对所选择的点云数据赋予属性信息(Pole)或属性信息(Base)。具体而言，首先属性赋予部25选择由与摄影图像5的物体B的区域的像素P对应的点Q构成的点云数据。摄影图像5的像素P与构成点云数据的各点Q对应，因此通过在摄影图像5中确定物体B的区域，能够选择点云数据中的与物体B对应的点云数据。之后，属性赋予部25对所选择的点云数据赋予属性信息(Pole)或属性信息(Base)。另外，物体B及物体C的属性信息不限于与物体B及物体C的形状相关联的属性，例如作为属性信息，也可以如“b”或“c”那样，仅为了区别物体B及物体C而命名(贴标)。
图6是关于被赋予了属性信息(Pole)的点Q进行说明的图。物体B的点云数据用放大图BK表示，对构成点云数据的点Q赋予了三维坐标(x，y，z)、对应的像素P的R、G、B的值及反射强度I、从摄影图像5识别到的属性信息“Label：‘Pole'”。通过像这样对点Q赋予属性信息，可将点云数据按每个属性进行分组。此外，虽然省略了说明，但关于属性信息(Base)也同样地赋予与物体B对应的点。
返回到图4，存储部21存储图像数据及点云数据7。另外，为了实现点云数据处理装置11的各种功能，存储由CPU执行的各种程序。
显示控制部19由CPU构成，控制向监视器9的显示。例如，在监视器9上显示点云数据或/及图像数据。
此外，在点云数据处理装置11中也可以具有由接受来自用户的指令的键盘或鼠标构成的指令接受部(未图示)。
图7是说明使用了点云数据处理装置11的点云数据处理方法的流程图。
首先，通过点云数据处理装置11的图像数据获取部13获取摄影图像5作为图像数据(步骤S10)。之后，通过点云数据获取部15获取点云数据7(步骤S11)。接着，通过点云数据处理装置11的识别部23，基于图像数据识别物体，获取物体的区域和对物体进行确定的属性信息(步骤S12)。之后，通过点云数据处理装置11的属性赋予部25，选择属于摄影图像5的物体的区域的点云数据，并对所选择的点云数据赋予属性(步骤S13)。
如上所作说明，根据本实施方式，可基于摄影图像(图像数据)获取物体的区域和对物体进行确定的属性信息，基于该确定的物体的区域和物体的属性信息，选择点云数据并赋予属性信息。由此，本方面即使在未预先准备物体的二维图形的情况下，也能够获取物体的摄影图像而容易且高效地选择点云数据来赋予属性信息。
在上述实施方式中，执行各种处理的处理部(processing unit)的硬件结构是如下所示的各种处理器(processor)。在各种处理器中，包括通过执行软件(程序)来作为各种处理部发挥功能的通用处理器即CPU、FPGA(Field Programmable Gate Array)等在制造后可改变电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、具有为了执行ASIC(Application Specific Integrated Circuit)等特定的处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成，也可以由同种或异种的两个以上的处理器(例如，多个FPGA、或CPU与FPGA的组合)构成。另外，还可以用一个处理器构成多个处理部。作为用一个处理器构成多个处理部的例子，首先，有诸如以客户端或服务器等计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个处理部发挥功能的方式。其次，有诸如以片上系统(System On Chip：SoC)等为代表，使用以一个IC(Integrated Circuit)芯片实现包括多个处理部的系统整体的功能的处理器的方式。像这样，使用一个以上的上述各种处理器作为硬件结构来构成各种处理部。
而且，更具体而言，这些各种处理器的硬件结构是组合了半导体元件等电路元件的电路(circuitry)。
上述各结构及功能可通过任意的硬件、软件或两者的组合适当实现。例如，本发明也可应用于使计算机执行上述处理步骤(处理过程)的程序、记录有这种程序的计算机可读取的记录介质(非临时记录介质)、或者能够安装这种程序的计算机。
<第二实施方式>
接着，对第二实施方式进行说明。在本实施方式中，在点云数据中存在缺失部分的情况下，对该缺失部分进行插值。然后，基于补充后的点云数据生成三维模型。
图8是表示本实施方式的点云数据处理装置11的功能结构例的框图。此外，对在图4中已进行了说明的部位标注相同的符号并省略说明。
点云数据处理装置11具备图像数据获取部13、点云数据获取部15、控制部17、显示控制部19、以及存储部21。
控制部17具备识别部23、属性赋予部25、点云数据补充部27、以及三维模型生成部29。
点云数据补充部27补充具有与通过点云数据获取部15获取的摄影图像(图像数据)41对应的位置关系的点云数据43。即，在通过点云数据获取部15获取的点云数据43中存在缺失部分的情况下，点云数据补充部27对该缺失部分进行插值。具体而言，至少基于通过识别部23识别到的物体的区域，检测属于物体的区域的点云数据43的缺失部分，对检测到的缺失部分的点云数据43进行插值。此外，点云数据补充部27也可以使用由识别部23确定的物体D的属性信息，进行点云数据43的补充。点云数据补充部27通过公知的技术对点云数据43中的缺失部分的点云数据进行插值。
三维模型生成部29基于被赋予了属性信息的点云数据43，生成物体的三维模型。三维模型生成部29可基于通过点云数据获取部15获取的点云数据43、或通过点云数据补充部27补充后的点云数据43，生成三维模型。此外，在基于点云数据43生成三维模型的情况下，点云数据43的各点是哪个物体的表面上的点的信息(属性信息)是在制作正确的多边形网格或进行正确的纹理映射方面有力的信息。另外，三维模型生成部29进行的三维模型生成使用公知的技术。
图9是对点云数据补充部27进行的点云数据43的补充进行说明的图。图9(A)表示通过图像数据获取部13获取的摄影图像41，图9(B)表示通过点云数据获取部15获取的点云数据43。此外，在摄影图像41中，将作为管的物体D作为被摄体进行了拍摄。
如图9(A)所示，在物体D的一部分，光进行正反射，具有高亮度的光泽部分45A。另外，在与物体D的光泽部分45A对应的部位，为了获取点云数据而射出的激光脉冲进行了正反射，不能接收该激光脉冲的返回光。而且，激光扫描仪101在与光泽部分45A对应的部位不能获取点云数据。因此，如图9(B)所示，在物体D的点云数据43中产生缺失部分45B。
即使是具有光泽部分45A的物体D的摄影图像41，识别部23也能够识别光泽部分45A是物体D的一部分。而且，点云数据补充部27根据识别部23获取的物体D的区域、或物体D的区域和物体D的属性信息，识别物体D的点云数据43的缺失部分45B，并使用附近的点云数据进行线性插值或样条插值，由此计算该缺失部分45B的点云数据。另外，在如管那样外表面为圆柱状的物体的情况下，可基于附近的点云数据的曲率、圆柱的基底向量对缺失部分45B内的点云数据进行插值。由此，点云数据补充部27能够更准确地进行缺失部分45B的插值。
如以上所作说明，点云数据补充部27基于物体的区域、或物体的区域及物体的属性信息进行点云数据的缺失部分的插值，因此能够进行更准确的补充。另外，三维模型生成部29在使用补充后的点云数据生成三维模型的情况下，能够生成更准确的三维模型。
<第三实施方式>
接着，对第三实施方式进行说明。在上述第一实施方式及第二实施方式中，对将摄影图像5(或摄影图像41)用作图像数据的方式进行了说明，但在本实施方式中获取摄影图像以外的图像数据。
图10是表示本实施方式的点云数据处理装置11的功能结构例的框图。此外，对在图4中已进行了说明的部位标注相同的符号并省略说明。
点云数据处理装置11具备图像数据获取部13、点云数据获取部15、控制部17、显示控制部19、以及存储部21。此外，对在图4中已进行了说明的部位标注相同的符号并省略说明。
控制部17具备识别部23、属性赋予部25、以及图像数据生成部35。
图像数据生成部35基于点云数据7生成图像数据。构成点云数据7的各点分别具有三维坐标，因此通过将各点的三维坐标投影到规定的平面上，图像数据生成部35可生成图像数据。此时，可合成根据各点云数据的反射强度或距离赋予了像素值(浓度)的图像数据。然后，图像数据获取部13获取通过图像数据生成部35生成的图像数据。
像这样，通过根据点云数据7生成图像数据，即使在不获取摄影图像的情况下，也能够得到具有与点云数据7对应的位置关系的图像数据，能够容易且高效地对点云数据进行分类并赋予属性信息。
<第四实施方式>
接着，对第四实施方式进行说明。在本实施方式中，按照物体的每个部分区域对点云数据进行分组。
本实施方式的识别部23在图像数据中包含具有多个部分区域的物体的图像数据的情况下，识别各部分区域的区域，并获取各部分区域的区域和对各部分区域进行确定的各部分区域的属性信息。
属性赋予部25将点云数据中属于各部分区域的区域的点云数据按各部分区域分类，并对按各部分区域分类后的点云数据赋予各部分区域的属性信息。
图11是表示将作为三棱柱的物体D作为被摄体的摄影图像51的图。识别部23根据摄影图像51确定物体D的面E的区域(部分区域)、面F的区域(部分区域)及面G的区域(部分区域)。另外，识别部23从摄影图像51获取确定物体D的面E、面F及面G的各部分区域的属性信息。此外，例如识别部23也可以通过由实施了提取物体的面(包括平面、曲面)的机器学习或深度学习的识别器构成，确定物体D的面E、面F及面G的区域，并获取各部分区域的属性信息(面E、面F、面G)。另外，例如识别部23也可以通过提取物体轮廓的图像处理，确定物体D的面E、面F及面G的区域，并获取各部分区域的属性信息。
如以上所作说明，通过按物体的每个部分区域对点云数据进行分组，能够更准确地进行与物体对应的分组。
以上对本发明的例子进行了说明，但不言自明，本发明并不限定于上述实施方式，在不脱离本发明的精神的范围内可以进行各种变形。
根据上述记载，可掌握以下附记项1所记载的摄像装置。
[附记项1]
一种具备处理器的点云数据处理装置，
所述处理器
获取物体的图像数据；
获取具有与所述图像数据对应的位置关系、并表示所述物体的外表面上的多个点的三维信息的点云数据；
基于所述图像数据识别所述物体，并获取所述物体的区域和确定所述物体的属性信息；以及
选择所述点云数据中属于所述物体的区域的点云数据，并对所选择的所述点云数据赋予所确定的所述属性信息。
符号说明
1 三维计测器
5 摄影图像
7 点云数据
9 监视器
11 点云数据处理装置
13 图像数据获取部
15 点云数据获取部
17 控制部
19 显示控制部
21 存储部
23 识别部
25 属性赋予部
27 点云数据补充部
29 三维模型生成部
35 图像数据生成部

Claims (12)

1.一种点云数据处理装置，具备：
图像数据获取部，其获取物体的图像数据；
点云数据获取部，其获取点云数据，所述点云数据具有与所述图像数据对应的位置关系，并表示所述物体的外表面上的多个点的三维信息；
识别部，其基于所述图像数据识别所述物体，并获取所述物体的区域和确定所述物体的属性信息；以及
属性赋予部，其选择所述点云数据中属于所述物体的区域的点云数据，并对所选择的所述点云数据赋予所确定的所述属性信息。
2.根据权利要求1所述的点云数据处理装置，其中，
所述识别部在所述图像数据中包含多个所述物体的所述图像数据的情况下，按每个所述物体获取所述各物体的区域和确定所述各物体的所述属性信息，
所述属性赋予部按每个所述各物体选择所述点云数据中属于所述各物体的区域的所述点云数据，并对按每个所述物体选择的所述点云数据赋予所述各物体的所述属性信息。
3.根据权利要求1或2所述的点云数据处理装置，其中，
所述识别部在所述图像数据中包含具有多个部分区域的所述物体的所述图像数据的情况下，识别所述各部分区域的区域，并获取所述各部分区域的区域和确定所述各部分区域的属性信息，
所述属性赋予部按每个所述各部分区域选择所述点云数据中属于所述各部分区域的所述区域的所述点云数据，并对按每个所述各部分区域选择的所述点云数据赋予所述各部分区域的所述属性信息。
4.根据权利要求1至3中任一项所述的点云数据处理装置，其中，
所述点云数据处理装置具备点云数据补充部，所述点云数据补充部至少基于由所述识别部识别到的所述物体的区域，检测属于所述物体的区域的所述点云数据的缺失部分，并对检测到的所述缺失部分的所述点云数据进行插值，
所述属性赋予部对补充后的所述点云数据赋予所述属性信息。
5.根据权利要求1至4中任一项所述的点云数据处理装置，其中，
所述图像数据获取部获取拍摄所述物体而得到的摄影图像作为所述图像数据。
6.根据权利要求1至4中任一项所述的点云数据处理装置，其中，
所述点云数据处理装置具备图像数据生成部，所述图像数据生成部基于所述点云数据生成所述图像数据，
所述图像数据获取部获取由所述图像数据生成部生成的所述图像数据。
7.根据权利要求1至6中任一项所述的点云数据处理装置，其中，
所述识别部包括进行了机器学习或深度学习的识别器。
8.根据权利要求1至7中任一项所述的点云数据处理装置，其中，
所述点云数据处理装置具备三维模型生成部，所述三维模型生成部基于被赋予了所述属性信息的所述点云数据，生成所述物体的三维模型。
9.根据权利要求1至8中任一项所述的点云数据处理装置，其中，
所述图像数据及所述点云数据分别通过具有同一光轴的装置获取。
10.根据权利要求1至9中任一项所述的点云数据处理装置，其中，
所述图像数据及所述点云数据分别通过相互位置关系已知的装置获取。
11.一种点云数据处理方法，包括：
获取物体的图像数据的步骤；
获取点云数据的步骤，所述点云数据具有与所述图像数据对应的位置关系，并表示所述物体的外表面上的多个点的三维信息；
基于所述图像数据识别所述物体，并获取所述物体的区域和确定所述物体的属性信息的步骤；以及
选择所述点云数据中属于所述物体的区域的点云数据，并对所选择的所述点云数据赋予所确定的所述属性信息的步骤。
12.一种程序，使计算机执行包括以下步骤的点云数据处理工序：
获取物体的图像数据的步骤；
获取点云数据的步骤，所述点云数据具有与所述图像数据对应的位置关系，并表示所述物体的外表面上的多个点的三维信息；
基于所述图像数据识别所述物体，并获取所述物体的区域和确定所述物体的属性信息的步骤；以及
选择所述点云数据中属于所述物体的区域的点云数据，并对所选择的所述点云数据赋予所确定的所述属性信息的步骤。
CN202080033302.2A 2019-06-14 2020-05-14 点云数据处理装置、点云数据处理方法以及程序 Pending CN113785331A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019111185 2019-06-14
JP2019-111185 2019-06-14
PCT/JP2020/019286 WO2020250620A1 (ja) 2019-06-14 2020-05-14 点群データ処理装置、点群データ処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN113785331A true CN113785331A (zh) 2021-12-10

Family

ID=73780952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080033302.2A Pending CN113785331A (zh) 2019-06-14 2020-05-14 点云数据处理装置、点云数据处理方法以及程序

Country Status (5)

Country Link
US (1) US20220027654A1 (zh)
EP (1) EP3985615A4 (zh)
JP (1) JP7344289B2 (zh)
CN (1) CN113785331A (zh)
WO (1) WO2020250620A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106117A1 (ja) * 2021-12-09 2023-06-15 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
US11593921B1 (en) * 2022-03-22 2023-02-28 Illuscio, Inc. Systems and methods for supplementing image capture with artificial data points that are generated based on material properties and associated rules
CN115601272B (zh) * 2022-12-16 2023-04-11 海纳云物联科技有限公司 点云数据处理方法、装置及设备
CN117315407B (zh) * 2023-11-29 2024-02-27 苏州元脑智能科技有限公司 对象的识别的方法和装置、存储介质及电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053059A (ja) * 2007-08-27 2009-03-12 Mitsubishi Electric Corp 対象特定装置、対象特定方法および対象特定プログラム
CN102317973A (zh) * 2009-02-13 2012-01-11 哈里公司 用于场景解释和对准性能估计的2d电光图像和3d点云数据的融合
US20190087976A1 (en) * 2017-09-19 2019-03-21 Kabushiki Kaisha Toshiba Information processing device, image recognition method and non-transitory computer readable medium

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4284644B2 (ja) 2003-05-23 2009-06-24 財団法人生産技術研究奨励会 ３次元モデル構築システム及び３次元モデル構築プログラム
US7477360B2 (en) * 2005-02-11 2009-01-13 Deltasphere, Inc. Method and apparatus for displaying a 2D image data set combined with a 3D rangefinder data set
US9013559B2 (en) * 2010-02-02 2015-04-21 Konica Minolta Holdings, Inc. System, method and program for capturing images from a virtual viewpoint
JP5673489B2 (ja) 2011-10-31 2015-02-18 トヨタ自動車株式会社 点群データの処理装置、処理方法、処理プログラム及び記録媒体
JP6529302B2 (ja) * 2015-03-24 2019-06-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
FI127606B (fi) * 2015-04-01 2018-10-15 Konecranes Oyj Menetelmä, kuormankäsittelylaite, tietokoneohjelma ja tietokoneohjelmatuote tartuntavälineiden paikantamiseksi
WO2018066352A1 (ja) * 2016-10-06 2018-04-12 株式会社アドバンスド・データ・コントロールズ 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
JP6851295B2 (ja) * 2017-01-27 2021-03-31 株式会社デンソーアイティーラボラトリ 物体検出システム、物体検出装置、物体検出プログラム、及び物体検出方法
WO2019067641A1 (en) * 2017-09-26 2019-04-04 Aquifi, Inc. SYSTEMS AND METHODS FOR VISUAL INSPECTION BASED ON INCREASED REALITY
CN108765535A (zh) * 2018-05-30 2018-11-06 链家网（北京）科技有限公司 一种三维点云缺失数据区域的标记方法及装置
US11430145B2 (en) * 2018-06-17 2022-08-30 Foresight Ai Inc. Identification of local motions in point cloud data
JP7173762B2 (ja) * 2018-06-19 2022-11-16 株式会社トプコン 反射体位置算出装置、反射体位置算出方法および反射体位置算出用プログラム
CN110163904B (zh) * 2018-09-11 2022-04-22 腾讯大地通途（北京）科技有限公司 对象标注方法、移动控制方法、装置、设备及存储介质
GB2583687B (en) * 2018-09-12 2022-07-20 Sony Interactive Entertainment Inc Method and system for generating a 3D reconstruction of a human
WO2020179065A1 (ja) * 2019-03-07 2020-09-10 日本電気株式会社 画像処理装置、画像処理方法及び記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053059A (ja) * 2007-08-27 2009-03-12 Mitsubishi Electric Corp 対象特定装置、対象特定方法および対象特定プログラム
CN102317973A (zh) * 2009-02-13 2012-01-11 哈里公司 用于场景解释和对准性能估计的2d电光图像和3d点云数据的融合
US20190087976A1 (en) * 2017-09-19 2019-03-21 Kabushiki Kaisha Toshiba Information processing device, image recognition method and non-transitory computer readable medium

Also Published As

Publication number Publication date
JPWO2020250620A1 (zh) 2020-12-17
US20220027654A1 (en) 2022-01-27
EP3985615A1 (en) 2022-04-20
EP3985615A4 (en) 2022-08-10
WO2020250620A1 (ja) 2020-12-17
JP7344289B2 (ja) 2023-09-13

Similar Documents

Publication Publication Date Title
CN113785331A (zh) 点云数据处理装置、点云数据处理方法以及程序
JP6236118B2 (ja) 三次元データ処理装置、三次元データ処理システム、三次元データ処理方法およびプログラム
US10699476B2 (en) Generating a merged, fused three-dimensional point cloud based on captured images of a scene
JP7265639B2 (ja) 優先点を識別して保持する点群の併合方法
JP7205613B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20160086341A1 (en) System and method for adaptive depth map reconstruction
WO2018186398A1 (ja) 学習データ生成装置、学習データ生成方法、および記録媒体
JP6566768B2 (ja) 情報処理装置、情報処理方法、プログラム
KR20110064622A (ko) 티오에프 카메라를 이용한 3차원 에지 추출 방법 및 장치
WO2019167453A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
JP2018091656A (ja) 情報処理装置、計測装置、システム、算出方法、プログラムおよび物品の製造方法
JP6817742B2 (ja) 情報処理装置およびその制御方法
EP3832601A1 (en) Image processing device and three-dimensional measuring system
JP2016509805A (ja) 画像ストリームの高フレームレート化
KR102665603B1 (ko) 스테레오 매칭을 위한 하드웨어 디스패러티 평가
JP7298687B2 (ja) 物体認識装置及び物体認識方法
US20220366673A1 (en) Point cloud data processing apparatus, point cloud data processing method, and program
JP3823559B2 (ja) 三次元距離データを変換する方法
JP6867766B2 (ja) 情報処理装置およびその制御方法、プログラム
KR20230098782A (ko) 신경망을 이용하여 3d 물체를 재구성하는 시스템 및 방법
US20230011921A1 (en) Point cloud data processing apparatus, point cloud data processing method, and program
JPWO2018142779A1 (ja) 監視装置
JP7456521B2 (ja) 物体認識装置、物体認識方法、プログラム
TWI768231B (zh) 資訊處理裝置、記錄媒體、程式產品以及資訊處理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination