CN109003253B - 神经网络点云生成系统 - Google Patents

神经网络点云生成系统 Download PDF

Info

Publication number
CN109003253B
CN109003253B CN201810508516.5A CN201810508516A CN109003253B CN 109003253 B CN109003253 B CN 109003253B CN 201810508516 A CN201810508516 A CN 201810508516A CN 109003253 B CN109003253 B CN 109003253B
Authority
CN
China
Prior art keywords
point cloud
data points
generator
resolution point
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810508516.5A
Other languages
English (en)
Other versions
CN109003253A (zh
Inventor
林思南
J.郑
J.罗
D.S.迪温斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN109003253A publication Critical patent/CN109003253A/zh
Application granted granted Critical
Publication of CN109003253B publication Critical patent/CN109003253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种神经网络点云生成系统，该系统包括一个或多个处理器和存储生成式对抗网络(GAN)的存储器。所述一个或多个处理器被配置成接收低分辨率点云，所述低分辨率点云包括表示对象的一组三维(3D)数据点。所述GAN的生成器被配置成至少部分地基于所述低分辨率点云中的所述数据点的一个或多个特性来生成第一组生成数据点，并且将所述生成数据点内插到所述低分辨率点云中以产生表示所述对象并且具有比所述低分辨率点云更高的分辨率的超分辨点云。

Description

神经网络点云生成系统
技术领域
本公开描述的主题涉及使用一个或多个神经网络(neural networks)的图像分析系统。
背景技术
通过距离成像装置获取的三维(3D)深度图以3D映射扫描环境，并可用于各种与计算机视觉相关的任务。例如，3D深度图用于自主车辆导航、自主机器人导航、3D重建、计算机图形、视频游戏、虚拟现实、对象跟踪和识别等。然而，由已知距离成像装置获取的3D深度图具有几个缺点，包括低质量、低分辨率和/或低频率，这限制了深度图的有用性。例如，机器人自主运动的精度将受到机器人赖以确定如何在环境中运动的深度图的质量和分辨率的限制。至少部分地由于在捕获二维(2D)图像数据时未获取的附加深度相关信息，由距离成像装置获取的深度图的分辨率通常远小于标准2D摄像机可实现的分辨率。例如，在本文称为3D飞行时间相机的一些已知距离成像装置可以以可接受的频率获取3D数据，但是提供相对稀疏或低分辨率的深度图。稀疏深度图限制了计算机视觉任务深度图的效用。
发明内容
在一个实施例中，提供了一种系统(例如，点云生成系统(point cloudgeneration system))，其包括一个或多个处理器和存储生成式对抗网络(generativeadversarial network，GAN)的存储器。该一个或多个处理器被配置成接收包括一组三维(3D)数据点的低分辨率点云(low resolution point cloud)。低分辨率点云表示对象(object)。该一个或多个处理器被配置成将低分辨率点云输入到GAN，以使GAN的生成器至少部分地基于低分辨率点云中的数据点的一个或多个特性来生成第一组生成数据点(generated data points)。生成器被进一步配置成将生成数据点内插到(interpolate)低分辨率点云中以产生表示对象并且具有比低分辨率点云更高的分辨率的超分辨点云(super-resolved point cloud)。该一个或多个处理器被进一步配置成分析超分辨点云，以检测对象的标识(identity)或对对象的损坏中的一个或多个。
在一个实施例中，提供了一种方法(例如，用于生成点云)，其包括获得包括一组三维(3D)数据点的低分辨率点云。低分辨率点云表示对象。该方法包括将低分辨率点云输入到生成式对抗网络(GAN)的生成器，该GAN的生成器被训练(trained)成至少部分地基于低分辨率点云中的数据点的一个或多个特性来生成第一组生成数据点。生成器被进一步配置成将生成数据点内插到低分辨率点云中，以产生表示对象并且具有比低分辨率点云更高的分辨率的超分辨点云。该方法还包括分析超分辨点云，以检测对象的标识或对对象的损坏中的一个或多个。
在一个实施例中，提供了一种系统(例如，点云生成系统)，该系统包括生成式对抗网络(GAN)的生成器和GAN的鉴别器(discriminator)，该生成器包括一个或多个处理器，并且该鉴别器包括一个或多个处理器。该生成器被配置成接收表示对象的低分辨率点云。低分辨率点云包括三维(3D)数据点。该生成器被配置成生成第一组生成3D数据点、并且将生成数据点内插到低分辨率点云中，以产生表示对象并且具有比低分辨率点云更高的分辨率的超分辨点云。该鉴别器被配置成预测超分辨点云中的对象是否是与一个或多个高分辨率训练点云(high resolution training point clouds)中表示的对象相似或相同的一个或多个。响应于预测超分辨点云中的对象是与一个或多个高分辨率训练点云中表示的对象相似或相同的一个或多个，生成器被配置成将超分辨点云传送给神经网络(neuralnetwork)，用于神经网络的自动对象识别(automated object recognition)。
本发明的技术方案1提供一种系统，包括：存储生成式对抗网络(GAN)的存储器；以及一个或多个处理器，其被配置成接收包括一组三维(3D)数据点的低分辨率点云，所述低分辨率点云表示对象，所述一个或多个处理器被配置成将所述低分辨率点云输入到所述GAN，以使所述GAN的生成器至少部分地基于所述低分辨率点云中的所述数据点的一个或多个特性来生成第一组生成的数据点，所述生成器被进一步配置成将所述生成的数据点内插到所述低分辨率点云中以产生表示所述对象并且具有比所述低分辨率点云更高的分辨率的的超分辨点云；其中所述一个或多个处理器被进一步配置成分析所述超分辨点云以用于检测所述对象的标识或对所述对象的损坏中的一个或多个。
技术方案2：根据技术方案1所述的系统，其中，所述对象是涡轮发动机，并且所述一个或多个处理器被配置成分析所述超分辨点云以检测对所述涡轮发动机的涂层的损坏。
技术方案3：根据技术方案1所述的系统，其中，所述GAN的鉴别器被配置成从所述生成器接收所述超分辨点云，并且预测所述超分辨点云中的所述对象是否是与一个或多个高分辨率训练点云中表示的对象相似或相同中的一个或多个。
技术方案4：根据技术方案3所述的系统，其中，响应于所述鉴别器预测所述超分辨点云中的所述对象不与所述一个或多个高分辨率训练点云中的任何一个中表示的任何对象相似或相同，所述GAN的所述生成器被配置成生成不同的第二组生成的数据点，所述数据点被内插到所述低分辨率点云中以产生修正的超分辨点云。
技术方案5：根据技术方案4所述的系统，其中，存储器上的所述GAN的所述生成器是具有人工神经元的人工神经网络，所述人工神经元将加权函数应用于所述低分辨率点云中的所述数据点的所述一个或多个特性以生成所述生成的数据点，并且响应于所述GAN的所述鉴别器预测所述超分辨点云中的所述对象不与所述一个或多个高分辨率训练点云中的任何一个中表示的任何对象相似或相同，所述生成器被配置成在生成所述第二组生成的数据点之前改变由所述人工神经元在所述加权函数中应用的一个或多个权重。
技术方案6：根据技术方案1所述的系统，其中，所述GAN的所述生成器将所述生成的数据点内插到所述低分辨率点云中，处于所述低分辨率点云中相邻数据点之间的坐标位置处。
技术方案7：根据技术方案1所述的系统，其中，所述一个或多个处理器被配置成从飞行时间距离成像相机接收所述低分辨率点云。
技术方案8：根据技术方案1所述的系统，其中，所述GAN的所述生成器被配置成生成比所述低分辨率点云中的所述数据点总量多至少三倍的所述超分辨点云的所述生成数据点量。
技术方案9：根据技术方案1所述的系统，其中，所述GAN的所述生成器在其上被配置成生成所述生成的数据点的所述低分辨率点云中的所述数据点的所述一个或多个特性包括所述数据点的3D位置坐标、强度、颜色或相对位置中的一个或多个。
技术方案10：根据技术方案1所述的系统，其中，所述GAN的所述生成器被配置成至少部分地基于由所述GAN在所述GAN的训练阶段期间从所述一个或多个处理器接收的一个或多个训练点云中的数据点的一个或多个特性的确定分布来生成所述生成的数据点。
技术方案11提供一种方法，包括：获得包括一组三维(3D)数据点的低分辨率点云，所述低分辨率点云表示对象；将所述低分辨率点云输入到生成式对抗网络(GAN)的生成器，所述GAN的所述生成器被训练成至少部分地基于所述低分辨率点云中的所述数据点的一个或多个特性来生成第一组生成的数据点，所述生成器被进一步配置成将所述生成的数据点内插到所述低分辨率点云中以产生表示所述对象并且具有比所述低分辨率点云更高的分辨率的超分辨点云；以及分析所述超分辨点云以检测所述对象的标识或对所述对象的损坏中的一个或多个。
技术方案12：根据技术方案11所述的方法，其中，所述对象是涡轮发动机，并且分析所述超分辨点云以检测对所述涡轮发动机的涂层的损坏。
技术方案13：根据技术方案11所述的方法，其中，进一步包括使用所述GAN的鉴别器来预测所述超分辨点云中的所述对象是否是与一个或多个高分辨率训练点云中表示的对象相似或相同中的一个或多个。
技术方案14：根据技术方案13所述的方法，其中，响应于所述鉴别器预测所述超分辨点云中的所述对象不与所述一个或多个高分辨率训练点云中的任何一个中表示的任何对象相似或相同，所述方法包括使用所述生成器来生成不同的第二组生成的数据点，所述数据点被内插到所述低分辨率点云中以产生修正的超分辨点云。
技术方案15：根据技术方案14所述的方法，其中，所述GAN的所述生成器是具有人工神经元的人工神经网络，所述人工神经元将加权函数应用于所述低分辨率点云中的所述数据点的一个或多个特性以生成所述生成的数据点，并且响应于所述鉴别器预测所述超分辨点云中的所述对象不与所述一个或多个高分辨率训练点云中的任何一个中表示的任何对象相似或相同，所述方法包括在生成所述第二组生成的数据点之前改变由所述人工神经元在所述加权函数中应用的一个或多个权重。
技术方案16：根据技术方案11所述的方法，其中，进一步包括在将所述低分辨率点云输入到所述生成器之前使用一个或多个训练点云来训练所述GAN，所述GAN的所述生成器被配置成确定所述一个或多个训练点云中的数据点的一个或多个特性的分布、并使用所述一个或多个特性的所述分布来生成所述第一组生成的数据点。
技术方案17：根据技术方案11所述的方法，其中，所述生成器被配置成生成比所述低分辨率点云中的所述数据点总量多至少三倍的所述超分辨点云的所述生成的数据点量。
技术方案18提供一种系统，包括：包括一个或多个处理器的生成式对抗网络(GAN)的生成器，所述生成器被配置成接收表示对象的低分辨率点云，所述低分辨率点云包括三维(3D)数据点，所述生成器被配置成生成第一组生成的3D数据点、并且将所述生成的数据点内插到所述低分辨率点云中以产生表示所述对象并且具有比所述低分辨率点云更高的分辨率的超分辨点云；以及包括一个或多个处理器的所述GAN的鉴别器，所述鉴别器被配置成预测所述超分辨点云中的所述对象是否是与一个或多个高分辨率训练点云中表示的对象相似或相同中的一个或多个；并且响应于预测所述超分辨点云中的所述对象是与所述一个或多个高分辨率训练点云中表示的所述对象相似或相同中的一个或多个，所述生成器被配置成将所述超分辨点云传送给神经网络，用于由所述神经网络进行自动对象识别。
技术方案19：根据技术方案18所述的系统，其中，响应于所述鉴别器预测所述超分辨点云中的所述对象不与所述一个或多个高分辨率训练点云中的任何一个中表示的任何对象相似或相同，所述生成器被配置成生成不同的第二组生成的数据点、并将所述第二组内插到所述低分辨率点云中以产生修正的超分辨点云。
技术方案20：根据技术方案18所述的系统，其中，所述生成器被配置成生成比所述低分辨率点云中的所述数据点总量多至少三倍的所述超分辨点云的所述生成的数据点量。
附图说明
通过参考附图阅读以下对非限制性实施例的描述，将更好地理解本发明主题，其中：
图1示出了用于图像分析的神经网络系统的一个实施例；
图2是根据一个实施例的神经网络点云生成系统的框图；
图3示出了生成式对抗网络(GAN)系统的一个实施例；
图4示出了根据一个实施例的坐标系中的低分辨率点云；
图5示出了根据一个实施例的图4的坐标系中的超分辨点云；和
图6是用于使用一个或多个深度神经网络生成超分辨点云的方法的一个实施例的流程图。
具体实施方式
本说明书描述的发明主题的一个实施例提供了一种使用人工神经网络(artificial neural networks)从低分辨率3D深度图(low resolution 3D depth maps)生成高分辨率3D深度图或点云(point clouds)的超分辨率点云生成系统和方法。如本说明书所使用，诸如“高”和“低”的术语仅用于比较以区分和标识不同的数据组或数据集。例如，本说明书使用的短语“高分辨率点云”和“低分辨率点云”仅仅标识并区分两个不同的点云并且指示高清晰点云具有比低分辨率点云更高的分辨率，并不指示点云的相应分辨率的值或范围。此外，如本说明书所使用，术语“深度图(depth map)”和“点云(point cloud)”可互换使用并表示3D坐标系中的3D数据点的集合。例如，点云中的每个数据点都有在坐标系中沿着x、y和z轴的3D位置坐标。
由神经网络生成的高分辨率点云可以用于各种与计算机有关的任务，例如点云中对象的自动标识、产生交互式3D模型的3D重建、车辆和/或机器人的自动导航等。
在一个实施例中，系统用于生成内插到(interpolated into)接收的低分辨率3D点云中的3D数据点的神经网络是生成式对抗网络(generative adversarial network，GAN)。GAN包括生成器网络和鉴别器网络，本说明书称为生成器和鉴别器(discriminator)，生成器和鉴别器被交替地训练以生成视觉上合理的(visually plausible)结果，虽然该结果是生成结果或“伪造(fake)”结果。通常，生成器被配置成生成表示对象的图像数据，并且鉴别器分析生成的图像数据以将图像数据分类为表示真实对象、或表示由生成器生成的伪造对象。迭代地(iteratively)重复该过程，并且生成器使用来自鉴别器的反馈来尝试混淆鉴别器，以将生成对象分类为真实对象。典型的GAN与2D图像一起使用，但本说明书描述的GAN与3D点云一起使用。例如，生成器被配置成生成3D数据点并将生成的数据点内插(意思是，映射(map)、插入、加入或填充)到接收的低分辨率点云中以产生超分辨点云。如本说明书所使用，术语“超分辨(super-resolved)”和“超分辨率(super-resolution)”是指提高的分辨率，使得超分辨点云是指通过将附加的(例如，生成的)3D数据点内插到现有的低分辨率点云，以提供所得点云的分辨率而形成的点云。鉴别器被配置成预测在超分辨点云中表示的对象是真实对象还是伪造对象，并且使用该反馈训练生成器如何为随后的超分辨点云生成数据点。
本说明书描述的主题的至少一个技术效果包括使用神经网络来提高由3D距离成像装置(3D range imaging devices)捕获的3D点云的分辨率以生成高分辨率3D点云。例如，可以在不改变距离成像装置的硬件的情况下提高由传统距离成像装置捕获的点云的分辨率。通过利用GAN的对抗性质(adversarial nature)，生成器能够生成超分辨点云，超分辨点云表示与实际的或真实的高分辨率点云中的对象在感知上难以区分的对象。因此，本说明书描述的主题的至少一个技术效果包括提高由传统的距离成像装置捕获的3D点云的质量和分辨率。
可以使用更高质量和更高分辨率的3D点云来快速和准确地标识一个或多个点云中描绘的对象，以实现各种最终用途，例如自动机器人和/或车辆导航或自动检查。例如，更高质量和更高分辨率的3D点云可以改进对部件的损坏的识别和修复(例如，发动机中的热障涂层的修复)、车辆的运动的自动改变(例如，响应于标识图像中的人或其它对象而改变运动方向和/或应用制动器)等。在医学成像应用中，更高分辨率的3D点云可以提高标识肿瘤、病变(lesions)等的准确性，并且可以改进医疗程序的规划和/或实施以去除或修复所标识的肿瘤或病变。更高质量和更高分辨率的3D点云还可以改善物理对象的3D重建或模型，这可以允许在远离实际物理对象的位置处对对象进行更详细的检查。例如，可以在计算机上生成涡轮发动机的3D模型，并且可以使用虚拟现实从发动机远程检查虚拟涡轮发动机。
图1示出了用于图像分析的神经网络系统100的一个实施例。神经网络系统100使用一个或多个深度神经网络102在2D和3D图像中提供自动感兴趣对象检测和识别。神经网络102是由一个或多个处理器(例如，微处理器、集成电路、现场可编程门阵列(fieldprogrammable gate arrays)等)形成的人工神经网络。神经网络102被分成两个或更多个层104，诸如接收输入图像106的输入层104A，输出输出图像108的输出层104B、以及输入层104A和输入层104B之间的一个或多个中间层104C输出层104C。神经网络102的层104表示不同组(groups)或不同集合(sets)的人工神经元或节点，其可以表示由一个或多个处理器对输入图像106执行的不同功能以标识输入图像106中的对象。人工神经元应用用于输入图像106的函数中的不同权重(weights)以尝试标识输入图像106中的对象。
输出图像108由神经网络102通过基于对像素(pixels)的特性的分析为输出图像108中的不同像素分配不同的对象类别或使其相关联而生成。对象类别(object classes)是出现在图像中的对象的类型或种类。例如，人体可以是一个对象类别，而汽车是一个不同的第二对象类别。像素可以用像素通过矢量[a b c d]表示各种不同的对象类别的概率(probabilities)被标记(例如，相关联)，其中a、b、c和d的值指示像素表示每个不同类别的对象或事物的概率。因为神经网络102在预测哪些对象由不同像素表示的方面可能不是100％准确的，所以输出图像108可能不完全类似于或描绘输入图像106中的对象，如图1所示。
神经网络102的层104中的人工神经元(artificial neurons)可以检查形成输入图像106的各个像素114。处理器(作为人工神经元操作)可以使用线性分类来计算不同种类的对象(本说明书称为“类别(classes)”)的分类评分，该对象例如树木、汽车、人、热障涂层剥落、表面裂缝、标志等。这些分类评分(classification scores)可以指示像素114表示不同类别的概率。例如，可以将像素114的分类评分表示为矢量(例如，上述矢量[a b c d])。分类评分在本说明书被称为分类矢量(classification vector)。每个人工神经元可以将数学函数，例如激活函数(activation function)，应用于同一像素，其中由不同神经元应用的函数影响其它神经元应用的函数。相较于一个或多个或所有其它神经元，不同的神经元可以对函数中的不同项应用不同的权重。这些函数的应用生成像素114的分类矢量，其可以用于标识输入图像106中的对象。
在一个实施例中，输入图像106经由来自诸如相机或管道镜(borescope)的源的一个或多个有线和/或无线连接来被提供给神经网络102。神经网络102的层104中的神经元检查输入图像106的像素114的特性，诸如强度、颜色等，以确定各个像素114的分类矢量。神经网络102中的人工神经元的层104可以按顺序检查输入图像104，其中神经元的第一中间(或隐藏)层104C检查每个像素114，接着是第二中间层104C中的神经元，然后是第三中间层104C中的神经元，以此类推，以计算像素114的分类矢量。由层104中的神经元对像素114的特性应用函数(the application of functions to characteristics)是基于由在神经网络102中的先前层(preceding layers)104中的神经元应用的函数的结果。
在神经网络102的层104已经确定了像素114的分类矢量之后，神经网络102检查每个像素114的分类矢量，并且确定哪个对象类别对于每个像素114具有最高概率、或者哪个对象类别对于每个像素114具有相较于一个或多个或所有其它对象类别更高的概率。例如，具有[0.6 0.15 0.05 0.2]的分类矢量的输入图像106中的第一个像素指示神经网络102计算出第一像素表示第一对象类别(例如，人体或人)的概率为60％，第一像素表示第二对象类别(例如，汽车)的概率为15％，第一像素表示第三对象类别(例如，树木)的概率为5％，以及第一像素表示第四对象类别(例如，地面)的概率为20％。
输出图像108是基于所确定的输入图像106中的像素114的概率的表示。例如，输出图像108中的不同区域116、118分别代表输入图像106中的对象110、112。由于至少一些像素114的分类矢量中的概率小于100％，区域116、118可以略微表示对应的对象110、112，但是不能精确地表示或指示对象110、112。处理器可以确定每个像素114表示在该像素114的对应分类矢量中具有最高或最大概率的对象类别。例如，由于60％概率，处理器可以确定上述第一像素表示人。对于输入图像106中的多个或所有其它像素114，可以重复该过程。
与网络中每个矢量和神经元相关联的权重值约束了输入图像如何与神经元输出相关。权重值可以通过网络由训练数据的迭代流程(the iterative flow)来确定。例如，在训练阶段期间建立权重值，在训练阶段中，网络通过训练或地面实况图像(ground truthimages)中的对象的典型输入数据特性来学习如何标识特定对象类别。在训练阶段期间，标记的训练或地面实况图像被输入到人工神经网络。标记的训练图像是形成图像的全部或大部分像素与对象类别相关联的图像。在标记的训练图像中，标记为[1 0 0 0]的像素可以指示该像素表示第一类别的对象的至少一部分的概率(例如，由概率a表示的对象类别人体)为100％，像素表示不同的第二类别的对象的至少一部分的概率(例如，由概率b表示的对象类别汽车)为0，像素表示不同的第三类别的对象的至少一部分的概率(例如，由概率c表示的对象类别地面)为0，以及像素表示不同的第四类别的对象的至少一部分的概率(例如，由概率d表示的对象类别树木)为0。
使用标记的训练图像或地面实况图像的神经网络102的附加训练可以提高神经网络102在识别输入到神经网络102中的图像中的对象时的准确性，使得输出图像108中的对象116、118更接近地类似于输入图像106中的对应对象110、112。神经网络102的附加训练可通过增加所确定的给定像素表示多个对象类别的特定类别的概率来提高准确度。通过修改不同层104中的人工神经元的权重和/或函数来增加概率。
图2是根据一个实施例的神经网络点云生成系统200的框图。点云生成系统200包括一个或多个神经网络，其可以与图1所示的神经网络系统100类似。点云生成系统200包括可操作地连接到存储器206的控制器202，存储器206是有形且非暂时性计算机可读介质。控制器202被配置成控制点云生成系统200的操作。控制器202包括一个或多个处理器204。控制器202包括和/或表示一个或多个硬件电路或电路系统，所述硬件电路或电路系统包括、连接有、或包括且连接有一个或多个处理器、控制器和/或其它基于硬件逻辑的装置。控制器202可以包括中央处理单元(CPU)、一个或多个微处理器、图形处理单元(GPU)、或能够根据特定逻辑指令处理输入数据的任何其它电子部件。例如，控制器202可以执行存储在存储器206上或存储在另一个有形且非暂时性计算机可读介质上的指令。
在一个实施例中，存储器206是存储生成式对抗网络(GAN)210的数字存储装置，如下面参考图3所述。存储器206可以包括或表示闪存、RAM、ROM、EEPROM等。控制器202可访问存储器206以使用GAN 210来产生超分辨点云。超分辨点云可以由GAN 210或另一个神经网络，例如神经网络102(图1中所示)，用于自动标识超分辨点云中的对象、和/或检查超分辨点云中的对象以解决损坏或其它异常。存储器206可选地还可以存储用于训练GAN 210的3D图像数据(例如，点云)，或者用于训练的3D图像数据可以由控制器202提供给GAN 210。
控制器202被配置成获得包括一组3D数据点的点云。从3D距离成像装置(3D rangeimaging device)208获取或捕获点云。距离成像装置208是扫描仪或相机，其通过用脉冲激光照射目标对象、并利用传感器测量反射脉冲来获取目标对象的3D数据。激光返回时间和波长的差异可用于生成3D数据点。在一个实施例中，距离成像装置208是飞行时间(time-of-flight，ToF)距离成像相机。距离成像装置208可以具有高达每秒160帧(160frames)或更多的3D数据点的频率或获取速率，但是可以具有明显低于已知的2D摄像机的分辨率。距离成像装置208的分辨率是指针对给定体积的3D坐标空间获取的3D数据点的量。例如，距离成像装置208的分辨率可能小于一些已知的高清晰度摄像机的分辨率的四分之一。因此，由距离成像装置208获取的点云具有相对较低的分辨率，并且在本说明书被称为低分辨率点云。
由距离成像装置208获取的3D数据点包括诸如3D位置坐标、强度、颜色(例如，波长)和/或相对位置信息的特性。3D位置坐标是3D坐标空间内相应数据点的(x，y，z)矢量，3D坐标空间包括相互垂直的x轴、y轴和z轴。点云可以用数字模型或图像来描绘。如本说明书所使用，即使当数据点未被显示在数字模型或图像中时，术语“点云”也指3D数据点的集合。
所示实施例中的距离成像装置208被定位和定向以获取表示目标对象的转子组件230的3D图像数据。转子组件230包括中心鼓或轴232、以及从鼓232径向向外延伸的多个转子叶片234。叶片234沿着鼓232的周长间隔开。在一个实施例中，转子组件230可以是在发电厂、涡轮(或喷气)发动机、涡轮增压器等中使用的涡轮机。例如，转子组件230可以是涡轮发动机的部件，并且叶片234可以是涡轮发动机的翼型。转子组件230绕鼓232旋转。距离成像装置208可以被配置成在转子组件230旋转时或者当转子组件230静止时获取转子组件230的3D数据点。例如，转子组件230是静止的，距离成像装置208可以相对于转子组件230运动以获取与转子组件230的不同区域对应的3D数据点。3D数据点的低分辨率点云可表示整个转子组件230或转子组件230的一部分，例如叶片234。在替代实施例中，代替转子组件，由距离成像装置208捕获的目标对象可以是建筑物或环境(例如，用于绘图目的)、车辆的车轮或其它部件等。
控制器202可以经由有线或无线路径直接从距离成像装置208接收低分辨率点云(例如，3D数据点)。或者，距离成像装置208可将低分辨率点云存储在距离成像装置208上的内部存储装置中或远程服务器上，并且控制器202从内部存储装置或远程服务器接收低分辨率点云。
控制器202可以可操作地连接到通信装置212。通信装置212可以包括诸如收发器、接收器、发射器等的硬件以及与距离成像装置208无线通信(例如，发射和/或接收)的关联电路系统(例如，天线)。通信装置212还可以被配置成与远程服务器、移动装置(例如，由操作者手持)或其它远程计算机等进行无线通信。通信装置212可以被配置成使用可以存储在存储器206或另一个有形且非暂时性计算机可读介质中的协议固件来建立与通信装置，诸如距离成像装置208，的双向通信链路。例如，协议固件可以为通信装置212提供网络协议语法以组装数据分组，建立和/或拆分沿着双向通信链路接收的数据等。
可选地，控制器202可操作地连接到输入/输出(I/O)装置222。I/O装置222可以包括显示器和/或允许操作者与控制器202交互的用户界面。显示器可以是液晶显示器(例如，发光二极管(LED)背光)、有机发光二极管(OLED)显示器、等离子显示器、CRT显示器等。显示器可以被配置成显示存储在存储器206中的输入图像和/或输出图像。用户界面被配置成接收来自点云生成系统200的操作者的输入。用户界面可以包括键盘、鼠标、触摸板、一个或多个物理按钮等。可选地，显示器可以是触摸屏显示器，其包括用户界面的至少一部分。可选地，I/O装置可以包括用于向操作者告警的附加输出，诸如音频扬声器、振动装置等。
图3示出了GAN系统300的一个实施例。GAN系统300包括人工神经网络，即生成器神经网络302和鉴别器神经网络304。GAN系统300可以是图2中所示的GAN 210。生成器和鉴别器网络302、304中的每一个可以是由一个或多个处理器形成并由如上所述的人工神经元的层104组成的人工神经网络。这些网络302、304被配置成在双人极大极小博弈(a two-player minimax game)的设置中进行交互，以学习如何生成用于产生超分辨点云的生成3D数据点，所述超分辨点云与原始高分辨率点云在感知上类似。GAN系统300的操作与其它传统深度学习技术的不同之处在于，GAN学习形成3D点云(或2D图像)的数据的基础分布(underlying distribution)(例如，高斯或其它统计分布)。生成器网络302使用所研究的点云中的所确定的特性分布(distribution of characteristics)来生成新的数据点，其可以被加入到现有的低分辨率点云以提高现有点云的分辨率，从而产生超分辨点云。生成器网络302和鉴别器网络304在本说明书分别被称为生成器302和鉴别器304。
鉴别器304接收各个点云，并尝试预测或确定每个点云是原始点云(例如，以3D数据被距离成像装置捕获的形式)、还是作为原始点云与由生成器302生成的生成或新数据点的组合的超分辨点云。基于来自鉴别器304的反馈，随着时间和重复，生成器302在训练阶段期间被训练以创建外观上与原始点云很接近的超分辨点云。例如，一旦生成器302被训练，鉴别器304就可能错误地确定或预测由超分辨点云(由生成器302生成)表示的对象与原始点云中表示的对象相同或至少相似。
在训练阶段期间，生成器302接收低分辨率训练点云(LRPC)306作为输入3D点云。LRPC 306表示至少一个对象，例如转子组件的叶片、人或动物的身体的一部分、车辆的车轮或其它部分、树木、建筑物或其它对象。生成器302可以从控制器202、存储器206的其它部分、远程服务器等接收用于训练的LRPC 306。LRPC 306可以表示数据点的3D片(3Dpatches)。例如，如上所述，LRPC 306可以由距离成像装置208获取，该距离成像装置208被配置成以低于期望的分辨率捕获点云。在另一个实例中，可以通过对较高分辨率点云(HRPC)308进行下采样(down-sampling)来产生LRPC 306。例如，具有至少64×64的分辨率的HRPC 308可以被下采样为16×16数据点的3D片(或像素)。因此，在一个或多个实施例中，使用3D图像数据来训练GAN系统300，但是在一个或多个替代实施例中，可以使用2D图像数据来训练GAN系统300。
图4示出了根据一个实施例的坐标系402中的低分辨率点云306。坐标系402包括相互垂直的x轴404、y轴406和z轴408。低分辨率点云306包括布置在坐标系402中的不同坐标位置处的一组数据点410。点云306表示由距离成像装置成像或捕获的对象。但是，由于给定空间体积中的数据点410的分辨率(或密度)相对较低，因此难以标识对象的类型，更不用说检查对象或收集关于对象的其它信息。
现在参考回图3，生成器302检查LRPC 306中的数据点的特性以确定这些特性的一个或多个分布。生成器302可以确定数据点强度、颜色等的分布(例如，高斯或其它统计分布)、以及坐标系中的数据点的绝对位置和具有各种特性的数据点的相对位置。生成器302可以通过检查多个相似LRPC 306来随时间确定分布。例如，生成器302可以从已知表示某些感兴趣对象的若干不同点云中确定与该等感兴趣对象相关联的数据点特性的分布，例如选定材料基底上的选定类型的涂层的剥落。因此，可以选择多个LRPC 306作为点云，其显示了对象(例如涡轮发动机中的转子组件的叶片)上的剥落的不同部分、角度、具体情况等。该分布很有用，因为它指示了点云中的数据点将具有一定特性的可能性。例如，基于表示涡轮增压器转子上的热障涂层的剥落的点云中的点特性的分布，生成器302可以生成也类似于剥落的新数据点。
生成器302被配置成生成被称为生成的数据点的新数据点。生成的数据点基于输入LRPC 306来生成，并且还基于生成器302从先前检查的训练LRPC 306学习(例如，确定)的分布来生成。例如，生成器302分析特定LRPC 306中的数据点的特性，比如LRPC 306中的数据点的相对和/或绝对位置、强度和颜色，并且使用学习的分布为LRPC 306生成数据点。
生成器302将生成数据点内插到输入LRPC 306中，以产生超分辨点云(SRPC)310。SRPC 310是输入到生成器302中的来自LRPC 306的数据点和生成的数据点的组合。两组不同的数据点位于同一坐标系中。SRPC 310因此具有比输入LRPC 306更高的分辨率(例如，每单位体积的数据点或像素的量)。可选地，生成器302可以基于LRPC 306的分辨率和指定阈值分辨率来确定要生成多少个生成的数据点，使得SRPC 310的分辨率至少与阈值分辨率相同或高于阈值分辨率。生成器302可以通过生成LRPC 306的相邻数据点之间的数据点来将生成的数据点内插到LRPC 306中。例如，如果LRPC306的两个相邻数据点具有相应的位置坐标(50，100，100)和(54，100，100)，则生成器302可生成具有位置坐标(51，100，100)、(52，100，100)和/或(53，100，100)的一个或多个数据点，使得至少一个生成的数据点位于LRPC306的相邻数据点之间。
图5示出了根据一个实施例的图4的坐标系402中的超分辨点云310。通过将生成器302生成的数据点内插到图4所示的低分辨率点云306中形成超分辨点云310。例如，超分辨点云310包括组成图4中示出的低分辨率点云306的原始数据点410，而且还包括由生成器302创建的新生成数据点502。在一个实施例中，生成器302被配置成通过创建与低分辨率点云306中的数据点的量至少相等的量的生成数据点来使输入低分辨率点云306的分辨率至少加倍。在一个实施例中，生成器302被配置成生成低分辨率点云306中的数据点总量的至少三倍的生成数据点量。因此，超分辨点云310中的大部分数据点是由生成器302创建的生成的数据点。超分辨点云310旨在表示由低分辨率点云306表示的相同对象。由于通过加入生成的数据点502来提高分辨率，所以由超分辨点云310表示的对象的类型能够被标识为转子组件的叶片或翼型503。例如，点云310比图4中的低分辨率点云306更类似于叶片。此外，更高分辨率可以通过检查点云310中的数据点410、502来实现对叶片的检查。例如，在所示实施例中，点云310的区域504可以被确定为叶片503的热涂层或屏障的剥落。剥落区域504在图4中所示的低分辨率点云306中是不可检测的。
现在参考回图3，注意到的是，生成器302被配置成基于学习到的数据点(或像素)特性的分布来创建最有可能或更有可能出现在实际3D图像或点云中的生成数据点，所述数据点(或像素)特性通过检查训练3D图像数据(例如，输入到生成器302的一系列LRPC306)来确定。由生成器302创建的生成的数据点不仅仅是来自实际或原始高分辨率点云(例如，可被下采样以创建训练3D图像数据的HRPC 308)的数据点的副本或精确复制。因为SRPC 310是基于输入LRPC 306中的数据点的颜色、位置、强度等的统计分布(例如，高斯分布)来创建的，所以生成的SRPC 310不是HRPC 308或任何其它预先存在的点云的精确副本或复制。
生成SRPC 310经由一个或多个有线和/或无线连接从生成器302提供给鉴别器304。鉴别器304检查SRPC 310，并试图在图3中的312处确定SRPC 310是由3D成像装置获取的“真实”高分辨率点云、还是包括来自生成器302的生成的数据点的“伪造”点云。例如，鉴别器304可以检查由SRPC 310表示的对象，并且试图识别该对象是世界上存在的真实对象(例如，树木、汽车、人)、还是世界上不存在的伪造的计算机生成的对象。
在一个实施例中，鉴别器304可通过将接收的SRPC 310与实际高分辨率点云(HRPC)308(其为描绘“真实”对象的“真实”点云)进行比较来做出确定或预测。例如，鉴别器304(例如，鉴别器304的各个层305中的人工神经元)可以检查SRPC310和HRPC308中的每一个中的数据点的特性，然后比较该等特性以确定SRPC 310是否将同一对象表示或描绘为HRPC 308中的任何一个。例如，HRPC 308可全部示出转子组件的叶片上的剥落的不同表示。鉴别器304将SRPC 310中的剥落区域504(图5中所示)与HRPC 308中的剥落的各个实例进行比较，以预测剥落区域504是合理的(legitimate)、或者为计算机生成的。
生成器302的目的是在生成超分辨点云310时模拟实际高分辨率点云308，以欺骗或诱骗(fool or trick)鉴别器304去确定超分辨点云310(其由大量计算机生成的或“伪造的”数据点构成)是由3D成像装置获取的原始高分辨率点云。
在一个实施例中，鉴别器304被配置成通过为SRPC 310中的每个数据点生成分类评分来进行预测或确定，这些预测或确定指示数据点表示不同对象类别的概率。鉴别器304然后基于分类评分来为数据点计算损失函数(loss function)或错误值(error value)。鉴别器304然后检查该损失函数并将该损失函数与一个或多个阈值进行比较，以确定SRPC310中的数据点是否描绘与HRPC 308中的对象相同或相似的对象。例如，如果损失函数或错误大于阈值时，则鉴别器304可能不将SRPC 310标识为描绘与任何HRPC 308中的对象相同或相似的对象。但是，如果损失函数或错误不大于阈值，则鉴别器304可将SRPC 310标识为示出与出现在HRPC 308中的至少一个中的一个或多个对象相同或相似的对象。因此，如果损失函数或错误不大于阈值、并且鉴别器304将SRPC 310中的对象标识为与在至少一个中或在HRPC 308中的对象相同或相似，则生成器302已成功地诱骗或欺骗了鉴别器304。
例如，在图3中，SRPC 310可以是由生成器302创建的第一SRPC 310。鉴别器304检查第一SRPC，并且不将SRPC中表示的对象识别或标识为与HRPC 308中的对象相同或相似。例如，损失函数或错误可能大于阈值。鉴别器304(例如，经由一个或多个有线和/或无线连接)将对象与生成器302不相同的确定(或预测)传达给生成器302。作为响应，生成器302调整生成器302的各个层303中的人工神经元的权重和/或函数。生成器302然后创建不同的第二组生成的数据点(second set of generated data points)并将第二组数据点内插到先前用于创建第一SRPC 310的相同LRPC 306内，以便创建不同的第二SRPC 310。由于第二SRPC 310中的生成的数据点不同于第一SRPC 310中的生成的数据点，因此由第一和第二SRPC 310表示的对象可能至少略有不同。鉴别器304检查第二创建SRPC 310，并且仍然确定第二SRPC 310中的对象与HRPC 308中的任何对象不匹配(例如，不相同或相似)。鉴别器304再次将此差异传达给生成器302，并且生成器302再次调整人工神经元的权重和/或函数。
该往复过程(back-and-forth process)可以在生成器和鉴别器网络302，304之间持续，直到生成器302创建SRPC 310，鉴别器304检查并确定描绘与HRPC 308中描绘的对象中的至少一个相同或至少类似的对象。例如，鉴别器304可以检查SRPC310中的数据点的特性并确定损失函数或错误不大于阈值。鉴别器304将该相似性或确认传达给生成器302(例如，经由一个或多个有线和/或无线连接)。作为响应，生成器302可以设置人工神经元的权重和/或函数，意味着生成器302不会从用于创建诱骗鉴别器304的SRPC 310的设置来调整权重和/或函数。可选地，在GAN系统300的训练阶段期间，可以针对用作输入训练3D图像数据的多个LRPC 306重复该往复过程。
在GAN系统300被训练之后，生成器302能够生成超分辨点云310，其组合来自实际的低分辨率点云306的数据点和由生成器302创建的生成的数据点，鉴别器304无法区分实际的高分辨率点云308。此后，训练的生成器302可以用于创建超分辨点云310，其可以用于各种计算机任务，这些计算机任务依赖于比可用的距离成像传感器可以获得的更高的分辨率水平。例如，生成器302可以接收从3D飞行时间相机(3D time-of-flight camera)获取的低分辨率点云，并且可以基于接收到的低分辨率点云来生成超分辨点云。超分辨点云可以(例如，经由一个或多个有线或无线连接)被提供给其它神经网络以用于对象识别或跟踪(object recognition or tracking)，被提供到计算机系统以用于点云中描绘的对象的自主导航或3D重建等。
图6是用于使用一个或多个深度神经网络产生超分辨点云的方法600的一个实施例的流程图。方法600可以表示由图2中示出的控制器202的一个或多个处理器204和/或图3中示出的GAN系统300的处理器执行的操作，以改善由距离成像装置获取的3D图像数据(例如，点云)的分辨率，以将更高分辨率的3D点云用于各种计算机任务，例如对象识别和跟踪、自主导航、用于检查的3D重建、映射和/或虚拟现实等。方法600可以表示用于创建(例如，写入)引导一个或多个神经网络的操作的一个或多个软件应用的算法。
在602处，3D训练点云(例如，3D图像数据)被输入到GAN系统。3D训练点云具有低于期望或阈值分辨率的数据点的分辨率。3D训练点云中的数据点表示对象，例如涡轮增压器的转子组件的叶片、燃气涡轮发动机等。在604处，GAN系统的生成器网络生成数据点。生成器基于训练点云中的数据点的特性，诸如数据点的绝对或相对位置、颜色和/或数据点的强度，来生成数据点。生成器可以基于已知对象中的数据点的特性(例如涡轮叶片的涂层中的剥落的已知实例)的学习的分布(learned distribution)(例如，高斯分布或其它统计分布)来生成数据点。在606处，生成器将生成的数据点内插到训练点云中以产生超分辨点云。超分辨点云包括来自训练点云的数据点和由生成器创建的生成的数据点。超分辨点云因此具有比训练点云更高的分辨率，并且可以具有至少为阈值分辨率的分辨率。生成器可以创建大于训练点云中的数据点的总量的量的生成的数据点，使得生成的数据点构成超分辨点云中的大部分数据点。
在608处，使用GAN系统的鉴别器网络来分析超分辨点云。鉴别器可以检查超分辨点云中的数据点的特性，以在610处预测由超分辨点云表示的对象是真实的还是伪造的。例如，鉴别器可以将在超分辨点云中表示的对象与在已知为世界上存在的真实实际对象的一组样本高分辨率点云(a set of sample high resolution point clouds)中表示的对象进行比较。在样本高分辨率点云中表示的对象可以是树木、人、发动机的涂层中的剥落等。由于生成数据点是计算机生成的，而不仅仅是图像数据的副本，因此超分辨点云表示的对象可能看起来与实际真实对象不相同或相似。如果鉴别器预测在超分辨点云中表示的对象是伪造的或不真实的，使得鉴别器不识别该对象或确定该对象与样本高分辨率点云中表示的对象不相同或相似，则方法600的流程继续到612。
在612处，调整生成器网络的层中的人工神经元的权重和/或函数。方法600然后返回到604，并且生成器302创建不同的第二组生成数据点，然后与训练点云组合或用训练点云内插以产生第二超分辨点云。生成的数据点是基于人工神经元的权重和/或函数来创建的，因此调整权重和/或函数导致第二组生成数据点与第一组不同。结果，在第二超分辨点云中表示的对象可能与在第一超分辨点云中表示的对象不同。
一旦鉴别器预测在超分辨点云中表示的对象是真实的，意味着鉴别器将对象识别为是真实的或与样本高分辨率点云中的至少一个中表示的对象相同或相似，则方法600的流程继续到614。在614处，确定是否测试另一个3D训练点云或将其输入到GAN系统的生成器。例如，直到并包括操作614的方法600的操作可以被称为GAN系统的训练阶段。训练阶段可能没有完成，直到使用至少阈值数量的训练点云来生成鉴别器错误感知的超分辨点云以描绘实际真实对象而不是计算机生成对象。例如，可以使用十个或更多个训练点云来训练GAN系统。
一旦训练阶段完成，流程继续到616，并且获得表示对象的低分辨率点云。低分辨率点云可以直接从3D距离成像装置，例如飞行时间相机，获得。例如，可以设置距离成像装置以捕获描绘例如在燃气涡轮发动机上的转子组件的至少一个叶片的一组3D数据点(包括低分辨率点云)。或者，低分辨率点云可以从存储器或服务器获得。点云被称为“低分辨率”点云，因为每单位空间的数据点的量少于期望或阈值量。
在618处，低分辨率点云被输入到GAN系统的训练的生成器以用于生成器产生超分辨点云。例如，生成器可以如操作604和606中所描述的来产生超分辨点云，通过基于输入低分辨率点云中的数据点的特性以及在训练阶段期间学习的特性的分布来合成数据点。生成的数据点用低分辨率点云的数据点被内插，以产生具有大于或等于期望的或阈值分辨率的分辨率的超分辨点云。
在620处，分析超分辨点云以标识和/或检查由超分辨点云表示的对象。例如，超分辨点云可以(经由有线或无线连接)被传送到神经网络用于自动对象识别。神经网络可以被配置成检查超分辨点云，以检测叶片的涂层上的剥落或裂缝的具体情况。其它神经网络可以被配置成检测或标识身体部位上的异常、车辆车轮上的磨耗图纹、沿着车辆行进路径的障碍物等。分析超分辨点云的神经网络可以是GAN系统的鉴别器网络或不同的神经网络。
在622处，响应于对超分辨点云的分析而自动采取适当的行动。例如，在检测到诸如叶片上的剥落或车辆的路径上的障碍物之类的异常时，一个或多个处理器可自动向控制器输出信号。该信号可以促使控制器自动(i)激活输出装置(例如，音频扬声器、灯、显示器、振动装置等)以向操作者告警，(ii)为对象(例如，涡轮发动机的转子系统)安排维护，或(iii)开始修复对象。修复可涉及例如将修复添加剂喷涂到转子组件的叶片的热障涂层上。作为另一个实例，响应于检测到超分辨点云中的异常，一个或多个处理器可以向控制器输出信号，以便控制器自动地停止转子组件、车辆等的运动或改变其运动方向。可以实现自动停止车辆的运动，以避免车辆与从超分辨点云标识的障碍物之间的碰撞。所采取的响应或补救行动可取决于检测到的异常的类型和/或属性(例如，尺寸、颜色等)。例如，安排维护可适用于在转子组件的叶片中检测到的小裂缝，并且自动停止转子组件的运动可适用于大裂缝。
在本说明书描述的一个或多个实施例中，用于从低分辨率深度图(lowresolution depth maps)恢复高分辨率深度图(即，3D点云)的方法使用深度卷积生成式对抗网络(Deep Convolutional Generative Adversarial Networks，DCGAN)。DCGAN的损失函数旨在考虑边缘清晰度(edge sharpness)、局部平滑度(local smoothness)和数据保真度(data fidelity)。例如，在生成器的损失函数中加入平滑度约束(smoothnessconstraint)、清晰度约束(sharpness constraint)和数据保真度约束(data fidelityconstraint)。该方法还包括将稀疏点云数据点(sparse point cloud data points)映射(mapping)到更密集的点云上。该方法可以使用从二维图像数据生成(x，y，z)坐标值的3D片。另外，对3D片应用刚性变换(rigid transformation)以生成用于DCGAN的附加训练的训练数据。刚性转换的一个缺点是在一些旋转角度中引入了孔，所以为了避免这个问题，检查孔的数量，并去除内部具有孔的片。
在一个实施例中，设计了第一GAN和条件GAN(conditional GAN)。在第一GAN设计中，生成器的损失函数被定义为两项的组合(the combination of two terms)——第一项(first term)是D(G(x))-1，第二项(second term)是l2-重建深度图和地面实况的范数(norm of reconstructed depth map and ground truth)。在条件GAN设计中，生成器的损失函数被定义为D(G(x))-1，鉴别器是D(x，d)，其中d是输入低分辨率深度图。平滑度约束可以通过在重建深度图和地面实况上添加低通滤波器，然后计算l2-范数(norm)来实现。清晰度约束可以通过在输出和地面实况上添加高通滤波器，然后计算l2-范数来实现。
GAN框架已经过实验评估。评估期间，对64×64数据片进行采样并下采样为16×16像素片。目的是从16×16片中恢复64×64片。除了双三次插值输出(bicubicinterpolation output)之外，还生成了GAN输出。基于视觉比较，GAN输出看起来与地面实况图像非常相似，并且相较于双三次插值输出与地面实况更匹配。实验结果显示了所公开的方法的实施例的有效性。
在一个实施例中，提供了一种包括一个或多个处理器和存储生成式对抗网络(GAN)的存储器的系统(例如，点云生成系统)。一个或多个处理器被配置成接收包括一组三维(3D)数据点的低分辨率点云。低分辨率点云表示对象。一个或多个处理器被配置成将低分辨率点云输入到GAN，以使GAN的生成器至少部分地基于低分辨率点云中的数据点的一个或多个特性来生成第一组生成的数据点(a first set of generated data points)。生成器被进一步配置成将生成的数据点内插到低分辨率点云中，以产生表示对象并且具有比低分辨率点云更高的分辨率的超分辨点云。一个或多个处理器被进一步配置成分析超分辨点云以检测对象的标识或对对象的损坏中的一个或多个。
可选地，对象是涡轮发动机，并且一个或多个处理器被配置成分析超分辨点云以检测对涡轮发动机的涂层的损坏。
可选地，GAN的鉴别器被配置成接收来自生成器的超分辨点云，并且预测超分辨点云中的对象是否是与一个或多个高分辨率训练点云中表示的对象相似或相同的一个或多个。
可选地，响应于鉴别器预测超分辨点云中的对象不与一个或多个高分辨率训练点云中的任何一个中表示的任何对象相似或相同，GAN的生成器被配置成生成不同的第二组生成的数据点(second set of generated data points)，该数据点被内插到低分辨率点云以产生修正的超分辨点云。
可选地，存储器上的GAN的生成器是人工神经网络，其具有人工神经元，其将加权函数应用于低分辨率点云中的数据点的一个或多个特性以生成生成的数据点。响应于GAN的鉴别器预测超分辨点云中的对象不与一个或多个高分辨率训练点云中的任何一个中表示的任何对象相似或相同，生成器被配置成在生成第二组生成的数据点之前改变由人工神经元在加权函数中应用的一个或多个权重。
可选地，GAN的生成器将生成数据点内插到低分辨率点云中，处于低分辨率点云中相邻数据点之间的坐标位置处。
可选地，一个或多个处理器被配置成从飞行时间距离成像相机接收低分辨率点云。
可选地，GAN的生成器被配置成生成低分辨率点云中的数据点的总量的至少三倍的量的超分辨点云的生成的数据点。
可选地，GAN的生成器在其上被配置成生成生成的数据点的低分辨率点云中的数据点的一个或多个特性包括数据点的3D位置坐标、强度、颜色或相对位置中的一个或多个。
可选地，GAN的生成器被配置成至少部分地基于由GAN在GAN的训练阶段期间从一个或多个处理器接收的一个或多个训练点云中的数据点的一个或多个特性的确定分布来生成生成的数据点。
在一个实施例中，提供了一种(例如，用于生成点云的)方法，其包括获得包括一组三维(3D)数据点的低分辨率点云。低分辨率点云表示对象。该方法包括将低分辨率点云输入到生成式对抗网络(GAN)的生成器，该GAN的生成器被训练成至少部分地基于低分辨率点云中的数据点的一个或多个特性来生成第一组生成的数据点。生成器被进一步配置成将生成的数据点内插到低分辨率点云中以产生表示对象、并且具有比低分辨率点云更高的分辨率的超分辨点云。该方法还包括分析超分辨点云以检测对象的标识或对对象的损坏中的一个或多个。
可选地，对象是涡轮发动机，并且分析超分辨点云以检测对涡轮发动机的涂层的损坏。
可选地，该方法进一步包括使用GAN的鉴别器来预测超分辨点云中的对象是否是与一个或多个高分辨率训练点云中表示的对象相似或相同的一个或多个。
可选地，响应于鉴别器预测超分辨点云中的对象不与一个或多个高分辨率训练点云中的任何一个中表示的任何对象相似或相同，该方法包括使用生成器来生成不同的第二组生成的数据点，该数据点被内插到低分辨率点云以产生修正的超分辨点云。
可选地，GAN的生成器是人工神经网络，其具有人工神经元，其将加权函数应用于低分辨率点云中的数据点的一个或多个特性以生成生成的数据点。响应于鉴别器预测超分辨点云中的对象不与一个或多个高分辨率训练点云中的任何一个中表示的任何对象相似或相同，该方法包括在生成第二组生成的数据点之前改变由人工神经元在加权函数中应用的一个或多个权重。
可选地，该方法进一步包括在将低分辨率点云输入到生成器之前，使用一个或多个训练点云来训练GAN。GAN的生成器被配置成确定一个或多个训练点云中的数据点的一个或多个特性的分布，并使用一个或多个特性的分布来生成第一组生成的数据点。
可选地，生成器被配置成生成低分辨率点云中的数据点的总量的至少三倍的量的超分辨点云的生成的数据点。
在一个实施例中，提供了一种包括生成式对抗网络(GAN)的生成器和GAN的鉴别器的系统(例如，点云生成系统)，该GAN的生成器包括一个或多个处理器，并且该GAN的鉴别器包括一个或多个处理器。生成器被配置成接收表示对象的低分辨率点云。低分辨率点云包括三维(3D)数据点。生成器被配置成生成第一组生成的3D数据点，并且将生成数据点内插到低分辨率点云中以产生表示对象、并且具有比低分辨率点云更高的分辨率的超分辨点云。鉴别器被配置成预测超分辨点云中的对象是否是与一个或多个高分辨率训练点云中表示的对象相似或相同的一个或多个。响应于预测超分辨点云中的对象是与一个或多个高分辨率训练点云中表示的对象相似或相同的一个或多个，生成器被配置成将超分辨点云传送给神经网络，用于由神经网络进行自动对象识别。
可选地，响应于鉴别器预测超分辨点云中的对象不与一个或多个高分辨率训练点云中的任何一个中表示的任何对象相似或相同，生成器被配置成生成不同的第二组生成的数据点并且将第二组内插到低分辨率点云以产生修正的超分辨点云。
可选地，生成器被配置成生成低分辨率点云中的数据点的总量的至少三倍的量的超分辨点云的生成的数据点。
如本说明书所使用，以单数形式叙述并且跟在词语“一”或“一个”后的元件或步骤应理解为不排除复数个所述元件或步骤，除非明确陈述此类排除。此外，对当前描述的主题的“一个实施例”的提及并非旨在解释为排除同样并有所述特征的额外实施例的存在。此外，除非明确地陈述为相反情况，否则“包括”或“具有”带有特定属性的一个元件或多个元件的实施例可以包括不带有该属性的其它此类元件。
应了解，以上描述希望为说明性而非限制性的。例如，上述实施例(和/或其方面)可相互组合使用。例如，上述实施例(和/或其方面)可相互组合使用。另外，在不脱离本说明书所阐述主题的范围的情况下，可进行许多修改以使特定情形或材料适应所述主题的教示。虽然本说明书所描述的材料的尺寸和类型旨在界定所公开主题的参数，但其绝非是限制性的，而是示范性实施例。本领域的技术人员在查阅以上描述后将会明白许多其它实施例。因此，本说明书所描述的主题的范围应参考所附权利要求书以及此类权利要求书有权要求的等效物的完整范围来确定。在所附权利要求书中，术语“包括(including)”和“其中(in which)”用作相应术语“包括(comprising)”和“其中(wherein)”的简明等效用语。此外，在所附权利要求书中，术语“第一”、“第二”和“第三”等仅用作标记，且并不希望对其对象强加数字要求。此外，下面的权利要求书的限制并不按照装置加功能格式编写，并且并非意图根据35U.S.C.§112(f)来解释，除非这类权利要求限制明确使用短语“用于…的装置”加上没有其它结构的功能陈述。
本说明书使用实例来公开本说明书所阐述的主题的若干实施例，包括最佳方式，并且还使本领域的普通技术人员能够实践所公开主题的实施例，包括制造和使用所述装置或系统并执行所述方法。本说明书所描述的主题的可获专利范围由权利要求书界定，且可包括本领域的普通技术人员想到的其它实例。如果此类其它实例具有与权利要求书的字面措辞无异的结构要素，或如果它们包括与权利要求书的字面措辞无实质差异的等效结构要素，那么它们既定在权利要求范围内。

Claims (20)

1.一种系统，包括：
存储生成式对抗网络(GAN)的存储器；以及
一个或多个处理器，其被配置成接收包括一组三维(3D)数据点的低分辨率点云，所述低分辨率点云表示对象，所述一个或多个处理器被配置成将所述低分辨率点云输入到所述GAN，以使所述GAN的生成器至少部分地基于所述低分辨率点云中的所述数据点的一个或多个特性来生成第一组生成的数据点，所述生成器被进一步配置成将所述生成的数据点内插到所述低分辨率点云中以产生表示所述对象并且具有比所述低分辨率点云更高的分辨率的的超分辨点云；
其中所述一个或多个处理器被进一步配置成分析所述超分辨点云以用于检测所述对象的标识或对所述对象的损坏中的一个或多个。
2.根据权利要求1所述的系统，其中，所述对象是涡轮发动机，并且所述一个或多个处理器被配置成分析所述超分辨点云以检测对所述涡轮发动机的涂层的损坏。
3.根据权利要求1所述的系统，其中，所述GAN的鉴别器被配置成从所述生成器接收所述超分辨点云，并且预测所述超分辨点云中的所述对象是否是与一个或多个高分辨率训练点云中表示的对象相似或相同中的一个或多个。
4.根据权利要求3所述的系统，其中，响应于所述鉴别器预测所述超分辨点云中的所述对象不与所述一个或多个高分辨率训练点云中的任何一个中表示的任何对象相似或相同，所述GAN的所述生成器被配置成生成不同的第二组生成的数据点，所述数据点被内插到所述低分辨率点云中以产生修正的超分辨点云。
5.根据权利要求4所述的系统，其中，存储器上的所述GAN的所述生成器是具有人工神经元的人工神经网络，所述人工神经元将加权函数应用于所述低分辨率点云中的所述数据点的所述一个或多个特性以生成所述生成的数据点，并且响应于所述GAN的所述鉴别器预测所述超分辨点云中的所述对象不与所述一个或多个高分辨率训练点云中的任何一个中表示的任何对象相似或相同，所述生成器被配置成在生成所述第二组生成的数据点之前改变由所述人工神经元在所述加权函数中应用的一个或多个权重。
6.根据权利要求1所述的系统，其中，所述GAN的所述生成器将所述生成的数据点内插到所述低分辨率点云中，处于所述低分辨率点云中相邻数据点之间的坐标位置处。
7.根据权利要求1所述的系统，其中，所述一个或多个处理器被配置成从飞行时间距离成像相机接收所述低分辨率点云。
8.根据权利要求1所述的系统，其中，所述GAN的所述生成器被配置成生成比所述低分辨率点云中的所述数据点总量多至少三倍的所述超分辨点云的所述生成数据点量。
9.根据权利要求1所述的系统，其中，所述GAN的所述生成器在其上被配置成生成所述生成的数据点的所述低分辨率点云中的所述数据点的所述一个或多个特性包括所述数据点的3D位置坐标、强度、颜色或相对位置中的一个或多个。
10.根据权利要求1所述的系统，其中，所述GAN的所述生成器被配置成至少部分地基于由所述GAN在所述GAN的训练阶段期间从所述一个或多个处理器接收的一个或多个训练点云中的数据点的一个或多个特性的确定分布来生成所述生成的数据点。
11.一种方法，包括：
获得包括一组三维(3D)数据点的低分辨率点云，所述低分辨率点云表示对象；
将所述低分辨率点云输入到生成式对抗网络(GAN)的生成器，所述GAN的所述生成器被训练成至少部分地基于所述低分辨率点云中的所述数据点的一个或多个特性来生成第一组生成的数据点，所述生成器被进一步配置成将所述生成的数据点内插到所述低分辨率点云中以产生表示所述对象并且具有比所述低分辨率点云更高的分辨率的超分辨点云；以及
分析所述超分辨点云以检测所述对象的标识或对所述对象的损坏中的一个或多个。
12.根据权利要求11所述的方法，其中，所述对象是涡轮发动机，并且分析所述超分辨点云以检测对所述涡轮发动机的涂层的损坏。
13.根据权利要求11所述的方法，其中，进一步包括使用所述GAN的鉴别器来预测所述超分辨点云中的所述对象是否是与一个或多个高分辨率训练点云中表示的对象相似或相同中的一个或多个。
14.根据权利要求13所述的方法，其中，响应于所述鉴别器预测所述超分辨点云中的所述对象不与所述一个或多个高分辨率训练点云中的任何一个中表示的任何对象相似或相同，所述方法包括使用所述生成器来生成不同的第二组生成的数据点，所述数据点被内插到所述低分辨率点云中以产生修正的超分辨点云。
15.根据权利要求14所述的方法，其中，所述GAN的所述生成器是具有人工神经元的人工神经网络，所述人工神经元将加权函数应用于所述低分辨率点云中的所述数据点的一个或多个特性以生成所述生成的数据点，并且响应于所述鉴别器预测所述超分辨点云中的所述对象不与所述一个或多个高分辨率训练点云中的任何一个中表示的任何对象相似或相同，所述方法包括在生成所述第二组生成的数据点之前改变由所述人工神经元在所述加权函数中应用的一个或多个权重。
16.根据权利要求11所述的方法，其中，进一步包括在将所述低分辨率点云输入到所述生成器之前使用一个或多个训练点云来训练所述GAN，所述GAN的所述生成器被配置成确定所述一个或多个训练点云中的数据点的一个或多个特性的分布、并使用所述一个或多个特性的所述分布来生成所述第一组生成的数据点。
17.根据权利要求11所述的方法，其中，所述生成器被配置成生成比所述低分辨率点云中的所述数据点总量多至少三倍的所述超分辨点云的所述生成的数据点量。
18.一种系统，包括：
包括一个或多个处理器的生成式对抗网络(GAN)的生成器，所述生成器被配置成接收表示对象的低分辨率点云，所述低分辨率点云包括三维(3D)数据点，所述生成器被配置成生成第一组生成的3D数据点、并且将所述生成的数据点内插到所述低分辨率点云中以产生表示所述对象并且具有比所述低分辨率点云更高的分辨率的超分辨点云；以及
包括一个或多个处理器的所述GAN的鉴别器，所述鉴别器被配置成预测所述超分辨点云中的所述对象是否是与一个或多个高分辨率训练点云中表示的对象相似或相同中的一个或多个；并且
响应于预测所述超分辨点云中的所述对象是与所述一个或多个高分辨率训练点云中表示的所述对象相似或相同中的一个或多个，所述生成器被配置成将所述超分辨点云传送给神经网络，用于由所述神经网络进行自动对象识别。
19.根据权利要求18所述的系统，其中，响应于所述鉴别器预测所述超分辨点云中的所述对象不与所述一个或多个高分辨率训练点云中的任何一个中表示的任何对象相似或相同，所述生成器被配置成生成不同的第二组生成的数据点、并将所述第二组内插到所述低分辨率点云中以产生修正的超分辨点云。
20.根据权利要求18所述的系统，其中，所述生成器被配置成生成比所述低分辨率点云中的所述数据点总量多至少三倍的所述超分辨点云的所述生成的数据点量。
CN201810508516.5A 2017-05-24 2018-05-24 神经网络点云生成系统 Active CN109003253B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/604012 2017-05-24
US15/604,012 US10262243B2 (en) 2017-05-24 2017-05-24 Neural network point cloud generation system

Publications (2)

Publication Number Publication Date
CN109003253A CN109003253A (zh) 2018-12-14
CN109003253B true CN109003253B (zh) 2021-10-22

Family

ID=62620617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810508516.5A Active CN109003253B (zh) 2017-05-24 2018-05-24 神经网络点云生成系统

Country Status (5)

Country Link
US (1) US10262243B2 (zh)
EP (1) EP3407292B1 (zh)
CN (1) CN109003253B (zh)
CA (1) CA3004572A1 (zh)
SG (1) SG10201803803RA (zh)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201604345D0 (en) * 2016-03-14 2016-04-27 Magic Pony Technology Ltd Super resolution using fidelity transfer
US10751879B2 (en) 2017-06-05 2020-08-25 Autodesk, Inc. Adapting simulation data to real-world conditions encountered by physical processes
US10621448B2 (en) * 2017-08-02 2020-04-14 Wing Aviation Llc Systems and methods for determining path confidence for unmanned vehicles
US10430937B2 (en) * 2017-09-25 2019-10-01 United Technologies Corporation Automated material characterization system including conditional generative adversarial networks
US10705216B2 (en) * 2017-12-07 2020-07-07 Institute For Information Industry Three-dimensional point cloud tracking apparatus and method using recurrent neural network
US11556799B2 (en) * 2018-01-02 2023-01-17 Nokia Technologies Oy Channel modelling in a data transmission system
US10282834B1 (en) 2018-06-22 2019-05-07 Caterpillar Inc. Measurement platform that automatically determines wear of machine components based on images
CN110570358A (zh) * 2018-09-04 2019-12-13 阿里巴巴集团控股有限公司 基于gan网络的车损图像增强方法和装置
CN109284280B (zh) * 2018-09-06 2020-03-24 百度在线网络技术（北京）有限公司 仿真数据优化方法、装置及存储介质
CN109636721B (zh) * 2018-11-29 2023-06-23 武汉大学 基于对抗学习和注意力机制的视频超分辨率方法
JP2020089947A (ja) * 2018-12-06 2020-06-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN118781209A (zh) * 2018-12-14 2024-10-15 交互数字Vc控股公司 用于对空间数据进行程序化着色的方法和装置
CN109580649B (zh) * 2018-12-18 2020-11-27 清华大学 一种工程结构表面裂缝识别与投影修正方法及系统
US10380724B1 (en) * 2019-01-28 2019-08-13 StradVision, Inc. Learning method and learning device for reducing distortion occurred in warped image generated in process of stabilizing jittered image by using GAN to enhance fault tolerance and fluctuation robustness in extreme situations
US10373026B1 (en) * 2019-01-28 2019-08-06 StradVision, Inc. Learning method and learning device for generation of virtual feature maps whose characteristics are same as or similar to those of real feature maps by using GAN capable of being applied to domain adaptation to be used in virtual driving environments
US10860878B2 (en) 2019-02-16 2020-12-08 Wipro Limited Method and system for synthesizing three-dimensional data
US11935652B1 (en) * 2019-02-20 2024-03-19 Verily Life Sciences Llc Health status change detection using anomaly detection in latent spaces
WO2020175445A1 (ja) 2019-02-28 2020-09-03 富士フイルム株式会社 学習方法、学習装置、生成モデル及びプログラム
JP7105363B2 (ja) * 2019-02-28 2022-07-22 富士フイルム株式会社 学習方法、学習システム、学習済みモデル、プログラム及び超解像画像生成装置
CN109934771B (zh) * 2019-03-08 2021-03-12 北京航空航天大学 基于循环神经网络的无监督遥感图像超分辨率重建方法
CN110163799B (zh) * 2019-05-05 2023-05-05 杭州电子科技大学上虞科学与工程研究院有限公司 一种基于深度学习的超分辨率点云生成方法
CN110322467B (zh) * 2019-05-24 2021-07-16 麦恒智能科技(湖州)有限公司 一种提升3d轮廓传感器计算板材表面点云密度的算法
GB2584469B (en) * 2019-06-05 2023-10-18 Sony Interactive Entertainment Inc Digital model repair system and method
US12079954B2 (en) 2019-06-10 2024-09-03 Google Llc Modifying sensor data using generative adversarial models
CN110489661B (zh) * 2019-07-24 2022-04-26 武汉大学 一种基于生成对抗网络和迁移学习的社交关系预测方法
CN112526545A (zh) * 2019-08-30 2021-03-19 深圳市速腾聚创科技有限公司 一种激光雷达点云处理方法、装置、存储介质及终端设备
CN111006865A (zh) * 2019-11-15 2020-04-14 上海电机学院 一种电机轴承故障诊断方法
CN111063021B (zh) * 2019-11-21 2021-08-27 西北工业大学 一种空间运动目标的三维重建模型建立方法及装置
DE102019218613B4 (de) 2019-11-29 2021-11-11 Volkswagen Aktiengesellschaft Objektklassifizierungsverfahren, Objektklassifizierungsschaltung, Kraftfahrzeug
RU2745445C1 (ru) * 2020-01-27 2021-03-25 Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий" Способ генерации трёхмерных облаков точек
US11508042B1 (en) * 2020-01-29 2022-11-22 State Farm Mutual Automobile Insurance Company Imputation of 3D data using generative adversarial networks
CN111340286B (zh) * 2020-02-24 2023-01-17 广东博智林机器人有限公司 机器人调度方法、装置、电子设备以及存储介质
CN111368886B (zh) * 2020-02-25 2023-03-21 华南理工大学 一种基于样本筛选的无标注车辆图片分类方法
CN111353249B (zh) * 2020-03-02 2022-02-11 厦门大学 涡轮封严盘非圆通气孔集成设计优化方法
CN111369428B (zh) * 2020-03-09 2023-07-21 北京百度网讯科技有限公司 虚拟头像生成方法和装置
US11341650B2 (en) * 2020-03-19 2022-05-24 At&T Intellectual Property I, L.P. Method for accelerating three-dimensional object segmentation with point cloud simplifications
CN111724478B (zh) * 2020-05-19 2021-05-18 华南理工大学 一种基于深度学习的点云上采样方法
CN111899191B (zh) * 2020-07-21 2024-01-26 武汉工程大学 一种文本图像修复方法、装置及存储介质
CN111723780B (zh) * 2020-07-22 2023-04-18 浙江大学 基于高分辨率遥感图像的跨域数据的定向迁移方法及系统
CN112085208B (zh) * 2020-07-30 2024-08-20 北京聚云科技有限公司 一种利用云端进行模型训练的方法及装置
CN111899353A (zh) * 2020-08-11 2020-11-06 长春工业大学 一种基于生成对抗网络的三维扫描点云孔洞填补方法
TWI798583B (zh) * 2020-09-01 2023-04-11 中華電信股份有限公司 加速模擬軟體的模擬結果的產生的電子裝置和方法
US20220108488A1 (en) * 2020-10-07 2022-04-07 Qualcomm Incorporated Angular mode and in-tree quantization in geometry point cloud compression
CN112184556B (zh) * 2020-10-28 2021-10-29 万申(北京)科技有限公司 一种基于口腔cbct重建点云的超分辨成像方法
CN112001983B (zh) * 2020-10-30 2021-02-09 深圳佑驾创新科技有限公司 生成遮挡图像的方法、装置、计算机设备和存储介质
CN112418395B (zh) * 2020-11-17 2022-08-26 吉林大学 一种基于生成对抗网络的气体传感器阵列漂移补偿方法
CN112561796B (zh) * 2020-12-02 2024-04-16 西安电子科技大学 基于自注意生成对抗网络的激光点云超分辨率重建方法
CN112712477B (zh) * 2020-12-21 2024-09-24 东莞埃科思科技有限公司 结构光模组的深度图像评价方法及其装置
CN112785548B (zh) * 2020-12-29 2023-07-18 中央财经大学 一种基于车载激光点云的路面裂缝检测方法
US11703457B2 (en) 2020-12-29 2023-07-18 Industrial Technology Research Institute Structure diagnosis system and structure diagnosis method
US11948274B1 (en) * 2021-01-05 2024-04-02 Pixar Deep learned super resolution for feature film production
CN112819724B (zh) * 2021-02-05 2024-06-28 广东电网有限责任公司广州供电局 一种基于cnn的扫描文档图像增强方法
GB2605612A (en) * 2021-04-07 2022-10-12 Sony Interactive Entertainment Europe Ltd System and method for point cloud generation
CA3214736A1 (en) * 2021-04-26 2022-11-03 Philip ZYLSTRA Vehicle damage detection system and method
US11972052B2 (en) * 2021-05-05 2024-04-30 University Of Southern California Interactive human preference driven virtual texture generation and search, and haptic feedback systems and methods
CN112926584B (zh) * 2021-05-11 2021-08-06 武汉珈鹰智能科技有限公司 裂缝检测方法、装置、计算机设备及存储介质
CN113609985B (zh) * 2021-08-05 2024-02-23 诺亚机器人科技(上海)有限公司 物体位姿检测方法、检测设备、机器人及可存储介质
US20230078625A1 (en) * 2021-09-14 2023-03-16 Giant.Ai, Inc. Anomaly detection in latent space representations of robot movements
FR3128564B1 (fr) * 2021-10-25 2023-12-22 St Microelectronics Rousset Procédé de suivi d’au moins un élément dans une succession temporelle de signaux physiques
CN114092469B (zh) * 2021-12-02 2022-08-26 四川大学 一种叶片的修补区域的确定方法、装置及可读存储介质
CN115393533B (zh) * 2022-10-27 2023-05-30 科大讯飞股份有限公司 一种三维点云构建方法、装置、电子设备及存储介质
CN117742523B (zh) * 2023-12-20 2024-09-20 东莞市安道光电材料制造有限公司 一种触摸屏的显示方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015200782A1 (en) * 2014-06-27 2015-12-30 A9.Com, Inc. 3-d model generation
CN105719352A (zh) * 2016-01-26 2016-06-29 湖南拓视觉信息技术有限公司 人脸三维点云超分辨率融合方法及应用其的数据处理装置
CN106461391A (zh) * 2014-05-05 2017-02-22 赫克斯冈技术中心 测量系统
CN106683048A (zh) * 2016-11-30 2017-05-17 浙江宇视科技有限公司 一种图像超分辨率方法及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5444796A (en) 1993-10-18 1995-08-22 Bayer Corporation Method for unsupervised neural network classification with back propagation
US9984474B2 (en) * 2011-03-04 2018-05-29 General Electric Company Method and device for measuring features on or near an object
US9928406B2 (en) * 2012-10-01 2018-03-27 The Regents Of The University Of California Unified face representation for individual recognition in surveillance videos and vehicle logo super-resolution system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106461391A (zh) * 2014-05-05 2017-02-22 赫克斯冈技术中心 测量系统
WO2015200782A1 (en) * 2014-06-27 2015-12-30 A9.Com, Inc. 3-d model generation
CN105719352A (zh) * 2016-01-26 2016-06-29 湖南拓视觉信息技术有限公司 人脸三维点云超分辨率融合方法及应用其的数据处理装置
CN106683048A (zh) * 2016-11-30 2017-05-17 浙江宇视科技有限公司 一种图像超分辨率方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Learning to Generate Chairs, Tables and Cars with Convolutional Networks》;Alexey Dosovitskiy等;《 IEEE Transactions on Pattern Analysis and Machine Intelligence》;20170401;第39卷(第4期);全文 *

Also Published As

Publication number Publication date
CA3004572A1 (en) 2018-11-24
US10262243B2 (en) 2019-04-16
EP3407292B1 (en) 2021-06-30
SG10201803803RA (en) 2018-12-28
EP3407292A1 (en) 2018-11-28
US20180341836A1 (en) 2018-11-29
CN109003253A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
CN109003253B (zh) 神经网络点云生成系统
US10262236B2 (en) Neural network training image generation system
CN110428008A (zh) 一种基于多融合传感器的目标探测与识别装置和方法
CN108932711B (zh) 图像分析神经网络系统
US10482609B2 (en) Optical flow determination system
US9135747B2 (en) Method for 3D reconstruction of an object in a scene
JP7438320B2 (ja) クロスモーダルセンサデータの位置合わせ
Ma et al. Training with noise adversarial network: A generalization method for object detection on sonar image
Chen et al. Automated bridge deck evaluation through UAV derived point cloud
US20220156517A1 (en) Method for Generating Training Data for a Recognition Model for Recognizing Objects in Sensor Data from a Surroundings Sensor System of a Vehicle, Method for Generating a Recognition Model of this kind, and Method for Controlling an Actuator System of a Vehicle
CN108109208A (zh) 一种海上风电场增强现实方法
Wang et al. 3D-LIDAR based branch estimation and intersection location for autonomous vehicles
CN116503798A (zh) 一种基于旋转目标检测的电线杆塔倾斜监测方法
CN112651405B (zh) 目标检测方法及装置
Azhari Automated crack detection and characterisation from 3D point clouds of unstructured surfaces
Wickramasuriya et al. Deep Monocular Relative 6D Pose Estimation for Ship-Based Autonomous UAV
Lee et al. Domain-Invariant 3D Structural Convolutional Network for Autonomous Driving Point Cloud Dataset
US20240104865A1 (en) Feature extraction using a point of a collection of points
US20230394757A1 (en) Method for Generating Input Data for a Machine Learning Model
US20240185423A1 (en) System and method of feature detection for airborne bathymetry
Hernandez et al. Situational Awareness I2X Pipeline Methodology for LiDAR-based Sensor Networks at the Edge of Internet of Things
DEBUS et al. Multiple view anomaly detection in images from UAS structure inspection using CNNs
Guedes et al. Multibeam Multi-Frequency Characterization of Water Column Litter
Dalirani A Target-Based and A Targetless Extrinsic Calibration Methods for Thermal Camera and 3D LiDAR
JP2023107676A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant