CN103810744B - 在点云中回填点 - Google Patents

在点云中回填点 Download PDF

Info

Publication number
CN103810744B
CN103810744B CN201310556662.2A CN201310556662A CN103810744B CN 103810744 B CN103810744 B CN 103810744B CN 201310556662 A CN201310556662 A CN 201310556662A CN 103810744 B CN103810744 B CN 103810744B
Authority
CN
China
Prior art keywords
point
cloud
coupling element
depth value
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310556662.2A
Other languages
English (en)
Other versions
CN103810744A (zh
Inventor
T·N·蒙德亨克
Y·欧威斯克
K·科米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN103810744A publication Critical patent/CN103810744A/zh
Application granted granted Critical
Publication of CN103810744B publication Critical patent/CN103810744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Abstract

一种用于增加点云（132）中的点的装置、系统和方法。在其中一个示例性实施例中，接收场景（110）的二维图像（121）和该场景（110）的点云（132）。将点云（132）中的至少一部分点映射到二维图像（121）以形成变换点（146）。使用二维图像（121）和变换点建立融合数据阵列（150）。使用该融合数据阵列（150）为点云（132）确定新点（164）。将新点（164）加到点云（132）中以形成新的点云（162）。

Description

在点云中回填点
技术领域
本发明通常涉及点云，具体地，涉及增加点云的分辨率。更具体地，本发明涉及用于增加点云中点的数量从而增加点云的分辨率的系统和方法。
背景技术
点云是描述三维场景的三维（3D）坐标系中点的集合。通常，点云中的点表示对象的外表面。光探测和测距（light detection and ranging，LIDAR）系统是能够产生点云的一种类型的传感器系统的一个实例。还可以使用如立体摄像机系统、移动激光成像系统和其他类型的传感器系统产生点云。
点云还可用于执行各种操作如，例如，对象识别、对象分类、场景可视化、分割、二维图像数据增强和/或其他类型的操作。使用点云执行这些操作的性能水平会取决于点云的分辨率。
如本文所用，点云的“分辨率”可以是点云获取的场景中的特征在点云内可辨别的细节水平。点云的分辨率可以取决于点云中点的数量和/或点云的一部分或更多部分中的点的密度。如本文所用，“点密度”衡量每单位体积内的点的数量。密度比点云的另一部分高的那部分点云比该其他部分更密集。
在一些情形下，使用稀疏点云的对象识别、对象分类、分割和/或场景可视化会产生不准确的结果。例如，点云可能不够密集从而不能正确地进行对象识别或分类。
一些目前可用于增加点云中点的数量的解决方案包括对场景中的对象进行假设。例如，可以假设场景中对象的形状并根据这些假设将新点加到点云中。然而，对于这些类型的解决方案，加入的新点在三维参考坐标系中的位置没有期望的准确。
另外，一些目前可用的解决方案可能无法考虑场景中的实际洞穴或间隙。例如，对于一些目前可用的解决方案，新点可能加入到点云中表示场景中实际的洞穴或间隙所在的位置。此外，一些目前可用的解决方案会将连接对象的点加到点云中，而这些对象在场景中没有被连接，例如，树顶和地面。因此，希望有一种方法和装置至少考虑一些上述讨论的问题以及其他可能的问题。
发明内容
在其中一个示例性实施例中，装置包括图像处理系统。该图像处理系统被配置为将场景的点云中的至少一部分点映射到场景的二维图像以形成变换点。图像处理系统被配置为使用二维图像和变换点建立融合数据阵列。此外，图像处理系统被配置为使用融合数据阵列确定点云的新点并将新点加到点云中以形成新的点云。
在另一个示例性实施例中，图像处理系统包括融合管理器、深度值生成器和点云管理器。融合管理器被配置为将场景的点云中的至少一部分点映射到场景的二维图像以形成变换点，而且被配置为使用二维图像和变换点建立融合数据阵列。融合数据阵列包括与含有非空深度值的填充数据向量相关联的匹配元素和与含有空的深度值的未填充数据向量相关联的非匹配元素。深度值生成器被配置为确定新的深度值以替换至少一部分空的深度值。点云管理器被配置为使用新的深度值确定点云的新点并将新点加入到点云中以形成新的点云。
在又一个示例性实施例中，提供了用于向点云中增加多个点的计算机实施方法。接收场景的二维图像和场景的点云。点云中至少一部分点被映射到二维图像以形成变换点。使用二维图像和变换点建立融合数据阵列。使用融合阵列确定用于点云的新点。将新点加到点云中以形成新的点云。
本文所述的任何前述实施例还能构思下列项所述的计算机实施方法。
第12项：用于向点云（132）中增加多个点的计算机实施方法，该计算机实施方法包括：
接收场景（110）的二维图像（121）和场景（110）的点云（132）；
将点云(132)中的至少一部分点映射到二维图像（121）以形成变换点（146）；
使用二维图像（121）和变换点（146）建立融合数据阵列（150）；
使用融合数据阵列确定用于点云（132）的新点（164）；
将新点（164）加到点云（132）中以形成新的点云（162）。
第13项：根据第12项所述的计算机实施例方法，其中将点云（132）中的至少一部分点映射到二维图像（121）以形成变换点（146）包括：
确定摄像机系统的位姿信息；
使用该位姿信息将点云（132）的三维参考坐标系变换为以摄像机为中心的三维坐标系从而确定点云（132）中的点的以摄像机为中心的坐标；以及
将具有摄像机为中心的坐标的点云（132）中的至少一部分点映射到二维图像（121）中的像素位置（124）。
第14项：根据第12项所述的计算机实施方法，其中使用二维图像（121）和变换点（146）建立融合数据阵列（150）包括：
形成融合数据阵列（150），其中该融合数据阵列（150）由与二维图像（121）中的像素一一对应的元素（152）组成；以及
将数据向量（154）与融合数据阵列（150）中的元素相关联，其中该数据向量（154）包括含有非空的深度值的填充数据向量（154）和含有空的深度值的未填充数据向量（154）。
第15项：如第14项所述的计算机实施方法，其中使用融合数据阵列（164）确定用于点云（132）的新点（164）包括：
产生新的深度值（158）以替换至少一部分空的深度值；以及
使用新的深度值（158）确定用于点云（132）的新点（164）。
第16项：如第15项所述的计算机实施方法，其中产生新的深度值（158）以替换至少一部分空的深度值包括：
将一窗口的中心设定在融合数据阵列（150）中的一个元素的位置，其中该元素与包含空的深度值的未填充数据向量（154）相关联；
确定由所述窗口重叠的一部分融合数据阵列（150）中的支持元素（500）；以及
使用所述支持元素（500）和线性估计算法生成新的深度值（156）以替换空的深度值。
第17项：根据第16项所述的计算机实施方法，其中确定由窗口重叠的一部分融合数据阵列（500）中的支持元素包括：
确定由所述窗口重叠的部分融合数据阵列（150）中的匹配元素（304、306、308、310、312、314、316）是否满足所选标准；
响应于所述匹配元素（304、306、308、310、312、314、316）满足所选标准，以优良度分值（goodness score）给每个匹配元素（304、306、308、310、312、314、316）评分；
通过优良度分值排序匹配元素（304、306、308、310、312、314、316）；以及
选择一部分匹配元素（304、306、308、310、312、314、316）作为支持元素（500）。
第18项：如第16项所述的计算机实施方法，其进一步包括：
重复以下步骤：
将所述窗口的中心设定在所述融合数据阵列（150）中的元素的位置；确定由所述窗口重叠的部分融合数据阵列（150）中的支持元素（500）；以及对于所述融合数据阵列（150）中的每个位置，使用支持元素（500）和线性估计算法生成新的深度值（156）以替换空的深度值。
第19项：根据第15项所述的计算机实施方法，其中使用新的深度值确定用于点云（132）的新点（164）包括：
使用新的深度值（158），确定新点（164）在以摄像机为中心的三维坐标系内的以摄像机为中心的坐标；
将以摄像机为中心的坐标转换为点云（132）的三维参考坐标系内的点位置以形成新点（164）。
第20项：根据第15项所述的计算机实施方法，其中生成新的深度值（158）以替换至少一部分空的深度值包括：
使用窗口处理融合数据阵列（150）以生成新的深度值（158）。
上述特征和功能能够在本发明的各种实施例中独立实现或者也可以在其他实施例中被组合，参考下述说明和附图可知其进一步细节。
附图说明
上述示例性实施例的特征中的新颖特征将在所附权利要求书中阐述。然而，通过参考下文中本发明示例性实施例的的详细说明并在阅读时结合附图可以更好地理解示例性实施例和优选的使用模式及其进一步目的和特征，其中：
图1是一个示例性环境，其中根据一个示例性实施例以方块图的形式示例了处理图像和点云的图像处理系统；
图2根据示例性实施例图示了融合数据阵列。
图3根据示例性实施例图示了由窗口重叠的一部分融合数据阵列；
图4根据示例性实施例图示了产生匹配元素组的每一个元素的分值的过程；
图5根据示例性实施例图示了支持元素的选择；
图6根据示例性实施例图示了新的深度值的生成；
图7根据示例性实施例图示了融合图像；
图8根据示例性实施例图示了两幅融合图像之间的对照；
图9根据示例性实施例图示了最终融合图像的对照；
图10根据示例性实施例图示了最终融合图像表；
图11根据示例性实施例以流程图形式图示了在点云中增加多个点的过程；
图12根据示例性实施例以流程图形式图示了将点云中的点映射到二维图像以形成变换点的过程；
图13根据示例性实施例以流程图形式图示了建立融合数据阵列的过程；
图14根据示例性实施例以流程图形式图示了生成新的深度值的过程；
图15根据示例性实施例以流程图形式图示了为点云生成新点的过程；
图16根据示例性实施例以方框图形式图示了数据处理系统。
具体实施方式
不同示例性实施例认识和考虑不同的方面。例如，这些示例性实施例认识和考虑希望有一种方法被用于以一定精度水平通过将新点加到点云的三维参考坐标系中的位置上来增加点云中的点的数量。
另外，这些示例性实施例认识和考虑由点云获取的相同场景的二维图像可用于增加点云中点的数量。但是，这些示例性实施例认识和考虑希望通过处理二维图像来增加点云中点的数量，而不对场景和/或二维图像中获取的场景中的对象的形状做假设。
因此，该示例性实施例提供一种使用场景的二维图像增加场景的点云中点的数量的系统和方法。此外，该系统和方法可以增加点云中点的数量而不对场景做任何假设。
现在参考图1，其根据一个示例性实施例以方框图的形式描述了一个图像处理环境的示意图。在图1中，图像处理环境100是图像处理系统102可用于处理图像和点云的环境的实例。
如图所示，图像处理系统102可以在计算机系统104中实施。计算机系统104可以包括一个或更多计算机和/或其他类型的硬件。当计算机系统104中超过一个计算机时，这些计算机可以相互通信。
图像处理系统102可以被配置为接收来自第一传感器系统106和第二传感器系统108的数据。第一传感器系统106和第二传感器系统108被配置为产生关于场景110的数据。场景110可以包括特征111。特征111可以包括，例如，但不限于，对象112。对象112可以包括，例如，但不限于，任何数量的运载工具、建筑物、人造结构、人、动物、景观特征、和/或其他类型的对象。其次，特征111还可以包括，例如，场景110的背景。
在这些示例性实例中，第一传感器系统106可以采用第一成像系统114的形式。第一成像系统114可以是被配置为产生场景110的成像数据116的任何系统。在一个示例性实例中，第一成像系统114采用摄像机系统118的形式。另外，摄像机系统118可以采用电子光学摄像机系统的形式。
成像数据116可以包括，例如，但不限于，图像120。具体地，图像120可以是二维图像121。当电子光学摄像机系统产生图像120时，图像120可被称为电子光学图像。
如图所示，图像120可以由像素122组成。像素122可以被设置成由行和列组成的二维阵列。在这个示例性实例中，像素位置124可以确定像素122在这个阵列中的位置。如其中一个示例性实例所示，每一个像素位置124可以确定相应像素的行和列。
此外，每个像素122可以与像素数据相关联。像素的像素数据可以包括，例如，但不限于，若干颜色值、亮度值和/或其他值。该若干颜色值可以包括，例如，基于RGB颜色模型的红色值、绿色值和蓝色值。
在这些示例性实例中，第二传感器系统108可以采用第二成像系统126的形式。第二成像系统126可以是被配置为生成场景110的点数据128的任何系统。在其中一个示例性实例中，第二成像系统126采用光探测和测距系统130的形式。
点数据128可以包括点云132。在这些示例性实例中，点云132可以采用三维点云133的形式。在一些示例性实例中，场景110的点云132可以从场景110的不同视角生成而不是从场景110的图像120生成。
点云132由三维参考坐标系中的点134组成。在这些示例性实例中，每个点位置136可以确定对应点在这个三维参考坐标系中的坐标。在其中一个示例性实例中，参考坐标系可以是真实世界坐标系如，例如，地理坐标系。
点云132的分辨率140可以是点云132获取的场景110中的特征111在点云132内可辨别的细节识别水平。在一些情况下，点云132的分辨率140可以取决于点云132中点134的数量138。例如，随着点云132中点134的数量138的增加，点云132的分辨率140也会增加。
图像处理系统102被配置为接收摄像机系统生成的图像120和光探测和测距系统130产生的点云132。图像处理系统102使用图像120增加点云132的数量138，而且据此增加点云132的分辨率140。更具体地，图像处理系统102可以被配置为生成可以被加到点云132中的新点。
如图所示，图像处理系统102可以包括融合管理器142、深度值生成器144和点云管理器145。融合管理器142被配置为将点云132中至少一部分点134映射到图像120以形成变换点146。更具体地，融合管理器142被配置为将点云132中的至少一部分点134的点位置映射到图像120的图像平面的像素位置上。图像120的图像平面可以是位于像素122的二维阵列内的平面。
可以使用例如变换算法148形成变换点146。变换算法148可以包括任何数量的用于将至少一部分点134映射到图像120的图像平面中的像素位置上的过程、方程和/或算法。在一个示例性实例中，变换算法148可以包括摄像机位姿（pose）估计算法如，例如，有效n点透视（efficient perspective-n-point，即EPnP）摄像机位姿估计算法。
摄像机位姿估计算法可以提供摄像机系统118的位姿的位姿信息。摄像机118的位姿可以包括摄像机系统118的方向和位置中的至少一种。
融合管理器142使用变换算法148将点云的三维参考坐标系变换成以摄像机为中心的三维坐标系。具体地，融合管理器142可以使用由摄像机位姿估计算法提供的摄像机系统118的位姿信息将三维参考坐标系变换为以摄像机为中心的三维坐标系。
利用这种变换，三维参考坐标系的原点被移动到摄像机系统118的位置。然后融合管理器142在以摄像机为中心的三维坐标系中确定点134的以摄像机为中心的坐标。
在此之后，融合管理器142被配置为将点134的以摄像机为中心的坐标映射到图像120的图像平面中的对应像素位置以形成变换点146。以这样的方式，点云132中点的摄像机为中心的坐标被映射到位于图像120之内或位于图像120之外但在与图像120相同的图像平面中的像素位置上。变换点146可以只包括被映射到图像120内的像素位置上的那些点。
融合管理器142被配置为使用图像120和变换点146建立融合数据阵列150。融合数据阵列150包括基于图像120和点云132被融合的数据。
如图所示，融合数据阵列150可以包括元素152。每个元素152可以对应图像120中的一个像素122，而且每个像素122可以对应一个元素152。具体地，元素152可以与图像120中的像素122具有一一对应关系。以这种方式，融合数据阵列150可以与图像120中的像素阵列122具有相同的大小。
此外，因为每个变换点146对应图像120中的一个像素，所以每个变换点146还可以对应于融合数据阵列150中对应于那个像素的元素。每个变换点146可以被描述为到对应一个元素152的映射。
例如，变换点146可以映射到元素152的第一部分。该元素的第一部分称为匹配元素。然而，元素152的第二部分可以没有任何映射到这些元素的变换点。元素152的第二部分被称为非匹配元素。
在这些示例性实例中，每个元素152可以与一个数据向量相关联，如，例如，数据向量154。如图所示，数据向量154可以包括深度值156。深度值156可以是摄像机为中心的三维坐标系内对应于与数据向量154相关联的元素的变换点与摄像机系统118之间的距离。
当与数据向量154相关联的元素是非匹配元素时，深度值156可以为空（null）或零值。当与数据向量154相关联的元素是匹配元素时，深度值156可以为非空或非零值。当深度值为空或零值时，数据向量154可以被称为未填充数据向量（unfilled data vector）；而当深度值156为非空或非零值时，数据向量154可以被称为填充数据向量（filled datavector）。以这样的方式，融合数据阵列150中的非匹配元素可以与未填充数据向量相关联而融合数据阵列150中的匹配元素与填充数据向量相关联。
此外，根据实施，数据向量154还可以包括其他数据，如，例如，像素位置157、原像素数据159和/或其他类型数据。像素位置157可以是对应于与数据向量154相关联的元素的像素的像素位置。原像素数据159可以是对应于与数据向量154相关联的元素的像素在图像120中的像素数据。
在这些示例性实例中，深度值生成器144被配置为产生与融合数据阵列150中的非匹配元素相关联的至少一部分未填充数据向量的新的深度值158。以这样的方式，深度值生成器144可以确定新的深度值158，以便替换至少一部分空的深度值。然后融合管理器142可以使用新的深度值158填充未填充数据向量，从而形成修改的融合数据阵列160。
使用修改的融合数据阵列160可以生成新的深度值158。具体地，深度值生成器144可以使用选定尺寸的窗口扫描和处理融合数据阵列150。此外，估计技术，如线性估计技术，可用于产生新的深度值158。用于产生新的深度值158的过程的一种实施实例如下图2-6所述。
点云管理器145被配置为使用修改的融合数据阵列160建立新的点云162。具体地，点云管理器145可以使用具有用新的深度值158填充的数据向量的融合数据阵列150中的部分元素来确定点云132的新点164。
如其中一个示例性实例所示，点云管理器145可以将与具有用新的深度值158填充的数据向量的融合数据阵列150中的部分元素像素对应的像素的每个像素位置，映射到以摄像机为中心的三维坐标系中的摄像机为中心的坐标上。然后这些摄像机为中心的坐标可以被变换到原点云132的三维参考坐标系中以形成新点164。可以使用，例如，但不限于，逆变换算法166执行这种变换。逆变换算法166可以是融合管理器142所用的变换算法的逆。
点云管理器145将新点164加到点云132中形成新的点云162。将新点164加到点云132中的这一过程被称为回填点云132。新点云162可以具有的点的数量比点云132中的点134的数量138多。与点云132的分辨率140相比，新点164可以为新点云162提供增加的分辨率。新点164可以以期望的精度水平获取场景110中的特征。
因此，新的点云162可用来替换点云132以执行任何数量的操作。例如，但不限于，与点云132相比，新点164可以增强新点云162中的场景110的可视化。此外，与使用点云132相比，通过使用更高精度水平的新的点云162，新点164可以允许场景110中的一个或更多对象被识别和/或分类。
例如，融合管理器142使用图像120和点云132可以生成初始融合图像168。点云132中的至少一部分点可以被映射到图像120中的像素位置并重叠在图像120上从而建立初始融合图像168。融合管理器142使用图像120和新点云162可以生成最终融合图像170。新点云162中的至少一部分点可以被映射到图像120中的像素位置并重叠在图像120上从而建立最终融合图像170。
最终融合图像170中的场景110的可视化与初始融合图像168中的场景110的可视化相比可以被增强。具体地，与初始融合图像168相比，最终融合图像170中的更多点数可以增强最终融合图像170中的场景110的可视化。
图1中所示的图像处理环境示意图并不意图暗示对实施示例性实施例的方式进行物理或结构限制。可以增加其他组件或替换所示的其中一些组件。一些组件是可选的。另外，所呈现的方框是图示一些功能性组件。当在示例性实施例中实施时，这些方框的一个或更多可以组合、分离或组合和分离成不同方框。
例如，在一些示例性实例中，深度值生成器144可以被认为是融合管理器142的部分。在其他示例性实例中，融合管理器142和/或深度值生成器144可以被认为是点云管理器145的部分。
在其他示例性实例中，图像处理系统102中的某个其他模块可用于形成初始融合图像和/或最终融合图像170。仍在其他情况下，某个其他数据处理系统或处理器单元可以被配置为处理图像120和新点162以形成最终融合图像170。
现转向图2-6，其根据一个示例性实施例描述了产生与融合数据阵列中的非匹配元素相关联的未填充数据向量的新的深度值的过程的示意图。图2-6所示的过程可以是产生图1中新的深度值158的其中一种方式的实例。此外，可以使用，例如，图1中的深度值生成器144执行这一过程。
现在参考图2，其根据一个示例性实施例描述了融合数据阵列的示意图。在这个示例性实例中，融合数据阵列200可以是图1中的融合数据阵列150的其中一个实施的一个实例。
在图2中，融合数据阵列200可以是图像202和变换点206的融合。图像202可以是由如摄像机系统204生成的图像。变换点206可以包括映射到图像202中的像素位置上并由此映射到融合数据阵列200的元素的点云中的一部分点。融合数据阵列200可以由例如图1中的融合管理器142生成。
如图所示，深度值生成器144可以将窗口208沿着融合数据阵列200在箭头210和箭头212的方向移动以处理融合数据阵列200。例如，可以将窗口208移动到融合数据阵列200内每一个元素的位置上。在这个示例性实例中，窗口208可以具有一组选定尺寸的其中之一。如本文所用的，“一组”项目可以包括一个或更多项目。以这种方式，一组选定的尺寸可以包括一个或更多选定的尺寸。
使用具有一组选定尺寸中的每个尺寸的窗口可以完全扫描和处理融合数据阵列200。在这个示例性实例中，将窗口208移动到融合数据阵列200中的元素的位置上，是指将窗口208的中心设定在该元素。当窗口208中心对准的元素是非匹配元素时，窗口208重叠的该部分融合数据阵列200可以由深度值生成器144处理，从而确定与该非匹配元素相关联的未填充数据向量的新的深度值。
现在参考图3，其根据一个示例性实施例描述了被图2的窗口208重叠一部分融合数据阵列200的示意图。在这个示例性实例中，图2中的融合数据阵列200的部分300被窗口208重叠。
在图3中，匹配元素组302确定图2中的部分变换点206映射到的融合数据阵列200的部分300中的元素。融合数据阵列200的部分300中的所有其他元素（在该图中没显示）可以是变换点没有映射到的非匹配元素。如图所示，匹配元素组302包括匹配元素304，306，308，310，312，314，和316。
深度值生成器144首先确认与处于窗口208中心所在位置上的元素相关联的数据向量中的深度值是空的深度值。如果该深度值是非空深度值，深度值生成器144将窗口208移动到另一个位置。如果深度值是空的深度值，深度值生成器144继续处理融合数据阵列200的部分300。
在这个示例性实例中，所示融合数据阵列200的部分300被分成四个四分之一部分320，322，324和326。深度值生成器144被配置为确认融合数据阵列200的部分300中存在足够数量的匹配元素。此外，深度值生成器144被配置为确认四个四分之一部分320，322，324和326的每个四分之一部分中存在至少一个匹配元素。
一旦深度值生成器144确认融合数据阵列200的部分300中存在足够数量的匹配元素以及至少一个匹配元素存在于四个四分之一部分320，322，324和326的每个四分之一部分中，深度值生成器144会继续处理融合数据阵列200的部分300。当部分300中不存在足够数量的匹配元素或者四个四分之一部分320，322，324和326的其中一个没有包括一个匹配元素，深度值生成器144可以将窗口208沿着融合数据阵列200移动到下一个位置。
现在参考图4，其根据一个示例性实施例描述了生成匹配元素组的每一个匹配元素的分值的过程的示意图。在图4中，深度值生成器144被配置为生成匹配元素组302中每个匹配元素的分值。匹配元素的分值可以基于与该匹配元素相关联的填充数据向量中的深度值以及该匹配元素与匹配元素组302中的其他匹配元素的相似度。
与该匹配元素相关联的填充数据向量中的深度值，可以是摄像机系统204与被映射到匹配元素的变换点在摄像机为中心的三维坐标系中的位置之间的距离。匹配元素组302的深度值可以分别是匹配元素304，306，308，310，312，314和316与摄像机系统204之间的距离402,404,406,408,410,412和414。
该匹配元素与匹配元素组302中其他匹配元素之间的相似度可以基于任何数量的特征。这些特征可以包括，例如，但不限于，像素位置、颜色、亮度和/或数据向量内的其他类型的特征或数据。在这个示例性实例中，该匹配元素与其他匹配元素之间的相似度，可以基于与该匹配元素相关联的数据向量中确定的像素位置与理想像素位置400之间的距离。该像素位置可以与融合数据阵列200内的该匹配元素的位置相同。
现在参考图5，其根据一个示例性实例描述了支持元素的选择的示意图。在这个示例性实例中，如图4所示，所产生的匹配元素组302的分值可以被分类或排序。
在这个示例性实例中，期望数量的支持元素可以是五个支持元素。具有最低五个分值的五个匹配元素被选为支持元素500。支持元素500包括匹配元素306，308，310，312和314。
在这个示例性实例中，可以选择支持元素500以降低为图像202获取的场景中的实际洞穴和/或间隙建立的新点数量。此外，支持元素500可以被选择以使建立的新点实际表示对象的外表面。
现在参考图6，其根据一个示例性实施例描述了新的深度值的生成的示意图。在这个示例性实例中，来自图5的支持元素500可用于生成窗口208中心对准的元素600的新的深度值。元素600位于融合数据阵列200的位置602上，该位置可以是融合数据阵列200的部分300的中心位置。
元素600的新的深度值可以使用例如线性估计生成。具体地，线性估计算法可以使用与每个支持元素500相关联的填充数据向量中的深度值来估计元素600的新的深度值。该新的深度值可用于填充与元素600相关联的数据向量。
可以在融合数据阵列200中的每个位置上重复图3-6所述的过程，其中来自图2的窗口208被移动到每个位置上。此外，图2-6所述的整个过程可以通过使用不同选定尺寸的窗口被重复。
以这种方式，可以使用具有选定尺寸组的每一个尺寸的窗口扫描和处理整个融合数据阵列200。另外，使用具有选定尺寸组的窗口的过程可以迭代任何次数从而填充与融合数据阵列200中的非匹配元素相关联的至少部分未填充数据向量。
图2-6的示意图并不意图对可以实施示例性实施例的方式进行物理或结构性限制。所呈现的这些示意图意在以抽象方式描述生成新的深度值的概念。
现在参考图7，其根据一个示例性实施例描述了融合图像的示意图。融合图像700可以是图1中的融合数据阵列150的其中一个实施的一个实例。融合图像700可以是图像702和变换点704的组合。在这个示例性实例中，融合图像700中的每个像素可以与数据向量如图1中的数据向量154相关联。
现在转向图8，其根据示例性实施例描述了两幅融合图像的对照的示意图。在这个示例性实例中，初始融合图像800是图1中的初始融合图像168的其中一个实施的一个实例。此外，最终融合图像802是图1中的最终融合图像170的其中一个实施的一个实例。
如图所示，初始融合图像800是图像804和变换点806的融合。变换点806可以包括从原点云映射来的点，如，例如，图1中的点云132。最终融合图像802是相同图像804和变换点808的融合。变换点808可以包括从新的点云映射来的点，例如，但不限于，图1中的新的点云162。与初始融合图像800中的变换点806相比，最终融合图像802中的变换点808可以更好地实现图像804中获取的场景。
现在参考图9，其根据示例性实施例描述了使用支持元素时生成的最终融合图像和没有使用支持元素时生成的最终融合图像的对照的示意图。在这个示例性实例中，描述了最终融合图像900和最终融合图像902的对照。这些最终融合图像是图1中的最终融合图像170的实施的实例。
最终融合图像900是图像904和变换点906的融合。最终融合图像902是相同图像904和变换点908的融合。变换点906和变换点908可以都包括从相应的被加入新点的新的点云中映射来的点。
然而，变换点906可以包括来自没有使用支持元素生成的新的点云中的点。变换点908可以包括来自使用支持元素生成的新的点云中的点。如图所示，最终融合图像900的部分912中所描绘的建筑物的顶部表面和形状，没有最终融合图像902的部分914中所描绘的建筑物的顶部表面和形状清楚和准确。
现在参考图10，其根据一个示例性实施例描述了最终融合图像表的示意图。在图10中，表1000包括列1002、列1004、行1006和行1008。
列1002包括使用具有融合图像阵列上选定尺寸组的扫描窗口的两次迭代所生成的最终融合图像1010和最终融合图像1014。列1004包括使用具有融合数据阵列上选定尺寸组的扫描窗口的十次迭代所生成的最终融合图像1012和最终融合图像1016。
行1006包括每次迭代使用八种尺寸窗口所生成的最终融合图像1010和最终融合图像1012。此外，行1008包括每次迭代使用16种窗口尺寸所生成的最终融合图像1014和最终融合图像1016。
如图所示，最终融合图像中包含的点的数目随着迭代次数和每次迭代窗口尺寸的种类的增加而增加。随着最终融合图像中点的数目的增多，最终融合图像内的场景的可视化增强。
图7-10中的融合图像的示意图并不意图对可以实施示例性实施例的方式进行物理或结构性限制。这些融合图像是如何实施融合图像如来自图1的初始融合图像168和最终融合图像170的实例。
现在参考图11，其根据一个示例性实施例以流程图的形式描述了增加点云中的点的数目的过程的示意图。可以使用图1中的图像处理系统102实施图11中所示过程。
该过程自接收来自第一传感器系统的二维图像和来自第二传感器系统的点云开始（操作1100）。在操作1100中，可以接收来自摄像机系统的形式的第一传感器系统的二维图像，例如图1中的摄像机系统118。在这个示例性实例中，该二维图像可以是彩色图像。此外，可以接收来自光探测和测距系统的形式的第二传感器系统的点云，例如图1中的光探测和测距系统130。
二维图像和点云可以是同一场景的。然而，根据该实施，二维图像和点云可以从相同或不同角度捕获相同场景。
接着，点云中的至少一部分点被映射到二维图像以形成变换点（操作1102）。接着，使用该二维图像和变换点建立融合数据阵列（操作1104）。
在此之后，使用融合数据阵列确定点云的新点（操作1106）。该新点被加到点云中以形成新点云（操作1108），之后该过程结束。与原点云相比，新点云中增加的点的数量可以提供与原点云相比具有增加的分辨率的新的点云。
换句话说，新的点云可以获取的场景中的特征比原点云精确。新点云可用于执行若干不同的操作如，例如，但不限于，对象识别、对象分类、分割、场景可视化和/或其他类型的操作。
现在参考图12，其根据一个示例性实施例以流程图的形式描述了将点云中的点映射到二维图像以形成变换点的过程的示意图。图12中所示的过程可用于实施例图11中的操作1102。此外，可以使用图1中的图像处理系统102中的融合管理器142执行该过程。
该过程自将点云的三维参考坐标系变换为摄像机为中心的三维坐标系以确定点云中的点的摄像机为中心的坐标开始（操作1200）。该三维参考坐标系可以是，例如，地理坐标系或其他类型的真实世界坐标系。以摄像机为中的三维坐标系的原点是产生二维图像的摄像机系统的位置。
例如，对于三维参考坐标系中给定位置Xp，Yp，Zp的每个点，摄像机为中心的坐标可确定为：
其中Xp，Yp，Zp是点在三维参考坐标系中的坐标；XC，YC，ZC是点在摄像机为中心的三维坐标系中的摄像机为中心的坐标；R是旋度；T是平移量。
可以使用包括摄像机位姿估计算法，如有效n点透视摄像机位姿估计算法的变换算法，确定旋度R和平移量T。这种有效n点透视摄像机位姿估计算法确定产生二维图像的摄像机系统的位姿的位姿信息。摄像机系统的位姿可以由摄像机系统的方向和位置的至少其中之一组成。该变换算法使用摄像机系统的位姿信息生成点的摄像机为中心的坐标。
接着，具有摄像机为中心的坐标的点被映射到二维图像的图像平面中的像素位置以形成初始变换点（操作1202）。每个初始变换点可以是对应于二维图像的图像平面内具体像素位置上的像素的点。例如，每个点可以被映射到像素位置u，v，如下式所示：
u=XC/YC
v=YC/ZC
其中u是像素位置的行，而v是像素位置的列。
在此之后，根据选定标准选择一部分初始变换点以形成变换点（操作1204），之后该过程结束。在操作1204中，所选的该部分初始变换点包括具有行u和列v的点，其中u大于零并且小于或等于二维图像中的最大行数，而v大于零并且小于或等于二维图像中的最大列数。以这种方式，变换点仅包括二维图像内侧的像素位置而不是二维图像外侧的位置。
现在参考图13，其根据示例性实施例以流程图的形式描述了建立融合数据阵列的过程的示意图。图13所示的过程可用于实施图11中的操作1104。
该过程自确定每个变换点的距离（操作1300）开始。这一距离可以是变换点与摄像机系统的摄像机为中心的坐标之间的距离。该距离可以确定为：
其中dC是距离。
在此之后，确定是否任何多于一个变换点已经被映射到相同像素位置（操作1302）。如果任何多于一个变换点被映射到相同像素位置，则对于多个变换点被映射到每个像素位置，最接近摄像机系统的变换点被保持而其他变换点被舍弃（操作1304）。
接着，该过程归一化每一个剩下的变换点的深度值以形成归一化深度值（操作1306）。例如，对于每个剩下的变换点i，归一化距离可以确定为：
其中是变换点的归一化距离；是在操作1300中确定的变换点的距离；是预定最小距离；而预定最大距离。可以使用如计算机系统自动计算预定最小距离和预定最大距离。
在此之后，融合数据阵列被建立，其中融合数据阵列的每个元素与包括像素位置、深度值和原像素数据的数据向量相关联（操作1308）。融合数量阵列中的元素和二维图像中的像素具有一一对应关系。与融合数据阵列中的元素相关联的数据向量中的像素位置可以包括对应该元素的像素的行和列。与该元素相关联的数据向量中的深度值可以是被映射到对应该元素的像素的变换点的确定的归一化距离。如果没有变换点被映射到对应该元素的像素，则深度值可以是空。与该元素相关联的数据向量中的原像素数据可以包括，例如，对应该元素的像素的红色值、绿色值和蓝色值。
以这种方式，与融合数据阵列中的元素相关联的数据向量可以被表示为：
其中qi是与融合数据阵列中第i个元素相关联的数据向量；ui是对应于第i个（ith）元素的像素的行；vi是对应ith元素的像素的列；是被映射到对应于ith元素的像素的变换点的深度值；ri，gi和bi分别是对应于ith元素的像素的红色值、绿色植和蓝色值。当变换点没有被映射到对应于融合数据阵列中的元素的像素时，与该元素相关联的数据向量可以表示为：
qi={ui,vi,0,ri,gi,bi}
接着，融合数据阵列中的每个元素都被编索引以使每个元素都能够被唯一地引用（操作1310），之后，该过程结束。例如，每个元素可以被编索引为：
l=ui+vi·CI
其中l是元素的索引，而CI是二维图像中的列数。
对应于变换点被映射的像素的融合数据阵列中的元素是匹配元素。对应于没有变换点被映射到的像素的融合数据阵列中的元素是非匹配元素。
现在再次参考操作1302，如果没有变换点被映射到相同像素位置，该过程将进行到上述的操作1306。以这种方式，图13中所述的过程可用于建立融合数据阵列，如图1中的融合数据阵列150。
现在参考图14，其根据一个示例性实施例以流程图的形式描述了生成新的深度值的过程的示意图。图14中所示过程可用于实施图11中的操作1106。
该过程自确定处理融合数据阵列的最大迭代次数（操作1400）开始。接着，确定被用于处理融合数据阵列的窗口的选定尺寸组（操作1402）。在此之后，从选定尺寸组中选择窗口的尺寸（操作1404）。选定尺寸组中的每个尺寸可以是n*n的尺寸。以这种方式，每个窗口可以具有的长度和宽度都相等。在这个示例性实例中，每个n可以是奇数。
将窗口移动到融合数据阵列中的元素的位置（操作1406）。
确定元素是匹配元素还是非匹配元素（操作1408）。匹配元素具有的数据向量具有非空深度值。非匹配元素具有的数据向量具有空的深度值。如果元素是匹配元素，则确定融合数据阵列中是否存在任何未处理的位置（操作1410）。
如果任何未处理的位置存在于融合数据阵列中，该过程返回到上述操作1406。否则，确定窗口的选定尺寸组中是否仍然存在任何尺寸（操作1412）。如果窗口的选定尺寸组中仍然存在任何尺寸，该过程返回上述操作1404。否则，现在认为完成一次迭代并确定是否达到最大迭代次数（操作1414）。如果没有达到最大迭代次数，该过程返回上述操作1402。否则，该过程使用为融合数据阵列中至少一部分非匹配元素生成的新的深度值为点云建立新点（操作1416），在此之后，该过程结束。
再次参考操作1408，如果元素是非匹配元素，确定被窗口重叠的那部分融合数据阵列中的匹配元素是否满足选定标准（操作1418）。如果匹配元素的数量大于选定阈值并且如果至少一个匹配元素存在于窗口重叠的那部分融合数据阵列中的每一个四分之一部分，则被窗口重叠的那部分融合数据阵列中的匹配元素满足选定标准。
如果匹配元素不满足选定标准，则该过程进行上述操作1410。否则，生成窗口重叠的那部分融合数据阵列中的每个匹配元素的分值（操作1420）。例如，该分值可以是匹配元素的优良度分值（goodness score）。优良度分值可以基于被映射到对应于来自摄像机系统的元素的像素的变换点的距离以及匹配元素与其他匹配元素的非相似度的组合。
当窗口重叠的那部分融合数据阵列中有n个匹配元素时，优良度分值可以生成为：
其中Gi是第i个匹配元素的优良度分值；Mi是第i个匹配元素的非相似性分值；△i是第i个匹配元素的测量距离；j是n个匹配元素的索引；F是特征的响应；m是特征数量；是与第i个匹配元素相关联的数据向量中的深度值；r是归一化常数。如果特征响应和深度值被归一化为0到1之间，则归一化常数r可以被设为
在这个示例性实例中，特征可以是，例如，像素位置、亮度、颜色或一些其他类型的特征。特征响应可以是特征的值。
接着，将具有预选数量的最低分值的匹配元素选为支持元素（操作1422）。例如，预选数量可以是期望的支持元素数量。这个预选数量可以是四、五、八、十或某个其他数。在操作1422中，对操作1420中生成的分值进行排序。如果选定量是五，则具有五个最低分值的匹配元素被选为支持元素。
然后确定是否每个四分之一部分中都存在一个支持元素（操作1424）。如果支持元素没有存在于每个四分之一部分中，则该过程进行上述操作1410。否则，使用线性估计算法和支持元素，为窗口中心对准的元素生成新的深度值（操作1426）。
在操作1426中，使用线性系统可以确定新的深度值，例如：
其中是新的深度值，w0，w1和w2是权值。当然，任何类型的多项式逼近算法都可用于使用支持元素的深度值求解新的深度值。
在此之后，确定新的深度值是否在选定范围内（操作1428）。如果则新的深度值在预选范围内，其中
是自摄像机系统到被映射到对应于支持元素的像素的变换点的最短距离；wx是窗口的宽度；而α是不变的视角调整权值。
如果新的深度值不在选定范围内，该过程进行上述操作1410。以这种方式，新的深度值不会加到对应于窗口中心对准的元素的数据向量。相反，这个数据向量中的深度值保持为空。然而，如果新的深度值在选定范围内，将新的深度值加到与窗口中心对准的元素相关联的数据向量中（操作1430）。然后该过程进入上述操作1410。
现在参考图15，其根据一个示例性实例以流程图形式描述了生成点云的新点的过程。图15中所示过程可用于实施图14中的操作1416。
该过程自反归一化（denormalize）为融合数据阵列中至少部分非匹配元素生成的新的深度值（操作1500）开始。这些新的深度值的每一个被用于建立点云的新点。新的深度值可以被反归一化为：
其中是反归一化深度值（denormalized depth value）。
使用反归一化深度值和为之产生新的深度值的数据向量中的像素位置，为点云的新点生成以摄像机为中心的坐标（操作1502）。摄像机为中心的坐标生成为：
在此之后，使用摄像机为中心的坐标确定原点云的三维参考坐标系中的新点的点位置（操作1504），在此之后，该过程结束。使用操作1200中所用的变换算法的逆，确定在三维参考坐标系中的点位置。例如，点的位置可以被确定为：
其中Xp，Yp，Zp是被加到三维参考坐标系中的点云中的新点的坐标，而XC，YC，ZC是新点在摄像机为中心的三维坐标系中的摄像机为中心的坐标。
不同描述的实施例中的流程图图示了示例性实施例中所述系统和方法的一些可能实施的结构、功能和操作。就这一点而言，流程图中每一块可以表示一个模块、一个片段、一种功能和或一部分操作或步骤。例如，可以使用软件、硬件或两者的组合实施一个或更多块。硬件可以是，例如，采用被制造或配置为执行流程图中的一个或更多操作的集成电路的形式。
在一个示例性实施例的一些替代实施中，块中所提到的一个或多个功能可以不按照图中所提到的顺序出现。例如，在一些情形中，依次显示的两个块可以根据具体实施被基本同时执行或以相反的顺序执行。另外，可以将其他块加到流程图中所图示的块中。
现在参考图16，其根据示例性实施例以方框图的形式描述了数据处理系统。数据处理系统1600可用于实施图1中的计算机系统中的一个或更多计算机。进一步，可以使用数据处理系统实施图1中的融合管理器142、深度值生成器144和/或点云管理器145。再进一步，与数据处理系统1600相似的数据处理系统可以在图1中的第一传感器系统106和/或第二传感器系统108内实施。
如图所示，数据处理系统1600包括通信架构1602，其提供处理器单元1604、存储装置1606、通信单元1608、输入/输出单元1610和显示器之间的通信。在一些情形中，通信架构1602可以被实施为总线系统。
处理器单元1604被配置为执行软件的指令从而执行若干操作。处理器单元1604根据实施可以包括若干处理器、多核处理器和/或一些其他类型的处理器。在一些情形中，处理器单元1604可以采用硬件单元的形式，例如，电路系统、专用集成电路（ASIC）、可编程逻辑器件或一些其他合适类型的硬件单元。
处理器单元1604运行的操作系统的指令、应用程序和/或程序可位于存储装置1606中。存储装置1606可以通过通信架构1602与处理器单元1604通信。如本文所用的，存储装置也被称为计算机可读存储装置，是任何能够将信息暂存和/或永久性存储的任何一件硬件。该信息可以包括，但不限于，数据、程序代码和/或其他信息。
存储器1614和持久存储器1616是存储装置1606的实例。存储器1614可以采用，例如随机存取存储器或一些易失性或非易失性存储装置的形式。持久存储器1616可以包括任何数量的组件和装置。例如，持久存储器1616可以包括硬件设备、闪存、可重写光盘、可重写磁带或上述其他组合。持久存储器1616使用的媒介可以是或可以不是可拆卸的。
通信单元1608允许数据处理系统1600与其他数据处理系统和/或设备通信。通信单元1608可以使用物理和/或无线通信链路提供通信。
输入/输出单元1610允许从与数据处理系统1600相连的其他设备处接收输入和发送输出。例如，输入/输出单元1610可以允许用户通过键盘、鼠标和/或一些其他类型输入设备接收输入。作为另一个例子，输入/输出单元1610可以允许发送输出至与数据处理系统1600相连的打印机。
显示器1612被配置为向用户显示信息。显示器1612可以包括，例如，但不限于，监视器、触摸屏、激光显示器、全息显示器、虚拟显示设备和/或一些其他类型显示设备。
在这个示例性实例中，通过处理器单元1604使用计算机实施指令可以执行不同示例性实施例的过程。这些指令可以被称为程序代码、计算机可用程序指令或计算机可读程序代码，而且处理器单元1604中的一个或更多处理器可以读取和执行。
在这些实例中，程序代码1618以功能性形式位于计算机可读介质1620中，而且可以被加载到或被传输到数据处理系统1600以被处理器单元执行，其中计算机可读介质1620可以被选择性拆卸。程序代码1618和计算机可读介质1620共同形成计算机程序产品1622。在这个示例性实例中，计算机可读介质1620可以是计算机可读存储介质1624或计算机可读信号介质1626。
计算机可读存储介质1624是用于存储程序代码1618的物理的或有形存储设备而不是传播或传输程序代码1618的媒介。计算机可读存储设备1624可以是，例如，但不限于，与数据处理系统相连的光或磁盘或持续存储设备。
可替换地，使用计算机可读信号介质可以将程序代码1618传输到数据处理系统1600中。计算机可读信号介质1626可以是，例如，包含程序代码1618的传播的数据信号。该数据信号可以是电磁信号、光信号和/或一些其他能够通过物理和/或无线通信链路传输的信号。
图16所示的数据处理系统1600并不意图提供可以实施这些示例性实施例的方式的结构限制。可以实施不同示例性实施例的数据处理系统包括附加组件或替代数据处理系统1600所示的那些组件的组件。此外，图16中所示组件可以与所示实例中的不同。
使用任何硬件设备或能够运行程序代码的系统可以实施示例性实施例。作为其中一个实施例实例，数据处理系统可以包括无机组件集成的有机组件和/或可以主要由除人之外的有机组件组成。例如，存储设备可以包括有机半导体。
因此，这些示例性实施例提供了增加点云中点的数量的系统和方法。在其中一个示例性实施例中，相同场景的二维图像和点云被接收。点云中至少部分点被映射到二维图像以形成变换点。使用二维图像和变换点建立融合数据阵列。使用融合数据阵列确定点云的新点。将新点加到点云中形成新的点云。
与原点云相比，使用这些示例性实施例所描述的图像处理系统形成的新的点云允许较高精确水平和/或较高效率地执行若干操作。例如，与原点云相比，使用新点云可以更精确地执行对象识别、对象分类、分割和/或其他图像处理操作。
此外，与原点云相比，新点云中增加的新点数量可以提供更好的场景可视化。另外，与原点云相比，新点云可用于更好地增强二维图像。
不同示例性实施例描述的图像处理系统允许具有数量增加的点的该新点云被形成而不对场景中对象的类型、场景中对象的形状和/或场景背景做任何假设。与对场景进行假设的过程来增加点云中的点的数量相比，这些示例性实施例以这种方式提供的过程可以形成更加精确表示场景的新的点云。
不同示例性实施例的描述旨在说明和描述，并不意图将实施例穷尽或限制在所公开的形式中。对于本领域的技术人员而言，许多改变和变化是显而易见的。此外，不同示例性实施例可以提供与其他示例性实施例相比具有不同的特征。所选实施例被选择和描述以最好地解释实施例的原理、实际应用并使其他本领域的普通技术人员能够理解本发明适于具体应用的各种实施例的各种修改。

Claims (11)

1.一种用于提高点云中的场景中的对象的分辨率和准确度的装置，其包括：
图像处理系统(102)，其被配置为将所述场景(110)的所述点云(132)中一部分点(134)映射为所述场景(110)的二维图像(121)，其中所述图像处理系统(102)进一步包括深度值生成器(144)，其被配置为通过使用支持元素(500)和线性估计算法，确定新的深度值(158)以替换至少一部分空的深度值，其中所述支持元素(500)通过以优良度分值来排序匹配元素(304、306、308、310、312、314、316)被确定，其中所述优良度分值是基于被映射到对应于所述匹配元素的像素(122)的变换点(146)的距离与所述匹配元素与其他匹配元素(304、306、308、310、312、314、316)的非相似度的组合以及和所述匹配元素关联的数据向量中的深度值计算的，其中所述优良度分值随着所述非相似度的增大而增大，所述优良度分值被用于选择具有预选数量的最低分值的匹配元素作为支持元素(500)，其中所述优良度分值是基于以下关系生成的：
其中，
其中Gi是第i个匹配元素的优良度分值；
Mi是第i个匹配元素的非相似性分值；
△i是第i个匹配元素的测量距离；
j是n个匹配元素的索引；
F是特征的响应；
m是特征数量；
是与第i个匹配元素相关联的数据向量中的深度值；以及
r是归一化常数；
其中所述图像处理系统(102)进一步包括点云管理器(145)，其被配置为使用基于所述优良度分值选择的所述支持元素以使用所述新的深度值(158)为所述点云(132)确定新点(164)，其中所述点云管理器(145)被进一步配置为将所述新点(164)加到所述点云(132)以形成新的点云(162)，其中所述新的点云具有大于第一分辨率的第二分辨率，以及
其中所述图像处理系统(102)被配置为使用摄像机系统的位姿信息将所述点云(132)中的所述一部分点映射到所述二维图像(121)，并且利用所述新的点云确定所述场景中的所述对象。
2.根据权利要求1所述的装置，其中所述图像处理系统(102)包括：
融合管理器(142)，其被配置为将所述点云(132)中的所述至少部分点映射到所述二维图像(121)以形成所述变换点(146)，并被配置为使用所述二维图像(121)和所述变换点(146)建立融合数据阵列(150)。
3.根据权利要求2所述的装置，其中所述融合数据阵列(150)包括与包含非空深度值的填充数据向量(154)相关联的匹配元素(304，306，308，310，312，314，316)和与包含空的深度值的未填充数据向量(154)相关联的非匹配元素。
4.根据权利要求2所述的装置，其中所述融合数据阵列(150)由元素(152)组成，其中所述元素(152)的每一个与包含像素位置(157)、深度值和原像素数据(159)的至少其中之一的数据向量(154)相关联。
5.根据权利要求1所述的装置，其进一步包括：
第一传感器系统，其被配置为生成所述二维图像(121)；和
第二传感器系统，其被配置为生成所述点云(132)。
6.根据权利要求5所述的装置，其中所述第一传感器系统是摄像机系统，并且其中所述第二传感器系统是光探测和测距系统。
7.一种图像处理系统(102)，其包括：
融合管理器(142)，其被配置为将场景(110)的点云(132)中的至少一部分点(134)映射到所述场景(110)的二维图像(121)以形成变换点(146)，并被配置为使用所述二维图像(121)和所述变换点(146)建立融合数据阵列(150)，
其中所述融合数据阵列(150)包括与包含非空深度值的填充数据向量(154)相关联的匹配元素(304，306，308，310，312，314，316)和与包含空的深度值的未填充数据向量(154)相关联的非匹配元素；
深度值生成器(144)，其被配置为通过使用支持元素(500)和线性估计算法，确定新的深度值(158)以替换至少部分所述空的深度值，其中所述支持元素(500)通过以优良度分值来排序匹配元素(304、306、308、310、312、314、316)被确定，其中所述优良度分值是基于被映射到对应于所述匹配元素的像素(122)的变换点(146)的距离与所述匹配元素与其他匹配元素(304、306、308、310、312、314、316)的非相似度的组合以及和所述匹配元素关联的数据向量中的深度值计算的，其中所述优良度分值随着所述非相似度的增大而增大，所述优良度分值被用于选择具有预选数量的最低分值的匹配元素作为支持元素(500)，其中所述优良度分值是基于以下关系生成的：
其中，
其中Gi是第i个匹配元素的优良度分值；
Mi是第i个匹配元素的非相似性分值；
△i是第i个匹配元素的测量距离；
j是n个匹配元素的索引；
F是特征的响应；
m是特征数量；
是与第i个匹配元素相关联的数据向量中的深度值；以及
r是归一化常数；和
点云管理器(145)，其被配置为使用基于所述优良度分值选择的所述支持元素以使用所述新的深度值(158)为所述点云(132)确定新点(164)并将所述新点(164)加到所述点云(132)以形成新的点云(162)；
其中所述新的点云具有大于第一分辨率的第二分辨率，并且
其中所述图像处理系统(102)被配置为使用摄像机系统的位姿信息将所述点云(132)中的所述一部分点映射到所述二维图像(121)，并且利用所述新的点云确定所述场景中的对象。
8.一种用于向点云(132)中增加多个点的计算机实施方法，所述计算机实施方法包括：
接收具有对象的场景(110)的二维图像(121)和所述场景(110)的所述点云(132)，所述点云具有第一分辨率；
将所述点云(132)中的至少部分点映射到所述二维图像(121)以形成变换点(146)；
使用所述二维图像(121)和所述变换点(146)建立融合数据阵列(150)，其中每个变换点对应所述图像中的像素以及所述融合数据阵列中多个匹配元素中的匹配元素；
基于为所述匹配元素生成的优良度分值确定一部分所述融合数据阵列中的多个支持元素；其中所述支持元素(500)通过以所述优良度分值来排序匹配元素(304、306、308、310、312、314、316)被确定，其中所述优良度分值是基于被映射到对应于所述匹配元素的像素(122)的变换点(146)的距离与所述匹配元素与其他匹配元素(304、306、308、310、312、314、316)的非相似度的组合以及和所述匹配元素关联的数据向量中的深度值计算的，其中所述优良度分值随着所述非相似度的增大而增大，所述优良度分值被用于选择具有预选数量的最低分值的匹配元素作为支持元素(500)，其中所述优良度分值是基于以下关系生成的：
其中，
其中Gi是第i个匹配元素的优良度分值；
Mi是第i个匹配元素的非相似性分值；
△i是第i个匹配元素的测量距离；
j是n个匹配元素的索引；
F是特征的响应；
m是特征数量；
是与第i个匹配元素相关联的数据向量中的深度值；以及
r是归一化常数；
使用基于所述优良度分值选择的所述支持元素来使用所述融合数据阵列(150)为所述点云(132)确定新点(164)；
将所述新点(164)加到所述点云(132)中以形成新的点云(162)，其中所述新的点云具有大于所述第一分辨率的第二分辨率，以及
利用所述新的点云确定所述场景中的对象。
9.根据权利要求8所述的计算机实施方法，其中将所述点云(132)中的所述至少一部分点映射到所述二维图像(121)以形成所述变换点(146)包括：
确定摄像机系统的位姿信息；
使用所述位姿信息将所述点云(132)的三维参考坐标系变换为以摄像机为中心的三维坐标系，以确定所述点云(132)中的所述点的以摄像机为中心的坐标；以及
将具有以摄像机为中心的坐标的所述点云(132)中的所述至少一部分点映射到所述二维图像(121)中的像素位置(124)。
10.根据权利要求8所述的计算机实施方法，其中使用所述二维图像(121)和所述变换点(146)建立所述融合数据阵列(150)包括：
形成所述融合数据阵列(150)，其中所述融合数据阵列(150)由与所述二维图像(121)中的像素具有一一对应关系的元素(152)组成；以及
将数据向量(154)与所述融合数据阵列(150)中的所述元素(152)相关联，其中所述数据向量(154)包括包含非空深度值的填充数据向量(154)和包含空的深度值的未填充数据向量(154)。
11.根据权利要求10所述的计算机实施方法，其中使用所述融合数据阵列(150)为所述点云(132)确定所述新点(164)包括：
生成新的深度值(158)以替换至少部分所述空的深度值；以及
使用所述新的深度值(158)为所述点云(132)确定所述新点(164)。
CN201310556662.2A 2012-11-09 2013-11-11 在点云中回填点 Active CN103810744B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/673,429 US9811880B2 (en) 2012-11-09 2012-11-09 Backfilling points in a point cloud
US13/673,429 2012-11-09

Publications (2)

Publication Number Publication Date
CN103810744A CN103810744A (zh) 2014-05-21
CN103810744B true CN103810744B (zh) 2018-09-21

Family

ID=49554009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310556662.2A Active CN103810744B (zh) 2012-11-09 2013-11-11 在点云中回填点

Country Status (8)

Country Link
US (1) US9811880B2 (zh)
EP (1) EP2731075B1 (zh)
JP (1) JP5778237B2 (zh)
KR (1) KR102096673B1 (zh)
CN (1) CN103810744B (zh)
AU (1) AU2013227985B2 (zh)
BR (1) BR102013028714B1 (zh)
CA (1) CA2826534C (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140363073A1 (en) * 2013-06-11 2014-12-11 Microsoft Corporation High-performance plane detection with depth camera data
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
CN105469447A (zh) * 2014-09-11 2016-04-06 富泰华工业（深圳）有限公司 点云边界直角边修补系统及方法
US10032311B1 (en) * 2014-09-29 2018-07-24 Rockwell Collins, Inc. Synthetic image enhancing system, device, and method
US9772405B2 (en) 2014-10-06 2017-09-26 The Boeing Company Backfilling clouds of 3D coordinates
FR3028988B1 (fr) * 2014-11-20 2018-01-19 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede et dispositif de filtrage adaptatif temps reel d'images de disparite ou de profondeur bruitees
CN105701861A (zh) * 2014-11-28 2016-06-22 富泰华工业（深圳）有限公司 点云采样方法及系统
CN104484895B (zh) * 2014-12-24 2018-11-20 天脉聚源（北京）科技有限公司 一种数据显示方法及装置
CN114119751A (zh) 2015-11-20 2022-03-01 奇跃公司 用于大规模确定rgbd相机姿势的方法和系统
CN105427239B (zh) * 2015-12-05 2018-05-22 刘忠艳 一种二维点云匹配方法
US9972067B2 (en) 2016-10-11 2018-05-15 The Boeing Company System and method for upsampling of sparse point cloud for 3D registration
US10176589B2 (en) 2017-01-31 2019-01-08 Mitsubishi Electric Research Labroatories, Inc. Method and system for completing point clouds using planar segments
US10444506B2 (en) * 2017-04-03 2019-10-15 Microsoft Technology Licensing, Llc Mixed reality measurement with peripheral tool
EP3467782A1 (en) * 2017-10-06 2019-04-10 Thomson Licensing Method and device for generating points of a 3d scene
US10535138B2 (en) 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
US10816334B2 (en) 2017-12-04 2020-10-27 Microsoft Technology Licensing, Llc Augmented reality measurement and schematic system including tool having relatively movable fiducial markers
CN109978984A (zh) * 2017-12-27 2019-07-05 Tcl集团股份有限公司 人脸三维重建方法及终端设备
CN111937402A (zh) * 2018-04-11 2020-11-13 索尼公司 图像处理装置和方法
KR102080997B1 (ko) * 2018-08-06 2020-02-24 현대건설주식회사 360카메라를 활용한 자동 실내진도점검시스템 및 점검방법
EP3623752A1 (de) * 2018-09-17 2020-03-18 Riegl Laser Measurement Systems GmbH Verfahren zum generieren einer orthogonalansicht eines objekts
US10614579B1 (en) 2018-10-10 2020-04-07 The Boeing Company Three dimensional model generation using heterogeneous 2D and 3D sensor fusion
KR102640235B1 (ko) * 2019-01-11 2024-02-23 삼성전자주식회사 3차원 데이터 부호화 방법 및 장치 및 3차원 데이터 복호화 방법 및 장치
US10346998B1 (en) * 2019-02-25 2019-07-09 Nurulize, Inc. Method of merging point clouds that identifies and retains preferred points
KR102343123B1 (ko) * 2019-10-04 2021-12-27 현대건설 주식회사 건설현장용 사진기반 데이터 추적관리 시스템 및 추적관리방법
DE102019134324A1 (de) * 2019-12-13 2021-06-17 Connaught Electronics Ltd. Ein Verfahren zum Messen der Topografie einer Umgebung
CN111161338B (zh) * 2019-12-26 2022-05-17 浙江大学 一种基于二维图像灰度进行深度预测的点云密度提升方法
CN111223145A (zh) * 2020-01-03 2020-06-02 上海有个机器人有限公司 数据处理方法、系统、服务装置及其存储介质
CN111260781B (zh) * 2020-01-15 2024-04-19 北京云迹科技股份有限公司 一种生成图像信息的方法、装置和电子设备
CN113362236B (zh) * 2020-03-05 2024-03-05 北京京东乾石科技有限公司 点云增强方法、点云增强装置、存储介质与电子设备
CN111815707A (zh) * 2020-07-03 2020-10-23 北京爱笔科技有限公司 点云确定方法、点云筛选方法、装置、计算机设备
CN111950658B (zh) * 2020-08-28 2024-02-09 南京大学 一种基于深度学习的LiDAR点云与光学影像先验级耦合分类方法
CN113344789B (zh) * 2021-06-29 2023-03-21 Oppo广东移动通信有限公司 图像拼接方法及装置、电子设备、计算机可读存储介质
CN113409227B (zh) * 2021-08-19 2021-11-30 深圳市信润富联数字科技有限公司 点云图修补方法、装置、电子设备和存储介质
CN114004871B (zh) * 2022-01-04 2022-04-15 山东大学 一种基于点云补全的点云配准方法及系统
CN115760855B (zh) * 2023-01-09 2023-05-23 中建科技集团有限公司 工件检查方法及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101377404A (zh) * 2008-07-11 2009-03-04 北京航空航天大学 一种基于角度约束的空间圆姿态识别二义性消除方法
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
CN102447911A (zh) * 2010-10-01 2012-05-09 魏载荣 图像获取单元、其方法以及相关控制单元

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7187809B2 (en) * 2004-06-10 2007-03-06 Sarnoff Corporation Method and apparatus for aligning video to three-dimensional point clouds
US7363157B1 (en) 2005-02-10 2008-04-22 Sarnoff Corporation Method and apparatus for performing wide area terrain mapping
US7586489B2 (en) 2005-08-01 2009-09-08 Nvidia Corporation Method of generating surface defined by boundary of three-dimensional point cloud
US7912257B2 (en) 2006-01-20 2011-03-22 3M Innovative Properties Company Real time display of acquired 3D dental data
US20080112610A1 (en) 2006-11-14 2008-05-15 S2, Inc. System and method for 3d model generation
US8588547B2 (en) * 2008-08-05 2013-11-19 Pictometry International Corp. Cut-line steering methods for forming a mosaic image of a geographical area
US9582889B2 (en) * 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US8885890B2 (en) * 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
EP2686827A1 (en) 2011-03-18 2014-01-22 C3 Technologies AB 3d streets
US8629901B2 (en) * 2011-05-19 2014-01-14 National Taiwan University System and method of revising depth of a 3D image pair
US9111444B2 (en) * 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101377404A (zh) * 2008-07-11 2009-03-04 北京航空航天大学 一种基于角度约束的空间圆姿态识别二义性消除方法
CN102447911A (zh) * 2010-10-01 2012-05-09 魏载荣 图像获取单元、其方法以及相关控制单元
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法

Also Published As

Publication number Publication date
CA2826534C (en) 2017-06-13
CN103810744A (zh) 2014-05-21
US9811880B2 (en) 2017-11-07
JP5778237B2 (ja) 2015-09-16
US20140132733A1 (en) 2014-05-15
KR102096673B1 (ko) 2020-04-03
EP2731075B1 (en) 2018-06-20
BR102013028714A2 (pt) 2014-10-07
JP2014096152A (ja) 2014-05-22
AU2013227985A1 (en) 2014-05-29
EP2731075A1 (en) 2014-05-14
BR102013028714B1 (pt) 2022-02-01
KR20140060454A (ko) 2014-05-20
CA2826534A1 (en) 2014-05-09
AU2013227985B2 (en) 2019-01-24

Similar Documents

Publication Publication Date Title
CN103810744B (zh) 在点云中回填点
CN108509848B (zh) 三维物体的实时检测方法及系统
Guillou et al. Using vanishing points for camera calibration and coarse 3D reconstruction from a single image
KR101319805B1 (ko) 큰 물체의 사진촬영
Mastin et al. Automatic registration of LIDAR and optical images of urban scenes
Yang et al. Image-based 3D scene reconstruction and exploration in augmented reality
EP3242275B1 (en) Using photo collections for three dimensional modeling
US5990900A (en) Two-dimensional to three-dimensional image converting system
JP5093053B2 (ja) 電子カメラ
CN110728671B (zh) 基于视觉的无纹理场景的稠密重建方法
CN109887003A (zh) 一种用于进行三维跟踪初始化的方法与设备
CN110246221A (zh) 真正射影像获得方法及装置
CN108230247A (zh) 基于云端的三维地图的生成方法、装置、设备及应用程序
WO2015051624A1 (zh) 一种三维物体重建的方法、装置和终端
CN106683163A (zh) 一种视频监控的成像方法及系统
Lee et al. Interactive 3D building modeling using a hierarchical representation
CN115409957A (zh) 基于虚幻引擎的地图构建方法、电子设备和存储介质
JP2004220312A (ja) 多視点カメラシステム
Bajramovic et al. Global Uncertainty-based Selection of Relative Poses for Multi Camera Calibration.
JP2000329552A (ja) ３次元地図作成方法
Skuratovskyi et al. Outdoor mapping framework: from images to 3d model
Wang et al. What can we learn about the scene structure from three orthogonal vanishing points in images
CN113888705A (zh) 目标场景仿真模型构建方法、数据集生成方法及电子设备
Lai et al. Projective reconstruction of building shape from silhouette images acquired from uncalibrated cameras
Xu et al. A LiDAR data-based camera self-calibration method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant