CN111369612A - 一种三维点云图像生成方法及设备 - Google Patents

一种三维点云图像生成方法及设备 Download PDF

Info

Publication number
CN111369612A
CN111369612A CN201811595283.3A CN201811595283A CN111369612A CN 111369612 A CN111369612 A CN 111369612A CN 201811595283 A CN201811595283 A CN 201811595283A CN 111369612 A CN111369612 A CN 111369612A
Authority
CN
China
Prior art keywords
point
depth
pixel
far
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811595283.3A
Other languages
English (en)
Other versions
CN111369612B (zh
Inventor
仝丽君
胡孟宇
韩松杉
郭若楠
张弥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sineva Technology Co ltd
Original Assignee
Beijing Sineva Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sineva Technology Co ltd filed Critical Beijing Sineva Technology Co ltd
Priority to CN201811595283.3A priority Critical patent/CN111369612B/zh
Publication of CN111369612A publication Critical patent/CN111369612A/zh
Application granted granted Critical
Publication of CN111369612B publication Critical patent/CN111369612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种三维点云图像生成方法及设备，利用区分远近点的方式对图像深度进行优化，提高图像深度的精确性，根据优化后的图像深度以及对应的二维图像生成三维点云图像，从而提高生成的三维点云图像的精确度。该方法包括：获取相机拍摄的二维图像中各像素点的像素深度；根据预设的远点像素点对应的深度及近点像素点对应的深度，筛选出所述二维图像中远点像素点及近点像素点；利用第一高斯混合模型对远点像素点的像素深度进行优化，利用第二高斯混合模型对近点像素点的像素深度进行优化；利用优化后的远点像素点及像素深度、近点像素点及像素深度生成三维点云图像。

Description

一种三维点云图像生成方法及设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种三维点云图像生成方法及设备。
背景技术
现有技术中，有摄像功能的导航系统基于自动化生成地图系统能够实时的获取当前所在环境的地图，具体为利用相机获取二维图像，并且确定所述二维图像的图像深度，其中，图像深度表示从拍摄图像场景的相机到所述图像场景中各点的距离。将相机获取的二维图像传送到计算机，通过计算机对二维图像进行处理来获取拍二维图像的图像深度，由于所述二维图像的图像深度，能够反映拍摄该图像的相机与实际图像场景中各点的距离，因此根据所述二维图像和所述二维图像深度建立3D图像模型。
现有技术中可以利用双目相机或者三色深度RGBD(RGB-Depth)相机拍摄二维图像，基于计算机通过所述二维图像的图像像素深度，基于3D图像模型建立技术，将获得的二维图像重建在三维坐标中得到三维点云图像。
但是，由于在计算机处理图像的过程中，对二维图像的像素坐标或图像像素深度的提取精度不够，存在一定的误差，影响拍摄该图像的相机与实际图像场景中各点之间的距离的精确度，从而导致获取的三维点云图像的精度较低，降低了用户使用三维点云图像的效果。
发明内容
本发明提供一种三维点云图像生成方法及设备，利用区分远近点的方式对图像深度进行优化，提高图像深度的精确性，根据优化后的图像深度以及对应的二维图像生成三维点云图像，从而提高生成的三维点云图像的精确度。
第一方面，本发明提供一种三维点云图像生成方法，该方法包括：
获取相机拍摄的二维图像中各像素点的像素深度；
根据预设的远点像素点对应的深度及近点像素点对应的深度，筛选出所述二维图像中远点像素点及近点像素点；
利用第一高斯混合模型对远点像素点的像素深度进行优化，利用第二高斯混合模型对近点像素点的像素深度进行优化；
利用优化后的远点像素点及像素深度、近点像素点及像素深度生成三维点云图像。
第二方面，本发明提供一种三维点云图像生成设备，该设备包括：处理器以及存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器用于执行如下步骤：
获取相机拍摄的二维图像中各像素点的像素深度；
根据预设的远点像素点对应的深度及近点像素点对应的深度，筛选出所述二维图像中远点像素点及近点像素点；
利用第一高斯混合模型对远点像素点的像素深度进行优化，利用第二高斯混合模型对近点像素点的像素深度进行优化；
利用优化后的远点像素点及像素深度、近点像素点及像素深度生成三维点云图像。
第三方面，本发明提供一种三维点云图像生成设备，该设备包括：
获取像素深度单元，用于获取相机拍摄的二维图像中各像素点的像素深度；
筛选深度单元，用于根据预设的远点像素点对应的深度及近点像素点对应的深度，筛选出所述二维图像中远点像素点及近点像素点；
优化深度单元，用于利用第一高斯混合模型对远点像素点的像素深度进行优化，利用第二高斯混合模型对近点像素点的像素深度进行优化；
生成点云单元，用于利用优化后的远点像素点及像素深度、近点像素点及像素深度生成三维点云图像。
本发明提供的一种三维点云图像生成方法及设备，具有以下有益效果：
通过区分远近点的方式对图像深度进行区分，利用与远点像素点和近点像素点对应的不同的高斯混合模型对图像深度进行优化，提高图像深度的精确性，根据优化后的图像深度以及对应的二维图像，基于计算机建立的三维点云图像生成技术，将获得的二维图像与对应的优化后的图像深度重建在三维坐标中生成三维点云图像，有效提高了生成三维点云图像的精度，应用在实时生成3D地图时能够极大的提高用户使用3D地图的效果。
附图说明
图1为本发明提供的一种三维点云图像生成方法步骤图；
图2为第一高斯混合模型对远点像素点的像素深度进行优化的步骤图；
图3为第二高斯混合模型对近点像素点的像素深度进行优化的步骤图；
图4为基于远近点实现三维点云优化的具体流程；
图5为一种三维点云图像生成方法的设备单元图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供了一种三维点云图像生成方法及设备，应用于智能导航系统中实时生成3D地图，基于传统的根据高斯混合模型提取深度的方法，利用远点和近点的不同特点，对远点和近点进行不同的优化，极大的提高了获取的点云精度。
下面对本发明中的术语作如下解释：
1、本发明实施例中术语“深度”是指图像的深度或者像素的深度，基于深度图像或距离影像中的图像深度信息定义的，图像深度/像素深度是指从拍摄图像场景的相机到所述图像场景中各点的距离。
2、本发明实施例中术语“点云”是二维图像中的像素点在三维坐标中重建的点的集合，能够利用该点云构建该二维图像的三维模型。
3、本发明实施例中术语“相机”是指能够通过所述相机确定拍摄的二维图像的图像深度的相机，所述相机包括但不限于双目相机和三色深度RGBD相机。
本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
实施例一
本发明提供了一种三维点云图像生成方法，如图1所示，具体实施步骤如下：
步骤101：获取相机拍摄的二维图像中各像素点的像素深度；
实施中，所述相机包括但不限于双目相机或者三色深度RGBD相机。
具体的，利用双目相机或者三色深度RGBD相机能够获取上述拍摄的二维图像中各像素点的像素深度，获取像素深度的方法根据拍摄二维图像的相机的不同而不同，其中，利用相机拍摄的二维图像获取图像中各像素点的像素深度的方法如下所示，具体实施中根据相机的不同进行选取：
方法一：利用双目相机获取像素深度。
具体的，双目相机是相对位置固定的两个相机，所述两个相机的类型/性能是一样的，基于双目相机本身的特点，通过双目相机分别拍摄二维图像，根据所述双目相机中两个相机同样的焦距、两个相机之间确定的基线长度及同一像素在两个相机拍摄的二维图像中的视差，确定所述二维图像中每个像素点的像素深度。
其中，所述双目相机的基线长度是指双目相机中的两个相对位置固定的两个相机之间的距离。
方法二：利用RGBD相机获取图像深度。
具体的，基于RGBD相机本身的特性，RGBD(RGB-Depth)＝RGB+D，即通过RGBD相机拍摄图像后，能够得到拍摄图像的彩色图和深度图，通过彩色图获得图像的像素坐标即拍摄的二维图像，通过深度图获得图像的深度信息，深度信息中包含与所述二维图像中每个像素点配准的像素深度，并且彩色图和深度图之间存在一一对应关系，因此根据RGBD相机拍摄的深度图，能够直接获取像素深度。
通过上述实施步骤能够获取相机拍摄的二维图像中各像素点的像素深度，用于对所述像素深度进行优化，具体优化的实施步骤如下：
步骤102：根据预设的远点像素点对应的深度及近点像素点对应的深度，筛选出所述二维图像中远点像素点及近点像素点；
实施中，得到二维图像中各像素点的像素深度，对像素深度值进行提取之前，首先根据预先设定的深度标准将获得的所有像素点的像素深度进行分类，一类是远点像素点，另一类是近点像素点。
远点像素点和近点像素点的分类根据不同的相机定义了不同的分类规则，如下所示：
规则一：所述相机为双目相机时，根据双目相机的基线长度，设定远点像素点对应的深度及近点像素点对应的深度。
实施中，根据所述双目相机的基线长度确定标准深度；
确定大于标准深度的深度范围，为远点像素点对应的深度，确定不大于所述标准深度的深度范围为近点像素点对应的深度。
具体的，根据所述双目相机的基线长度确定标准深度的方法，包括：
确定预设倍数的双目相机的基线长度为标准深度，所述预设倍数的范围为35～45。
作为一种可选的实施方式，所述相机为双目相机时，标准深度为双目相机的基线长度的40倍。
作为一种可选的实施方式，所述相机为双目相机时，确定像素深度大于40倍的基线长度的像素点为远点像素点，像素深度不大于40倍的基线长度的像素点为近点像素点。
规则二：所述相机为RGBD相机时，根据RGBD相机的最大拍摄距离，设定远点像素点对应的深度及近点像素点对应的深度。
实施中，根据所述RGBD相机的最大拍摄距离确定标准深度；
确定大于标准深度的深度范围，为远点像素点对应的深度，确定不大于所述标准深度的深度范围为近点像素点对应的深度。
具体的，根据所述RGBD相机的最大拍摄距离确定标准深度的方法，包括：
确定预设倍数的RGBD相机的最大拍摄距离为标准深度，所述预设倍数的范围0.5～0.7。
作为一种可选的实施方式，所述相机为RGBD相机时，标准深度为RGBD相机的最大拍摄距离的三分之二。
作为一种可选的实施方式，所述相机为RGBD相机时，确定像素深度大于RGBD相机的最大拍摄距离的三分之二为远点像素点，确定像素深度不大于RGBD相机的最大拍摄距离的三分之二为近点像素点。
通过步骤102中任一种实施方式，都能够筛选出所述二维图像中远点像素点及近点像素点。
具体的，可以在筛选出所述二维图像中远点像素点及近点像素点之后，去除深度大于预设最大深度的远点像素点，即可以去除过远点，具体根据实际需求确定是否去除，本实施例只提供一种可能的实施方式，不作过多限定。
上述步骤筛选出所述二维图像中远点像素点及近点像素点之后，根据不同的高斯混合模型来评估周围点的像素深度对当前点的像素深度的影响，对远点像素点的深度和近点像素点的深度进行优化，具体步骤如下所示：
步骤103：利用第一高斯混合模型对远点像素点的像素深度进行优化，利用第二高斯混合模型对近点像素点的像素深度进行优化。
具体的，由于在计算机处理图像的过程中，对图像像素坐标或深度信息的提取精度不够，存在一定的误差，因此，本发明中的实施例利用高斯核采用平均周围像素点坐标的方法来提高图像像素坐标的提取精度，进而提高三维点云的精度。
实施中，所述第一高斯混合模型采用第一高斯核，所述第二高斯混合模型采用第二高斯核，通过第一高斯核确定的深度受周围点的影响比通过第二高斯核确定的深度受周围点的影响大。
作为一种可选的实施方式，所述第一高斯核为：
Figure BDA0001921207070000071
所述第二高斯核为：
Figure BDA0001921207070000072
一方面，利用第一高斯混合模型对远点像素点的像素深度进行优化，步骤如图2所示：
步骤200：将确定的远点像素点的像素深度输入第一高斯核的高斯混合模型；
步骤201：利用第一高斯混合模型中的第一高斯核函数，对输入的远点像素点的像素深度进行处理；
其中，第一高斯核为：
Figure BDA0001921207070000073
上述矩阵中间值表示当前远点像素点在第一高斯核函数中的权重，该中间值周围的其余值分别表示周围点在第一高斯核函数中的权重，由上述WF可知，远点像素点的深度受周围点的影响较大，周围点的权重占比相对较大。
步骤202：输出确定每个远点像素点的深度与周围预设范围内像素点深度间的第一均值和第一方差；
具体公式如下：
第一均值：
Figure BDA0001921207070000081
第一方差：
Figure BDA0001921207070000082
其中，i，j表示第一高斯核矩阵中的位置编号，wi,j(uzij)表示远点像素点的输入第一高斯混合模型中的深度与第一高斯核中对应的权重相乘确定的深度，
Figure BDA0001921207070000083
表示远点像素点经第一高斯混合模型优化后的深度。
Figure BDA0001921207070000084
表示对应像素坐标的方差，一般定义为其满足标准正态分布N(0，1)，ui,j表示计算机读取的对应该像素点的深度信息。
步骤203：将上述第一均值作为上述远点像素点优化后的深度；
步骤204：确定上述第一均值/第一方差在超出对应的预设均值/预设方差时，去除对应的远点像素点。
具体的，去除第一均值超出对应的预设均值的远点像素点，能够保证去除优化后的远点像素点中的预设最大深度的远点像素点，相当于过远像素点，去除第一方差超出对应的预设方差的远点像素点，能够保证去除优化后的远点像素点中误差较大的远点像素点，能够更准确的筛选点云信息。
另一方面，利用第二高斯混合模型对近点像素点的像素深度进行优化，步骤如图3所示：
步骤300：将确定的近点像素点的像素深度输入第二高斯核的高斯混合模型；
步骤301：利用第二高斯混合模型中的第二高斯核函数，对输入的近点像素点的像素深度进行处理；
其中，第二高斯核为：
Figure BDA0001921207070000085
上述矩阵中间值表示当前近点像素点在第二高斯核函数中的权重，该中间值周围的其余值分别表示周围点在第二高斯核函数中的权重，由上述WN可知，近点像素点的深度受周围点的影响较小，周围点的权重占比相对较小。
步骤302：输出确定每个近点像素点的深度与周围预设范围内像素点深度间的第二均值和第二方差；
具体公式如下：
第二均值：
Figure BDA0001921207070000091
第二方差：
Figure BDA0001921207070000092
其中，i，j表示第二高斯核矩阵中的位置编号，wi,j(uzij)表示近点像素点的输入第二高斯混合模型中的深度与第二高斯核中对应的权重相乘确定的深度，
Figure BDA0001921207070000093
表示近点像素点经第二高斯混合模型优化后的深度。
Figure BDA0001921207070000094
表示对应像素坐标的方差，一般定义为其满足标准正态分布N(0，1)，ui,j表示计算机读取的对应该像素点的深度信息。
步骤303：将上述第二均值作为上述近点像素点优化后的深度；
步骤304：确定上述第二均值/第二方差在超出对应的预设均值/预设方差时，去除对应的近点像素点。
具体的，去除第二均值超出对应的预设均值的近点像素点，能够保证去除优化后的近点像素点中的预设最大深度的远点像素点，相当于过远像素点，去除第二方差超出对应的预设方差的近点像素点，能够保证去除优化后的近点像素点中误差较大的近点像素点，能够更准确的筛选点云信息。
经过上述步骤103中任一实施方式，能够对二维图像中远点像素点的像素深度及近点像素点的像素深度进行优化，用于利用优化后的像素深度构建精度较高的三维点云图像。
步骤104：利用优化后的远点像素点及像素深度、近点像素点及像素深度生成三维点云图像。
如图4所示，本实施例中提供的基于远近点实现三维点云优化的具体流程如下：
步骤400：获取相机拍摄的二维图像；
步骤401：判断所述二维图像是否是双目相机拍摄的二维图像，如果是执行步骤402，否则执行步骤403；
步骤402：根据双目相机本身的特点，获取拍摄的二维图像中各像素点的像素深度，执行步骤404；
步骤403：根据RGBD相机拍摄的深度图，直接获取像素深度，执行步骤405；
步骤404：定义像素深度大于40倍的基线长度的像素点为远点像素点，像素深度不大于40倍的基线长度的像素点为近点像素点；
步骤405：定义像素深度大于RGBD相机的最大拍摄距离的三分之二为远点像素点，确定像素深度不大于RGBD相机的最大拍摄距离的三分之二为近点像素点；
步骤406：确定是否是远点像素点，如果是执行步骤407，否则执行步骤408；
步骤407：使用第一高斯混合模型对远点像素点进行优化，执行步骤409；
步骤408：使用第二高斯混合模型对近点像素点进行优化，执行步骤410；
步骤409：根据第一高斯混合模型得到的第一均值/第一方差，确定第一均值/第一方差在超出对应的预设均值/预设方差时，对远点像素点进一步筛选，去除对应的远点像素点；
步骤410：根据第二高斯混合模型得到的第二均值/第二方差，确定第二均值/第二方差在超出对应的预设均值/预设方差时，对近点像素点进一步筛选，去除对应的近点像素点。
步骤411：利用筛选后的远点像素点和近点像素点构建三维点云。
实施例二
基于相同的发明构思，本发明实施例中还提供了一种三维点云图像生成设备，由于该设备即是本发明实施例中的方法中的设备，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。
该设备包括：处理器以及存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器用于执行如下步骤：
获取相机拍摄的二维图像中各像素点的像素深度；
根据预设的远点像素点对应的深度及近点像素点对应的深度，筛选出所述二维图像中远点像素点及近点像素点；
利用第一高斯混合模型对远点像素点的像素深度进行优化，利用第二高斯混合模型对近点像素点的像素深度进行优化；
利用优化后的远点像素点及像素深度、近点像素点及像素深度生成三维点云图像。
作为一种可选的实施方式，所述相机为双目相机或者三色深度RGBD相机。
作为一种可选的实施方式，所述处理器还用于：
通过双目相机分别拍摄二维图像，根据所述双目相机中两个相机的焦距、两个相机的基线长度及同一像素在两个相机拍摄的二维图像中的视差，确定所述二维图像中每个像素点的像素深度。
作为一种可选的实施方式，所述相机为双目相机，所述处理器还用于：
根据所述双目相机的基线长度，设定远点像素点对应的深度及近点像素点对应的深度；或者
所述相机为RGBD相机，所述处理器还用于：
根据所述RGBD相机的最大拍摄距离，设定远点像素点对应的深度及近点像素点对应的深度。
作为一种可选的实施方式，所述处理器还用于：
根据所述双目相机的基线长度确定标准深度；
确定大于标准深度的深度范围，为远点像素点对应的深度，确定不大于所述标准深度的深度范围为近点像素点对应的深度；
作为一种可选的实施方式，所述处理器还用于：
根据所述RGBD相机的最大拍摄距离确定标准深度；
确定大于标准深度的深度范围，为远点像素点对应的深度，确定不大于所述标准深度的深度范围为近点像素点对应的深度。
作为一种可选的实施方式，根据所述双目相机的基线长度确定标准深度，所述处理器还用于：
确定预设倍数的双目相机的基线长度为标准深度，所述预设倍数的范围为35～45；
根据所述RGBD相机的最大拍摄距离确定标准深度，所述处理器还用于：
确定预设倍数的RGBD相机的最大拍摄距离为标准深度，所述预设倍数的范围0.5～0.7。
作为一种可选的实施方式，所述处理器还用于：
去除深度大于预设最大深度的远点像素点。
作为一种可选的实施方式，所述第一高斯混合模型和第二高斯混合模型采用不同的高斯核。
作为一种可选的实施方式，所述第一高斯混合模型采用第一高斯核，所述第二高斯混合模型采用第二高斯核，通过第一高斯核确定的深度受周围点的影响比通过第二高斯核确定的深度受周围点的影响大。
作为一种可选的实施方式，所述第一高斯核为：
Figure BDA0001921207070000121
所述第二高斯核为：
Figure BDA0001921207070000122
作为一种可选的实施方式，所述处理器用于：
利用第一高斯混合模型确定每个远点像素点的深度与周围预设范围内像素点深度间的第一均值，为该远点像素点优化后的深度；
利用第二高斯混合模型确定每个近点像素点与周围预设范围内像素点间的第二均值，为该近点像素点优化后的深度。
作为一种可选的实施方式，所述处理器还用于：
利用第一高斯混合模型确定每个远点像素点的深度与周围预设范围内像素点深度间的第一方差，利用第二高斯混合模型确定每个近点像素点与周围预设范围内像素点间的第二方差；
确定第一均值/第一方差在超出对应的预设均值/预设方差时，去除对应的远点像素点，确定第二均值/第二方差在超出对应的预设均值/预设方差时，去除对应的近点像素点。
实施例三
基于相同的发明构思，本发明实施例中还提供了一种三维点云图像生成设备，由于该设备即是本发明实施例中的方法中的设备，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。
如图5所示，该设备包括：
获取像素深度单元501，用于获取相机拍摄的二维图像中各像素点的像素深度；
筛选深度单元502，用于根据预设的远点像素点对应的深度及近点像素点对应的深度，筛选出所述二维图像中远点像素点及近点像素点；
优化深度单元503，用于利用第一高斯混合模型对远点像素点的像素深度进行优化，利用第二高斯混合模型对近点像素点的像素深度进行优化；
生成点云单元504，用于利用优化后的远点像素点及像素深度、近点像素点及像素深度生成三维点云图像。
作为一种可选的实施方式，所述相机为双目相机或者三色深度RGBD相机。
作为一种可选的实施方式，所述获取像素深度单元501用于：
通过双目相机分别拍摄二维图像，根据所述双目相机中两个相机的焦距、两个相机的基线长度及同一像素在两个相机拍摄的二维图像中的视差，确定所述二维图像中每个像素点的像素深度。
作为一种可选的实施方式，所述相机为双目相机，还包括：
根据所述双目相机的基线长度，设定远点像素点对应的深度及近点像素点对应的深度；或者
所述相机为RGBD相机，还包括：
根据所述RGBD相机的最大拍摄距离，设定远点像素点对应的深度及近点像素点对应的深度。
作为一种可选的实施方式，所述筛选深度单元502用于：
根据所述双目相机的基线长度确定标准深度；
确定大于标准深度的深度范围，为远点像素点对应的深度，确定不大于所述标准深度的深度范围为近点像素点对应的深度。
作为一种可选的实施方式，所述筛选深度单元502用于：
根据所述RGBD相机的最大拍摄距离确定标准深度；
确定大于标准深度的深度范围，为远点像素点对应的深度，确定不大于所述标准深度的深度范围为近点像素点对应的深度。
作为一种可选的实施方式，根据所述双目相机的基线长度确定标准深度，包括：
确定预设倍数的双目相机的基线长度为标准深度，所述预设倍数的范围为35～45；
根据所述RGBD相机的最大拍摄距离确定标准深度，包括：
确定预设倍数的RGBD相机的最大拍摄距离为标准深度，所述预设倍数的范围0.5～0.7。
作为一种可选的实施方式，所述筛选深度单元还502用于：
去除深度大于预设最大深度的远点像素点。
作为一种可选的实施方式，所述第一高斯混合模型和第二高斯混合模型采用不同的高斯核。
作为一种可选的实施方式，所述第一高斯混合模型采用第一高斯核，所述第二高斯混合模型采用第二高斯核，通过第一高斯核确定的深度受周围点的影响比通过第二高斯核确定的深度受周围点的影响大。
作为一种可选的实施方式，所述第一高斯核为：
Figure BDA0001921207070000151
所述第二高斯核为：
Figure BDA0001921207070000152
作为一种可选的实施方式，所述优化深度单元503用于：
利用第一高斯混合模型确定每个远点像素点的深度与周围预设范围内像素点深度间的第一均值，为该远点像素点优化后的深度；
利用第二高斯混合模型确定每个近点像素点与周围预设范围内像素点间的第二均值，为该近点像素点优化后的深度。
作为一种可选的实施方式，所述优化深度单元503还用于：
利用第一高斯混合模型确定每个远点像素点的深度与周围预设范围内像素点深度间的第一方差，利用第二高斯混合模型确定每个近点像素点与周围预设范围内像素点间的第二方差；
确定第一均值/第一方差在超出对应的预设均值/预设方差时，去除对应的远点像素点，确定第二均值/第二方差在超出对应的预设均值/预设方差时，去除对应的近点像素点。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种三维点云图像生成方法，其特征在于，该方法包括：
获取相机拍摄的二维图像中各像素点的像素深度；
根据预设的远点像素点对应的深度及近点像素点对应的深度，筛选出所述二维图像中远点像素点及近点像素点；
利用第一高斯混合模型对远点像素点的像素深度进行优化，利用第二高斯混合模型对近点像素点的像素深度进行优化；
利用优化后的远点像素点及像素深度、近点像素点及像素深度生成三维点云图像。
2.根据权利要求1所述的方法，其特征在于，所述相机为双目相机或者三色深度RGBD相机。
3.根据权利要求1或2所述的方法，其特征在于，获取相机拍摄的二维图像中各像素点的像素深度，包括：
通过双目相机分别拍摄二维图像，根据所述双目相机中两个相机的焦距、两个相机的基线长度及同一像素在两个相机拍摄的二维图像中的视差，确定所述二维图像中每个像素点的像素深度。
4.根据权利要求1或2所述的方法，其特征在于，所述相机为双目相机，还包括：
根据所述双目相机的基线长度，设定远点像素点对应的深度及近点像素点对应的深度；或者
所述相机为RGBD相机，还包括：
根据所述RGBD相机的最大拍摄距离，设定远点像素点对应的深度及近点像素点对应的深度。
5.根据权利要求4所述的方法，其特征在于，根据所述双目相机的基线长度，设定远点像素点对应的深度及近点像素点对应的深度，包括：
根据所述双目相机的基线长度确定标准深度；
确定大于标准深度的深度范围，为远点像素点对应的深度，确定不大于所述标准深度的深度范围为近点像素点对应的深度；
根据所述RGBD相机的最大拍摄距离，设定远点像素点对应的深度及近点像素点对应的深度，包括：
根据所述RGBD相机的最大拍摄距离确定标准深度；
确定大于标准深度的深度范围，为远点像素点对应的深度，确定不大于所述标准深度的深度范围为近点像素点对应的深度。
6.根据权利要求5所述的方法，其特征在于，根据所述双目相机的基线长度确定标准深度，包括：
确定预设倍数的双目相机的基线长度为标准深度，所述预设倍数的范围为35～45；
根据所述RGBD相机的最大拍摄距离确定标准深度，包括：
确定预设倍数的RGBD相机的最大拍摄距离为标准深度，所述预设倍数的范围0.5～0.7。
7.根据权利要求1所述的方法，其特征在于，还包括：
去除深度大于预设最大深度的远点像素点。
8.根据权利要求1所述的方法，其特征在于，所述第一高斯混合模型和第二高斯混合模型采用不同的高斯核。
9.根据权利要求8所述的方法，其特征在于，所述第一高斯混合模型采用第一高斯核，所述第二高斯混合模型采用第二高斯核，通过第一高斯核确定的深度受周围点的影响比通过第二高斯核确定的深度受周围点的影响大。
10.根据权利要求9所述的方法，其特征在于，所述第一高斯核为：
Figure FDA0001921207060000021
所述第二高斯核为：
Figure FDA0001921207060000022
11.根据权利要求1所述的方法，其特征在于，利用第一高斯混合模型对远点像素点的像素深度进行优化，利用第二高斯混合模型对近点像素点的像素深度进行优化，包括：
利用第一高斯混合模型确定每个远点像素点的深度与周围预设范围内像素点深度间的第一均值，为该远点像素点优化后的深度；
利用第二高斯混合模型确定每个近点像素点与周围预设范围内像素点间的第二均值，为该近点像素点优化后的深度。
12.根据权利要求11所述的方法，其特征在于，利用第一高斯混合模型对远点像素点的像素深度进行优化，利用第二高斯混合模型对近点像素点的像素深度进行优化后，还包括：
利用第一高斯混合模型确定每个远点像素点的深度与周围预设范围内像素点深度间的第一方差，利用第二高斯混合模型确定每个近点像素点与周围预设范围内像素点间的第二方差；
确定第一均值/第一方差在超出对应的预设均值/预设方差时，去除对应的远点像素点，确定第二均值/第二方差在超出对应的预设均值/预设方差时，去除对应的近点像素点。
13.一种三维点云图像生成设备，其特征在于，该设备包括：处理器以及存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行权利要求1～12任一所述方法的步骤。
CN201811595283.3A 2018-12-25 2018-12-25 一种三维点云图像生成方法及设备 Active CN111369612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811595283.3A CN111369612B (zh) 2018-12-25 2018-12-25 一种三维点云图像生成方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811595283.3A CN111369612B (zh) 2018-12-25 2018-12-25 一种三维点云图像生成方法及设备

Publications (2)

Publication Number Publication Date
CN111369612A true CN111369612A (zh) 2020-07-03
CN111369612B CN111369612B (zh) 2023-11-24

Family

ID=71208495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811595283.3A Active CN111369612B (zh) 2018-12-25 2018-12-25 一种三维点云图像生成方法及设备

Country Status (1)

Country Link
CN (1) CN111369612B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023035841A1 (zh) * 2021-09-09 2023-03-16 百度在线网络技术（北京）有限公司 用于图像处理的方法、装置、设备、存储介质和程序产品

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103053165A (zh) * 2011-08-18 2013-04-17 北京世纪高蓝科技有限公司 基于图像运动信息的2d转3d方法
CN103955942A (zh) * 2014-05-22 2014-07-30 哈尔滨工业大学 一种基于svm的2d图像的深度图提取方法
CN104463899A (zh) * 2014-12-31 2015-03-25 北京格灵深瞳信息技术有限公司 一种目标对象检测、监控方法及其装置
CN104506768A (zh) * 2014-11-28 2015-04-08 广东欧珀移动通信有限公司 图像选择方法、装置及终端
CN104574375A (zh) * 2014-12-23 2015-04-29 浙江大学 结合彩色和深度信息的图像显著性检测方法
JP2017011520A (ja) * 2015-06-23 2017-01-12 日本放送協会 立体像奥行き変換装置およびそのプログラム
US20170078559A1 (en) * 2014-05-15 2017-03-16 Indiana University Research And Technology Corporation Three dimensional moving pictures with a single imager and microfluidic lens
CN106651925A (zh) * 2016-11-28 2017-05-10 深圳奥比中光科技有限公司 一种彩色深度图像的获取方法、获取设备
CN106952222A (zh) * 2017-03-17 2017-07-14 成都通甲优博科技有限责任公司 一种交互式图像虚化方法及装置
CN107767413A (zh) * 2017-09-20 2018-03-06 华南理工大学 一种基于卷积神经网络的图像深度估计方法
CN107833253A (zh) * 2017-09-22 2018-03-23 北京航空航天大学青岛研究院 一种面向rgbd三维重建纹理生成的相机姿态优化方法
CN108335323A (zh) * 2018-03-20 2018-07-27 厦门美图之家科技有限公司 一种图像背景的虚化方法及移动终端
CN108898630A (zh) * 2018-06-27 2018-11-27 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103053165A (zh) * 2011-08-18 2013-04-17 北京世纪高蓝科技有限公司 基于图像运动信息的2d转3d方法
US20170078559A1 (en) * 2014-05-15 2017-03-16 Indiana University Research And Technology Corporation Three dimensional moving pictures with a single imager and microfluidic lens
CN103955942A (zh) * 2014-05-22 2014-07-30 哈尔滨工业大学 一种基于svm的2d图像的深度图提取方法
CN104506768A (zh) * 2014-11-28 2015-04-08 广东欧珀移动通信有限公司 图像选择方法、装置及终端
CN104574375A (zh) * 2014-12-23 2015-04-29 浙江大学 结合彩色和深度信息的图像显著性检测方法
CN104463899A (zh) * 2014-12-31 2015-03-25 北京格灵深瞳信息技术有限公司 一种目标对象检测、监控方法及其装置
JP2017011520A (ja) * 2015-06-23 2017-01-12 日本放送協会 立体像奥行き変換装置およびそのプログラム
CN106651925A (zh) * 2016-11-28 2017-05-10 深圳奥比中光科技有限公司 一种彩色深度图像的获取方法、获取设备
CN106952222A (zh) * 2017-03-17 2017-07-14 成都通甲优博科技有限责任公司 一种交互式图像虚化方法及装置
CN107767413A (zh) * 2017-09-20 2018-03-06 华南理工大学 一种基于卷积神经网络的图像深度估计方法
CN107833253A (zh) * 2017-09-22 2018-03-23 北京航空航天大学青岛研究院 一种面向rgbd三维重建纹理生成的相机姿态优化方法
CN108335323A (zh) * 2018-03-20 2018-07-27 厦门美图之家科技有限公司 一种图像背景的虚化方法及移动终端
CN108898630A (zh) * 2018-06-27 2018-11-27 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023035841A1 (zh) * 2021-09-09 2023-03-16 百度在线网络技术（北京）有限公司 用于图像处理的方法、装置、设备、存储介质和程序产品

Also Published As

Publication number Publication date
CN111369612B (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN109155078B (zh) 样本图像的集合的生成方法、装置、电子设备和存储介质
US10701332B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium
CN106600686B (zh) 一种基于多幅未标定图像的三维点云重建方法
US8588516B2 (en) Interpolation image generation apparatus, reconstructed image generation apparatus, method of generating interpolation image, and computer-readable recording medium storing program
WO2018119889A1 (zh) 三维场景定位方法和装置
WO2018228436A1 (zh) 双视角图像校准及图像处理方法、装置、存储介质和电子设备
CN110866977B (zh) 增强现实处理方法及装置、系统、存储介质和电子设备
CN108230384B (zh) 图像深度计算方法、装置、存储介质和电子设备
EP3841554A1 (en) Method and system for reconstructing colour and depth information of a scene
CN108848367B (zh) 一种图像处理的方法、装置及移动终端
CN109658497B (zh) 一种三维模型重建方法及装置
CN113706472A (zh) 公路路面病害检测方法、装置、设备及存储介质
CN113723317A (zh) 3d人脸的重建方法、装置、电子设备和存储介质
TW201436552A (zh) 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置
EP3496042A1 (en) System and method for generating training images
CN111563965A (zh) 一种通过优化深度图生成全景图的方法及装置
CN111179408A (zh) 三维建模的方法及设备
US11475629B2 (en) Method for 3D reconstruction of an object
CN111369612B (zh) 一种三维点云图像生成方法及设备
CN111292234B (zh) 一种全景图像生成方法及装置
CN105893578B (zh) 一种照片选择的方法及装置
CN116017129A (zh) 一种补光灯角度调整方法、装置、系统、设备和介质
CN111192308A (zh) 图像处理方法及装置、电子设备和计算机存储介质
CN112652056B (zh) 一种3d信息展示方法及装置
CN112634439B (zh) 一种3d信息展示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant