CN111862179B - 三维对象建模方法与设备、图像处理装置及介质 - Google Patents

三维对象建模方法与设备、图像处理装置及介质 Download PDF

Info

Publication number
CN111862179B
CN111862179B CN202010574080.7A CN202010574080A CN111862179B CN 111862179 B CN111862179 B CN 111862179B CN 202010574080 A CN202010574080 A CN 202010574080A CN 111862179 B CN111862179 B CN 111862179B
Authority
CN
China
Prior art keywords
dimensional
contour
plane
panoramic image
dimensional object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010574080.7A
Other languages
English (en)
Other versions
CN111862179A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Chengshi Wanglin Information Technology Co Ltd
Original Assignee
Beijing Chengshi Wanglin Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chengshi Wanglin Information Technology Co Ltd filed Critical Beijing Chengshi Wanglin Information Technology Co Ltd
Priority to CN202010574080.7A priority Critical patent/CN111862179B/zh
Publication of CN111862179A publication Critical patent/CN111862179A/zh
Application granted granted Critical
Publication of CN111862179B publication Critical patent/CN111862179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Abstract

本发明公开了三维对象建模方法与设备、图像处理装置及介质。该方法包括：提取每幅全景图像的在三维空间中的平面轮廓；将相机位置的尺度与每幅全景图像的在三维空间中的平面轮廓的尺度进行归一化，得到经过归一化的各全景图像的在三维空间中的平面轮廓；基于相机位置，对经过尺度归一化的各全景图像的在三维空间中的平面轮廓的三维点坐标进行旋转和平移操作，以将其统一到同一个坐标系中，将各对象轮廓拼接成多对象平面轮廓。通过使用高分辨率的全景图像，能够提高为三维对象所构建的模型的分辨率，通过坐标变换进行多轮廓拼接、以及后续的多轮廓优化，能够提高对象建模的精度，由此能够有效提高所生成的三维对象的模型的分辨率和准确度。

Description

三维对象建模方法与设备、图像处理装置及介质
技术领域
本发明涉及图像处理和三维对象建模领域，尤其涉及三维对象建模方法与设备、图像处理装置及介质。
背景技术
在三维对象建模领域，如何使得生成的三维模型具有高分辨率和高准确度是业界极力追求的目标。
目前主要有两种方式进行三维对象建模。
一种是采用普通图像采集设备从不同的角度来拍摄多个图像，然后将从不同角度拍摄的多个图像组合/拼接起来，构成三维对象的三维模型。但是，这种方式需要复杂的图像拼接，很难得到高准确度的三维目标。
另一种方式是直接使用三维扫描设备获取三维对象的三维点云，然后进行三维点云的拼接，生成三维模型。但是，这种三维扫描设备的图像采集设备精度不高，导致捕获的图像分辨率不高，致使生成的三维模型的分辨率不够高。
因此，如何得到高分辨率的采集图像，如何准确地拼接图像以得到逼真的三维模型是本发明考虑要解决的技术问题。
发明内容
为了解决以上问题之一，本发明提供了一种三维对象建模方法与设备、图像处理装置及介质。
根据本发明的一个实施例，提供一种三维对象建模方法，包括：平面轮廓提取步骤，其中，针对为待建模的至少一个三维对象拍摄的至少一幅全景图像，提取每幅全景图像的在三维空间中的平面轮廓，其中，每幅全景图像是针对一个三维对象拍摄的，每个三维对象对应于一幅或多幅全景图像；尺度归一化步骤，其中，基于相机位置，将每幅全景图像的在三维空间中的平面轮廓的尺度进行归一化，得到经过归一化的各全景图像的在三维空间中的平面轮廓；以及多对象拼接步骤，其中，基于相机位置，对经过尺度归一化的各全景图像的在三维空间中的平面轮廓的三维点坐标进行旋转和平移操作，以将所述三维点坐标统一到同一个坐标系中，从而将各对象轮廓拼接成多对象平面轮廓。
可选地，所述相机位置是预先确定的或者是通过以下方式估计得到的：利用为待处理的至少一个三维对象拍摄的至少一幅全景图像的几何关系，进行所述全景图像之间的特征点匹配，并记录所述全景图像中互相匹配的特征点作为匹配特征点；以及通过对于每幅全景图像，减小所述全景图像上的匹配特征点的重投影误差，来得到拍摄每幅全景图像时的相机位置、以及每幅全景图像上的匹配特征点的三维点坐标。
可选地，尺度归一化步骤包括：在相机位置是估计得到的情况下，将估计相机位置时得到的所述至少一幅全景图像上的所有三维点坐标中的高度值从小到大排序，取排序靠前的高度值的中值或者均值作为统一的特定类别轮廓估计高度hc’；以及利用特定类别轮廓假定高度hc与特定类别轮廓估计高度hc’的比值，从所述每幅全景图像的在三维空间中的平面轮廓生成经过归一化的各全景图像的在三维空间中的平面轮廓，其中，特定类别轮廓假定高度hc是任意假定的一个高度。
可选地，尺度归一化步骤包括：在相机位置是预先确定的相机确定高度 hc’的情况下，利用在平面轮廓提取步骤中假定的相机假定高度hc与相机确定高度hc’的比值，从所述每幅全景图像的在三维空间中的平面轮廓生成经过归一化的各全景图像的在三维空间中的平面轮廓，其中，特定类别轮廓假定高度hc是任意假定的一个高度。
可选地，单对象平面轮廓生成步骤包括：对于所述至少一幅全景图像，通过以下方式、逐个地确定其中是否有多幅全景图像属于同一个三维对象：如果两幅全景图像之间有多于特定比例的匹配特征点，则确定这两幅全景图像属于同一个三维对象；以及如果确定多幅全景图像属于同一个三维对象，则对于由所述多幅全景图像得到的同一个三维对象的各平面轮廓，取所述同一个三维对象的所有平面轮廓的并集，作为所述三维对象的在三维空间中的平面轮廓。
可选地，在所述多对象拼接步骤，还能够基于各单个三维对象的在三维空间中的平面轮廓，拼接得到在三维空间中的多对象平面轮廓。
可选地，多对象拼接步骤包括：假设所有的全景图像的在三维空间的平面轮廓共有N个，第n个平面轮廓的第p个三维点表示为
Figure GDA0003310311870000031
所述第n个平面轮廓对应的全景图像被拍摄时的相机位置表示为{Rn，tn}，其中Rn为用于表示所述相机位置的旋转参数的旋转矩阵，tn为用于表示所述相机位置的平移参数的平移向量，其中N为大于1的整数，n为大于等于1的整数，选定第i个平面轮廓对应的全景图像被拍摄时的相机位置作为参考坐标系，可通过如下的公式将其它平面轮廓的三维点统一到所述参考坐标系下：
Figure GDA0003310311870000032
将除第i个平面轮廓外的所有的经过尺度归一化的平面轮廓的三维点通过所述公式进行转换，以将所有平面轮廓的三维点统一到同一坐标系下，从而将各对象轮廓拼接成多对象平面轮廓。
可选地，所述三维对象建模方法还包括：多对象轮廓优化步骤，其中，计算多对象轮廓中，两个单对象轮廓的相邻边之间的距离，若所述距离非零且小于特定阈值，则将所述两个单对象轮廓进行偏移，以使所述相邻边的距离变为零。
可选地，所述三维对象建模方法还包括：3D模型生成步骤，其中，在多对象拼接步骤之后，将拼接得到的在三维空间中的多对象平面轮廓转化为多对象3D模型。
根据本发明的一个示例性实施例，提供一种三维对象建模设备，包括：平面轮廓提取装置，被配置用于针对为待建模的至少一个三维对象拍摄的至少一幅全景图像，提取每幅全景图像的在三维空间中的平面轮廓，其中，每幅全景图像是针对一个三维对象拍摄的，每个三维对象对应于一幅或多幅全景图像；尺度归一化装置，被配置用于基于相机位置，将每幅全景图像的在三维空间中的平面轮廓的尺度进行归一化，得到经过归一化的各全景图像的在三维空间中的平面轮廓；以及多对象拼接装置，被配置用于基于相机位置，对经过尺度归一化的各全景图像的在三维空间中的平面轮廓的三维点坐标进行旋转和平移操作，以将所述三维点坐标统一到同一个坐标系中，从而将各对象轮廓拼接成多对象平面轮廓。
可选地，所述相机位置是预先确定的或者是通过以下方式估计得到的：利用为待处理的至少一个三维对象拍摄的至少一幅全景图像的几何关系，进行所述全景图像之间的特征点匹配，并记录所述全景图像中互相匹配的特征点作为匹配特征点；以及通过对于每幅全景图像，减小所述全景图像上的匹配特征点的重投影误差，来得到拍摄每幅全景图像时的相机位置、以及每幅全景图像上的匹配特征点的三维点坐标。
可选地，尺度归一化装置还被配置用于：在相机位置是估计得到的情况下，将估计相机位置时得到的所述至少一幅全景图像上的所有三维点坐标中的高度值从小到大排序，取排序靠前的高度值的中值或者均值作为统一的特定类别轮廓估计高度hc’；以及利用特定类别轮廓假定高度hc与特定类别轮廓估计高度hc’的比值，从所述每幅全景图像的在三维空间中的平面轮廓生成经过归一化的各全景图像的在三维空间中的平面轮廓，其中，特定类别轮廓假定高度hc是任意假定的一个高度。
可选地，尺度归一化装置还被配置用于：在相机位置是预先确定的相机确定高度hc’的情况下，利用在平面轮廓提取步骤中假定的相机假定高度hc与相机确定高度hc’的比值，从所述每幅全景图像的在三维空间中的平面轮廓生成经过归一化的各全景图像的在三维空间中的平面轮廓，其中，特定类别轮廓假定高度hc是任意假定的一个高度。
可选地，单对象平面轮廓生成装置还被配置用于：对于所述至少一幅全景图像，通过以下方式、逐个地确定其中是否有多幅全景图像属于同一个三维对象：如果两幅全景图像之间有多于特定比例的匹配特征点，则确定这两幅全景图像属于同一个三维对象；以及如果确定多幅全景图像属于同一个三维对象，则对于由所述多幅全景图像得到的同一个三维对象的各平面轮廓，取所述同一个三维对象的所有平面轮廓的并集，作为所述三维对象的平面轮廓。
可选地，所述多对象拼接装置还被配置用于能够基于各单个三维对象的在三维空间中的平面轮廓，拼接得到在三维空间中的多对象平面轮廓。
可选地，多对象拼接装置还被配置用于：假设所有的全景图像的在三维空间的平面轮廓共有N个，第n个平面轮廓的第p个三维点表示为
Figure GDA0003310311870000041
所述第n 个平面轮廓对应的全景图像被拍摄时的相机位置表示为{Rn，tn}，其中Rn为用于表示所述相机位置的旋转参数的旋转矩阵，tn为用于表示所述相机位置的平移参数的平移向量，其中N为大于1的整数，n为大于等于1的整数，选定第i个平面轮廓对应的全景图像被拍摄时的相机位置作为参考坐标系，可通过如下的公式将其它平面轮廓的三维点统一到所述参考坐标系下：
Figure GDA0003310311870000051
将除第i个平面轮廓外的所有的经过尺度归一化的平面轮廓的三维点通过所述公式进行转换，以将所有平面轮廓的三维点统一到同一坐标系下，从而将各对象轮廓拼接成多对象平面轮廓。
可选地，所述三维对象建模设备还包括：多对象轮廓优化装置，被配置用于计算多对象轮廓中，两个单对象轮廓的相邻边之间的距离，若所述距离非零且小于特定阈值，则将所述两个单对象轮廓进行偏移，以使所述相邻边的距离变为零。
可选地，所述三维对象建模设备还包括：3D模型生成装置，被配置用于将拼接得到的在三维空间中的多对象平面轮廓转化为多对象3D模型。
根据本发明的再一个实施例，提供一种图像处理装置，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行上面描述的方法之一。
根据本发明的又一个实施例，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行上面描述的方法之一。
本发明基于使用全景相机拍摄的待处理三维对象的多张全景图像，进行三维对象的2D建模和3D建模，克服了现有技术中使用3D扫描设备生成对象模型导致的模型分辨率不高的缺陷。
在本发明中，通过使用全景相机拍摄至少一个对象的全景图像，为多对象建模(例如房屋或车辆之类的建模等)提供高分辨率的采集图像。
进一步地，在本发明中，采用了高效的三维对象建模方法，为多对象建模(例如房屋或车辆之类的建模)提供了高分辨率的建模所需数据，而且，所提供的建模所需数据能够简化后续的模型生成过程。
再进一步地，通过本发明的建模方法，能够有效地提高所生成的模型 (例如房屋或车辆等的2D和/或3D模型)的分辨率和准确度。
本发明适用于单对象的2D建模和3D建模，也适用于多对象的2D建模和3D建模，能够基于每个三维对象的全景图像来进行2D建模和3D建模建模，提供了一种创新的综合性的图像处理方案，能够应用于各种基于全景图像来进行对象建模的很多VR(虚拟现实)场景，例如房屋建模(VR 看房)、车辆建模(VR看车)、购物场所建模(VR购物)等等。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的附图标记通常代表相同部件。
图1给出了根据本发明的一个示例性实施例的三维对象建模方法的示意性流程图。
图2给出了根据本发明的另一个示例性实施例的三维对象建模的总体过程的示意性流程图。
图3给出了根据本发明的一个示例性实施例的三维对象建模设备的示意性框图。
图4给出了根据本发明的一个示例性实施例的图像处理装置的示意性框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。这里需要说明的是，本申请中的数字、序号以及附图标记仅是为了方便描述而出现的，对于本发明的步骤、顺序等等均不构成任何限制，除非在说明书中明确指出了步骤的执行有特定的先后顺序。
本发明提供了三维对象建模方法、三维对象建模设备、以及图像处理装置和计算机介质。
首先，在本发明中，采用普通的全景相机来拍摄每个三维对象，得到高分辨率全景图像，克服了背景技术中描述的3D扫描相机捕获的图像分辨率不高的缺陷。
然后，利用拍摄的多张全景图像，可以提取单个全景图像的在三维空间中的平面轮廓(可称为“单图像平面轮廓”)。
进一步地，通过尺度归一化，可以实现单图像平面轮廓的尺度与相机位置的尺度之间的统一，生成经过归一化的各单图像平面轮廓，为后续进行三维对象建模提供高分辨率的并且充分的数据准备，减少后续处理工作的难度。
再进一步地，可以通过对属于同一个三维对象的各单图像平面轮廓进行融合，获得准确的单对象平面轮廓。
再进一步地，可以在三维空间中拼接各单对象平面轮廓，得到多对象模型(此时为2D模型)。
另外，可以对多对象模型进行修正，以得到更准确的模型，使得模型展示效果更好。
最后，通过3D模型生成，得到完整的、高分辨率的并且准确的3D模型。
下面，为了便于理解和描述，将以房屋建模为例，来详细描述本发明的各个处理过程。
这里，首先简单介绍全景相机。全景相机与普通相机的不同在于，普通相机通常只用一个镜头来拍摄，而全景相机用两个或者两个以上的镜头来拍摄，所以全景相机可以实现360度的拍摄。
图1给出了根据本发明的一个示例性实施例的三维对象建模方法的示意性流程图。
在根据本发明的一个示例性实施例的三维对象建模方法中，基于针对一个三维对象(例如在一个房间内)拍摄的至少一幅全景图像(一个全景图像只对应一个房间(三维对象)，但是一个房间内可能拍摄多个全景图像，即一个房间可能对应多个全景图像)，提取每幅全景图像的在三维空间中的平面轮廓，然后对提取的平面轮廓进行归一化，以得到建模所需平面轮廓，然后，通过坐标变换，来实现多平面轮廓的拼接，由此得到多对象平面轮廓(2D模型)，接着，可以再从该多对象平面轮廓生成三维对象的3D模型。
如图1所示，在步骤S110，针对为待建模的至少一个三维对象拍摄的至少一幅全景图像，提取每幅全景图像的在三维空间中的平面轮廓，其中，每幅全景图像是针对一个三维对象拍摄的，每个三维对象对应于一幅或多幅全景图像。
在本步骤中，平面轮廓的提取可以通过多种方式来实现。以下将简要地给出一个例子来说明平面轮廓的提取方法。
以至少一个三维对象为室内房屋为例，则每个房间可以看作一个三维对象，为每个房间拍摄至少一幅全景图像，所以一幅全景图像对应于一个房间，但每个房间可能对应于多个全景图像。
在这种情况下，由于天花板一定是在相机的上方，所以，在拍摄的全景图像中，最上方的像素点一定是属于天花板。再次，由于属于天花板上的像素点大多数具有相似特征，因此，可以根据像素点的特征相似度，最终得到属于天花板的所有像素点。
例如，首先将全景图像第一行的所有像素点均看作是属于天花板的像素点；对于第二行的每个像素点，计算其与第一行中属于同一列的像素点的特征相似度(这里的特征可采用颜色、灰度等特征；两个像素点的特征相似度例如可以为两个像素点的特征之差(例如灰度之差或颜色之差等) 的绝对值等)。如果特征相似度在某个阈值之内(若采用0-255灰度值，阈值例如可设置为10)，则该像素也属于天花板，再继续计算该列上第三行与第二行的相似度、第四行与第三行的相似度…，直到特征相似度超过该阈值，此时的像素点位置即是天花板的边缘像素点。
这些天花板的边缘像素点形成了天花板的边缘，因此，将这些边缘像素点投影到三维空间可形成天花板的平面轮廓。
下面将描述像素点到三维空间的投影。
假定一个全景图像的宽为w，高为H，并且假定得到的天花板的边缘像素点c在图像坐标系下的坐标为(pc，qc)。由于全景图像是由球面投影得到的，因此，在球面坐标系下将其表示为(θc，φc)，其中
Figure GDA0003310311870000081
为经度，φc∈[-π/2，π/2]为维度。
其中球面坐标系与图像坐标系的关系可通过如下公式1得到：
Figure GDA0003310311870000091
如下公式2是用于将天花板边缘的像素点c在球面坐标系下的坐标 (θc，φc)投影到三维平面上的三维点坐标(xc，yc，zc)：
Figure GDA0003310311870000092
在本文中，术语“图像坐标系”指图像像素点所在的坐标系，主要用来描述图像中像素点所在的位置。由此，全景图像坐标系指全景图像的像素点所在的坐标系，主要用来描述全景图像中像素点所在的位置。
请注意，上面仅给出了基于全景图像上的天花板特征点的相似性来生成该全景图像的三维空间中的平面轮廓的一种例子，本发明可以使用的方法不限于该例子。
由于天花板可认为是平面，因此可以认为天花板边缘的各像素点距离相机具有统一的高度，可称为“相机距离天花板的高度”。
这里，由于全景相机一般使用三角架支撑，其高度为固定的，所以也可认为相机距离天花板的高度、相机距离地板的高度是固定的。
对于本步骤得到的三维空间中的平面轮廓，可以给该轮廓上的各三维点假定一个高度值，比如假定相机距离天花板的高度为hc，并且该假定的高度可以为任意的值，比如100(可以通过后续的处理来求出真实的相机距离天花板的高度)。为了避免混淆，下文将这里假定的相机距离天花板的高度 hc称为“相机距离天花板的假定高度”hc。
在上面的实施例中，可以基于全景图像，自动化地得到该图像的平面轮廓，而无需人工参与制作，并且无需使用昂贵的3D扫描设备。
在上面的实施例中，可以基于全景图像，自动化地得到该图像的平面轮廓，而无需人工参与制作，并且无需使用昂贵的3D扫描设备。
在步骤S120，将相机位置的尺度和在步骤S110得到的全景图像的三维空间平面轮廓的尺度进行归一化(尺度归一化)。
由于在步骤S110中得到房间的三维空间平面轮廓时采用的是相机距离天花板的假定高度hc(当时并不确定相机高度)，因此，相机位置的尺度(相机的实际高度)和三维对象的三维空间平面轮廓的尺度不统一，给后续的房间轮廓拼接造成一定的困难。
在本步骤，将拍摄每幅全景图像时的相机位置的尺度和各全景图像的在三维空间中的平面轮廓的尺度进行归一化，以使得能够执行后续的多对象拼接处理。
在本归一化步骤中，可能有两种情况：第一种情况是具有确定的相机位置(真实的相机高度)，第二种情况是仍然不确定相机位置。
在相机位置是预先确定的相机确定高度hc’的情况下，可以利用在平面轮廓提取步骤S110中假定的相机距离天花板的假定高度hc与相机确定高度hc’的比值，从每幅全景图像的在三维空间中的平面轮廓生成经过归一化的各全景图像的在三维空间中的平面轮廓。这里，特定类别轮廓假定高度hc可以是任意假定的一个高度，例如坐标值为100或者任意一个其它值。
对于相机位置是估计得到的情况，首先，可以通过以下方式来估计相机位置：利用为待处理的至少一个三维对象拍摄的至少一幅全景图像的几何关系，进行这些全景图像之间的特征点匹配，并记录这些全景图像中互相匹配的特征点作为匹配特征点；以及通过对于每幅全景图像，减小该全景图像上的匹配特征点的重投影误差，来得到拍摄每幅全景图像时的相机位置、以及该全景图像上的匹配特征点的三维点坐标。
然后，在相机位置是估计得到的情况下，可以通过以下方式来实现尺度归一化：将估计相机位置时得到的所述至少一幅全景图像上的所有三维点坐标中的高度值从小到大排序，取排序靠前的高度值的中值或者均值作为统一的特定类别轮廓估计高度hc’；以及利用特定类别轮廓假定高度hc与特定类别轮廓估计高度hc’的比值，从所述每幅全景图像的在三维空间中的平面轮廓生成经过归一化的各全景图像的在三维空间中的平面轮廓。同样，这里的特定类别轮廓假定高度hc也是任意假定的一个高度，例如100或者任意一个其它值。
在本发明中，可以采用基于多视图几何的方法来估计相机位置，限于篇幅，在此不再详细描述。
可选地，在步骤S125，可以基于经过归一化的各全景图像的在三维空间中的平面轮廓，得到各单个对象的在三维空间中的平面轮廓。
在本发明中，从一个全景图像得到一个相应的在三维空间中的平面轮廓，可称为“单对象平面轮廓”。
例如，以每个房间作为一个三维对象为例，如上所述，由于拍摄的全景图像中可能包含同一房间的多张全景图像，在这种情况下，同一房间将对应多个在三维空间中的平面轮廓，导致在后续的多房间拼接处理得到的多房间平面轮廓中，可能出现某个或多个房间的各自的不同全景图像得到的平面轮廓不重合、导致拼接的轮廓出现重叠或混乱的现象。因此，可以考虑先进行同一个房间轮廓的融合(可称为“单对象融合”)，以避免这种现象。而且，单对象融合也可消除单对象轮廓不完整的现象。
针对上述的需要单对象融合的情形，下面将以一个房间作为一个三维对象为例，给出下述的示例性方法。
首先，判断两幅全景图像是否属于同一房间。
这里可以采用基于特征点匹配的方式，如果两幅全景图像之间有多于某个比例(特定比例，例如50％等)的匹配特征点，则可以判定这两幅全景图像属于同一房间。
然后，如果多幅全景图像属于同一房间，即，对于由不同全景图像得到的同一房间的平面轮廓，取这些平面轮廓的并集，作为三维空间中的单房间平面轮廓(一个房间一个轮廓，避免一个房间多个单图像轮廓的情形)，由此实现同一房间轮廓的融合。
其中，上述的匹配特征点的比例可以采用以下方式来设置：假设图像1有 n1个特征点，图像2有n2个特征点，两幅图像的匹配特征点数为n个。那么匹配特征点的比例可以为n/min(n1,n2)。
可选地，可以设定为如果该比例大于例如50％，则认为两幅图像是同一个房间。
这里，匹配特征点的比例的设置和比例的实际大小可根据实际情况来试验或凭借经验确定，本发明对此不作额外限制。
如上所述，在本发明中，对于上述的至少一幅全景图像，可以通过如下的单房间融合的方式来确定是否有多幅全景图像属于同一房间：如果两幅全景图像之间有多于特定比例的匹配特征点，则可以判定这两幅全景图像属于同一房间。
如果确定多幅全景图像属于同一房间，则对于由所述多幅全景图像得到的同一房间的各平面轮廓，取这些平面轮廓的并集，作为该房间的平面轮廓。
另外，在同一房间的轮廓融合之后，由于获取的轮廓边缘可能存在噪声，例如可能表现为边线不直以及边与边不垂直的现象。所以本发明还可以进一步对于每一房间的轮廓进行直角多边形拟合，得到更合理的房间平面轮廓。
通过上述的专门针对单对象进行的优化处理，例如单对象融合和/或直角多边形拟合等等，可以得到更准确的单对象平面轮廓，利于后续的2D 和3D模型的生成，提高模型的分辨率和准确度。
请注意，该步骤并非三维对象的二维或三维建模必须的步骤，而是可以提高模型的准确度的优选处理方式。
在步骤S140，可以利用相机位置，对经过尺度归一化的各全景图像的在三维空间中的平面轮廓的三维点坐标进行旋转和平移操作，以将这些三维点坐标统一到同一个坐标系中，从而将各对象轮廓拼接成多对象平面轮廓。
在本步骤中，要实现经过尺度归一化的各对象平面轮廓的拼接，以将其拼接成多对象轮廓，在本发明中采用自动的方式来实现多对象拼接。
以下将给出一个本发明的发明人提出的自动化多对象拼接方案。
下面将以一个房间作为一个三维对象为例，详细描述其具体操作。
假设有N个房间的轮廓，第n个房间轮廓的第p个三维点表示为
Figure GDA0003310311870000121
该房间的相机位置表示为{Rn，tn}，其中Rn为用于表示相机位置的旋转参数的旋转矩阵， tn为用于表示相机位置的平移参数的平移向量。
此时，可以选定第一个房间的相机位置作为参考坐标系，这是因为目前得到的房间轮廓是在各自坐标系下的轮廓位置，需要统一到一个坐标系下，所以需要选定一个参考坐标系。准确地说，可以选定第一个房间的相机位置所在的坐标系作为参考坐标系。然后，可通过如下公式3将其它房间的轮廓三维点统一到该坐标系下：
Figure GDA0003310311870000122
将除第一个房间外的所有的经过尺度归一化的轮廓三维点(例如，天花板边缘、墙面边缘、地板边缘上三维点)通过公式3进行转换，即可将所有房间的三维点统一到同一坐标系(即，第一个房间的参考坐标系)下，由此便能够实现多房间平面轮廓的拼接。
这里，可以选任意一个房间的坐标系作为参考坐标系(比如第i个房间的坐标系作为参考坐标系，此时公式3中的R1变为Ri，t1变为ti)，本发明对此不作任何限制，因为本发明中需要的是相对位置关系，不是绝对位置关系。
这里，在该步骤的多对象拼接之后得到的多对象轮廓，可以作为所述至少一个(包括多个)三维对象的2D模型(例如2D户型图)输出。
图2给出了根据本发明的另一个示例性实施例的三维对象建模的总体过程的示意性流程图。
根据本发明的另一个示例性实施例，可选地，本发明的三维对象建模方法还可以在步骤S145，对多对象轮廓进行修正。
请注意，本步骤也并非三维对象的二维或三维建模必须的步骤，而是可以提高模型的准确度的优选处理方式。
本发明中，在对多对象轮廓进行拼接之后，还可以进一步对多对象轮廓进行修正，以得到更加准确的多对象轮廓。
以一个房间作为被关注类型的一个三维对象为例，由于受到单图像平面轮廓提取精度以及相机位置估计精度的影响，相邻多维对象(比如一套室内房屋)的轮廓在拼接后可能存在重叠区域或者出现缝隙的情况，因此，可以进一步地针对这两种情况进行轮廓的校正。
校正方法例如可以如下。首先，计算两两轮廓的相邻边(这些相邻边理论上应当是重合的，即，理论上应当作为多房间轮廓的一个重合边)之间的距离，若该距离小于某个阈值，则可以判定这两条边是相邻的关系，此时可以将该轮廓进行相应的偏移，使相邻边的距离变为0(变得重合，成为重合边)，由此修正相邻边之间的重叠或者缝隙。
对于上述的该阈值，举一个例子来说，比如可以计算这些应当作为一个重合边的相邻边的平均长度L，并以该平均长度的某个比例作为阈值，比如可以使0.2*L作为该距离阈值。
请注意，上面仅仅是为了便于理解起见而给出的例示的阈值，实际上，本发明对于该阈值的不作额外的限制，其可以通过实验和经验来确定。
由此，经过上述单房间轮廓融合和多房间轮廓修正后的多房间轮廓可作为该套房屋的一个完整而准确的2D户型图(房屋的2D模型)。
进一步地，在步骤S150，将生成的多对象平面轮廓转化为至少一个三维对象的3D模型。
为了便于理解和描述，下面将以房屋建模为例来说明。
对于在之前的步骤中得到的多对象平面轮廓(例如多房间平面轮廓)，在内部进行三维点插值，然后将所有的三维点坐标投影到相应的全景图像中，以便获取天花板纹理(颜色值)。
这里，将对三维点插值的方法进行举例说明。比如，假设得到的多房间平面轮廓的天花板轮廓是个矩形，假设其长为H、宽为W，则可以将其长与宽分别划分为N个间隔，可得到总共N*N个插值点。然后，可选择该矩形的某个顶点(假设该顶点的三维点坐标为(x,y,z))作为原点，则可以得到这 N*N个点的坐标依次为(x+H/N,y,z),(x+2*H/N,y,z)…(x,y+W/N,z) (x,y+2*W/N,z),…(x+H/N,y+W/N,z)…)。由此可见，在三维点插值之后，得到轮廓内部的密集三维点坐标。
请注意，上面是为了便于理解起见而给出了一个三维点插值的具体例子，实际上，本发明可用的三维点插值的方法可以有很多，并不限于该例子。
另外，例如，具体的投影方法可以如下。假定插值后的三维点坐标为 (xi，yi，zi}，其投影到全景图像上的经纬度为(θi，φi)，则该投影公式可以用如下的公式4表示：
Figure GDA0003310311870000141
由该公式得到经纬度后，再根据公式1即可得到该三维点在全景图像平面的坐标，该点处的颜色值即可作为该三维点的纹理。
对于大多数场景来说，天花板的轮廓与地板的轮廓可假定为平行且相同。因此，利用上述获取的校正后的每个房间的天花板平面轮廓，再加上在上面得到的相机距离地板的估计高度hf’，同样通过公式2即可生成多房间地板平面轮廓的三维点。
这里，地板的平面轮廓的形状假定是跟天花板一样的，也就是水平面的三维坐标x和z是一样的，不同之处在于高度，即垂直方向的y值(比如天花板的平面轮廓是在相机的上方，地板是在相机的下方，所以高度不同)。因此，只需将在上述得到的天花板轮廓的三维点坐标中的y值(相机距离天花板的估计高度hc’)替换为相机距离地板的估计高度hf’即可。
与天花板平面轮廓的三维点插值类似地，对于地板平面轮廓，在内部进行三维点插值，然后利用公式4投影到相应全景图像中，以便获取地板纹理。
然后，连接天花板轮廓和地板轮廓之间相同平面位置上的三维顶点，可构成多个墙面的平面轮廓，同样地，对于这些平面轮廓内部进行三维点插值，然后利用公式4投影到相应全景图像中，以便获取墙面的纹理。
由此，可生成完整房屋的3D纹理模型。
通过本发明的上述三维对象建模方法，能够有效提高所生成的模型的分辨率和准确性。
而且，需要指出，上面这些是为了便于理解和描述起见，以房屋建模为例对本发明的基于图像来进行建模的方法进行了说明，实际上，本发明不应仅限于房屋建模的应用场景，而是能够适用于各种基于图像来进行建模的场景，本发明实际上是提供了一种创新的综合性的图像处理方案。
图3给出了根据本发明的一个示例性实施例的三维对象建模设备的示意性框图。
如图3所示，根据本发明的一个示例性实施例的三维对象建模设备100 可以包括平面轮廓提取装置110、尺度归一化装置120、多轮廓拼接装置 130。
其中，平面轮廓提取装置110可以被配置用于针对为待建模的至少一个三维对象拍摄的至少一幅全景图像，提取每幅全景图像的在三维空间中的平面轮廓。
这里，如上所述，每幅全景图像是针对一个三维对象拍摄的，每个三维对象对应于一幅或多幅全景图像。
尺度归一化装置120可以被配置用于将相机位置的尺度与每幅全景图像的在三维空间中的平面轮廓的尺度进行归一化，得到经过归一化的各全景图像的在三维空间中的平面轮廓。
多对象拼接装置130可以被配置用于基于相机位置，对经过尺度归一化的各全景图像的在三维空间中的平面轮廓的三维点坐标进行旋转和平移操作，以将这些三维点坐标统一到同一个坐标系中，从而将各全景图像的在三维空间中的平面轮廓拼接成多对象平面轮廓。
其中，可选地，上述的相机位置可以是预先确定的。
或者，上述的相机位置也可以是通过以下方式估计得到的：
1)利用为待处理的至少一个三维对象拍摄的至少一幅全景图像的几何关系，进行这些全景图像之间的特征点匹配，并记录这些全景图像中互相匹配的特征点作为匹配特征点；以及
2)通过对于每幅全景图像，减小该全景图像上的匹配特征点的重投影误差，来得到拍摄每幅全景图像时的相机位置、以及该全景图像上的匹配特征点的三维点坐标。
这里，在相机位置是估计得到的情况下，可以将估计相机位置时得到的所述至少一幅全景图像上的所有三维点坐标中的高度值从小到大排序，取排序靠前的高度值的中值或者均值作为统一的特定类别轮廓估计高度hc’；以及利用特定类别轮廓假定高度hc与特定类别轮廓估计高度hc’的比值，从所述每幅全景图像的在三维空间中的平面轮廓生成经过归一化的各全景图像的在三维空间中的平面轮廓。
其中，这里的相机假定高度hc(即，相机距离天花板的假定高度)是任意假定的一个高度。
另外，在相机位置是预先确定的相机确定高度hc’的情况下，可以利用在平面轮廓提取步骤S110中假定的相机假定高度hc与相机确定高度hc’的比值，从所述每幅全景图像的在三维空间中的平面轮廓生成经过归一化的各全景图像的在三维空间中的平面轮廓。同样，这里的相机假定高度hc(即，相机距离天花板的假定高度)也是任意假定的一个高度。
可选地，该三维对象建模设备100还包括单对象平面轮廓生成装置 125，其被配置用于：
对于所述至少一幅全景图像，通过以下方式、逐个地确定其中是否有多幅全景图像属于同一个三维对象：如果两幅全景图像之间有多于特定比例的匹配特征点，则确定这两幅全景图像属于同一个三维对象；以及
如果确定多幅全景图像属于同一个三维对象，则取该多幅全景图像的在三维空间中的平面轮廓的并集，作为该三维对象的在三维空间中的平面轮廓。
另外，可选地，所述多对象拼接装置130还被配置用于能够基于各单个三维对象的在三维空间中的平面轮廓，拼接得到在三维空间中的多对象平面轮廓。
另外，可选地，所述多对象拼接装置130可以通过如下的坐标变换，来实现多平面轮廓的拼接：
假设所有的全景图像的在三维空间的平面轮廓共有N个，第n个平面轮廓的第p个三维点表示为
Figure GDA0003310311870000171
该第n个平面轮廓对应的全景图像被拍摄时的相机位置表示为{Rn，tn}，其中Rn为用于表示该相机位置的旋转参数的旋转矩阵，tn为用于表示该相机位置的平移参数的平移向量，其中N为大于1的整数，n 为大于等于1的整数。此时，可以选定第i个平面轮廓对应的全景图像被拍摄时的相机位置作为参考坐标系，可通过如下的公式将其它平面轮廓的三维点统一到该坐标系下：
Figure GDA0003310311870000172
将除第i个平面轮廓外的所有的经过尺度归一化的平面轮廓的三维点通过该公式进行转换，以将所有平面轮廓的三维点统一到同一坐标系下，从而将各全景图像的在三维空间中的平面轮廓拼接成多对象平面轮廓。
另外，可选地，该三维对象建模设备100还可以包括多对象轮廓优化装置135，其被配置用于计算多对象平面轮廓中，两个单对象平面轮廓的相邻边之间的距离，若该距离非零且小于特定阈值，则将该两个单对象平面轮廓进行偏移，以使该相邻边的距离变为零。
另外，可选地，该三维对象建模设备100还可以包括3D模型生成装置140，其被配置用于将拼接得到的在三维空间中的多对象平面轮廓转化为多对象3D模型。
这里，上述的三维对象建模设备100的各装置110、120、125、130、135、 140等分别与在上面详细描述的步骤S110、S120、S125、S140、S145、S150 等相对应，在此不再赘述。
由此，通过本发明的上述三维对象建模设备，能够有效提高所生成的模型的分辨率和准确性。
而且，需要指出，上面这些是为了便于理解和描述起见，以房屋建模为例对本发明的基于图像来进行建模的技术方案进行了说明，实际上，本发明不应仅限于房屋建模的应用场景，而是能够适用于各种基于图像来进行三维对象建模的场景，本发明实际上是提供了一种创新的综合性的图像处理方案。
图4给出了根据本发明的一个示例性实施例的图像处理装置的示意性框图。
参见图4，该图像处理装置1包括存储器10和处理器20。
处理器20可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器20可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器20可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。
存储器10上存储有可执行代码，当所述可执行代码被所述处理器20 执行时，使所述处理器20执行上面描述的方法之一。其中，存储器10可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器20或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器10可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器10可以包括可读和/ 或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图等等显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (20)

1.一种三维对象建模方法，其特征在于，所述三维对象建模方法包括：
平面轮廓提取步骤，其中，针对为待处理的至少一个三维对象中每个三维对象拍摄的至少两幅全景图像，提取每幅全景图像的在三维空间中的平面轮廓，其中，每幅全景图像是针对一个三维对象拍摄的，每个三维对象对应于多幅全景图像；
尺度归一化步骤，其中，基于相机位置，将每幅全景图像的在三维空间中的平面轮廓的尺度进行归一化，得到经过归一化的各全景图像的在三维空间中的平面轮廓；以及
多对象拼接步骤，其中，基于相机位置，对经过尺度归一化的各全景图像的在三维空间中的平面轮廓的三维点坐标进行旋转和平移操作，以将所述三维点坐标统一到同一个坐标系中，从而将各三维对象的平面轮廓拼接成多对象平面轮廓。
2.如权利要求1所述的三维对象建模方法，其特征在于，所述相机位置是预先确定的或者是通过以下方式估计得到的：
利用为待处理的至少一个三维对象中每个三维对象拍摄的至少两幅全景图像的几何关系，进行所述全景图像之间的特征点匹配，并记录所述全景图像中互相匹配的特征点作为匹配特征点；以及
通过对于每幅全景图像，减小所述全景图像上的匹配特征点的重投影误差，来得到拍摄每幅全景图像时的相机位置、以及每幅全景图像上的匹配特征点的三维点坐标。
3.如权利要求2所述的三维对象建模方法，其特征在于，尺度归一化步骤包括：
在相机位置是估计得到的情况下，
将估计相机位置时得到的所述每个三维对象的至少两幅全景图像上的所有三维点坐标中的高度值从小到大排序，取排序靠前的高度值的中值或者均值作为统一的特定类别轮廓估计高度hc’；以及
利用特定类别轮廓假定高度hc与特定类别轮廓估计高度hc’的比值，从所述每幅全景图像的在三维空间中的平面轮廓生成经过归一化的各全景图像的在三维空间中的平面轮廓，
其中，特定类别轮廓假定高度hc是任意假定的一个高度；
其中，所述特定类别轮廓是所述全景图像中对象的顶部的平面轮廓。
4.如权利要求2所述的三维对象建模方法，其特征在于，尺度归一化步骤包括：
在相机位置是预先确定的相机确定高度hc’的情况下，
利用在平面轮廓提取步骤中假定的相机假定高度hc与相机确定高度hc’的比值，从所述每幅全景图像的在三维空间中的平面轮廓生成经过归一化的各全景图像的在三维空间中的平面轮廓，
其中，相机假定高度hc是任意假定的一个高度。
5.如权利要求1所述的三维对象建模方法，其特征在于，在所述尺度归一化步骤之后，还包括单对象平面轮廓生成步骤，包括：
对于至少两幅全景图像，通过以下方式、逐个地确定其中是否有多幅全景图像属于同一个三维对象：如果两幅全景图像之间有多于特定比例的匹配特征点，则确定这两幅全景图像属于同一个三维对象；以及
如果确定多幅全景图像属于同一个三维对象，则对于由所述多幅全景图像得到的同一个三维对象的各平面轮廓，取所述同一个三维对象的所有平面轮廓的并集，作为所述三维对象的在三维空间中的平面轮廓。
6.如权利要求5所述的三维对象建模方法，其特征在于，在所述多对象拼接步骤，还能够基于各单个三维对象的在三维空间中的平面轮廓，拼接得到在三维空间中的多对象平面轮廓。
7.如权利要求1所述的三维对象建模方法，其特征在于，多对象拼接步骤包括：
假设所有的全景图像的在三维空间的平面轮廓共有N个，第n个平面轮廓的第p个三维点表示为
Figure FDA0003310311860000021
所述第n个平面轮廓对应的全景图像被拍摄时的相机位置表示为{Rn，tn}，其中Rn为用于表示所述相机位置的旋转参数的旋转矩阵，tn为用于表示所述相机位置的平移参数的平移向量，其中N为大于1的整数，n为大于等于1的整数，
选定第i个平面轮廓对应的全景图像被拍摄时的相机位置作为参考坐标系，可通过如下的公式将其它平面轮廓的三维点统一到所述参考坐标系下：
Figure FDA0003310311860000031
将除第i个平面轮廓外的所有的经过尺度归一化的平面轮廓的三维点通过所述公式进行转换，以将所有平面轮廓的三维点统一到同一坐标系下，从而将各对象的平面轮廓拼接成多对象平面轮廓。
8.如权利要求7所述的三维对象建模方法，其特征在于，所述三维对象建模方法还包括：
多对象轮廓优化步骤，其中，计算多对象轮廓中，两个单对象轮廓的相邻边之间的距离，若所述距离非零且小于特定阈值，则将所述两个单对象轮廓进行偏移，以使所述相邻边的距离变为零。
9.如权利要求1～8中的任何一项所述的三维对象建模方法，其特征在于，所述三维对象建模方法还包括：
3D模型生成步骤，其中，在多对象拼接步骤之后，将拼接得到的在三维空间中的多对象平面轮廓转化为多对象3D模型。
10.一种三维对象建模设备，其特征在于，所述三维对象建模设备包括：
平面轮廓提取装置，被配置用于针对为待处理的至少一个三维对象中每个三维对象拍摄的至少两幅全景图像，提取每幅全景图像的在三维空间中的平面轮廓，其中，每幅全景图像是针对一个三维对象拍摄的，每个三维对象对应于多幅全景图像；
尺度归一化装置，被配置用于基于相机位置，将每幅全景图像的在三维空间中的平面轮廓的尺度进行归一化，得到经过归一化的各全景图像的在三维空间中的平面轮廓；以及
多对象拼接装置，被配置用于基于相机位置，对经过尺度归一化的各全景图像的在三维空间中的平面轮廓的三维点坐标进行旋转和平移操作，以将所述三维点坐标统一到同一个坐标系中，从而将各三维对象的平面轮廓拼接成多对象平面轮廓。
11.如权利要求10所述的三维对象建模设备，其特征在于，所述相机位置是预先确定的或者是通过以下方式估计得到的：
利用为待处理的至少一个三维对象中每个三维对象拍摄的至少两幅全景图像的几何关系，进行所述全景图像之间的特征点匹配，并记录所述全景图像中互相匹配的特征点作为匹配特征点；以及
通过对于每幅全景图像，减小所述全景图像上的匹配特征点的重投影误差，来得到拍摄每幅全景图像时的相机位置、以及每幅全景图像上的匹配特征点的三维点坐标。
12.如权利要求11所述的三维对象建模设备，其特征在于，尺度归一化装置还被配置用于：
在相机位置是估计得到的情况下，
将估计相机位置时得到的所述每个三维对象的至少两幅全景图像上的所有三维点坐标中的高度值从小到大排序，取排序靠前的高度值的中值或者均值作为统一的特定类别轮廓估计高度hc’；以及
利用特定类别轮廓假定高度hc与特定类别轮廓估计高度hc’的比值，从所述每幅全景图像的在三维空间中的平面轮廓生成经过归一化的各全景图像的在三维空间中的平面轮廓，
其中，特定类别轮廓假定高度hc是任意假定的一个高度；
其中，所述特定类别轮廓是所述全景图像中对象的顶部的平面轮廓。
13.如权利要求11所述的三维对象建模设备，其特征在于，尺度归一化装置还被配置用于：
在相机位置是预先确定的相机确定高度hc’的情况下，
利用在平面轮廓提取步骤中假定的相机假定高度hc与相机确定高度hc’的比值，从所述每幅全景图像的在三维空间中的平面轮廓生成经过归一化的各全景图像的在三维空间中的平面轮廓，
其中，相机假定高度hc是任意假定的一个高度。
14.如权利要求10所述的三维对象建模设备，其特征在于，还包括：单对象平面轮廓生成装置，被配置用于：
对于至少两幅全景图像，通过以下方式、逐个地确定其中是否有多幅全景图像属于同一个三维对象：如果两幅全景图像之间有多于特定比例的匹配特征点，则确定这两幅全景图像属于同一个三维对象；以及
如果确定多幅全景图像属于同一个三维对象，则对于由所述多幅全景图像得到的同一个三维对象的各平面轮廓，取所述同一个三维对象的所有平面轮廓的并集，作为所述三维对象的平面轮廓。
15.如权利要求14所述的三维对象建模设备，其特征在于，所述多对象拼接装置还被配置用于能够基于各单个三维对象的在三维空间中的平面轮廓，拼接得到在三维空间中的多对象平面轮廓。
16.如权利要求10所述的三维对象建模设备，其特征在于，多对象拼接装置还被配置用于：
假设所有的全景图像的在三维空间的平面轮廓共有N个，第n个平面轮廓的第p个三维点表示为
Figure FDA0003310311860000051
所述第n个平面轮廓对应的全景图像被拍摄时的相机位置表示为{Rn，tn}，其中Rn为用于表示所述相机位置的旋转参数的旋转矩阵，tn为用于表示所述相机位置的平移参数的平移向量，其中N为大于1的整数，n为大于等于1的整数，
选定第i个平面轮廓对应的全景图像被拍摄时的相机位置作为参考坐标系，可通过如下的公式将其它平面轮廓的三维点统一到所述参考坐标系下：
Figure FDA0003310311860000052
将除第i个平面轮廓外的所有的经过尺度归一化的平面轮廓的三维点通过所述公式进行转换，以将所有平面轮廓的三维点统一到同一坐标系下，从而将各对象的平面轮廓拼接成多对象平面轮廓。
17.如权利要求16所述的三维对象建模设备，其特征在于，所述三维对象建模设备还包括：
多对象轮廓优化装置，被配置用于计算多对象轮廓中，两个单对象轮廓的相邻边之间的距离，若所述距离非零且小于特定阈值，则将所述两个单对象轮廓进行偏移，以使所述相邻边的距离变为零。
18.如权利要求10～17中的任何一项所述的三维对象建模设备，其特征在于，所述三维对象建模设备还包括：
3D模型生成装置，被配置用于将拼接得到的在三维空间中的多对象平面轮廓转化为多对象3D模型。
19.一种图像处理装置，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1～9中任何一项所述的方法。
20.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行如权利要求1～9中任何一项所述的方法。
CN202010574080.7A 2019-04-12 2019-04-12 三维对象建模方法与设备、图像处理装置及介质 Active CN111862179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010574080.7A CN111862179B (zh) 2019-04-12 2019-04-12 三维对象建模方法与设备、图像处理装置及介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010574080.7A CN111862179B (zh) 2019-04-12 2019-04-12 三维对象建模方法与设备、图像处理装置及介质
CN201910295558.XA CN110490916B (zh) 2019-04-12 2019-04-12 三维对象建模方法与设备、图像处理装置及介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910295558.XA Division CN110490916B (zh) 2019-04-12 2019-04-12 三维对象建模方法与设备、图像处理装置及介质

Publications (2)

Publication Number Publication Date
CN111862179A CN111862179A (zh) 2020-10-30
CN111862179B true CN111862179B (zh) 2022-02-18

Family

ID=68545802

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910295558.XA Active CN110490916B (zh) 2019-04-12 2019-04-12 三维对象建模方法与设备、图像处理装置及介质
CN202010574080.7A Active CN111862179B (zh) 2019-04-12 2019-04-12 三维对象建模方法与设备、图像处理装置及介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910295558.XA Active CN110490916B (zh) 2019-04-12 2019-04-12 三维对象建模方法与设备、图像处理装置及介质

Country Status (1)

Country Link
CN (2) CN110490916B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020256662B2 (en) 2019-04-12 2023-05-18 Beijing Chengshi Wanglin Information Technology Co., Ltd. Three-dimensional object modeling method, image processing method, and image processing device
CN111127357B (zh) * 2019-12-18 2021-05-04 北京城市网邻信息技术有限公司 户型图处理方法、系统、装置和计算机可读存储介质
CN111127655B (zh) * 2019-12-18 2021-10-12 北京城市网邻信息技术有限公司 房屋户型图的构建方法及构建装置、存储介质
CN111177837B (zh) * 2019-12-30 2023-08-22 北京禹数技术有限公司 基于三维建筑模型的数据处理方法、装置和电子设备
CN111369424A (zh) * 2020-02-10 2020-07-03 北京城市网邻信息技术有限公司 生成目标房屋的三维空间的方法、装置、设备、存储介质
CN111308495B (zh) * 2020-03-13 2022-03-08 厦门知本家科技有限公司 一种雷达测距生成室内户型3d数据的方法
CN111984172A (zh) * 2020-07-15 2020-11-24 北京城市网邻信息技术有限公司 一种家具移动方法及装置
CN112055192B (zh) * 2020-08-04 2022-10-11 北京城市网邻信息技术有限公司 图像处理方法、图像处理装置、电子设备及存储介质
CN111985036B (zh) * 2020-08-27 2021-11-09 贝壳找房(北京)科技有限公司 户型框线图绘制方法和装置、存储介质、电子设备
CN112070782B (zh) * 2020-08-31 2024-01-09 腾讯科技（深圳）有限公司 识别场景轮廓的方法、装置、计算机可读介质及电子设备
CN112419383B (zh) * 2020-10-30 2023-07-28 中山大学 一种深度图的生成方法、装置及存储介质
CN112581632B (zh) * 2020-12-21 2022-05-17 北京城市网邻信息技术有限公司 一种房源数据的处理方法和装置
CN113781664B (zh) * 2021-11-09 2022-01-25 四川省交通勘察设计研究院有限公司 基于三维模型的vr全景图构造显示方法、系统及终端
CN115330939A (zh) * 2022-08-08 2022-11-11 如你所视(北京)科技有限公司 户型图生成方法、装置、电子设备和存储介质
CN115861039B (zh) * 2022-11-21 2023-07-25 北京城市网邻信息技术有限公司 信息展示方法、装置、设备及介质
CN115712943B (zh) * 2022-11-24 2024-01-30 中国建筑设计研究院有限公司 一种基于图像识别的乡村住宅户型平面生成方法和系统
CN117057018B (zh) * 2023-08-21 2024-04-05 广州珠江装修工程有限公司 一种基于bim的室内装修设计管理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646394A (zh) * 2013-11-26 2014-03-19 福州大学 一种基于Kinect摄像机的混合视觉系统标定方法
CN106204595A (zh) * 2016-07-13 2016-12-07 四川大学 一种基于双目摄像机的机场场面三维全景监视方法
CN106960442A (zh) * 2017-03-01 2017-07-18 东华大学 基于单目红外的夜间机器人视觉大视场三维构建方法
CN108288292A (zh) * 2017-12-26 2018-07-17 中国科学院深圳先进技术研究院 一种三维重建方法、装置及设备
CN108717728A (zh) * 2018-07-19 2018-10-30 安徽中科智链信息科技有限公司 一种基于多视角深度摄像机的三维重建装置及方法
CN109587304A (zh) * 2019-01-04 2019-04-05 Oppo广东移动通信有限公司 电子设备和移动平台

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6895126B2 (en) * 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location
US9324184B2 (en) * 2011-12-14 2016-04-26 Microsoft Technology Licensing, Llc Image three-dimensional (3D) modeling
US10021295B1 (en) * 2013-06-03 2018-07-10 Amazon Technologies, Inc. Visual cues for managing image capture
CN103593678B (zh) * 2013-10-16 2016-09-28 长安大学 一种大跨度桥梁车辆动态荷载分布检测方法
KR20150138510A (ko) * 2014-05-29 2015-12-10 주식회사 포토토이닷컴 펼침이 용이한 스티치 앨범의 제작방법
CN104123747B (zh) * 2014-07-17 2017-10-27 北京毛豆科技有限公司 多方式触控三维建模方法和系统
CN104318604A (zh) * 2014-10-21 2015-01-28 四川华雁信息产业股份有限公司 一种3d图像拼接方法及装置
CN104809689B (zh) * 2015-05-15 2018-03-30 北京理工大学深圳研究院 一种基于轮廓的建筑物点云模型底图配准方法
CN108510537B (zh) * 2017-02-28 2020-06-12 深圳市掌网科技股份有限公司 3d建模方法和装置
CN107610222A (zh) * 2017-09-12 2018-01-19 北京市地震局 一种城市建筑物三维自动建模与可视化方法
CN109598783A (zh) * 2018-11-20 2019-04-09 西南石油大学 一种房间3d建模方法及家具3d预览系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646394A (zh) * 2013-11-26 2014-03-19 福州大学 一种基于Kinect摄像机的混合视觉系统标定方法
CN106204595A (zh) * 2016-07-13 2016-12-07 四川大学 一种基于双目摄像机的机场场面三维全景监视方法
CN106960442A (zh) * 2017-03-01 2017-07-18 东华大学 基于单目红外的夜间机器人视觉大视场三维构建方法
CN108288292A (zh) * 2017-12-26 2018-07-17 中国科学院深圳先进技术研究院 一种三维重建方法、装置及设备
CN108717728A (zh) * 2018-07-19 2018-10-30 安徽中科智链信息科技有限公司 一种基于多视角深度摄像机的三维重建装置及方法
CN109587304A (zh) * 2019-01-04 2019-04-05 Oppo广东移动通信有限公司 电子设备和移动平台

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A preliminary study for determination of three-dimensional root apex position of the maxillary teeth using camera calibration technology;Hyun Jun Oh et al.;《British Institute of Radiology》;20151231;第1-7页 *
由稀疏至稠密的多图像3D重建的实现;钟向阳;《嘉应学院学报（自然科学）》;20160831;第34卷(第8期);第28-33页 *

Also Published As

Publication number Publication date
CN110490916B (zh) 2020-07-17
CN111862179A (zh) 2020-10-30
CN110490916A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN111862179B (zh) 三维对象建模方法与设备、图像处理装置及介质
CN110675314B (zh) 图像处理和三维对象建模方法与设备、图像处理装置及介质
CN110490967B (zh) 图像处理和对象建模方法与设备、图像处理装置及介质
WO2020207512A1 (zh) 三维对象建模方法、图像处理方法、图像处理装置
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
US10916033B2 (en) System and method for determining a camera pose
US9858670B2 (en) Information processing apparatus and method thereof
US10846844B1 (en) Collaborative disparity decomposition
Schönbein et al. Omnidirectional 3d reconstruction in augmented manhattan worlds
US20190012804A1 (en) Methods and apparatuses for panoramic image processing
Willi et al. Robust geometric self-calibration of generic multi-projector camera systems
CN112055192B (zh) 图像处理方法、图像处理装置、电子设备及存储介质
US9147279B1 (en) Systems and methods for merging textures
Banno et al. Omnidirectional texturing based on robust 3D registration through Euclidean reconstruction from two spherical images
CN113345063B (zh) 基于深度学习的pbr三维重建方法、系统与计算机存储介质
Pagani et al. Dense 3D Point Cloud Generation from Multiple High-resolution Spherical Images.
US20200286205A1 (en) Precise 360-degree image producing method and apparatus using actual depth information
JP2002092597A (ja) 画像処理方法及び装置
Noris Multi-view light source estimation for automated industrial quality control
Dib et al. A real time visual SLAM for RGB-D cameras based on chamfer distance and occupancy grid
Schmitz et al. Automatic co-registration of aerial imagery and untextured model data utilizing average shading gradients
Kim et al. Projection-based registration using color and texture information for virtual environment generation
CN116128978A (zh) 一种激光雷达-相机外参自标定方法及装置
CN115619859A (zh) 基于已有地图的稠密三维场景重建方法及系统
Lee et al. Robust computer vision techniques for high-quality 3d modeling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant