CN111862301B - 图像处理和对象建模方法与设备、图像处理装置及介质 - Google Patents

图像处理和对象建模方法与设备、图像处理装置及介质 Download PDF

Info

Publication number
CN111862301B
CN111862301B CN202010574085.XA CN202010574085A CN111862301B CN 111862301 B CN111862301 B CN 111862301B CN 202010574085 A CN202010574085 A CN 202010574085A CN 111862301 B CN111862301 B CN 111862301B
Authority
CN
China
Prior art keywords
dimensional
panoramic
contour
image
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010574085.XA
Other languages
English (en)
Other versions
CN111862301A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Chengshi Wanglin Information Technology Co Ltd
Original Assignee
Beijing Chengshi Wanglin Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chengshi Wanglin Information Technology Co Ltd filed Critical Beijing Chengshi Wanglin Information Technology Co Ltd
Priority to CN202010574085.XA priority Critical patent/CN111862301B/zh
Publication of CN111862301A publication Critical patent/CN111862301A/zh
Application granted granted Critical
Publication of CN111862301B publication Critical patent/CN111862301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了图像处理和对象建模方法与设备、图像处理装置及介质。该图像处理方法包括：利用拍摄的至少一幅全景图像的几何关系，估计相机的位置、以及该全景图像上的匹配特征点的三维点坐标；对于每幅全景图像，基于该全景图像上的、特征轮廓属于特定类别的像素点中的边缘像素点所围成的轮廓，生成该全景图像的在三维空间中的平面轮廓；以及将拍摄每幅全景图像时的全景相机的位置的尺度和每幅全景图像的三维空间中的平面轮廓的尺度进行归一化。通过利用全景相机拍摄的全景图像，生成三维对象在三维空间中的平面轮廓乃至生成三维对象的3D模型，能够有效提高所生成的对象模型的分辨率。

Description

图像处理和对象建模方法与设备、图像处理装置及介质
技术领域
本发明涉及对象建模领域，尤其涉及图像处理和对象建模方法与设备、图像处理装置及介质。
背景技术
在对象建模领域，如何使得生成的对象模型具有高分辨率和/或高准确度是业界极力追求的目标。
对象建模可以实现用户足不出户(例如通过网络)即可浏览三维对象的2D和/或3D结构，并且，对象的3D建模可实现如同身临其境的效果，这在虚拟现实领域是一项非常重要的应用。
在对象建模领域，尤其是2D和3D建模领域，国内外的技术方案主要分为两大类：手动制作和自动化建模。
对于手动制作的方法，需要依赖大量的人工操作，对于对象的三维结构进行标识，并手动进行多个对象模型之间的拼接。手动制作一套三维对象的3D模型需要较长时间，因此大量的三维对象数据需要众多的人员来手动制作，人员成本过高，很难实际应用。
对于自动化3D建模的方法，目前大多数采用专业的3D扫描设备，可以直接获取单个对象的三维点云，然后进行三维点云的拼接，生成3D模型。但是，这种专业的3D扫描设备的图像采集设备精度不高，导致捕获的图像分辨率不高，致使生成的三维模型的分辨率不够高。而且，这种3D扫描设备通常价格昂贵，很难满足消费级应用的需求。
因此，如何得到高分辨率的采集图像，如何高效地处理采集的图像以便为对象建模提供高分辨率的建模准备数据、甚至如何使得提供的数据能够简化后续的模型生成过程，如何有效地提高所生成的对象模型的分辨率和/或准确性是本发明考虑要解决的技术问题。
发明内容
为了解决以上问题之一，本发明提供了一种图像处理和对象建模方法与设备、图像处理装置及介质。
根据本发明的一个实施例，提供一种图像处理方法，该图像处理方法包括：相机位置估计步骤，其中，利用拍摄的至少一幅全景图像的几何关系，估计在拍摄每幅全景图像时的全景相机的位置、以及每幅全景图像上的匹配特征点的三维点坐标，其中，每幅全景图像是针对一个三维对象拍摄的，每个三维对象对应于一幅或多幅全景图像；单图像平面轮廓生成步骤，其中，对于每幅全景图像，基于所述全景图像上的、轮廓特征属于特定类别的像素点中的边缘像素点所围成的轮廓，生成所述全景图像的在三维空间中的平面轮廓；以及尺度归一化步骤，其中，将所估计的在拍摄每幅全景图像时的全景相机的位置的尺度和每幅全景图像的在三维空间中的平面轮廓的尺度进行归一化，得到经过归一化的各全景图像的在三维空间中的平面轮廓。
可选地，相机位置估计步骤包括：利用拍摄的至少一幅全景图像的几何关系，进行所述全景图像之间的特征点匹配，并记录所述全景图像中互相匹配的特征点作为匹配特征点；以及通过对于每幅全景图像，减小所述全景图像上的匹配特征点的重投影误差，来得到拍摄每幅全景图像时的相机位置、以及所述全景图像上的匹配特征点的三维点坐标。
可选地，单图像平面轮廓生成步骤包括：基于全景图像上的像素点之间的特征相似度，确定所述全景图像上的、轮廓特征属于特定类别的像素点中的所述边缘像素点，其中，两个像素点的特征相似度为所述两个像素点的特征之差的绝对值，所述像素点的特征包括灰度、颜色。
可选地，尺度归一化步骤包括：将在相机位置估计步骤得到的所述至少一幅全景图像上的所有三维点坐标中的高度值从小到大排序，取排序靠前的高度值的中值或者均值作为特定类别轮廓估计高度hc’；以及利用特定类别轮廓假定高度hc与特定类别轮廓估计高度hc’的比值，从所述每幅全景图像的在三维空间中的平面轮廓，生成经过归一化的各全景图像的在三维空间中的平面轮廓，其中，所述特定类别轮廓假定高度hc是任意假定的一个高度。
根据本发明的一个实施例，提供一种对象建模方法，该对象建模方法包括：图像处理步骤，其中，使用如上所述的图像处理方法之一，对至少一幅全景图像进行图像处理，以得到经过归一化的各全景图像的在三维空间中的平面轮廓；以及多对象拼接步骤，其中，基于所述经过归一化的各全景图像的在三维空间中的平面轮廓，拼接得到多对象平面轮廓。
可选地，该三维对象建模方法还包括：单对象平面轮廓生成步骤，其中，基于所述图像处理步骤中得到的经过归一化的各全景图像的平面轮廓，得到各单个三维对象的在三维空间中的平面轮廓。
可选地，单对象平面轮廓生成步骤包括：对于所述至少一幅全景图像，通过以下方式、逐个地确定其中是否有多幅全景图像属于同一个三维对象：如果两幅全景图像之间有多于特定比例的匹配特征点，则确定这两幅全景图像属于同一个三维对象；以及如果确定多幅全景图像属于同一个三维对象，则对于由所述多幅全景图像得到的同一个三维对象的各平面轮廓，取这些平面轮廓的并集，作为所述三维对象的平面轮廓。
可选地，在所述多对象拼接步骤，还能够基于各全景图像的在三维空间中的平面轮廓，拼接得到在三维空间中的多对象平面轮廓。
可选地，该对象建模方法还包括：3D模型生成步骤，其中，在多对象拼接步骤之后，将拼接得到的在三维空间中的多对象平面轮廓转化为对象3D模型。
可选地，3D模型生成步骤包括：将拼接得到的多对象平面轮廓中的顶部平面轮廓在内部进行三维点插值，并将得到的各顶部平面轮廓上的所有三维点坐标投影到相应的全景图像坐标系中，以获取顶部纹理；将拼接得到的多对象平面轮廓中的底部平面轮廓在内部进行三维点插值，并将得到的各底部平面轮廓上的所有三维点坐标投影到相应的全景图像坐标系中，以获取底部纹理；连接顶部轮廓和底部轮廓之间相同平面位置上的三维顶点，构成支撑部的平面轮廓，并对于所述支撑部的平面轮廓内部进行三维点插值，并将得到的各支撑部的平面轮廓的所有三维点坐标投影到相应的全景图像坐标系中，以便获取支撑部纹理；基于所述顶部纹理、底部纹理、支撑部纹理，生成整个三维对象的3D纹理模型。
可选地，在3D模型生成步骤中，将得到的各三维对象顶部平面轮廓上的所有三维点坐标中的作为所述特定类别轮廓估计高度的hc’、相机距离相应三维对象顶部的估计高度的高度值，替换为相机距离相应三维对象底部的估计高度hf’，并且使得到的各三维对象顶部平面轮廓上的所有三维点坐标中的长度和宽度值保持不变，得到相应的各三维对象底部平面轮廓，其中，所述相机距离相应三维对象顶部的估计高度hc’通过如下方式得到：将在相机位置估计步骤得到的所述至少一幅全景图像上的所有三维点坐标中的高度值从小到大排序，取排序靠前的高度值的中值或者均值作为所述相机距离相应三维对象顶部的估计高度hc’，以及所述相机距离相应三维对象底部的估计高度hf’通过如下方式得到：将在相机位置估计步骤得到的所述至少一幅全景图像上的所有三维点坐标中的高度值从小到大排序，取排序靠后的高度值的中值或者均值作为相机距离相应三维对象底部的估计高度hf’。
根据本发明的一个实施例，提供一种图像处理设备，该图像处理设备包括：相机位置估计装置，被配置用于利用拍摄的至少一幅全景图像的几何关系，估计在拍摄每幅全景图像时的全景相机的位置、以及每幅全景图像上的匹配特征点的三维点坐标，其中，每幅全景图像是针对一个三维对象拍摄的，每个三维对象对应于一幅或多幅全景图像；单图像平面轮廓生成装置，被配置用于对于每幅全景图像，基于所述全景图像上的、轮廓特征属于特定类别的像素点中的边缘像素点所围成的轮廓，生成每幅全景图像的在三维空间中的平面轮廓；以及尺度归一化装置，被配置用于将所估计的在拍摄每幅全景图像时的全景相机的位置的尺度和每幅全景图像的在三维空间中的平面轮廓的尺度进行归一化，得到经过归一化的各全景图像的在三维空间中的平面轮廓。
可选地，单图像平面轮廓生成装置还被配置用于：基于全景图像上的像素点之间的特征相似度，确定所述全景图像上的、轮廓特征属于特定类别的像素点中的边缘像素点，其中，两个像素点的特征相似度为所述两个像素点的特征之差的绝对值，所述像素点的特征包括灰度、颜色。
可选地，尺度归一化装置还被配置用于：将由相机位置估计装置得到的所述至少一幅全景图像上的所有三维点坐标中的高度值从小到大排序，取排序靠前的高度值的中值或者均值作为用作特定类别轮廓估计高度hc’的、相机距离相应三维对象顶部的估计高度hc’；以及利用所述相机距离相应三维对象顶部的假定高度hc与所述相机距离相应三维对象顶部的估计高度hc’的比值，从所述每幅全景图像的在三维空间中的平面轮廓生成经过归一化的各全景图像的平面轮廓，其中，所述相机距离相应三维对象顶部的假定高度hc是任意假定的一个高度。
根据本发明的一个实施例，提供一种对象建模设备，该对象建模设备还包括：如上所述的图像处理设备之一，被配置用于对至少一幅全景图像进行图像处理，以得到经过归一化的各全景图像的在三维空间中的平面轮廓；以及多对象拼接装置，被配置用于基于所述经过归一化的各全景图像的在三维空间中的平面轮廓，拼接得到在三维空间中的多对象平面轮廓。
可选地，该对象建模设备还包括：单对象平面轮廓生成装置，被配置用于基于所述经过归一化的各全景图像的在三维空间中的平面轮廓，得到各三维对象的在三维空间中的平面轮廓。
可选地，单对象平面轮廓生成装置还被配置用于：对于所述至少一幅全景图像，通过以下方式、逐个地确定是否有多幅全景图像属于同一个三维对象：如果两幅全景图像之间有多于特定比例的匹配特征点，则可以判定这两幅全景图像属于同一个三维对象；以及如果确定多幅全景图像属于同一个三维对象，则对于由所述多幅全景图像得到的同一个三维对象的各平面轮廓，取所述平面轮廓的并集，作为所述三维对象的在三维空间中的平面轮廓。
可选地，所述多对象拼接装置还被配置用于基于各单个三维对象的在三维空间中的平面轮廓，拼接得到在三维空间中的多对象平面轮廓。
可选地，该对象建模设备还包括：3D模型生成装置，被配置用于将拼接得到的在三维空间中的多对象平面轮廓转化为三维对象3D模型。
根据本发明的再一个实施例，提供一种图像处理装置，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行上面描述的方法之一。
根据本发明的又一个实施例，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行上面描述的方法之一。
本发明基于使用全景相机从三维对象中拍摄的多张全景图像，进行三维对象的2D建模和3D建模，克服了现有技术中使用3D扫描设备生成三维对象模型导致的模型分辨率不高的缺陷。
在本发明中，通过使用全景相机拍摄房间的全景图像，为对象建模(例如房屋建模等)提供高分辨率的采集图像。
进一步地，在本发明中，采用了高效的图像处理方法，为对象建模(例如房屋建模)提供了高分辨率的建模准备数据，而且，所提供的建模准备数据能够简化后续的模型生成过程。
再进一步地，通过本发明的建模方法，能够有效地提高所生成的模型(例如三维对象的2D和/或3D模型)的分辨率和/或准确性。
而且，本发明不限制建模的应用场景，例如，本发明可以适用于房屋建模、车辆建模等等各种基于图像来进行建模的场景，本发明实际上是提供了一种创新的综合性的图像处理方案。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的附图标记通常代表相同部件。
图1给出了根据本发明的一个示例性实施例的图像处理方法的示意性流程图。
图2给出了根据本发明的一个示例性实施例的图像处理与建模的总体过程的示意性流程图。
图3给出了根据本发明的一个示例性实施例的图像处理设备的示意性框图。
图4给出了根据本发明的一个示例性实施例的自动化的对象建模设备的示意性框图。
图5给出了根据本发明的一个示例性实施例的图像处理装置的示意性框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。这里需要说明的是，本申请中的数字、序号以及附图标记仅是为了方便描述而出现的，对于本发明的步骤、顺序等等均不构成任何限制，除非在说明书中明确指出了步骤的执行有特定的先后顺序。
本发明提供了图像处理方法、图像处理设备、对象建模方法、对象建模设备以及图像处理装置和计算机介质。
首先，在本发明中，采用普通的全景相机来拍摄三维对象的高分辨率全景图像，克服了背景技术中描述的3D扫描相机捕获的图像分辨率不高的缺陷。
然后，利用拍摄的多张全景图像，可以提取单个全景图像的在三维空间中的平面轮廓(可称为“单图像平面轮廓”)。
进一步地，通过尺度归一化，可以实现单图像平面轮廓的尺度与相机位置的尺度之间的统一，生成经过归一化的各单图像平面轮廓，为后续进行对象建模提供高分辨率的并且充分的数据准备，减少后续处理工作的难度。
再进一步地，可以通过对属于同一个三维对象的各单图像平面轮廓的单对象融合，获得准确的单对象平面轮廓。
再进一步地，可以在三维空间中拼接各单图像平面轮廓，得到多对象模型(此时为2D模型)。
另外，可以对多对象模型进行修正，以得到更准确的模型，使得模型展示效果更好。
最后，通过3D模型生成，得到完整的、高分辨率的并且准确的3D模型。
图1给出了根据本发明的一个示例性实施例的图像处理方法的示意性流程图。
下面将先参照图1来介绍根据本发明的一个示例性实施例的图像处理方法，来为后续的建模处理做充分的数据准备，简化后续的处理过程。如图1所示，图像处理过程包括相机位置估计S110、单图像平面轮廓生成S120、尺度归一化S130三个步骤，建模过程可以包括多个后续步骤。
这里，首先简单介绍全景相机。全景相机与普通相机的不同在于，普通相机通常只用一个镜头来拍摄，而全景相机用两个或者两个以上的镜头来拍摄，所以全景相机可以实现360度的拍摄。
根据本发明的一个示例性实施例的图像处理方法可以包括以下步骤。
在相机位置估计步骤S110，利用拍摄的至少一幅全景图像的几何关系，估计在拍摄每幅全景图像时的全景相机的位置以及每幅全景图像上的匹配特征点的三维点坐标。
其中，每幅全景图像是针对一个三维对象拍摄的，每个三维对象对应于一幅或多幅全景图像。
在单图像平面轮廓生成步骤S120，对于每幅全景图像，基于该全景图像上的、轮廓特征属于特定类别的像素点中的边缘像素点所围成的轮廓，生成所述全景图像的在三维空间中的平面轮廓。
由此，在本发明中，可以基于全景图像，自动化地得到该图像的平面轮廓，而无需人工参与制作，并且无需使用昂贵的3D扫描设备。
在尺度归一化步骤S130，将所估计的在拍摄每幅全景图像时的全景相机的位置的尺度和每幅全景图像的在三维空间中的平面轮廓的尺度进行归一化，得到经过归一化的各全景图像的在三维空间中的平面轮廓。
这里，可选地，上述的相机位置估计步骤S110可以包括以下操作：
1)利用拍摄的至少一幅全景图像的几何关系，进行这些全景图像之间的特征点匹配，并记录所述全景图像中互相匹配的特征点作为匹配特征点；以及
2)通过对于每幅全景图像，减小该全景图像上的匹配特征点的重投影误差，来得到拍摄每幅全景图像时的相机位置以及该全景图像上的匹配特征点的三维点坐标。
另外，可选地，上述的单图像平面轮廓生成步骤S120可以包括：基于全景图像上的像素点之间的特征相似度，确定该全景图像上的、轮廓特征属于特定类别的像素点中的边缘像素点。这里，两个像素点的特征相似度可以为这两个像素点的特征之差的绝对值。像素点的特征可以包括例如灰度、颜色等等。
另外，可选地，上述的尺度归一化步骤S130可以包括以下操作：
1)将在相机位置估计步骤得到的至少一幅全景图像上的所有三维点坐标中的高度值从小到大排序，取排序靠前的高度值的中值或者均值作为特定类别轮廓估计高度hc’；以及
2)利用特定类别轮廓假定高度hc与特定类别轮廓估计高度hc’的比值，从每幅全景图像的在三维空间中的平面轮廓，生成经过归一化的各全景图像的在三维空间中的平面轮廓。
其中，上述的特定类别轮廓假定高度hc是可以任意假定的一个高度。
经过上述的图像处理过程，为后续的模型生成提供了高分辨率的基础。而且，通过上述的图像处理过程，为后续的模型生成提供在三维空间中的并且经过归一化的各全景图像的平面轮廓，简化了后续的模型生成工作，减少了处理时间，提高了处理效率。
经过上述的图像处理，为对象建模提供了模型生成所需的平面轮廓数据。
图2给出了根据本发明的一个示例性实施例的图像处理与对象建模的总体过程的示意性流程图。
图2包括上面描述的图像处理部分与接下来将描述的对象建模部分。
下面，将参照图2的对象建模部分来描述根据本发明的一个示例性实施例的对象建模方法。
根据本发明的一个示例性实施例的对象建模过程可以包括如下步骤。
在图像处理步骤，使用如上所述的任意一种图像处理方法，对至少一幅全景图像进行图像处理，以得到经过归一化的各全景图像的在三维空间中的平面轮廓。
在多对象拼接步骤S140，基于上述的经过归一化的各全景图像的在三维空间中的平面轮廓，拼接得到多对象平面轮廓。
另外，可选地，上述的对象建模方法还可以包括单对象平面轮廓生成步骤S135，用于基于上述图像处理步骤中得到的、经过归一化的各全景图像的平面轮廓，得到各单个三维对象的在三维空间中的平面轮廓。
另外，可选地，上述的单对象平面轮廓生成步骤S135可以包括：
1)对于至少一幅全景图像，通过以下方式、逐个地确定其中是否有多幅全景图像属于同一个三维对象：如果两幅全景图像之间有多于特定比例的匹配特征点，则确定这两幅全景图像属于同一个三维对象；以及
2)如果确定多幅全景图像属于同一个三维对象，则对于由这多幅全景图像得到的同一个三维对象的各平面轮廓，取这些平面轮廓的并集，作为该三维对象的平面轮廓。
另外，可选地，在多对象拼接步骤S140，还能够基于各单个三维对象的在三维空间中的平面轮廓，拼接得到在三维空间中的多对象平面轮廓。
即，在本发明中，既可以直接基于各全景图像的在三维空间中的平面轮廓，来拼接得到在三维空间中的多对象平面轮廓；也可以先得到单个三维对象的在三维空间中的平面轮廓，然后基于各单个三维对象的在三维空间中的平面轮廓，来拼接得到在三维空间中的多对象平面轮廓。
另外，可选地，上述的述对象建模方法还可以包括3D模型生成步骤S150，用于在多对象拼接步骤S140之后，将拼接得到的在三维空间中的多对象平面轮廓转化为对象3D模型。
另外，可选地，上述的3D模型生成步骤S150可以包括如下操作：
1)将拼接得到的多对象平面轮廓中的顶部平面轮廓在内部进行三维点插值，并将得到的各顶部平面轮廓上的所有三维点坐标投影到相应的全景图像坐标系中，以获取顶部纹理；
2)将拼接得到的多对象平面轮廓中的底部平面轮廓在内部进行三维点插值，并将得到的各底部平面轮廓上的所有三维点坐标投影到相应的全景图像坐标系中，以获取底部纹理；
3)连接顶部轮廓和底部轮廓之间相同平面位置上的三维顶点，构成支撑部的平面轮廓，并对于所述支撑部的平面轮廓内部进行三维点插值，并将得到的各支撑部的平面轮廓的所有三维点坐标投影到相应的全景图像坐标系中，以便获取支撑部纹理；以及
4)基于所述顶部纹理、底部纹理、支撑部纹理，生成整个三维对象的3D纹理模型。
另外，可选地，在3D模型生成步骤S150中，将得到的各三维对象顶部平面轮廓上的所有三维点坐标中的作为所述特定类别轮廓估计高度的hc’、相机距离相应三维对象顶部的估计高度的高度值，替换为相机距离相应三维对象底部的估计高度hf’，并且使得到的各三维对象顶部平面轮廓上的所有三维点坐标中的长度和宽度值保持不变，得到相应的各三维对象底部平面轮廓。
其中，上述的“相机距离相应三维对象顶部的估计高度hc’”通过如下方式得到：将在相机位置估计步骤得到的所述至少一幅全景图像上的所有三维点坐标中的高度值从小到大排序，取排序靠前的高度值的中值或者均值作为所述相机距离相应三维对象顶部的估计高度hc’。
另外，类似地，上述的“相机距离相应三维对象底部的估计高度hf’”通过如下方式得到：将在相机位置估计步骤得到的所述至少一幅全景图像上的所有三维点坐标中的高度值从小到大排序，取排序靠后的高度值的中值或者均值作为相机距离相应三维对象底部的估计高度hf’。
下面，为了便于理解和描述，将以房屋图像处理和房屋建模为例，来进一步地详细描述本发明的各个处理过程。
在这里给出的示例中，上述的房屋可以包括多个房间，每个房间可以视为一个三维对象，房屋的建模可以视为多个三维对象的建模。例如，可以通过拼接房屋里的作为多个三维对象的多个房间，来构造房屋的整体模型。
对于上述的总体图像处理和对象建模方法中的术语，例如，其中的“顶部”在本示例中可以是房间的“天花板”，“底部”在本例中可以是房间的“地板”，“支撑部”在本例中可以是“墙面”。另外，“轮廓特征属于特定类别的像素点中的边缘像素点所围成的轮廓”在本例中可以指“由属于天花板的像素点中的边缘像素点所围成的天花板轮廓”。“特定类别轮廓估计高度”在本例中可以是“相机到天花板的估计高度”，类似地，“特定类别轮廓假定高度”在本例中可以是“相机到天花板的假定高度”。
在根据本发明的一个示例性实施例的图像处理方法中，基于在房屋内拍摄的至少一幅全景图像(一个全景图像只对应一个房间，但是一个房间内可能拍摄多个全景图像，即一个房间可能对应多个全景图像)，估计拍摄这些图像的全景相机的位置，再基于估计的相机位置，来提取全景图像的平面轮廓，然后对提取的平面轮廓进行归一化，以得到建模所需平面轮廓。
因此，如图1所示，在步骤S110，利用在一个房间内拍摄的至少一幅全景图像的几何关系，估计拍摄这些全景图像的全景相机的位置。
在本发明中，可选地，可以采用基于多视图几何的方法来解决这一问题。
具体地，相机位置估计步骤S110例如可以包括以下操作：
1)进行这些全景图像之间的特征点匹配，并记录这些图像中互相匹配的特征点；以及
2)通过对于每张全景图像，减小该全景图像上的匹配特征点的重投影误差，求出每张全景图像的相机位置和该全景图像上的匹配特征点的三维点坐标。
对于上述的步骤1)，其中，在图像处理技术中，图像特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。图像特征点能够反映图像本质特征，能够标识图像中的目标物体。
如何高效且准确地匹配出两个不同视角的图像中的同一个物体，是许多计算机视觉应用中的第一步。虽然图像在计算机中是以灰度矩阵的形式存在的，但是利用图像的灰度并不能准确地找出两幅图像中的同一个物体。这是由于灰度受光照的影响，并且当图像视角变化后，同一个物体的灰度值也会随之变化。所以，需要找出一种能够在相机进行移动和旋转(视角发生变化)时，仍然能够保持不变的特征，利用这些不变的特征来找出不同视角的图像中的同一个物体。
因此，为了能够更好地进行图像匹配，需要在图像中选择具有代表性的区域，例如：图像中的角点、边缘和一些区块。其中，角点的辨识度最高。在很多计算机视觉处理中，通常提取角点作为特征点，对图像进行匹配，可以使用的方法例如有SFM(Structure FormMotion,运动恢复结构)、SLAM(Simultaneous Localization and Mapping,视觉即时定位与地图构建)等。
但是，单纯的角点并不能很好地满足需求，例如：相机从远处得到的是角点，但是在近处就可能不是角点；或者，当相机旋转后，角点就发生了变化。为此，计算机视觉的研究者们设计了许多更为稳定的特征点，这些特征点不会随着相机的移动、旋转或者光照的变化而变化，可以使用的方法例如有SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)、SURF(Speed Up Robust Features,加速稳健特征)等。
一个图像的特征点由两部分构成：关键点(Keypoint)和描述子(Descriptor)。关键点指的是该特征点在图像中的位置，有些还具有方向、尺度信息；描述子通常是一个向量，描述关键点周围像素的信息。通常，在匹配时，只要两个特征点的描述子在向量空间的距离相近，就可以认为它们是同一个特征点。
特征点的匹配通常需要以下三个步骤：1)提取图像中的关键点；2)根据得到的关键点位置，计算特征点的描述子；3)根据特征点的描述子，进行匹配。
可选地，本步骤中的特征点匹配的相关处理可以使用例如开源计算机视觉库OpenCV来实现。为了简洁和不模糊本发明的主题，本文对于这部分的更详细的处理过程不再赘述。
在进行这些全景图像之间的特征点匹配之后，要记录这些全景图像中互相匹配的特征点(也称为“匹配特征点”)，可以例如按照如下的方式进行匹配特征点的记录。
比如，图像1上的特征点a与图像2上的特征点b是匹配的，图像2上的特征点b又与图像3上的特征点c是匹配的，图像3上的特征点c又与图像4上的特征点d也是匹配的，则可以记录一条特征点匹配数据(a，b，c，d)(也可称为“特征点跟踪轨迹”)。由此，得到输入的这些全景图像中互相匹配的特征点有关的记录数据。
对于上述的步骤2)，其中，图像重投影是指通过对任意视点的参考图像进行投影来产生新的图像，即，图像重投影能够改变已生成的图像的视线方向。
具体而言，在本发明中，图像重投影指的是将图像1上一个特征点p1对应的三维点坐标，通过当前相机参数投影到另外一幅图像2中，在这张图像2上的得到的投影点q2与图像1上的特征点p1在该图像2中的匹配特征点p2之间的位置差，构成重投影误差(Reprojection Error)。其中，图像2中的匹配特征点p2是实际的位置，而经过重投影得到的投影点q2是估计的位置，通过使得投影点q2与匹配特征点p2之间的位置差尽量最小化，即，使得投影点q2与匹配特征点p2尽可能地重合，求解出相机位置。
其中，优化(减小)重投影误差的目标函数中包含的变量包括相机位置和特征点的三维坐标，在逐步减小(优化)重投影误差的过程中，得到相机位置和特征点的三维坐标。
可选地，在本发明中，可以通过结合梯度下降算法和德罗内三角算法(DelaunayTriangulation)，来减小重投影误差，达到优化的目的。
其中，在使用梯度下降算法时，将匹配特征点的三维点坐标当作常量，将相机位置当作变量，反之，在使用德罗内三角算法时，将匹配特征点的三维点坐标当作变量，将相机位置当作常量。
可选地，在本发明中，可以使用渐进式求解，来提高求解的相机位置和三维点坐标的精度，即，在求解过程中，通过每次增加一幅图像的方式来求解它的相机位置和匹配特征点的三维点坐标。其中，渐进式求解的方法包括例如ISFM(Incremental SFM)。
另外，进一步可选地，可以采用集束优化(bundle adjustment)来进一步减小重投影误差。具体地，可以在每张全景图像都执行完减小重投影误差以获得相机位置和三维点坐标的处理之后，最后统一使用集束优化来同时优化所有的相机位置以及所有的三维点坐标。也可以在减小重投影误差以获得相机位置和三维点坐标的处理过程中，在针对任意张全景图像的相机位置和三维点坐标获取之后，添加集束优化的处理，以对获取的相机位置和三维点坐标进行优化。
这里，集束优化指的是同时优化所有相机的位置以及所有的三维点坐标，区别于渐进式求解中分别只优化当前相机位置以及当前图像上的三维点坐标的方式。。
另外，除了上面描述的渐进式求解之外，还可以采用全局式求解的方法。
在步骤S120，基于每幅全景图像上的属于天花板的边缘像素点所围成的轮廓，生成该全景图像的三维空间中的平面轮廓。
由于天花板一定是在相机的上方，在拍摄的全景图像中，最上方的像素点一定是属于天花板。再次，由于属于天花板上的像素点大多数具有相似特征，因此，可以根据像素点的特征相似度，最终得到属于天花板的所有像素点。
例如，首先将全景图像第一行的所有像素点均看作是属于天花板的像素点；对于第二行的每个像素点，计算其与第一行中属于同一列的像素点的特征相似度(这里的特征可采用颜色、灰度等特征；两个像素点的特征相似度例如可以为两个像素点的特征之差(例如灰度之差或颜色之差等)的绝对值等)。如果特征相似度在某个阈值之内(若采用0-255灰度值，阈值例如可设置为10)，则该像素也属于天花板，再继续计算该列上第三行与第二行的相似度、第四行与第三行的相似度…，直到特征相似度超过该阈值，此时的像素点位置即是天花板的边缘像素点。
这些天花板的边缘像素点形成了天花板的边缘，因此，将这些边缘像素点投影到三维空间可形成天花板的平面轮廓。
下面将描述像素点到三维空间的投影。
假定一个全景图像的宽为W，高为H，并且假定得到的天花板的边缘像素点c在图像坐标系下的坐标为(pc，qc)。由于全景图像是由球面投影得到的，因此，在球面坐标系下将其表示为(θc，φc)，其中θc∈[-π，π]为经度，φc∈[-π/2，π/2]为维度。
其中球面坐标系与图像坐标系的关系可通过如下公式1得到：
Figure GDA0003167533300000151
如下公式2是用于将天花板边缘的像素点c在球面坐标系下的坐标(θc，φc)投影到三维平面上的三维点坐标(xc，yc，zc)：
Figure GDA0003167533300000152
在本文中，术语“图像坐标系”指图像像素点所在的坐标系，主要用来描述图像中像素点所在的位置。由此，全景图像坐标系指全景图像的像素点所在的坐标系，主要用来描述全景图像中像素点所在的位置。
请注意，上面仅给出了基于全景图像上的天花板特征点的相似性来生成该全景图像的三维空间中的平面轮廓的一种例子，本发明可以使用的方法不限于该例子。
由于天花板可认为是平面，因此可以认为天花板边缘的各像素点距离相机具有统一的高度，可称为“相机距离天花板的高度”。
这里，由于全景相机一般使用三角架支撑，其高度为固定的，所以也可认为相机距离天花板的高度、相机距离地板的高度是固定的。
对于本步骤得到的三维空间中的平面轮廓，可以给该轮廓上的各三维点假定一个高度值，比如假定相机距离天花板的高度为hc，并且该假定的高度可以为任意的值，比如100(可以通过后续的处理来求出真实的相机距离天花板的高度)。为了避免混淆，下文将这里假定的相机距离天花板的高度hc称为“相机距离天花板的假定高度”hc。
在上面的实施例中，可以基于全景图像，自动化地得到该图像的平面轮廓，而无需人工参与制作，并且无需使用昂贵的3D扫描设备。
在步骤S130，将在步骤S110得到的拍摄每幅全景图像时的相机位置的尺度和在步骤S120得到的全景图像的三维空间平面轮廓的尺度进行归一化。
一方面，由于步骤S110中相机位置估计中的尺度不确定性，因此无法确定相机到天花板轮廓的真实高度。另一方面，步骤S120中得到房间的三维空间平面轮廓时采用的是相机距离天花板的假定高度hc，因此，得到的相机位置的尺度和房间的三维空间平面轮廓的尺度不统一，给后续的房间轮廓拼接造成一定的困难。
可选地，在本步骤中，将在步骤S110得到的所有三维点的高度坐标值(Y轴上的值)进行从小到大排序，取排序靠前的a个高度坐标值的中值(或者均值等等其它合理的取值方式)作为相机距离天花板的估计高度hc’。
最后，利用相机距离天花板的假定高度hc与估计高度hc’的比值，重新生成尺度归一化的单房间平面轮廓。
例如，可以通过将假定高度hc与估计高度hc’的比值与在步骤S120得到的平面轮廓上的边界点的坐标相乘，得到尺度归一化的平面轮廓上的边界点的坐标，由此得到尺度归一化的平面轮廓。
另一方面，也可以取排序靠后的b个高度坐标值的中值(或者均值等等其它合理的取值方式)作为相机距离地板的估计高度hf’(该估计高度将在后续的3D模型生成步骤等中被使用)。
经过上述的图像处理过程，为后续的模型生成提供了高分辨率的基础。而且，通过上述的图像处理过程，为后续的模型生成提供在三维空间中的并且经过归一化的各全景图像的平面轮廓，简化了后续的模型生成工作，减少了处理时间，提高了处理效率。
经过上述的图像处理为建模提供了模型生成所需的平面轮廓数据，接下来将继续举例来描述房屋建模方法。
可选地，在步骤S135，可以基于经过归一化的各全景图像的平面轮廓，得到各单个房间的平面轮廓。
在本发明中，从一个全景图像得到一个相应的在三维空间中的平面轮廓，可称为“单图像平面轮廓”。
由于拍摄的全景图像中可能包含同一房间的多张全景图像，在这种情况下，同一房间将对应多个在三维空间中的平面轮廓，导致在后续的多房间拼接处理得到的多房间平面轮廓中，可能出现某个或多个房间的各自的不同全景图像得到的平面轮廓不重合、导致拼接的轮廓出现重叠或混乱的现象。因此，可以考虑先进行同一个房间轮廓的融合(可称为“单房间融合”)，以避免这种现象。而且，同一房间轮廓的融合也可消除单房间轮廓不完整的现象。
针对上述的需要单房间融合的情形，本发明的发明人给出了以下的示例性方法。
首先，判断两幅全景图像是否属于同一房间。
这里可以采用基于特征点匹配的方式，如果两幅全景图像之间有多于某个比例(特定比例，例如50％等)的匹配特征点，则可以判定这两幅全景图像属于同一房间。
然后，如果多幅全景图像属于同一房间，即，对于由不同全景图像得到的同一房间的平面轮廓，取这些平面轮廓的并集，作为三维空间中的单房间平面轮廓(一个房间一个轮廓，避免一个房间多个单图像轮廓的情形)，由此实现同一房间轮廓的融合。
其中，上述的匹配特征点的比例可以采用以下方式来设置：假设图像1有n1个特征点，图像2有n2个特征点，两幅图像的匹配特征点数为n个。那么匹配特征点的比例可以为n/min(n1,n2)。
可选地，可以设定为如果该比例大于例如50％，则认为两幅图像是同一个房间。
这里，匹配特征点的比例的设置和比例的实际大小可根据实际情况来试验或凭借经验确定，本发明对此不作额外限制。
如上所述，在本发明中，对于上述的至少一幅全景图像，可以通过如下的单房间融合的方式来确定是否有多幅全景图像属于同一房间：如果两幅全景图像之间有多于特定比例的匹配特征点，则可以判定这两幅全景图像属于同一房间。
如果确定多幅全景图像属于同一房间，则对于由所述多幅全景图像得到的同一房间的各平面轮廓，取这些平面轮廓的并集，作为该房间的平面轮廓。
另外，在同一房间的轮廓融合之后，由于获取的轮廓边缘可能存在噪声，例如可能表现为边线不直以及边与边不垂直的现象。所以本发明还可以进一步对于每一房间的轮廓进行直角多边形拟合，得到更合理的房间平面轮廓。
通过上述的专门针对单房间进行的优化处理，例如单房间融合和/或直角多边形拟合等等，可以得到更准确的单房间平面轮廓，利于后续的2D和3D模型的生成，提高模型的分辨率和准确度。
请注意，该步骤并非房屋二维或三维建模必须的步骤，而是可以提高模型的准确度的优选处理方式。
在步骤S140，基于在步骤S110估计的相机位置以及在步骤S130得到的经过尺度归一化的各房间平面轮廓，拼接多个房间的轮廓。
在本步骤中，要实现经过尺度归一化的各房间平面轮廓的拼接，以将其拼接成多房间轮廓，可以采用手动的方式来实现。
另外，也可以采用自动的方式来实现多房间拼接，以下将给出一个本发明的发明人提出的自动化多房间拼接方案。
可选地，在本步骤中，可以利用估计的相机位置，对经过尺度归一化的每个房间轮廓的三维点坐标进行旋转和平移操作，以将各房间的三维点坐标统一到同一个坐标系中，从而实现多房间平面轮廓的拼接。
假设有N个房间的轮廓，第n个房间轮廓的第p个三维点表示为
Figure GDA0003167533300000181
该房间的相机位置表示为{Rn，tn}，其中Rn为用于表示相机位置的旋转参数的旋转矩阵，tn为用于表示相机位置的平移参数的平移向量。
此时，可以选定第一个房间的相机位置作为参考坐标系，这是因为目前得到的房间轮廓是在各自坐标系下的轮廓位置，需要统一到一个坐标系下，所以需要选定一个参考坐标系。准确的说，可以选定第一个房间的相机位置所在的坐标系作为参考坐标系。然后，可通过如下公式3将其他房间的轮廓三维点统一到该坐标系下：
Figure GDA0003167533300000191
将除第一个房间外的所有的经过尺度归一化的轮廓三维点(例如，天花板边缘、墙面边缘、地板边缘上三维点)通过公式3进行转换，即可将所有房间的三维点统一到同一坐标系(即，第一个房间的参考坐标系)下，由此便能够实现多房间平面轮廓的拼接。
这里，可以选任意一个房间的坐标系作为参考坐标系，本发明对此不作任何限制，因为本发明中需要的是相对位置关系，不是绝对位置关系。
这里，在该步骤的多房间拼接之后得到的多房间轮廓，可以作为房屋的2D模型(例如2D户型图)输出。
可选地，还可以在步骤S145，对多房间的轮廓进行修正。
请注意，本步骤也并非房屋二维或三维建模必须的步骤，而是可以提高模型的准确度的优选处理方式。
在本发明中，在对多房间的轮廓进行拼接之后，还可以进一步对多房间的轮廓进行修正，以得到更加准确的房间轮廓。
由于受到单图像平面轮廓提取精度以及相机位置估计精度的影响，相邻房间的轮廓在拼接后可能存在重叠区域或者出现缝隙的情况，因此，可以进一步地针对这两种情况进行轮廓的校正。
校正方法例如可以如下。首先，计算两两轮廓的相邻边(这些相邻边理论上应当是重合的，即，理论上应当作为多房间轮廓的一个重合边)之间的距离，若该距离小于某个阈值，则可以判定这两条边是相邻的关系，此时可以将该轮廓进行相应的偏移，使相邻边的距离变为0(变得重合，成为重合边)，由此修正相邻边之间的重叠或者缝隙。
对于上述的该阈值，举一个例子来说，比如可以计算这些应当作为一个重合边的相邻边的平均长度L，并以该平均长度的某个比例作为阈值，比如可以使0.2*L作为该距离阈值。
请注意，上面仅仅是为了便于理解起见而给出的例示的阈值，实际上，本发明对于该阈值的不作额外的限制，其可以通过实验和经验来确定。
由此，经过上述单房间轮廓融合和多房间轮廓修正后的多房间轮廓可作为该套房屋的一个完整而准确的2D户型图(房屋的2D模型)。
可选地，还可以进一步在步骤S150，将生成的多房间平面轮廓转化为房屋3D模型。
首先对于在之前的步骤中得到的多房间平面轮廓中的天花板平面轮廓，在内部进行三维点插值，然后将所有的三维点坐标投影到相应的全景图像中，以便获取天花板纹理(颜色值)。
这里，将对三维点插值的方法进行举例说明。比如，假设得到的多房间平面轮廓的天花板轮廓是个矩形，假设其长为H、宽为W，则可以将其长与宽分别划分为N个间隔，可得到总共N*N个插值点。然后，可选择该矩形的某个顶点(假设该顶点的三维点坐标为(x,y,z))作为原点，则可以得到这N*N个点的坐标依次为(x+H/N,y,z),(x+2*H/N,y,z)…(x,y+W/N,z)(x,y+2*W/N,z),…(x+H/N,y+W/N,z)…)。由此可见，在三维点插值之后，得到轮廓内部的密集三维点坐标。
请注意，上面是为了便于理解起见而给出了一个三维点插值的具体例子，实际上，本发明可用的三维点插值的方法可以有很多，并不限于该例子。
另外，例如，具体的投影方法可以如下。假定插值后的三维点坐标为(xi，yi，zi)，其投影到全景图像上的经纬度为(θi，φi)，则该投影公式可以用如下的公式4表示：
Figure GDA0003167533300000201
由该公式得到经纬度后，再根据公式1即可得到该三维点在全景图像平面的坐标，该点处的颜色值即可作为该三维点的纹理。
对于大多数场景来说，天花板的轮廓与地板的轮廓可假定为平行且相同。因此，利用上述获取的校正后的每个房间的天花板平面轮廓，再加上在上面得到的相机距离地板的估计高度hf’，同样通过公式2即可生成多房间地板平面轮廓的三维点。
这里，地板的平面轮廓的形状假定是跟天花板一样的，也就是水平面的三维坐标x和z是一样的，不同之处在于高度，即垂直方向的y值(比如天花板的平面轮廓是在相机的上方，地板是在相机的下方，所以高度不同)。因此，只需将在上述得到的天花板轮廓的三维点坐标中的y值(相机距离天花板的估计高度hc’)替换为相机距离地板的估计高度hf’即可。
与天花板平面轮廓的三维点插值类似地，对于地板平面轮廓，在内部进行三维点插值，然后利用公式4投影到相应全景图像中，以便获取地板纹理。
然后，连接天花板轮廓和地板轮廓之间相同平面位置上的三维顶点，可构成多个墙面的平面轮廓，同样地，对于这些平面轮廓内部进行三维点插值，然后利用公式4投影到相应全景图像中，以便获取墙面的纹理。
由此，可生成完整房屋的3D纹理模型。
通过本发明的上述房屋建模方法，能够有效提高所生成的模型的分辨率和准确性。
而且，需要指出，上面这些是为了便于理解和描述起见，以房屋建模为例对本发明的基于图像来进行建模的方法进行了说明，实际上，本发明不应仅限于房屋建模的应用场景，而是能够适用于各种基于图像来进行建模的场景，例如对车辆建模以便实现VR(虚拟现实)看车等等场景，本发明实际上是提供了一种创新的综合性的图像处理方案。
图3给出了根据本发明的一个示例性实施例的图像处理设备的示意性框图。
如图3所示，根据本发明的一个示例性实施例的图像处理设备100可以包括相机位置估计装置110、单图像平面轮廓生成装置120、尺度归一化装置130。
其中，相机位置估计装置110可以被配置用于利用拍摄的至少一幅全景图像的几何关系，估计在拍摄每幅全景图像时的全景相机的位置、以及每幅全景图像上的匹配特征点的三维点坐标，其中，每幅全景图像是针对一个三维对象拍摄的，每个三维对象对应于一幅或多幅全景图像。
单图像平面轮廓生成装置120可以被配置用于对于每幅全景图像，基于所述全景图像上的、轮廓特征属于特定类别的像素点中的边缘像素点所围成的轮廓，生成每幅全景图像的在三维空间中的平面轮廓。
尺度归一化装置130可以被配置用于将所估计的在拍摄每幅全景图像时的全景相机的位置的尺度和每幅全景图像的在三维空间中的平面轮廓的尺度进行归一化，得到经过归一化的各全景图像的在三维空间中的平面轮廓。
可选地，单图像平面轮廓生成装置120还可以被配置用于基于全景图像上的像素点之间的特征相似度，确定所述全景图像上的、轮廓特征属于特定类别的像素点中的边缘像素。
其中，两个像素点的特征相似度为这两个像素点的特征之差的绝对值。这里，像素点的特征可以包括灰度、颜色等等。
可选地，尺度归一化装置130还可以被配置用于将由相机位置估计装置得到的、所述至少一幅全景图像上的所有三维点坐标中的高度值，从小到大排序，取排序靠前的高度值的中值或者均值作为用作特定类别轮廓估计高度hc’的、相机距离相应三维对象顶部的估计高度hc’；以及利用所述相机距离相应三维对象顶部的假定高度hc与所述相机距离相应三维对象顶部的估计高度hc’的比值，从所述每幅全景图像的在三维空间中的平面轮廓，生成经过归一化的各全景图像的平面轮廓。
其中，所述相机距离相应三维对象顶部的假定高度hc是任意假定的一个高度。
在本发明中，通过使用全景相机拍摄房间的全景图像，为三维对象建模(例如房屋建模等)提供高分辨率的采集图像。
进一步地，在本发明中，采用了高效的图像处理设备，为三维对象建模(例如房屋建模)提供了高分辨率的建模准备数据，而且，所提供的建模准备数据能够简化后续的模型生成过程。
图4给出了根据本发明的一个示例性实施例的对象建模设备的示意性框图。
如图4所示，该对象建模设备1000可以包括图3所示的图像处理设备100以及多对象拼接装置140。
其中，图像处理设备100可以被配置用于处理至少一幅全景图像，生成经过归一化的各全景图像的在三维空间中的平面轮廓。
多对象拼接装置140可以被配置用于基于经过归一化的各全景图像的平面轮廓，拼接得到多对象平面轮廓。
可选地，该三维对象建模设备1000还可以包括：单对象平面轮廓生成装置135，其可以被配置用于基于经过归一化的各全景图像的平面轮廓，得到各单个房间的平面轮廓。
可选地，单对象平面轮廓生成装置135还可以被配置用于对于所述至少一幅全景图像，通过以下方式、逐个地确定是否有多幅全景图像属于同一个三维对象：如果两幅全景图像之间有多于特定比例的匹配特征点，则可以判定这两幅全景图像属于同一个三维对象；以及如果确定多幅全景图像属于同一个三维对象，则对于由所述多幅全景图像得到的同一个三维对象的各平面轮廓，取所述平面轮廓的并集，作为所述三维对象的在三维空间中的平面轮廓。
另外，可选地，多对象拼接装置140还可以被配置用于基于由单对象平面轮廓生成装置135生成的、各单个三维对象的在三维空间中的平面轮廓，拼接得到在三维空间中的多对象平面轮廓。
另外，可选地，三维对象建模设备1000还可以包括多对象轮廓优化装置145，其可以被配置用于对多对象拼接装置140得到的多对象平面轮廓进行轮廓修正。
可选地，该三维对象建模设备1000还可以包括3D模型生成装置150，其可以被配置用于将拼接得到的在三维空间中的多对象平面轮廓转化为三维对象3D模型。
这里，上述的对象建模设备1000的各装置110、120、130、135、140、145、150等分别与在上面描述的步骤S110、120、130、135、140、145、150等相对应，在此不再赘述。
由此，通过本发明的上述对象建模设备，能够有效提高所生成的模型的分辨率和准确性。
而且，需要指出，上面这些是为了便于理解和描述起见，以三维对象建模为例对本发明的基于图像来进行建模的技术方案进行了说明，实际上，本发明不应仅限于三维对象建模的应用场景，而是能够适用于各种基于图像来进行建模的场景，例如，房屋建模、车辆建模等等。本发明实际上是提供了一种创新的综合性的图像处理方案。
图5给出了根据本发明的一个示例性实施例的图像处理装置的示意性框图。
参见图5，该图像处理装置1包括存储器10和处理器20。
处理器20可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器20可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器20可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。
存储器10上存储有可执行代码，当所述可执行代码被所述处理器20执行时，使所述处理器20执行上面描述的方法之一。其中，存储器10可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器20或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器10可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器10可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图等等显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (21)

1.一种图像处理方法，其特征在于，所述图像处理方法包括：
相机位置估计步骤，其中，利用拍摄的至少一个三维对象中每个三维对象拍摄的至少两幅全景图像的几何关系，得到在拍摄每幅全景图像时的全景相机的位置、以及每幅全景图像上的匹配特征点的三维点坐标，其中，每幅全景图像是针对一个三维对象拍摄的，每个三维对象对应于多幅全景图像；
单图像平面轮廓生成步骤，其中，对于每个三维对象的至少两幅全景图像，基于所述全景图像上的、轮廓特征属于特定类别的像素点中的边缘像素点所围成的轮廓，生成所述全景图像的在三维空间中的平面轮廓；以及
尺度归一化步骤，其中，将所得到的在拍摄所述每个三维对象的至少两幅全景图像时的全景相机的位置的尺度和所述每个三维对象的至少两幅全景图像的在三维空间中的平面轮廓的尺度进行归一化，得到经过归一化的各全景图像的在三维空间中的平面轮廓；
其中，所述特定类别至少包括：顶部、底部、支撑部。
2.如权利要求1所述的图像处理方法，其特征在于，相机位置估计步骤包括：
利用拍摄的至少一个三维对象中每个三维对象拍摄的至少两幅全景图像的几何关系，进行所述全景图像之间的特征点匹配，并记录所述全景图像中互相匹配的特征点作为匹配特征点；以及
通过对于所述至少一个三维对象中每个三维对象拍摄的至少两幅全景图像，减小所述全景图像上的匹配特征点的重投影误差，来得到拍摄每幅全景图像时的相机位置、以及所述全景图像上的匹配特征点的三维点坐标。
3.如权利要求1所述的图像处理方法，其特征在于，单图像平面轮廓生成步骤包括：
基于全景图像上的像素点之间的特征相似度，确定所述全景图像上的、轮廓特征属于特定类别的像素点中的所述边缘像素点，
其中，两个像素点的特征相似度为所述两个像素点的特征之差的绝对值，所述像素点的特征包括灰度、颜色。
4.如权利要求1所述的图像处理方法，其特征在于，尺度归一化步骤包括：
将在相机位置估计步骤得到的所述至少两幅全景图像上的所有三维点坐标中的高度值从小到大排序，取排序靠前的高度值的中值或者均值作为特定类别轮廓估计高度hc′；以及
利用特定类别轮廓假定高度hc与特定类别轮廓估计高度hc′的比值，从所述每个三维对象的至少两幅全景图像的在三维空间中的平面轮廓，生成经过归一化的各全景图像的在三维空间中的平面轮廓，
其中，所述特定类别轮廓假定高度hc是任意假定的一个高度。
5.一种对象建模方法，其特征在于，所述对象建模方法包括：
图像处理步骤，其中，使用如权利要求1～4中的任何一项所述的图像处理方法，对至少两幅全景图像进行图像处理，以得到经过归一化的各全景图像的在三维空间中的平面轮廓；以及
多对象拼接步骤，其中，基于所述经过归一化的各全景图像的在三维空间中的平面轮廓，拼接得到多对象平面轮廓。
6.如权利要求5所述的对象建模方法，其特征在于，所述对象建模方法还包括：
单对象平面轮廓生成步骤，其中，基于所述图像处理步骤中得到的经过归一化的各全景图像的平面轮廓，得到各单个三维对象的在三维空间中的平面轮廓。
7.如权利要求6所述的对象建模方法，其特征在于，单对象平面轮廓生成步骤包括：
对于所述至少两幅全景图像，通过以下方式、逐个地确定其中是否有多幅全景图像属于同一个三维对象：如果两幅全景图像之间有多于特定比例的匹配特征点，则确定这两幅全景图像属于同一个三维对象；以及
如果确定多幅全景图像属于同一个三维对象，则对于由所述多幅全景图像得到的同一个三维对象的各平面轮廓，取这些平面轮廓的并集，作为所述三维对象的平面轮廓。
8.如权利要求7所述的对象建模方法，其特征在于，在所述多对象拼接步骤，还能够基于各全景图像的在三维空间中的平面轮廓，拼接得到在三维空间中的多对象平面轮廓。
9.如权利要求5～8中的任何一项所述的对象建模方法，其特征在于，所述对象建模方法还包括：
3D模型生成步骤，其中，在多对象拼接步骤之后，将拼接得到的在三维空间中的多对象平面轮廓转化为对象3D模型。
10.如权利要求9所述的对象建模方法，其特征在于，3D模型生成步骤包括：
将拼接得到的多对象平面轮廓中的顶部平面轮廓在内部进行三维点插值，并将得到的各顶部平面轮廓上的所有三维点坐标投影到相应的全景图像坐标系中，以获取顶部纹理；
将拼接得到的多对象平面轮廓中的底部平面轮廓在内部进行三维点插值，并将得到的各底部平面轮廓上的所有三维点坐标投影到相应的全景图像坐标系中，以获取底部纹理；
连接顶部轮廓和底部轮廓之间相同平面位置上的三维顶点，构成支撑部的平面轮廓，并对于所述支撑部的平面轮廓内部进行三维点插值，并将得到的各支撑部的平面轮廓的所有三维点坐标投影到相应的全景图像坐标系中，以便获取支撑部纹理；
基于所述顶部纹理、底部纹理、支撑部纹理，生成整个三维对象的3D纹理模型。
11.如权利要求10所述的对象建模方法，其特征在于，在3D模型生成步骤中，将得到的各三维对象顶部平面轮廓上的所有三维点坐标中的作为所述特定类别轮廓估计高度hc′的高度值替换为相机距离相应三维对象底部的估计高度hf′的高度值，将相机距离相应三维对象顶部的估计高度的高度值替换为相机距离相应三维对象底部的估计高度hf′的高度值，并且使得到的各三维对象顶部平面轮廓上的所有三维点坐标中的长度和宽度值保持不变，得到相应的各三维对象底部平面轮廓，其中，
所述相机距离相应三维对象顶部的估计高度hc′通过如下方式得到：将在相机位置估计步骤得到的所述至少两幅全景图像上的所有三维点坐标中的高度值从小到大排序，取排序靠前的高度值的中值或者均值作为所述相机距离相应三维对象顶部的估计高度hc′，以及
所述相机距离相应三维对象底部的估计高度hf′通过如下方式得到：将在相机位置估计步骤得到的所述至少两幅全景图像上的所有三维点坐标中的高度值从小到大排序，取排序靠后的高度值的中值或者均值作为相机距离相应三维对象底部的估计高度hf′。
12.一种图像处理设备，其特征在于，所述图像处理设备包括：
相机位置估计装置，被配置用于利用拍摄的至少一个三维对象中每个三维对象拍摄的至少两幅全景图像的几何关系，得到在拍摄每幅全景图像时的全景相机的位置、以及每幅全景图像上的匹配特征点的三维点坐标，其中，每幅全景图像是针对一个三维对象拍摄的，每个三维对象对应于多幅全景图像；
单图像平面轮廓生成装置，被配置用于对于每个三维对象的至少两幅全景图像，基于所述全景图像上的、轮廓特征属于特定类别的像素点中的边缘像素点所围成的轮廓，生成所述全景图像的在三维空间中的平面轮廓；以及
尺度归一化装置，被配置用于将所得到的在拍摄所述每个三维对象的至少两幅全景图像时的全景相机的位置的尺度和所述每个三维对象的至少两幅全景图像的在三维空间中的平面轮廓的尺度进行归一化，得到经过归一化的各全景图像的在三维空间中的平面轮廓；
其中，所述特定类别至少包括：顶部、底部、支撑部。
13.如权利要求12所述的图像处理设备，其特征在于，单图像平面轮廓生成装置还被配置用于：
基于全景图像上的像素点之间的特征相似度，确定所述全景图像上的、轮廓特征属于特定类别的像素点中的边缘像素点，
其中，两个像素点的特征相似度为所述两个像素点的特征之差的绝对值，所述像素点的特征包括灰度、颜色。
14.如权利要求12所述的图像处理设备，其特征在于，尺度归一化装置还被配置用于：
将由相机位置估计装置得到的所述至少两幅全景图像上的所有三维点坐标中的高度值从小到大排序，取排序靠前的高度值的中值或者均值作为用作特定类别轮廓估计高度hc′、相机距离相应三维对象顶部的估计高度hc′；以及
利用所述相机距离相应三维对象顶部的假定高度hc与所述相机距离相应三维对象顶部的估计高度hc′的比值，从所述每个三维对象的至少两幅全景图像的在三维空间中的平面轮廓生成经过归一化的各全景图像的平面轮廓，
其中，所述相机距离相应三维对象顶部的假定高度hc是任意假定的一个高度。
15.一种对象建模设备，其特征在于，所述对象建模设备还包括：
如权利要求12～14中的任何一项所述的图像处理设备，被配置用于对至少两幅全景图像进行图像处理，以得到经过归一化的各全景图像的在三维空间中的平面轮廓；以及
多对象拼接装置，被配置用于基于所述经过归一化的各全景图像的在三维空间中的平面轮廓，拼接得到在三维空间中的多对象平面轮廓。
16.如权利要求15所述的对象建模设备，其特征在于，所述对象建模设备还包括：
单对象平面轮廓生成装置，被配置用于基于所述经过归一化的各全景图像的在三维空间中的平面轮廓，得到各三维对象的在三维空间中的平面轮廓。
17.如权利要求16所述的对象建模设备，其特征在于，所述单对象平面轮廓生成装置还被配置用于：
对于所述至少两幅全景图像，通过以下方式、逐个地确定是否有多幅全景图像属于同一个三维对象：如果两幅全景图像之间有多于特定比例的匹配特征点，则可以判定这两幅全景图像属于同一个三维对象；以及
如果确定多幅全景图像属于同一个三维对象，则对于由所述多幅全景图像得到的同一个三维对象的各平面轮廓，取所述平面轮廓的并集，作为所述三维对象的在三维空间中的平面轮廓。
18.如权利要求17所述的对象建模设备，其特征在于，所述多对象拼接装置还被配置用于基于各单个三维对象的在三维空间中的平面轮廓，拼接得到在三维空间中的多对象平面轮廓。
19.如权利要求15～18中的任何一项所述的对象建模设备，其特征在于，所述对象建模设备还包括：
3D模型生成装置，被配置用于将拼接得到的在三维空间中的多对象平面轮廓转化为三维对象3D模型。
20.一种图像处理装置，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1～11中任何一项所述的方法。
21.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行如权利要求1～11中任何一项所述的方法。
CN202010574085.XA 2019-04-12 2019-04-12 图像处理和对象建模方法与设备、图像处理装置及介质 Active CN111862301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010574085.XA CN111862301B (zh) 2019-04-12 2019-04-12 图像处理和对象建模方法与设备、图像处理装置及介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910296077.0A CN110490967B (zh) 2019-04-12 2019-04-12 图像处理和对象建模方法与设备、图像处理装置及介质
CN202010574085.XA CN111862301B (zh) 2019-04-12 2019-04-12 图像处理和对象建模方法与设备、图像处理装置及介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910296077.0A Division CN110490967B (zh) 2019-04-12 2019-04-12 图像处理和对象建模方法与设备、图像处理装置及介质

Publications (2)

Publication Number Publication Date
CN111862301A CN111862301A (zh) 2020-10-30
CN111862301B true CN111862301B (zh) 2021-10-22

Family

ID=68545807

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910296077.0A Active CN110490967B (zh) 2019-04-12 2019-04-12 图像处理和对象建模方法与设备、图像处理装置及介质
CN202010574085.XA Active CN111862301B (zh) 2019-04-12 2019-04-12 图像处理和对象建模方法与设备、图像处理装置及介质
CN202010574097.2A Active CN111862302B (zh) 2019-04-12 2019-04-12 图像处理和对象建模方法与设备、图像处理装置及介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910296077.0A Active CN110490967B (zh) 2019-04-12 2019-04-12 图像处理和对象建模方法与设备、图像处理装置及介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010574097.2A Active CN111862302B (zh) 2019-04-12 2019-04-12 图像处理和对象建模方法与设备、图像处理装置及介质

Country Status (1)

Country Link
CN (3) CN110490967B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11869148B2 (en) 2019-04-12 2024-01-09 Beijing Chengshi Wanglin Information Technology Co., Ltd. Three-dimensional object modeling method, image processing method, image processing device
CN111127357B (zh) * 2019-12-18 2021-05-04 北京城市网邻信息技术有限公司 户型图处理方法、系统、装置和计算机可读存储介质
CN111127655B (zh) * 2019-12-18 2021-10-12 北京城市网邻信息技术有限公司 房屋户型图的构建方法及构建装置、存储介质
CN113436311A (zh) * 2020-03-23 2021-09-24 阿里巴巴集团控股有限公司 一种户型图生成方法及其装置
CN112055192B (zh) * 2020-08-04 2022-10-11 北京城市网邻信息技术有限公司 图像处理方法、图像处理装置、电子设备及存储介质
CN112686989A (zh) * 2021-01-04 2021-04-20 北京高因科技有限公司 一种三维空间漫游实现方法
CN114332648B (zh) * 2022-03-07 2022-08-12 荣耀终端有限公司 一种位置标识方法及电子设备
CN114442895A (zh) * 2022-04-07 2022-05-06 阿里巴巴达摩院(杭州)科技有限公司 三维模型构建方法
CN116246085B (zh) * 2023-03-07 2024-01-30 北京甲板智慧科技有限公司 用于ar望远镜的方位角生成方法和装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7149367B2 (en) * 2002-06-28 2006-12-12 Microsoft Corp. User interface for a system and method for head size equalization in 360 degree panoramic images
CN1758284A (zh) * 2005-10-17 2006-04-12 浙江大学 从断层图像序列快速重建三维颌骨模型的方法
CN100576907C (zh) * 2007-12-25 2009-12-30 谢维信 利用单摄像机实时生成360°无缝全景视频图像的方法
CN101739717B (zh) * 2009-11-12 2011-11-16 天津汇信软件有限公司 三维彩色点云非接触扫描方法
CN101923730B (zh) * 2010-09-21 2012-05-02 北京大学 基于鱼眼相机和多平面镜装置的三维重建方法
CN101950426B (zh) * 2010-09-29 2014-01-01 北京航空航天大学 一种多摄像机场景下车辆接力跟踪方法
TW201342303A (zh) * 2012-04-13 2013-10-16 Hon Hai Prec Ind Co Ltd 三維空間圖像的獲取系統及方法
CN103379267A (zh) * 2012-04-16 2013-10-30 鸿富锦精密工业（深圳）有限公司 三维空间图像的获取系统及方法
CN102650886B (zh) * 2012-04-28 2014-03-26 浙江工业大学 基于主动全景视觉传感器的机器人视觉系统
CN105488775A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于六摄像机环视的柱面全景生成装置及方法
TWI555379B (zh) * 2015-11-06 2016-10-21 輿圖行動股份有限公司 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN106780421A (zh) * 2016-12-15 2017-05-31 苏州酷外文化传媒有限公司 基于全景平台的装修效果展示方法
CN106651767A (zh) * 2016-12-30 2017-05-10 北京星辰美豆文化传播有限公司 一种获取全景图像的方法及装置
CN107564039A (zh) * 2017-08-31 2018-01-09 成都观界创宇科技有限公司 应用于全景视频的多目标跟踪方法及全景相机
CN108389157A (zh) * 2018-01-11 2018-08-10 江苏四点灵机器人有限公司 一种三维全景图像快速拼接方法
JP6337226B1 (ja) * 2018-03-02 2018-06-06 株式会社エネルギア・コミュニケーションズ 異常箇所検出システム
CN108416840B (zh) * 2018-03-14 2020-02-18 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN108537848B (zh) * 2018-04-19 2021-10-15 北京工业大学 一种面向室内场景重建的两级位姿优化估计方法
CN108876909A (zh) * 2018-06-08 2018-11-23 桂林电子科技大学 一种基于多图像拼接的三维重建方法
CN108961395B (zh) * 2018-07-03 2019-07-30 上海亦我信息技术有限公司 一种基于拍照重建三维空间场景的方法
CN109508682A (zh) * 2018-11-20 2019-03-22 成都通甲优博科技有限责任公司 一种全景停车位的检测方法

Also Published As

Publication number Publication date
CN111862302B (zh) 2022-05-17
CN110490967B (zh) 2020-07-17
CN111862301A (zh) 2020-10-30
CN111862302A (zh) 2020-10-30
CN110490967A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110675314B (zh) 图像处理和三维对象建模方法与设备、图像处理装置及介质
CN110490916B (zh) 三维对象建模方法与设备、图像处理装置及介质
CN111862301B (zh) 图像处理和对象建模方法与设备、图像处理装置及介质
US11869148B2 (en) Three-dimensional object modeling method, image processing method, image processing device
US11727587B2 (en) Method and system for scene image modification
US9872010B2 (en) Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video
Fitzgibbon et al. Automatic 3D model acquisition and generation of new images from video sequences
Scharstein View synthesis using stereo vision
US20190012804A1 (en) Methods and apparatuses for panoramic image processing
WO2015017941A1 (en) Systems and methods for generating data indicative of a three-dimensional representation of a scene
CN112055192B (zh) 图像处理方法、图像处理装置、电子设备及存储介质
Banno et al. Omnidirectional texturing based on robust 3D registration through Euclidean reconstruction from two spherical images
Pagani et al. Dense 3D Point Cloud Generation from Multiple High-resolution Spherical Images.
GB2567245A (en) Methods and apparatuses for depth rectification processing
Yang et al. Noise-resilient reconstruction of panoramas and 3d scenes using robot-mounted unsynchronized commodity rgb-d cameras
Alsadik Guided close range photogrammetry for 3D modelling of cultural heritage sites
Ackermann et al. Removing the example from example-based photometric stereo
Bartczak et al. Extraction of 3D freeform surfaces as visual landmarks for real-time tracking
Rolin et al. View synthesis for pose computation
Khanal et al. Alignment of a 360° image with posed color images for locally accurate texturing of 3D mesh
da Silveira et al. 3D Scene Geometry Estimation from 360$^\circ $ Imagery: A Survey
Messer et al. Image-Based Alignment of 3D Scans
CN118765405A (zh) 楼层平面图感知相机姿态细化方法及系统
Cobzaş Image-based models with applications in mobile robotics
Resendiz 3D Scene Reconstruction from Multiple Views

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant