CN116342831A - 三维场景重建方法、装置、计算机设备及存储介质 - Google Patents

三维场景重建方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN116342831A
CN116342831A CN202310133895.5A CN202310133895A CN116342831A CN 116342831 A CN116342831 A CN 116342831A CN 202310133895 A CN202310133895 A CN 202310133895A CN 116342831 A CN116342831 A CN 116342831A
Authority
CN
China
Prior art keywords
image
sub
target
panoramic
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310133895.5A
Other languages
English (en)
Inventor
余千海
于国星
胡永涛
戴景文
贺杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Virtual Reality Technology Co Ltd
Original Assignee
Guangdong Virtual Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Virtual Reality Technology Co Ltd filed Critical Guangdong Virtual Reality Technology Co Ltd
Priority to CN202310133895.5A priority Critical patent/CN116342831A/zh
Publication of CN116342831A publication Critical patent/CN116342831A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Abstract

本申请公开了一种三维场景重建方法、装置、计算机设备及存储介质，涉及计算机技术领域。该方法包括：获取目标全景图像；根据目标现实场景对应的图像分割策略，对目标全景图像进行图像分割，得到多个第一子图像；获取每个第一子图像对应的深度图；根据每个第一子图像以及每个第一子图像对应的深度图，获取目标现实场景对应的三维重建数据；基于三维重建数据生成目标现实场景对应的目标虚拟场景。如此，根据预设图像分割策略对从全景视频中获取的目标全景图像进行直接分割，基于分割得到的多个第一子图像能够获取深度图，并完成三维重建，在获取全景图像时无需对目标现实场景进行各方向单独摆拍，仅需路过少量路径拍摄，提高了三维场景重建的效率。

Description

三维场景重建方法、装置、计算机设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种三维场景重建方法、装置、计算机设备及存储介质。
背景技术
全景视频是作为一种用3D摄像机进行全方位360度进行拍摄的视频，用户在观看视频的时候，可以随意调节视频上下左右进行观看。随着计算机技术的发展，虚拟场景的实现得到越来越多的应用，基于传统图像进行三维重建需要进行各个方向仔细拍摄。
现有技术中基于全景相机拍摄的全景视频进行三维重建时，需要对现实场景的各个方向进行单独的拍摄，才能获取到现实场景的全景图像，造成全景图像的采集耗时较长，进而影响了场景三维重建的效率；且由于各个拍摄点之间为跳跃点，使得采集到的图像之间不连续，造成最后进行三维重建的场景不连续。
发明内容
本申请提出了一种三维场景重建方法、装置、计算机设备及存储介质。
第一方面，本申请实施例提供了一种三维场景重建方法，包括：获取目标全景图像，所述目标全景图像为全景视频中的任一帧视频图像，所述全景视频是由全景相机针对目标现实场景拍摄得到的；根据所述目标现实场景对应的图像分割策略，对所述目标全景图像进行图像分割，得到多个第一子图像，多个所述第一子图像的图像方向与所述图像分割策略中包含的多个预设拍摄方向一一对应；获取每个第一子图像对应的深度图；根据每个所述第一子图像以及每个所述第一子图像对应的深度图，获取所述目标现实场景对应的三维重建数据；基于所述三维重建数据生成所述目标现实场景对应的目标虚拟场景。
第二方面，本申请实施例提供了一种三维场景重建装置，包括：图像获取模块，用于获取目标全景图像，所述目标全景图像为全景视频中的任一帧视频图像，所述全景视频是由全景相机针对目标现实场景拍摄得到的；图像分割模块，用于根据所述目标现实场景对应的图像分割策略,对所述目标全景图像进行图像分割，得到多个第一子图像，多个所述第一子图像的图像方向与所述图像分割策略中包含的多个预设拍摄方向一一对应；深度图获取模块，用于获取每个第一子图像对应的深度图；三维重建数据获取模块，用于根据每个所述第一子图像以及每个所述第一子图像对应的深度图，获取所述目标现实场景对应的三维重建数据；场景重建模块，用于基于所述三维重建数据生成所述目标现实场景对应的目标虚拟场景。
第三方面，本申请实施例提供了一种计算机设备，包括：一个或多个处理器；存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述的方法。
本申请提供的方案中，通过获取目标全景图像，目标全景图像为全景视频中的任一帧视频图像，全景视频是由全景相机针对目标现实场景拍摄得到的；根据目标现实场景对应的图像分割策略，对目标全景图像进行图像分割，得到多个第一子图像，多个第一子图像的图像方向与图像分割策略中包含的多个预设拍摄方向一一对应；获取每个第一子图像对应的深度图；根据每个第一子图像以及每个第一子图像对应的深度图，获取目标现实场景对应的三维重建数据；基于三维重建数据生成目标现实场景对应的目标虚拟场景。如此，基于全景相机针对目标现实场景拍摄得到全景视频，根据包含多个预设拍摄方向的图像分割策略对从全景视频中获取的目标全景图像进行直接分割，即能得到多个第一子图像，无需对目标现实场景进行各个方向单独摆拍，仅需路过少量路径拍摄，即可获得目标现实场景内的全景图像，提高了图像采集效率，进而提高了三维场景重建的效率；同时由于对目标现实场景的拍摄为连续的，因此根据分割得到的多个第一子图像进行深度图的获取，生成的目标虚拟场景为连续完整的。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提供的三维场景重建方法的流程示意图。
图2示出了本申请一实施例提供的全景相机拍摄方向的示意图。
图3示出了本申请实施例提供的目标全景图像与全景球面对应映射关系示意图。
图4示出了本申请实施例提供的一种目标全景图像的示意图。
图5示出了本申请实施例提供的一种多个第一子图像示意图。
图6示出了图1中步骤S130在一种实施方式中的子步骤的流程示意图。
图7示出了图6中步骤S132在一种实施方式中的子步骤的流程示意图。
图8示出了图7中步骤S132-1在一种实施方式中的子步骤的流程示意图。
图9示出了图7中步骤S132-2在一种实施方式中的子步骤的流程示意图.
图10示出了图1中步骤S140在一种实施方式中的子步骤的流程示意图。
图11示出了本申请另一实施例提供的三维场景重建方法的流程示意图。
图12示出了本申请实施例提供的得到多个第二子图像流程示意图。
图13示出了本申请一实施例提供的三维场景重建装置的结构框图。
图14示出了本申请实施例提供的一种计算机设备的结构框图。
图15示出了本申请实施例提供的一种计算机可读存储介质的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如S110、S120等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。以及，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或子模块的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或子模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或子模块。
发明人提出一种三维场景重建方法、装置、计算机设备及存储介质，根据预设图像分割策略对从全景视频中获取的目标全景图像进行直接分割，可得到可用于三维重建的图像，无需对目标现实场景进行各个方向单独摆拍，仅需路过少量路径拍摄，即可获得目标现实场景内的全景图像，提高了三维场景重建的效率。下面对本申请实施例提供的三维场景重建方法进行详细描述。
请参照图1，图1示出了本申请一实施例提供的三维场景重建方法的流程示意图。下面将结合图1对本申请实施例提供的三维场景重建方法进行详细阐述。该三维场景重建方法可以包括以下步骤：
步骤S110：获取目标全景图像，所述目标全景图像为全景视频中的任一帧视频图像，所述全景视频是由全景相机针对目标现实场景拍摄得到的。
在本实施例中，基于全景相机对目标现实场景进行全方位360度的拍摄后，得到的全景视频中包括多帧视频图像，对全景视频进行抽帧，即从全景视频对应的多帧视频图像中进行图像抽取，得到目标全景图像，该目标全景图像可以为全景视频中的任一帧视频图像。
可选地，本实施例所提供的全景相机为一种具有360度全景拍摄功能的相机，基于此全景相机对目标现实场景进行拍摄得到全景视频时，无需针对目标现实场景进行拍摄路径的设计，同时不需要对目标现实场景的各个方向进行单独拍摄。
其中，上述全景相机包括但不限于手持式全景相机、可穿戴式全景相机、车载全景相机和无人机载全景相机。全景相机进行拍摄的目标现实场景可以是室内场景，也可以是室外场景。
在本实施例中，全景相机可被拆分为多个虚拟子相机，多个虚拟子相机之间存在预设的相对位姿关系，每个虚拟子相机的相机视角对应于全景相机的一个预设拍摄方向。
如图2所示，图2示出了本申请一实施例提供的全景相机拍摄方向的示意图。图中立方体模型的中心为全景相机201所在的位置，立方体模型中每个面的顶点到全景相机201所在的位置所构成的视角为全景相机201在该拍摄方向上所对应的虚拟子相机的相机视角。
以上视虚拟子相机视角202为基准，绕上视虚拟子相机视角202的X轴分别旋转90度、180度和270度，得到前视虚拟子相机视角、下视虚拟子相机视角和后视虚拟相机视角，绕上视虚拟子相机视角202的Y轴分别旋转90度和负90度，得到右视虚拟子相机视角和左视虚拟子相机视角。
步骤S120：根据所述目标现实场景对应的图像分割策略，对所述目标全景图像进行图像分割，得到多个第一子图像，多个所述第一子图像的图像方向与所述图像分割策略中包含的多个预设拍摄方向一一对应。
在本实施例中，基于获取到的目标全景图像，确认目标现实场景对应的图像分割策略，以根据目标现实场景对应的图像分割策略对其进行图像分割，进而得到多个第一子图像。
在一些实施方式中，全景相机可被拆分为多个虚拟子相机，每个虚拟子相机的相机视角对应于全景相机的一个预设拍摄方向，目标现实场景对应的图像分割策略与全景相机的多个预设拍摄方向相关联。
在一些实施方式中，目标现实场景对应的图像分割策略为对目标全景图像进行分割时，首先基于目标全景图像与全景球面对应映射关系，将目标全景图像映射至全景球面。
如图3所示，图3示出了本申请实施例提供的目标全景图像与全景球面对应映射关系示意图。即构建全景球模型，由于目标全景图像中的每一个像素都能对应至全景球模型的全景球面上的每一个点，根据目标全景图像中每个像素的像素坐标，按照目标全景图像与其对应的全景球面之间的像素映射规则确认目标全景图像中每个像素对应于全景球面的球面坐标，以将目标全景图像映射至全景球面。
进一步地，基于多个虚拟子相机之间存在预设的相对位姿关系，每个虚拟子相机的相机视角对应于全景相机的一个预设拍摄方向，根据每个虚拟子相机的相机视角对全景图像进行分割。即将目标全景图像对应的全景球模型的球心作为虚拟子相机的光心位置，通过每个虚拟子相机的光心位置以及相机视角确认该虚拟子相机的相机视角对应的全景球面上的图像区域，并将全景球面上的图像区域对应的目标全景图像的图像区域的图像进行切割，得到全景相机在该虚拟子相机对应的预设拍摄方向上对应的第一子图像。
如图4和图5所示，图4示出了本申请实施例提供的一种目标全景图像的示意图，图5示出了本申请实施例提供的一种多个第一子图像示意图。
可选地，当对图4中的目标全景图像进行分割得到的图5中的多个第一子图像为六个方向的传统图像时，图5中的六个第一子图像分别为左视图301、前视图302、右视图303、后视图304、上视图305和下视图306。
在一些实施方式中，全景相机拆分得到的多个虚拟子相机中，任意两个虚拟子相机的相机视角之间可重叠，当相邻虚拟子相机的相机视角之间重叠，对目标全景图像进行分割得到的对应预设拍摄方向上的相邻第一子图像存在相同部分。
在另一些实施方式中，全景相机对应的多个虚拟子相机的相机视角可为不均分，当虚拟子相机的相机视角为不均分时，多个虚拟子相机的相机视角对应的目标全景图像的图像区域的大小不同。
示例性地，传统的分割方式中前后左右360度被四个虚拟子相机的相机视角进行90度均分；当60度为一个虚拟子相机的相机视角时，前后左右360度可分为六个虚拟子相机的相机视角均分为六个方向，并以此类推；当120度为一个虚拟子相机的相机视角，且360度分为四个虚拟子相机进行均分，则相邻虚拟子相机的相机视角重合30度；而当前后左右360度被四个虚拟子相机的相机视角分为四个方向，且两个虚拟子相机的相机视角为60度，两个虚拟子相机的相机视角为120度，则虚拟子相机的相机视角不均分，但相邻虚拟子相机之间的相机视角不重合。
步骤S130：获取每个第一子图像对应的深度图。
在本实施例中，通过对每个第一子图像进行特征提取，得到每个第一子图像对应的特征信息，并基于每个第一子图像对应的特征信息，对每个第一子图像进行特征匹配，以得到每个第一子图像对应的特征点集合，从而确认每个第一子图像对应的位姿信息。
其中，深度图也被称为距离影像，是指将从图像采集装置到场景中各点的距离(深度)作为像素值的图像，它直接反映了场景可见表面的几何形状。
进一步地，基于每个第一子图像对应的位姿信息计算每个第一子图像中的特征点的视差信息，进而计算每个第一子图像中的特征点的深度信息，以生成每个第一子图像对应的深度图。
在一些实施方式中，请参阅图6，步骤S130可以包括以下步骤：
步骤S131：对每个所述第一子图像进行特征提取，得到每个所述第一子图像对应的特征信息。
在本实施例中，对图像分割得到的多个第一子图像进行特征提取，即通过特征提取算法对每个第一子图像中存在特征信息的点进行检测识别，如目标图像中的角点、边界等梯度变化较大的像素点，进而得到每个第一子图像对应的特征信息。其中，特征提取算法可以包括尺度不变特征变换特征提取算法(Scale-invariant feature transform，SIFT)，加速稳健特征提取算法(Speeded Up Robust Features，SURF)，快速特征提取算法(Oriented Fast and Rotated Brief，ORB)等。
步骤S132：基于每个所述第一子图像对应的特征信息，获取每个所述第一子图像对应的深度图。
在本实施例中，根据每个第一子图像对应的特征信息，对每个第一子图像进行特征匹配，得到每个第一子图像对应的特征点集合，从而确认每个第一子图像对应的位姿信息。并基于每个第一子图像对应的位姿信息计算每个第一子图像中的特征点的视差信息，进一步计算每个第一子图像中的特征点的深度信息，以生成每个第一子图像对应的深度图。
在一些实施方式中，请参阅图7，步骤S132可以包括以下步骤：
步骤S132-1：提取每个所述第一子图像对应的符合目标条件的特征点对，得到每个所述第一子图像对应的特征点集合。
在本实施例中，每个第一子图像对应的特征信息中包括其对应的多个特征点。对每个第一子图像对应的特征信息中包含的特征点进行特征匹配，得到其对应的符合目标条件的特征点对，作为每个第一子图像对应的特征点集合。
在一些实施方式中，请参阅图8，步骤S132-1可以包括以下步骤：
步骤S132-1-1：将每个所述第一子图像与和自身相邻的其他第一子图像进行特征点的第一相似度匹配。
在本实施例中，将当前帧的目标全景图像中的每个第一子图像对应的特征信息中包含的特征点与和其相邻的其他第一子图像对应的特征信息中包含的特征点进行第一相似度匹配。
例如，当对目标全景图像进行分割得到的多个第一子图像为六个方向的传统图像，若当前待匹配的第一子图像为前视图，与其相邻的其他第一子图像为上视图、下视图、左视图和右视图。
步骤S132-1-2：针对每个所述第一子图像，获取第一相似度大于第一目标阈值的特征点对，得到每个所述第一子图像对应的第一特征点对的集合。
在本实施例中，进行特征匹配时，将第一相似度大于第一目标阈值的多个特征点作为匹配的第一特征点对。获取与每个第一子图像的特征点的第一相似度大于第一目标阈值的所有特征点对，得到其对应的第一特征点对的集合。其中，第一目标阈值为预设的特征相似度阈值。
步骤S132-1-3：将每个所述第一子图像与至少一个第三子图像进行特征点的第二相似度匹配，所述第三子图像在相邻全景图像中的图像方向与所述第三子图像对应的第一子图像在所述目标全景图像中的图像方向相匹配，所述相邻全景图像为所述全景视频中所述目标全景图像相邻帧的全景图像。
在本实施例中，将每个当前帧的全景图像中的第一子图像对应的特征信息与和其图像方向匹配的相邻帧的全景图像的第三子图像对应的特征信息进行第二相似度匹配。
例如，当对目标全景图像进行分割得到的多个第一子图像为六个方向的传统图像，若当前待匹配的第一子图像为当前帧的全景图像的前视图，第三子图像即为其前一帧的全景图像的前视图和后一帧的全景图像的前视图。
步骤S132-1-4：针对每个所述第一子图像，获取所述第二相似度大于第二目标阈值的特征点对，得到每个所述第一子图像对应的第二特征点对的集合。
在本实施例中，进行特征匹配时，将第二相似度大于第二目标阈值的多个特征点作为匹配的第二特征点对。获取与每个第一子图像的特征点的第二相似度大于第二目标阈值的所有特征点对，得到其对应的第二特征点对的集合。其中，第二目标阈值为预设的特征相似度阈值，其中，预设的第一目标阈值和第二目标阈值可为同一数值，也可以为不同的数值，本实施例对此不作限制。
步骤S132-1-5：根据每个所述第一子图像对应的第一特征点对的集合以及每个所述第一子图像对应的第二特征点对的集合，生成每个所述第一子图像对应的特征点集合。
在本实施例中，根据特征匹配得到的每个第一子图像对应的第一特征点对的集合和第二特征点对的集合，生成的每个第一子图像对应的特征点集合包含上述第一特征点对的集合和第二特征点对的集合。
步骤S132-2：根据每个所述第一子图像对应的特征点集合，确定每个所述第一子图像对应的位姿信息。
每个第一子图像对应的位姿信息包括第一位姿信息和第二位姿信息。
在一些实施方式中，请参阅图9，步骤S132-2可以包括以下步骤：
步骤S132-2-1：根据每个所述第一子图像对应的第一特征点对的集合，确定每个所述第一子图像与和自身相邻的其他第一子图像之间的相对位姿关系，得到所述第一位姿信息。
在本实施例中，根据每个第一子图像对应的第一特征点对的集合，即根据当前帧的目标全景图像中的每个第一子图像对应的第一特征点对的集合与和其相邻的其他第一子图像对应的第一特征点对的集合，确认每个第一子图像与和自身相邻的其他第一子图像之间的相对位姿关系，其中，通过计算得到的每个第一子图像对应的第一位姿信息为通过预设的多组算法对其计算得到最终预估值，上述算法至少包括三角测量算法和单应矩阵算法。
步骤S132-2-2：根据每个所述第一子图像对应的第二特征点对的集合，确定每个所述第一子图像与至少一个所述第三子图像之间的相对位姿关系，得到所述第二位姿信息。
在本实施例中，根据每个第一子图像对应的第二特征点对的集合，即根据当前帧的全景图像中的每个第一子图像对应的第二特征点对的集合与和其相邻帧的全景图像同一图像方向的至少一个第三子图像对应的第二特征点对的集合，确认每个第一子图像与和其相邻帧的全景图像同一图像方向的至少一个第三子图像之间的相对位姿关系，其中，通过计算得到的每个第一子图像对应的第二位姿信息为通过预设的多组算法对其计算得到最终预估值，上述算法至少包括运动推断结构(Structure from Motion，SFM)算法和对极几何算法。
步骤S132-3：根据每个所述第一子图像以及每个所述第一子图像对应的位姿信息，确定每个所述第一子图像中的特征点的视差信息，并基于每个所述第一子图像中的特征点的视差信息，生成每个所述第一子图像对应的视差图。
在本实施例中，第一子图像中的特征点的视差表示由于两个相邻虚拟子相机之间存在距离，同一个目标现实场景中的景物点在两个虚拟子相机中对应的匹配的特征点的成像位置不同，基于每个第一子图像对应的特征信息中的每个特征点以及每个第一子图像对应的位姿信息，计算得到每个第一子图像中的特征点的视差信息，以基于每个第一子图像中的特征点的视差信息生成每个第一子图像对应的视差图。
步骤S132-4：根据每个所述第一子图像对应的视差图，确定每个所述第一子图像中的特征点的深度信息，并基于每个所述第一子图像中的特征点的深度信息，生成每个所述第一子图像对应的深度图。
在本实施例中，由于视差值＝(相机之间的距离/相机的焦距)*深度值，因此基于多个虚拟子相机之间的预设相对位姿关系已知，且每个虚拟子相机的焦距固定，在获取到每个第一子图像对应的视差图，根据每个第一子图像对应的特征点的视差信息，能够计算得到每个第一子图像对应的特征点的深度信息，以基于每个第一子图像中的特征点的深度信息生成每个第一子图像对应的深度图。
步骤S140：根据每个所述第一子图像以及每个所述第一子图像对应的深度图，获取所述目标现实场景对应的三维重建数据。
在本实施例中，根据每个第一子图像以及每个第一子图像对应的深度图中的特征点的深度信息，得到每个特征点的三维坐标信息，进而生成目标现实场景对应的三维重建数据。
在一些实施方式中，请参阅图10，步骤S140可以包括以下步骤：
步骤S141：根据所述第一子图像以及每个所述第一子图像对应的深度图，确定每个所述第一子图像中的特征点在目标坐标系下的三维坐标信息，得到每个特征点对应的三维坐标信息。
在本实施例中，根据每个第一子图像以及每个第一子图像对应的深度图中的特征点的深度信息，将特征点的像素坐标转化为在目标坐标系下的三维坐标，得到每个特征点的三维坐标信息。
步骤S142：基于每个所述特征点对应的三维坐标信息，生成所述目标现实场景对应的三维重建数据。
在本实施例中，获得每个特征点在不同第一子图像对应的目标坐标系下的三维坐标信息，将其融合到同一个目标坐标系下，进而就能得到目标现实场景对应的三维重建数据，在一些实施方式中，该三维重建数据可以为目标现实场景对应的点云数据。
步骤S150：基于所述三维重建数据生成所述目标现实场景对应的目标虚拟场景。
在本实施例中，得到三维重建数据之后，获取目标现实场景对应的网格信息，即目标现实场景对应的三维模型的各个网格点的位置信息。一般目标现实场景表面的网格信息是由三角网格构成，以形成最小的面，而构成网格的网格点之间的间距越小，网格就越小，最终形成的模型精度就越高。根据目标现实场景的网格信息对指定特征点进行提取，并替换为网格模型。目标现实场景网格模型可以是对真实场景数据采用三维重建技术重建的，其中，网格模型可以为大小和形状接近的多边形(三角形、正方形等)近似表示三维物体的模型。
可选地，提取目标现实场景中确定合适的纹理块，将其映射到网格模型上，使得最终基于网格模型形成的目标现实场景对应的目标虚拟场景具有真实纹理感。
在本实施例中，提供一种具有360度全景拍摄功能的全景相机，在对目标现实场景进行拍摄得到全景视频时，无需针对目标现实场景进行拍摄路径的设计，且不需要对目标现实场景的各个方向进行单独拍摄，即可获得目标现实场景内的全景图像，提高了图像采集效率，进而提高了三维场景重建的效率。由于从全景视频中获取的目标全景图像进行直接分割即能得到多个第一子图像，无需进行相机标定，以获取全景相机对应的多个虚拟子相机的相对位姿关系，进而在根据得到的多个第一子图像进行深度图的获取以及三维重建时，降低工作量的同时避免了累积误差。由于对目标现实场景的拍摄为连续的，因此最终生成的目标虚拟场景为连续的，并提高了目标虚拟场景的完整度。
请参照图11，图11示出了本申请另一实施例提供的三维场景重建方法的流程示意图。下面将结合图11对本申请实施例提供的三维场景重建方法进行详细阐述。该三维场景重建方法可以包括以下步骤：
步骤S410：获取目标全景图像，所述目标全景图像为全景视频中的任一帧视频图像，所述全景视频是由全景相机针对目标现实场景拍摄得到的。
步骤S420：根据所述目标现实场景对应的图像分割策略，对所述目标全景图像进行图像分割，得到多个第一子图像，多个所述第一子图像的图像方向与所述图像分割策略中包含的多个预设拍摄方向一一对应。
步骤S430：若多个所述第一子图像中存在目标子图像的所述特征信息中所包含的特征点数量小于预设数量阈值，获取多个所述第一子图像中除所述目标子图像之外的其他第一子图像，得到多个第二子图像。
在本实施例中，在对目标全景图像进行图像分割后，对得到的多个第一子图像进行图像检测，检测多个第一子图像中是否存在特征信息中所包含的特征点数量小于预设数量阈值的目标子图像。
当一个第一子图像对应的特征信息中所包含的特征点数量小于预设数量阈值时，即表示我们难以从该第一子图像中获取到足够多的特征点进行该图像的位姿信息的判断，将该第一子图像作为目标子图像，在后续进行特征匹配的过程中把其舍弃。最终图像分割后获取到的图像为多个第二子图像，即能够获取到足够多的特征点进行特征匹配的图像。
如图12所示，图12示出了本申请实施例提供的得到多个第二子图像流程示意图。将映射到全景球面的目标全景图像510进行图像分割得到六个传统方向上的多个第一子图像520后，若上视图521和下视图522对应的特征信息中所包含的特征点数量小于预设数量阈值，例如当其为天空、天花板和地板等对应的场景图像时，进入下一个步骤时需要将其进行舍弃，最终得到的多个第二子图像530中只包括左视图、右视图、前视图和后视图。
步骤S440：获取每个第一子图像对应的深度图。
在本实施例中，多个第一子图像为舍弃了目标子图像的多个第二子图像，因此在此时需要获取每个第二子图像对应的深度图。
步骤S450：根据每个所述第一子图像以及每个所述第一子图像对应的深度图，获取所述目标现实场景对应的三维重建数据。
步骤S460：基于所述三维重建数据生成所述目标现实场景对应的目标虚拟场景。
在本实施例中，步骤S410至步骤S420、步骤S450至步骤S460的具体实施方式可以参阅前述实施例中的内容，在此不再赘述。
在本实施例中，通过设置对目标全景图像进行图像分割后得到的多个第一子图像进行图像检测，舍弃难以获取到足够多的特征点以获取位姿信息的第一子图像，得到有用的第二子图像进行后续步骤的特征匹配与深度图获取，减少了特征匹配与深度计算的工作量，提升了基于全景视频进行三维重建的速度。
请参照图13，图13示出了本申请一实施例提供的三维场景重建装置600的结构框图。该三维场景重建装置600可以包括：图像获取模块610、图像分割模块620、深度图获取模块630、三维重建数据获取模块640和场景重建模块650。
图像获取模块610用于获取目标全景图像，所述目标全景图像为全景视频中的任一帧视频图像，所述全景视频是由全景相机针对目标现实场景拍摄得到的。
图像分割模块620用于根据所述目标现实场景对应的图像分割策略,对所述目标全景图像进行图像分割，得到多个第一子图像，多个所述第一子图像的图像方向与所述图像分割策略中包含的多个预设拍摄方向一一对应。
深度图获取模块630，用于获取每个第一子图像对应的深度图。
三维重建数据获取模块640用于根据每个所述第一子图像以及每个所述第一子图像对应的深度图，获取所述目标现实场景对应的三维重建数据。
场景重建模块650用于基于所述三维重建数据生成所述目标现实场景对应的目标虚拟场景。
在该方式下，深度图获取模块630可以具体用于：对每个所述第一子图像进行特征提取，得到每个所述第一子图像对应的特征信息；基于每个所述第一子图像对应的特征信息，获取每个所述第一子图像对应的深度图。
在一些实施方式中，三维场景重建装置600还可以包括第二子图像获取模块610。第二子图像获取模块610可以具体用于若多个所述第一子图像中存在目标子图像的所述特征信息中所包含的特征点数量小于预设数量阈值，获取多个所述第一子图像中除所述目标子图像之外的其他第一子图像，得到多个第二子图像。
在一些实施方式中，特征信息中包括多个特征点，深度图获取模块630可以具体用于：提取每个所述第一子图像对应的符合目标条件的特征点对，得到每个所述第一子图像对应的特征点集合；根据每个所述第一子图像对应的特征点集合，确定每个所述第一子图像对应的位姿信息；根据每个所述第一子图像以及每个所述第一子图像对应的位姿信息，确定每个所述第一子图像中的特征点的视差信息，并基于每个所述第一子图像中的特征点的视差信息，生成每个所述第一子图像对应的视差图；根据每个所述第一子图像对应的视差图，确定每个所述第一子图像中的特征点的深度信息，并基于每个所述第一子图像中的特征点的深度信息，生成每个所述第一子图像对应的深度图。
在该方式下，深度图获取模块630还可以具体用于：将每个所述第一子图像与和自身相邻的其他第一子图像进行特征点的第一相似度匹配；针对每个所述第一子图像，获取第一相似度大于第一目标阈值的特征点对，得到每个所述第一子图像对应的第一特征点对的集合；将每个所述第一子图像与至少一个第三子图像进行特征点的第二相似度匹配，所述第三子图像在相邻全景图像中的图像方向与所述第三子图像对应的第一子图像在所述目标全景图像中的图像方向相匹配，所述相邻全景图像为所述全景视频中所述目标全景图像相邻帧的全景图像；针对每个所述第一子图像，获取所述第二相似度大于第二目标阈值的特征点对，得到每个所述第一子图像对应的第二特征点对的集合；根据每个所述第一子图像对应的第一特征点对的集合以及每个所述第一子图像对应的第二特征点对的集合，生成每个所述第一子图像对应的特征点集合。
在该方式下，每个所述第一子图像对应的位姿信息包括第一位姿信息和第二位姿信息，深度图获取模块630还可以具体用于：根据每个所述第一子图像对应的第一特征点对的集合，确定每个所述第一子图像与和自身相邻的其他第一子图像之间的相对位姿关系，得到所述第一位姿信息；根据每个所述第一子图像对应的第二特征点对的集合，确定每个所述第一子图像与至少一个所述第三子图像之间的相对位姿关系，得到所述第二位姿信息。
在另一些实施方式中，三维重建数据获取模块640可以包括三维坐标信息获取模块和三维重建数据生成模块。三维坐标信息获取模块用于根据所述第一子图像以及每个所述第一子图像对应的深度图，确定每个所述第一子图像中的特征点在目标坐标系下的三维坐标信息，得到每个特征点对应的三维坐标信息。三维重建数据生成模块用于基于每个所述特征点对应的三维坐标信息，生成所述目标现实场景对应的三维重建数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
综上所述，本申请通过获取目标全景图像，目标全景图像为全景视频中的任一帧视频图像，全景视频是由全景相机针对目标现实场景拍摄得到的；根据目标现实场景对应的图像分割策略，对目标全景图像进行图像分割，得到多个第一子图像，多个第一子图像的图像方向与图像分割策略中包含的多个预设拍摄方向一一对应；获取每个第一子图像对应的深度图；根据每个第一子图像以及每个第一子图像对应的深度图，获取目标现实场景对应的三维重建数据；基于三维重建数据生成目标现实场景对应的目标虚拟场景。如此，基于全景相机针对目标现实场景拍摄得到全景视频，根据包含多个预设拍摄方向的图像分割策略对从全景视频中获取的目标全景图像进行直接分割，即能得到多个第一子图像，无需对目标现实场景进行各个方向单独摆拍，仅需路过少量路径拍摄，即可获得目标现实场景内的全景图像，提高了图像采集效率，进而提高了三维场景重建的效率；同时由于对目标现实场景的拍摄为连续的，因此根据分割得到的多个第一子图像进行深度图的获取，生成的目标虚拟场景为连续完整的。
下面将结合图14对本申请提供的一种计算机设备700进行说明。
参照图14，图14示出了本申请实施例提供的一种计算机设备700的结构框图，本申请实施例提供的上述方法可以由该计算机设备700执行。
本申请实施例中的计算机设备700可以包括一个或多个如下部件：处理器701、存储器702、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器702中并被配置为由一个或多个处理器701执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器701可以包括一个或者多个处理核。处理器701利用各种接口和线路连接整个计算机设备700内的各个部分，通过运行或执行存储在存储器702内的指令、程序、代码集或指令集，以及调用存储在存储器702内的数据，执行计算机设备700的各种功能和处理数据。可选地，处理器701可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器701可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以集成到处理器701中，单独通过一块通信芯片进行实现。
存储器702可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器702可用于存储指令、程序、代码、代码集或指令集。存储器702可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储计算机设备700在使用中所创建的数据(比如上述的各种对应关系)等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参考图15，图15示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
在一些实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述各方法实施例中的步骤。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种三维场景重建方法，其特征在于，所述方法包括：
获取目标全景图像，所述目标全景图像为全景视频中的任一帧视频图像，所述全景视频是由全景相机针对目标现实场景拍摄得到的；
根据所述目标现实场景对应的图像分割策略，对所述目标全景图像进行图像分割，得到多个第一子图像，多个所述第一子图像的图像方向与所述图像分割策略中包含的多个预设拍摄方向一一对应；
获取每个第一子图像对应的深度图；
根据每个所述第一子图像以及每个所述第一子图像对应的深度图，获取所述目标现实场景对应的三维重建数据；
基于所述三维重建数据生成所述目标现实场景对应的目标虚拟场景。
2.根据权利要求1所述的方法，其特征在于，所述获取每个第一子图像对应的深度图，包括：
对每个所述第一子图像进行特征提取，得到每个所述第一子图像对应的特征信息；
基于每个所述第一子图像对应的特征信息，获取每个所述第一子图像对应的深度图。
3.根据权利要求2所述的方法，其特征在于，在所述获取每个第一子图像对应的深度图之前，所述方法还包括：
若多个所述第一子图像中存在目标子图像的所述特征信息中所包含的特征点数量小于预设数量阈值，获取多个所述第一子图像中除所述目标子图像之外的其他第一子图像，得到多个第二子图像；
所述获取每个第一子图像对应的深度图，包括：
获取每个所述第二子图像对应的深度图。
4.根据权利要求2所述的方法，其特征在于，所述特征信息中包括多个特征点，所述基于每个所述第一子图像对应的特征信息，获取每个所述第一子图像对应的深度图，包括：
提取每个所述第一子图像对应的符合目标条件的特征点对，得到每个所述第一子图像对应的特征点集合；
根据每个所述第一子图像对应的特征点集合，确定每个所述第一子图像对应的位姿信息；
根据每个所述第一子图像以及每个所述第一子图像对应的位姿信息，确定每个所述第一子图像中的特征点的视差信息，并基于每个所述第一子图像中的特征点的视差信息，生成每个所述第一子图像对应的视差图；
根据每个所述第一子图像对应的视差图，确定每个所述第一子图像中的特征点的深度信息，并基于每个所述第一子图像中的特征点的深度信息，生成每个所述第一子图像对应的深度图。
5.根据权利要求4所述的方法，其特征在于，所述提取每个所述第一子图像对应的符合目标条件的特征点对，得到每个所述第一子图像对应的特征点集合，包括：
将每个所述第一子图像与和自身相邻的其他第一子图像进行特征点的第一相似度匹配；
针对每个所述第一子图像，获取第一相似度大于第一目标阈值的特征点对，得到每个所述第一子图像对应的第一特征点对的集合；
将每个所述第一子图像与至少一个第三子图像进行特征点的第二相似度匹配，所述第三子图像在相邻全景图像中的图像方向与所述第三子图像对应的第一子图像在所述目标全景图像中的图像方向相匹配，所述相邻全景图像为所述全景视频中所述目标全景图像相邻帧的全景图像；
针对每个所述第一子图像，获取所述第二相似度大于第二目标阈值的特征点对，得到每个所述第一子图像对应的第二特征点对的集合；
根据每个所述第一子图像对应的第一特征点对的集合以及每个所述第一子图像对应的第二特征点对的集合，生成每个所述第一子图像对应的特征点集合。
6.根据权利要求5所述的方法，其特征在于，每个所述第一子图像对应的位姿信息包括第一位姿信息和第二位姿信息，所述根据每个所述第一子图像对应的特征点集合，确定每个所述第一子图像对应的位姿信息，包括：
根据每个所述第一子图像对应的第一特征点对的集合，确定每个所述第一子图像与和自身相邻的其他第一子图像之间的相对位姿关系，得到所述第一位姿信息；
根据每个所述第一子图像对应的第二特征点对的集合，确定每个所述第一子图像与至少一个所述第三子图像之间的相对位姿关系，得到所述第二位姿信息。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述根据每个所述第一子图像以及每个所述第一子图像对应的深度图，获取所述目标现实场景对应的三维重建数据，包括：
根据所述第一子图像以及每个所述第一子图像对应的深度图，确定每个所述第一子图像中的特征点在目标坐标系下的三维坐标信息，得到每个特征点对应的三维坐标信息；
基于每个所述特征点对应的三维坐标信息，生成所述目标现实场景对应的三维重建数据。
8.一种三维场景重建装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标全景图像，所述目标全景图像为全景视频中的任一帧视频图像，所述全景视频是由全景相机针对目标现实场景拍摄得到的；
图像分割模块，用于根据所述目标现实场景对应的图像分割策略,对所述目标全景图像进行图像分割，得到多个第一子图像，多个所述第一子图像的图像方向与所述图像分割策略中包含的多个预设拍摄方向一一对应；
深度图获取模块，用于获取每个第一子图像对应的深度图；
三维重建数据获取模块，用于根据每个所述第一子图像以及每个所述第一子图像对应的深度图，获取所述目标现实场景对应的三维重建数据；
场景重建模块，用于基于所述三维重建数据生成所述目标现实场景对应的目标虚拟场景。
9.一种计算机设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器；
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至7任一项所述的方法。
CN202310133895.5A 2023-02-17 2023-02-17 三维场景重建方法、装置、计算机设备及存储介质 Pending CN116342831A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310133895.5A CN116342831A (zh) 2023-02-17 2023-02-17 三维场景重建方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310133895.5A CN116342831A (zh) 2023-02-17 2023-02-17 三维场景重建方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN116342831A true CN116342831A (zh) 2023-06-27

Family

ID=86890590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310133895.5A Pending CN116342831A (zh) 2023-02-17 2023-02-17 三维场景重建方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116342831A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237512A (zh) * 2023-11-10 2023-12-15 深圳市易图资讯股份有限公司 一种视频图像的三维场景映射方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237512A (zh) * 2023-11-10 2023-12-15 深圳市易图资讯股份有限公司 一种视频图像的三维场景映射方法及系统
CN117237512B (zh) * 2023-11-10 2024-03-12 深圳市易图资讯股份有限公司 一种视频图像的三维场景映射方法及系统

Similar Documents

Publication Publication Date Title
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
Huang et al. Deep volumetric video from very sparse multi-view performance capture
JP6425780B1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
EP1960970B1 (en) Stereo video for gaming
Cheung et al. A real time system for robust 3D voxel reconstruction of human motions
KR101608253B1 (ko) 이미지 기반 멀티 뷰 3d 얼굴 생성
CN110634177A (zh) 一种物体建模运动方法、装置与设备
US11200690B2 (en) Image processing apparatus, three-dimensional shape data generation method, and non-transitory computer readable storage medium
WO2013056188A1 (en) Generating free viewpoint video using stereo imaging
WO2013029675A1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
CN112348958A (zh) 关键帧图像的采集方法、装置、系统和三维重建方法
WO2023015409A1 (zh) 物体姿态的检测方法、装置、计算机设备和存储介质
CN111382618B (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
CN110580720A (zh) 一种基于全景图的相机位姿估计方法
CN110998671A (zh) 三维重建方法、装置、系统和存储介质
CN116342831A (zh) 三维场景重建方法、装置、计算机设备及存储介质
JP6799468B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
Aliakbarpour et al. Multi-sensor 3D volumetric reconstruction using CUDA
Narayanan et al. Virtual worlds using computer vision
Chen et al. Accurate human body reconstruction for volumetric video
CN112651357A (zh) 图像中目标物体的分割方法、三维重建方法及相关装置
Hwang et al. Image-based object reconstruction using run-length representation
US20240096041A1 (en) Avatar generation based on driving views
JP6759300B2 (ja) 情報処理装置、情報処理方法及びプログラム
Chen et al. A quality controllable multi-view object reconstruction method for 3D imaging systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination