CN112819928B - 一种模型重建方法、装置、电子设备及存储介质 - Google Patents
一种模型重建方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112819928B CN112819928B CN202110107489.2A CN202110107489A CN112819928B CN 112819928 B CN112819928 B CN 112819928B CN 202110107489 A CN202110107489 A CN 202110107489A CN 112819928 B CN112819928 B CN 112819928B
- Authority
- CN
- China
- Prior art keywords
- marked
- pictures
- group
- model
- groups
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Architecture (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供一种模型重建方法、装置、电子设备及存储介质,该方法包括:获取目标物体的多组标记图片,多组标记图片中的任意两组是采集设备与目标物体的相对位置不同时采集的,任意一组的所有标记图片中任意两张图片的目标物体上既具有不同的标记点,也具有相同的标记点;对多组标记图片进行重建,获得物体模型。在上述的实现过程中,通过在每组的所有标记图片中任意两张图片的目标物体上既设置有不同的标记点,也设置有相同的标记点,使用既包含纹理信息又包含标记点的图片来进行重建,在重建获得物体模型的过程中,从图片中消除了标记点,因此,获得了保留纹理信息的物体模型,改善了难以重建出低纹理模型的问题。
Description
技术领域
本申请涉及图像处理及三维重建的技术领域,具体而言,涉及一种模型重建方法、装置、电子设备及存储介质。
背景技术
现有的物体模型的重建方法,通常是设计人员在观察实际物体后,使用专业的建模软件对该实际物体进行模型重建,从而获得物体模型。然而,在具体的实践过程中发现,使用人工重建的物体模型难以体现低层次的纹理信息,即难以生动地模拟物体表面的纹理信息,具有低层次的纹理信息的模型又被称为低纹理模型。因此,使用现有的物体模型的重建方法难以重建出低纹理模型。
发明内容
本申请实施例的目的在于提供一种模型重建方法、装置、电子设备及存储介质,用于改善难以重建出低纹理模型的问题。
本申请实施例提供了一种模型重建方法,包括:获取目标物体的多组标记图片,多组标记图片中的任意两组是采集设备与目标物体的相对位置不同时采集的,多组标记图片中的任意一组的所有标记图片是相对位置相同时采集的,任意一组的所有标记图片中任意两张图片的目标物体上既具有不同的标记点,也具有相同的标记点;对多组标记图片进行重建,获得物体模型。在上述的实现过程中,通过获取目标物体的多组标记图片,在每组的所有标记图片中任意两张图片的目标物体上既设置有不同的标记点,也设置有相同的标记点,使用既包含纹理信息又包含标记点的图片来进行重建,获得物体模型;在重建获得物体模型的过程中,从图片中消除了标记点,因此,获得了保留纹理信息的物体模型,改善了难以重建出低纹理模型的问题。
可选地,在本申请实施例中,在获得物体模型之后,还包括:对多组标记图片中的每组标记图片进行处理,获得多张无标记点图片;根据多张无标记点图片对物体模型进行贴图计算,获得物体模型对应的贴图。在上述的实现过程中,通过对多组标记图片中的每组标记图片进行处理,并根据处理获得的多张无标记点图片对物体模型进行贴图计算,获得物体模型对应的贴图,从而避免了直接使用MVS算法对标记图片进行处理获得有标记点的贴图,导致有标记点的贴图无法使用的问题,有效地提高了获得物体模型对应的贴图的准确率。
可选地,在本申请实施例中,在获得物体模型对应的贴图之后,还包括:根据物体模型对应的贴图生成视频动画。在上述的实现过程中,根据低纹理的物体模型对应的贴图生成视频动画,从而有效地使用获得低纹理的物体模型生成视频动画,提高了生成视频动画的质量。
可选地,在本申请实施例中,对多组标记图片进行重建,包括:使用多视图立体重建算法对多组标记图片进行重建。在上述的实现过程中,通过使用多视图立体重建算法对多组标记图片进行重建,从而使得在重建获得物体模型的过程中,从图片中消除了标记点,因此,获得了保留纹理信息的物体模型,改善了难以重建出低纹理模型的问题。
本申请实施例还提供了一种模型重建装置,包括:标记图片获取模块,用于获取目标物体的多组标记图片,多组标记图片中的任意两组是采集设备与目标物体的相对位置不同时采集的,多组标记图片中的任意一组的所有标记图片是相对位置相同时采集的,任意一组的所有标记图片中任意两张图片的目标物体上既具有不同的标记点,也具有相同的标记点;物体模型获得模块,用于对多组标记图片进行重建,获得物体模型。
可选地,在本申请实施例中,模型重建装置,还包括:标记图片获得模块,用于对多组标记图片中的每组标记图片进行处理,获得多张无标记点图片;模型贴图计算模块,用于根据多张无标记点图片对物体模型进行贴图计算,获得物体模型对应的贴图。
可选地,在本申请实施例中,模型重建装置,还包括:视频动画生成模块,用于根据物体模型对应的贴图生成视频动画。
可选地,在本申请实施例中,物体模型获得模块,包括:标记图片重建模块,用于使用多视图立体重建算法对多组标记图片进行重建。
本申请实施例还提供了一种电子设备,包括:处理器和存储器,存储器存储有处理器可执行的机器可读指令,机器可读指令被处理器执行时执行如上面描述的方法。
本申请实施例还提供了一种存储介质,该存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上面描述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出的本申请实施例提供的模型重建方法的流程示意图;
图2示出的本申请实施例提供的获取标记图片的示意图;
图3示出的本申请实施例提供的对物体模型进行贴图的流程示意图;
图4示出的本申请实施例提供的模型重建装置的结构示意图;
图5示出的本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述。
在介绍本申请实施例提供的模型重建方法之前,先介绍本申请实施例中所涉及的一些概念:
采集设备,是指对目标进行图像采集的设备,这里的图像采集设备具体例如:单反彩色照相机、黑白照相机、监控摄像机、照相机或带摄像头的终端等,这里的带摄像头的终端例如:手机、智能手环、平板电脑或笔记本等。
图像处理,是指对图像进行分析、加工和处理,使其满足视觉、心理或其他要求的技术;图像处理是信号处理在图像领域上的一个应用;当前大多数的图像均是以数字形式存储,因而图像处理很多情况下指数字图像处理;图像处理是信号处理的子类,另外与计算机科学、人工智能等领域也有密切的关系。
需要说明的是,本申请实施例提供的模型重建方法可以被电子设备执行,这里的电子设备是指具有执行计算机程序功能的设备终端或者服务器,设备终端例如:智能手机、个人电脑(personal computer,PC)、平板电脑、个人数字助理(personal digitalassistant,PDA)、移动上网设备(mobile Internet device,MID)、网络交换机或网络路由器等;服务器是指通过网络提供计算服务的设备,服务器例如:x86服务器以及非x86服务器,非x86服务器包括:大型机、小型机和UNIX服务器。
在介绍本申请实施例提供的模型重建方法之前,先介绍该模型重建方法适用的应用场景,这里的应用场景包括但不限于:使用该模型重建方法建立数字博物馆,或者,使用该模型重建方法重建游戏中的道具、人物和自然实物等虚拟模型,从而提高了模型的重建效率。当然,在具体的实施过程中,还可以将该模型重建方法应用于图像识别和图像处理等领域,或者将获得的物体模型应用于动画产业或教学演示等。
请参见图1示出的本申请实施例提供的模型重建方法的流程示意图;该模型重建方法的主要思路是,通过获取目标物体的多组标记图片,在每组的所有标记图片中任意两张图片的目标物体上既设置有不同的标记点,也设置有相同的标记点,使用既包含纹理信息又包含标记点的图片来进行重建,获得物体模型;在重建获得物体模型的过程中,从图片中消除了标记点,因此,获得了保留纹理信息的物体模型,改善了难以重建出低纹理模型的问题;上述的模型重建方法可以包括:
步骤S110:获取目标物体的多组标记图片,多组标记图片中的任意两组是采集设备与目标物体的相对位置不同时采集的,多组标记图片中的任意一组的所有标记图片是相对位置相同时采集的,任意一组的所有标记图片中任意两张图片的目标物体上既具有不同的标记点,也具有相同的标记点。
标记图片,是指对贴有标记(Mark)点的目标物体进行采集的图像;标记(Mark)点是指为了便于标记目标物体的特征纹理,以及标记目标物体与相机之间的相对位置而设置的标记贴纸,该标记贴纸上映有特殊的图案,以便于获得的标记图像在模型重建时进行特征定位;其中,此处的目标物体可以是花瓶、桌子和武器等非生物,也可以是花草、树木和人等生物。
请参见图2示出的本申请实施例提供的获取标记图片的示意图;上述步骤S110的实施方式包括:假设对花瓶进行模型重建之前,可以采集花瓶的多组标记图片;为了便于理解和说明,此处只描述获得两组标记图片的具体过程如下:
首先,在采集设备与目标物体的第一相对位置时,获取既有部分相同标记点又有部分不同标记点的多张图片作为第一组标记图片;获取图片的具体过程例如:将获取的第一标记图片、第二标记图片和第三标记图片作为第一组标记图片,在获取第一标记图片、第二标记图片和第三标记图片时,采集设备与目标物体的相对位置是相同的;其中,第一标记图片和第二标记图片均有上面的相同标记点和中间及下面的不同标记点,且第二标记图片和第三标记图片均有中间的相同标记点和上面及下面的不同标记点,且第一标记图片和第二标记图片均有下面的相同标记点和上面及中间的不同标记点,且每个标记图片的上面、中间和下面至少有一处是没有特征点的。
然后,在采集设备与目标物体的第二相对位置时,获取既有部分相同标记点又有部分不同标记点的多张图片作为第二组标记图片,从图中的花瓶上端口可以看出,此处的第二相对位置中的俯仰角不同于上面的第一相对位置中的俯仰角,在具体的实施过程中,相对位置可以通过很多角度信息来体现,例如通过飞机模型中的俯仰角(pitch)、偏航角(yaw)和翻滚角(roll)等等来体现。上述获取图片的具体过程例如:将获取的第三标记图片和第四标记图片作为第二组标记图片,在获取第二组标记图片中的第四标记图片、第五标记图片、第六标记图片、第七标记图片和第八标记图片时,采集设备与目标物体的相对位置是相同的;同理地,第二组标记图片的所有标记图片中任意两张图片的目标物体上既具有不同的标记点,也具有相同的标记点。可以理解的是,第二组标记图片的所有标记图片中至少两张图片的目标物体上相同标记点的位置可以是不同的,也可以有相同标记点的位置相同的两张图片,但是,应当至少有两张图片中的相同标记点的位置是不相同的(即相同的标记点在目标物体上的位置是不相同的)。
最后,按照上面的方式获取采集设备与目标物体的不同相对位置的多组图片,从而获取目标物体的多组标记图片,并对多组标记图片分别打包标记,以便于在下面模型重建时使用。
需要说明的是,上述的第一组特征图片和第二组特征图片的任意两张图片中有标记点相同但是位置不同的情况,这样设置是为了更好地恢复出原始的目标物体(例如花瓶)的纹理信息:具体例如:将第一组标记图片中的所有叠加在一起时,第一组标记图片中的任意位置像素点至少有一张图片保留目标物体的原始像素点,而不是全部被标记(Mark)点所遮挡,第二组标记图片也是同样的道理,因此,第一组标记图片和第二组标记图片一起叠加能够恢复出没有标记点的目标物体的原始图像。
可以理解的是,上述步骤S110中的获取目标物体的多组标记图片的具体动作可以由机械臂来做,也可以由人工来做。
步骤S120:对多组标记图片进行重建,获得物体模型。
上述步骤S120的实施方式有很多种,包括但不限于如下几种:
第一种实施方式,使用多视图立体(Multi View Stereo,MVS)重建算法对多组标记图片进行重建,获得物体模型;其中,多视图立体是对于多视图三维重建一系列方法的总称,简而言之,就是利用多个相机拍摄的多张照片,来重建出照片中的场景。
第二种实施方式,使用三维模型扫描制作软件对多组标记图片进行重建,获得物体模型;其中,可以使用的三维模型扫描制作软件包括但不限于:RealityCapture和AgisoftPhotoScan等软件。
第三种实施方式,使用深度神经网络模型对多组标记图片进行重建,获得物体模型;该实施方式具体例如:使用VGG网络模型、Resnet网络模型、Wide Resnet网络模型和Inception网络模型等深度神经网络模型对多组标记图片进行重建,获得物体模型;其中,VGG网络模型具体例如:VGG16或者VGG19;Resnet网络模型具体例如:Resnet12、Resnet50或者Resnet101;Wide Resnet网络模型具体例如Wide Resnet-28-10网络模型,这里的WideResnet-28-10网络模型有时又被缩写为WRN-28-10;Inception网络模型具体例如:Inception v1、Inception v2或者Inception v3等网络模型。
可选地,在获得物体模型之后,还可以使用三维建模软件对物体模型进行调整和修改,此处的三维建模软件包括但不限于:Autodesk 123D、3D Studio Max、Auto CAD、SketchUp、Solidworks和Maya等等软件。
在上述的实现过程中,先在采集设备与目标物体的相同相对位置时,获取既有部分相同标记点又有部分不同标记点的多张图片作为一组标记图片,从而获取采集设备与目标物体的不同相对位置的多组图片,然后对多组标记图片进行重建,获得物体模型;也就是说,通过获取目标物体的多组标记图片,在每组的所有标记图片中任意两张图片的目标物体上既设置有不同的标记点,也设置有相同的标记点,使用既包含纹理信息又包含标记点的图片来进行重建,获得物体模型;在重建获得物体模型的过程中,从图片中消除了标记点,因此,获得了保留纹理信息的物体模型,改善了难以重建出低纹理模型的问题。
请参见图3示出的本申请实施例提供的对物体模型进行贴图的流程示意图;可选地,在获得物体模型之后,还可以对物体模型进行贴图,该实施方式具体可以包括:
步骤S210:对多组标记图片中的每组标记图片进行处理,获得多张无标记点图片。
需要说明的是,多组标记图片中的每组标记图片中均包括多个标记图片,此处的多个标记图片中同一位置的像素点可能在标记(Mark)区域,也可能没有在标记区域(即该像素点是目标对象的原始像素点);在多个标记图片中必须要有至少一个标记图片的同一位置的像素点没有在标记区域(即该像素点是目标对象的原始像素点),换句话说,该像素点是没有被标记(Mark)所遮挡的。如果出现该组标记图片中的所有标记图片同一位置的像素点均在标记(Mark)区域,那么必须要向该组标记图片中增加没有被标记(Mark)所遮挡的标记图片,直到满足上述的预设条件为止,该预设条件为“在多个标记图片中必须要有至少一个标记图片的同一位置的像素点没有在标记区域”。
上述步骤S210的实施方式有很多种,包括但不限于如下几种:
第一种实施方式,针对每组标记图片的多个标记图片中同一位置的每个像素点,可以先从多个标记图片中筛选出该像素点没有在标记区域的标记图片,然后从这些标记图片中取出同一位置的像素点,获得多个像素点,可以将此处的多个像素点的平均值或者中值作为上述无标记点图片中的像素点值,即可获得该组标记图片对应的无标记点图片。可以理解的是,如果对多组标记图片中的每组标记图片都进行上述的处理,即可获得多张无标记点图片。在具体的实施过程中,可以使用各种语言编写的程序对多组标记图片中的每组标记图片进行处理;该实施方式具体例如:使用C、C++、Java、BASIC、JavaScript、LISP、Shell、Perl、Ruby和Python语言编写的程序对多组标记图片中的每组标记图片进行处理,获得多张无标记点图片。
第二种实施方式,针对每组标记图片的多个标记图片中同一位置的每个像素点,可以先从多个标记图片中筛选出该像素点没有在标记区域的标记图片,然后从这些标记图片中取出同一位置的像素点,获得多个像素点。从多个像素点中选出最大像素点值和最小像素点值,将最大像素点值和最小像素点值作为上述无标记点图片中的像素点值,即可获得该组标记图片对应的无标记点图片。可以理解的是,如果对多组标记图片中的每组标记图片都进行上述的处理,即可获得多张无标记点图片。
第三种实施方式,使用深度神经网络模型对多组标记图片中的每组标记图片进行处理,可以理解的是,该深度神经网络模型可以学习到上述第一实施方式或者第二实施方式对图片处理的过程;该实施方式具体例如:使用VGG网络模型、Resnet网络模型、WideResnet网络模型和Inception网络模型等深度神经网络模型对多组标记图片中的每组标记图片进行处理;其中,VGG网络模型具体例如:VGG16或者VGG19;Resnet网络模型具体例如:Resnet12、Resnet50或者Resnet101;Wide Resnet网络模型具体例如Wide Resnet-28-10网络模型,这里的Wide Resnet-28-10网络模型有时又被缩写为WRN-28-10;Inception网络模型具体例如:Inception v1、Inception v2或者Inception v3等网络模型。
在步骤S210之后,执行步骤S220:根据多张无标记点图片对物体模型进行贴图计算,获得物体模型对应的贴图。
上述步骤S220的实施方式例如:使用三维模型扫描制作软件根据多张无标记点图片对物体模型进行贴图计算,获得物体模型对应的贴图;其中,可以使用的三维模型扫描制作软件包括但不限于:RealityCapture和AgisoftPhotoScan等软件;可以理解的是,由于每组图片可以恢复出没有标记点的目标物体的原始图像,而多组标记图片是采集设备与目标物体的相对位置不同时采集的,即相当于从不同角度拍摄到目标物体的全景图片;因此,可以根据多组标记图片可以获得没有特征点的颜色贴图。
在上述的实现过程中,通过对多组标记图片中的每组标记图片进行处理,并根据处理获得的多张无标记点图片对物体模型进行贴图计算,获得物体模型对应的贴图,从而避免了直接使用MVS算法对标记图片进行处理获得有标记点的贴图,导致有标记点的贴图无法使用的问题,有效地提高了获得物体模型对应的贴图的准确率。
可选地,在本申请实施例中,在获得物体模型和物体模型对应的贴图之后,还可以生成视频动画,该实施方式可以包括:
步骤S230:根据物体模型对应的贴图生成视频动画。
上述步骤S230的实施方式例如:根据物体模型对应的贴图生成视频动画;对视频画面进行网格细分、纹理贴图和光照处理等操作,最后形成贴图后的物体模型的视频动画,从上述的Autodesk 123D、3D Studio Max、Auto CAD、SketchUp、Solidworks和Maya等等三维建模软件中导出视频动物。
在上述的实现过程中,根据低纹理的物体模型对应的贴图生成视频动画,从而有效地使用获得低纹理的物体模型生成视频动画,提高了生成视频动画的质量。
请参见图4示出的本申请实施例提供的模型重建装置的结构示意图;本申请实施例提供了一种模型重建装置300,包括:
标记图片获取模块310,用于获取目标物体的多组标记图片,多组标记图片中的任意两组是采集设备与目标物体的相对位置不同时采集的,多组标记图片中的任意一组的所有标记图片是相对位置相同时采集的,任意一组的所有标记图片中任意两张图片的目标物体上既具有不同的标记点,也具有相同的标记点。
物体模型获得模块320,用于对多组标记图片进行重建,获得物体模型。
可选地,在本申请实施例中,模型重建装置,还包括:
标记图片获得模块,用于对多组标记图片中的每组标记图片进行处理,获得多张无标记点图片。
模型贴图计算模块,用于根据多张无标记点图片对物体模型进行贴图计算,获得物体模型对应的贴图。
可选地,在本申请实施例中,模型重建装置,还可以包括:
视频动画生成模块,用于根据物体模型对应的贴图生成视频动画。
可选地,在本申请实施例中,物体模型获得模块,包括:
标记图片重建模块,用于使用多视图立体重建算法对多组标记图片进行重建。
应理解的是,该装置与上述的模型重建方法实施例对应,能够执行上述方法实施例涉及的各个步骤,该装置具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operating system,OS)中的软件功能模块。
请参见图5示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备400,包括:处理器410和存储器420,存储器420存储有处理器410可执行的机器可读指令,机器可读指令被处理器410执行时执行如上的方法。
本申请实施例还提供了一种存储介质430,该存储介质430上存储有计算机程序,该计算机程序被处理器410运行时执行如上的方法。
其中,存储介质430可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM),可编程只读存储器(Programmable Red-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。
本申请实施例提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其他的方式实现。以上所描述的装置实施例仅是示意性的,例如,附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以和附图中所标注的发生顺序不同。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这主要根据所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以使用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请实施例中的各个实施例的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上的描述,仅为本申请实施例的可选实施方式,但本申请实施例的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请实施例的保护范围之内。
Claims (8)
1.一种模型重建方法,其特征在于,包括:
获取目标物体的多组标记图片,所述多组标记图片中的任意两组是采集设备与所述目标物体的相对位置不同时采集的,所述多组标记图片中的任意一组的所有标记图片是所述相对位置相同时采集的,所述任意一组的所有标记图片中任意两张图片的目标物体上既具有不同的标记点,也具有相同的标记点;
对所述多组标记图片进行重建,获得物体模型;
对所述多组标记图片中的每组标记图片进行处理,获得多张无标记点图片;
根据所述多张无标记点图片对所述物体模型进行贴图计算,获得所述物体模型对应的贴图;
其中,针对所述多组标记图片中的任意一组标记图片,若该组标记图片中的所有标记图片的同一位置像素点均在标记区域中,则向该组标记图片中增加没有被所述标记区域所遮挡的标记图片,直到该组标记图片中的至少一个标记图片的同一位置像素点没有在标记区域中。
2.根据权利要求1所述的方法,其特征在于,在所述获得所述物体模型对应的贴图之后,还包括:
根据所述物体模型对应的贴图生成视频动画。
3.根据权利要求1-2任一所述的方法,其特征在于,所述对所述多组标记图片进行重建,包括:
使用多视图立体重建算法对所述多组标记图片进行重建。
4.一种模型重建装置,其特征在于,包括:
标记图片获取模块,用于获取目标物体的多组标记图片,所述多组标记图片中的任意两组是采集设备与所述目标物体的相对位置不同时采集的,所述多组标记图片中的任意一组的所有标记图片是所述相对位置相同时采集的,所述任意一组的所有标记图片中任意两张图片的目标物体上既具有不同的标记点,也具有相同的标记点;
物体模型获得模块,用于对所述多组标记图片进行重建,获得物体模型;
标记图片获得模块,用于对所述多组标记图片中的每组标记图片进行处理,获得多张无标记点图片;
模型贴图计算模块,用于根据所述多张无标记点图片对所述物体模型进行贴图计算,获得所述物体模型对应的贴图;
其中,针对所述多组标记图片中的任意一组标记图片,若该组标记图片中的所有标记图片的同一位置像素点均在标记区域中,则向该组标记图片中增加没有被所述标记区域所遮挡的标记图片,直到该组标记图片中的至少一个标记图片的同一位置像素点没有在标记区域中。
5.根据权利要求4所述的装置,其特征在于,所述模型重建装置,还包括:
视频动画生成模块,用于根据所述物体模型对应的贴图生成视频动画。
6.根据权利要求4-5任一所述的装置,其特征在于,所述物体模型获得模块,包括:
标记图片重建模块,用于使用多视图立体重建算法对所述多组标记图片进行重建。
7.一种电子设备,其特征在于,包括:处理器和存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述机器可读指令被所述处理器执行时执行如权利要求1至3任一所述的方法。
8.一种存储介质,其特征在于,该存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至3任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110107489.2A CN112819928B (zh) | 2021-01-27 | 2021-01-27 | 一种模型重建方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110107489.2A CN112819928B (zh) | 2021-01-27 | 2021-01-27 | 一种模型重建方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112819928A CN112819928A (zh) | 2021-05-18 |
CN112819928B true CN112819928B (zh) | 2022-10-28 |
Family
ID=75859513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110107489.2A Active CN112819928B (zh) | 2021-01-27 | 2021-01-27 | 一种模型重建方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112819928B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102364524A (zh) * | 2011-10-26 | 2012-02-29 | 清华大学 | 一种基于变光照多视角间差采样的三维重建方法和装置 |
CN108961383A (zh) * | 2017-05-19 | 2018-12-07 | 杭州海康威视数字技术股份有限公司 | 三维重建方法及装置 |
CN109840939A (zh) * | 2019-01-08 | 2019-06-04 | 北京达佳互联信息技术有限公司 | 三维重建方法、装置、电子设备及存储介质 |
CN110266952A (zh) * | 2019-06-28 | 2019-09-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备以及存储介质 |
CN110991281A (zh) * | 2019-11-21 | 2020-04-10 | 电子科技大学 | 一种动态人脸识别方法 |
CN111080517A (zh) * | 2019-11-26 | 2020-04-28 | 河北工业大学 | 基于改进蝴蝶优化算法的三维点云拼接方法 |
CN111724481A (zh) * | 2020-06-24 | 2020-09-29 | 嘉应学院 | 对二维图像进行三维重构的方法、装置、设备及存储介质 |
CN111815709A (zh) * | 2019-04-10 | 2020-10-23 | 四川大学 | 一种基于普通数码相机的单位姿多像面三维重建方法 |
CN111970513A (zh) * | 2020-08-14 | 2020-11-20 | 成都数字天空科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN112135091A (zh) * | 2020-08-27 | 2020-12-25 | 杭州张量科技有限公司 | 监控场景标记方法、装置、计算机设备和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110390717B (zh) * | 2019-07-02 | 2023-03-31 | 北京字节跳动网络技术有限公司 | 3d模型重建方法、装置及电子设备 |
-
2021
- 2021-01-27 CN CN202110107489.2A patent/CN112819928B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102364524A (zh) * | 2011-10-26 | 2012-02-29 | 清华大学 | 一种基于变光照多视角间差采样的三维重建方法和装置 |
CN108961383A (zh) * | 2017-05-19 | 2018-12-07 | 杭州海康威视数字技术股份有限公司 | 三维重建方法及装置 |
CN109840939A (zh) * | 2019-01-08 | 2019-06-04 | 北京达佳互联信息技术有限公司 | 三维重建方法、装置、电子设备及存储介质 |
CN111815709A (zh) * | 2019-04-10 | 2020-10-23 | 四川大学 | 一种基于普通数码相机的单位姿多像面三维重建方法 |
CN110266952A (zh) * | 2019-06-28 | 2019-09-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备以及存储介质 |
CN110991281A (zh) * | 2019-11-21 | 2020-04-10 | 电子科技大学 | 一种动态人脸识别方法 |
CN111080517A (zh) * | 2019-11-26 | 2020-04-28 | 河北工业大学 | 基于改进蝴蝶优化算法的三维点云拼接方法 |
CN111724481A (zh) * | 2020-06-24 | 2020-09-29 | 嘉应学院 | 对二维图像进行三维重构的方法、装置、设备及存储介质 |
CN111970513A (zh) * | 2020-08-14 | 2020-11-20 | 成都数字天空科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN112135091A (zh) * | 2020-08-27 | 2020-12-25 | 杭州张量科技有限公司 | 监控场景标记方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
基于旋转多视角深度配准的三维重建方法;李怀泽 等;《计算机应用》;20121201;第32卷(第12期);3365-3368 * |
Also Published As
Publication number | Publication date |
---|---|
CN112819928A (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108961303B (zh) | 一种图像处理方法、装置、电子设备和计算机可读介质 | |
CN113689540B (zh) | 基于rgb视频的物体重建方法和装置 | |
US20240046557A1 (en) | Method, device, and non-transitory computer-readable storage medium for reconstructing a three-dimensional model | |
CN109493297B (zh) | 低质量人脸图像增强方法、系统、设备及存储介质 | |
CN110889824A (zh) | 一种样本生成方法、装置、电子设备及计算机可读存储介质 | |
CN110648397A (zh) | 场景地图生成方法、装置、存储介质及电子设备 | |
CN110276831B (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
CN111144491B (zh) | 图像处理方法、装置及电子系统 | |
CN113256781A (zh) | 虚拟场景的渲染和装置、存储介质及电子设备 | |
CN112967341A (zh) | 基于实景图像的室内视觉定位方法、系统、设备及存储介质 | |
CN113505799B (zh) | 显著性检测方法及其模型的训练方法和装置、设备、介质 | |
CN111028279A (zh) | 点云数据处理方法及装置、电子设备和存储介质 | |
CN112418195A (zh) | 一种人脸关键点检测方法、装置、电子设备及存储介质 | |
CN110827341A (zh) | 一种图片深度估计方法、装置和存储介质 | |
CN112714263B (zh) | 视频生成方法、装置、设备及存储介质 | |
CN113766117B (zh) | 一种视频去抖动方法和装置 | |
CN112819928B (zh) | 一种模型重建方法、装置、电子设备及存储介质 | |
CN110378948B (zh) | 3d模型重建方法、装置及电子设备 | |
CN117372607A (zh) | 一种三维模型的生成方法、装置及电子设备 | |
CN109040612B (zh) | 目标对象的图像处理方法、装置、设备及存储介质 | |
CN112652056B (zh) | 一种3d信息展示方法及装置 | |
CN117252914A (zh) | 深度估计网络的训练方法、装置、电子设备及存储介质 | |
CN113537359A (zh) | 训练数据的生成方法及装置、计算机可读介质和电子设备 | |
CN115049572A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN115761389A (zh) | 图像样本的增广方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |