CN113706431A - 模型优化方法及相关装置、电子设备和存储介质 - Google Patents
模型优化方法及相关装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113706431A CN113706431A CN202110988927.0A CN202110988927A CN113706431A CN 113706431 A CN113706431 A CN 113706431A CN 202110988927 A CN202110988927 A CN 202110988927A CN 113706431 A CN113706431 A CN 113706431A
- Authority
- CN
- China
- Prior art keywords
- model
- vertex
- patch
- optimization
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 247
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000006870 function Effects 0.000 claims description 65
- 230000009466 transformation Effects 0.000 claims description 47
- 238000012216 screening Methods 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 20
- 238000005286 illumination Methods 0.000 description 14
- 238000010276 construction Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Abstract
本申请公开了一种模型优化方法及相关装置、电子设备和存储介质，其中，模型优化方法包括：获取待优化模型；其中，待优化模型包括若干模型面片，模型面片由模型顶点构成；获取各个模型面片的属性信息和第一法向信息，并获取各个模型顶点的第一位置信息；基于属性信息优化第一法向信息，得到第二法向信息；基于第一法向信息和第二法向信息优化第一位置信息，得到模型顶点的第二位置信息，以对待优化模型进行优化。上述方案，能够提升模型优化质量和效率。
Description
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种模型优化方法及相关装置、电子设备和存储介质。
背景技术
在三维重建应用中，由于诸如重建算法等软件层面原因、或诸如传感器精度等硬件层面原因，最终生成的重建模型往往缺失大量几何细节。因此，有必要对重建模型进行细节优化，以提升模型质量。
目前，现有细节优化方式通常选择优化截断符号距离场(Truncated SignedDistance Function，TSDF)等三维模型的间接表示形式，求解过程往往较为复杂，且优化的结果需要经过额外的构网算法才能体现到最终的三维模型上，不仅引入额外的算法开销，同时构网算法本身可能会再次丢失一部分细节。有鉴于此，如何提升模型优化质量和效率成为亟待解决的问题。
发明内容
本申请提供一种模型优化方法及相关装置、电子设备和存储介质。
本申请第一方面提供了一种模型优化方法，包括：获取待优化模型；其中，待优化模型包括若干模型面片，模型面片由模型顶点构成；获取各个模型面片的属性信息和第一法向信息，并获取各个模型顶点的第一位置信息；基于属性信息优化第一法向信息，得到第二法向信息；基于第一法向信息和第二法向信息优化第一位置信息，得到模型顶点的第二位置信息，以对待优化模型进行优化。
因此，获取待优化模型，且待优化模型包括若干模型面片，模型面片由模型顶点构成，并获取各个模型面片的属性信息和第一法向信息，以及获取各个模型顶点的第一位置信息，从而基于属性信息优化第一法向信息，得到第二法向信息，并基于第一法向信息和第二法向信息优化第一位置信息，得到模型顶点的第二位置信息，以对待优化模型进行优化，一方面由于通过优化前后的法向信息直接对模型进行优化，而无需借助截断符号距离场等间接表示形式，故能够大大减少算法开销，有利于提升优化效率，另一方面由于在优化过程中考虑到各个模型面片和各个模型顶点的连接关系，故有利于提升优化质量，故此能够提高模型优化的质量和效率。
其中，第一位置信息包括第一坐标，第二位置信息包括第二坐标，基于第一法向信息和第二法向信息优化第一位置信息，得到模型顶点的第二位置信息，包括：将各个模型顶点分别作为第一当前顶点，并选择一个与第一当前顶点之间存在连接边的模型顶点作为参考顶点，以及将共享连接边的两个模型面片分别作为第一面片和第二面片；基于第一面片的第一法向信息和第二法向信息，得到第一面片的第一法向变换参数，并基于第二面片的第一法向信息和第二法向信息，得到第二面片的第二法向变换参数；基于第一法向变换参数和第二法向变换参数，构建第一当前顶点的目标函数；其中，目标函数包含第一参考子项和第二参考子项，第一参考子项为预设参考系数与第一当前顶点的第一坐标之积，且第二参考子项为预设参考系数与第一当前顶点的第二坐标之积；基于各个模型顶点的目标函数，求解得到各个模型顶点的第二坐标。
因此，第一位置信息设置为包括第一坐标，第二位置信息设置为包括第二坐标，通过将各个模型顶点分别作为第一当前顶点，并选择一个与第一当前顶点之间存在连接边的模型顶点最参考顶点，以及将共享连接边的两个模型面片分别作为第一面片和第二面片，在此基础上，基于第一面片的第一法向信息和第二法向信息，得到第一面片的第一法向变换参数，并基于第二面片的第一法向信息和第二法向信息，得到第二面片的第二法向变换参数，从而基于第一法向变换参数和第二法向变换参数，构建第一当前顶点的目标函数，且目标函数包含第一参考子项和第二参考子项，第一参考子项为预设参考系数与第一当前顶点的第一坐标之积，第二参考子项为预设参考系数与第一当前顶点的第二坐标之积，进而基于各个模型顶点的目标函数，求解得到各个模型顶点的第二坐标，故在模型顶点的位置坐标优化过程中，同时还考虑预设参考系数分别与模型顶点的第一坐标之积、以及与模型顶点的第二坐标之积，并分别作为目标函数的子项，有利于提升目标函数求解的容错率，提高求解结果的稳定性。
其中，基于第一法向变换参数和第二法向变换参数，构建第一当前顶点的目标函数，包括：获取第一面片中连接边的第一对角，并获取第二面片中连接边的第二对角；基于第一法向变换参数和第一对角、第二法向变换参数和第二对角，以及第一当前顶点的第一坐标、参考顶点的第一坐标，构建第一优化子项；基于第一面片的第一对角、第二面片的第二对角，以及第一当前顶点的第二坐标、参考顶点的第二坐标，构建第二优化子项；基于第一优化子项、第一参考子项、第二优化子项和第二参考子项，得到第一当前顶点的目标函数。
因此，获取第一面片中连接边的第一对象，并获取第二面片中连接边的第二对角，基于第一法向变换参数和第一对角、第二法向变换参数和第二对象，以及第一当前顶点的第一坐标、参考顶点的第一坐标，构建第一优化子项，并基于第一面片的第一对角、第二面片的第二对角，以及第一当前顶点的第二坐标、参考顶点的第二坐标，构建第二优化子项，在此基础上，再基于第一优化子项、第一参考子项、第二优化子项和第二参考子项，得到第一当前顶点的目标函数，故能够在优化过程中，充分考虑相邻面片之间的关联关系，有利于提升优化质量。
其中，基于各个模型顶点的目标函数，求解得到各个模型顶点的第二坐标，包括：基于各个模型顶点的目标函数，联立关于各个模型顶点的第二坐标的方程组；对方程组进行求解，得到各个模型顶点的第二坐标。
因此，基于各个模型顶点的目标函数，联立关于各个模型顶点的第二坐标的方程组，并对方程组进行求解，得到各个模型顶点的第二坐标，故能够通过联合关于各个模型顶点的第二坐标的方程组，从而一次求解即可得到各个模型顶点的第二坐标，有利于进一步提升模型优化效率。
其中，在基于第一法向信息和第二法向信息优化第一位置信息，得到模型顶点的第二位置信息，以对待优化模型进行优化之前，方法还包括：检测到当前优化阶段满足预设条件，基于模型面片的属性信息、第一法向信息和第二法向信息，获取模型面片的优化损失；基于优化损失，选择至少一个模型面片作为当前优化阶段的待细分面片；基于待细分面片，对待优化模型进行细分，得到细分后的待优化模型，以更新待优化模型的模型面片，并重新执行获取各个模型面片的属性信息和第一法向信息的步骤以及后续步骤。
因此，在进行优化之前，在检测到当前优化阶段满足预设条件时，基于模型面片的属性信息、第一法向信息和第二法向信息，获取模型面片的优化损失，从而基于优化损失，选择至少一个模型面片作为当前优化阶段的待细分面片，并基于待细分面片，对待优化模型进行细分，得到细分后的待优化模型，以更新待优化模型的模型面片，并重新执行获取各个模型面片的属性信息和第一法向信息的步骤以及后续步骤，即在模型优化过程中，能够通过检测各个模型面片的优化损失，并根据优化损失，选择得到待细分面片，从而根据待细分面片对待优化模型进行细分，进而能够进一步提升模型细节，有利于提升模型优化质量。
其中，基于优化损失，选择至少一个模型面片作为当前优化阶段的待细分面片，包括：按照优化损失从大到小的顺序，将模型面片进行排序，并选择位于前预设序位的模型面片，作为待细分面片；或者，选择优化损失大于第一阈值的模型面片，作为待细分面片。
因此，按照优化损失由大到小的顺序，将模型面片进行排序，并选择位于前预设序位的模型面片作为待优化模型，或者直接选择优化损失大于第一阈值的模型面片，作为待细分面片，能够基于优化损失较大的模型面片对待优化模型进行细化，故能够有利于对细节欠佳的部分进行细节优化，有利于提升模型优化质量。
其中，基于待细分面片，对待优化模型进行细分，得到细分后的待优化模型，包括：在待细分面片的边上新增至少一个模型顶点；分别将各个新增的模型顶点作为第二当前顶点，并获取第二当前顶点的候选顶点集合；其中，候选顶点集合包括若干候选顶点，若干候选顶点位于若干候选面片，且若干候选面片均包含第二当前顶点所在的边；在候选顶点集合中选择至少一个候选顶点，并分别连接至少一个候选顶点与第二当前顶点，得到细分后的待优化模型。
因此，在待细分面片的边上新增至少一个模型顶点，分别将各个新增的模型顶点作为第二当前顶点，并获取第二当前顶点的候选顶点集合，且候选顶点集合包含若干候选顶点，候选顶点位于若干候选面片，且若干候选面片均包含第二当前顶点所在的边，在此基础上，在候选顶点集合中选择至少一个候选顶点，并分别连接至少一个候选顶点与第二当前顶点，以细化待优化模型，从而能够在待优化模型细节欠佳的位置处进行模型面片进行细分，有利于在这些部位实现更加精细的优化，提升模型优化质量。
其中，模型优化方法还包括：检测到当前优化阶段不满足预设条件，执行基于第一法向信息和第二法向信息优化第一位置信息，得到模型顶点的第二位置信息，以对待优化模型进行优化的步骤。
因此，在检测到当前优化阶段不满足预设条件时，执行基于第一法向信息和第二法向信息优化第一位置信息，得到模型顶点的第二位置信息，以对待优化模型进行优化的步骤，即在当前优化阶段不满足预设条件的情况下，不再对模型进行细分，有利于在有限时间开销下，尽可能地对细节欠佳的部位进行精细化，有利于控制模型优化耗时。
其中，在基于待细分面片，对待优化模型进行细分，得到细分后的待优化模型之前，模型优化方法还包括：筛选面片面积不低于第二阈值的待细分面片；基于所述待细分面片，对待优化模型进行细分，得到细分后的待优化模型，包括：基于筛选得到的待细分面片，对待优化模型进行细分，得到细分后的待优化模型。
因此，在基于优化损失选择得到待细分面片的情况下，进一步面片面积从中进一步筛选，故能够基于优化损失较大且面片面积较大的模型面片对待优化模型进行细化，一方面由于面片面积过小的模型面片对于模型优化的贡献微乎其微，故能够避免由于对面片面积过小的模型面片过度细分而对优化效率造成的负面影响，有利于提升模型优化效率，另一方面由于面片面积过小的模型面片其模型顶点的位置坐标区分难度也较大，故也有利于提升模型优化的稳定性。
其中，预设条件包括：当前优化阶段未达到预设数值个优化阶段。
因此，通过将预设条件设置为包括：当前优化阶段未达到预设数值个优化阶段，故能够按需对需要细分的面片进行选择性的细分，在控制时间开销增长的前提下，尽可能地提升模型优化质量。
本申请第二方面提供了一种模型优化装置，包括：模型获取模块、信息获取模块、法向优化模块和顶点优化模块，模型获取模块，用于获取待优化模型；其中，待优化模型包括若干模型面片，模型面片由模型顶点构成；信息获取模块，用于获取各个模型面片的属性信息和第一法向信息，并获取各个模型顶点的第一位置信息；法向优化模块，用于基于属性信息优化第一法向信息，得到第二法向信息；顶点优化模块，用于基于第一法向信息和第二法向信息优化第一位置信息，得到模型顶点的第二位置信息，以对待优化模型进行优化。
本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的模型优化方法。
本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的模型优化方法。
上述方案，获取待优化模型，且待优化模型包括若干模型面片，模型面片由模型顶点构成，并获取各个模型面片的属性信息和第一法向信息，以及获取各个模型顶点的第一位置信息，从而基于属性信息优化第一法向信息，得到第二法向信息，并基于第一法向信息和第二法向信息优化第一位置信息，得到模型顶点的第二位置信息，以对待优化模型进行优化，一方面由于通过优化前后的法向信息直接对模型进行优化，而无需借助截断符号距离场等间接表示形式，故能够大大减少算法开销，有利于提升优化效率，另一方面由于在优化过程中考虑到各个模型面片和各个模型顶点的连接关系，故有利于提升优化质量，故此能够提高模型优化的质量和效率。
附图说明
图1是本申请模型优化方法一实施例的流程示意图；
图2是待优化模型一实施例的示意图；
图3是模型面片和模型顶点一实施例的示意图；
图4是本申请模型优化方法另一实施例的流程示意图；
图5a是待细分面片及其相邻面片一实施例的示意图；
图5b是待细分面片及其相邻面片另一实施例的示意图；
图5c是待细分面片及其相邻面片又一实施例的示意图；
图6是待优化模型和优化之后的模型一实施例的示意图；
图7是本申请模型优化装置一实施例的框架示意图；
图8是本申请电子设备一实施例的框架示意图；
图9是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请模型优化方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取待优化模型。
本公开实施例中，待优化模型包括若干模型面片，模型面片由模型顶点构成。请结合参阅图2，图2是待优化模型一实施例的示意图。如图2所示，待优化模型包含若干模型面片，模型面片具体可以包括但不限于三角形，模型面片由模型顶点构成，例如，在模型面片为三角形时，模型面片由三个模型顶点连接而构成。需要说明的是，图2仅仅是示例性地给出了实际应用时一种可能的模型，待优化模型可以是对桌子、椅子等单个物体进行模型重建而得到的，或者，也可以是对沙盘、客厅等包含多个物体的场景进行模型重建而得到的，在此不做限定。为了便于在模型优化过程中计算，待优化模型可以位于世界坐标系中。此外，如无特别说明，下述位置信息、位置坐标等表述具体可以指在世界坐标系中的位置信息、位置坐标。
在一个实施场景中，对于集成有RGB相机和深度相机的设备而言，可以通过该设备采集目标对象的多个关键帧数据，且关键帧数据包含RGB图像和深度图像，并使用最近邻迭代算法(Iterative Closest Point，ICP)、光流法、惯性传感器(Inertial MeasurementUnit，IMU)中的一种或多种组合，求解得到相机位姿。在此基础上，可以结合相机位姿将目标对象的深度图像和参考体素模型进行融合，得到目标对象的重建体素模型，且重建体素模型中体素包含体素信息，体素信息可以包括截断符号距离，并在获取到新的深度图像的情况下，将重建体素模型作为新的参考体素模型，并重新执行上述将目标对象的深度图像和参考体素模型进行融合，得到目标对象的重建体素模型的步骤，直至扫描结束为止。在此基础上，可以采用诸如Marching Cubes等方式对重建体素模型进行处理，得到三维网格，作为待优化模型。
在一个实施场景中，对于仅集成RGB相机的设备而言，可以通过该设备采集到目标对象的多个关键帧数据，且关键帧数据包含RGB图像，并使用运动恢复结构(Structurefrom Motion，SFM)，求解得到相机内参和相机位姿，然后通过多视图匹配算法(Multi-viewStereo，MVS)恢复图像深度信息，最后通过狄洛尼(Delaunay)算法生成目标对象的三维网格，作为待优化的模型。
在一个实施场景中，在通过上述任一种方式得到待优化模型之后，还可以对上述待优化模型进行纹理贴图，从而使得待优化模型中模型面片具有图像信息(如，色彩、明暗等)，再将纹理贴图之后的模型，作为后续优化的待优化模型。具体过程，可以参阅纹理贴图的技术细节，在此不再赘述。
在一个实施场景中，本公开实施例以及下述公开实施例，也可以应用于计算机人工三维建模场景中，具体可以将计算机人工三维建模所得到的模型作为待优化模型，该模型面片数可以较为稀疏(即低模)，例如，在纹理贴图之后，为了进一步丰富细节，可以采用本公开实施例以及下述公开实施例对其进行优化，以得到面片更加稠密、结构更为精细的模型(即高模)。
在一个实施场景中，为了便于描述，待优化模型可以记为
其中，T＝{t0，t1，…}表示模型面片，V＝{v0，v1，…}表示模型顶点。需要说明的是，如前所述，待优化模型可以是在若干帧图像基础上重建得到的，为了便于描述，上述若干帧图像可以记为
其中每帧图像
具体可以包含一帧深度图像和一帧可见光图像Gj(如，RGB图像)，如前所述，深度图像具体可以用于在采用集成RGB相机和深度相机的设备进行模型重建过程中融入深度信息，具体可以参阅前述相关描述，在此不再赘述。此外，需要说明的是，每帧图像具有两个参数，分别为相机位姿Pj和相机内参Kj，故每帧图像Fj可以描述为Fj＝{Gj，Pj，Kj}。
步骤S12：获取各个模型面片的属性信息和第一法向信息，并获取各个模型顶点的第一位置信息。
在一个实施场景中，模型面片t的第一法向信息可以采用法向量来表示，则对于模型面片t∈T而言，可以在模型面片t上任取三个点，为了便于描述，可以记为p1、p2和p3，则可以根据p1和p2中的位置坐标，得到连接p1和p2的第一向量，根据p1和p3中的位置坐标，得到连接p1和p3的第二向量，并根据p2和p3中的位置坐标，得到连接p2和p3的第三向量，由于模型面片t的法向量与第一向量、第二向量、第三向量均正交(即法向量与第一向量、第二向量、第三向量中任一者相乘结果为0)，则根据该关系，可以建立关于模型面片t的法向量的方程组，并求解该方程组得到模型面片t的法向量。此外，也可以基于向量外积快速求解模型面片t的法向量，即模型面片的法向量
其中，
表示连接p1和p2的第一向量，
表示连接p2和p3的第三向量，||.||表示向量取模运算。
在一个实施场景中，属性信息可以包括但不限于：模型面片的亮度信息、色相信息、光度信息和漫反射信息，为了便于描述，模型面片t∈T而言，其亮度信息可以表示I(t)，色相信息可以表示为C(t)，光度信息可以表示B(t)，漫反射信息可以表示为A(t)。
在一个具体的实施场景中，对于待优化模型中第i个模型面片ti∈T而言，可以使用相机位姿Pj和相机内参Kj将待优化模型重投影至第j帧图像Fj的图像坐标系中，并基于深度缓冲算法进行遮挡判断之后，可以根据模型面片ti在可见光图像Gj上覆盖的像素颜色均值计算出该模型面片ti对应于可见光图像Gj的亮度信息Ij(ti)和色相信息Cj(ti)。其他模型面片的亮度信息和色相信息可以以此类推，在此不再一一距离。
在一个具体的实施场景中，在待优化模型经过纹理贴图的情况下，可以直接由模型面片的纹理坐标和纹理图像，得到模型面片的亮度信息和色相信息。
在一个具体的实施场景中，在检测到模型面片未对应任何图像区域的情况下，可以再后续处理过程中对该模型面片进行跳过处理。需要说明的是，下述亮度信息Ij(ti)和色相信息Cj(ti)均表示模型面片ti具有有效的亮度信息和色相信息。
在一个具体的实施场景中，可以假定目标对象表面粗糙，目标对象所在环境的光照以全局光(即自然光)为主，在此基础上，可以估算环境光照系数I。具体地，可以采用三阶球谐光照模型描述环境光，并采用模型面片t∈T的第一法向信息n(t)、漫反射信息A(t)，得到光度信息B(t)：
上述公式(1)中，I＝{l0，l1，…，l8}表示环境光照系数，Hm(n)表示球谐光照基函数，具体可以表示为：
H0(n)＝1.0......(2)
H1(n)＝ny......(3)
H2(n)＝nz......(4)
H3(n)＝nx......(5)
H4(n)＝nxny......(6)
H5(n)＝nynz......(7)
H6(n)＝-nxnx-nyny+2nznz......(8)
H7(n)＝nznx......(9)
H8(n)＝nxnx-nyny......(10)
上述公式(2)至(10)中，第一法向信息n(t)具体可以由法向量进行表示，且nx，ny，nz分别表示第一法向信息n(t)在x轴方向上的分量、y轴方向上的分量、z轴方向上的分量。在此基础上，可以根据光度信息B(t)和模型面片t对应于各个可见光图像Gj的亮度信息Ij(t)，构建得到关于环境光照系数I的优化函数，并最小化求解该优化函数，得到环境光照系数I：
通过上述公式(11)进行最小化求解，得到环境光照系数I，能够使得推导出的光度信息尽可能的贴近于模型面片的亮度信息。此外，在首次执行对环境光照系数的求解过程中，可以将漫反射信息A(t)进行初始化，如可以初始化为1、0.5等等，在此不做限定。需要说明的是，除了采用三阶球谐光照模型描述环境光，也可以采用其他形式的光照模型，如可以采用更高阶的球谐光照模型，在此不做限定。在得到环境光照系数I之后，即可代入公式(1)得到模型面片t的光度信息B(t)。
步骤S13：基于属性信息优化第一法向信息，得到第二法向信息。
具体地，可以根据属性信息和第一法向信息，构建关于第二法向信息的代价函数，并对代价函数进行迭代优化，得到模型面片的第二法向信息。代价函数具体可以包括第一代价子项、第二代价子项、第三代价子项和第四代价子项，其中，第一代价子项用于表示光度信息和亮度信息的梯度残差，第二代价子项用于表示第一法向信息和第二法向信息之间的偏差，第三代价子项用于平滑第二法向信息，第四代价子项用于尽可能避免纹理复制问题。
在一个实施场景中，对于模型面片t∈T而言，可以求取其光度信息B(t)梯度值，并求取该模型面片t对应于各帧图像中亮度信息Ij(t)的梯度值，并求取两者之间的残差值，在此基础上，再基于该模型面片t对应于各帧图像的残差值进行求和，得到第一代价子项Eg(t)。具体可以表示为：
上述公式(12)中，
表示梯度算子。通过约束该子项，能够使得光度信息的梯度尽可能贴近于亮度信息的梯度。需要说明的是，对于模型面片t∈T而言，也可以直接求取该模型面片t对应于各帧图像中亮度信息Ij(t)与光度信息B(t)之间的差值，在此基础上，再基于该模型面片t对应于各帧图像的进行求和，得到第一代价子项Eg(t)，在此情况下，可以适应性地对上述公式(12)修改，得到第一代价子项
在实际应用过程中，可以根据上述两种方式中任一者求取第一代价子项Eg(t)，在此不做限定。需要说明的是，相较于后者，前者通过梯度来计算第一代价子项Eg(t)具有更优的稳定性。
在一个实施场景中，对于模型面片t∈T而言，可以求取其第一法向信息和第二法向信息之间的偏差，得到第二代价子项Es(t)。具体可以表示为：
Es(t)＝||n(t)-n0(t)||2......(13)
上述公式(13)中，n(t)表示第二法向信息，n0(t)表示第一法向信息，||.||表示向量取模函数。通过约束该子项，能够使得第二法向信息接近于第一法向信息，而不至于过于偏离第一法向信息。
在一个实施场景中，对于模型面片t∈T而言，可以获取其相邻面片t′∈N(t)，需要说明的是，模型面片t的相邻面片与模型面片t具有共享边，即两者之间至少共享一条边。在此基础上，可以获取模型面片t的第二法向信息与其相邻面片t′的第二法向信息之间的偏差，得到第三代价子项Er(t)。具体可以表示为：
Er(t)＝∑t′∈N(t)||n(t)-n(t′)||2......(14)
上述公式(14)中，n(t)表示模型面片t的第二法向信息，n(t′)表示模型面片t的相邻面片的第二法向信息，||.||表示向量取模函数。通过约束该子项，能够使得模型面片t的第二法向信息接近于其相邻面片t′的第二法向信息，而不至于过于偏离其相邻面片t′的第二法向信息，从而能够使得相邻面片之间具有一定的平滑性。
在一个实施场景中，对于模型面片t∈T而言，可以获取其在各帧图像中的色相信息Cj(t)及其相邻面片在各帧图像中的色相信息Cj(t′)，并根据两者之间的差异，得到色相权重，与此同时，可以获取模型面片t的漫反射信息A(t)及其相邻面片的漫反射信息A(t′)之间的差异，再根据该差异与色相权重，构建第四代价子项Ea(t)。具体可以表示为：
上述公式(15)中，φ(c)＝1/(1+3||c||)3，其中c表示色相信息Cj(t)与色相信息Cj(t′)之间的差异，φ(c)表示根据该差异计算得到的色相权重。由于模型面片t在各帧图像中的色相信息Cj(t)和其相邻面片t′在各帧图像中的色相信息Cj(t′)差异越大，色相权重越小，故通过约束该子项，能够区分模型面片本身的颜色以及光照所引起的纹理，从而能够有利于抑制纹理复制问题，提升模型优化质量。
在一个实施场景中，在构建得到各个模型面片的第一代价子项、第二代价子项、第三代价子项和第四代价子项之后，即可以结合所有模型面片的第一代价子项、第二代价子项、第三代价子项和第四代价子项，以及第一代价子项、第二代价子项、第三代价子项和第四代价子项各自的重要程度，构建得到代价函数。示例性地，第一代价子项的重要程度λg可以设置为1，第二代价子项的重要程度λs可以设置为0.005，第三代价子项的重要程度λr可以设置为0.003，第四代价子项的重要程度λa可以设置为2，在此不做限定。故代价函数E可以表示为：
E＝∑t∈T(λgEg(t)+λsEs(t)+λrEr(t)+λaEa(t))......(16)
在一个实施场景中，可以采用诸如L-BFGS、DFP等求解算法对代价函数进行求解，以优化得到各个模型面片的第二法向信息以及漫反射信息。具体地，在求解过程中，利用可以迭代执行预设次数上述求解算法，预设次数可以根据实际应用需要进行设置。例如，在对求解效率要求较高的情况下，预设次数可以设置地适当少一些，如可以设置为10、15等等，或者，在对求解效率要求相对宽松的情况下，预设次数可以设置地适当大一些，如可以设置为30、35等等，在此不做限定。需要说明的是，求解算法具体可以采用诸如前述L-BFGS、DFP等拟牛顿算法，相较于其他常规求解算法，采用拟牛顿算法能够在较短时间内求解得到较优结果，从而能够在较短时间内求解得到较优结果，在基本保证质量的同时，极大程度提高优化效率。此外，在对求解效率要求较为宽松的情况下，也可以采用高斯-牛顿法等常规求解算法，在此不做限定。
步骤S14：基于第一法向信息和第二法向信息优化第一位置信息，得到模型顶点的第二位置信息，以对待优化模型进行优化。
具体地，第一位置信息可以包括第一坐标，第二位置信息可以包括第二坐标，将各个模型顶点分别作为第一当前顶点，并选择一个与第一当前顶点之间存在连接边的模型顶点作为参考顶点，由于待优化模型中各条边的端点为模型顶点，故可以在待优化模型中选择以第一当前顶点为端点的边作为上述连接边，并将所选择到的边(即连接边)的另一端点作为参考顶点，具体可以参阅下述相关描述，在此暂不赘述。在此基础上，可以将共享该连接边的两个模型面片分别作为第一面片和第二面片，基于第一面片的第一法向信息和第二法向信息，得到第一面片的第一法向变换参数，并基于第二面片的第一法向信息和第二法向信息，得到第二面片的第二法向变换参数，在此基础上，再基于第一法向变换参数和第二法向变换参数，构建第一当前顶点的目标函数，且目标函数包含第一参考子项和第二参考子项，第一参考子项为预设参考系数与第一当前顶点的第一坐标之积，第二参考子项为预设参考系数与第一当前顶点的第二坐标之积，基于此再基于各个模型顶点的目标函数，求解得到各个模型顶点的第二坐标。上述方式，在模型顶点的位置坐标优化过程中，同时还考虑预设参考系数分别与模型顶点的第一坐标之积、以及与模型顶点的第二坐标之积，并分别作为目标函数的子项，有利于提升目标函数求解的容错率，提高求解结果的稳定性。
在一个实施场景中，请结合参阅图3，图3是模型面片和模型顶点一实施例的示意图。需要说明的是，为了直观展示，图3仅示例性地表示待优化模型的部分区域。如图3所示，模型顶点A为第一当前顶点，以模型顶点A为端点的边包括：AB、AC、AD、AE，这些边的另一端点即可作为参考顶点，即与第一当前顶点之间存在连接边的模型顶点可以包括：模型顶点B、模型顶点C、模型顶点D、模型顶点E，示例性地，可以选择模型顶点E作为参考顶点，从而可以将共享连接边AE的两个模型面片，即模型面片AED和模型面片AEB，分别作为第一面片和第二面片。在选择模型顶点B、模型顶点C、模型顶点D的情况下，可以以此类推，在此不再一一举例。也就是说，对于第一当前顶点而言，若与其具有连接边的模型顶点有N个，则可以得到N对第一面片和第二面片。
在一个实施场景中，第一面片的第一法向信息乘以第一法向变换参数之后，可以求解得到第一面片的第二法向信息，据此可以求解得到第一法向变换参数；与之类似地，第二面片的第一法向信息乘以第二法向变换参数，可以得到第二面片的第二法向信息，据此可以求解得到第二法向变换参数。
在一个实施场景中，还可以获取第一面片中连接边的第一对角，并获取第二面片中连接边的第二对角。需要说明的是，该连接边具体是指第一面片和第二面片共享的连接边，即连接第一当前顶点和参考顶点所形成的连接边。在此基础上，可以基于第一法向变换参数和第一对角、第二法向变换参数和第二对角，以及第一当前顶点第一坐标、参考顶点的第一坐标，构建第一优化子项，并基于第一面片的第一对角、第二面片的第二对角，以及第一当前顶点的第一坐标、参考顶点的第二坐标，构建第二优化子项，基于此，再基于第一优化子项、第一参考子项、第二优化子项和第二参考子项，得到第一当前顶点的目标函数。上述方式，能够在优化过程中，充分考虑相邻面片之间的关联关系，有利于提升优化质量。
在一个具体的实施场景中，请继续结合参阅图3，在将模型面片AED和模型面片AEB，分别作为第一面片和第二面片之后，可以将第一面片AED中连接边AE的对角(即∠ADE)作为第一对角，并将第二面片AEB中连接边AE的对角(即∠ABE)作为第二对角。其他情况可以以此类推，在此不再一一举例。
在一个具体的实施场景中，可以将第一对角的余切值与第一法向变换参数之积、第二对角的余切值与第二法向变换参数之积求和，得到第一和值，以及求取第一当前顶点的第一坐标、参考顶点的第一坐标的第一差值，并获取第一和值与第一差值之积，得到第一优化子项。
在一个具体的实施场景中，可以将第一对角的余切值、第二对角的余切值求和，得到第二和值，以及求取第一当前顶点的第二坐标、参考顶点的第二坐标的第二差值，并获取第二和值与第二差值之积，得到第二优化子项。
在一个具体的实施场景中，为了便于描述，对于任意模型顶点vi∈V而言，可以将其作为第一当前顶点，其第一坐标可以记为vi，其第二坐标可以记为v′i。模型顶点的参考顶点可以记为vj，其第一坐标可以记为vj，其第二坐标可以记为v′j，并将共享连接边vivj的两个模型面片，即模型面片vivjvk、vivjvl，分别作为第一面片和第二面片，第一面片中连接边vivj的第一对角可以记为
第二面片中连接边vivj的第二对角可以记为
此外，第一面片的第一法向变换参数可以记为
第二面片的第二法向变换参数可以记为
故可以得到第一当前顶点vi的目标函数：
上述公式(17)中，μ表示预设参考系数，具体数值可以根据实际应用设置，如可以设置为0.01。μvi表示第一参考子项，
表示第一优化子项，μv′i表示第二参考子项，
表示第二优化子项。
在一个具体的实施场景中，如前所述，对于第一当前顶点而言，若与其具有连接边的模型顶点有N个，则可以得到N对第一面片和第二面片，则相应地，对于第一当前顶点而言，可以构建得到N个目标函数，为了简化表述，可以将N个目标函数表示为：
上述公式(18)中，N(vi)表示与第一当前顶点vi存在连接边模型顶点集合。
在一个实施场景中，为了降低目标函数的构建复杂度，区别于前述方式，也可以不获取第一面片中连接边的第一对角以及第二面片中连接边的第二对角。在此基础上，可以直接就要第一法向变换参数、第二法向变换参数以及第一当前顶点第一坐标、参考顶点的第一坐标，构建第一优化子项，并基于第一当前顶点的第一坐标、参考顶点的第二坐标，构建第二优化子项，基于此，再基于第一优化子项、第一参考子项、第二优化子项和第二参考子项，得到第一当前顶点的目标函数。在此情况下，第一当前顶点vi的目标函数可以简化为：
与之类似地，对于第一当前顶点而言，可以构建得到N个目标函数，N个目标函数也可以简化表示为：
需要说明的是，本实施场景仅描述与前述方案不同之处，相同之处可以参阅前述相关描述，在此不再赘述。
在一个实施场景中，在得到各个模型顶点的目标函数之后，可以基于各个模型顶点的目标函数，联立关于各个模型顶点的第二坐标的方程组，并对方程组进行求解，即可得到各个模型顶点的第二坐标。上述方式，能够通过联合关于各个模型顶点的第二坐标的方程组，从而一次求解即可得到各个模型顶点的第二坐标，有利于进一步提升模型优化效率。
需要说明的是，在得到各个模型顶点的第二坐标之后，即可认为已经更新待优化模型中各个模型顶点中位置，故待优化模型表面形态也发生变化，由于在模型优化过程中，各个模型顶点的位置信息同步更新，故一方面能够提升优化效率，另一方面也能够兼顾模型顶点之间的关联性，特别是本身存在连接边的相邻顶点之间的关联性，有利于保证模型优化后的面片质量，大大减少狭长、退化、反向等低质量面片的出现几率，保障流程的稳定性，提升结果的可用性。
此外，本公开实施例以及下述公开实施例可以应用于增强现实(AugmentedReality，AR)、虚拟现实(Virtual Reality，VR)等领域，具体如游戏、影视、电子商务、教育、房产、家居装修等应用场景，在此不做限定。
上述方案，获取待优化模型，且待优化模型包括若干模型面片，模型面片由模型顶点构成，并获取各个模型面片的属性信息和第一法向信息，以及获取各个模型顶点的第一位置信息，从而基于属性信息优化第一法向信息，得到第二法向信息，并基于第一法向信息和第二法向信息优化第一位置信息，得到模型顶点的第二位置信息，以对待优化模型进行优化，一方面由于通过优化前后的法向信息直接对模型进行优化，而无需借助截断符号距离场等间接表示形式，故能够大大减少算法开销，有利于提升优化效率，另一方面由于在优化过程中考虑到各个模型面片和各个模型顶点的连接关系，故有利于提升优化质量，故此能够提高模型优化的质量和效率。
请参阅图4，图4是本申请模型优化方法另一实施例的流程示意图。本公开实施例中，为了进一步提升模型细节，还可以在模型优化过程中，待优化模型需进行预设数值个优化阶段。具体而言，可以包括如下步骤：
步骤S41：获取待优化模型。
本公开实施例中，待优化模型包括若干模型面片，模型面片由模型顶点构成，具体可以参阅前述公开实施例中相关描述，在此不再赘述。
步骤S42：获取各个模型面片的属性信息和第一法向信息，并获取各个模型顶点的第一位置信息。
具体可以参阅前述公开实施例中相关描述，在此不再赘述。
步骤S43：基于属性信息优化第一法向信息，得到第二法向信息。
具体可以参阅前述公开实施例中相关描述，在此不再赘述。需要说明的是，如前述公开实施例所述，在优化第一法向信息，得到第二法向信息过程中，还能够优化得到各个模型面片的漫反射信息。
步骤S44：检测当前优化阶段是否满足预设条件，若是则执行步骤S45，否则执行步骤S49。
具体地，预设条件可以设置为包括：当前优化阶段未达到预设数值个优化阶段。为了便于计数，在首次检测时，可以初始化一个计数参数n，该计数参数n用于表示当前优化阶段，例如，在首次检测时，该计数参数可以设置为0。此外，预设数值可以根据实际情况进行设置，如在对模型优化效率要求较高的情况下，预设数值可以设置地适当小一些，如可以设置为2、3等，或者，在对模型优化效率要求相对宽松的情况下，预设数值可以设置地适当大一些，如可以设置为4、5等，在此不做限定。
步骤S45：基于模型面片的属性信息、第一法向信息和第二法向信息，获取模型面片的优化损失。
在当前优化阶段满足预设条件的情况下，可以对待优化模型进行细化。具体地，可以基于模型面片的属性信息、第一法向信息和第二法向信息，获取模型面片的优化损失。如前述公开实施例所述，属性信息可以包括但不限于：模型面片的亮度信息、色相信息、光度信息和漫反射信息。此外，为了便于描述，模型面片t∈T而言，其亮度信息可以表示I(t)，色相信息可以表示为C(t)，光度信息可以表示B(t)，漫反射信息可以表示为A(t)。模型面片的优化损失可以包括第一代价子项、第二代价子项、第三代价子项和第四代价子项，其中，第一代价子项用于表示光度信息和亮度信息的梯度残差，第二代价子项用于表示第一法向信息和第二法向信息之间的偏差，第三代价子项用于平滑第二法向信息，第四代价子项用于尽可能避免纹理复制问题。
在一个实施场景中，上述各个子项的计算方式，可以参阅前述公开实施例中相关描述，在此不再赘述。
在一个实施场景中，如前述公开实施例所述，在构建得到各个模型面片的第一代价子项、第二代价子项、第三代价子项和第四代价子项之后，即可利用第一代价子项、第二代价子项、第三代价子项和第四代价子项各自的重要程度，构建得到优化损失。具体可以利用第一代价子项、第二代价子项、第三代价子项和第四代价子项各自的重要程度，构建得到分别对第一代价子项、第二代价子项、第三代价子项和第四代价子项进行加权处理，得到优化损失。上述各个子项各自的重要程度，可以参阅前述公开实施例中相关描述，在此不再赘述。
需要说明的是，与前述公开实施例中各个子项过程不同的是，在计算优化损失时，所采用的漫反射信息为在最近更新第一法向信息过程中，同步优化得到的漫反射信息，即在最新一次执行步骤S43时同步更新得到的漫反射信息。
步骤S46：基于优化损失，选择至少一个模型面片作为当前优化阶段的待细分面片。
在一个实施场景中，可以按照优化损失从大到小的顺序，将模型面片进行排序，并选择位于前预设序位的模型面片，作为待细分面片。预设序位可以根据实际应用需要进行设置，例如，可以按照百分比设置为15％、20％、25％等，即可以选择位于前15％、前20％，或者前25％的模型面片，作为待细分面片，或者，也可以按照数值设置为1000、5000、20000等，即可以选择前1000位、前5000位，或者前20000位的模型面片，作为待细分面片，在此不做限定。上述方式，能够基于优化损失较大的模型面片对待优化模型进行细化，故能够有利于对细节欠佳的部分进行细节优化，有利于提升模型优化质量。
在一个实施场景中，也可以直接选择优化损失大于第一阈值的模型面片，作为待细分面片。第一阈值可以根据实际应用需要进行设置，如在对模型优化效果要求较高的情况下，第一阈值可以设置地适当低一些，或者，在对模型优化效果要求相对宽松的情况下，第一阈值可以设置地适当高一些，在此不做限定。上述方式，能够基于优化损失较大的模型面片对待优化模型进行细化，故能够有利于对细节欠佳的部分进行细节优化，有利于提升模型优化质量。需要说明的是，若选择不到优化损失大于第一阈值的模型面片，即所有模型面片的优化损失均不高于第一阈值，则可以认为待优化模型当前的细节效果较好，可以跳过本次模型细分操作，而直接执行后续基于第一法向信息和第二法向信息优化第一位置信息，得到模型顶点的第二位置信息，以对待优化模型进行优化的步骤。
在一个实施场景中，为了进一步提升模型优化质量，还可以基于模型面片的优化损失和面片面积，选择待细分面片。具体地，可以在基于优化损失，选择至少一个模型面片作为当前优化阶段的待细分面片之后，进一步筛选面片面积不低于第二阈值的待细分面片，以在后续基于筛选得到的待细分面片，对待优化模型进行细分，得到细分后的待优化模型。需要说明的是，若选择不到面片面积不低于第二阈值的待细分面积，即所有待细分面片的面片面积均低于第二阈值，则可以认为这些待细分面片无需再细分，可以跳过本次模型细分操作，而直接执行后续基于第一法向信息和第二法向信息优化第一位置信息，得到模型顶点的第二位置信息，以对待优化模型进行优化的步骤。
在一个实施场景中，在基于优化损失选择得到待细分面片，或者结合优化损失和面片面积共同选择得到待细分面片之后，还可以进一步检测选择得到的待细分面片的总数是否多于第三阈值，若是，则可以执行后续基于待细分面片对待优化模型进行细分的步骤，否则可以跳过本次模型细分操作，而直接执行后续基于第一法向信息和第二法向信息优化第一位置信息，得到模型顶点的第二位置信息，以对待优化模型进行优化的步骤。此外，第三阈值的具体数值可以不做限定，例如，可以设置为0、100、500、2000等等。
步骤S47：基于待细分面片，对待优化模型进行细分，得到细分后的待优化模型，以更新待优化模型的模型面片。
在一个实施场景中，可以在待细分面片的边上新增至少一个模型顶点，分别将各个新增的模型顶点作为第二当前顶点，并获取第二当前顶点的候选顶点集合，且候选顶点集合包括若干候选顶点，若干候选顶点位于若干候选面片，且若干候选面片均包含第二当前顶点所在的边，以及在候选顶点集合中选择至少一个候选顶点，并分别连接至少一个候选顶点和第二当前顶点，得到细分后的待优化模型。上述方式，能够在待优化模型细节欠佳的位置处进行模型面片进行细分，有利于在这些部位实现更加精细的优化，提升模型优化质量。
在一个具体的实施场景中，为了在一个优化阶段对待优化模型进行细致细分，可以再待细分面片的各个边上新增至少一个模型顶点。此外，在边上仅新增一个模型顶点的情况下，新增的模型顶点可以位于边的中点。请结合参阅图5a，图5a是待细分面片及其相邻面片一实施例的示意图。需要说明的是，待细分面片与其相邻面片共享连接边，如图5a所示，待细分面片ABC与其相邻面片ABF共享连接边AB，与其相邻面片ACE共享连接边AC，与其相邻面片BCD共享连接边BC。在此情况下，可以在待细分面片ABC的各个边上分别新增一个模型顶点，即可以在待细分面片ABC的边AB上新增模型顶点G，并在待细分面片ABC的边AC上新增模型顶点H，以及在待细分面片ABC的边BC上新增模型顶点I。其他情况可以以此类推，在此不再一一举例。
在一个具体的实施场景中，请继续结合参阅图5a，以模型顶点G作为第二当前顶点为例，由于第二当前顶点G位于边AB，故可以将包含边AB的模型面片ABF和模型面片ABC作为候选面片，并将位于这两个候选面片上的模型顶点(即，模型顶点A、模型顶点B、模型顶点C、模型顶点F、模型顶点G、模型顶点H、模型顶点I)作为候选顶点。其他情况可以以此类推，在此不再一一举例。此外，进一步地，在待优化模型中，候选顶点可以与第二当前顶点不存在连接边，且候选顶点也不可以是第二当前顶点本身，在此情况下，仍以模型顶点G作为第二当前顶点为例，可以将模型顶点C、模型顶点H、模型顶点I、模型顶点F作为候选顶点。其他情况可以以此类推，在此不再一一举例。
在一个具体的实施场景中，为了在优化阶段尽可能地对待优化模型进行细分，可以在候选顶点集合中选择尽可能多的候选顶点，并连接第二当前顶点和候选顶点，以对待优化模型进行细分。请请继续结合参阅图5a，仍以模型顶点G作为第二当前顶点为例，可以选择候选顶点H、候选顶点I和候选顶点F，并连接第二当前顶点G与候选顶点H(如图中虚线所示)，以将待细分面片ABC一分为二，并连接第二当前顶点G与候选顶点I(如图中虚线所示)，以将待细分面片ABC二分为三，并连接第二当前顶点G与候选顶点F(如图中虚线所示)，以将候选面片ABF一分为二。其他情况可以以此类推，在此不再一一举例。由此可见，通过细分待优化模型，模型面片和模型顶点的数量也得以增加，从而能够对原先细节欠佳的部位，进一步优化。
在一个实施场景中，可以在待细分面片内新增一个模型顶点，将新增的模型顶点作为第二当前顶点，并分别连接待细分面片的顶点和第二当前顶点，得到细分后的待优化模型。需要说明的是，可以在待细分面片中随机选择一个点作为新增的模型顶点，也可以选择待细分面片的重心作为新增的模型顶点，在此不做限定。请结合参阅图5b，图5b是待细分面片及其相邻面片另一实施例的示意图。如图5b所示，可以选择待细分面片ABC的重心G作为新增的模型顶点，并将其作为第二当前顶点，以及分别连接待细分面片的顶点A、顶点B、顶点C和第二当前顶点G，从而将待细分面片ABC细分为面片AGC、面片BGC和面片AGB。其他情况可以以此类推，在此不再一一举例。
在一个实施场景中，可以在待细分面片内新增一个模型顶点，从待细分面片的顶点开始连接至新增的模型顶点，并继续延伸至该顶点的对边，以相交得到新的模型顶点，在此基础上，可以将所有新的模型顶点分别作为第二当前顶点，并获取第二当前顶点的候选顶点集合，且候选顶点集合包括若干候选顶点，若干候选顶点位于若干候选面片，且若干候选面片均包含第二当前顶点所在的边，以及在候选顶点集合中选择至少一个候选顶点，并分别连接至少一个候选顶点和第二当前顶点，得到细分后的待优化模型。请结合参阅图5c，图5c是待细分面片及其相邻面片又一实施例的示意图。如图5c所示，可以选择待细分面片ABC的重心J作为新增的模型顶点，分别从待细分面片ABC的顶点A、顶点B、顶点C开始连接至新增的模型顶点J，并继续分别延伸至顶点A的对边BC、顶点B的对边AC、顶点C的对边AB，以分别相交得到新的模型顶点I、新的模型顶点H、新的模型顶点G。在此基础上，可以将所有新的模型顶点G、新的模型顶点H和新的模型顶点I分别作为第二当前顶点，并获取第二当前顶点的候选顶点集合，具体过程可以参阅前述相关描述，在此不再赘述。故此，通过上述细分方式，可以将待细分面片ABC细分为面片AGJ、面片AHJ、面片CHJ、面片CIJ、面片BIJ和面片BGJ，以及将待细分面片ABC的相邻面片ABF细分为面片AGF和面片BGF，将待细分面片ABC的相邻面片BCD细分为面片BID和面片CID，将待细分面片ABC的相邻面片ACE细分为面片AHE和面片CHE。其他情况可以以此类推，在此不再一一举例。
需要说明的是，上述几种细分方式仅仅是实际应用时可能使用的细分方式，本公开实施例并不因此而限定实际细分时所采用的细分方式，在此不做限定。
在一个实施场景中，在对所有新增的模型顶点，均完成与其候选顶点连接之后，可以认为本轮优化阶段完成，则可以将计数参数n+1。
步骤S48：重新执行步骤S42以及后续步骤。
需要说明的是，与首次执行步骤S42时不同的是，在第N(N>1)次执行步骤S42时，模型面片的属性信息中漫反射信息为上一次(即第N-1次)执行步骤S42及其后续步骤所得到的漫反射信息，即最新得到的漫反射信息，具体处理过程可以参阅前述公开实施例中相关描述，在此不再赘述。
步骤S49：基于第一法向信息和第二法向信息优化第一位置信息，得到模型顶点的第二位置信息，以对待优化模型进行优化。
具体可以参阅前述公开实施例中相关描述，在此不再赘述。
请参阅图6，图6是待优化模型和优化之后的模型一实施例的示意图。需要说明的是，为了便于展示优化前后的对比效果，图6所示的模型为经过渲染之后的模型，如图6所示，对应于“大卫雕塑”的模型在优化后，面部细节更加丰富；而对应于“狮子塑像”的模型在优化后，鬃毛部位细节更加丰富。
上述方案，在进行优化之前，在检测到当前优化阶段满足预设条件时，基于模型面片的属性信息、第一法向信息和第二法向信息，获取模型面片的优化损失，从而基于优化损失，选择至少一个模型面片作为当前优化阶段的待细分面片，并基于待细分面片，对待优化模型进行细分，并重新执行获取各个模型面片的属性信息和第一法向信息的步骤以及后续步骤，即在模型优化过程中，能够通过检测各个模型面片的优化损失，并根据优化损失，选择得到待细分面片，从而根据待细分面片对待优化模型进行细分，进而能够进一步提升模型细节，有利于提升模型优化质量。
请参阅图7，图7是本申请模型优化装置70一实施例的框架示意图。模型优化装置70包括：模型获取模块71、信息获取模块72、法向优化模块73和顶点优化模块74，模型获取模块71，用于获取待优化模型；其中，待优化模型包括若干模型面片，模型面片由模型顶点构成；信息获取模块72，用于获取各个模型面片的属性信息和第一法向信息，并获取各个模型顶点的第一位置信息；法向优化模块73，用于基于属性信息优化第一法向信息，得到第二法向信息；顶点优化模块74，用于基于第一法向信息和第二法向信息优化第一位置信息，得到模型顶点的第二位置信息，以对待优化模型进行优化。
上述方案，一方面由于通过优化前后的法向信息直接对模型进行优化，而无需借助截断符号距离场等间接表示形式，故能够大大减少算法开销，有利于提升优化效率，另一方面由于在优化过程中考虑到各个模型面片和各个模型顶点的连接关系，故有利于提升优化质量，故此能够提高模型优化的质量和效率。
在一些公开实施例中，第一位置信息包括第一坐标，第二位置信息包括第二坐标，顶点优化模块74包括参考选择子模块，用于将各个模型顶点分别作为第一当前顶点，并选择一个与第一当前顶点之间存在连接边的模型顶点作为参考顶点，以及将共享连接边的两个模型面片分别作为第一面片和第二面片；顶点优化模块74包括法向变换子模块，用于基于第一面片的第一法向信息和第二法向信息，得到第一面片的第一法向变换参数，并基于第二面片的第一法向信息和第二法向信息，得到第二面片的第二法向变换参数；顶点优化模块74包括函数构建子模块，用于基于第一法向变换参数和第二法向变换参数，构建第一当前顶点的目标函数；其中，目标函数包含第一参考子项和第二参考子项，第一参考子项为预设参考系数与第一当前顶点的第一坐标之积，且第二参考子项为预设参考系数与第一当前顶点的第二坐标之积；顶点优化模块74包括函数求解子模块，用于基于各个模型顶点的目标函数，求解得到各个模型顶点的第二坐标。
因此，在模型顶点的位置坐标优化过程中，同时还考虑预设参考系数分别与模型顶点的第一坐标之积、以及与模型顶点的第二坐标之积，并分别作为目标函数的子项，有利于提升目标函数求解的容错率，提高求解结果的稳定性。
在一些公开实施例中，函数构建子模块包括对角获取单元，用于获取第一面片中连接边的第一对角，并获取第二面片中连接边的第二对角；函数构建子模块包括第一子项单元，用于基于第一法向变换参数和第一对角、第二法向变换参数和第二对角，以及第一当前顶点的第一坐标、参考顶点的第一坐标，构建第一优化子项；函数构建子模块包括第二子项单元，用于基于第一面片的第一对角、第二面片的第二对角，以及第一当前顶点的第二坐标、参考顶点的第二坐标，构建第二优化子项；函数构建子模块包括函数构建单元，用于基于第一优化子项、第一参考子项、第二优化子项和第二参考子项，得到第一当前顶点的目标函数。
因此，获取第一面片中连接边的第一对象，并获取第二面片中连接边的第二对角，基于第一法向变换参数和第一对角、第二法向变换参数和第二对象，以及第一当前顶点的第一坐标、参考顶点的第一坐标，构建第一优化子项，并基于第一面片的第一对角、第二面片的第二对角，以及第一当前顶点的第二坐标、参考顶点的第二坐标，构建第二优化子项，在此基础上，再基于第一优化子项、第一参考子项、第二优化子项和第二参考子项，得到第一当前顶点的目标函数，故能够在优化过程中，充分考虑相邻面片之间的关联关系，有利于提升优化质量。
在一些公开实施例中，函数求解子模块包括方程联立单元，用于基于各个模型顶点的目标函数，联立关于各个模型顶点的第二坐标的方程组；函数求解子模块方程求解单元，用于对方程组进行求解，得到各个模型顶点的第二坐标。
因此，基于各个模型顶点的目标函数，联立关于各个模型顶点的第二坐标的方程组，并对方程组进行求解，得到各个模型顶点的第二坐标，故能够通过联合关于各个模型顶点的第二坐标的方程组，从而一次求解即可得到各个模型顶点的第二坐标，有利于进一步提升模型优化效率。
在一些公开实施例中，模型优化装置70包括损失计算模块，用于检测到当前优化阶段满足预设条件，基于模型面片的属性信息、第一法向信息和第二法向信息，获取模型面片的优化损失；模型优化装置70包括面片选择模块，用于基于优化损失，选择至少一个模型面片作为当前优化阶段的待细分面片；模型优化装置70包括模型细分模块，用于基于待细分面片，对待优化模型进行细分，得到细分后的待优化模型，以更新待优化模型的模型面片，并结合信息获取模块72、法向优化模块73重新执行获取各个模型面片的属性信息和第一法向信息的步骤以及后续步骤。
因此，在模型优化过程中，能够通过检测各个模型面片的优化损失，并根据优化损失，选择得到待细分面片，从而根据待细分面片对待优化模型进行细分，得到细分后的待优化模型，以更新待优化模型的模型面片，进而能够进一步提升模型细节，有利于提升模型优化质量。
在一些公开实施例中，面片选择模块包括排序子模块，用于按照优化损失从大到小的顺序，将模型面片进行排序；面片选择模块包括选择子模块，用于选择位于前预设序位的模型面片，作为待细分面片；或者，面片选择模块具体用于选择优化损失大于第一阈值的模型面片作为待细分面片。
因此，按照优化损失由大到小的顺序，将模型面片进行排序，并选择位于前预设序位的模型面片作为待优化模型，或者直接选择优化损失大于第一阈值的模型面片作为待细分面片，能够基于优化损失较大的模型面片对待优化模型进行细化，故能够有利于对细节欠佳的部分进行细节优化，有利于提升模型优化质量。
在一些公开实施例中，模型细分模块包括顶点新增子模块，用于在待细分面片的边上新增至少一个模型顶点；模型细分模块包括集合获取子模块，用于分别将各个新增的模型顶点作为第二当前顶点，并获取第二当前顶点的候选顶点集合；其中，候选顶点集合包括若干候选顶点，且若干候选顶点位于若干候选面片，且若干候选面片均包含第二当前顶点所在的边；模型细分模块包括顶点连接子模块，用于在候选顶点集合中选择至少一个候选顶点，并分别连接至少一个候选顶点与第二当前顶点，得到细分后的待优化模型。
因此，在待细分面片的边上新增至少一个模型顶点，分别将各个新增的模型顶点作为第二当前顶点，并获取第二当前顶点的候选顶点集合，且候选顶点集合包含若干候选顶点，候选顶点位于若干候选面片，且若干候选面片均包含第二当前顶点所在的边，在此基础上，在候选顶点集合中选择至少一个候选顶点，并分别连接至少一个候选顶点与第二当前顶点，得到细化后的待优化模型，从而能够在待优化模型细节欠佳的位置处进行模型面片进行细分，有利于在这些部位实现更加精细的优化，提升模型优化质量。
在一些公开实施例中，顶点优化模块74具体用于检测到当前优化阶段不满足预设条件，执行基于第一法向信息和第二法向信息优化第一位置信息，得到模型顶点的第二位置信息，以对待优化模型进行优化的步骤。
因此，在检测到当前优化阶段不满足预设条件时，执行基于第一法向信息和第二法向信息优化第一位置信息，得到模型顶点的第二位置信息，以对待优化模型进行优化的步骤，即在当前优化阶段不满足预设条件的情况下，不再对模型进行细分，有利于在有限的时间开销下，尽可能地对细节欠佳的部位进行精细化，有利于控制模型优化耗时。
在一些公开实施例中，模型优化装置70还包括面片筛选模块，用于筛选面片面积不低于第二阈值的待细分面片；模型细分模块具体用于基于筛选得到的待细分面片，对待优化模型进行细分，得到细分后的待优化模型。
因此，在基于优化损失选择得到待细分面片的情况下，进一步面片面积从中进一步筛选，故能够基于优化损失较大且面片面积较大的模型面片对待优化模型进行细化，一方面由于面片面积过小的模型面片对于模型优化的贡献微乎其微，故能够避免由于对面片面积过小的模型面片过度细分而对优化效率造成的负面影响，有利于提升模型优化效率，另一方面由于面片面积过小的模型面片其模型顶点的位置坐标区分难度也较大，故也有利于提升模型优化的稳定性。
在一些公开实施例中，预设条件包括：当前优化阶段未达到预设数值个优化阶段。
因此，通过将预设条件设置为包括：当前优化阶段未达到预设数值个优化阶段，故能够按需对需要细分的面片进行选择性的细分，在控制时间开销增长的前提下，尽可能地提升模型优化质量。
请参阅图8，图8是本申请电子设备80一实施例的框架示意图。电子设备80包括相互耦接的存储器81和处理器82，处理器82用于执行存储器81中存储的程序指令，以实现上述任一模型优化方法实施例的步骤。在一个具体的实施场景中，电子设备80可以包括但不限于：微型计算机、服务器，此外，电子设备80还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器82用于控制其自身以及存储器81以实现上述任一模型优化方法实施例的步骤。处理器82还可以称为CPU(Central Processing Unit，中央处理单元)。处理器82可能是一种集成电路芯片，具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器82可以由集成电路芯片共同实现。
上述方案，一方面由于通过优化前后的法向信息直接对模型进行优化，而无需借助截断符号距离场等间接表示形式，故能够大大减少算法开销，有利于提升优化效率，另一方面由于在优化过程中考虑到各个模型面片和各个模型顶点的连接关系，故有利于提升优化质量，故此能够提高模型优化的质量和效率。
请参阅图9，图9为本申请计算机可读存储介质90一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令91，程序指令91用于实现上述任一模型优化方法实施例的步骤。
上述方案，一方面由于通过优化前后的法向信息直接对模型进行优化，而无需借助截断符号距离场等间接表示形式，故能够大大减少算法开销，有利于提升优化效率，另一方面由于在优化过程中考虑到各个模型面片和各个模型顶点的连接关系，故有利于提升优化质量，故此能够提高模型优化的质量和效率。
本公开涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。
可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (13)
1.一种模型优化方法，其特征在于，包括：
获取待优化模型；其中，所述待优化模型包括若干模型面片，所述模型面片由模型顶点构成；
获取各个所述模型面片的属性信息和第一法向信息，并获取各个所述模型顶点的第一位置信息；
基于所述属性信息优化所述第一法向信息，得到第二法向信息；
基于所述第一法向信息和所述第二法向信息优化所述第一位置信息，得到所述模型顶点的第二位置信息，以对所述待优化模型进行优化。
2.根据权利要求1所述的方法，其特征在于，所述第一位置信息包括第一坐标，所述第二位置信息包括第二坐标，所述基于所述第一法向信息和所述第二法向信息优化所述第一位置信息，得到所述模型顶点的第二位置信息，包括：
将各个所述模型顶点分别作为第一当前顶点，并选择一个与所述第一当前顶点之间存在连接边的模型顶点作为参考顶点，以及将共享所述连接边的两个所述模型面片分别作为第一面片和第二面片；
基于所述第一面片的第一法向信息和第二法向信息，得到所述第一面片的第一法向变换参数，并基于所述第二面片的第一法向信息和第二法向信息，得到所述第二面片的第二法向变换参数；
基于所述第一法向变换参数和所述第二法向变换参数，构建所述第一当前顶点的目标函数；其中，所述目标函数包含第一参考子项和第二参考子项，所述第一参考子项为预设参考系数与所述第一当前顶点的第一坐标之积，且所述第二参考子项为所述预设参考系数与所述第一当前顶点的第二坐标之积；
基于各个所述模型顶点的目标函数，求解得到各个所述模型顶点的第二坐标。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一法向变换参数和所述第二法向变换参数，构建所述第一当前顶点的目标函数，包括：
获取所述第一面片中所述连接边的第一对角，并获取所述第二面片中所述连接边的第二对角；
基于所述第一法向变换参数和所述第一对角、所述第二法向变换参数和所述第二对角，以及所述第一当前顶点的第一坐标、所述参考顶点的第一坐标，构建第一优化子项；
基于所述第一面片的第一对角、所述第二面片的第二对角，以及所述第一当前顶点的第二坐标、所述参考顶点的第二坐标，构建第二优化子项；
基于所述第一优化子项、所述第一参考子项、所述第二优化子项和所述第二参考子项，得到所述第一当前顶点的目标函数。
4.根据权利要求2所述的方法，其特征在于，所述基于各个所述模型顶点的目标函数，求解得到各个所述模型顶点的第二坐标，包括：
基于各个所述模型顶点的目标函数，联立关于各个所述模型顶点的第二坐标的方程组；
对所述方程组进行求解，得到各个所述模型顶点的第二坐标。
5.根据权利要求1至4任一项所述的方法，其特征在于，在所述基于所述第一法向信息和所述第二法向信息优化所述第一位置信息，得到所述模型顶点的第二位置信息，以对所述待优化模型进行优化之前，所述方法还包括：
检测到当前优化阶段满足预设条件，基于所述模型面片的属性信息、第一法向信息和第二法向信息，获取所述模型面片的优化损失；
基于所述优化损失，选择至少一个所述模型面片作为所述当前优化阶段的待细分面片；
基于所述待细分面片，对所述待优化模型进行细分，得到细分后的待优化模型，以更新所述待优化模型的模型面片，并重新执行所述获取各个所述模型面片的属性信息和第一法向信息的步骤以及后续步骤。
6.根据权利要求5所述的方法，其特征在于，所述基于所述优化损失，选择至少一个所述模型面片作为所述当前优化阶段的待细分面片，包括：
按照所述优化损失从大到小的顺序，将所述模型面片进行排序，并选择位于前预设序位的模型面片，作为所述待细分面片；
或者，选择所述优化损失大于第一阈值的模型面片，作为所述待细分面片待细分面片。
7.根据权利要求5所述的方法，其特征在于，所述基于所述待细分面片，对所述待优化模型进行细分，得到细分后的待优化模型，包括：
在所述待细分面片的边上新增至少一个所述模型顶点；
分别将各个新增的模型顶点作为第二当前顶点，并获取所述第二当前顶点的候选顶点集合；其中，所述候选顶点集合包括若干候选顶点，且所述若干候选顶点位于若干候选面片，所述若干候选面片均包含所述第二当前顶点所在的边；
在所述候选顶点集合中选择至少一个候选顶点，并分别连接所述至少一个候选顶点与所述第二当前顶点，得到细分后的待优化模型。
8.根据权利要求5所述的方法，其特征在于，所述方法还包括：
检测到所述当前优化阶段不满足所述预设条件，执行所述基于所述第一法向信息和所述第二法向信息优化所述第一位置信息，得到所述模型顶点的第二位置信息，以对所述待优化模型进行优化的步骤。
9.根据权利要求5所述的方法，其特征在于，在所述基于所述待细分面片，对所述待优化模型进行细分，得到细分后的待优化模型之前，所述方法还包括：
筛选面片面积不低于第二阈值的待细分面片；
所述基于所述待细分面片，对所述待优化模型进行细分，得到细分后的待优化模型，包括：
基于筛选得到的待细分面片，对所述待优化模型进行细分，得到细分后的待优化模型。
10.根据权利要求5所述的方法，其特征在于，所述预设条件包括：所述当前优化阶段未达到预设数值个优化阶段。
11.一种模型优化装置，其特征在于，包括：
模型获取模块，用于获取待优化模型；其中，所述待优化模型包括若干模型面片，所述模型面片由模型顶点构成；
信息获取模块，用于获取各个所述模型面片的属性信息和第一法向信息，并获取各个所述模型顶点的第一位置信息；
法向优化模块，用于基于所述属性信息优化所述第一法向信息，得到第二法向信息；
顶点优化模块，用于基于所述第一法向信息和所述第二法向信息优化所述第一位置信息，得到所述模型顶点的第二位置信息，以对所述待优化模型进行优化。
12.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至10任一项所述的模型优化方法。
13.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至10任一项所述的模型优化方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110988927.0A CN113706431B (zh) | 2021-08-26 | 2021-08-26 | 模型优化方法及相关装置、电子设备和存储介质 |
| PCT/CN2021/144033 WO2023024395A1 (zh) | 2021-08-26 | 2021-12-31 | 模型优化方法及装置、电子设备、存储介质、计算机程序、计算机程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110988927.0A CN113706431B (zh) | 2021-08-26 | 2021-08-26 | 模型优化方法及相关装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113706431A true CN113706431A (zh) | 2021-11-26 |
| CN113706431B CN113706431B (zh) | 2022-10-21 |
Family
ID=78655282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110988927.0A Active CN113706431B (zh) | 2021-08-26 | 2021-08-26 | 模型优化方法及相关装置、电子设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113706431B (zh) |
| WO (1) | WO2023024395A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023024395A1 (zh) * | 2021-08-26 | 2023-03-02 | 深圳市慧鲤科技有限公司 | 模型优化方法及装置、电子设备、存储介质、计算机程序、计算机程序产品 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197000B (zh) * | 2023-11-06 | 2024-03-19 | 武汉中观自动化科技有限公司 | 一种快速网格去噪方法、装置及电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111243071A (zh) * | 2020-01-08 | 2020-06-05 | 叠境数字科技（上海）有限公司 | 实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质 |
| CN111369659A (zh) * | 2018-12-26 | 2020-07-03 | 杭州海康威视数字技术股份有限公司 | 一种基于三维模型的纹理映射方法、装置及设备 |
| US20200334890A1 (en) * | 2019-04-22 | 2020-10-22 | University Of Kentucky Research Foundation | Systems and Methods for Fast Texture Mapping of 3D Models |
| CN111882666A (zh) * | 2020-07-20 | 2020-11-03 | 浙江商汤科技开发有限公司 | 三维网格模型的重建方法及其装置、设备、存储介质 |
| CN112489230A (zh) * | 2020-12-09 | 2021-03-12 | 贝壳技术有限公司 | 用于面片模型的色彩匹配方法、装置以及存储介质 |
| CN112862933A (zh) * | 2021-02-04 | 2021-05-28 | 北京百度网讯科技有限公司 | 用于优化模型的方法、装置、设备以及存储介质 |
| CN113052774A (zh) * | 2021-03-30 | 2021-06-29 | 上海商汤智能科技有限公司 | 图像优化方法及相关模型的训练方法和相关装置、设备 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108053484A (zh) * | 2017-12-12 | 2018-05-18 | 武汉大学 | 一种基于法向平均的常平均曲率曲面构建方法 |
| CN108492370B (zh) * | 2018-03-02 | 2020-05-22 | 中国地质大学（武汉） | 基于TV和各向异性Laplacian正则项的三角网格滤波方法 |
| CN109242972B (zh) * | 2018-08-14 | 2022-11-04 | 重庆大学 | 一种基于顶点特征的双法向网格模型光顺方法 |
| KR102311388B1 (ko) * | 2019-09-26 | 2021-10-13 | 주식회사 메디트 | 3차원 데이터 정렬 장치 및 3차원 데이터 정렬 방법 |
| CN111028356A (zh) * | 2019-11-25 | 2020-04-17 | 中国地质大学（武汉） | 基于非凸非光滑二阶正则项和稀疏保真项的优化方法 |
| CN111640188A (zh) * | 2020-05-29 | 2020-09-08 | 中国地质大学（武汉） | 基于Mumford-Shah算法框架的抗噪声三维网格优化方法 |
| CN112862736B (zh) * | 2021-02-05 | 2022-09-20 | 浙江大学 | 一种基于点的实时三维重建与优化方法 |
| CN113178013B (zh) * | 2021-05-24 | 2023-10-03 | 广东奥普特科技股份有限公司 | 三角网格滤波方法、装置、电子设备和存储介质 |
| CN113706431B (zh) * | 2021-08-26 | 2022-10-21 | 深圳市慧鲤科技有限公司 | 模型优化方法及相关装置、电子设备和存储介质 |
-
2021
- 2021-08-26 CN CN202110988927.0A patent/CN113706431B/zh active Active
- 2021-12-31 WO PCT/CN2021/144033 patent/WO2023024395A1/zh unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111369659A (zh) * | 2018-12-26 | 2020-07-03 | 杭州海康威视数字技术股份有限公司 | 一种基于三维模型的纹理映射方法、装置及设备 |
| US20200334890A1 (en) * | 2019-04-22 | 2020-10-22 | University Of Kentucky Research Foundation | Systems and Methods for Fast Texture Mapping of 3D Models |
| CN111243071A (zh) * | 2020-01-08 | 2020-06-05 | 叠境数字科技（上海）有限公司 | 实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质 |
| CN111882666A (zh) * | 2020-07-20 | 2020-11-03 | 浙江商汤科技开发有限公司 | 三维网格模型的重建方法及其装置、设备、存储介质 |
| CN112489230A (zh) * | 2020-12-09 | 2021-03-12 | 贝壳技术有限公司 | 用于面片模型的色彩匹配方法、装置以及存储介质 |
| CN112862933A (zh) * | 2021-02-04 | 2021-05-28 | 北京百度网讯科技有限公司 | 用于优化模型的方法、装置、设备以及存储介质 |
| CN113052774A (zh) * | 2021-03-30 | 2021-06-29 | 上海商汤智能科技有限公司 | 图像优化方法及相关模型的训练方法和相关装置、设备 |
Non-Patent Citations (2)
| Title |
|---|
| WENFEI JIANG，AND ETC: "Efficient Progressive Compression of 3D Points by Maximizing Tangent-Plane Continuity", 《2012 DATA COMPRESSION CONFERENCE》, 26 April 2012 (2012-04-26), pages 398, XP032172512, DOI: 10.1109/DCC.2012.53 * |
| 胡超等: "基于稀疏优化模型的网格逼近", 《中国科学技术大学学报》, vol. 47, no. 9, 30 September 2017 (2017-09-30), pages 713 - 720 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023024395A1 (zh) * | 2021-08-26 | 2023-03-02 | 深圳市慧鲤科技有限公司 | 模型优化方法及装置、电子设备、存储介质、计算机程序、计算机程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023024395A1 (zh) | 2023-03-02 |
| CN113706431B (zh) | 2022-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11210838B2 (en) | Fusing, texturing, and rendering views of dynamic three-dimensional models | |
| US11727587B2 (en) | Method and system for scene image modification | |
| EP3108449B1 (en) | View independent 3d scene texturing | |
| RU2642167C2 (ru) | Устройство, способ и система для реконструкции 3d-модели объекта | |
| JP4999717B2 (ja) | レンジ画像から物体の姿勢を求める方法及びシステム | |
| Li et al. | Detail-preserving and content-aware variational multi-view stereo reconstruction | |
| US20090028432A1 (en) | Segmentation of Video Sequences | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| US9437034B1 (en) | Multiview texturing for three-dimensional models | |
| CN113706431B (zh) | 模型优化方法及相关装置、电子设备和存储介质 | |
| US10169891B2 (en) | Producing three-dimensional representation based on images of a person | |
| CN107358609B (zh) | 一种用于增强现实的图像叠加方法及装置 | |
| JP2001067463A (ja) | 異なる視点からの複数のフェイシャル画像に基づき新たな視点からのフェイシャル画像を生成するフェイシャル画像生成装置及び方法並びにその応用装置及び記録媒体 | |
| CN113706373A (zh) | 模型重建方法及相关装置、电子设备和存储介质 | |
| CN115439607A (zh) | 一种三维重建方法、装置、电子设备及存储介质 | |
| JP6272071B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN109785429A (zh) | 一种三维重建的方法和装置 | |
| CN114399610A (zh) | 基于引导先验的纹理映射系统和方法 | |
| Koppel et al. | Image-based rendering and modeling in video-endoscopy | |
| JP2002520969A (ja) | 動き画像からの自動化された３次元シーン走査方法 | |
| EP3850587A1 (en) | Methods, devices, and computer program products for improved 3d mesh texturing | |
| Shi et al. | Stereo-consistent screen-space ambient occlusion | |
| US11120606B1 (en) | Systems and methods for image texture uniformization for multiview object capture | |
| Han et al. | 3D human model reconstruction from sparse uncalibrated views | |
| EP3518183A1 (en) | Dynamic contour volume deformation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40056860 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |