CN116778065A - 图像处理方法、装置、计算机及存储介质 - Google Patents

图像处理方法、装置、计算机及存储介质 Download PDF

Info

Publication number
CN116778065A
CN116778065A CN202311051112.5A CN202311051112A CN116778065A CN 116778065 A CN116778065 A CN 116778065A CN 202311051112 A CN202311051112 A CN 202311051112A CN 116778065 A CN116778065 A CN 116778065A
Authority
CN
China
Prior art keywords
texture
image
grid
processed
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311051112.5A
Other languages
English (en)
Other versions
CN116778065B (zh
Inventor
李文娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202311051112.5A priority Critical patent/CN116778065B/zh
Publication of CN116778065A publication Critical patent/CN116778065A/zh
Application granted granted Critical
Publication of CN116778065B publication Critical patent/CN116778065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、计算机及存储介质，该方法包括：获取待处理图像数据，对待处理图像数据进行网格检测，得到图像网格特征，对图像网格特征进行可微分处理，得到待处理图像数据所对应的纹理网格数据；对待处理图像数据进行纹理检测，得到图像纹理特征，对图像纹理特征进行纹理映射处理，得到待处理图像数据所对应的图像纹理模型；对纹理网格数据与图像纹理模型进行纹理重建，生成待处理图像数据的纹理重建数据。采用本申请，可以提高纹理重建效率。

Description

图像处理方法、装置、计算机及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像处理方法、装置、计算机及存储介质。
背景技术
三维（3-dimension，3D）重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。也就是说，3D重建是游戏应用中的一个重要过程，用于解决游戏纹理检测和生成建模等，目前，3D重建一般是使用人工进行建模并渲染建模，而这一方式会耗费大量的时间，耗费较多的人力资源，导致资源耗费较多，且纹理重建效率较低。
发明内容
本申请实施例提供了一种图像处理方法、装置、计算机及存储介质，可以提高纹理重建的效率。
本申请实施例一方面提供了一种图像处理方法，该方法包括：
获取待处理图像数据，对待处理图像数据进行网格检测，得到图像网格特征，对图像网格特征进行可微分处理，得到待处理图像数据所对应的纹理网格数据；
对待处理图像数据进行纹理检测，得到图像纹理特征，对图像纹理特征进行纹理映射处理，得到待处理图像数据所对应的图像纹理模型；
对纹理网格数据与图像纹理模型进行纹理重建，生成待处理图像数据的纹理重建数据。
本申请实施例一方面提供了一种图像处理方法，该方法包括：
获取待处理图像样本，对待处理图像样本进行网格检测，得到样本网格特征，通过初始几何生成器对样本网格特征进行可微分处理，得到待处理图像样本所对应的样本网格数据；
对待处理图像样本进行纹理检测，得到样本纹理特征，通过初始纹理生成器对样本纹理特征进行纹理映射处理，得到待处理图像样本所对应的样本纹理模型；
对样本网格数据与样本纹理模型进行纹理重建，生成待处理图像样本的纹理重建样本；
基于纹理重建样本对初始几何生成器及初始纹理生成器进行参数调整，得到初始几何生成器所对应的几何生成器，及初始纹理生成器所对应的纹理生成器。
本申请实施例一方面提供了一种图像处理装置，该装置包括：
图像获取模块，用于获取待处理图像数据；
网格检测模块，用于对待处理图像数据进行网格检测，得到图像网格特征；
网格处理模块，用于对图像网格特征进行可微分处理，得到待处理图像数据所对应的纹理网格数据；
纹理检测模块，用于对待处理图像数据进行纹理检测，得到图像纹理特征；
纹理映射模块，用于对图像纹理特征进行纹理映射处理，得到待处理图像数据所对应的图像纹理模型；
纹理重建模块，用于对纹理网格数据与图像纹理模型进行纹理重建，生成待处理图像数据的纹理重建数据。
其中，该网格检测模块，包括：
网格采样单元，用于获取待处理图像数据中的对象网格，对对象网格进行采样处理，得到待处理采样网格；
网格映射单元，用于对待处理采样网格进行非线性映射处理，得到网格映射特征，基于网格映射特征中所包括的顶点几何信息进行四面体网格构建，得到图像网格特征；该顶点几何信息包括顶点坐标。
其中，该纹理检测模块，包括：
纹理采样单元，用于获取待处理图像数据中的待处理图像，对待处理图像进行采样处理，得到待处理采样纹理；
纹理映射单元，用于对待处理采样纹理进行非线性映射处理，得到纹理映射特征；
特征组合单元，用于对网格映射特征与纹理映射特征进行特征组合处理，得到图像纹理特征。
其中，该网格处理模块，包括：
坐标获取单元，用于从图像网格特征中获取待处理对象的K个四面体网格分别对应的顶点初始坐标；K为正整数；
网格变形单元，用于对K个四面体网格进行微分变形，得到K个四面体网格分别对应的顶点变形值；
坐标更新单元，用于基于K个四面体网格分别对应的顶点变形值和顶点初始坐标，确定K个四面体网格分别对应的顶点更新坐标；
网格构建单元，用于将K个四面体网格分别对应的顶点变形值，以及K个四面体网格分别对应的顶点更新坐标，组成待处理图像数据所对应的纹理网格数据。
其中，该坐标更新单元，包括：
第一更新子单元，用于在第i个四面体网格所对应的顶点初始坐标上，添加第i个四面体网格所对应的顶点变形值，得到第i个四面体网格所对应的顶点更新坐标；i为小于或等于K的正整数；或者，
第二更新子单元，用于在第i个四面体网格所对应的顶点初始坐标上，添加第i个四面体网格所对应的顶点变形值，得到第i个四面体网格所对应的顶点变形坐标，对第i个四面体网格所对应的顶点变形坐标进行重心插值处理，得到第i个四面体网格所对应的顶点更新坐标。
其中，该网格构建单元，包括:
顶点变形子单元，用于获取第i个四面体网格中的第一顶点对的顶点初始坐标及顶点变形值，确定第i个四面体网格中的第一顶点对所对应的顶点变形坐标；i为小于或等于K的正整数；
梯度处理子单元，用于对第一顶点对的顶点变形坐标及顶点更新坐标，进行梯度处理，得到第i个四面体网格所对应的网格梯度数据；
网格构建子单元，用于当i为K时，将K个四面体网格分别对应的网格梯度数据组成待处理图像数据所对应的纹理网格数据。
其中，该装置还包括：
顶点获取模块，用于将第i个四面体网格所包括的顶点中的随机两个顶点，确定为第一顶点对；或者，
该顶点获取模块，还用于将第i个四面体网格所包括的顶点进行两两组合，得到N个第一顶点对；N为正整数；该梯度处理子单元具体用于：对N个第一顶点对的顶点变形坐标及顶点更新坐标分别进行梯度处理，得到N个第一顶点对分别对应的子梯度数据，将N个第一顶点对分别对应的子梯度数据的统计值，确定为第i个四面体网格所对应的网格梯度数据。
其中，该纹理映射模块，包括：
平面构建单元，用于对图像纹理特征进行建模处理，构建轴向三平面；
初始构建单元，用于将图像纹理特征映射至轴向三平面，得到初始纹理模型；
模型生成单元，用于对初始纹理模型进行双线性插值处理，得到插值模型，对插值模型进行全连接映射处理，得到待处理图像数据所对应的图像纹理模型。
其中，该纹理重建模块，包括：
网格获取单元，用于获取纹理重建角度，基于纹理重建角度从纹理网格数据中获取待填充网格；
网格填充单元，用于基于图像纹理模型确定与待填充网格相关联的纹理数据，将纹理数据填充至待填充网格中，得到待处理图像数据的纹理重建数据。
本申请实施例一方面提供了一种图像处理装置，该装置包括：
样本获取模块，用于获取待处理图像样本；
网格生成模块，用于对待处理图像样本进行网格检测，得到样本网格特征，通过初始几何生成器对样本网格特征进行可微分处理，得到待处理图像样本所对应的样本网格数据；
纹理生成模块，用于对待处理图像样本进行纹理检测，得到样本纹理特征，通过初始纹理生成器对样本纹理特征进行纹理映射处理，得到待处理图像样本所对应的样本纹理模型；
样本重建模块，用于对样本网格数据与样本纹理模型进行纹理重建，生成待处理图像样本的纹理重建样本；
参数调整模块，用于基于纹理重建样本对初始几何生成器及初始纹理生成器进行参数调整，得到初始几何生成器所对应的几何生成器，及初始纹理生成器所对应的纹理生成器。
其中，该参数调整模块，包括：
样本渲染单元，用于对纹理重建样本进行图像渲染，得到样本重建图像，对纹理重建样本进行轮廓渲染，得到样本轮廓图像；
标签获取单元，用于获取待处理图像样本所对应的真实图像；
损失构建单元，用于根据真实图像、样本重建图像、样本轮廓图像及样本网格数据生成损失函数；
参数调整单元，用于采用损失函数对初始几何生成器及初始纹理生成器进行参数调整，得到初始几何生成器所对应的几何生成器，及初始纹理生成器所对应的纹理生成器。
其中，该损失构建单元，包括：
第一检测子单元，用于将样本重建图像输入第一网络鉴别器进行图像检测，得到图像检测结果，将真实图像输入第一网络鉴别器进行图像检测，得到第一真实检测结果，根据图像检测结果与第一真实检测结果构建第一损失函数；
第二检测子单元，用于将样本轮廓图像输入第二网络鉴别器进行图像检测，得到轮廓检测结果，将真实图像输入第二网络鉴别器进行图像检测，得到第二真实检测结果，根据轮廓检测结果与第二真实检测结果构建第二损失函数；
顶点检测子单元，用于从样本网格数据中获取样本顶点更新坐标，根据样本顶点更新坐标构建第三损失函数；
损失生成子单元，用于将第一损失函数、第二损失函数及第三损失函数，组合生成损失函数。
本申请实施例一方面提供了一种计算机设备，包括处理器、存储器、输入输出接口；
处理器分别与存储器和输入输出接口相连，其中，输入输出接口用于接收数据及输出数据，存储器用于存储计算机程序，处理器用于调用该计算机程序，以使包含该处理器的计算机设备执行本申请实施例一方面中的图像处理方法。
本申请实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有该处理器的计算机设备执行本申请实施例一方面中的图像处理方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例一方面中的各种可选方式中提供的方法。换句话说，该计算机指令被处理器执行时实现本申请实施例一方面中的各种可选方式中提供的方法。
实施本申请实施例，将具有如下有益效果：
在本申请实施例中，获取待处理图像数据，对待处理图像数据进行网格检测，得到图像网格特征，对图像网格特征进行可微分处理，得到待处理图像数据所对应的纹理网格数据；对待处理图像数据进行纹理检测，得到图像纹理特征，对图像纹理特征进行纹理映射处理，得到待处理图像数据所对应的图像纹理模型；对纹理网格数据与图像纹理模型进行纹理重建，生成待处理图像数据的纹理重建数据。通过以上过程，实现了对待处理图像数据的自动渲染建模，实现纹理重建，从而提高纹理重建的效率。而且，在这一过程中，将纹理重建划分为两部分，一部分用于进行几何重建，即获取纹理网格数据，以在3D重建中增加几何细节，对纹理进行约束，使得3D重建的结果更加准确；一部分用于进行纹理重建，增加3D重建的纹理细节，也就是图像的像素信息等，从而提高3D重建的准确性。也就是说，本申请可以丰富几何细节，生成高保真纹理，提高3D重建的效率和准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理的网络交互架构图；
图2是本申请实施例提供的一种图像处理场景示意图；
图3是本申请实施例提供的一种图像处理的方法流程图；
图4是本申请实施例提供的一种待处理图像数据示意场景图；
图5是本申请实施例提供的一种纹理重建场景示意图；
图6是本申请实施例提供的一种模型训练的方法流程图；
图7是本申请实施例提供的一种模型训练场景示意图；
图8是本申请实施例提供的一种图像处理装置示意图；
图9是本申请实施例提供的另一种图像处理装置示意图；
图10是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
其中，若在本申请中需要收集对象（如用户等）数据，则在收集前、收集中，显示提示界面或者弹窗，该提示界面或者弹窗用于提示用户当前正在搜集某些数据，仅仅在获取到用户对该提示界面或者弹窗发出确认操作后，开始执行数据获取的相关的步骤，否则结束。而且，对于获取到的用户数据，会在合理合法的场景或用途等上进行使用。可选的，在一些需要使用用户数据但未得到用户授权的场景中，还可以向用户请求授权，在授权通过时，再使用用户数据。而且，本申请对于用户数据的使用符合法律法规的相关规定，即，对于用户数据的使用合理合法。
在本申请实施例中，请参见图1，图1是本申请实施例提供的一种图像处理的网络交互架构图，如图1所示，计算机设备101可以获取待处理图像数据，对待处理图像数据进行纹理重建，生成该待处理图像数据的纹理重建数据，实现了自动渲染建模，提高纹理重建效率。具体的，计算机设备101可以从本地存储中获取待处理图像数据，或者，可以从任意一个业务设备中获取待处理图像数据，如业务设备102a、业务设备102b或业务设备102c等。其中，本申请可以应用于任意一个存在3D渲染的应用程序中，如游戏应用（包括但不限于网络游戏或虚拟现实游戏等）及媒体应用（如可以用于显示或生成三维视频的应用等）等，在此不做限制。
举例来说，业务设备102a、业务设备102b及业务设备102c在同一个游戏场景中，均需要对待处理对象进行渲染，计算机设备101可以获取待处理对象所对应的待处理图像数据，对待处理图像数据进行纹理重建，生成待处理图像数据的纹理重建数据，将纹理重建数据发送至业务设备102a、业务设备102b及业务设备102c等。可选的，不同业务设备对于待处理对象的渲染角度可能会不同，计算机设备可以采用目标业务设备所对应的渲染角度，对待处理图像数据进行纹理重建，生成待处理图像数据的纹理重建数据，将纹理重建数据发送至目标业务设备，其中，该目标业务设备可以是任意一个业务设备。
可以理解的是，本申请实施例中所提及的业务设备也可以认为是一种计算机设备，本申请实施例中的计算机设备包括但不限于终端设备或服务器。换句话说，计算机设备可以是服务器或终端设备，也可以是服务器和终端设备组成的系统。其中，以上所提及的终端设备可以是一种电子设备，包括但不限于手机、平板电脑、台式电脑、笔记本电脑、掌上电脑、车载设备、增强现实/虚拟现实（Augmented Reality/Virtual Reality，AR/VR）设备、头盔显示器、智能电视、可穿戴设备、智能音箱、数码相机、摄像头及其他具备网络接入能力的移动互联网设备（mobile internet device，MID），或者火车、轮船、飞行等场景下的终端设备等。如图1中所示，终端设备可以是一种笔记本电脑（如业务设备102b所示）、手机（如业务设备102c所示）或车载设备（如业务设备102a所示）等，图1仅例举出部分的设备，可选的，该业务设备102a是指位于交通工具103中的设备，业务设备102a可以用于生成或渲染三维对象（如上述待处理对象等），也就是可以进行3D渲染。其中，以上所提及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、车路协同、内容分发网络（Content Delivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。
具体的，可以参见图2，图2是本申请实施例提供的一种图像处理场景示意图。如图2所示，计算机设备可以获取待处理图像数据201，该待处理图像数据201可以认为是能够表现待处理对象的对象拓扑的数据，对象拓扑是指对待处理对象进行形状改变或运动等之后仍能保持不变的性质及结构等，如待处理对象移动或旋转之后，待处理对象自身的整体结构不会发生变化，也就是说，对象拓扑用于指示待处理对象中具有连接关系的部位之间的位置关系，例如，待处理对象为虚拟游戏角色，该虚拟游戏角色在移动或旋转等之后，部位之间的位置关系不会发生变化，如眼睛和鼻子之间的位置关系不会发生变化等。计算机设备可以对待处理图像数据201进行网格检测，得到图像网格特征2021，以获取待处理对象的几何细节，进一步，可以对图像网格特征2021进行可微分处理，得到待处理图像数据201所对应的纹理网格数据2031，实现对待处理对象的几何细节的获取及优化，并且实现可微曲面建模（即纹理网格数据2031），使得待处理对象的几何表现更为平滑，更为精确，而且由于是可微的，使得纹理网格数据2031的处理更为简单，提高几何细节约束的简洁性。
计算机设备可以对待处理图像数据201进行纹理检测，得到图像纹理特征2022，对图像纹理特征2022进行纹理映射处理，得到待处理图像数据所对应的图像纹理模型2032，实现对待处理对象的纹理场的构建，用于对待处理对象进行纹理补充。进而可以对纹理网格数据2031与图像纹理模型2032进行纹理重建，生成待处理图像数据的纹理重建数据204，实现几何与纹理的共同作用，丰富几何细节，并生成高保真纹理，提高纹理重建的准确性，而且实现了三维自动渲染建模，提高纹理重建的效率。也就是说，纹理重建过程分为两部分，一部分为几何分值，可以可微分地输出任意拓扑的表面网格；一部分为纹理分值，可以生成可在表面点查询以生成颜色的纹理部分，包括各种表面属性，如材料等，使得可以将几何与纹理结合起来，实现纹理重建。
可选的，本申请实施例中所涉及的数据可以存储在计算机设备中，或者可以基于云存储技术或区块链网络对该数据进行存储，在此不做限制。例如，计算机设备可以从云存储空间中获取待处理图像数据，对待处理图像数据进行纹理重建，生成纹理重建数据，将纹理重建数据上传至云存储空间中，可以通过云存储空间向订阅了针对该待处理图像数据的相关数据获取的业务设备，发送纹理重建数据，或者，业务设备可以从云存储空间中请求该纹理重建数据等。
可选的，本申请可以采用人工智能技术辅助本申请中的方案实现，提高方案实现的准确性及效率，如几何生成器及纹理生成器的训练及使用等。
进一步地，请参见图3，图3是本申请实施例提供的一种图像处理的方法流程图。如图3所示，该图像处理过程包括如下步骤：
步骤S301，获取待处理图像数据，对待处理图像数据进行网格检测，得到图像网格特征，对图像网格特征进行可微分处理，得到待处理图像数据所对应的纹理网格数据。
在本申请实施例中，计算机设备可以获取待处理图像数据。具体的，可以通过应用调试引擎从应用程序中获取待处理图像数据，其中，应用调试引擎可以认为是应用程序的一种开发者工具，具有调试、测试及系统分析等功能，如游戏debug引擎等，通过应用调试引擎可以获取到较为准确的待处理图像数据，而且该待处理图像数据中可以包括待处理对象的对象网格及待处理图像，可选的，该待处理图像数据还可以包括应用程序的应用参数，如游戏应用的游戏参数等，数据的准确性的提高，也在一定程度上提高了后续纹理重建的效率及准确性。例如，参见图4，图4是本申请实施例提供的一种待处理图像数据示意场景图，如图4所示，计算机设备可以获取待处理图像数据401，该待处理图像数据401包括待处理图像4021及对象网格4022等，其中，待处理图像4021是指从应用程序中所采集的二维（2-dimension，2D）图像，为待处理对象在应用程序中的二维视图表达；对象网格4022是指待处理对象在应用程序中的三维模型，可以表示待处理对象的几何细节，包括待处理对象的对象拓扑。
进一步地，计算机设备可以获取待处理图像数据中的对象网格，对对象网格进行采样处理，得到待处理采样网格，如图4所示的待处理采样网格4032。可选的，可以获取待处理图像数据中的对象网格，对对象网格进行高斯采样处理，得到待处理采样网格，可以减少需要处理的数据量，提高数据处理效率。可选的，可以对对象网格进行高斯分布调整，得到高斯网格，从该高斯网格中采样得到待处理采样网格，可以记作z1，其中，z1服从高斯分布，可以记作z1∈N(μ，σ2)，μ表示数学期望，σ2用于表示方差，如，该高斯分布为标准正态分布时，μ为0，σ为1，可以记作z1∈N(0，1)。例如，假定该高斯网格的数据空间为R512，则z1∈R512，通过进行高斯处理，使得数据可以符合高斯分布，这一高斯处理使得待处理采样网格更加规范化，更为规律，可以更为方便地进行处理，从而可以提高后续数据处理的效率，并提高可微处理的便捷性。具体的，可以参见图5，图5是本申请实施例提供的一种纹理重建场景示意图。如图5所示，计算机设备可以获取待处理图像数据中的对象网格，对对象网格进行采样处理，得到待处理采样网格5011。进一步，对待处理采样网格进行非线性映射处理，得到网格映射特征，基于网格映射特征中所包括的顶点几何信息进行四面体网格构建，得到图像网格特征，顶点几何信息包括但不限于顶点坐标，用于表示待处理对象的几何细节。也就是说，可以基于顶点几何信息中所包括的顶点坐标构建顶点，基于四面体性质及对象拓扑对基于顶点几何信息所构建的顶点进行连接，得到图像网格特征，使得该图像网格特征可以认为是可以移动的四面体。如图5所示，对待处理采样网格5011进行非线性映射处理，得到网格映射特征5021，基于网格映射特征5021中所包括的顶点几何信息进行四面体网格构建，得到图像网格特征5031。
可选的，可以将待处理采样网格输入第一非线性映射网络进行非线性映射处理，得到网格映射特征，此处记作w1，此时，该网格映射特征w1=fgeo(z1)，fgeo用于表示第一非线性映射网络，用于对纹理网格进行非线性映射处理，例如可以是一个或多个3D卷积层等。其中，由于相同的几何形状可以有不同的纹理，且相同的纹理可以应用于不同的几何图形，通过对待处理采样网格进行非线性映射处理，使得得到的网格映射特征可以进一步用于控制3D形状的生成，可以提高几何细节处理的准确性。
进一步地，可以对图像网格特征进行可微分处理，得到待处理图像数据所对应的纹理网格数据。具体的，可以对图像网格特征进行几何生成，得到顶点信息，对顶点信息进行可微分处理，得到待处理图像数据所对应的纹理网格数据。具体的，可以从图像网格特征中获取待处理对象的K个四面体网格分别对应的顶点初始坐标，可以认为是上述顶点几何信息中所包括的顶点坐标；K为正整数。也就是说，图像网格特征将待处理对象以四面体网格及四面体网格的顶点进行表示，可以记作（VT，T），其中，T用于表示四面体网格，VT用于表示四面体网格T中的顶点，其中，每个四面体网格Ti∈T包括四个顶点，可以记作{Vai，Vbi，Vci，Vdi}，其中，i∈{1，…，K}，其中，K为图像网格特征所包括的四面体网格的数量，其中，可以将第i个四面体网格所对应的顶点初始坐标记作vi。
进一步，可以对K个四面体网格进行微分变形，得到K个四面体网格分别对应的顶点变形值，可以记作Δvi∈R3。其中，微分变形是指对K个四面体网格进行立体平滑处理。具体的，可以获取待处理对象的对象拓扑，基于对象拓扑对K个四面体网格进行微分变形，得到K个四面体网格分别对应的顶点变形值，其中，对象拓扑用于指示待处理对象中具有连接关系的部位之间的位置关系，用于保持待处理对象的几何特征。具体的，可以获取K个四面体网格中的网格边缘线，对该网格边缘线所包括的边缘顶点进行线性插值处理，得到线性边缘线；获取K个四面体网格所对应的对象拓扑中的相对位置关系，将边缘顶点映射至线性边缘线，将边缘顶点映射至线性边缘线的映射向量，确定为边缘顶点所对应的顶点变形值；基于对象拓扑中的相对位置关系，在边缘顶点基础上，对其他顶点进行移动处理，将其他顶点的移动向量，确定为其他顶点的顶点变形值，其他顶点是指K个四面体网格中除边缘顶点之外的顶点。或者，可以 在待处理对象的对象拓扑基础上，采用立体平滑处理算法，对K个四面体网格进行微分变形，得到K个四面体网格分别对应的顶点变形值等，其中，立体平滑处理算法是一种减少锯齿的算法，也就是用于减少K个四面体网格的表面锯齿。通过这一过程，实现对四面体网格的顶点的微分处理，对几何细节进行平滑处理，使得处理之后的数据可以通过可微移动四面体网格恢复四面体网格，使得可以实现任意几何形状的构建，从而可以提高几何细节丰富的便捷性、准确性及效率。进一步，可以基于K个四面体网格分别对应的顶点变形值和顶点初始坐标，确定K个四面体网格分别对应的顶点更新坐标；将K个四面体网格分别对应的顶点变形值，以及K个四面体网格分别对应的顶点更新坐标，组成待处理图像数据所对应的纹理网格数据。通过以上过程，实现对四面体网格的顶点坐标的重新构建，可以使得该纹理网格数据可以更好地表达待处理对象的曲面，并且提高该待处理对象的曲面表达的平滑性，从而提高几何表达的丰富性。
具体的，在基于K个四面体网格分别对应的顶点变形值和顶点初始坐标，确定K个四面体网格分别对应的顶点更新坐标时，可以在第i个四面体网格所对应的顶点初始坐标上，添加第i个四面体网格所对应的顶点变形值，得到第i个四面体网格所对应的顶点更新坐标；i为小于或等于K的正整数，此时，可以将该顶点更新坐标记作v'i，v'i=vi+Δvi。
或者，可以在第i个四面体网格所对应的顶点初始坐标上，添加第i个四面体网格所对应的顶点变形值，得到第i个四面体网格所对应的顶点变形坐标，此时，该顶点变形坐标为v'i；对第i个四面体网格所对应的顶点变形坐标进行重心插值处理，得到第i个四面体网格所对应的顶点更新坐标si；也就是说，一个四面体网格包括四个顶点，可以对第i个四面体网格的四个顶点分别对应的顶点变形坐标进行重心插值处理，得到第i个四面体网格所对应的顶点更新坐标。此时，该顶点更新坐标可以认为是3D曲面径向基函数中的函数值，也就是说，K个四面体网格分别对应的顶点更新坐标，组成了针对待处理对象的3D曲面径向基函数，可以认为是一个有符号距离场（Signed Distance Field，SDF），该3D曲面径向基函数可以用来提供待处理对象的3D表面网格，也就是待处理对象的几何细节。也就是，可以直接将第i个四面体网格所对应的顶点变形坐标，直接确定为第i个四面体网格所对应的顶点更新坐标；也可以对第i个四面体网格所对应的顶点变形坐标进行重心插值处理，得到第i个四面体网格所对应的顶点更新坐标。
其中，在将K个四面体网格分别对应的顶点变形值，以及K个四面体网格分别对应的顶点更新坐标，组成待处理图像数据所对应的纹理网格数据时，可以获取第i个四面体网格中的第一顶点对的顶点初始坐标及顶点变形值，确定第i个四面体网格中的第一顶点对所对应的顶点变形坐标；i为小于或等于K的正整数。对第一顶点对的顶点变形坐标及顶点更新坐标，进行梯度处理，得到第i个四面体网格所对应的网格梯度数据，其中，该顶点更新坐标为上述3D曲面径向基函数中的函数值。例如，该第一顶点对包括顶点p和顶点q，此时，该第i个四面体网格的网格梯度数据可以参见公式①所示：
如公式①所示，用于表示顶点p的顶点变形坐标，/>用于表示顶点q的顶点更新坐标，/>用于表示顶点q的顶点变形坐标，/>用于表示顶点p的顶点更新坐标。其中，/>。也就是说，通过可微移动四面体算法，从第i个四面体网格中获取第一顶点对，对第一顶点对的各个不同的顶点坐标（包括顶点变形坐标及顶点更新坐标等）进行线性插值处理，得到第i个四面体网格的网格梯度数据，通过这种可微性，使得梯度可以从网格梯度数据反向传播到3D曲面径向基函数中的函数值及顶点变形值等，从而可以通过预测不同的符号来轻松生成具有任意的形状，可以丰富待处理对象的几何细节，提高几何处理的准确性及丰富性，并提高几何处理的效率。进一步，当i为K时，将K个四面体网格分别对应的网格梯度数据组成待处理图像数据所对应的纹理网格数据。
其中，可以将第i个四面体网格所包括的顶点中的随机两个顶点，确定为第一顶点对。或者，将第i个四面体网格所包括的顶点进行两两组合，得到N个第一顶点对；N为正整数。此时，在对第一顶点对的顶点变形坐标及顶点更新坐标，进行梯度处理，得到第i个四面体网格所对应的网格梯度数据时，可以对N个第一顶点对的顶点变形坐标及顶点更新坐标分别进行梯度处理，得到N个第一顶点对分别对应的子梯度数据，该N个第一顶点对分别对应的子梯度数据均可以参见公式①所示，可以将N个第一顶点对分别对应的子梯度数据的统计值，如N个子梯度数据的均值或重心插值等，确定为第i个四面体网格所对应的网格梯度数据。
可选的，可以将图像网格特征输入几何生成器中进行可微分处理，得到待处理图像数据所对应的纹理网格数据。如图5所示，对图像网格特征5031进行可微分处理，得到待处理图像数据所对应的纹理网格数据5041等。其中，该几何生成器可以包括但不限于条件3D卷积层及全连接映射层等。当然可选的，上述第一非线性映射网络也可以是该几何生成器中的一部分，也就是，该几何生成器可以包括第一非线性映射网络。其中，该几何生成器可以将几何表示为在可变形四面体网格上定义的有符号距离场。其中，该几何生成器对图像网格特征的处理过程，具体可以参见本步骤中的其他部分的实现过程。
通过以上过程，可以通过移动四面体移动可以微分地恢复表面，通过移动四面体网格的顶点来变形四面体网格，可以更好地利用待处理对象的分辨率，提高几何构建的准确性，并进一步对顶点进行曲面构建，也就是通过3D曲面径向基函数，可以生成具有任意拓扑网格，实现对在纹理重建过程中的几何信息的构建及丰富。
步骤S302，对待处理图像数据进行纹理检测，得到图像纹理特征，对图像纹理特征进行纹理映射处理，得到待处理图像数据所对应的图像纹理模型。
在本申请实施例中，计算机设备可以获取待处理图像数据中的待处理图像，对待处理图像进行采样处理，得到待处理采样纹理，如图4中所示的待处理采样纹理4031。可选的，可以对待处理图像进行高斯采样处理，得到待处理采样纹理，可以减少需要处理的数据量，提高数据处理效率。可选的，可以对待处理图像进行高斯分布调整，得到高斯纹理，从该高斯纹理中采样得到待处理采样纹理，可以记作z2，其中，z2服从高斯分布，可以记作z2∈N(μ，σ2)，μ表示数学期望，σ2用于表示方差，如，该高斯分布为标准正态分布时，μ为0，σ为1，可以记作z2∈N(0，1)。可选的，待处理采样网格所服从的高斯分布参数与待处理采样纹理所服从的高斯分布参数，可能相同，也可能不同，即μ和σ2的值。例如，假定该高斯网格的数据空间为R512，则z2∈R512。如图5所示，计算机设备可以获取待处理图像数据中的待处理图像，对待处理图像进行采样处理，得到待处理采样纹理5012。进一步，可以对待处理采样纹理进行非线性映射处理，得到纹理映射特征，也就是说，将待处理采样纹理转换为向量，用来表示待处理图像中的纹理信息，如该纹理信息包括待处理图像中的像素点的色值信息（红通色值、绿通道色值及蓝通道色值等），该纹理映射特征的一种可能表示为（23，24，210，…），表示存在一个R值（即红通道色值）为23，G值（即绿通道色值）为24，B值（即蓝通道色值）为210的像素点；对网格映射特征与纹理映射特征进行特征组合处理，得到图像纹理特征。如图5所示，对待处理采样纹理5012进行非线性映射处理，得到纹理映射特征5022，对网格映射特征5021与纹理映射特征5022进行特征组合处理，得到图像纹理特征5032，可以记作w1⊕w2。其中，⊕可以用于表示特征拼接等，即串联，其中，w1用于表示网格映射特征5021，w2用于表示纹理映射特征5022。
可选的，可以将待处理采样纹理输入第二非线性映射网络进行非线性映射处理，得到纹理映射特征，此处记作w2，此时，该纹理映射特征w2=ftex(z2)，ftex用于表示第二非线性映射网络，用于对纹理进行非线性映射处理，例如可以是一个或多个3D卷积层等。通过对待处理采样纹理进行非线性映射处理，使得得到的纹理映射特征可以进一步用于控制纹理生成，可以提高纹理生成处理的准确性。
进一步地，可以对图像纹理特征进行建模处理，构建轴向三平面，该轴向三平面可以认为是三个轴对齐的正交特征平面，用来表达纹理场，这三平面大小为，其中，此处的H用于表示空间分辨率，如H=256表示一个平面的分辨率为256，C用于表示通道数，如C=32表示一个平面的通道数为32。通过该轴向三平面将2D视图表达与3D空间进行关联，提高纹理映射的准确性。进一步，将图像纹理特征映射至轴向三平面，得到初始纹理模型，该过程可以记作πe(pix)，用于表示点pix到轴向三平面中的特征平面e的投影。进一步，可以对初始纹理模型进行双线性插值处理，得到插值模型，对插值模型进行全连接映射处理，得到待处理图像数据所对应的图像纹理模型。其中，该图像纹理模型可以认为是一个立体模型，如图5中所示的图像纹理模型5042。一种可选的插值模型的获取方式可以参见公式②所示：
如公式②所示，用于表示特征的双线性插值处理。其中，pix用于表示纹理部分（即图像纹理特征）进行建模映射时的三维位置，πe(pix)用于将点pix的纹理相关数据，映射至位置pix处，也就是说，插值模型可以记作/>，一种可选的实现方式可以参见公式②所示。
可选的，可以将图像纹理特征输入纹理生成器进行纹理映射处理，得到待处理图像数据所对应的图像纹理模型。如图5所示，对图像纹理特征5032进行纹理映射处理，得到待处理图像数据所对应的图像纹理模型5042等。其中，该纹理生成器可以包括但不限于卷积层及全连接层等。当然可选的，上述第二非线性映射网络也可以是该纹理生成器中的一部分，也就是，该纹理生成器可以包括第二非线性映射网络。其中，该纹理生成器可以基于纹理信息构建纹理场。其中，该纹理生成器对图像纹理特征的处理过程，具体可以参见本步骤中的其他部分的实现过程。
通过以上过程，只需要在表面点的位置对纹理场进行采样，通过网格映射特征进行约束，可以大大降低渲染高分辨率图像的计算复杂度，并保证了通过构造生成多视图一致的图像。
步骤S303，对纹理网格数据与图像纹理模型进行纹理重建，生成待处理图像数据的纹理重建数据。
在本申请实施例中，可以将图像纹理模型中的纹理数据映射至纹理网格数据，得到待处理图像数据的纹理重建数据。具体的，可以获取纹理重建角度，该纹理重建角度可以是通过上述图1中所示的渲染角度所确定的，基于纹理重建角度从纹理网格数据中获取待填充网格；基于图像纹理模型确定与待填充网格相关联的纹理数据，将纹理数据填充至待填充网格中，得到待处理图像数据的纹理重建数据。当然可选的，可以直接对纹理网格数据与图像纹理模型进行纹理融合，得到待处理图像数据的纹理重建数据。
在本申请实施例中，可以获取待处理图像数据，对待处理图像数据进行网格检测，得到图像网格特征，对图像网格特征进行可微分处理，得到待处理图像数据所对应的纹理网格数据；对待处理图像数据进行纹理检测，得到图像纹理特征，对图像纹理特征进行纹理映射处理，得到待处理图像数据所对应的图像纹理模型；对纹理网格数据与图像纹理模型进行纹理重建，生成待处理图像数据的纹理重建数据。通过以上过程，实现了对待处理图像数据的自动渲染建模，实现纹理重建，从而提高纹理重建的效率。而且，在这一过程中，将纹理重建划分为两部分，一部分用于进行几何重建，即获取纹理网格数据，以在3D重建中增加几何细节，对纹理进行约束，使得3D重建的结果更加准确；一部分用于进行纹理重建，增加3D重建的纹理细节，也就是图像的像素信息等，从而提高3D重建的准确性。也就是说，本申请可以丰富几何细节，生成高保真纹理，提高3D重建的效率和准确性。通过生成3D曲面径向基函数SDF和纹理场，可以从3D曲面径向基函数中提取3D表面网格，并通过纹理场（即图像纹理模型）获取像素信息，如颜色及材料等信息，也就是通过纹理网格数据的生成过程实现对待处理对象的表面形状的构建，通过纹理场实现对待处理对象的纹理填充，从而实现纹理重建，提高纹理重建的效率及准确性。
进一步地，请参见图6，图6是本申请实施例提供的一种模型训练的方法流程图。如图6所示，该模型训练过程包括如下步骤：
步骤S601，获取待处理图像样本，对待处理图像样本进行网格检测，得到样本网格特征，通过初始几何生成器对样本网格特征进行可微分处理，得到待处理图像样本所对应的样本网格数据。
在本申请实施例中，可以参见图3中的步骤S301中所示的相关描述，如待处理图像样本的获取过程可以参见待处理图像数据的获取过程，样本网格特征的生成过程可以参见图像网格特征的生成过程，样本网格数据的生成过程可以参见纹理网格数据的生成过程等，在此不再进行赘述。
步骤S602，对待处理图像样本进行纹理检测，得到样本纹理特征，通过初始纹理生成器对样本纹理特征进行纹理映射处理，得到待处理图像样本所对应的样本纹理模型。
在本申请实施例中，可以参见图3中的步骤S302的相关描述，在此不再进行赘述。如，样本纹理特征的生成过程可以参见图像纹理特征的生成过程，样本纹理模型的生成过程可以参见图像纹理模型的生成过程等。
步骤S603，对样本网格数据与样本纹理模型进行纹理重建，生成待处理图像样本的纹理重建样本。
在本申请实施例中，该过程可以参见图3中的步骤S303的相关描述，在此不再进行赘述，也就是参见纹理重建数据的生成过程。
步骤S604，基于纹理重建样本对初始几何生成器及初始纹理生成器进行参数调整，得到初始几何生成器所对应的几何生成器，及初始纹理生成器所对应的纹理生成器。
在本申请实施例中，计算机设备可以基于光栅化的可微渲染器，获取纹理重建样本的色值图像（如RGB图像）和轮廓，对纹理重建样本进行鉴别。具体的，可以对纹理重建样本进行图像渲染，得到样本重建图像，对纹理重建样本进行轮廓渲染，得到样本轮廓图像。具体的，可以随机采样采集设备c到C，为纹理重建样本提供环境信息（如光照等），利用应用调试引擎中的可微分光栅器，将纹理重建样本渲染为样本重建图像及样本轮廓图像。其中，纹理重建样本中每个像素都包含了样本网格数据表面上相应的3D坐标，可以通过3D坐标将纹理重建样本渲染为样本重建图像及样本轮廓图像，使得不会丢失纹理与几何之间的映射关系，从而可以高效地渲染高分辨率图像。进一步，可以获取待处理图像样本所对应的真实图像，根据真实图像、样本重建图像、样本轮廓图像及样本网格数据生成损失函数。采用损失函数对初始几何生成器及初始纹理生成器进行参数调整，得到初始几何生成器所对应的几何生成器，及初始纹理生成器所对应的纹理生成器。
其中，在根据真实图像、样本重建图像、样本轮廓图像及样本网格数据生成损失函数时，可以将样本重建图像输入第一网络鉴别器进行图像检测，得到图像检测结果，将真实图像输入第一网络鉴别器进行图像检测，得到第一真实检测结果，根据图像检测结果与第一真实检测结果构建第一损失函数。将样本轮廓图像输入第二网络鉴别器进行图像检测，得到轮廓检测结果，将真实图像输入第二网络鉴别器进行图像检测，得到第二真实检测结果，根据轮廓检测结果与第二真实检测结果构建第二损失函数。其中，第一网络鉴别器与第二网络鉴别器是指训练好的鉴别器，第一网络鉴别器用于对色值图像进行鉴别，第二网络鉴别器用于对轮廓进行鉴别。可选的，第一损失函数与第二损失函数的一种生成方式均可以参见公式③所示：
如公式③所示，此处的x用于表示样本重建图像或样本轮廓图像，c用于表示采集设备，px用于表示真实图像，R表示渲染操作，G()用于表示高斯函数，如，Dx用于表示网络鉴别器。如，x为样本重建图像，R(G(z)，c)用于表示采集设备c下的样本重建图像，Dx用于表示第一网络鉴别器；如x为样本轮廓图像，R(G(z)，c)用于表示采集设备c下的样本轮廓图像，Dx用于表示第二网络鉴别器等。其中，为训练好的参数，即网络鉴别器中的参数。其中，g()可以为一个函数，如g(u)=-log(1+exp(-u))。
进一步，从样本网格数据中获取样本顶点更新坐标，根据样本顶点更新坐标构建第三损失函数，该第三损失函数可以参见公式④所示：
如公式④所示，用于表示激活函数，如sigmoid函数等，Se用于表示在样本网格数据中的表面的一组边的集合，其中，/>，s加下角标用于表示顶点在曲面径向基函数中的函数值，如/>用于表示顶点p在曲面径向基函数中的函数值。通过该第三损失函数，删除在任何视图中都不可见的内部浮动面，可以进一步正则化几何生成器，提高几何生成器的准确性。其中，H()用于表示二进制交叉熵损失。
进一步，可以将第一损失函数、第二损失函数及第三损失函数，组合生成损失函数。该损失函数可以参见公式⑤所示：
如公式⑤所示，L用于表示损失函数；L(DRGB，G)用于表示第一损失函数，DRGB用于表示第一网络鉴别器，L(Dmask，G)用于表示第二损失函数，Dmask用于表示第二网络鉴别器，可以参见公式③。其中，是控制正则化级别的超参数，可以是第一网络鉴别器及第二网络鉴别器的训练过程中得到的参数，也可以是获取到的超参数等。
例如，可以参见图7，图7是本申请实施例提供的一种模型训练场景示意图。如图7所示，可以采用C个采集设备（如采集设备7021及采集设备7022等）对纹理重建样本701进行渲染，得到C个样本重建图像及C个样本轮廓图像等。以样本重建图像7031与样本轮廓图像7032为例，将样本重建图像7031输入第一网络鉴别器进行图像检测，得到图像检测结果7041；将样本轮廓图像7032输入第二网络鉴别器进行图像检测，得到轮廓检测结果7042。
在本申请实施例中，通过以上过程，实现了一个可以自动生成纹理网格及纹理信息的模型，如几何生成器及纹理生成器等，可以使得生成的几何生成器与纹理生成器可以结合应用调试引擎所采集的应用参数等，实现一个可以自动渲染建模的模型，提高纹理重建的效率，尤其对于游戏纹理复杂的游戏模型，可以通过几何生成器及纹理生成器等，实现快读渲染建模及效果查看。
进一步地，请参见图8，图8是本申请实施例提供的一种图像处理装置示意图。该图像处理装置可以是运行于计算机设备中的一个计算机程序（包括程序代码等），例如该图像处理装置可以为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图8所示，该图像处理装置800可以用于图3所对应实施例中的计算机设备，具体的，该装置可以包括：图像获取模块11、网格检测模块12、网格处理模块13、纹理检测模块14、纹理映射模块15及纹理重建模块16。
图像获取模块11，用于获取待处理图像数据；
网格检测模块12，用于对待处理图像数据进行网格检测，得到图像网格特征；
网格处理模块13，用于对图像网格特征进行可微分处理，得到待处理图像数据所对应的纹理网格数据；
纹理检测模块14，用于对待处理图像数据进行纹理检测，得到图像纹理特征；
纹理映射模块15，用于对图像纹理特征进行纹理映射处理，得到待处理图像数据所对应的图像纹理模型；
纹理重建模块16，用于对纹理网格数据与图像纹理模型进行纹理重建，生成待处理图像数据的纹理重建数据。
其中，该网格检测模块12，包括：
网格采样单元121，用于获取待处理图像数据中的对象网格，对对象网格进行采样处理，得到待处理采样网格；
网格映射单元122，用于对待处理采样网格进行非线性映射处理，得到网格映射特征，基于网格映射特征中所包括的顶点几何信息进行四面体网格构建，得到图像网格特征；该顶点几何信息包括顶点坐标。
其中，该纹理检测模块14，包括：
纹理采样单元141，用于获取待处理图像数据中的待处理图像，对待处理图像进行采样处理，得到待处理采样纹理；
纹理映射单元142，用于对待处理采样纹理进行非线性映射处理，得到纹理映射特征；
特征组合单元143，用于对网格映射特征与纹理映射特征进行特征组合处理，得到图像纹理特征。
其中，该网格处理模块13，包括：
坐标获取单元131，用于从图像网格特征中获取待处理对象的K个四面体网格分别对应的顶点初始坐标；K为正整数；
网格变形单元132，用于对K个四面体网格进行微分变形，得到K个四面体网格分别对应的顶点变形值；
坐标更新单元133，用于基于K个四面体网格分别对应的顶点变形值和顶点初始坐标，确定K个四面体网格分别对应的顶点更新坐标；
网格构建单元134，用于将K个四面体网格分别对应的顶点变形值，以及K个四面体网格分别对应的顶点更新坐标，组成待处理图像数据所对应的纹理网格数据。
其中，该坐标更新单元133，包括：
第一更新子单元1331，用于在第i个四面体网格所对应的顶点初始坐标上，添加第i个四面体网格所对应的顶点变形值，得到第i个四面体网格所对应的顶点更新坐标；i为小于或等于K的正整数；或者，
第二更新子单元1332，用于在第i个四面体网格所对应的顶点初始坐标上，添加第i个四面体网格所对应的顶点变形值，得到第i个四面体网格所对应的顶点变形坐标，对第i个四面体网格所对应的顶点变形坐标进行重心插值处理，得到第i个四面体网格所对应的顶点更新坐标。
其中，该网格构建单元134，包括:
顶点变形子单元1341，用于获取第i个四面体网格中的第一顶点对的顶点初始坐标及顶点变形值，确定第i个四面体网格中的第一顶点对所对应的顶点变形坐标；i为小于或等于K的正整数；
梯度处理子单元1342，用于对第一顶点对的顶点变形坐标及顶点更新坐标，进行梯度处理，得到第i个四面体网格所对应的网格梯度数据；
网格构建子单元1343，用于当i为K时，将K个四面体网格分别对应的网格梯度数据组成待处理图像数据所对应的纹理网格数据。
其中，该装置800还包括：
顶点获取模块17，用于将第i个四面体网格所包括的顶点中的随机两个顶点，确定为第一顶点对；或者，
该顶点获取模块17，还用于将第i个四面体网格所包括的顶点进行两两组合，得到N个第一顶点对；N为正整数；该梯度处理子单元1342具体用于：对N个第一顶点对的顶点变形坐标及顶点更新坐标分别进行梯度处理，得到N个第一顶点对分别对应的子梯度数据，将N个第一顶点对分别对应的子梯度数据的统计值，确定为第i个四面体网格所对应的网格梯度数据。
其中，该纹理映射模块15，包括：
平面构建单元151，用于对图像纹理特征进行建模处理，构建轴向三平面；
初始构建单元152，用于将图像纹理特征映射至轴向三平面，得到初始纹理模型；
模型生成单元153，用于对初始纹理模型进行双线性插值处理，得到插值模型，对插值模型进行全连接映射处理，得到待处理图像数据所对应的图像纹理模型。
其中，该纹理重建模块16，包括：
网格获取单元161，用于获取纹理重建角度，基于纹理重建角度从纹理网格数据中获取待填充网格；
网格填充单元162，用于基于图像纹理模型确定与待填充网格相关联的纹理数据，将纹理数据填充至待填充网格中，得到待处理图像数据的纹理重建数据。
本申请实施例提供了一种图像处理装置，该装置可以获取待处理图像数据，对待处理图像数据进行网格检测，得到图像网格特征，对图像网格特征进行可微分处理，得到待处理图像数据所对应的纹理网格数据；对待处理图像数据进行纹理检测，得到图像纹理特征，对图像纹理特征进行纹理映射处理，得到待处理图像数据所对应的图像纹理模型；对纹理网格数据与图像纹理模型进行纹理重建，生成待处理图像数据的纹理重建数据。通过以上过程，实现了对待处理图像数据的自动渲染建模，实现纹理重建，从而提高纹理重建的效率。而且，在这一过程中，将纹理重建划分为两部分，一部分用于进行几何重建，即获取纹理网格数据，以在3D重建中增加几何细节，对纹理进行约束，使得3D重建的结果更加准确；一部分用于进行纹理重建，增加3D重建的纹理细节，也就是图像的像素信息等，从而提高3D重建的准确性。也就是说，本申请可以丰富几何细节，生成高保真纹理，提高3D重建的效率和准确性。通过生成3D曲面径向基函数SDF和纹理场，可以从3D曲面径向基函数中提取3D表面网格，并通过纹理场（即图像纹理模型）获取像素信息，如颜色及材料等信息，也就是通过纹理网格数据的生成过程实现对待处理对象的表面形状的构建，通过纹理场实现对待处理对象的纹理填充，从而实现纹理重建，提高纹理重建的效率及准确性。
进一步地，请参见图9，图9是本申请实施例提供的另一种图像处理装置示意图。该图像处理装置可以是运行于计算机设备中的一个计算机程序（包括程序代码等），例如该图像处理装置可以为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图9所示，该图像处理装置900可以用于图6所对应实施例中的计算机设备，具体的，该装置可以包括：样本获取模块21、网格生成模块22、纹理生成模块23、样本重建模块24及参数调整模块25。
样本获取模块21，用于获取待处理图像样本；
网格生成模块22，用于对待处理图像样本进行网格检测，得到样本网格特征，通过初始几何生成器对样本网格特征进行可微分处理，得到待处理图像样本所对应的样本网格数据；
纹理生成模块23，用于对待处理图像样本进行纹理检测，得到样本纹理特征，通过初始纹理生成器对样本纹理特征进行纹理映射处理，得到待处理图像样本所对应的样本纹理模型；
样本重建模块24，用于对样本网格数据与样本纹理模型进行纹理重建，生成待处理图像样本的纹理重建样本；
参数调整模块25，用于基于纹理重建样本对初始几何生成器及初始纹理生成器进行参数调整，得到初始几何生成器所对应的几何生成器，及初始纹理生成器所对应的纹理生成器。
其中，该参数调整模块25，包括：
样本渲染单元251，用于对纹理重建样本进行图像渲染，得到样本重建图像，对纹理重建样本进行轮廓渲染，得到样本轮廓图像；
标签获取单元252，用于获取待处理图像样本所对应的真实图像；
损失构建单元253，用于根据真实图像、样本重建图像、样本轮廓图像及样本网格数据生成损失函数；
参数调整单元254，用于采用损失函数对初始几何生成器及初始纹理生成器进行参数调整，得到初始几何生成器所对应的几何生成器，及初始纹理生成器所对应的纹理生成器。
其中，该损失构建单元253，包括：
第一检测子单元2531，用于将样本重建图像输入第一网络鉴别器进行图像检测，得到图像检测结果，将真实图像输入第一网络鉴别器进行图像检测，得到第一真实检测结果，根据图像检测结果与第一真实检测结果构建第一损失函数；
第二检测子单元2532，用于将样本轮廓图像输入第二网络鉴别器进行图像检测，得到轮廓检测结果，将真实图像输入第二网络鉴别器进行图像检测，得到第二真实检测结果，根据轮廓检测结果与第二真实检测结果构建第二损失函数；
顶点检测子单元2533，用于从样本网格数据中获取样本顶点更新坐标，根据样本顶点更新坐标构建第三损失函数；
损失生成子单元2534，用于将第一损失函数、第二损失函数及第三损失函数，组合生成损失函数。
在本申请实施例中，通过以上过程，实现了一个可以自动生成纹理网格及纹理信息的模型，如几何生成器及纹理生成器等，可以使得生成的几何生成器与纹理生成器可以结合应用调试引擎所采集的应用参数等，实现一个可以自动渲染建模的模型，提高纹理重建的效率，尤其对于游戏纹理复杂的游戏模型，可以通过几何生成器及纹理生成器等，实现快读渲染建模及效果查看。
参见图10，图10是本申请实施例提供的一种计算机设备的结构示意图。如图10所示，本申请实施例中的计算机设备可以包括：一个或多个处理器1001、存储器1002和输入输出接口1003。该处理器1001、存储器1002和输入输出接口1003通过总线1004连接。存储器1002用于存储计算机程序，该计算机程序包括程序指令，输入输出接口1003用于接收数据及输出数据，如用于计算机设备与业务设备之间进行数据交互等；处理器1001用于执行存储器1002存储的程序指令。
其中，该处理器1001用于进行纹理重建时，可以执行如下操作：
获取待处理图像数据，对待处理图像数据进行网格检测，得到图像网格特征，对图像网格特征进行可微分处理，得到待处理图像数据所对应的纹理网格数据；
对待处理图像数据进行纹理检测，得到图像纹理特征，对图像纹理特征进行纹理映射处理，得到待处理图像数据所对应的图像纹理模型；
对纹理网格数据与图像纹理模型进行纹理重建，生成待处理图像数据的纹理重建数据。
或者，该处理器1001用于模型训练时，可以执行如下操作：
获取待处理图像样本，对待处理图像样本进行网格检测，得到样本网格特征，通过初始几何生成器对样本网格特征进行可微分处理，得到待处理图像样本所对应的样本网格数据；
对待处理图像样本进行纹理检测，得到样本纹理特征，通过初始纹理生成器对样本纹理特征进行纹理映射处理，得到待处理图像样本所对应的样本纹理模型；
对样本网格数据与样本纹理模型进行纹理重建，生成待处理图像样本的纹理重建样本；
基于纹理重建样本对初始几何生成器及初始纹理生成器进行参数调整，得到初始几何生成器所对应的几何生成器，及初始纹理生成器所对应的纹理生成器。
在一些可行的实施方式中，该处理器1001可以是中央处理单元(centralprocessing unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器1002可以包括只读存储器和随机存取存储器，并向处理器1001和输入输出接口1003提供指令和数据。存储器1002的一部分还可以包括非易失性随机存取存储器。例如，存储器1002还可以存储设备类型的信息。
具体实现中，该计算机设备可通过其内置的各个功能模块执行如该图3或图6中各个步骤所提供的实现方式，具体可参见该图3或图6中各个步骤所提供的实现方式，在此不再赘述。
本申请实施例通过提供一种计算机设备，包括：处理器、输入输出接口、存储器，通过处理器获取存储器中的计算机程序，执行该图3中所示方法的各个步骤，进行图像处理操作。本申请实施例实现了获取待处理图像数据，对待处理图像数据进行网格检测，得到图像网格特征，对图像网格特征进行可微分处理，得到待处理图像数据所对应的纹理网格数据；对待处理图像数据进行纹理检测，得到图像纹理特征，对图像纹理特征进行纹理映射处理，得到待处理图像数据所对应的图像纹理模型；对纹理网格数据与图像纹理模型进行纹理重建，生成待处理图像数据的纹理重建数据。通过以上过程，实现了对待处理图像数据的自动渲染建模，实现纹理重建，从而提高纹理重建的效率。而且，在这一过程中，将纹理重建划分为两部分，一部分用于进行几何重建，即获取纹理网格数据，以在3D重建中增加几何细节，对纹理进行约束，使得3D重建的结果更加准确；一部分用于进行纹理重建，增加3D重建的纹理细节，也就是图像的像素信息等，从而提高3D重建的准确性。也就是说，本申请可以丰富几何细节，生成高保真纹理，提高3D重建的效率和准确性。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序适于由该处理器加载并执行图3或图6中各个步骤所提供的图像处理方法，具体可参见该图3或图6中各个步骤所提供的实现方式，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。作为示例，计算机程序可被部署为在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行。
该计算机可读存储介质可以是前述任一实施例提供的图像处理装置或者该计算机设备的内部存储单元，例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡（smart media card，SMC），安全数字（secure digital，SD）卡，闪存卡（flash card）等。进一步地，该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图3或图6中的各种可选方式中所提供的方法，实现了将纹理重建划分为两部分，一部分用于进行几何重建，即获取纹理网格数据，以在3D重建中增加几何细节，对纹理进行约束，使得3D重建的结果更加准确；一部分用于进行纹理重建，增加3D重建的纹理细节，也就是图像的像素信息等，从而提高3D重建的准确性。也就是说，本申请可以丰富几何细节，生成高保真纹理，提高3D重建的效率和准确性。通过生成3D曲面径向基函数SDF和纹理场，可以从3D曲面径向基函数中提取3D表面网格，并通过纹理场（即图像纹理模型）获取像素信息，如颜色及材料等信息，也就是通过纹理网格数据的生成过程实现对待处理对象的表面形状的构建，通过纹理场实现对待处理对象的纹理填充，从而实现纹理重建，提高纹理重建的效率及准确性。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在该说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的，具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程图像处理设备的处理器以产生一个机器，使得通过计算机或其他可编程图像处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程图像处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程图像处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (16)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像数据，对所述待处理图像数据进行网格检测，得到图像网格特征，对所述图像网格特征进行可微分处理，得到所述待处理图像数据所对应的纹理网格数据；
对所述待处理图像数据进行纹理检测，得到图像纹理特征，对所述图像纹理特征进行纹理映射处理，得到所述待处理图像数据所对应的图像纹理模型；
对所述纹理网格数据与所述图像纹理模型进行纹理重建，生成所述待处理图像数据的纹理重建数据。
2.如权利要求1所述的方法，其特征在于，所述对所述待处理图像数据进行网格检测，得到图像网格特征，包括：
获取所述待处理图像数据中的对象网格，对所述对象网格进行采样处理，得到待处理采样网格；
对所述待处理采样网格进行非线性映射处理，得到网格映射特征，基于所述网格映射特征中所包括的顶点几何信息进行四面体网格构建，得到图像网格特征；所述顶点几何信息包括顶点坐标。
3.如权利要求2所述的方法，其特征在于，所述对所述待处理图像数据进行纹理检测，得到图像纹理特征，包括：
获取所述待处理图像数据中的待处理图像，对所述待处理图像进行采样处理，得到待处理采样纹理；
对所述待处理采样纹理进行非线性映射处理，得到纹理映射特征；
对所述网格映射特征与所述纹理映射特征进行特征组合处理，得到图像纹理特征。
4.如权利要求1所述的方法，其特征在于，所述对所述图像网格特征进行可微分处理，得到所述待处理图像数据所对应的纹理网格数据，包括：
从所述图像网格特征中获取待处理对象的K个四面体网格分别对应的顶点初始坐标；K为正整数；
对所述K个四面体网格进行微分变形，得到所述K个四面体网格分别对应的顶点变形值；
基于所述K个四面体网格分别对应的顶点变形值和顶点初始坐标，确定所述K个四面体网格分别对应的顶点更新坐标；
将所述K个四面体网格分别对应的顶点变形值，以及所述K个四面体网格分别对应的顶点更新坐标，组成所述待处理图像数据所对应的纹理网格数据。
5.如权利要求4所述的方法，其特征在于，所述基于所述K个四面体网格分别对应的顶点变形值和顶点初始坐标，确定所述K个四面体网格分别对应的顶点更新坐标，包括：
在第i个四面体网格所对应的顶点初始坐标上，添加所述第i个四面体网格所对应的顶点变形值，得到所述第i个四面体网格所对应的顶点更新坐标；i为小于或等于K的正整数；或者，
在第i个四面体网格所对应的顶点初始坐标上，添加所述第i个四面体网格所对应的顶点变形值，得到所述第i个四面体网格所对应的顶点变形坐标，对所述第i个四面体网格所对应的顶点变形坐标进行重心插值处理，得到所述第i个四面体网格所对应的顶点更新坐标。
6.如权利要求4所述的方法，其特征在于，所述将所述K个四面体网格分别对应的顶点变形值，以及所述K个四面体网格分别对应的顶点更新坐标，组成所述待处理图像数据所对应的纹理网格数据，包括:
获取第i个四面体网格中的第一顶点对的顶点初始坐标及顶点变形值，确定所述第i个四面体网格中的第一顶点对所对应的顶点变形坐标；i为小于或等于K的正整数；
对所述第一顶点对的顶点变形坐标及顶点更新坐标，进行梯度处理，得到所述第i个四面体网格所对应的网格梯度数据；
当i为K时，将所述K个四面体网格分别对应的网格梯度数据组成所述待处理图像数据所对应的纹理网格数据。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
将所述第i个四面体网格所包括的顶点中的随机两个顶点，确定为第一顶点对；或者，
将所述第i个四面体网格所包括的顶点进行两两组合，得到N个第一顶点对；N为正整数；所述对所述第一顶点对的顶点变形坐标及顶点更新坐标，进行梯度处理，得到所述第i个四面体网格所对应的网格梯度数据，包括：对所述N个第一顶点对的顶点变形坐标及顶点更新坐标分别进行梯度处理，得到所述N个第一顶点对分别对应的子梯度数据，将所述N个第一顶点对分别对应的子梯度数据的统计值，确定为所述第i个四面体网格所对应的网格梯度数据。
8.如权利要求1所述的方法，其特征在于，所述对所述图像纹理特征进行纹理映射处理，得到所述待处理图像数据所对应的图像纹理模型，包括：
对所述图像纹理特征进行建模处理，构建轴向三平面；
将所述图像纹理特征映射至所述轴向三平面，得到初始纹理模型；
对所述初始纹理模型进行双线性插值处理，得到插值模型，对所述插值模型进行全连接映射处理，得到所述待处理图像数据所对应的图像纹理模型。
9.如权利要求1所述的方法，其特征在于，所述对所述纹理网格数据与所述图像纹理模型进行纹理重建，生成所述待处理图像数据的纹理重建数据，包括：
获取纹理重建角度，基于所述纹理重建角度从所述纹理网格数据中获取待填充网格；
基于所述图像纹理模型确定与所述待填充网格相关联的纹理数据，将所述纹理数据填充至所述待填充网格中，得到所述待处理图像数据的纹理重建数据。
10.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像样本，对所述待处理图像样本进行网格检测，得到样本网格特征，通过初始几何生成器对所述样本网格特征进行可微分处理，得到所述待处理图像样本所对应的样本网格数据；
对所述待处理图像样本进行纹理检测，得到样本纹理特征，通过初始纹理生成器对所述样本纹理特征进行纹理映射处理，得到所述待处理图像样本所对应的样本纹理模型；
对所述样本网格数据与所述样本纹理模型进行纹理重建，生成所述待处理图像样本的纹理重建样本；
基于所述纹理重建样本对所述初始几何生成器及所述初始纹理生成器进行参数调整，得到所述初始几何生成器所对应的几何生成器，及所述初始纹理生成器所对应的纹理生成器。
11.如权利要求10所述的方法，其特征在于，所述基于所述纹理重建样本对所述初始几何生成器及所述初始纹理生成器进行参数调整，得到所述初始几何生成器所对应的几何生成器，及所述初始纹理生成器所对应的纹理生成器，包括：
对所述纹理重建样本进行图像渲染，得到样本重建图像，对所述纹理重建样本进行轮廓渲染，得到样本轮廓图像；
获取所述待处理图像样本所对应的真实图像，根据所述真实图像、所述样本重建图像、所述样本轮廓图像及所述样本网格数据生成损失函数；
采用所述损失函数对所述初始几何生成器及所述初始纹理生成器进行参数调整，得到所述初始几何生成器所对应的几何生成器，及所述初始纹理生成器所对应的纹理生成器。
12.如权利要求11所述的方法，其特征在于，所述根据所述真实图像、所述样本重建图像、所述样本轮廓图像及所述样本网格数据生成损失函数，包括：
将所述样本重建图像输入第一网络鉴别器进行图像检测，得到图像检测结果，将所述真实图像输入所述第一网络鉴别器进行图像检测，得到第一真实检测结果，根据所述图像检测结果与所述第一真实检测结果构建第一损失函数；
将所述样本轮廓图像输入第二网络鉴别器进行图像检测，得到轮廓检测结果，将所述真实图像输入所述第二网络鉴别器进行图像检测，得到第二真实检测结果，根据所述轮廓检测结果与所述第二真实检测结果构建第二损失函数；
从所述样本网格数据中获取样本顶点更新坐标，根据所述样本顶点更新坐标构建第三损失函数；
将所述第一损失函数、所述第二损失函数及所述第三损失函数，组合生成损失函数。
13.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取待处理图像数据；
网格检测模块，用于对所述待处理图像数据进行网格检测，得到图像网格特征；
网格处理模块，用于对所述图像网格特征进行可微分处理，得到所述待处理图像数据所对应的纹理网格数据；
纹理检测模块，用于对所述待处理图像数据进行纹理检测，得到图像纹理特征；
纹理映射模块，用于对所述图像纹理特征进行纹理映射处理，得到所述待处理图像数据所对应的图像纹理模型；
纹理重建模块，用于对所述纹理网格数据与所述图像纹理模型进行纹理重建，生成所述待处理图像数据的纹理重建数据。
14.一种图像处理装置，其特征在于，所述装置包括：
样本获取模块，用于获取待处理图像样本；
网格生成模块，用于对所述待处理图像样本进行网格检测，得到样本网格特征，通过初始几何生成器对所述样本网格特征进行可微分处理，得到所述待处理图像样本所对应的样本网格数据；
纹理生成模块，用于对所述待处理图像样本进行纹理检测，得到样本纹理特征，通过初始纹理生成器对所述样本纹理特征进行纹理映射处理，得到所述待处理图像样本所对应的样本纹理模型；
样本重建模块，用于对所述样本网格数据与所述样本纹理模型进行纹理重建，生成所述待处理图像样本的纹理重建样本；
参数调整模块，用于基于所述纹理重建样本对所述初始几何生成器及所述初始纹理生成器进行参数调整，得到所述初始几何生成器所对应的几何生成器，及所述初始纹理生成器所对应的纹理生成器。
15.一种计算机设备，其特征在于，包括处理器、存储器、输入输出接口；
所述处理器分别与所述存储器和所述输入输出接口相连，其中，所述输入输出接口用于接收数据及输出数据，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以使得所述计算机设备执行权利要求1-9任一项所述的方法，或者执行权利要求10-12任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于由处理器加载并执行，以使得具有所述处理器的计算机设备执行权利要求1-9任一项所述的方法，或者执行权利要求10-12任一项所述的方法。
CN202311051112.5A 2023-08-21 2023-08-21 图像处理方法、装置、计算机及存储介质 Active CN116778065B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311051112.5A CN116778065B (zh) 2023-08-21 2023-08-21 图像处理方法、装置、计算机及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311051112.5A CN116778065B (zh) 2023-08-21 2023-08-21 图像处理方法、装置、计算机及存储介质

Publications (2)

Publication Number Publication Date
CN116778065A true CN116778065A (zh) 2023-09-19
CN116778065B CN116778065B (zh) 2024-01-02

Family

ID=87991590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311051112.5A Active CN116778065B (zh) 2023-08-21 2023-08-21 图像处理方法、装置、计算机及存储介质

Country Status (1)

Country Link
CN (1) CN116778065B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020038195A1 (zh) * 2018-08-24 2020-02-27 先临三维科技股份有限公司 三维模型的纹理获取方法、装置、设备和存储介质
CN112802172A (zh) * 2021-02-24 2021-05-14 网易（杭州）网络有限公司 三维模型的纹理映射方法、装置、存储介质及计算机设备
CN114529687A (zh) * 2022-02-22 2022-05-24 腾讯科技（深圳）有限公司 图像重建方法、装置、电子设备及计算机可读存储介质
KR102461111B1 (ko) * 2021-12-08 2022-10-31 동국대학교 산학협력단 단일 이미지를 기반으로 하는 텍스처 메쉬 재구성 시스템 및 그 방법
CN115512073A (zh) * 2022-09-19 2022-12-23 南京信息工程大学 基于可微分渲染下多阶段训练的三维纹理网格重建方法
CN116109798A (zh) * 2023-04-04 2023-05-12 腾讯科技（深圳）有限公司 图像数据处理方法、装置、设备及介质
US20230154111A1 (en) * 2021-11-15 2023-05-18 Samsung Electronics Co., Ltd. Method and apparatus for three-dimensional reconstruction of a human head for rendering a human image
CN116310046A (zh) * 2023-05-16 2023-06-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机及存储介质
CN116385619A (zh) * 2023-05-26 2023-07-04 腾讯科技（深圳）有限公司 对象模型渲染方法、装置、计算机设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020038195A1 (zh) * 2018-08-24 2020-02-27 先临三维科技股份有限公司 三维模型的纹理获取方法、装置、设备和存储介质
CN112802172A (zh) * 2021-02-24 2021-05-14 网易（杭州）网络有限公司 三维模型的纹理映射方法、装置、存储介质及计算机设备
US20230154111A1 (en) * 2021-11-15 2023-05-18 Samsung Electronics Co., Ltd. Method and apparatus for three-dimensional reconstruction of a human head for rendering a human image
KR102461111B1 (ko) * 2021-12-08 2022-10-31 동국대학교 산학협력단 단일 이미지를 기반으로 하는 텍스처 메쉬 재구성 시스템 및 그 방법
CN114529687A (zh) * 2022-02-22 2022-05-24 腾讯科技（深圳）有限公司 图像重建方法、装置、电子设备及计算机可读存储介质
CN115512073A (zh) * 2022-09-19 2022-12-23 南京信息工程大学 基于可微分渲染下多阶段训练的三维纹理网格重建方法
CN116109798A (zh) * 2023-04-04 2023-05-12 腾讯科技（深圳）有限公司 图像数据处理方法、装置、设备及介质
CN116310046A (zh) * 2023-05-16 2023-06-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机及存储介质
CN116385619A (zh) * 2023-05-26 2023-07-04 腾讯科技（深圳）有限公司 对象模型渲染方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN116778065B (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
US10748324B2 (en) Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering
CN109754464B (zh) 用于生成信息的方法和装置
CN110378947B (zh) 3d模型重建方法、装置及电子设备
KR101271460B1 (ko) 영상 복원 장치 및 그 방법
CN113327318B (zh) 图像显示方法、装置、电子设备和计算机可读介质
CN113436338A (zh) 火灾现场的三维重建方法、装置、服务器及可读存储介质
CN116310046B (zh) 图像处理方法、装置、计算机及存储介质
CN114742956B (zh) 模型处理方法、装置、设备及计算机可读存储介质
CN112734910A (zh) 基于rgb单图实时人脸三维图像重建方法、装置及电子设备
CN116958379A (zh) 图像渲染方法、装置、电子设备、存储介质及程序产品
CN117252984A (zh) 三维模型生成方法、装置、设备、存储介质及程序产品
CN115115805A (zh) 三维重建模型的训练方法、装置、设备及存储介质
Wu et al. Remote sensing novel view synthesis with implicit multiplane representations
JPH11504452A (ja) ２次元投影図に基づいて３次元の対象物を再現し、取り扱うための装置と方法
CN115170740A (zh) 特效处理方法、装置、电子设备及存储介质
CN116385622B (zh) 云图处理方法、装置、计算机及可读存储介质
CN111461091B (zh) 万能指纹生成方法和装置、存储介质及电子装置
CN110378948B (zh) 3d模型重建方法、装置及电子设备
CN116778065B (zh) 图像处理方法、装置、计算机及存储介质
CN115082636B (zh) 基于混合高斯网络的单图像三维重建方法及设备
CN115880526A (zh) 图像处理方法、装置、电子设备及存储介质
CN115880748A (zh) 人脸重建和遮挡区域识别方法、装置、设备及存储介质
CN115393498A (zh) 一种基于隐式光传输函数合并的绘制方法和装置
Ranade et al. 3D Texture Super Resolution via the Rendering Loss
Al-Oraiqat et al. Specialized Computer systems for environment visualization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40092295

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant