CN116311187A - 对象材质识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种对象材质识别方法、装置、电子设备及计算机可读存储介质。该对象材质识别方法包括：对被测对象的目标图像进行区域划分，得到所述被测对象的材质区域集合，其中，所述材质区域集合包括多个材质区域；获取所述被测对象的光源反射数据；对所述光源反射数据进行划分，得到所述被测对象在各个反射强度的数据长度；根据所述材质区域集合和所述各个反射强度的数据长度，确定所述材质区域集合中每个材质区域的材质。本申请中可以自动同时识别出被测对象的不同材质的区域，以及不同区域的具体材质类型，提高材质测定效率和准确率。

Description

对象材质识别方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种对象材质识别方法、装置、电子设备及计算机可读存储介质。

背景技术

材质识别和标定是目标物体的三维模型制作的一个重要环节，现有技术中，直接通过主动光源依次发出多种不同频谱特征光线照射被测物体；采集被测物体反射多种不同频谱特征光线产生的多组反射强度数据、与事先测量的不同材质的多组反射强度数据进行比对，确定被测物体的材质。

但是，本申请发明人在实际应用过程中发现：被测物体通常包含两种或以上材质(比如，人的衣物和首饰)需要测定，需分别发射光源测定两种或以上不同材质，测定效率低。

发明内容

本申请提供一种对象材质识别方法、装置、电子设备及计算机可读存储介质，可以自动同时识别出被测对象的不同材质的区域，以及不同区域的具体材质类型，提高材质测定效率和准确率。

第一方面，本申请提供一种对象材质识别方法，所述方法包括：

对被测对象的目标图像进行区域划分，得到所述被测对象的材质区域集合，其中，所述材质区域集合包括多个材质区域；

获取所述被测对象的光源反射数据；

对所述光源反射数据进行划分，得到所述被测对象在各个反射强度的数据长度；

根据所述材质区域集合和所述各个反射强度的数据长度，确定所述材质区域集合中每个材质区域的材质。

第二方面，本申请提供一种对象材质识别装置，所述对象材质识别装置包括：

第一划分单元，用于对被测对象的目标图像进行区域划分，得到所述被测对象的材质区域集合，其中，所述材质区域集合包括多个材质区域；

获取单元，用于获取所述被测对象的光源反射数据；

第二划分单元，用于对所述光源反射数据进行划分，得到所述被测对象在各个反射强度的数据长度；

识别单元，用于根据所述材质区域集合和所述各个反射强度的数据长度，确定所述材质区域集合中每个材质区域的材质。

第三方面，本申请还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本申请提供的任一种对象材质识别方法。

第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的对象材质识别方法。

本申请通过对被测对象的目标图像进行区域划分，得到被测对象的材质区域集合；对光源反射数据进行划分，得到被测对象在各个反射强度的数据长度；根据材质区域集合和各个反射强度的数据长度，确定材质区域集合中每个材质区域的材质；由于进行区域划分可以自动划分出被测对象的不同材质区域、对光源反射数据进行划分可以划分出被测对象的不同材质区域的反射强度，因此可以自动识别出被测对象的不同材质的区域，以及不同区域的具体材质类型，实现了同时测定被测对象的多种不同材质；提高材质测定效率和准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例所提供的对象材质识别系统的场景示意图；

图2是本申请实施例提供的对象材质识别方法的一种流程示意图；

图3是本申请实施例中提供的被测对象的材质区域的一个划分示意图；

图4是本申请实施例中提供的被测对象的各材质区域的材质确定示意图；

图5是本申请实施例中提供的已训练识别模型的一个模型结构示意图；

图6是本申请实施例中提供的对象材质识别装置的一个实施例结构示意图；

图7是本申请实施例中提供的电子设备的一个实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的过程进行详细阐述，以避免不必要的细节使本申请实施例的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请实施例所公开的原理和特征的最广范围相一致。

体积视频(Volumetric Video，又称容积视频、空间视频、体三维视频或6自由度视频等)是一种通过捕获三维空间中信息(如深度信息和色彩信息等)并生成三维模型序列的技术。相对于传统的视频，体积视频将空间的概念加入到视频中，用三维模型来更好的还原真实三维世界，而不是以二维的平面视频加上运镜来模拟真实三维世界的空间感。由于体积视频实质为三维模型序列，使得用户可以随自己喜好调整到任意视角进行观看，较二维平面视频具有更高的还原度和沉浸感。

可选地，在本申请中，用于构成体积视频的三维模型可以按照如下方式重建得到：

先获取拍摄对象的不同视角的彩色图像和深度图像，以及彩色图像对应的相机参数；然后根据获取到的彩色图像及其对应的深度图像和相机参数，训练隐式表达拍摄对象三维模型的神经网络模型，并基于训练的神经网络模型进行等值面提取，实现对拍摄对象的三维重建，得到拍摄对象的三维模型。

应当说明的是，本申请实施例中对采用何种架构的神经网络模型不作具体限制，可由本领域技术人员根据实际需要选取。比如，可以选取不带归一化层的多层感知机(Multilayer Perceptron，MLP)作为模型训练的基础模型。

下面将对本申请提供的三维模型重建方法进行详细描述。

首先，可以同步采用多个彩色相机和深度相机对需要进行三维重建的目标物体(该目标物体即为拍摄对象)进行多视角的拍摄，得到目标物体在多个不同视角的彩色图像及对应的深度图像，即在同一拍摄时刻(实际拍摄时刻的差值小于或等于时间阈值即认为拍摄时刻相同)，各视角的彩色相机将拍摄得到目标物体在对应视角的彩色图像，相应的，各视角的深度相机将拍摄得到目标物体在对应视角的深度图像。需要说明的是，目标物体可以是任意物体，包括但不限于人物、动物以及植物等生命物体，或者机械、家具、玩偶等非生命物体。

以此，目标物体在不同视角的彩色图像均具备对应的深度图像，即在拍摄时，彩色相机和深度相机可以采用相机组的配置，同一视角的彩色相机配合深度相机同步对同一目标物体进行拍摄。比如，可以搭建一摄影棚，该摄影棚中心区域为拍摄区域，环绕该拍摄区域，在水平方向和垂直方向每间隔一定角度配对设置有多组彩色相机和深度相机。当目标物体处于这些彩色相机和深度相机所环绕的拍摄区域时，即可通过这些彩色相机和深度相机拍摄得到该目标物体在不同视角的彩色图像及对应的深度图像。

此外，进一步获取每一彩色图像对应的彩色相机的相机参数。其中，相机参数包括彩色相机的内外参，可以通过标定确定，相机内参为与彩色相机自身特性相关的参数，包括但不限于彩色相机的焦距、像素等数据，相机外参为彩色相机在世界坐标系中的参数，包括但不限于彩色相机的位置(坐标)和相机的旋转方向等数据。

如上，在获取到目标物体在同一拍摄时刻的多个不同视角的彩色图像及其对应的深度图像之后，即可根据这些彩色图像及其对应深度图像对目标物体进行三维重建。区别于相关技术中将深度信息转换为点云进行三维重建的方式，本申请训练一神经网络模型用以实现对目标物体的三维模型的隐式表达，从而基于该神经网络模型实现对目标物体的三维重建。

可选地，本申请选用一不包括归一化层的多层感知机(Multilayer Perceptron，MLP)作为基础模型，按照如下方式进行训练：

基于对应的相机参数将每一彩色图像中的像素点转化为射线；

在射线上采样多个采样点，并确定每一采样点的第一坐标信息以及每一采样点距离像素点的SDF值；

将采样点的第一坐标信息输入基础模型，得到基础模型输出的每一采样点的预测SDF值以及预测RGB颜色值；

基于预测SDF值与SDF值之间的第一差异，以及预测RGB颜色值与像素点的RGB颜色值之间的第二差异，对基础模型的参数进行调整，直至满足预设停止条件；

将满足预设停止条件的基础模型作为隐式表达目标物体的三维模型的神经网络模型。

首先，基于彩色图像对应的相机参数将彩色图像中的一像素点转化为一条射线，该射线可以为经过像素点且垂直于彩色图像面的射线；然后，在该射线上采样多个采样点，采样点的采样过程可以分两步执行，可以先均匀采样部分采样点，然后再在基于像素点的深度值在关键处进一步采样多个采样点，以保证在模型表面附近可以采样到尽量多的采样点；然后，根据相机参数和像素点的深度值计算出采样得到的每一采样点在世界坐标系中的第一坐标信息以及每一采样点的有向距离(Signed Distance Field，SDF)值，其中，SDF值可以为像素点的深度值与采样点距离相机成像面的距离之间的差值，该差值为有符号的值，当差值为正值时，表示采样点在三维模型的外部，当差值为负值时，表示采样点在三维模型的内部，当差值为零时，表示采样点在三维模型的表面；然后，在完成采样点的采样并计算得到每一采样点对应的SDF值之后，进一步将采样点在世界坐标系的第一坐标信息输入基础模型(该基础模型被配置为将输入的坐标信息映射为SDF值和RGB颜色值后输出)，将基础模型输出的SDF值记为预测SDF值，将基础模型输出的RGB颜色值记为预测RGB颜色值；然后，基于预测SDF值与采样点对应的SDF值之间的第一差异，以及预测RGB颜色值与采样点所对应像素点的RGB颜色值之间的第二差异，对基础模型的参数进行调整。

此外，对于彩色图像中的其它像素点，同样按照上述方式进行采样点采样，然后将采样点在世界坐标系的坐标信息输入至基础模型以得到对应的预测SDF值和预测RGB颜色值，用于对基础模型的参数进行调整，直至满足预设停止条件，比如，可以配置预设停止条件为对基础模型的迭代次数达到预设次数，或者配置预设停止条件为基础模型收敛。在对基础模型的迭代满足预设停止条件时，即得到能够对拍摄对象的三维模型进行准确地隐式表达的神经网络模型。最后，可以采用等值面提取算法对该神经网络模型进行三维模型表面的提取，从而得到拍摄对象的三维模型。

可选地，在一些实施例中，根据相机参数确定彩色图像的成像面；确定经过彩色图像中像素点且垂直于成像面的射线为像素点对应的射线。

其中，可以根据彩色图像对应的彩色相机的相机参数，确定该彩色图像在世界坐标系中的坐标信息，即确定成像面。然后，可以确定经过彩色图像中像素点且垂直于该成像面的射线为该像素点对应的射线。

可选地，在一些实施例中，根据相机参数确定彩色相机在世界坐标系中的第二坐标信息及旋转角度；根据第二坐标信息和旋转角度确定彩色图像的成像面。

可选地，在一些实施例中，在射线上等间距采样第一数量个第一采样点；根据像素点的深度值确定多个关键采样点，并根据关键采样点采样第二数量个第二采样点；将第一数量个的第一采样点与第二数量个的第二采样点确定为在射线上采样得到的多个采样点。

其中，先在射线上均匀采样n(即第一数量)个第一采样点，n为大于2的正整数；然后，再根据前述像素点的深度值，从n个第一采样点中确定出距离前述像素点最近的预设数量个关键采样点，或者从n个第一采样点中确定出距离前述像素点小于距离阈值的关键采样点；然后，根据确定出的关键采样点再采样m个第二采样点，m为大于1的正整数；最后，将采样得到的n+m个采样点确定为在射线上采样得到的多个采样点。其中，在关键采样点处再多采样m个采样点，可以使得模型的训练效果在三维模型表面处更为精确，从而提升三维模型的重建精度。

可选地，在一些实施例中，根据彩色图像对应的深度图像确定像素点对应的深度值；基于深度值计算每一采样点距离像素点的SDF值；根据相机参数与深度值计算每一采样点的坐标信息。

其中，在每一像素点对应的射线上采样了多个采样点后，对于每一采样点，根据相机参数、像素点的深度值确定彩色相机的拍摄位置与目标物体上对应点之间的距离，然后基于该距离逐一计算每一采样点的SDF值以及计算出每一采样点的坐标信息。

需要说明的是，在完成对基础模型的训练之后，对于给定的任意一个点的坐标信息，即可由完成训练的基础模型预测其对应的SDF值，该预测的SDF值即表示了该点与目标物体的三维模型的位置关系(内部、外部或者表面)，实现对目标物体的三维模型的隐式表达，得到用于隐式表达目标物体的三维模型的神经网络模型。

最后，对以上神经网络模型进行等值面提取，比如可以采用等值面提取算法(Marching cubes，MC)绘制出三维模型的表面，得到三维模型表面，进而根据该三维模型表面得到目标物体的三维模型。

本申请提供的三维重建方案，通过神经网络去隐式建模目标物体的三维模型，并加入深度信息提高模型训练的速度和精度。采用本申请提供的三维重建方案，在时序上持续的对拍摄对象进行三维重建，即可得到拍摄对象在不同时刻的三维模型，这些不同时刻的三维模型按时序构成的三维模型序列即为对拍摄对象所拍摄得到的体积视频。以此，可以针对任意拍摄对象进行“体积视频拍摄”，得到特定内容呈现的体积视频。比如，可以对跳舞的拍摄对象进行体积视频拍摄，得到可以在任意角度观看拍摄对象舞蹈的体积视频，可以对教学的拍摄对象进行体积视频拍摄，得到可以在任意角度观看拍摄对象教学的体积视频，等等。

需要说明的是，本申请以下实施例涉及的体积视频可采用以上体积视频拍摄方式所拍摄得到。

本申请实施例提供一种对象材质识别方法、装置、电子设备和计算机可读存储介质。其中，该对象材质识别装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。

本申请实施例的对象材质识别方法可以应用于体积视频的制作流程及使用中，例如，体积视频中的目标物体(如被拍摄的表演者)作为被测对象，按照本申请实施例的对象材质识别方法进行材质识别。示例性地，该体积视频的制作流程及使用大致如下：

第一步：拍摄采集

表演者进入按矩阵部署的相机阵列系统，通过其中的红外IR相机、4K超高清工业相机等专业级采集设备将会拍摄并提取表演者的颜色信息、材质信息、深度信息等数据。

第二步：素材生成

采集好数据后将素材上传云端，就可以在云端调动算法自动生成体积视频(3D动态人物模型序列)。

第三步：使用体积视频

通过插件将体积视频放入UE4/UE5/Unity 3D里面，与虚拟场景或CG特效完美融合，支持实时渲染，或者用于AR合拍等。

本申请实施例对象材质识别方法的执行主体可以为本申请实施例提供的对象材质识别装置，或者集成了该对象材质识别装置的服务器设备、物理主机或者用户设备(UserEquipment，UE)等不同类型的电子设备，其中，对象材质识别装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(Personal Digital Assistant，PDA)等终端设备。该电子设备可以采用单独运行的工作方式，或者也可以采用设备集群的工作方式。

例如，本申请实施例提供的对象材质识别方法，可以应用于如图1所示的对象材质识别系统中。其中，该对象材质识别系统包括终端101、服务器102，终端101可以是既包括接收和发射硬件的设备，即具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。终端101具体可以是如手机、平板电脑、笔记本电脑等终端。终端101与服务器102可以通过网络进行双向通信，服务器102可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。终端101和服务器102可以共同实现该对象材质识别方法，例如，终端101可以向服务器102发送被测对象的目标图像，服务器102由此可以对被测对象的目标图像进行区域划分，得到所述被测对象的材质区域集合，其中，所述材质区域集合包括多个材质区域；获取所述被测对象的光源反射数据；对所述光源反射数据进行划分，得到所述被测对象在各个反射强度的数据长度；根据所述材质区域集合和所述各个反射强度的数据长度，确定所述材质区域集合中每个材质区域的材质。

本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的计算机设备，例如图1中仅示出1个服务器102，可以理解的，该对象材质识别系统还可以包括一个或多个其他服务器，具体此处不作限定。

还需说明的是，图1所示对象材质识别系统的场景示意图仅仅是一个示例，本发明实施例描述的对象材质识别系统以及场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着对象材质识别系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

下面，开始介绍本申请实施例提供的对象材质识别方法，本申请实施例中以电子设备作为执行主体、该电子设备集成了摄像头和显示屏来举例说明，为了简化与便于描述，后续方法实施例中将省略该执行主体。

参照图2，图2是本申请实施例提供的对象材质识别方法的一种流程示意图。需要说明的是，虽然在图2或其他附图所示的流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该对象材质识别方法包括步骤201～204，其中：

201、对被测对象的目标图像进行区域划分，得到所述被测对象的材质区域集合。

其中，所述材质区域集合包括多个材质区域。

其中，被测对象是指待进行材质标定的对象，例如，可以是体积视频中的目标物体，具体可以是人、动物、物体等。

其中，目标图像是指被测对象的图像。步骤201中目标图像的获取方式有多种，示例性地，包括：

(1)针对被测对象的照射场景图像，人工标注出主动光源的照射区域，并将主动光源的照射区域作为被测对象的目标图像。

(2)通过神经网络模型，根据被测对象的照射场景图像自动检测并分割出目标图像，示例性地，具体获取过程可以如下步骤A1～A4所示：

A1、获取所述被测对象的照射场景图像。

其中，照射场景图像是指被测对象进行主动光源照射时的图像。

示例性地，可以对被测对象进行发射可见的主动光源，然后通过摄像头采集被测对象的图像，作为照射场景图像；由于发射的是可见光，因此，此时获取的照射场景图像可以区别出被照射区域；从而即使后续使用的是不可见光进行照射来测定被测对象的材质时，可以有效地、准确度地区分出被测对象的被照射区域，从而准确地判定反射强度数据对应的材质区域，提高材质识别准确率。

例如，以被测对象是体积视频中的表演者为例，可以在体积视频制作的拍摄采集过程，对表演者进行发射主动光源，并将相机采集到的表演者的图像或视频帧，作为被测对象的照射场景图像。

A2、通过已训练的照射区域检测模型，对所述照射场景图像进行照射区域检测，得到所述照射场景图像的可见光照射区域。

其中，可见光照射区域是指照射场景图像中被主动光源照射的区域。

例如，可以将照射场景图像输入已训练的照射区域检测模型中，首先，通过已训练的照射区域检测模型中的特征提取模块，对照射场景图像进行特征提取得到照射场景图像的图像特征；然后，通过已训练的照射区域检测模型中的预测模块，基于照射场景图像的图像特征进行预测，得到照射场景图像中的被主动光源照射的区域，以作为照射场景图像的可见光照射区域。

上述已训练的照射区域检测模型可以通过如下步骤训练得到：

1、构建初步的照射区域检测模型。

例如，可以采用模型参数为默认值的(可用于检测任务)开源网络(如YOLOv网络)作为初步的照射区域检测模型，初步的照射区域检测模型可以包括特征提取模块和预测模块。其中，特征提取模块用于对图像进行特征提取得到图像的图像特征；例如，对样本图像进行特征提取得到样本图像的图像特征；又如，对照射场景图像进行特征提取得到照射场景图像的图像特征。预测模块用于基于图像的图像特征进行预测，得到图像中的被主动光源照射的区域；例如，基于样本图像的图像特征进行预测，得到样本图像中的被主动光源照射的区域；又如基于照射场景图像的图像特征进行预测，得到照射场景图像中的被主动光源照射的区域。

2、获取训练数据集。

其中，训练数据集包含多个样本图像，一部分样本图像可以是包含被主动光源照射的区域的图像，一部分样本图像可以是不包含被主动光源照射的区域的图像。训练数据集中每个样本进行了标注，标注信息包括被主动光源照射的区域实际的区域检测框和类别。

3、以样本的标注信息作为监督，采用训练数据集对初步的照射区域检测模型进行训练，直至初步的照射区域检测模型收敛时，得到已训练的照射区域检测模型。此时，可将训练好的照射区域检测模型应用于检测出图像中被主动光源照射的区域。

其中，已训练的照射区域检测模型可以充分学习被主动光源照射的区域特征，从而可以精确地检测出图像中被主动光源照射的区域。

A3、对所述照射场景图像的可见光照射区域进行分割，得到所述可见光照射区域的区域图像，以作为所述目标图像。

由于如为了保证能完整照射等原因，通常会扩大主动光源的照射面积，进而导致采集到的反射强度数据带有噪音，从而导致被测物体的材质判定准确度低。通过分割出可见光照射区域的区域图像作为目标图像，一方面，可以避免被测物体周围存在干扰物时无法准确测量问题，提高了被测对象的材质识别准确率；另一方面，由于可见光照射区域可以包含多种材质，因此可以同时多种材质进行识别，提高了材质识别效率。由此，本实施例可以自动识别出不同材质的区域，以及不同区域的具体材质类型，一方面，避免被测物体周围存在干扰物时无法准确测量问题；另一方面，可以同时测定多种不同材质；提高材质测定效率和准确率。

步骤201中进行区域划分的方式有多种，示例性地，包括：

(一)人工进行根据不同材质对目标图像进行区域划分，得到被测对象的多个材质区域，即得到被测对象的材质区域集合。

(二)通过已训练的区域划分模型，对被测对象的目标图像进行区域划分，得到所述被测对象的材质区域集合。例如，首先，基于训练数据集(包括多个样本图像，并标注每个样本图像的各个材质区域、每个样本图像中各个材质区域对应的类别)，对预设的区域划分模型进行训练，使得已训练的区域划分模型学习到各种材质区域的特征，从而得到已训练的(适用于检测图像中的各种材质区域的)区域划分模型。其中，预设的区域划分模型可以是可用于分类任务的开源网络模型，如EfficientNet模型等。具体地，可以采用模型参数为默认值的(可用于分类任务)开源网络作为预设的区域划分模型。将被测对象的目标图像输入已训练的区域划分模型，基于已训练的区域划分模型对被测对象的目标图像进行区域划分，得到被测对象的材质区域集合。

如图3所示，假设被测对象(如体积视频中的表演者)可以被划分为材质区域A(如衣服区域)、材质区域B(如首饰区域)、材质区域C(如脸部区域)、…，则被测对象的材质区域集合为{材质区域A，材质区域B，材质区域C，…}。

202、获取所述被测对象的光源反射数据。

其中，光源反射数据是指被测对象对光线的反射数据，光源反射数据具体可以是多组，每组光源反射数据是指被测对象对每组频谱特性光线的反射数据。

示例性地，可以分别向被测对象发射多组不同频谱特性光线，并采集被测对象在每组频谱特性光线上的反射数据，从而得到多组光源反射数据。例如，分别向被测对象发射多组频谱特性光线(如光线1、光线2、光线3)，采集到被测对象对光线1、光线2、光线3的反射数据分别为：反射数据1、反射数据2、反射数据3，从而得到多组光源反射数据。

203、对所述光源反射数据进行划分，得到所述被测对象在各个反射强度的数据长度。

步骤203中，确定各反射轻度的数据长度的方式有多种，示例性地，包括：

(1)统计各个反射强度的反射点数量作为各个反射强度的数据长度。此时，步骤203具体可以包括：基于所述光源反射数据，统计各个反射强度的反射点数量，以作为所述被测对象在各个反射强度的数据长度。

例如，基于光源反射数据可以确定被测对象各反射点的反射强度；然后，统计同一反射强度的反射点数量，作为被测对象在该反射强度的数据长度；从而可以得到被测对象在各个反射强度的数据长度。

同理，若光源反射数据包括多组时，针对每组光源反射数据分别进行统计各个反射强度的反射点数量，得到每组光源反射数据下被测对象在各反射强度的数据长度。

(2)通过已训练的数据预测模型，根据光源反射数据进行划分，得到被测对象在各反射强度的数据长度。此时，步骤203具体可以包括：将光源反射数据输入已训练的数据预测模型中；通过已训练的数据预测模型，对所述光源反射数据进行划分，得到所述被测对象在各个反射强度的数据长度。

上述已训练的数据预测模型可以通过如下步骤训练得到：

1、构建初步的数据预测模型。

例如，可以采用模型参数为默认值的回归模型作为初步的数据预测模型，初步的数据预测模型。该初步的数据预测模型以光源反射数据输入，输出各个反射强度的数据长度。

2、获取训练数据集。

其中，训练数据集包含多个样本光源反射数据，每个样本光源反射数据对对应标注了各个反射强度的数据长度。

3、采用训练数据集对初步的数据预测模型进行训练，直至初步的数据预测模型收敛时，得到已训练的数据预测模型。此时，可将训练好的数据预测模型应用于根据光源反射数据预测对应的各个反射强度的数据长度。

其中，已训练的数据预测模型可以充分学习光源反射数据与各个反射强度的数据长度之间的拟合关系，从而可以根据被测对象的光源反射数据，精确地预测出被测对象在各个反射强度的数据长度。

此外，除统计各个反射强度的反射点数量作为各个反射强度的数据长度外，还可以统计各个反射强度的反射面积等作为反射强度的数据长度，此处对各反射强度的数据长度的确定方式不做限制。

204、根据所述材质区域集合和所述各个反射强度的数据长度，确定所述材质区域集合中每个材质区域的标定材质。

步骤204中确定每个材质区域的标定材质的方式有多种，示例性地，包括：

1)每个材质区域的区域面积与每个材质区域对应的反射强度的数据长度呈正相关，因此可以先根据每个材质区域的区域面积和各个反射强度的数据长度进行对比，确定每个材质区域的反射强度；再根据每个材质区域的反射强度进行频谱特性对比，确定每个材质区域的材质。此时，步骤204具体可以包括如下步骤2041A～2044A：

2041A、按照区域面积由大至小对所述材质区域集合中每个材质区域进行排序，得到所述每个材质区域的序号。

在一些实施例中，可以按照每个材质区域的区域面积进行排序。其中，可以根据实际业务场景需求而设置区域面积与序号之间的关系，例如可以设置区域面积的大小与序号的大小呈正相关，即：每个材质区域的区域面积越大，每个材质区域的序号也越大；反之，每个材质区域的区域面积越小，每个材质区域的序号也越小。或者，也可以设置区域面积的大小与序号的大小呈负相关。例如，以区域面积的大小与序号的大小呈正相关为例，假设材质区域集合包括材质区域A、材质区域B、材质区域C，材质区域A、材质区域B、材质区域C的区域面积分别为：3㎝2、4㎝2、5㎝2，则可以确定材质区域A、材质区域B、材质区域C的序号分别为：3、2、1。

在另一些实施例中，进一步地，由于被测对象的材质相同的多个地方被划分为不同的区域，而同一材质的反射强度相同，即步骤203中确定的每个反射强度的数据长度反映的是同一种材质的数据长度；因此，为了提高每个材质区域对应的反射强度的判定准确度，还可以先对材质区域集合中各材质区域进行聚类得到材质区域集合的各聚类集合、以及每个材质区域的所属聚类集合；再按照每个材质区域的所属聚类集合的总区域面积对每个材质区域进行排序，以提高每个材质区域的材质判定准确度。此时，步骤2041A具体可以包括：

(1.1)对所述材质区域集合中各材质区域进行聚类，得到所述材质区域集合的各聚类集合、以及所述每个材质区域的所属聚类集合。

(1.2)统计所述各聚类集合中所有材质区域的区域面积，作为所述各聚类集合的总区域面积。

(1.3)基于所述各聚类集合的总区域面积，获取所述每个材质区域的所属聚类集合的总区域面积。

(1.4)基于所述每个材质区域的所属聚类集合的总区域面积对所述每个材质区域进行排序，得到所述每个材质区域的序号。

示例性地，可以人工根据每个材质区域的材质对材质区域集合中各材质区域进行聚类；或者，也可以通过一些聚类算法对材质区域集合中各材质区域进行聚类，例如，可以根据各材质区域的图像特征之间的特征距离，将特征距离接近的各材质区域聚类至一个聚类集合中，从而得到材质区域集合的各聚类集合、以及每个材质区域的所属聚类集合。

其中，可以根据实际业务场景需求而设置总区域面积与序号之间的关系，例如可以设置总区域面积的大小与序号的大小呈正相关，即：每个材质区域的所属聚类集合的总区域面积越大，每个材质区域的序号也越大；反之，每个材质区域的所属聚类集合的总区域面积越小，每个材质区域的序号也越小。或者，也可以设置总区域面积的大小与序号的大小呈负相关，即每个材质区域的所属聚类集合的总区域面积越大，每个材质区域的序号越小；反之，每个材质区域的所属聚类集合的总区域面积越小，每个材质区域的序号越大。具体实施时，同一聚类集合中各材质区域的序号相同，以保证相同材质可以正确识别。

例如，如图4中的(a)所示，以总区域面积的大小与序号的大小呈正相关为例，假设材质区域集合包括材质区域A、材质区域B、材质区域C、材质区域D、材质区域E、材质区域F、材质区域G，材质区域A、材质区域B、材质区域C、材质区域D、材质区域E、材质区域F、材质区域G的区域面积分别为：1㎝2、2㎝2、3㎝2、4㎝2、5㎝2、6㎝2、7㎝2，对材质区域集合中各材质区域进行聚类得到各聚类集合、以及每个材质区域的所属聚类集合：聚类集合1{材质区域A、材质区域B、材质区域C}、聚类集合2{材质区域D}、聚类集合3{材质区域E、材质区域F}、聚类集合4{材质区域G}。则聚类集合1、2、3、4的总区域面积分别为：6㎝2、4㎝2、5㎝2、13㎝2，因此聚类集合1、2、3、4对应的序号分别为：2、4、3、1，即可以确定材质区域A、材质区域B、材质区域C、材质区域D、材质区域E、材质区域F、材质区域G的序号分别为：2、2、2、4、3、3、1。

2042A、按照所述数据长度由大至小对所述各个反射强度进行排序，得到所述各个反射强度的序号。

例如，如图4中的(b)所示，各个反射强度(如强度a、强度b、强度c、强度d)的数据长度分别为：3、4、5、6，则强度a、强度b、强度c、强度d的序号分别为：1、2、3、4。

2043A、从所述各个反射强度中，获取序号与所述每个材质区域的序号相同的第一反射强度。

其中，第一反射强度是指根据每个材质区域的区域面积和各个反射强度的数据长度确定的、每个材质区域的反射强度。

例如，如图4中的(c)所示，材质区域A、材质区域B、材质区域C、材质区域D、材质区域E、材质区域F、材质区域G分别对应的第一反射强度为：强度b、强度b、强度b、强度d、强度c、强度c、强度a。

2044A、获取所述第一反射强度的匹配材质作为所述每个材质区域的材质。

例如，将第一反射强度与事先测量的不同材质的多组反射强度数据进行比对，并根据比对结果判断第一反射强度的匹配材质，以作为每个材质区域的材质，由此，可以得到材质区域集合中每个材质区域的材质。

2)每个材质区域的区域面积与每个材质区域对应的反射强度的反射点数量呈正相关，因此可以先根据每个材质区域的区域面积和各个反射强度的反射点数量进行对比，确定每个材质区域的反射强度；再根据每个材质区域的反射强度进行频谱特性对比，确定每个材质区域的材质。此时，各个反射强度的数据长度为各个反射强度的反射点数量，步骤204具体可以包括如下步骤2041B～2044B：

2041B、基于所述每个材质区域的面积、以及所述材质区域集合的总面积，获取所述每个材质区域的面积比例。

其中，材质区域集合的总面积是指材质区域集合中所有材质区域的区域面积总和。

在一些实施例中，获取所述每个材质区域的面积与所述材质区域集合的总面积之比，以作为所述每个材质区域的面积比例。

在一些实施例中，进一步地，由于被测对象的材质相同的多个地方被划分为不同的区域，而同一材质的反射强度相同，即步骤203中确定的每个反射强度的数据长度反映的是同一种材质的数据长度；因此，为了提高每个材质区域对应的反射强度的判定准确度，还可以先对材质区域集合中各材质区域进行聚类得到材质区域集合的各聚类集合、以及每个材质区域的所属聚类集合；再计算每个材质区域的所属聚类集合的的总区域面积与材质区域集合的总面积之比，作为每个材质区域的面积比例，以提高每个材质区域的材质判定准确度。

2042B、获取所述各个反射强度的反射点数量与所述光源反射数据的总反射点数量之比，作为所述各个反射强度的反射点比例。

例如，各个反射强度(如强度A、强度B、强度C)的反射点数量分别为：3、4、5，则强度A、强度B、强度C的反射点比例分别为：3/(3+4+5)＝3/12、4/12、5/12。

2043B、根据所述面积比例和所述反射点比例，确定所述每个材质区域的第二反射强度。

其中，第二反射强度是指根据每个材质区域的面积比例和各个反射强度的反射点比例确定的、每个材质区域的反射强度。

示例性地，可以按照反射点比例由大至小对各个反射强度进行排序，得到各个反射强度的序号；按照面积比例由大至小对所述材质区域集合中每个材质区域进行排序，得到所述每个材质区域的序号；从所述各个反射强度中，获取序号与所述每个材质区域的序号相同的反射强度，作为每个材质区域的第二反射强度。

2044B、获取所述第二反射强度的匹配材质作为所述每个材质区域的材质。

步骤2044B与步骤2044A实现类似，可以参考前文相关说明，此处不再赘述。

3)通过已训练识别模型进行材质识别，此时，步骤204具体可以包括如下步骤2041C～2042C：

2041C、通过已训练识别模型，根据所述材质区域集合和所述各个反射强度的数据长度，确定所述材质区域集合中每个材质区域的第三反射强度。

其中，第三反射强度是指通过已训练识别模型进行预测得到的、每个材质区域的反射强度。

示例性地，在一些实施方式中，步骤2041C具体可以包括：通过已训练识别模型，根据材质区域集合和各个反射强度的数据长度进行预测，得到材质区域集合中每个材质区域的第三反射强度。

示例性地，在一些实施方式中，步骤2041C具体可以包括：

(2.1)通过已训练识别模型中的分类层，对所述材质区域集合中每个材质区域进行分类，得到所述被测对象的各类别区域集合。

其中，所述各类别区域集合包括多个材质区域。例如，材质区域集合包括材质区域A、材质区域B、材质区域C、材质区域D、材质区域E、材质区域F、材质区域G，通过已训练识别模型中的分类层进行聚类得到各类别区域集合：集合1{材质区域A、材质区域B、材质区域C}、集合2{材质区域D}、集合3{材质区域E、材质区域F}、集合4{材质区域G}。

(2.2)通过所述已训练识别模型中的匹配层，根据所述各类别区域集合和所述各个反射强度的数据长度，确定所述各类别区域集合的反射强度。

(2.3)根据所述各类别区域集合的反射强度确定所述各类别区域集合中各材质区域的反射强度，得到所述材质区域集合中每个材质区域的第三反射强度。

如图5所示，识别模型(已训练识别模型、或待训练识别模型)包括分类层、匹配层。

分类层，用于对材质区域集合中各材质区域进行聚类。例如，对材质区域集合中每个材质区域进行聚类，得到被测对象的各类别区域集合。

匹配层，用于根据各类别区域集合和各个反射强度的数据长度，确定各类别区域集合的反射强度。

示例性地，已训练识别模型可以通过如下步骤B1～B4训练得到：

B1、获取训练数据集。

其中，所述训练数据集包括样本对象的多个样本材质区域、所述样本对象的样本反射数据、以及所述多个样本材质区域中每个样本材质区域的标注反射强度。

B2、对所述样本反射数据进行划分，得到所述样本对象在各个反射强度的样本数据长度。

步骤B2的实现与步骤203类似，具体可以参考前文相关说明，此处不再赘述。

B3、通过待训练识别模型，根据所述多个样本材质区域和所述各个反射强度的样本数据长度，确定所述每个样本材质区域的预测反射强度。

例如，可以将多个样本材质区域和各个反射强度的样本数据长度输入待训练识别模型中，通过待训练识别模型中的分类层，根据多个样本材质区域和各个反射强度的样本数据长度，确定每个样本材质区域的预测反射强度。

B4、根据所述预测反射强度与所述标注反射强度之间的损失值，对所述待训练识别模型进行训练，得到所述已训练识别模型。

其中，强度损失值是指预测反射强度与标注反射强度之间的损失值。

其中，材质损失值是指预测材质与标注材质之间的损失值。

步骤B4的实现方式有多种，示例性地，包括：

(1)基于强度损失值进行训练。此时，步骤B4具体可以包括：根据预测反射强度与标注反射强度，获取待训练识别模型的强度损失值；根据待训练识别模型的强度损失值对待训练识别模型的模型参数(如分类层的模型参数、匹配层的模型参数)进行调整，直至符合预设的停止训练条件时，得到已训练识别模型。

(2)基于强度损失值和材质损失值进行训练。此时，训练数据集还包括每个样本材质区域的标注材质，步骤B4具体可以包括：通过所述待训练识别模型的匹配层，获取所述预测反射强度的匹配材质，以作为所述每个样本材质区域的预测材质；根据所述预测反射强度与所述标注反射强度，获取所述待训练识别模型的强度损失值；根据所述预测材质与所述标注材质，获取所述待训练识别模型的材质损失值；根据所述强度损失值和所述材质损失值，对所述待训练识别模型进行训练，得到所述已训练识别模型。例如，可以根据强度损失值，对待训练识别模型的分类层的模型参数进行调整；根据材质损失值待训练识别模型的匹配层的模型参数进行调整，直至符合预设的停止训练条件时，得到已训练识别模型。

2042C、获取所述第三反射强度的匹配材质，以作为所述每个材质区域的材质。

步骤2042C与步骤2044A实现类似，可以参考前文相关说明，此处不再赘述。

进一步地，为了提高被测对象的材质填充效率，比如在被测对象为体积视频中的目标物体时，为了提高体积视频的制作流程及使用中的素材生成效率，可以按照步骤204中确定所述每个材质区域的材质，自动对所述目标物体进行材质填充。

进一步地，为了提高体积视频的制作流程及使用中的素材生成效率，还可以获取所述材质区域集合中每个材质区域的颜色信息；根据所述每个材质区域的颜色信息，自动对所述目标物体进行颜色填充。由于每个材质区域内的颜色大概率会保持一致，通过以每个材质区域为单位进行自动颜色信息填充，可以提高体积视频的素材生成效率。

由以上内容可以看出，通过对被测对象的目标图像进行区域划分，得到被测对象的材质区域集合；对光源反射数据进行划分，得到被测对象在各个反射强度的数据长度；根据材质区域集合和各个反射强度的数据长度，确定材质区域集合中每个材质区域的材质；由于进行区域划分可以自动划分出被测对象的不同材质区域、对光源反射数据进行划分可以划分出被测对象的不同材质区域的反射强度，因此可以自动识别出被测对象的不同材质的区域，以及不同区域的具体材质类型，实现了同时测定被测对象的多种不同材质；提高材质测定效率和准确率。

为了更好实施本申请实施例中对象材质识别方法，在对象材质识别方法基础之上，本申请实施例中还提供一种对象材质识别装置，如图6所示，为本申请实施例中对象材质识别装置的一个实施例结构示意图，该对象材质识别装置600包括：

第一划分单元601，用于对被测对象的目标图像进行区域划分，得到所述被测对象的材质区域集合，其中，所述材质区域集合包括多个材质区域；

获取单元602，用于获取所述被测对象的光源反射数据；

第二划分单元603，用于对所述光源反射数据进行划分，得到所述被测对象在各个反射强度的数据长度；

识别单元604，用于根据所述材质区域集合和所述各个反射强度的数据长度，确定所述材质区域集合中每个材质区域的材质。

在一些实施例中，所述识别单元604具体用于：

按照区域面积由大至小对所述材质区域集合中每个材质区域进行排序，得到所述每个材质区域的序号；

按照所述数据长度由大至小对所述各个反射强度进行排序，得到所述各个反射强度的序号；

从所述各个反射强度中，获取序号与所述每个材质区域的序号相同的第一反射强度；

获取所述第一反射强度的匹配材质作为所述每个材质区域的材质。

在一些实施例中，所述各个反射强度的数据长度为所述各个反射强度的反射点数量，所述识别单元604具体用于：

基于所述每个材质区域的面积、以及所述材质区域集合的总面积，获取所述每个材质区域的面积比例；

获取所述各个反射强度的反射点数量与所述光源反射数据的总反射点数量之比，作为所述各个反射强度的反射点比例；

根据所述面积比例和所述反射点比例，确定所述每个材质区域的第二反射强度；

获取所述第二反射强度的匹配材质作为所述每个材质区域的材质。

在一些实施例中，所述识别单元604具体用于：

通过已训练识别模型，根据所述材质区域集合和所述各个反射强度的数据长度，确定所述材质区域集合中每个材质区域的第三反射强度；

获取所述第三反射强度的匹配材质，以作为所述每个材质区域的材质。

在一些实施例中，所述识别单元604具体用于：

通过已训练识别模型中的分类层，对所述材质区域集合中每个材质区域进行分类，得到所述被测对象的各类别区域集合，所述各类别区域集合包括多个材质区域；

通过所述已训练识别模型中的匹配层，根据所述各类别区域集合和所述各个反射强度的数据长度，确定所述各类别区域集合的反射强度；

根据所述各类别区域集合的反射强度确定所述各类别区域集合中各材质区域的反射强度，得到所述材质区域集合中每个材质区域的第三反射强度。

在一些实施例中，所述对象材质识别装置还包括训练单元(图中未示出)，所述训练单元具体用于：

获取训练数据集，其中，所述训练数据集包括样本对象的多个样本材质区域、所述样本对象的样本反射数据、以及所述多个样本材质区域中每个样本材质区域的标注反射强度；

对所述样本反射数据进行划分，得到所述样本对象在各个反射强度的样本数据长度；

通过待训练识别模型，根据所述多个样本材质区域和所述各个反射强度的样本数据长度，确定所述每个样本材质区域的预测反射强度；

根据所述预测反射强度与所述标注反射强度之间的损失值，对所述待训练识别模型进行训练，得到所述已训练识别模型。

在一些实施例中，所述训练数据集还包括所述每个样本材质区域的标注材质；所述训练单元具体用于：

通过所述待训练识别模型的匹配层，获取所述预测反射强度的匹配材质，以作为所述每个样本材质区域的预测材质；

根据所述预测反射强度与所述标注反射强度，获取所述待训练识别模型的强度损失值；

根据所述预测材质与所述标注材质，获取所述待训练识别模型的材质损失值；

根据所述强度损失值和所述材质损失值，对所述待训练识别模型进行训练，得到所述已训练识别模型。

在一些实施例中，所述第一划分单元601具体用于：

获取所述被测对象的照射场景图像；

通过已训练的照射区域检测模型，对所述照射场景图像进行照射区域检测，得到所述照射场景图像的可见光照射区域；

对所述照射场景图像的可见光照射区域进行分割，得到所述可见光照射区域的区域图像，以作为所述目标图像。

在一些实施例中，所述第二划分单元603具体用于：

基于所述光源反射数据，统计各个反射强度的反射点数量，以作为所述被测对象在各个反射强度的数据长度。

在一些实施例中，所述被测对象为体积视频中的目标物体。

在一些实施例中，所述对象材质识别装置还包括填充单元(图中未示出)，所述填充单元具体用于：

根据所述每个材质区域的材质，对所述目标物体进行材质填充。

在一些实施例中，所述填充单元具体用于：

获取所述材质区域集合中每个材质区域的颜色信息；

根据所述每个材质区域的颜色信息，对所述目标物体进行颜色填充。

由此，本申请实施例提供的对象材质识别装置600可以带来如下技术效果：由于进行区域划分可以自动划分出被测对象的不同材质区域、对光源反射数据进行划分可以划分出被测对象的不同材质区域的反射强度，因此可以自动识别出被测对象的不同材质的区域，以及不同区域的具体材质类型，实现了同时测定被测对象的多种不同材质；提高材质测定效率和准确率。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面对象材质识别方法实施例，在此不再赘述。

此外，为了更好实施本申请实施例中对象材质识别方法，在对象材质识别方法基础之上，本申请实施例还提供一种电子设备，该电子设备可以为终端，该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、个人计算机(PC，Personal Computer)、个人数字助理(Personal Digital Assistant，PDA)等终端设备。参阅图7，图7示出了本申请实施例电子设备的一种结构示意图，具体的，本申请实施例提供的电子设备包括处理器701，处理器701用于执行存储器702中存储的计算机程序时实现如上对象材质识别方法的各步骤；或者，处理器701用于执行存储器702中存储的计算机程序时实现对象材质识别装置600中各单元的功能。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器702中，并由处理器701执行，以完成本申请实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。

电子设备可包括，但不仅限于处理器701、存储器702。本领域技术人员可以理解，示意仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子备还可以包括输入输出设备、网络接入设备、总线等，处理器701、存储器702、输入输出设备以及网络接入设备等通过总线相连。

处理器701可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。

存储器702可用于存储计算机程序和/或模块，处理器701通过运行或执行存储在存储器702内的计算机程序和/或模块，以及调用存储在存储器702内的数据，实现计算机装置的各种功能。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本领域普通技术人员可以理解，上述对象材质识别方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种对象材质识别方法。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only等。

在上述对象材质识别装置、计算机可读存储介质、电子设备实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的对象材质识别装置、计算机可读存储介质、电子设备及其相应单元的具体工作过程及可带来的有益效果，可以参考如上实施例中对象材质识别方法的说明，具体在此不再赘述。

以上对本申请实施例所提供的一种对象材质识别方法、装置、电子设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种对象材质识别方法，其特征在于，所述方法包括：

对被测对象的目标图像进行区域划分，得到所述被测对象的材质区域集合，其中，所述材质区域集合包括多个材质区域；

获取所述被测对象的光源反射数据；

对所述光源反射数据进行划分，得到所述被测对象在各个反射强度的数据长度；

根据所述材质区域集合和所述各个反射强度的数据长度，确定所述材质区域集合中每个材质区域的材质。

2.根据权利要求1所述的对象材质识别方法，其特征在于，所述根据所述材质区域集合和所述各个反射强度的数据长度，确定所述材质区域集合中每个材质区域的材质，包括：

按照区域面积由大至小对所述材质区域集合中每个材质区域进行排序，得到所述每个材质区域的序号；

按照所述数据长度由大至小对所述各个反射强度进行排序，得到所述各个反射强度的序号；

从所述各个反射强度中，获取序号与所述每个材质区域的序号相同的第一反射强度；

获取所述第一反射强度的匹配材质作为所述每个材质区域的材质。

3.根据权利要求1所述的对象材质识别方法，其特征在于，所述各个反射强度的数据长度为所述各个反射强度的反射点数量，所述根据所述材质区域集合和所述各个反射强度的数据长度，确定所述材质区域集合中每个材质区域的材质，包括：

基于所述每个材质区域的面积、以及所述材质区域集合的总面积，获取所述每个材质区域的面积比例；

获取所述各个反射强度的反射点数量与所述光源反射数据的总反射点数量之比，作为所述各个反射强度的反射点比例；

根据所述面积比例和所述反射点比例，确定所述每个材质区域的第二反射强度；

获取所述第二反射强度的匹配材质作为所述每个材质区域的材质。

4.根据权利要求1所述的对象材质识别方法，其特征在于，所述根据所述材质区域集合和所述各个反射强度的数据长度，确定所述材质区域集合中每个材质区域的材质，包括：

通过已训练识别模型，根据所述材质区域集合和所述各个反射强度的数据长度，确定所述材质区域集合中每个材质区域的第三反射强度；

获取所述第三反射强度的匹配材质，以作为所述每个材质区域的材质。

5.根据权利要求4所述的对象材质识别方法，其特征在于，所述通过已训练识别模型，根据所述材质区域集合和所述各个反射强度的数据长度，确定所述材质区域集合中每个材质区域的第三反射强度，包括：

通过已训练识别模型中的分类层，对所述材质区域集合中每个材质区域进行分类，得到所述被测对象的各类别区域集合，所述各类别区域集合包括多个材质区域；

通过所述已训练识别模型中的匹配层，根据所述各类别区域集合和所述各个反射强度的数据长度，确定所述各类别区域集合的反射强度；

根据所述各类别区域集合的反射强度确定所述各类别区域集合中各材质区域的反射强度，得到所述材质区域集合中每个材质区域的第三反射强度。

6.根据权利要求4所述的对象材质识别方法，其特征在于，所述已训练识别模型通过如下步骤训练得到：

获取训练数据集，其中，所述训练数据集包括样本对象的多个样本材质区域、所述样本对象的样本反射数据、以及所述多个样本材质区域中每个样本材质区域的标注反射强度；

对所述样本反射数据进行划分，得到所述样本对象在各个反射强度的样本数据长度；

通过待训练识别模型，根据所述多个样本材质区域和所述各个反射强度的样本数据长度，确定所述每个样本材质区域的预测反射强度；

根据所述预测反射强度与所述标注反射强度之间的损失值，对所述待训练识别模型进行训练，得到所述已训练识别模型。

7.根据权利要求6所述的对象材质识别方法，其特征在于，所述训练数据集还包括所述每个样本材质区域的标注材质；

所述根据所述预测反射强度与所述标注反射强度之间的损失值，对所述待训练识别模型进行训练，得到所述已训练识别模型，包括：

通过所述待训练识别模型的匹配层，获取所述预测反射强度的匹配材质，以作为所述每个样本材质区域的预测材质；

根据所述预测反射强度与所述标注反射强度，获取所述待训练识别模型的强度损失值；

根据所述预测材质与所述标注材质，获取所述待训练识别模型的材质损失值；

根据所述强度损失值和所述材质损失值，对所述待训练识别模型进行训练，得到所述已训练识别模型。

8.根据权利要求1所述的对象材质识别方法，其特征在于，所述方法还包括：

获取所述被测对象的照射场景图像；

通过已训练的照射区域检测模型，对所述照射场景图像进行照射区域检测，得到所述照射场景图像的可见光照射区域；

对所述照射场景图像的可见光照射区域进行分割，得到所述可见光照射区域的区域图像，以作为所述目标图像。

9.根据权利要求1所述的对象材质识别方法，其特征在于，所述对所述光源反射数据进行划分，得到所述被测对象在各个反射强度的数据长度，包括：

基于所述光源反射数据，统计各个反射强度的反射点数量，以作为所述被测对象在各个反射强度的数据长度。

10.根据权利要求1所述的对象材质识别方法，其特征在于，所述被测对象为体积视频中的目标物体。

11.根据权利要求10所述的对象材质识别方法，其特征在于，所述方法还包括：

根据所述每个材质区域的材质，对所述目标物体进行材质填充。

12.根据权利要求10所述的对象材质识别方法，其特征在于，所述方法还包括：

获取所述材质区域集合中每个材质区域的颜色信息；

根据所述每个材质区域的颜色信息，对所述目标物体进行颜色填充。

13.一种对象材质识别装置，其特征在于，所述对象材质识别装置包括：

第一划分单元，用于对被测对象的目标图像进行区域划分，得到所述被测对象的材质区域集合，其中，所述材质区域集合包括多个材质区域；

获取单元，用于获取所述被测对象的光源反射数据；

第二划分单元，用于对所述光源反射数据进行划分，得到所述被测对象在各个反射强度的数据长度；

识别单元，用于根据所述材质区域集合和所述各个反射强度的数据长度，确定所述材质区域集合中每个材质区域的材质。

14.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至12任一项所述的对象材质识别方法。

15.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至12任一项所述的对象材质识别方法。

Images