CN116245931B - 物品属性参数的确定方法、装置、设备、介质和产品 - Google Patents
物品属性参数的确定方法、装置、设备、介质和产品 Download PDFInfo
- Publication number
- CN116245931B CN116245931B CN202310272054.2A CN202310272054A CN116245931B CN 116245931 B CN116245931 B CN 116245931B CN 202310272054 A CN202310272054 A CN 202310272054A CN 116245931 B CN116245931 B CN 116245931B
- Authority
- CN
- China
- Prior art keywords
- target room
- reflectivity
- roughness
- determining
- articles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000002310 reflectometry Methods 0.000 claims abstract description 145
- 230000011218 segmentation Effects 0.000 claims abstract description 71
- 238000005457 optimization Methods 0.000 claims abstract description 59
- 238000005286 illumination Methods 0.000 claims abstract description 43
- 238000005192 partition Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 102
- 238000009877 rendering Methods 0.000 claims description 69
- 238000009499 grossing Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 20
- 238000005315 distribution function Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 3
- 239000000463 material Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Generation (AREA)
Abstract
本公开实施例公开了一种物品属性参数的确定方法、装置、设备、介质和产品，其中，该方法包括：基于目标房间的语义分割信息和光照信息进行反射率优化处理，得到所述目标房间内不同类别物品的第一反射率；基于所述目标房间的语义分割信息和所述目标房间不同类别物品的虚拟高光区域对所述目标房间内不同类别物品进行粗糙度计算，得到所述目标房间内不同类别物品的第一粗糙度；基于所述目标房间的分间信息和语义分割信息对所述第一反射率和所述第一粗糙度进行修正，得到所述目标房间内不同类别物品的第二粗糙度以及所述目标房间内物品的第二反射率。本公开实施例可以准确地确定室内物品的反射率和粗糙度。
Description
技术领域
本公开涉及计算机视觉技术领域，尤其是一种物品属性参数的确定方法、装置、设备、介质和产品。
背景技术
逆渲染是计算机图形学和计算机视觉领域核心但又极具挑战性的任务。该任务旨在从图像中恢复物品的几何、材质和光照等属性。
为了在混合现实这样的沉浸式应用领域达到物理正确的真实感融合，这些物品属性扮演不可或缺的角色。然而，由于图像中存在由复杂的几何结构、迥异的材质以及不同的局部光照产生的诸如镜面反射，间接光照反射等复杂光照效果，因此从图像中逆渲染整个场景是非常困难的。
如何准确地对表征室内物品材质属性的反射率和粗糙度参数进行合理的估计，是一个解决解决问题。
发明内容
本公开实施例提供一种物品属性参数的确定方法、装置、设备、介质和产品，可以准确地确定室内物品的反射率和粗糙度。
本公开实施例的第一方面，提供一种物品属性参数的确定方法，包括：
基于目标房间的语义分割信息和光照信息进行反射率优化处理，得到所述目标房间内不同类别物品的第一反射率；
基于所述目标房间的语义分割信息和所述目标房间不同类别物品的虚拟高光区域对所述目标房间内不同类别物品进行粗糙度计算，得到所述目标房间内不同类别物品的第一粗糙度；
基于所述目标房间的分间信息和所述语义分割信息对所述第一反射率和所述第一粗糙度进行修正，得到所述目标房间内不同类别物品的第二粗糙度以及所述目标房间内物品的第二反射率。
在本公开的一个实施例中，所述基于目标房间的语义分割信息、光照信息和所述目标房间内物品的类别进行反射率优化处理，得到所述目标房间内不同类别物品的第一反射率，包括：
基于所述物品的类别和所述目标房间的语义分割信息，确定所述目标房间内不同类别物品的反射率平滑损失函数；
基于所述目标房间的光照信息和漫反射分布函数，确定所述目标房间内不同类别物品的第一渲染方程；
基于所述反射率平滑损失函数和所述第一渲染方程，确定所述目标房间内不同类别物品的反射率优化函数；
基于所述反射率优化函数，确定所述第一反射率。
在本公开的一个实施例中，所述基于所述目标房间的语义分割信息和所述目标房间的虚拟高光区域对所述目标房间内不同类别物品进行粗糙度计算，得到所述目标房间内不同类别物品的第一粗糙度，包括：
基于所述目标房间的语义分割信息和所述目标房间的虚拟高光区域，确定所述目标房间内不同类别物品的传播损失函数；
基于所述第一渲染方程和镜面反射分布函数，确定所述目标房间内不同类别物品的第二渲染方程；
基于所述传播损失函数和所述第二渲染方程，确定所述目标房间内不同类别物品的粗糙度优化函数；
基于所述粗糙度优化函数，确定所述第一粗糙度。
在本公开的一个实施例中，所述基于所述目标房间的分间信息对所述第一反射率和所述第一粗糙度进行修正，得到所述目标房间内不同类别物品的第二粗糙度以及所述目标房间内物品的第二反射率，包括：
基于所述目标房间的语义分割信息，确定所述目标房间内不同类别物品的粗糙度语义平滑损失函数；
基于所述分间信息，确定所述目标房间内不同类别物品的分间平滑损失函数；
基于所述分间平滑损失函数、所述粗糙度语义平滑损失函数和所述第二渲染方程，确定所述目标房间内物品的粗糙度-反射率-优化函数；
基于所述粗糙度-反射率-优化函数对所述第一反射率和所述第一粗糙度进行修正，得到所述第二粗糙度和所述第二反射率。
在本公开的一个实施例中，在所述基于目标房间的语义分割信息、光照信息和所述目标房间内物品的类别进行反射率优化处理，得到所述目标房间内不同类别物品的第一反射率之前，还包括：
基于所述目标房间的多视角图像进行三维重建和光照估计，得到所述目标房间的三维模型、贴图和光照信息；
基于所述目标房间的贴图进行渲染处理，得到所述目标房间的多视角渲染图像；
基于所述目标房间的三维模型进行语义分割，得到所述目标房间的语义分割信息。
在本公开的一个实施例中，所述基于所述目标房间的分间信息对所述第一反射率和所述第一粗糙度进行修正，得到所述目标房间内不同类别物品的第二粗糙度以及所述目标房间内物品的第二反射率，包括：
基于所述多视角图像和所述多视角渲染图像，确定所述目标房间的图像误差；
基于所述图像误差和所述目标房间的分间信息对所述第一反射率和所述第一粗糙度进行迭代优化修正，得到所述第二粗糙度和所述第二反射率。
本公开实施例的第二方面，提供一种物品属性参数的确定装置，包括：
第一确定模块，用于基于目标房间的语义分割信息和光照信息进行反射率优化处理，得到所述目标房间内不同类别物品的第一反射率；
第二确定模块，用于基于所述目标房间的语义分割信息和所述目标房间不同类别物品的虚拟高光区域对所述目标房间内不同类别物品进行粗糙度计算，得到所述目标房间内不同类别物品的第一粗糙度；
第三确定模块，用于基于所述目标房间的分间信息和所述语义分割信息对所述第一反射率和所述第一粗糙度进行修正，得到所述目标房间内不同类别物品的第二粗糙度以及所述目标房间内物品的第二反射率。
在本公开的一个实施例中，所述第一确定模块用于基于所述物品的类别和所述目标房间的语义分割信息，确定所述目标房间内不同类别物品的反射率平滑损失函数；所述第一确定模块还用于基于所述目标房间的光照信息和漫反射分布函数，确定所述目标房间内不同类别物品的第一渲染方程；所述第一确定模块还用于基于所述反射率平滑损失函数和所述第一渲染方程，确定所述目标房间内不同类别物品的反射率优化函数；所述第一确定模块还用于基于所述反射率优化函数，确定所述第一反射率。
在本公开的一个实施例中，所述第二确定模块用于基于所述目标房间的语义分割信息和所述目标房间的虚拟高光区域，确定所述目标房间内不同类别物品的传播损失函数；所述第二确定模块还用于基于所述第一渲染方程和镜面反射分布函数，确定所述目标房间内不同类别物品的第二渲染方程；所述第二确定模块还用于基于所述传播损失函数和所述第二渲染方程，确定所述目标房间内不同类别物品的粗糙度优化函数；所述第二确定模块还用于基于所述粗糙度优化函数，确定所述第一粗糙度。
在本公开的一个实施例中，所述第三确定模块用于基于所述目标房间的语义分割信息，确定所述目标房间内不同类别物品的粗糙度语义平滑损失函数；所述第三确定模块还用于基于所述分间信息，确定所述目标房间内不同类别物品的分间平滑损失函数；所述第三确定模块还用于基于所述分间平滑损失函数、所述粗糙度语义平滑损失函数和所述第二渲染方程，确定所述目标房间内物品的粗糙度-反射率-优化函数；所述第三确定模块还用于基于所述粗糙度-反射率-优化函数对所述第一反射率和所述第一粗糙度进行修正，得到所述第二粗糙度和所述第二反射率。
在本公开的一个实施例中，物品属性参数的确定装置还包括获取模块，所述获取模块用于基于所述目标房间的多视角图像进行三维重建和光照估计，得到所述目标房间的三维模型、贴图和光照信息；所述获取模块还用于基于所述目标房间的贴图进行渲染处理，得到所述目标房间的多视角渲染图像；所述获取模块还用于基于所述目标房间的三维模型进行语义分割，得到所述目标房间的语义分割信息。
在本公开的一个实施例中，所述第三确定模块用于基于所述多视角图像和所述多视角渲染图像，确定所述目标房间的图像误差；所述第三确定模块还用于基于所述图像误差和所述目标房间的分间信息对所述第一反射率和所述第一粗糙度进行迭代优化修正，得到所述第二粗糙度和所述第二反射率。
本公开实施例的第三方面，提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述第一方面所述的物品属性参数的确定方法。
本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述第一方面所述的物品属性参数的确定方法。
本公开实施例的第五方面，提供一种用于计算机的计算机程序产品，包括软件代码部分，所述软件代码部分用于当所述计算机程序产品至少在处理器上被运行时执行根据上述第一方面所述的物品属性参数的确定方法的步骤。
本公开实施例的物品属性参数的确定方法、装置、设备、介质和产品，首先假设语义类别的室内物品具有相同的反射率，其次固定反射率，假设同一语义类别且同一分间的室内物品具有相同的粗糙度，根据虚拟高光区域优化得到该类别的粗糙度，最后固定物品的粗糙度，重新修正反射率，得到室内物品高精度的反射率。本公开实施例可以准确地确定室内物品的反射率和粗糙度。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1为本公开一个实施例中物品属性参数的确定方法的流程示意图；
图2是本公开一个示例中确定目标房间的反射率和粗糙度的示意图；
图3是本公开一个示例中确定物品属性参数的原理图；
图4是本公开一个实施例中物品属性参数的确定装置的结构框图；
图5为本公开一个实施例中电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本公开一个实施例中物品属性参数的确定方法的流程示意图。如图1所示，物品属性参数的确定方法，可以包括：
S1：基于目标房间的语义分割信息和光照信息进行反射率优化处理，得到目标房间内不同类别物品的第一反射率。
S2：基于目标房间的语义分割信息和目标房间不同类别物品的虚拟高光区域对目标房间内不同类别物品进行粗糙度计算，得到目标房间内不同类别物品的第一粗糙度。
S3：基于目标房间的分间信息和语义分割信息对第一反射率和第一粗糙度进行修正，得到目标房间内不同类别物品的第二粗糙度以及目标房间内物品的第二反射率。
本公开实施例中，已知目标房间的语义分割信息、光照信息和分间信息。本实施例对物品属性参数的估计分可以划分为如下三个阶段：
阶段一(对应于S1)：基于朗伯漫反射假设，根据目标房间的语义分割信息和光照信息对目标房间内不同类型的物品优化一个固定的反射率，即得到目标房间内不同类别物品的第一反射率。
阶段二(对应于S2)：基于虚拟高光区域计算粗糙度，并传播至相同类别其它区域。其中，虚拟高光区域通过假设场景反射率为0，粗糙度为0.01为每个输入视角重渲染一张反射图，通过阈值得到所有虚拟高光区域。因为根据实际场景中不同物体材质不同，其在虚拟高光区域或确有高光或无高光。
阶段三(对应于S3)：根据粗糙度-反射率-优化函数修正目标房间内物品反射率和粗糙度。使得反射率材质更加精细而不是阶段一的粗略值，粗糙度更加平滑同时兼顾分割和分间先验。
图2是本公开一个示例中确定目标房间的反射率和粗糙度的示意图。如图2所示，最后一列采用本公开实施例的三阶段确定反射率和粗糙度的结果图。第一列至第四列分别是直接优化反射率和粗糙度的优化的结果图、跳过阶段一进行反射率和粗糙度的优化的结果图、跳过阶段二进行反射率和粗糙度的优化，以及跳过阶段三进行反射率和粗糙度的优化的结果图。
其中，直接优化：不使用本公开实施例提出的三个阶段，由于缺少粗糙度先验，将完全无法恢复整个场景的粗糙度材质，如图第一列第二行所示，只能恢复出红框内部分点的粗糙度。
跳过阶段一进行反射率和粗糙度的优化：由于未对反射率做较好的初始化，使得高光区域的反射率高估，最终引发对粗糙度的不准确估计，如第二列第一行红框内反射率出现不正确的高光，第二列第二行红框内粗糙度相比最后一列结果过高。
跳过阶段二进行反射率和粗糙度的优化：由于没有通过虚拟高光区域显式地优化每一类别的粗糙度，将导致粗糙度在阶段三无法收敛，一直为初始状态。
跳过阶段三进行反射率和粗糙度的优化：由于未对反射率进一步精细化，导致反射率缺少细节，如第四列第一行红框内的沙发相比最后一列缺少大量细节，同时由于未对粗糙度进行平滑和针对分间进行区分，将导致粗糙度不平滑且不同房间不同材质的同一语义的物体得到相同的材质，如卧室和客厅虽同属于地面语义，但卧室木质地面远远比客厅磨砂地面光滑，跳过阶段三则无法恢复出这种差异。
采用本公开实施例的三阶段确定反射率和粗糙度：可恢复出卧室具有更低的粗糙度。
在本实施例中，首先假设语义类别的室内物品具有相同的反射率，其次固定反射率，假设同一语义类别且同一分间的室内物品具有相同的粗糙度，根据虚拟高光区域优化得到该类别的粗糙度，最后固定物品的粗糙度，重新修正反射率，得到室内物品高精度的反射率。本公开实施例可以准确地确定室内物品的反射率和粗糙度。
在本公开的一个实施例中，步骤S1可以包括：
S1-1：基于物品的类别和目标房间的语义分割信息，确定目标房间内不同类别物品的反射率平滑损失函数。
基于朗伯漫反射假设，直接优化一个固定的反射率。然而在高光区域直接忽略镜面反射只计算漫反射，会导致高估的反射率，因此在优化过程中额外引入基于分割的平滑约束。其中，基于语义分割的反射率平滑损失函数：
其中，c表示类别，F表示待优化的反射率，M为语义分割，p表示像素，∈为常数，可以取1e-4或1e-6。
S1-2：基于目标房间的光照信息和漫反射分布函数，确定目标房间内不同类别物品的第一渲染方程。
第一渲染方程：
Ld(x，ωo)＝fd(x)Ir(x)
其中，Ir即为照度值，可通过已知的光照计算得到；fd为漫反射分布函数，为反射率/Π。
S1-3：基于反射率平滑损失函数和第一渲染方程，确定目标房间内不同类别物品的反射率优化函数。
反射率优化函数为：
其中，I为输入多视角图像。βssa为平滑系数，本公开实施例可以设置为5至20之间，例如可以设置为10。
S1-4：基于反射率优化函数，确定目标房间内不同类型物品的第一反射率。
在本实施例中，通过基于语义分割的平滑损失函数和第一渲染方程可以对目标房间内不同类型物品的反射率进行合理的优化，有助于后续步骤提升对粗糙度优化的精度。
在本公开的一个实施例中，步骤S2可以包括：
S2-1：基于目标房间的语义分割信息和目标房间的虚拟高光区域，确定目标房间内不同类别物品的传播损失函数。
虚拟高光区域通过假设场景反射率为0，粗糙度为0.01为每个输入视角重渲染一张反射图，通过阈值得到所有虚拟高光区域。因为根据实际场景中不同物体材质不同，其在虚拟高光区域或确有高光或无高光。其中，基于语义分割传播的损失函数为：
其中，R为待优化的粗糙度，quantile表示取百分位数，q为百分位参数，可以设置在0.2至0.5之间，例如可以设置为0.4；Mvhl为提前计算的虚拟高光区域。该损失函数可将在虚拟高光区域显式有效地计算得到的该类别物理合理的粗糙度，传播至该类别的其它区域。
S2-2：基于第一渲染方程和镜面反射分布函数，确定目标房间内不同类别物品的第二渲染方程。
第二渲染方程为：
Lo(x,ωo)＝Ld(x,ωo)+Ls(x,ωo)
其中Ls为镜面反射分布函数，本公开实施例采用简化的Disney BRDF模型。
S2-3：基于传播损失函数和第二渲染方程，确定目标房间内不同类别物品的粗糙度优化函数。
粗糙度优化函数为：
其中βsp为传播系数，本发明设为1
S2-4：基于粗糙度优化函数，确定目标房间内不同类型物品的第一粗糙度。
在本实施例中，通过基于语义分割的传播损失函数和第二渲染方程可以对目标房间内不同类型物品的粗糙度进行合理的优化，有助于后续步骤提升对粗糙度的收敛速度，进而提升对物品粗糙度估计精度。
在本公开的一个实施例中，步骤S3可以包括：
S3-1：基于目标房间的语义分割信息，确定目标房间内不同类别物品的粗糙度语义平滑损失函数。
S3-2：基于分间信息，确定目标房间内不同类别物品的分间平滑损失函数。
分间平滑损失函数为：
其中，R为待修正的粗糙度，Mroom是分间分割图。
S3-3：基于分间平滑损失函数、粗糙度语义平滑损失函数和第二渲染方程，确定目标房间内物品的粗糙度-反射率-优化函数。
粗糙度-反射率-优化函数为：
其中βssr为平滑系数，可以设置0.05至0.2，例如可以设置为0.1.在阶段三其中Lss中的F表示待修正的粗糙度。
S3-4：基于粗糙度-反射率-优化函数对第一反射率和第一粗糙度进行修正，得到第二粗糙度和第二反射率。
在本实施例中，通过基于分间平滑损失函数、粗糙度语义平滑损失函数和第二渲染方程可以对目标房间内物品的粗糙度和反射率进行合理的估计，提升对物品的反射率和粗糙度估计精度。
在本公开的一个实施例中，在步骤S1之前，还可以包括：
S0-1：基于目标房间的多视角图像进行三维重建和光照估计，得到目标房间的三维模型、贴图和光照信息。
可以采用即时定位与地图构建(Simultaneous Localization and Mapping，SLAM)技术对目标房间进行三维重建，得到目标房间的三维模型和物品的材质贴图。
可以采用根据场景的光照估计方法，得到目标房间的光照信息。其中，目标房间的光照信息可以包括目标房间内任意像素点的光照值。
S0-2：基于目标房间的贴图进行渲染处理，得到目标房间的多视角渲染图像。
可以使用光栅化点的可微渲染方法对目标房间的贴图进行渲染处理，得到目标房间的多视角渲染图像。
S0-3：基于目标房间的三维模型进行语义分割，得到目标房间的语义分割信息。
可以通过预先训练好的语义分割模型对目标房间的三维模型进行语义分割，得到目标房间的物品信息。
在本实施例中，通过对目标房间的多视角图像进行三维重建、光照估计和渲染处理，可以快速准确地得到目标房间的语义分割信息、光照信息和分间信息，以便后续步骤可以基于目标房间的语义分割信息、光照信息和分间信息快速得到目标房间内的物品属性参数。
在本公开的一个实施例中，步骤S3可以包括：基于多视角图像和多视角渲染图像，确定目标房间的图像误差；基于图像误差和目标房间的分间信息对第一反射率和第一粗糙度进行迭代优化修正，得到第二粗糙度和第二反射率。
图3是本公开一个示例中确定物品属性参数的原理图。如图3所示，根据输入的多视角图像，结合现有的三维重建技术和光照估计技术，可以得到目标房间的三维模型和贴图，以及空间中任一点的光照。基于已知的三维模型，贴图和光照，进行模型的反射率和粗糙度优化。具体而言，使用可微渲染技术从待优化的材质贴图中再渲染得到多视角渲染图像，通过将多视角渲染图像与对应位置的多视角图像之间的误差梯度反向传播回待优化物品的反射率和粗糙度，进而更新反射率和粗糙度，循环迭代收敛后即可得到如图所示的反射率和粗糙度。
图4是本公开一个实施例中物品属性参数的确定装置的结构框图。如图4所示，物品属性参数的确定装置，包括：
第一确定模块100，用于基于目标房间的语义分割信息和光照信息进行反射率优化处理，得到目标房间内不同类别物品的第一反射率；
第二确定模块200，用于基于目标房间的语义分割信息和目标房间不同类别物品的虚拟高光区域对目标房间内不同类别物品进行粗糙度计算，得到目标房间内不同类别物品的第一粗糙度；
第三确定模块300，用于基于目标房间的分间信息和语义分割信息对第一反射率和第一粗糙度进行修正，得到目标房间内不同类别物品的第二粗糙度以及目标房间内物品的第二反射率。
在本公开的一个实施例中，第一确定模块100用于基于物品的类别和目标房间的语义分割信息，确定目标房间内不同类别物品的反射率平滑损失函数；第一确定模块100还用于基于目标房间的光照信息和漫反射分布函数，确定目标房间内不同类别物品的第一渲染方程；第一确定模块还用于基于反射率平滑损失函数和第一渲染方程，确定目标房间内不同类别物品的反射率优化函数；第一确定模块100还用于基于反射率优化函数，确定第一反射率。
在本公开的一个实施例中，第二确定模块200用于基于目标房间的语义分割信息和目标房间的虚拟高光区域，确定目标房间内不同类别物品的传播损失函数；第二确定模块200还用于基于第一渲染方程和镜面反射分布函数，确定目标房间内不同类别物品的第二渲染方程；第二确定模块还用于基于传播损失函数和第二渲染方程，确定目标房间内不同类别物品的粗糙度优化函数；第二确定模块200还用于基于粗糙度优化函数，确定第一粗糙度。
在本公开的一个实施例中，第三确定模块300用于基于目标房间的语义分割信息，确定目标房间内不同类别物品的粗糙度语义平滑损失函数；第三确定模块300还用于基于分间信息，确定目标房间内不同类别物品的分间平滑损失函数；第三确定模块300还用于基于分间平滑损失函数、粗糙度语义平滑损失函数和第二渲染方程，确定目标房间内物品的粗糙度-反射率-优化函数；第三确定模块300还用于基于粗糙度-反射率-优化函数对第一反射率和第一粗糙度进行修正，得到第二粗糙度和第二反射率。
在本公开的一个实施例中，物品属性参数的确定装置还包括获取模块，获取模块用于基于目标房间的多视角图像进行三维重建和光照估计，得到目标房间的三维模型、贴图和光照信息；获取模块还用于基于目标房间的贴图进行渲染处理，得到目标房间的多视角渲染图像；获取模块还用于基于目标房间的三维模型进行语义分割，得到目标房间的语义分割信息。
在本公开的一个实施例中，第三确定模块300用于基于多视角图像和多视角渲染图像，确定目标房间的图像误差；第三确定模块300还用于基于图像误差和目标房间的分间信息对第一反射率和第一粗糙度进行迭代优化修正，得到第二粗糙度和第二反射率。
需要说明的是，本公开实施例的物品属性参数的确定装置的具体实施方式与本公开实施例的物品属性参数的确定方法的具体实施方式类似，具体参见物品属性参数的确定方法部分的描述，为了减少冗余，不作赘述。
另外，本公开实施例还提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的物品属性参数的确定方法。
图5为本公开一个实施例中电子设备的结构示意图。如图5所示，电子设备包括一个或多个处理器和存储器。
处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行所述程序指令，以实现上文所述的本公开的各个实施例的物品属性参数的确定方法以及/或者其他期望的功能。
在一个示例中，电子设备还可以包括：输入装置和输出装置，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外，该输入设备还可以包括例如键盘、鼠标等等。
该输出装置可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图5中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的物品属性参数的确定方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的物品属性参数的确定方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (9)
1.一种物品属性参数的确定方法，其特征在于，包括：
基于目标房间的语义分割信息和光照信息进行反射率优化处理，得到所述目标房间内不同类别物品的第一反射率，其中，所述目标房间内的语义类别的物品具有相同的反射率；
固定所述第一反射率，基于所述目标房间的语义分割信息和所述目标房间不同类别物品的虚拟高光区域对所述目标房间内不同类别物品进行粗糙度计算，得到所述目标房间内不同类别物品的第一粗糙度，其中，所述目标房间内的同一语义类别且同一分间的室内物品具有相同的粗糙度；
固定所述第一粗糙度，基于所述目标房间的分间信息和所述语义分割信息对所述第一反射率和所述第一粗糙度进行修正，得到所述目标房间内不同类别物品的第二粗糙度以及所述目标房间内物品的第二反射率；
其中，所述基于目标房间的语义分割信息、光照信息和所述目标房间内物品的类别进行反射率优化处理，得到所述目标房间内不同类别物品的第一反射率，包括：基于所述物品的类别和所述目标房间的语义分割信息，确定所述目标房间内不同类别物品的反射率平滑损失函数；基于所述目标房间的光照信息和漫反射分布函数，确定第一渲染方程；基于所述反射率平滑损失函数和所述第一渲染方程，确定所述目标房间内不同类别物品的反射率优化函数；基于所述反射率优化函数，确定所述第一反射率；
其中，所述基于所述目标房间的语义分割信息和所述目标房间不同类别物品的虚拟高光区域对所述目标房间内不同类别物品进行粗糙度计算，得到所述目标房间内不同类别物品的第一粗糙度，包括：基于所述目标房间的语义分割信息和所述目标房间的虚拟高光区域，确定所述目标房间内不同类别物品的传播损失函数；基于所述第一渲染方程和镜面反射分布函数，确定所述目标房间内不同类别物品的第二渲染方程；基于所述传播损失函数和所述第二渲染方程，确定所述目标房间内不同类别物品的粗糙度优化函数；基于所述粗糙度优化函数，确定所述第一粗糙度。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标房间的语义分割信息、所述光照信息和所述目标房间内物品的类别，确定反射率平滑损失函数和第一渲染方程，包括：
基于所述物品的类别和所述目标房间的语义分割信息，确定所述目标房间内不同类别物品的反射率平滑损失函数；
基于所述目标房间的光照信息和漫反射分布函数，确定所述第一渲染方程；
其中，所述基于所述反射率平滑损失函数和第一渲染方程确定所述第一反射率，包括：
基于所述反射率平滑损失函数和所述第一渲染方程，确定所述目标房间内不同类别物品的反射率优化函数；
基于所述反射率优化函数，确定所述第一反射率。
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标房间的语义分割信息、第一渲染方程和所述目标房间不同类别物品的虚拟高光区域，确定所述目标房间内不同类别物品的粗糙度优化函数，包括：
基于所述目标房间的语义分割信息和所述目标房间的虚拟高光区域，确定所述目标房间内不同类别物品的传播损失函数；
基于所述第一渲染方程和镜面反射分布函数，确定所述目标房间内不同类别物品的第二渲染方程；
基于所述传播损失函数和所述第二渲染方程，确定所述目标房间内不同类别物品的粗糙度优化函数。
4.根据权利要求3所述的方法，其特征在于，所述基于所述目标房间的分间信息对所述第一反射率和所述第一粗糙度进行修正，得到所述目标房间内不同类别物品的第二粗糙度以及所述目标房间内物品的第二反射率，包括：
基于所述目标房间的语义分割信息，确定所述目标房间内不同类别物品的粗糙度语义平滑损失函数；
基于所述分间信息，确定所述目标房间内不同类别物品的分间平滑损失函数；
基于所述分间平滑损失函数、所述粗糙度语义平滑损失函数和所述第二渲染方程，确定所述目标房间内物品的粗糙度-反射率-优化函数；
基于所述粗糙度-反射率-优化函数对所述第一反射率和所述第一粗糙度进行修正，得到所述第二粗糙度和所述第二反射率。
5.根据权利要求1所述的方法，其特征在于，在所述基于目标房间的语义分割信息、光照信息和所述目标房间内物品的类别进行反射率优化处理，得到所述目标房间内不同类别物品的第一反射率之前，还包括：
基于所述目标房间的多视角图像进行三维重建和光照估计，得到所述目标房间的三维模型、贴图和光照信息；
基于所述目标房间的贴图进行渲染处理，得到所述目标房间的多视角渲染图像；
基于所述目标房间的三维模型进行语义分割，得到所述目标房间的语义分割信息。
6.根据权利要求5所述的方法，其特征在于，所述基于所述目标房间的分间信息对所述第一反射率和所述第一粗糙度进行修正，得到所述目标房间内不同类别物品的第二粗糙度以及所述目标房间内物品的第二反射率，包括：
基于所述多视角图像和所述多视角渲染图像，确定所述目标房间的图像误差；
基于所述图像误差和所述目标房间的分间信息对所述第一反射率和所述第一粗糙度进行迭代优化修正，得到所述第二粗糙度和所述第二反射率。
7.一种物品属性参数的确定装置，其特征在于，包括：
第一确定模块，用于基于目标房间的语义分割信息和光照信息进行反射率优化处理，得到所述目标房间内不同类别物品的第一反射率，其中，所述目标房间内的语义类别的物品具有相同的反射率；
第二确定模块，用于固定所述第一反射率，基于所述目标房间的语义分割信息和所述目标房间不同类别物品的虚拟高光区域对所述目标房间内不同类别物品进行粗糙度计算，得到所述目标房间内不同类别物品的第一粗糙度，其中，所述目标房间内的同一语义类别且同一分间的室内物品具有相同的粗糙度；
第三确定模块，用于固定所述第一粗糙度，基于所述目标房间的分间信息和所述语义分割信息对所述第一反射率和所述第一粗糙度进行修正，得到所述目标房间内不同类别物品的第二粗糙度以及所述目标房间内物品的第二反射率；
其中，所述第一确定模块用于基于所述物品的类别和所述目标房间的语义分割信息，确定所述目标房间内不同类别物品的反射率平滑损失函数；基于所述目标房间的光照信息和漫反射分布函数，确定第一渲染方程；基于所述反射率平滑损失函数和所述第一渲染方程，确定所述目标房间内不同类别物品的反射率优化函数；基于所述反射率优化函数，确定所述第一反射率；
其中，所述第二确定模块用于基于所述目标房间的语义分割信息和所述目标房间的虚拟高光区域，确定所述目标房间内不同类别物品的传播损失函数；基于所述第一渲染方程和镜面反射分布函数，确定所述目标房间内不同类别物品的第二渲染方程；基于所述传播损失函数和所述第二渲染方程，确定所述目标房间内不同类别物品的粗糙度优化函数；所述第二确定模块还用于基于所述粗糙度优化函数，确定所述第一粗糙度。
8.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-6任一所述的物品属性参数的确定方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-6任一所述的物品属性参数的确定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310272054.2A CN116245931B (zh) | 2023-03-16 | 2023-03-16 | 物品属性参数的确定方法、装置、设备、介质和产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310272054.2A CN116245931B (zh) | 2023-03-16 | 2023-03-16 | 物品属性参数的确定方法、装置、设备、介质和产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116245931A CN116245931A (zh) | 2023-06-09 |
| CN116245931B true CN116245931B (zh) | 2024-04-19 |
Family
ID=86627726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310272054.2A Active CN116245931B (zh) | 2023-03-16 | 2023-03-16 | 物品属性参数的确定方法、装置、设备、介质和产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116245931B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101960859A (zh) * | 2008-07-08 | 2011-01-26 | 松下电器产业株式会社 | 图像处理方法、图像处理装置、图像处理程序、图像合成方法和图像合成装置 |
| CN108388573A (zh) * | 2018-01-10 | 2018-08-10 | 链家网（北京）科技有限公司 | 一种户型图的分间信息显示方法及装置 |
| JP2021068272A (ja) * | 2019-10-25 | 2021-04-30 | 凸版印刷株式会社 | 画像処理システム、画像処理方法及びプログラム |
| CN113706552A (zh) * | 2021-07-27 | 2021-11-26 | 北京三快在线科技有限公司 | 一种激光反射率底图语义分割标注数据的生成方法及装置 |
| CN114926766A (zh) * | 2022-05-24 | 2022-08-19 | 杭州野乐科技有限公司 | 识别方法及装置、设备、计算机可读存储介质 |
-
2023
- 2023-03-16 CN CN202310272054.2A patent/CN116245931B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101960859A (zh) * | 2008-07-08 | 2011-01-26 | 松下电器产业株式会社 | 图像处理方法、图像处理装置、图像处理程序、图像合成方法和图像合成装置 |
| CN108388573A (zh) * | 2018-01-10 | 2018-08-10 | 链家网（北京）科技有限公司 | 一种户型图的分间信息显示方法及装置 |
| JP2021068272A (ja) * | 2019-10-25 | 2021-04-30 | 凸版印刷株式会社 | 画像処理システム、画像処理方法及びプログラム |
| CN113706552A (zh) * | 2021-07-27 | 2021-11-26 | 北京三快在线科技有限公司 | 一种激光反射率底图语义分割标注数据的生成方法及装置 |
| CN114926766A (zh) * | 2022-05-24 | 2022-08-19 | 杭州野乐科技有限公司 | 识别方法及装置、设备、计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116245931A (zh) | 2023-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112767551B (zh) | 三维模型构建方法、装置以及电子设备、存储介质 | |
| US8466919B1 (en) | Re-rendering a portion of an image | |
| Slavcheva et al. | SDF-2-SDF registration for real-time 3D reconstruction from RGB-D data | |
| US8060540B2 (en) | Data relationship visualizer | |
| Xu et al. | Hrbf-fusion: Accurate 3d reconstruction from rgb-d data using on-the-fly implicits | |
| US20220358694A1 (en) | Method and apparatus for generating a floor plan | |
| Tzevanidis et al. | From multiple views to textured 3d meshes: a gpu-powered approach | |
| CN116245931B (zh) | 物品属性参数的确定方法、装置、设备、介质和产品 | |
| WO2021073530A1 (zh) | 房屋模型的简化处理方法、装置以及电子设备、存储介质 | |
| US8878848B2 (en) | Method and device for snapping normals to create fair 3D surfaces from edge curves | |
| CN115423980B (zh) | 模型展示处理方法、装置以及存储介质 | |
| Mateo et al. | Hierarchical, Dense and Dynamic 3D Reconstruction Based on VDB Data Structure for Robotic Manipulation Tasks | |
| US9582247B1 (en) | Preserving data correlation in asynchronous collaborative authoring systems | |
| Werner et al. | Efficient and precise multi-camera reconstruction | |
| CN113421335B (zh) | 图像处理方法、图像处理装置、电子设备和存储介质 | |
| CN111986300B (zh) | 房屋装修的渲染点确定方法和装置、存储介质、电子设备 | |
| CN112530016B (zh) | 一种道具吸附的方法、装置、设备及存储介质 | |
| US10636210B2 (en) | Dynamic contour volume deformation | |
| CN115761122B (zh) | 三维辅助尺的实现方法、装置、设备和介质 | |
| Cardona et al. | Temporally coherent and artistically intended stylization of feature lines extracted from 3d models | |
| Okuno et al. | Binary space partitioning visibility tree for polygonal and environment light rendering | |
| US20230195292A1 (en) | Development, representation and display | |
| WO2020053899A1 (en) | Systems and methods for optimizing lighting in a three dimensional (3-d) scene(s) | |
| WO2015093457A1 (ja) | 情報処理装置、情報処理方法、プログラム及び記録媒体 | |
| CN118015168A (zh) | 点云渲染方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |