CN113421199B - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113421199B CN113421199B CN202110695501.6A CN202110695501A CN113421199B CN 113421199 B CN113421199 B CN 113421199B CN 202110695501 A CN202110695501 A CN 202110695501A CN 113421199 B CN113421199 B CN 113421199B
- Authority
- CN
- China
- Prior art keywords
- shadow
- discrete position
- discrete
- sampling
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 36
- 238000005070 sampling Methods 0.000 claims abstract description 158
- 238000009877 rendering Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 144
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000003068 static effect Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000070928 Calligonum comosum Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
Abstract
本公开关于一种图像处理方法、装置、电子设备及存储介质。所述图像处理方法包括:确定阴影接收模型;对阴影接收模型进行离散化,以获取每个离散位置的阴影采样函数,其中,每个离散位置的阴影采样函数表示在每个离散位置发射光线的函数;确定每个离散位置的阴影采样函数的采样系数,其中,每个离散位置的阴影采样函数的采样系数反映每个离散位置被光线照射的程度;基于外部输入的实时辐照图以及每个离散位置的阴影采样函数的采样系数,计算每个离散位置的阴影系数;基于计算的每个离散位置的阴影系数,在渲染图像时在每个离散位置生成阴影。所述图像处理方法能够根据实时辐照图更新阴影,生成的阴影更加柔和且耗时较少,适合于在实时渲染中应用。
Description
技术领域
本公开涉及计算机图形学技术领域,更具体地说,涉及一种图像处理方 法和图像处理装置。
背景技术
计算机图形学是一种使用数学算法将二维图形或三维图形转化为计算机 显示器的栅格形式的科学。简单地说,计算机图形学的主要研究内容就是研 究如何在计算机中表示图形、以及利用计算机进行图形的计算、处理和显示 的相关原理与算法。随着计算机图形学的发展,人们为了使图像渲染的结果 更加真实,在场景中加入了阴影效果,模拟物体被光线照射时产生的被遮挡的暗区。
图1是示出相关技术的阴影生成方法的示例的示图。图1中示出的相关 技术的阴影生成方法的示例采用阴影映射。根据阴影映射,像素与以纹理形 式保存的光照深度缓冲区或者深度图像比较,通过这种方式计算像素是否处 于光源照射范围之内,从而生成阴影。如图1中的左侧视图所示,P点到阴影图的距离ZB大于阴影图上检测出的实际距离ZA,由可此确定P点被障碍 物遮挡,并且P点生成阴影。另一方面,如图1中的右侧视图所示,P点到阴影图的距离ZB与阴影图上检测出的实际距离ZA相等,由此可确定P点未 被障碍物遮挡,并且在P点被照亮。然而,这种阴影映射只能支持点光源, 不支持使用辐照图/环境光等生成阴影,并且生成的阴影边缘生硬而不真实。
相关技术的阴影生成方法的另一示例采用全局光照,它是同时考虑直接 光照和间接光照(包括物体的反射、折射、散射和阴影等)的一种模拟真实 光照的方法。该方法通常使用光线追踪、基于图像的照明等方案,在离线的 场景下,生成光照信息。然而,这种全局光照需要算力较高,耗时较长,并 且阴影效果越真实,需要的计算量越多。
发明内容
本公开提供一种图像处理方法和图像处理装置,以至少解决上述相关技 术中的问题,也可不解决任何上述问题。
根据本公开的实施例的第一方面,提供一种图像处理方法,包括:确定 用于在其上渲染阴影的阴影接收模型;对所述阴影接收模型进行离散化,以 获取每个离散位置的阴影采样函数,其中,每个离散位置的阴影采样函数表 示在每个离散位置发射光线的函数;确定每个离散位置的阴影采样函数的采 样系数,其中,每个离散位置的阴影采样函数的采样系数反映每个离散位置被光线照射的程度;基于外部输入的所述阴影接收模型所在空间的实时辐照 图以及每个离散位置的阴影采样函数的采样系数,计算每个离散位置的阴影系数,其中,每个离散位置的阴影系数反映在每个离散位置的有效光线的光 强与每个离散位置的所有光线的光强的比率,其中,所述有效光线是指在每 个离散位置发射的光线中未被障碍物遮挡的光线;基于计算的每个离散位置 的阴影系数,在渲染所述阴影接收模型所在空间的图像时在每个离散位置生成阴影。
可选地,所述对所述阴影接收模型进行离散化,以获取每个离散位置的 阴影采样函数,可包括:将所述阴影接收模型的UV图按预定步长离散化; 在每个离散位置构建发射光线的随机函数,并将每个离散位置构建的随机函 数作为每个离散位置的阴影采样函数,其中,每个离散位置构建的随机函数 发射的光线以每个离散位置的法线方向为中心呈正态分布。
可选地,所述确定每个离散位置的阴影采样函数的采样系数,可包括: 对每个离散位置的阴影采样函数进行球谐函数展开,确定每个离散位置的球 谐系数,并将确定的每个离散位置的球谐系数作为每个离散位置的阴影采样 函数的采样系数。
可选地,对于任意一个离散位置的阴影采样函数A(θ,φ),根据如下公式 对所述任意一个离散位置的阴影采样函数进行球谐函数展开:
其中,
其中,θ和为球坐标系下的坐标值,表示所述阴影采样函数发射的光线 的角度,Yl m()为l次m阶球谐函数,/>为所述球谐系数,Pl m()为l次m阶连带 勒让德函数,/>为归一化常数,其中,根据如下公式确定所述任意一个离散 位置的球谐系数:
可选地,所述基于外部输入的所述阴影接收模型所在空间的实时辐照图 以及每个离散位置的阴影采样函数的采样系数,计算每个离散位置的阴影系 数,可包括:将所述实时辐照图从直角坐标系下转换到球坐标系下,以获得 每个离散位置的球坐标系下的坐标值;基于每个离散位置的球坐标系下的坐 标值,确定每个离散位置的阴影采样函数的采样系数;基于每个离散位置的球坐标系下的坐标值以及每个离散位置的阴影采样函数的采样系数,计算每 个离散位置的阴影系数。
可选地,所述将所述实时辐照图从直角坐标系下转换到球坐标系下,以 获得每个离散位置的球坐标系下的坐标值,可包括:从所述实时辐照图确定 每个离散位置的直角坐标系的坐标值;将每个离散位置的直角坐标系的坐标 值转换为每个离散位置的极坐标值;将每个离散位置的极坐标值转换为每个 离散位置的球坐标系下的坐标值。
可选地,所述基于每个离散位置的球坐标系下的坐标值以及每个离散位 置的阴影采样函数的采样系数,计算每个离散位置的阴影系数,可包括:根 据如下公式计算每个离散位置的阴影系数L:
其中,M为大于等于1的整数,所述实时辐照图的大小为N*N。
可选地,确定的每个离散位置的球谐系数的前若干位可被存储在UV纹 理通道中。
可选地,所述基于计算的每个离散位置的阴影系数,在渲染所述阴影接 收模型所在空间的图像时在每个离散位置生成阴影,可包括:在渲染所述阴 影接收模型所在空间的图像时通过将每个离散位置的像素值与计算的每个离 散位置的阴影系数相乘,从而在每个离散位置生成阴影。
根据本公开的实施例的第二方面,提供一种图像处理装置,其特征在于, 包括:第一确定单元,被配置为确定用于在其上渲染阴影的阴影接收模型; 阴影采样函数获取单元,被配置为对所述阴影接收模型进行离散化,以获取 每个离散位置的阴影采样函数,其中,每个离散位置的阴影采样函数表示在 每个离散位置发射光线的函数;第二确定单元,被配置为确定每个离散位置 的阴影采样函数的采样系数,其中,每个离散位置的阴影采样函数的采样系数反映每个离散位置被光线照射的程度;阴影系数计算单元,被配置为基于外部输入的所述阴影接收模型所在空间的实时辐照图以及每个离散位置的 阴影采样函数的采样系数,计算每个离散位置的阴影系数,其中,每个离散 位置的阴影系数反映在每个离散位置的有效光线的光强与每个离散位置的所 有光线的光强的比率,其中,所述有效光线是指在每个离散位置发射的光线 中未被障碍物遮挡的光线;阴影生成单元,被配置为基于计算的每个离散位置的阴影系数,在渲染所述阴影接收模型所在空间的图像时在每个离散位置 生成阴影。
可选地,所述阴影采样函数获取单元可被配置为:将所述阴影接收模型 的UV图按预定步长离散化;在每个离散位置构建发射光线的随机函数,并 将每个离散位置构建的随机函数作为每个离散位置的阴影采样函数,其中, 每个离散位置构建的随机函数发射的光线以每个离散位置的法线方向为中心 呈正态分布。
可选地,所述第二确定单元可被配置为:对每个离散位置的阴影采样函 数进行球谐函数展开,确定每个离散位置的球谐系数,并将确定的每个离散 位置的球谐系数作为每个离散位置的阴影采样函数的采样系数。
可选地,所述第二确定单元可被进一步配置为:对于任意一个离散位置 的阴影采样函数A(θ,φ),根据如下公式对所述任意一个离散位置的阴影采样函 数进行球谐函数展开:
其中,
其中,θ和为球坐标系下的坐标值,表示所述阴影采样函数发射的光线 的角度,Yl m()为l次m阶球谐函数,/>为球谐系数,Pl m()为l次m阶连带勒让 德函数,/>为归一化常数,其中,所述第二确定单元被进一步配置为:使用 如下公式确定所述任意一个离散位置的阴影采样函数的球谐系数:
可选地,所述阴影系数计算单元可被配置为:将所述实时辐照图从直角 坐标系下转换到球坐标系下,以获得每个离散位置的球坐标系下的坐标值; 基于每个离散位置的球坐标系下的坐标值,确定每个离散位置的阴影采样函 数的采样系数;使用每个离散位置的球坐标系下的坐标值以及每个离散位置 的阴影采样函数的采样系数,计算每个离散位置的阴影系数。
可选地,所述阴影系数计算单元被进一步配置为:从所述实时辐照图确 定每个离散位置的直角坐标系的坐标值;将每个离散位置的直角坐标系的坐 标值转换为每个离散位置的极坐标值;将每个离散位置的极坐标值转换为每 个离散位置的球坐标系下的坐标值。
可选地,所述阴影系数计算单元可被进一步配置为:根据如下公式计算 每个离散位置的阴影系数L:
其中,M为大于等于1的整数,所述实时辐照图的大小为N*N。
可选地,确定的每个离散位置的球谐系数的前若干位可被存储在UV纹 理通道中。
可选地,所述阴影生成单元被配置为:在渲染所述阴影接收模型所在空 间的图像时通过将每个离散位置的像素值与计算的每个离散位置的阴影系数 相乘,从而在每个离散位置生成阴影。
根据本公开的实施例的第三方面,提供一种电子设备,包括:至少一个 处理器;至少一个存储计算机可执行指令的存储器,其中,所述计算机可执 行指令在被所述至少一个处理器运行时,使得所述至少一个处理器执行如上 所述的图像处理方法。
根据本公开的实施例的第四方面,提供一种计算机可读存储介质,当存 储在所述计算机可读存储介质中的指令被至少一个处理器运行时,使得所述 至少一个处理器执行如上所述的图像处理方法。
根据本公开的实施例的第五方面,提供一种计算机程序产品,包括计算 机指令,当所述计算机指令被至少一个处理器执行时实现如上所述的图像处 理方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
根据本公开的实施例的图像处理方法和图像处理装置能够使用实时辐照 图在实时场景下计算出静态模型的阴影,从而能够在小规模的静态场景下, 根据实时辐照图更新阴影。此外,根据本公开的实施例的图像处理方法和图 像处理装置生成的阴影更加柔和且耗时较少,适合于在实时渲染中应用。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性 的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公 开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的 不当限定。
图1是示出相关技术的阴影生成方法的示例的示图。
图2是示出根据本公开的实施例的图像处理方法的示例的流程图。
图3是示出在有障碍物的情况下发射光线的示例的示图。
图4是示出根据本公开的实施例的计算每个离散位置的阴影系数的示例 的流程图。
图5是示出根据本公开的实施例的图像处理装置的框图。
图6是示出根据本公开的实施例的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图, 对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第 一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次 序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公 开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施 例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和 方法的例子。
在此需要说明的是,在本公开中出现的“若干项之中的至少一项”均表示 包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项 的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况:(1)包括A;(2)包括B;(3)包括A和B。又例如“执行 步骤一和步骤二之中的至少一个”,即表示如下三种并列的情况:(1)执行步 骤一;(2)执行步骤二;(3)执行步骤一和步骤二。
根据本公开的实施例的图像处理方法和图像处理装置的核心思想是在离 线环境下计算出静态场景的遮挡的几何信息,将这些信息进行球谐函数展开, 剔除高频信息(细节),将保留的若干位球谐系数传输到着色器中,最后在着色器中将遮挡信息复现出来,从而达到生成阴影的目的。
下面将参照图2至图6具体地描述根据本公开的实施例的图像处理方法 和图像处理装置。
图2是示出根据本公开的实施例的图像处理方法的示例的流程图。根据 本公开的实施例的图像处理方法可在具有图像渲染能力的任何电子装置中执 行。
参照图2,在步骤S201中,可确定用于在其上渲染阴影的阴影接收模型。 具体地讲,首先,可在世界坐标系下预设环境场景,所述环境场景包括按照 预定位置布置的至少一个模型。然后,可将所述至少一个模型中的某个模型 确定为用于在其上渲染阴影的阴影接收模型。
然后,在步骤S202中,可对阴影接收模型进行离散化,以获取每个离散 位置的阴影采样函数。这里,每个离散位置的阴影采样函数表示在每个离散 位置发射光线的函数。具体地讲,可将用于渲染阴影的阴影接收模型的UV 图按预定步长(例如但不限于0.01、0.05等)离散化,然后在每个离散位置 构建发射光线的随机函数,并将每个离散位置构建的随机函数作为每个离散位置的阴影采样函数。这里,每个离散位置构建的随机函数发射的光线可以 以每个离散位置的法线方向为中心呈正态分布。这样,可以在没有明显增加计算成本的情况下容易地构建每个离散位置的阴影采样函数,有利于模拟静 态场景。
更具体地讲,可以在离散渲染器中将阴影接收模型的UV图按预定步长 离散化。随机函数发射的光线的角度为ω。如果光线不被物体遮挡,则为有 效光线,若是被物体遮挡,则为无效光线。换言之,有效光线可以指在每个 离散位置发射的光线中未被障碍物遮挡的光线。因为阴影为光线无法照射到 的暗处,所以计算阴影的方式可以为接收到的光强除以总光强,从而得到一 个阴影系数。因此,阴影系数的计算公式可以为有效光线的光强除以所有光线对应的辐照图的光强,如下面的公式(1)所示。
其中,Shadow为阴影系数,A(ω)为阴影采样函数,表示ω角度的光线能 够影响到相应的点,L(ω)为以ω角度的光线的光强,Ω为三维空间中所有光 线的角度集合,Lm和Am分别为离散化后的分别L(ω)和A(ω)。当光线未被障碍 物遮挡时(即,当光线是有效光线时),Am=1,当光线被障碍物遮挡时(即, 光线是无效光线时),Am=0。
图3是示出在有障碍物的情况下发射光线的示例的示图。
参照图3,示例性地示出了四条光线。然而,光线的数量不限于此。如 图3所示,在A点,光线L0与L3被障碍物遮挡,为无效光线,而光线L1与 L2未被障碍物遮挡,为有效光线,因此有A0=0,A1=1,A2=1,A3=0。 因此,阴影系数Shadow=(L1+L2)/(L0+L1+L2+L3)。根据本公开的实施例, 障碍物为不透明的物体。然而,本公开不限于此,障碍物也可以是半透明的物体。在障碍物为半透明的物体的情况下,Am可以根据障碍物的透明度而在 0至1的范围内取值。
返回图2,在步骤S203中,可确定每个离散位置的阴影采样函数的采样 系数。每个离散位置的阴影采样函数的采样系数反映每个离散位置被光线照 射的程度。具体地讲,可以对每个离散位置的阴影采样函数进行球谐函数展 开,确定每个离散位置的球谐系数,并将确定的每个离散位置的球谐系数作 为每个离散位置的阴影采样函数的采样系数。通过对每个离散位置的阴影采 样函数进行球谐函数展开,可以有效地重建光照中的低频信息,从而保证最终生成阴影的效果。
对于任意一个离散位置的阴影采样函数A(θ,φ),可以根据如下公式(2) 对任意一个离散位置的阴影采样函数进行球谐函数展开。
其中,
其中,θ和为球坐标系下的坐标值(例如,方位角和仰角),表示阴影 采样函数发射的光线的角度,Yl m()为l次m阶球谐函数,/>为球谐系数,Pl m() 为l次m阶连带勒让德函数,/>为归一化常数。
在对任意一个离散位置的阴影采样函数进行球谐函数展开之后,可以根 据如下公式(3)来确定任意一个离散位置的阴影采样函数的球谐系数。
通过以上公式(2)和公式(3),可以快速地对每个离散位置的阴影采样 函数进行球谐函数展开,并确定任意一个离散位置的阴影采样函数的球谐系 数,从而简化生成阴影的计算过程,并提高生成阴影的计算效率。
在确定每个离散位置的阴影采样函数的采样系数之后,在步骤S204中, 可基于外部输入的阴影接收模型所在空间的实时辐照图以及每个离散位置的 阴影采样函数的采样系数,计算每个离散位置的阴影系数。如上所述,每个 离散位置的阴影系数反映在每个离散位置的有效光线的光强与每个离散位置 的所有光线的光强的比率,有效光线是指在每个离散位置发射的光线中未被 障碍物遮挡的光线。这里,可以通过外部设备或者人工智能训练来输入实时辐照图。
图4是示出根据本公开的实施例的计算每个离散位置的阴影系数的示例 的流程图。
参照图4,在步骤S401中,可将实时辐照图从直角坐标系下转换到球坐 标系下,以获得每个离散位置的球坐标系下的坐标值。具体地讲,可从实时 辐照图确定每个离散位置的直角坐标系的坐标值,然后将每个离散位置的直 角坐标系的坐标值转换为每个离散位置的极坐标值,最后将每个离散位置的 极坐标值转换为每个离散位置的球坐标系下的坐标值(例如,θ和)。通过 如上所述的坐标转换,可以容易地将实时辐照图引入阴影系数的计算,从而 使计算的阴影系数能够反映真实环境的实时变化。
接下来,在步骤S402中,可基于每个离散位置的球坐标系下的坐标值, 确定每个离散位置的阴影采样函数的采样系数。例如,可将球坐标系下的坐 标值代入上面的公式(3),来确定任意一个离散位置的阴影采样函数的采样系数。
然后,在步骤S403中,可使用每个离散位置的球坐标系下的坐标值以及 每个离散位置的阴影采样函数的采样系数,计算每个离散位置的阴影系数。 这里,在实时辐照图的大小为N*N的情况下,可以通过下面的公式(4)来 计算每个离散位置的阴影系数。
通过图4所示的计算每个离散位置的阴影系数的示例,可以利用实时辐 照图来计算每个离散位置的阴影系数,这样计算的阴影系数既能反映真实环 境的实时变化,又能使生成的阴影更加真实柔和。
另一方面,在实际应用中,为了节省效率,可以只保存球谐系数的前若 干位(例如但不限于前4位),而将后面的高频信息舍去。
在这种情况下,上面的公式(4)可以变换为下面的公式(5)。
其中,M为大于等于1的整数。在只保存球谐系数的前4位(即, )的情况下,M等于1。
根据本公开的实施例,计算的每个离散位置的阴影系数可以被传输到着 色器中,并且被存储在UV纹理通道中。例如,确定的每个离散位置的球谐 系数的前若干位(例如但不限于前4位)可以被存储在UV纹理通道中。这 样,既可以节省存储空间,又可以降低生成阴影的计算成本。
再次返回图2,在步骤S205中,可基于计算的每个离散位置的阴影系数, 在渲染阴影接收模型所在空间的图像时在每个离散位置生成阴影。具体地讲, 可以在渲染阴影接收模型所在空间的图像时通过将每个离散位置的像素值与 计算的每个离散位置的阴影系数相乘,从而在每个离散位置生成阴影。换言 之,在计算出每个离散位置的阴影系数(取值范围在0至1之间)之后,可 以根据具体渲染的需求,利用实时辐照图来更新阴影接收模型上渲染的阴影。例如,可以直接在最后着色时,将每个离散位置的像素值与计算的每个离散位置的阴影系数相乘,从而能够明显地看到明暗变化,达到生成阴影的目的。 这样,通过使用每个离散位置的阴影系数和像素值,可以简单快速地在每个 离散位置渲染阴影,提高了生成阴影的计算效率。
根据如上所述的本公开的实施例的图像处理方法,能够使用实时辐照图 在实时场景下计算出静态模型的阴影,从而能够在小规模的静态场景下,根 据实时辐照图更新阴影,并且生成的阴影更加柔和且耗时较少,适合于在实 时渲染中应用。
图5是示出根据本公开的实施例的图像处理装置的框图。根据本公开的 实施例的图像处理装置可在具有图像渲染能力的任何电子装置中实现。
参照图5,根据本公开的示例性实施例的图像处理装置500可包括第一 确定单元510、阴影采样函数获取单元520、第二确定单元530、阴影系数计 算单元540和阴影生成单元550。
第一确定单元510可确定用于在其上渲染阴影的阴影接收模型。例如, 首先,第一确定单元510可在世界坐标系下预设环境场景,所述环境场景包 括按照预定位置布置的至少一个模型。然后,第一确定单元510可将所述至 少一个模型中的某个模型确定为用于在其上渲染阴影的阴影接收模型。
阴影采样函数获取单元520可对阴影接收模型进行离散化,以获取每个 离散位置的阴影采样函数。这里,每个离散位置的阴影采样函数表示在每个 离散位置发射光线的函数。具体地讲,阴影采样函数获取单元520可将用于渲染阴影的阴影接收模型的UV图按预定步长(例如但不限于0.01、0.05等) 离散化,然后在每个离散位置构建发射光线的随机函数,并将每个离散位置 构建的随机函数作为每个离散位置的阴影采样函数。这里,每个离散位置构 建的随机函数发射的光线可以以每个离散位置的法线方向为中心呈正态分布。
第二确定单元530可确定每个离散位置的阴影采样函数的采样系数。每 个离散位置的阴影采样函数的采样系数反映每个离散位置被光线照射的程度。 具体地讲,第二确定单元530可以对每个离散位置的阴影采样函数进行球谐函数展开,确定每个离散位置的球谐系数,并将确定的每个离散位置的球谐 系数作为每个离散位置的阴影采样函数的采样系数。对于任意一个离散位置 的阴影采样函数A(θ,φ),第二确定单元530可以使用上面的公式(2)对任意 一个离散位置的阴影采样函数进行球谐函数展开,然后可以使用上面的公式(3)来确定任意一个离散位置的阴影采样函数的球谐系数。
阴影系数计算单元540可基于外部输入的阴影接收模型所在空间的实时 辐照图以及每个离散位置的阴影采样函数的采样系数,计算每个离散位置的 阴影系数。如上所述,每个离散位置的阴影系数反映在每个离散位置的有效 光线的光强与每个离散位置的所有光线的光强的比率,有效光线是指在每个离散位置发射的光线中未被障碍物遮挡的光线。具体地讲,阴影系数计算单 元540可将实时辐照图从直角坐标系下转换到球坐标系下,以获得每个离散 位置的球坐标系下的坐标值。例如,阴影系数计算单元540可从实时辐照图 确定每个离散位置的直角坐标系的坐标值,然后将每个离散位置的直角坐标系的坐标值转换为每个离散位置的极坐标值,最后将每个离散位置的极坐标 值转换为每个离散位置的球坐标系下的坐标值。接下来,阴影系数计算单元 540可基于每个离散位置的球坐标系下的坐标值,确定每个离散位置的阴影 采样函数的采样系数。例如,阴影系数计算单元540可将球坐标系下的坐标 值代入上面的公式(3),来确定任意一个离散位置的阴影采样函数的采样系 数。最后,阴影系数计算单元540可使用每个离散位置的球坐标系下的坐标值以及每个离散位置的阴影采样函数的采样系数,计算每个离散位置的阴影系数。例如,在实时辐照图的大小为N*N的情况下,阴影系数计算单元540 可以通过上面的公式(4)来计算每个离散位置的阴影系数。另一方面,在只 保存球谐系数的前若干位的情况下,阴影系数计算单元540可以通过上面的 公式(5)来计算每个离散位置的阴影系数。计算的每个离散位置的阴影系数 可以被传输到着色器中,并且被存储在UV纹理通道中。例如,确定的每个离散位置的球谐系数的前若干位(例如但不限于前4位)可以被存储在UV 纹理通道中。
阴影生成单元550可基于计算的每个离散位置的阴影系数,在渲染阴影 接收模型所在空间的图像时在每个离散位置生成阴影。例如,阴影生成单元 550可以在渲染阴影接收模型所在空间的图像时通过将每个离散位置的像素值与计算的每个离散位置的阴影系数相乘,从而在每个离散位置生成阴影。
图6是示出根据本公开的实施例的电子设备的框图。
参照图6,电子设备600包括至少一个存储器601和至少一个处理器602, 所述至少一个存储器601存储计算机可执行指令,当计算机可执行指令被至 少一个处理器602执行时,使得至少一个处理器602执行根据本公开的实施例的图像处理方法。
作为示例,电子设备600可以是PC计算机、平板装置、个人数字助理、 智能手机、或其他能够执行上述指令的装置。这里,电子设备600并非必须 是单个电子设备,还可以是任何能够单独或联合执行上述指令(或指令集) 的装置或电路的集合体。电子设备600还可以是集成控制系统或系统管理器 的一部分,或者可被配置为与本地或远程(例如,经由无线传输)以接口互 联的便携式电子设备。
在电子设备600中,处理器602可包括中央处理器(CPU)、图形处理器 (GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示 例而非限制,处理器还可包括模拟处理器、数字处理器、微处理器、多核处 理器、处理器阵列、网络处理器等。
处理器602可运行存储在存储器601中的指令或代码,其中,存储器601 还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接 收,其中,网络接口装置可采用任何已知的传输协议。
存储器601可与处理器602集成为一体,例如,将RAM或闪存布置在 集成电路微处理器等之内。此外,存储器601可包括独立的装置,诸如,外 部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器601 和处理器602可在操作上进行耦合,或者可例如通过I/O端口、网络连接等 互相通信,使得处理器602能够读取存储在存储器中的文件。
此外,电子设备600还可包括视频显示器(诸如,液晶显示器)和用户 交互接口(诸如,键盘、鼠标、触摸输入装置等)。电子设备600的所有组件 可经由总线和/或网络而彼此连接。
根据本公开的实施例,还可提供一种计算机可读存储介质,其中,当存 储在计算机可读存储介质中的指令被至少一个处理器运行时,使得至少一个 处理器执行根据本公开的实施例的图像处理方法。这里的计算机可读存储介 质的示例包括:只读存储器(ROM)、随机存取可编程只读存储器(PROM)、 电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随 机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性 存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、 DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、 BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式 存储器(诸如,多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、 软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置,所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何 相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的 数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执 行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户 端、主机、代理装置、服务器等计算机设备中部署的环境中运行,此外,在 一个示例中,计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上,使得计算机程序以及任何相关联的数据、数据文件 和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
根据本公开的实施例,还可提供一种计算机程序产品,包括计算机指令, 当所述计算机指令被至少一个处理器执行时实现根据本公开的实施例的图像 处理方法。
据本公开的实施例的图像处理方法和图像处理装置能够使用实时辐照图 在实时场景下计算出静态模型的阴影,从而能够在小规模的静态场景下,根 据实时辐照图更新阴影。此外,根据本公开的实施例的图像处理方法和图像 处理装置生成的阴影更加柔和且耗时较少,适合于在实时渲染中应用。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本 公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性 变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公 开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被 视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确 结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所 附的权利要求来限制。
Claims (21)
1.一种图像处理方法,其特征在于,包括:
确定用于在其上渲染阴影的阴影接收模型;
对所述阴影接收模型进行离散化,以获取每个离散位置的阴影采样函数,其中,每个离散位置的阴影采样函数表示在每个离散位置发射光线的函数;
确定每个离散位置的阴影采样函数的采样系数,其中,每个离散位置的阴影采样函数的采样系数反映每个离散位置被光线照射的程度;
基于外部输入的所述阴影接收模型所在空间的实时辐照图以及每个离散位置的阴影采样函数的采样系数,计算每个离散位置的阴影系数,其中,每个离散位置的阴影系数反映在每个离散位置的有效光线的光强与每个离散位置的所有光线的光强的比率,其中,所述有效光线是指在每个离散位置发射的光线中未被障碍物遮挡的光线;
基于计算的每个离散位置的阴影系数,在渲染所述阴影接收模型所在空间的图像时在每个离散位置生成阴影。
2.如权利要求1所述的图像处理方法,其特征在于,所述对所述阴影接收模型进行离散化,以获取每个离散位置的阴影采样函数,包括:
将所述阴影接收模型的UV图按预定步长离散化;
在每个离散位置构建发射光线的随机函数,并将每个离散位置构建的随机函数作为每个离散位置的阴影采样函数,其中,每个离散位置构建的随机函数发射的光线以每个离散位置的法线方向为中心呈正态分布。
3.如权利要求1所述的图像处理方法,其特征在于,所述确定每个离散位置的阴影采样函数的采样系数,包括:
对每个离散位置的阴影采样函数进行球谐函数展开,确定每个离散位置的球谐系数,并将确定的每个离散位置的球谐系数作为每个离散位置的阴影采样函数的采样系数。
4.如权利要求3所述的图像处理方法,其特征在于,对于任意一个离散位置的阴影采样函数A(θ,φ),根据如下公式对所述任意一个离散位置的阴影采样函数进行球谐函数展开:
其中,
其中,θ和为球坐标系下的坐标值,表示所述阴影采样函数发射的光线的角度,Yl m()为l次m阶球谐函数,/>为所述球谐系数,Pl m()为l次m阶连带勒让德函数,/>为归一化常数,
其中,根据如下公式确定所述任意一个离散位置的球谐系数:
5.如权利要求1所述的图像处理方法,其特征在于,所述基于外部输入的所述阴影接收模型所在空间的实时辐照图以及每个离散位置的阴影采样函数的采样系数,计算每个离散位置的阴影系数,包括:
将所述实时辐照图从直角坐标系下转换到球坐标系下,以获得每个离散位置的球坐标系下的坐标值;
基于每个离散位置的球坐标系下的坐标值,确定每个离散位置的阴影采样函数的采样系数;
基于每个离散位置的球坐标系下的坐标值以及每个离散位置的阴影采样函数的采样系数,计算每个离散位置的阴影系数。
6.如权利要求5所述的图像处理方法,其特征在于,所述将所述实时辐照图从直角坐标系下转换到球坐标系下,以获得每个离散位置的球坐标系下的坐标值,包括:
从所述实时辐照图确定每个离散位置的直角坐标系的坐标值;
将每个离散位置的直角坐标系的坐标值转换为每个离散位置的极坐标值;
将每个离散位置的极坐标值转换为每个离散位置的球坐标系下的坐标值。
7.如权利要求4所述的图像处理方法,其特征在于,所述基于每个离散位置的球坐标系下的坐标值以及每个离散位置的阴影采样函数的采样系数,计算每个离散位置的阴影系数,包括:
根据如下公式计算每个离散位置的阴影系数L:
其中,M为大于等于1的整数,所述实时辐照图的大小为N*N。
8.如权利要求3所述的图像处理方法,其中,确定的每个离散位置的球谐系数的前若干位被存储在UV纹理通道中。
9.如权利要求1所述的图像处理方法,其特征在于,所述基于计算的每个离散位置的阴影系数,在渲染所述阴影接收模型所在空间的图像时在每个离散位置生成阴影,包括:
在渲染所述阴影接收模型所在空间的图像时通过将每个离散位置的像素值与计算的每个离散位置的阴影系数相乘,从而在每个离散位置生成阴影。
10.一种图像处理装置,其特征在于,包括:
第一确定单元,被配置为确定用于在其上渲染阴影的阴影接收模型;
阴影采样函数获取单元,被配置为对所述阴影接收模型进行离散化,以获取每个离散位置的阴影采样函数,其中,每个离散位置的阴影采样函数表示在每个离散位置发射光线的函数;
第二确定单元,被配置为确定每个离散位置的阴影采样函数的采样系数,其中,每个离散位置的阴影采样函数的采样系数反映每个离散位置被光线照射的程度;
阴影系数计算单元,被配置为基于外部输入的所述阴影接收模型所在空间的实时辐照图以及每个离散位置的阴影采样函数的采样系数,计算每个离散位置的阴影系数,其中,每个离散位置的阴影系数反映在每个离散位置的有效光线的光强与每个离散位置的所有光线的光强的比率,其中,所述有效光线是指在每个离散位置发射的光线中未被障碍物遮挡的光线;
阴影生成单元,被配置为基于计算的每个离散位置的阴影系数,在渲染所述阴影接收模型所在空间的图像时在每个离散位置生成阴影。
11.如权利要求10所述的图像处理装置,其特征在于,所述阴影采样函数获取单元被配置为:
将所述阴影接收模型的UV图按预定步长离散化;
在每个离散位置构建发射光线的随机函数,并将每个离散位置构建的随机函数作为每个离散位置的阴影采样函数,其中,每个离散位置构建的随机函数发射的光线以每个离散位置的法线方向为中心呈正态分布。
12.如权利要求10所述的图像处理装置,其特征在于,所述第二确定单元被配置为:
对每个离散位置的阴影采样函数进行球谐函数展开,确定每个离散位置的球谐系数,并将确定的每个离散位置的球谐系数作为每个离散位置的阴影采样函数的采样系数。
13.如权利要求12所述的图像处理装置,其特征在于,所述第二确定单元被进一步配置为:
对于任意一个离散位置的阴影采样函数A(θ,φ),根据如下公式对所述任意一个离散位置的阴影采样函数进行球谐函数展开:
其中,
其中,θ和为球坐标系下的坐标值,表示所述阴影采样函数发射的光线的角度,Yl m()为l次m阶球谐函数,/>为球谐系数,Pl m()为l次m阶连带勒让德函数,/>为归一化常数,
其中,所述第二确定单元被进一步配置为:
使用如下公式确定所述任意一个离散位置的阴影采样函数的球谐系数:
14.如权利要求10所述的图像处理装置,其特征在于,所述阴影系数计算单元被配置为:
将所述实时辐照图从直角坐标系下转换到球坐标系下,以获得每个离散位置的球坐标系下的坐标值;
基于每个离散位置的球坐标系下的坐标值,确定每个离散位置的阴影采样函数的采样系数;
使用每个离散位置的球坐标系下的坐标值以及每个离散位置的阴影采样函数的采样系数,计算每个离散位置的阴影系数。
15.如权利要求14所述的图像处理装置,其特征在于,所述阴影系数计算单元被进一步配置为:
从所述实时辐照图确定每个离散位置的直角坐标系的坐标值;
将每个离散位置的直角坐标系的坐标值转换为每个离散位置的极坐标值;
将每个离散位置的极坐标值转换为每个离散位置的球坐标系下的坐标值。
16.如权利要求13所述的图像处理装置,其特征在于,所述阴影系数计算单元被进一步配置为:
根据如下公式计算每个离散位置的阴影系数L:
其中,M为大于等于1的整数,所述实时辐照图的大小为N*N。
17.如权利要求12所述的图像处理装置,其特征在于,确定的每个离散位置的球谐系数的前若干位被存储在UV纹理通道中。
18.如权利要求10所述的图像处理装置,其特征在于,所述阴影生成单元被配置为:
在渲染所述阴影接收模型所在空间的图像时通过将每个离散位置的像素值与计算的每个离散位置的阴影系数相乘,从而在每个离散位置生成阴影。
19.一种电子设备,其特征在于,包括:
至少一个处理器;
至少一个存储计算机可执行指令的存储器,
其中,所述计算机可执行指令在被所述至少一个处理器运行时,使得所述至少一个处理器执行如权利要求1-9中任意一项所述的图像处理方法。
20.一种计算机可读存储介质,其特征在于,当存储在所述计算机可读存储介质中的指令被至少一个处理器运行时,使得所述至少一个处理器执行如权利要求1-9中任意一项所述的图像处理方法。
21.一种计算机程序产品,包括计算机指令,其特征在于,当所述计算机指令被至少一个处理器执行时实现如权利要求1-9中任意一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110695501.6A CN113421199B (zh) | 2021-06-23 | 2021-06-23 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110695501.6A CN113421199B (zh) | 2021-06-23 | 2021-06-23 | 图像处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113421199A CN113421199A (zh) | 2021-09-21 |
CN113421199B true CN113421199B (zh) | 2024-03-12 |
Family
ID=77716077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110695501.6A Active CN113421199B (zh) | 2021-06-23 | 2021-06-23 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113421199B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101840566A (zh) * | 2010-04-16 | 2010-09-22 | 中山大学 | 一种基于gpu并行计算的实时阴影生成方法及系统 |
CN103700134A (zh) * | 2013-12-24 | 2014-04-02 | 四川川大智胜软件股份有限公司 | 基于可控制纹理烘焙的三维矢量模型实时光影延迟着色渲染方法 |
JP2014120079A (ja) * | 2012-12-18 | 2014-06-30 | Nippon Telegr & Teleph Corp <Ntt> | 陰影情報導出装置、陰影情報導出方法及びプログラム |
EP2933781A2 (en) * | 2014-03-25 | 2015-10-21 | metaio GmbH | Method and system for representing a virtual object in a view of a real environment |
CN108830923A (zh) * | 2018-06-08 | 2018-11-16 | 网易(杭州)网络有限公司 | 图像渲染方法、装置及存储介质 |
CN111652960A (zh) * | 2020-05-07 | 2020-09-11 | 浙江大学 | 一种基于可微渲染器的从单幅图像求解人脸反射材质的方法 |
CN111652963A (zh) * | 2020-05-07 | 2020-09-11 | 浙江大学 | 一种基于神经网络的增强现实绘制方法 |
CN111968215A (zh) * | 2020-07-29 | 2020-11-20 | 完美世界(北京)软件科技发展有限公司 | 一种体积光渲染方法、装置、电子设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7538766B2 (en) * | 2005-06-08 | 2009-05-26 | Microsoft Corporation | Pre-computed shadow fields |
US7990377B2 (en) * | 2007-06-26 | 2011-08-02 | Microsoft Corporation | Real-time rendering of light-scattering media |
-
2021
- 2021-06-23 CN CN202110695501.6A patent/CN113421199B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101840566A (zh) * | 2010-04-16 | 2010-09-22 | 中山大学 | 一种基于gpu并行计算的实时阴影生成方法及系统 |
JP2014120079A (ja) * | 2012-12-18 | 2014-06-30 | Nippon Telegr & Teleph Corp <Ntt> | 陰影情報導出装置、陰影情報導出方法及びプログラム |
CN103700134A (zh) * | 2013-12-24 | 2014-04-02 | 四川川大智胜软件股份有限公司 | 基于可控制纹理烘焙的三维矢量模型实时光影延迟着色渲染方法 |
EP2933781A2 (en) * | 2014-03-25 | 2015-10-21 | metaio GmbH | Method and system for representing a virtual object in a view of a real environment |
CN108830923A (zh) * | 2018-06-08 | 2018-11-16 | 网易(杭州)网络有限公司 | 图像渲染方法、装置及存储介质 |
CN111652960A (zh) * | 2020-05-07 | 2020-09-11 | 浙江大学 | 一种基于可微渲染器的从单幅图像求解人脸反射材质的方法 |
CN111652963A (zh) * | 2020-05-07 | 2020-09-11 | 浙江大学 | 一种基于神经网络的增强现实绘制方法 |
CN111968215A (zh) * | 2020-07-29 | 2020-11-20 | 完美世界(北京)软件科技发展有限公司 | 一种体积光渲染方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
"基于SH的光照表示及其在场景绘制中的应用";朱丽华;《中国优秀硕士学位论文全文数据库信息科技辑》;参见正文第2-4章 * |
P-J遥相关型位置的年际变化特征与ENSO的关系ZXF;孙颖;赵程程;宋秀鹏;吴蓓;谭俊龄;;海洋湖沼通报(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113421199A (zh) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101169081B1 (ko) | 쉘 텍스처 함수 | |
Dachsbacher et al. | Scalable realistic rendering with many‐light methods | |
CN102622776B (zh) | 三维环境重构 | |
CN100386780C (zh) | 用于自然光照环境中对象实时重点亮的健壮采样系统和方法 | |
EP3206190A1 (en) | Device and process for improving efficiency of image rendering | |
JP5873672B2 (ja) | 仮想環境のポイントにおいて受光された光の量の推定方法 | |
US9836876B1 (en) | Rendering images using ray tracing with multiple light sources | |
CN114119853B (zh) | 图像渲染方法、装置、设备和介质 | |
US20140333624A1 (en) | Image processing apparatus and method | |
JP5873683B2 (ja) | 仮想環境でのオクルージョンを推定する方法 | |
Iwasaki et al. | Real‐time rendering of dynamic scenes under all‐frequency lighting using integral spherical gaussian | |
EP3057067A1 (en) | Device and method for estimating a glossy part of radiation | |
CN115272556A (zh) | 反射光照确定、全局光照确定方法、装置、介质和设备 | |
Zhang et al. | Illumination estimation for augmented reality based on a global illumination model | |
US20180040155A1 (en) | Cache friendly jittered hemispherical sampling | |
CN113421199B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
Zaninetti et al. | A vector approach for global illumination in ray tracing | |
EP2831846B1 (en) | Method for representing a participating media in a scene and corresponding device | |
CN111026342A (zh) | 一种打印预览图片生成方法、装置、设备和存储介质 | |
Reich et al. | Illumination‐driven Mesh Reduction for Accelerating Light Transport Simulations | |
CN117333609B (zh) | 图像渲染方法、网络的训练方法、设备及介质 | |
CN117576284A (zh) | 一种图像渲染方法、设备及计算机可读介质 | |
CN117934695A (zh) | 贴图处理方法和装置、计算机可读存储介质、电子设备 | |
West | from the director | |
CN117252976A (zh) | 模型渲染次序的确定方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |