CN114972123B - 图像去噪处理方法及装置、计算机设备和可读存储介质 - Google Patents
图像去噪处理方法及装置、计算机设备和可读存储介质 Download PDFInfo
- Publication number
- CN114972123B CN114972123B CN202210895007.9A CN202210895007A CN114972123B CN 114972123 B CN114972123 B CN 114972123B CN 202210895007 A CN202210895007 A CN 202210895007A CN 114972123 B CN114972123 B CN 114972123B
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- pixel point
- window
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000001914 filtration Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000004590 computer program Methods 0.000 claims description 13
- 230000002146 bilateral effect Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000000717 retained effect Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像去噪处理方法及装置、计算机设备和可读存储介质,涉及图像处理技术领域。本申请通过目标深度相机获取待处理深度图像及其对应的参照置信度图像,并根据参照置信度图像确定待处理深度图像中每个像素点在目标滤波器处的像素置信度,接着计算待处理深度图像中每个像素点在目标滤波器处的与像素置信度呈正相关关系的中心像素影响因子和与像素置信度呈反相关关系的边缘像素影响因子,而后基于中心像素影响因子和边缘像素影响因子约束目标滤波器对待处理深度图像的图像滤波去噪操作,从而在对深度图像进行去噪的同时,有效降低深度图像在去噪后的图像模糊程度,保留更多的深度图像细节,提升去噪深度图的图像质量和深度值准确度。
Description
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种图像去噪处理方法及装置、计算机设备和可读存储介质。
背景技术
随着科学技术的不断发展,在某些计算机视觉、计算机图形学的应用场景(例如,尺寸视觉识别测量、航拍地面进行3D地表建模等)下往往需要利用深度相机拍摄深度图像来获取深度图像所蕴含的物体三维特征信息,而深度相机拍摄出的深度图像易受到噪声干扰,通常存在如下两种噪声:因光线的反射和遮挡造成的深度值缺失噪声,以及因光线折射造成的图像边缘轮廓相对于彩色图像中对应部位形状突出的轮廓突兀噪声。因此,往往需要对获取到的深度图像进行去噪处理。
目前,现有深度图像去噪方案是直接利用常规图像滤波器(例如,中值滤波器、双边滤波器等)对深度图像进行图像滤波去噪处理,以输出去噪后的深度图像。但值得注意的是,通过现有深度图像去噪方案输出的去噪后的深度图像的图像模糊程度往往较为明显且深度值准确度不高,整体保留的图像细节较少,去噪深度图的图像质量明显不佳。
发明内容
有鉴于此,本申请的目的在于提供一种图像去噪处理方法及装置、计算机设备和可读存储介质,能够在对深度图像进行去噪的同时,有效降低深度图像在去噪后的图像模糊程度,保留更多的深度图像细节,提升去噪深度图的图像质量和深度值准确度。
为了实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请提供一种图像去噪处理方法,所述方法包括:
获取目标深度相机拍摄到的待处理深度图像及与所述待处理深度图像对应的参照置信度图像;
根据所述参照置信度图像确定所述待处理深度图像中每个像素点在目标滤波器处的像素置信度;
根据所述待处理深度图像中每个像素点的像素置信度,计算对应像素点在所述目标滤波器处的中心像素影响因子及边缘像素影响因子,其中同一像素点的中心像素影响因子与像素置信度呈正相关关系,同一像素点的边缘像素影响因子与像素置信度呈反相关关系;
基于所述待处理深度图像中每个像素点的中心像素影响因子及边缘像素影响因子,调用所述目标滤波器对所述待处理深度图像进行图像滤波去噪,得到目标深度图像。
在可选的实施方式中,所述根据所述参照置信度图像确定所述待处理深度图像中每个像素点在目标滤波器处对应的像素置信度的步骤,包括:
针对所述待处理深度图像中每个像素点,按照所述目标滤波器的滤波窗口尺寸在所述待处理深度图像中圈定出以该像素点为区域中心的图像窗口区域;
按照预设置信提取策略在所述参照置信度图像的与所述图像窗口区域位置对应的目标图像区域内分布的多个参照置信度中提取至少一个参照置信度;
对提取出的所述至少一个参照置信度进行均值运算或加权求和运算,得到所述待处理深度图像中的该像素点的像素置信度。
在可选的实施方式中,所述基于所述待处理深度图像中每个像素点的中心像素影响因子及边缘像素影响因子,调用所述目标滤波器对所述待处理深度图像进行图像滤波去噪,得到目标深度图像的步骤,包括:
针对所述待处理深度图像中每个待滤波像素点,计算以该待滤波像素点为区域中心的图像窗口区域中的每个窗口像素点在所述目标滤波器处相对于区域中心像素点的原始滤波器权重,其中所述图像窗口区域的区域尺寸与所述目标滤波器的滤波窗口尺寸保持一致;
将所述图像窗口区域的区域中心像素点的中心像素影响因子作为该区域中心像素点的实际影响因子,并将所述图像窗口区域的非区域中心像素点的所有窗口像素点各自的边缘像素影响因子作为对应窗口像素点的实际影响因子;
将所述图像窗口区域中的每个窗口像素点所对应的原始滤波器权重及实际影响因子进行乘法运算,得到所述图像窗口区域中的每个窗口像素点相对于区域中心像素点的实际滤波器权重;
对所述图像窗口区域中的每个窗口像素点的实际滤波器权重进行权重归一化处理,得到所述图像窗口区域中的每个窗口像素点的归一化权重;
根据所述图像窗口区域中的每个窗口像素点的归一化权重,对所述图像窗口区域的所有窗口像素点各自的像素值进行加权求和运算,得到所述目标深度图像中的与该待滤波像素点位置对应的目标像素点的像素值。
在可选的实施方式中,单个目标像素点在所述目标深度图像中的像素值的计算公式采用如下式子进行表达:
其中,用于表示目标像素点在目标深度图像中的像素值,用于表示以与所述目标像素点位置对应的待滤波像素点为区域中心的图像窗口区域,用于表示图像窗口区域中的窗口像素点相对于区域中心像素点的归一化权重,用于表示图像窗口区域中的窗口像素点的像素值,用于表示图像窗口区域中的窗口像素点相对于区域中心像素点的实际滤波器权重,用于表示图像窗口区域中的窗口像素点相对于区域中心像素点的原始滤波器权重,用于表示图像窗口区域中的窗口像素点的实际影响因子。
在可选的实施方式中,单个像素点的中心像素影响因子及边缘像素影响因子的计算公式采用如下式子进行表达:
其中,用于表示像素点在作为像素点所在的图像窗口区域中的非区域中心像素点时的边缘像素影响因子,用于表示像素点在作为像素点所在的图像窗口区域中的区域中心像素点时的中心像素影响因子,用于表示像素点在目标滤波器处的像素置信度。
在可选的实施方式中,所述目标滤波器包括高斯滤波器、双边滤波器及均值滤波器中任意一种。
在可选的实施方式中,在所述目标滤波器为双边滤波器的情况下,单个图像窗口区域中的窗口像素点在目标滤波器处相对于区域中心像素点的原始滤波器权重的计算公式采用如下式子进行表达:
其中,用于表示图像窗口区域中的窗口像素点相对于区域中心像素点的原始滤波器权重,用于表示窗口像素点在图像窗口区域中的像素位置,用于表示区域中心像素点在图像窗口区域中的像素位置,用于表示空间距离标准差,用于表示窗口像素点在图像窗口区域中的像素值,用于表示区域中心像素点在图像窗口区域中的像素值,用于表示像素值标准差。
第二方面,本申请提供一种图像去噪处理装置,所述装置包括:
拍摄图像获取模块,用于获取目标深度相机拍摄到的待处理深度图像及与所述待处理深度图像对应的参照置信度图像;
像素置信确定模块,用于根据所述参照置信度图像确定所述待处理深度图像中每个像素点在目标滤波器处的像素置信度;
影响因子计算模块,用于根据所述待处理深度图像中每个像素点的像素置信度,计算对应像素点在所述目标滤波器处的中心像素影响因子及边缘像素影响因子,其中同一像素点的中心像素影响因子与像素置信度呈正相关关系,同一像素点的边缘像素影响因子与像素置信度呈反相关关系;
深度图像去噪模块,用于基于所述待处理深度图像中每个像素点的中心像素影响因子及边缘像素影响因子,调用所述目标滤波器对所述待处理深度图像进行图像滤波去噪,得到目标深度图像。
第三方面,本申请提供一种计算机设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机程序,所述处理器可执行所述计算机程序,以实现前述实施方式中任意一项所述的图像去噪处理方法。
第四方面,本申请提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现前述实施方式中任意一项所述的图像去噪处理方法。
在此情况下,本申请实施例的有益效果包括以下内容:
本申请通过目标深度相机获取待处理深度图像及其对应的参照置信度图像,并根据参照置信度图像确定待处理深度图像中每个像素点在目标滤波器处的像素置信度,接着计算待处理深度图像中每个像素点在目标滤波器处的与像素置信度呈正相关关系的中心像素影响因子和与像素置信度呈反相关关系的边缘像素影响因子,而后基于中心像素影响因子和边缘像素影响因子将滤波要求“作为滤波窗口中心像素点的像素点的置信度越高,则越应当保留该像素点的像素信息,而作为非滤波窗口中心像素点的像素点的置信度越高,则越应当降低该像素点对滤波窗口中心像素点的影响”叠加到目标滤波器上来对待处理深度图像进行图像滤波去噪处理,从而在对深度图像进行去噪的同时,有效降低深度图像在去噪后的图像模糊程度,改善深度图像因去噪操作出现的深度值准确度下降问题,使去噪深度图可以保留更多的深度图像细节,提升去噪深度图的图像质量和深度值准确度。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的计算机设备的组成示意图;
图2为本申请实施例提供的图像去噪处理方法的流程示意图;
图3为图2中的步骤S220包括的子步骤的流程示意图;
图4为图2中的步骤S240包括的子步骤的流程示意图;
图5为本申请实施例提供的图像去噪处理装置的组成示意图。
图标:10-计算机设备;11-存储器;12-处理器;13-通信单元;100-图像去噪处理装置;110-拍摄图像获取模块;120-像素置信确定模块;130-影响因子计算模块;140-深度图像去噪模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中,需要理解的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互结合。
请参照图1,图1是本申请实施例提供的计算机设备10的组成示意图。在本申请实施例中,所述计算机设备10可以在获取到深度相机拍摄到的深度图像的情况下,对该深度图像进行图像去噪,并有效降低去噪深度图(去噪后的深度图像)的图像模糊程度,确保去噪深度图能够保留更多的深度图像细节,有效提升深度图像去噪后的图像质量和深度值准确度。其中,所述计算机设备10与深度相机集成在一起;所述计算机设备10也可以与深度相机相互独立并通过有线网络或无线网络通信连接,此时所述计算机设备10可以是,但不限于,智能手机、平板电脑、个人计算机、服务器等。
在本申请实施例中,所述计算机设备10可以包括存储器11、处理器12、通信单元13及图像去噪处理装置100。其中,所述存储器11、所述处理器12及所述通信单元13各个元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,所述存储器11、所述处理器12及所述通信单元13这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
在本实施例中,所述存储器11可以是,但不限于,随机存取存储器(Random AccessMemory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(ProgrammableRead-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-OnlyMemory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory,EEPROM)等。其中,所述存储器11用于存储计算机程序,所述处理器12在接收到执行指令后,可相应地执行所述计算机程序。
在本实施例中,所述处理器12可以是一种具有信号的处理能力的集成电路芯片。所述处理器12可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)及网络处理器(Network Processor,NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件中的至少一种。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
在本实施例中,所述通信单元13用于通过网络建立所述计算机设备10与其他电子设备之间的通信连接,并通过所述网络收发数据,其中所述网络包括有线通信网络及无线通信网络。例如,所述计算机设备10可通过所述通信单元13将图像去噪后的深度图像发送给可实现某种或某几种计算机视觉功能(例如,尺寸视觉识别测量、3D地表建模等)的终端设备进行数据处理,所述终端设备可以是但不限于智能手机、平板电脑等。
在本实施例中,所述图像去噪处理装置100可以包括至少一个能够以软件或固件的形式存储于所述存储器11中或者固化在所述计算机设备10的操作系统中的软件功能模块,所述处理器12可用于执行所述存储器11存储的可执行模块,例如所述图像去噪处理装置100所包括的软件功能模块及计算机程序等。所述计算机设备10能够通过所述图像去噪处理装置100在对深度图像进行去噪的同时,有效降低深度图像在去噪后的图像模糊程度,改善深度图像因去噪操作出现的深度值准确度下降问题,使去噪深度图可以保留更多的深度图像细节,提升去噪深度图的图像质量和深度值准确度。
可以理解的是,图1所示的框图仅为所述计算机设备10的一种组成示意图,所述计算机设备10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
在本申请中,为确保所述计算机设备10能够在对深度图像进行去噪的同时,有效降低深度图像在去噪后的图像模糊程度,改善深度图像因去噪操作出现的深度值准确度下降问题,使去噪深度图可以保留更多的深度图像细节,提升去噪深度图的图像质量和深度值准确度,本申请实施例提供一种图像去噪处理方法实现前述目的。下面对本申请提供的图像去噪处理方法进行详细描述。
请参照图2,图2是本申请实施例提供的图像去噪处理方法的流程示意图。在本申请实施例中,所述图像去噪处理方法可以包括步骤S210~步骤S240。
步骤S210,获取目标深度相机拍摄到的待处理深度图像及与待处理深度图像对应的参照置信度图像。
在本实施例中,所述计算机设备10在获取所述目标深度相机针对某一物体或场景拍摄到的待处理深度图像的同时,还可以获取所述目标深度相机在相同时刻通过自身内置的光学元器件(例如,TOF(Time of Flight,飞行时间)传感器)采集到的该物体或场景的红外强度图/红外亮度图,并以获取到的红外强度图/红外亮度图作为所述待处理深度图像所对应的参照置信度图像。所述计算机设备10在获取到待处理深度图像时,也可通过对该待处理深度图像进行图像处理,得到该待处理深度图像所匹配的参照置信度图像。
所述待处理深度图像中每个像素点在所述参照置信度图像中对应像素位置处对应有一个参照置信度,所述参照置信度用于表示所述待处理深度图像中对应像素点的深度值的可靠性。其中,对单个像素点来说,其置信度越高,则表明该像素点在对应图像中的信噪比越大,即该像素点的像素值中的噪声成分越低,在将该像素点作为滤波窗口中心像素点进行滤波的过程中,应当相应降低该像素点的滤波平滑程度,以更好的保留该像素点的像素信息,所述像素信息包括对应像素点的像素值、深度值、色度值等。
步骤S220,根据参照置信度图像确定待处理深度图像中每个像素点在目标滤波器处的像素置信度。
在本实施例中,所述目标滤波器为用户在所述计算机设备10处设定的参与图像滤波去噪操作的图像滤波器,其可以是高斯滤波器、双边滤波器、引导滤波器及均值滤波器中任意一种。所述计算机设备10在得到待处理深度图像的参照置信度图像后,可在所述参照置信度图像的基础上,针对所述待处理深度图像中每个像素点计算对应像素点在所述目标滤波器处实际使用的像素置信度值,以通过计算出的像素置信度值表征对应像素点的像素值在所述目标滤波器处的真实可靠性。
可选地,请参照图3,图3是图2中的步骤S220包括的子步骤的流程示意图。在本申请实施例中,所述步骤S220可以包括子步骤S221~子步骤S223。
子步骤S221,针对待处理深度图像中每个像素点,按照目标滤波器的滤波窗口尺寸在待处理深度图像中圈定出以该像素点为区域中心的图像窗口区域。
在本实施例中,所述计算机设备10在需要计算所述待处理深度图像中的某个像素点的像素置信度时,可在所述待处理深度图像中以该像素点为区域中心按照所述目标滤波器的滤波窗口尺寸圈定一个图像区域,即得到以该像素点为区域中心的图像窗口区域。其中,所述滤波窗口尺寸包括对应目标滤波器的滤波窗口形状及滤波窗口大小,例如3*3的正方形滤波窗口,5*5的正方形滤波窗口。
子步骤S222,按照预设置信提取策略在参照置信度图像的与图像窗口区域位置对应的目标图像区域内分布的多个参照置信度中提取至少一个参照置信度。
在本实施例中,当所述计算机设备10确定出所述待处理深度图像中的以某个像素点为区域中心的图像窗口区域时,可相应地在所述参照置信度图像中选取出与该图像窗口区域位置对应的目标图像区域,此时所述图像窗口区域中每个像素点(即窗口像素点)在所述目标图像区域内对应像素位置处对应有一个参照置信度,所述计算机设备10将按照预设置信提取策略从所述目标图像区域内提取至少一个参照置信度,用以计算所述图像窗口区域的区域中心在目标滤波器处的像素置信度。
其中,所述预设置信提取策略可以是仅提取图像窗口区域的区域中心在目标图像区域中对应的参照置信度,也可以是提取图像窗口区域的区域中心的四邻域像素点或八邻域像素点在目标图像区域中对应的参照置信度,还可以提取图像窗口区域的区域中心像素点及该区域中心像素点的八邻域像素点在目标图像区域中对应的参照置信度。
子步骤S223,对提取出的至少一个参照置信度进行均值运算或加权求和运算,得到待处理深度图像中的该像素点的像素置信度。
在本实施例中,当所述计算机设备10提取出用于计算所述图像窗口区域的区域中心在目标滤波器处的像素置信度的所述至少一个参照置信度后,可基于参照置信度的提取数目对所述至少一个参照置信度进行均值运算,或者根据预先针对提取的参照置信度配置的置信度权重,对所述至少一个参照置信度进行加权求和运算,得到所述待处理深度图像中作为所述图像窗口区域的区域中心的像素点的像素置信度。
由此,本申请可通过执行上述子步骤S221~子步骤S223,确定出所述待处理深度图像中每个待滤波像素点在目标滤波器处的表征真实可靠性的像素置信度。
步骤S230,根据待处理深度图像中每个像素点的像素置信度,计算对应像素点在目标滤波器处的中心像素影响因子及边缘像素影响因子,其中同一像素点的中心像素影响因子与像素置信度呈正相关关系,同一像素点的边缘像素影响因子与像素置信度呈反相关关系。
在本实施例中,所述中心像素影响因子用于表示对应像素点作为目标滤波器的滤波窗口的窗口中心像素点时的像素信息在滤波去噪过程中的影响权重状况,所述边缘像素影响因子用于表示对应像素点作为目标滤波器的滤波窗口的非窗口中心像素点时的像素信息在滤波去噪过程中的影响权重状况。
其中,对作为窗口中心像素点的像素点来说,其像素置信度越高,则表明该像素点的像素信息越可靠,该像素点在作为窗口中心像素点时越应当保留自身的像素信息,该像素点在目标滤波器处的中心像素影响因子也将越大,即单个像素点的中心像素影响因子大小与该像素点的像素置信度大小呈正相关关系。
而对作为非窗口中心像素点的像素点来说,其像素置信度越高,则表明该像素点的像素信息越可靠,该像素点的像素信息在滤波去噪过程中对窗口中心像素点的像素信息的冲击也就越大,也就越应当降低该像素点对窗口中心像素点的影响,此时该像素点在目标滤波器处的边缘像素影响因子也将越小,即单个像素点的边缘像素影响因子大小与该像素点的像素置信度大小呈反相关关系。
由此,同一像素点的像素置信度越高,该像素点在作为窗口中心像素点时的中心像素影响因子越大,该像素点在作为非窗口中心像素点时的边缘像素影响因子越小,那么在将该像素点作为窗口中心像素点地调用目标滤波器进行图像滤波去噪时的滤波平滑程度也将越小,该像素点在图像滤波去噪后保留的像素信息也就越多,从而减少该像素点所在的深度图像去噪后的图像模糊程度,改善深度图像因去噪操作出现的深度值准确度下降问题。
在此过程中,对单个像素点来说,该像素点的中心像素影响因子大小与该像素点的像素置信度大小之间的关联关系可以呈线性正相关变化,该像素点的边缘像素影响因子大小与该像素点的像素置信度大小之间的关联关系可以呈线性反相关变化;该像素点的中心像素影响因子大小与该像素点的像素置信度大小之间的关联关系也可以呈指数状正相关变化,该像素点的边缘像素影响因子大小与该像素点的像素置信度大小之间的关联关系也可以呈指数状反相关变化。
在本实施例的一种实施方式中,单个像素点的中心像素影响因子及边缘像素影响因子的计算公式采用如下式子进行表达:
其中,用于表示像素点在作为像素点所在的图像窗口区域中的非区域中心像素点时的边缘像素影响因子,用于表示像素点在作为像素点所在的图像窗口区域中的区域中心像素点时的中心像素影响因子,用于表示像素点在目标滤波器处的像素置信度。其中,所述图像窗口区域中的非区域中心像素点即为在目标滤波器的滤波窗口内的非窗口中心的像素点,所述图像窗口区域中的区域中心像素点即为在目标滤波器的滤波窗口内的作为窗口中心的像素点。
步骤S240,基于待处理深度图像中每个像素点的中心像素影响因子及边缘像素影响因子,调用目标滤波器对待处理深度图像进行图像滤波去噪,得到目标深度图像。
在本实施例中,当所述计算机设备10确定出所述待处理深度图像中每个待滤波像素点在所述目标滤波器处的中心像素影响因子及边缘像素影响因子后,会基于确定出的中心像素影响因子和边缘像素影响因子将滤波要求“作为滤波窗口中心像素点的像素点的置信度越高,则越应当保留该像素点的像素信息,而作为非滤波窗口中心像素点的像素点的置信度越高,则越应当降低该像素点对滤波窗口中心像素点的影响”叠加到目标滤波器上来对待处理深度图像进行图像滤波去噪处理,以约束所述目标滤波器对待处理深度图像的图像滤波去噪操作,使高像素置信度的待滤波像素点在作为滤波窗口中心进行滤波去噪处理时能够具有较低的滤波平滑度,保留更多的像素信息,从而在对待处理图像进行去噪的同时,有效降低深度图像在去噪后的图像模糊程度,确保去噪后的深度图像保留更多的深度图像细节,提升去噪后的深度图像的图像质量和深度值准度。
可选地,请参照图4,图4是图2中的步骤S240包括的子步骤的流程示意图。在本申请实施例中,所述步骤S240可以包括子步骤S241~子步骤S245。
子步骤S241,针对待处理深度图像中每个待滤波像素点,计算以该待滤波像素点为区域中心的图像窗口区域中的每个窗口像素点在目标滤波器处相对于区域中心像素点的原始滤波器权重,其中图像窗口区域的区域尺寸与目标滤波器的滤波窗口尺寸保持一致。
在本实施例中,所述待处理深度图像中的每个像素点均会被当作一个待滤波像素点,所述窗口像素点为对应图像窗口区域内的任一像素点,所述区域中心像素点为对应图像窗口区域内的作为区域中心(滤波窗口中心)的像素点;所述原始滤波器权重为目标滤波器的滤波函数所涉及的所有滤波权重项之积,用于表示对应目标滤波器在所有滤波权重项各自的滤波特征维度之间的相互影响状况。以高斯滤波器为例,高斯滤波器仅涉及空间距离权重项,则高斯滤波器的原始滤波器权重直接为空间距离权重项;以双边滤波器为例,双边滤波器涉及空间距离权重项及像素值权重项,则双边滤波器的原始滤波器权重直接为空间距离权重项与像素值权重项之积。
其中,在所述目标滤波器为双边滤波器的情况下,单个图像窗口区域中的窗口像素点在目标滤波器处相对于区域中心像素点的原始滤波器权重的计算公式采用如下式子进行表达:
其中,用于表示图像窗口区域中的窗口像素点相对于区域中心像素点的原始滤波器权重,用于表示窗口像素点在图像窗口区域中的像素位置,用于表示区域中心像素点在图像窗口区域中的像素位置,用于表示空间距离标准差,用于表示窗口像素点在图像窗口区域中的像素值,用于表示区域中心像素点在图像窗口区域中的像素值,用于表示像素值标准差,用于表示双边滤波器的空间距离权重项,用于表示双边滤波器的像素值权重项。
子步骤S242,将图像窗口区域的区域中心像素点的中心像素影响因子作为该区域中心像素点的实际影响因子,并将图像窗口区域的非区域中心像素点的所有窗口像素点各自的边缘像素影响因子作为对应窗口像素点的实际影响因子。
在本实施例中,所述计算机设备10通过使单个图像窗口区域的区域中心像素点的实际影响因子采用中心像素影响因子进行表达,使单个图像窗口区域的非区域中心像素点的实际影响因子采用边缘像素影响因子进行表达,确保后续目标滤波器对区域中心像素点的滤波平滑度尽可能地与区域中心像素点的中心像素影响因子呈反相关关系,以确保像素置信度越高的待滤波像素点在图像滤波去噪后保留的像素信息越多,从而有效降低待处理深度图像在图像去噪后的图像模糊程度,改善待处理深度图像因去噪操作出现的深度值准确度下降问题,确保去噪得到的深度图像具有良好的深度值准确度。
子步骤S243,将图像窗口区域中的每个窗口像素点所对应的原始滤波器权重及实际影响因子进行乘法运算,得到图像窗口区域中的每个窗口像素点相对于区域中心像素点的实际滤波器权重。
在本实施例中,所述计算机设备10通过将单个图像窗口区域中的每个窗口像素点所对应的原始滤波器权重及实际影响因子进行乘法运算,并将计算出的权重值作为该窗口像素点相对于区域中心像素点的实际滤波器权重的方式,将滤波要求“作为滤波窗口中心像素点的像素点的置信度越高,则越应当保留该像素点的像素信息,而作为非滤波窗口中心像素点的像素点的置信度越高,则越应当降低该像素点对滤波窗口中心像素点的影响”叠加到目标滤波器上,以约束所述目标滤波器对待处理深度图像的图像滤波去噪操作。
子步骤S244,对图像窗口区域中的每个窗口像素点的实际滤波器权重进行权重归一化处理,得到图像窗口区域中的每个窗口像素点的归一化权重。
子步骤S245,根据图像窗口区域中的每个窗口像素点的归一化权重,对图像窗口区域的所有窗口像素点各自的像素值进行加权求和运算,得到目标深度图像中的与该待滤波像素点位置对应的目标像素点的像素值。
在本实施例中,单个目标像素点在所述目标深度图像中的像素值的计算公式采用如下式子进行表达:
其中,用于表示目标像素点在目标深度图像中的像素值,用于表示以与所述目标像素点位置对应的待滤波像素点为区域中心的图像窗口区域,用于表示图像窗口区域中的窗口像素点相对于区域中心像素点的归一化权重,用于表示图像窗口区域中的窗口像素点的像素值,用于表示图像窗口区域中的窗口像素点相对于区域中心像素点的实际滤波器权重,用于表示图像窗口区域中的窗口像素点相对于区域中心像素点的原始滤波器权重,用于表示图像窗口区域中的窗口像素点的实际影响因子,其中所述目标像素点在目标深度图像中的像素位置与所述区域中心像素点在所述待处理深度图像中的像素位置相互对应。
由此,本申请可通过执行上述子步骤S241~子步骤S245,有效地将滤波要求“作为滤波窗口中心像素点的像素点的置信度越高,则越应当保留该像素点的像素信息,而作为非滤波窗口中心像素点的像素点的置信度越高,则越应当降低该像素点对滤波窗口中心像素点的影响”叠加到目标滤波器上来对待处理深度图像进行图像滤波去噪处理,以有效约束目标滤波器对待处理深度图像的图像滤波去噪操作。
因此,本申请可通过执行上述步骤S210~步骤S240,确保在对深度图像进行去噪的同时,有效降低深度图像在去噪后的图像模糊程度,改善深度图像因去噪操作出现的深度值准确度下降问题,确保去噪深度图保留更多的深度图像细节,以提升去噪深度图的图像质量和深度值准确度。
在本申请中,为确保所述计算机设备10能够通过所述图像去噪处理装置100有效执行上述图像去噪处理方法,本申请通过对所述图像去噪处理装置100进行功能模块划分的方式实现前述功能。下面对本申请提供的图像去噪处理装置100的具体组成进行详细描述。
请参照图5,图5是本申请实施例提供的图像去噪处理装置100的组成示意图。在本申请实施例中,所述图像去噪处理装置100可以包括拍摄图像获取模块110、像素置信确定模块120、影响因子计算模块130及深度图像去噪模块140。
拍摄图像获取模块110,用于获取目标深度相机拍摄到的待处理深度图像及与待处理深度图像对应的参照置信度图像。
像素置信确定模块120,用于根据参照置信度图像确定待处理深度图像中每个像素点在目标滤波器处的像素置信度。
影响因子计算模块130,用于根据待处理深度图像中每个像素点的像素置信度,计算对应像素点在目标滤波器处的中心像素影响因子及边缘像素影响因子,其中同一像素点的中心像素影响因子与像素置信度呈正相关关系,同一像素点的边缘像素影响因子与像素置信度呈反相关关系。
深度图像去噪模块140,用于基于待处理深度图像中每个像素点的中心像素影响因子及边缘像素影响因子,调用所述目标滤波器对待处理深度图像进行图像滤波去噪,得到目标深度图像。
需要说明的是,本申请实施例所提供的图像去噪处理装置100的基本原理及产生的技术效果与前述的图像去噪处理方法相同。为简要描述,本实施例部分未提及之处,可参考上述的针对图像去噪处理方法的描述内容。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个可读存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述,在本申请提供的一种图像去噪处理方法及装置、计算机设备和可读存储介质,本申请通过目标深度相机获取待处理深度图像及其对应的参照置信度图像,并根据参照置信度图像确定待处理深度图像中每个像素点在目标滤波器处的像素置信度,接着计算待处理深度图像中每个像素点在目标滤波器处的与像素置信度呈正相关关系的中心像素影响因子和与像素置信度呈反相关关系的边缘像素影响因子,而后基于中心像素影响因子和边缘像素影响因子将滤波要求“作为滤波窗口中心像素点的像素点的置信度越高,则越应当保留该像素点的像素信息,而作为非滤波窗口中心像素点的像素点的置信度越高,则越应当降低该像素点对滤波窗口中心像素点的影响”叠加到目标滤波器上来对待处理深度图像进行图像滤波去噪处理,从而在对深度图像进行去噪的同时,有效降低深度图像在去噪后的图像模糊程度,改善深度图像因去噪操作出现的深度值准确度下降问题,确保去噪深度图得以保留更多的深度图像细节,以提升去噪深度图的图像质量和深度值准确度。
以上所述,仅为本申请的各种实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应当以权利要求的保护范围为准。
Claims (9)
1.一种图像去噪处理方法,其特征在于,所述方法包括:
获取目标深度相机拍摄到的待处理深度图像及与所述待处理深度图像对应的参照置信度图像;
根据所述参照置信度图像确定所述待处理深度图像中每个像素点在目标滤波器处的像素置信度;
根据所述待处理深度图像中每个像素点的像素置信度,计算对应像素点在所述目标滤波器处的中心像素影响因子及边缘像素影响因子,其中同一像素点的中心像素影响因子与像素置信度呈正相关关系,同一像素点的边缘像素影响因子与像素置信度呈反相关关系;
基于所述待处理深度图像中每个像素点的中心像素影响因子及边缘像素影响因子,调用所述目标滤波器对所述待处理深度图像进行图像滤波去噪,得到目标深度图像;
在此过程中,所述基于所述待处理深度图像中每个像素点的中心像素影响因子及边缘像素影响因子,调用所述目标滤波器对所述待处理深度图像进行图像滤波去噪,得到目标深度图像的步骤,包括:
针对所述待处理深度图像中每个待滤波像素点,计算以该待滤波像素点为区域中心的图像窗口区域中的每个窗口像素点在所述目标滤波器处相对于区域中心像素点的原始滤波器权重,其中所述图像窗口区域的区域尺寸与所述目标滤波器的滤波窗口尺寸保持一致;
将所述图像窗口区域的区域中心像素点的中心像素影响因子作为该区域中心像素点的实际影响因子,并将所述图像窗口区域的非区域中心像素点的所有窗口像素点各自的边缘像素影响因子作为对应窗口像素点的实际影响因子;
将所述图像窗口区域中的每个窗口像素点所对应的原始滤波器权重及实际影响因子进行乘法运算,得到所述图像窗口区域中的每个窗口像素点相对于区域中心像素点的实际滤波器权重;
对所述图像窗口区域中的每个窗口像素点的实际滤波器权重进行权重归一化处理,得到所述图像窗口区域中的每个窗口像素点的归一化权重;
根据所述图像窗口区域中的每个窗口像素点的归一化权重,对所述图像窗口区域的所有窗口像素点各自的像素值进行加权求和运算,得到所述目标深度图像中的与该待滤波像素点位置对应的目标像素点的像素值。
2.根据权利要求1所述的方法,其特征在于,所述根据所述参照置信度图像确定所述待处理深度图像中每个像素点在目标滤波器处对应的像素置信度的步骤,包括:
针对所述待处理深度图像中每个像素点,按照所述目标滤波器的滤波窗口尺寸在所述待处理深度图像中圈定出以该像素点为区域中心的图像窗口区域;
按照预设置信提取策略在所述参照置信度图像的与所述图像窗口区域位置对应的目标图像区域内分布的多个参照置信度中提取至少一个参照置信度;
对提取出的所述至少一个参照置信度进行均值运算或加权求和运算,得到所述待处理深度图像中的该像素点的像素置信度。
5.根据权利要求1-4中任意一项所述的方法,其特征在于,所述目标滤波器包括高斯滤波器、双边滤波器、引导滤波器及均值滤波器中任意一种。
7.一种图像去噪处理装置,其特征在于,所述装置包括:
拍摄图像获取模块,用于获取目标深度相机拍摄到的待处理深度图像及与所述待处理深度图像对应的参照置信度图像;
像素置信确定模块,用于根据所述参照置信度图像确定所述待处理深度图像中每个像素点在目标滤波器处的像素置信度;
影响因子计算模块,用于根据所述待处理深度图像中每个像素点的像素置信度,计算对应像素点在所述目标滤波器处的中心像素影响因子及边缘像素影响因子,其中同一像素点的中心像素影响因子与像素置信度呈正相关关系,同一像素点的边缘像素影响因子与像素置信度呈反相关关系;
深度图像去噪模块,用于基于所述待处理深度图像中每个像素点的中心像素影响因子及边缘像素影响因子,调用所述目标滤波器对所述待处理深度图像进行图像滤波去噪,得到目标深度图像;
在此过程中,所述深度图像去噪模块具体用于:
针对所述待处理深度图像中每个待滤波像素点,计算以该待滤波像素点为区域中心的图像窗口区域中的每个窗口像素点在所述目标滤波器处相对于区域中心像素点的原始滤波器权重,其中所述图像窗口区域的区域尺寸与所述目标滤波器的滤波窗口尺寸保持一致;
将所述图像窗口区域的区域中心像素点的中心像素影响因子作为该区域中心像素点的实际影响因子,并将所述图像窗口区域的非区域中心像素点的所有窗口像素点各自的边缘像素影响因子作为对应窗口像素点的实际影响因子;
将所述图像窗口区域中的每个窗口像素点所对应的原始滤波器权重及实际影响因子进行乘法运算,得到所述图像窗口区域中的每个窗口像素点相对于区域中心像素点的实际滤波器权重;
对所述图像窗口区域中的每个窗口像素点的实际滤波器权重进行权重归一化处理,得到所述图像窗口区域中的每个窗口像素点的归一化权重;
根据所述图像窗口区域中的每个窗口像素点的归一化权重,对所述图像窗口区域的所有窗口像素点各自的像素值进行加权求和运算,得到所述目标深度图像中的与该待滤波像素点位置对应的目标像素点的像素值。
8.一种计算机设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机程序,所述处理器可执行所述计算机程序,以实现权利要求1-6中任意一项所述的图像去噪处理方法。
9.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权利要求1-6中任意一项所述的图像去噪处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210895007.9A CN114972123B (zh) | 2022-07-28 | 2022-07-28 | 图像去噪处理方法及装置、计算机设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210895007.9A CN114972123B (zh) | 2022-07-28 | 2022-07-28 | 图像去噪处理方法及装置、计算机设备和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114972123A CN114972123A (zh) | 2022-08-30 |
CN114972123B true CN114972123B (zh) | 2022-11-29 |
Family
ID=82969079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210895007.9A Active CN114972123B (zh) | 2022-07-28 | 2022-07-28 | 图像去噪处理方法及装置、计算机设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114972123B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115393224A (zh) * | 2022-09-02 | 2022-11-25 | 点昀技术(南通)有限公司 | 一种深度图像的滤波方法及装置 |
CN115170576B (zh) * | 2022-09-09 | 2022-12-06 | 山东中发新材料科技有限公司 | 基于机器视觉的铝管表面缺陷检测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105913396B (zh) * | 2016-04-11 | 2018-10-19 | 湖南源信光电科技有限公司 | 一种噪声估计的图像边缘保持混合去噪方法 |
CN110599422B (zh) * | 2019-09-12 | 2022-05-31 | 合肥中科离子医学技术装备有限公司 | 一种基于边缘保护的加权平均椒盐噪声降噪方法 |
CN111415310B (zh) * | 2020-03-26 | 2023-06-30 | Oppo广东移动通信有限公司 | 一种图像处理方法及装置、存储介质 |
CN114037635A (zh) * | 2021-11-26 | 2022-02-11 | 成都微光集电科技有限公司 | 一种图像混合去噪方法、装置、电子设备和介质 |
-
2022
- 2022-07-28 CN CN202210895007.9A patent/CN114972123B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN114972123A (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114972123B (zh) | 图像去噪处理方法及装置、计算机设备和可读存储介质 | |
CN108549874B (zh) | 一种目标检测方法、设备及计算机可读存储介质 | |
Negru et al. | Exponential contrast restoration in fog conditions for driving assistance | |
Ancuti et al. | Single image dehazing by multi-scale fusion | |
Chatterjee et al. | Noise suppression in low-light images through joint denoising and demosaicing | |
Li et al. | Single image dehazing using the change of detail prior | |
Yu et al. | Real‐time single image dehazing using block‐to‐pixel interpolation and adaptive dark channel prior | |
WO2017054314A1 (zh) | 一种建筑物高度计算方法、装置和存储介质 | |
US20100272356A1 (en) | Device and method for estimating whether an image is blurred | |
EP3438929B1 (en) | Foreground and background detection method | |
Barros et al. | Single-shot underwater image restoration: A visual quality-aware method based on light propagation model | |
CN110855876B (zh) | 一种图像处理方法、终端及计算机存储介质 | |
CN108234826B (zh) | 图像处理方法及装置 | |
Wang et al. | Multiscale single image dehazing based on adaptive wavelet fusion | |
CN103020908B (zh) | 图像降噪的方法和设备 | |
CN114140481A (zh) | 一种基于红外图像的边缘检测方法、装置 | |
WO2017128646A1 (zh) | 一种图像处理的方法及装置 | |
CN108732178A (zh) | 一种大气能见度检测方法和装置 | |
CN108810407B (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
Lee et al. | Joint defogging and demosaicking | |
Negru et al. | Exponential image enhancement in daytime fog conditions | |
CN114862686A (zh) | 图像处理方法、装置及电子设备 | |
CN113628148A (zh) | 红外图像降噪方法和装置 | |
Ali et al. | A comparative study of various image dehazing techniques | |
WO2017080236A1 (zh) | 图像处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |