CN114882127B - 图像处理方法、装置、存储介质和计算设备 - Google Patents
图像处理方法、装置、存储介质和计算设备 Download PDFInfo
- Publication number
- CN114882127B CN114882127B CN202210542955.4A CN202210542955A CN114882127B CN 114882127 B CN114882127 B CN 114882127B CN 202210542955 A CN202210542955 A CN 202210542955A CN 114882127 B CN114882127 B CN 114882127B
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- color space
- channel
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 27
- 230000007547 defect Effects 0.000 claims description 39
- 238000001914 filtration Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 abstract description 26
- 230000008569 process Effects 0.000 abstract description 12
- 239000002775 capsule Substances 0.000 description 82
- 238000007639 printing Methods 0.000 description 21
- 230000002950 deficient Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012015 optical character recognition Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 206010027146 Melanoderma Diseases 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/09—Recognition of logos
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明的实施方式提供了一种图像处理方法、装置、存储介质和计算设备。该方法包括：获取待处理图像，所述待处理图像至少包括背景和图案；将所述待处理图像转换至第一颜色空间，获取所述待处理图像在第一通道的第一图像分量；将所述待处理图像转换至第二颜色空间，获取所述待处理图像在第二通道的第二图像分量；根据所述第一图像分量和第二图像分量进行图像融合，得到目标图像，其中，所述目标图像中的图案强度与背景强度相似。通过获取图像在两个属于不同颜色空间且表现不同的通道的强度分量，然后将两个不同通道的强度分量按照预设方式融合，本发明的方法使得图像中的图案与背景的差异减小，从而显著地降低了图案对后续检测处理过程的影响。
Description
技术领域
本发明的实施方式涉及图像处理领域，更具体地，本发明的实施方式涉及一种图像处理方法、装置、存储介质和计算设备。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
现有技术在针对印字胶囊外观进行缺陷检测时，需要先消除印字的影响，通常采取两种策略。第一种策略，通过记录所有印字可能出现的位置，对这些位置采取不检查的处理；这种方式较为简单粗暴，存在缺陷漏检的风险。第二种策略采用光学字符识别（OpticalCharacter Recognition，OCR）技术，从而准确的得到字符轮廓，进而滤掉字符所带来的干扰；但是OCR技术的实时性较差，难以满足胶囊的高速生产需求。
发明内容
在本上下文中，本发明的实施方式期望提供一种图像处理方法、装置、存储介质和计算设备，以便快速高效地减小图像中胶囊本体上的图案与胶囊本体的差异，降低图案对胶囊外观检测的影响。
在本发明实施方式的第一方面中，提供了一种图像处理方法，包括：
获取待处理图像，所述待处理图像至少包括背景和图案；
将所述待处理图像转换至第一颜色空间，获取所述待处理图像在第一通道的第一图像分量，其中，所述第一通道至少用于描述图像的色调信息，所述第一图像分量中的图案强度与背景强度的表现与所述第二图像分量不同；
将所述待处理图像转换至第二颜色空间，获取所述待处理图像在第二通道的第二图像分量，其中，所述第二通道至少用于描述图像的明暗信息，所述第二图像分量中的图案强度与背景强度的对比和所述待处理图像中的图案强度与背景强度的对比相似；
根据所述第一图像分量和第二图像分量进行图像融合，得到目标图像，其中，所述目标图像中的图案强度与背景强度相似。
在本发明的一个实施例中，所述获取待处理图像，包括：
获取原始图像，并对所述原始图像进行增强处理，得到所述待处理图像。
在本发明的一个实施例中，根据所述第一图像分量和第二图像分量进行图像融合，得到目标图像，包括：
根据所述第一图像分量和第二图像分量进行图像融合，得到候选目标图像；
对所述候选目标图像进行预设滤波处理，得到所述目标图像。
在本发明的一个实施例中，将所述待处理图像转换至第二颜色空间，包括：
将所述待处理图像转换至第一颜色空间，获取第一图像；
将所述第一图像转换至第二颜色空间。
在本发明的一个实施例中，所述第一颜色空间为RGB颜色空间或XYZ颜色空间，所述第二颜色空间为Lab颜色空间。
在本发明的一个实施例中，在所述第一颜色空间为RGB颜色空间时，所述第一通道为G通道；
在所述第二颜色空间为Lab颜色空间时，所述第二通道为L通道。
在本发明的一个实施例中，所述原始图像为包装图像，所述背景为所述包装本体，所述图案包括文字、标识和图形中的至少一项。
在本发明实施方式的第二方面中，提供了一种图像处理装置，包括：
获取模块，被配置为获取待处理图像，所述待处理图像至少包括背景和图案；
第一转换模块，被配置为将所述待处理图像转换至第一颜色空间，获取所述待处理图像在第一通道的第一图像分量，其中，所述第一通道至少用于描述图像的色调信息，所述第一图像分量中的图案强度与背景强度的表现与所述第二图像分量不同；
第二转换模块，被配置为将所述待处理图像转换至第二颜色空间，获取所述待处理图像在第二通道的第二图像分量，其中，所述第二通道至少用于描述图像的明暗信息，所述第二图像分量中的图案强度与背景强度的对比和所述待处理图像中的图案强度与背景强度的对比相似；
处理模块，被配置为根据所述第一图像分量和第二图像分量进行图像融合，得到目标图像，其中，所述目标图像中的图案强度与背景强度相似。
在本发明实施方式的第三方面中，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序在被处理器执行时能够实现第一方面中任一项所述的方法。
在本发明实施方式的第四方面中，提供了一种计算设备，所述计算设备包括处理器和存储有程序代码的存储介质，所述程序代码当被处理器执行时，实现第一方面中任一项所述的方法。
根据本发明实施方式的图像处理方法、装置、存储介质和计算设备，可将包括背景和图案的待处理图像分别转换至第一颜色空间和第二颜色空间，获取所述待处理图像在第一通道的第一图像分量以及所述待处理图像在第二通道的第二图像分量，其中，所述第一通道至少用于描述图像的色调信息，所述第二通道至少用于描述图像的明暗信息，所述第一图像分量中的图案强度与背景强度的表现与所述第二图像分量不同，所述第二图像分量中的图案强度与背景强度的对比和所述待处理图像中的图案强度与背景强度的对比相似，最后根据所述第一图像分量和第二图像分量进行图像融合，得到目标图像，其中，所述目标图像中的图案强度与背景强度相似。通过获取待处理图像在两个不同颜色空间的符合预设条件的两个不同通道的图像分量，然后将两个图像分量按照预设方式融合，使得待处理图像中的图案与背景的差异减小，从而显著地降低了图案对后续缺陷检测处理过程的影响，为用户带来了更好的体验。另外，由于处理过程仅涉及简单的颜色空间转换和计算，计算复杂度更低，处理效率更高，能够快速高效地减小图像中胶囊本体上的图案与胶囊本体的差异，更加适用于实时胶囊外观检测。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1是本发明的一个实施例的图像处理方法的流程示意图；
图2是本发明的一个实施例的印字胶囊图像的示意图；
图3是本发明的一个实施例的印字胶囊图像增强处理前后的效果示意图；
图4是本发明的一个实施例的印字胶囊图像在RGB颜色空间的三个通道的示意图；
图5是本发明的一个实施例的印字胶囊图像在Lab颜色空间的三个通道的示意图；
图6是本发明的一个实施例的第一图像分量和第二图像分量加权融合前后的效果示意图；
图7是本发明的一个实施例的印字胶囊图像高斯滤波前后的效果示意图；
图8是本发明的一个实施例的带有缺陷的印字胶囊图像处理前后的效果示意图；
图9是本发明的一个实施例的图像处理装置的结构示意图；
图10是用于实施本发明的一种存储介质的结构示意图；
图11是用于实施本发明的一种计算设备的结构示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：完全的硬件、完全的软件（包括固件、驻留软件、微代码等），或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种图像处理方法、装置、存储介质和计算设备。
此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
示例性方法
下面参考图1来描述本发明示例性实施方式的用于处理图像的方法。本发明可以应用于胶囊等印字物体的缺陷检测场景，具体来说可以是缺陷检测前的图像处理程序，以抑制或消除物体上印刷的图案对缺陷检测的影响。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
本发明的实施方式提供一种图像处理方法，包括：
步骤S110，获取待处理图像。
其中，所述待处理图像可以是图像采集设备基于待进行缺陷检测的物体采集到的原始图像，所述物体可以是胶囊，所述胶囊上印有图案，例如印字胶囊，所述待处理图像则为待进行缺陷检测的印字胶囊的图像，如图2所示，图中所示的印字胶囊图像包括待进行缺陷检测的物体本身（即胶囊本体，也可称之为背景）以及图案（即印制在胶囊表面的字样）。
可以理解的是，虽然本发明的一些实施例中以印字胶囊图像为例，介绍了本发明的图像处理方法如何执行，但是，本发明的图像处理方法不仅仅局限于处理印字胶囊图像，其还可以应用于其他印有图案的物体的缺陷检测的前置处理程序，例如包装图像处理，具体来说可以是印有图案的包装袋或印有图案的包装盒等。
需要说明的是，本发明的图像处理方法不仅仅适用于印字物体图像的处理，即所述待进行缺陷检测的物体还可以印制有标识和图形等非文字图案，也就是说所述物体上印制的图案不仅仅局限于文字，其还可以标识和图形，或者三者中任意几项的组合。由此，在一个实施例中，所述原始图像为包装图像，所述背景为所述包装本体，所述图案包括文字、标识和图形中的至少一项。
考虑到图像采集设备采集到的原始图像容易受到图像采集条件（例如光照和角度等）的影响，可能和物体的真实表现存在差异，例如采集到的印字胶囊图像可能较暗，从而图像中字体和胶囊本体的对比没有真实表现那么明显，即图像中对比度和细节分辨率较低，可能对后续的图像处理过程带来不利影响。为了消除图像采集造成的图像失真，在本实施方式的一个实施例中，所述待处理图像由原始图像处理后得到，例如可以对原始图像进行增强处理，以便增强所述原始图像的对比度和细节分辨度，得到所述待处理图像。
由于大部分CMOS图像处理设备均遵守幂律Power law，即用于图像采集、打印和显示的设备均遵守幂律，例如图像采集设备的阴极射线管具有灰度-电压响应，所述灰度-电压响应是一个幂函数，指数变化范围为1.8-2.5。根据灰度-电压响应曲线可见，图像显示往往会产生比真实物体更暗的图像。在一个实施例中，可以使用幂律（伽马，Gamma）变换对采集到的图像进行校正，即对所述原始图像进行的增强处理可以是Gamma变换，使得增强处理后的待处理图像在外观上的表现接近真实物体。
图3显示了一组印字胶囊图像的实例，其中图3a为原始图像，图3b为原始图像经过Gamma变换后的待处理图像。可以看到，经过Gamma变换以后，待处理图像的对比度和细节分辨度都有所提升。
上述实施例介绍了待处理图像一些可能的具体来源以及获取方式，在获取到待处理图像之后，为了使得待处理图像更加适于缺陷检测，下面需要将待处理图像进行一定的处理，以便消弭待处理图像中图案对缺陷检测的影响。
发明人研究发现可以从人眼如何辨别印字胶囊上缺陷的角度出发，确定如何在印字的影响下准确检测出胶囊上的缺陷，具体来说，可以考虑人眼是如何分辨字符与缺陷的不同，例如，即使人不认识胶囊上印制的字符，依然能够明确分辨出胶囊上的缺陷和字符，即人眼识别字符和缺陷并不完全依靠自身对字符的经验认识（即整体形状或轮廓），而是两者的外在表现，例如色彩和明暗表现。印字胶囊的缺陷通常是黑斑、黑点类型的缺陷，在人眼视角内，黑斑或黑点的明暗与色调与胶囊本身以及印字均不同，由此，可以从明暗和色彩两个维度对印字胶囊图像进行处理，以便抑制或消弭印字对缺陷检测的影响，突出印字胶囊上缺陷。
基于以上检测原理，发明人发现Lab的L通道可以模拟人眼对明暗的分辨，而印字胶囊的黑斑等缺陷在明暗上的表现与胶囊本身以及印字的表现存在极大差异，由此，可以基于印字胶囊在L通道的图像分量，进行缺陷检测。又考虑到，图像表现不是孤立的明暗，而是明暗、色调和饱和度等各个维度数值的集合，且不同维度的数值表现会相互影响，基于孤立维度的数值表现无法准确突出缺陷，抑制字符和胶囊本身对缺陷检测的影响，例如图5中，L通道的图像分量中，字符和胶囊本体的表现还是存在较大差异，可能对缺陷检测存在影响。由此，还需要结合色调维度的图像分量对明暗维度的图像分量进行辅助处理，使得缺陷印字胶囊图像中的字符与胶囊本体的表现相似，所述表现相似例如两者的强度分量相似度达到预设阈值，所述强度分量可以是灰度值，所述预设阈值例如可以是80%以上。
为了更好的消除明暗维度的图像分量中，字符和胶囊本体的不同表现，即两者不同的色调表现在明暗上的映射，可以通过与所述于明暗维度的图像分量不同甚至是相反的通道图像分量（例如明暗维度的图像分量，字符与胶囊本体的强度表现与人眼观察相似，则可以通过更加凸显字符表现的通道图像分量进行消融补偿，使得字符与胶囊本体的表现相似），对所述明暗维度的图像分量进行叠加补偿，使得二者融合之后的图像中，字符与胶囊本体的表现相似。
以一个红色胶囊本体，印制有白色字符，且存在黑斑缺陷为例，发明人通过将缺陷印字胶囊图像转换为各个颜色空间的不同通道，因为胶囊本身为红色稍偏紫， G（绿色）通道刚好是胶囊颜色的补色，所以其强度很纯净，只表征了字符区域的强度。由此，可以通过G通道的图像分量与L通道的图像分量结合，获取突出缺陷的印字胶囊图像。
接下来，基于上述实施例的示例执行步骤S120以及步骤S130，将待处理图像分别转换至两个不同的颜色空间，获取所述待处理图像在两个不同通道的图像分量。
步骤S120，将所述待处理图像转换至第一颜色空间，获取所述待处理图像在第一通道的第一图像分量。
其中，所述第一通道至少用于描述图像的色调信息，所述第一图像分量中的图案强度与背景强度的表现与所述第二图像分量不同。
如上述实施例所述，待处理图像基于图像采集设备采集得到的原始图像得到，图像采集设备采集得到的原始图像通常具备一定的格式，在胶囊缺陷检测场景中，图像采集设备采集得到的原始图像一般为YCrCb格式。另外，进行增强处理后的图像格式通常不会产生变化，即增强处理后的待处理图像还保持与原始图像相同的格式。由此，在一个实施例中，将YCrCb格式的待处理图像转换至第一颜色空间，获取所述待处理图像在第一通道的第一图像分量；具体来说，所述第一颜色空间可以是为RGB颜色空间，所述待处理图像在第一通道的第一图像分量可以是待处理图像在G通道的强度分量。
可以理解的是，YCrCb格式的图像转换至RGB颜色空间为现有技术，此处不再赘述。
如图4所示，图 4展示了待处理图像转换到RGB颜色空间后分别在R、G、B三个通道的强度分量，其中图4a为R通道的强度分量，图4b为G通道的强度分量，图4c为B通道的强度分量。由图4可见，G通道的强度分量主要反映了胶囊表面印刷字符的强度，而对其他位置（例如胶囊本体，也可称之为背景）的强度进行了屏蔽。
步骤S130，将所述待处理图像转换至第二颜色空间，获取所述待处理图像在第二通道的第二图像分量。
其中，所述第二通道至少用于描述图像的明暗信息，所述第二图像分量中的图案强度与背景强度的对比和所述待处理图像中的图案强度与背景强度的对比相似。
所述对比相似，可以是对比值的差值符合预设值，例如，预设值为10%，第二图像分量中的图案强度与背景强度的对比是80%，待处理图像中的图案强度与背景强度的对比是75%，则可以认为两者的对比相似。
在一个实施例中，所述第二颜色空间为Lab颜色空间，所述第二通道为L通道。
如图5所示，图 5展示了原始图像转换到Lab颜色空间后的L、a、b三个通道的强度分量。可以看出，不同通道的强度分量分别凸显了胶囊上不同位置、不同特征的细节。其中图5a为L通道的强度分量，图5b为a通道的强度分量，图5c为b通道的强度分量。由图5可见，L通道的强度分量最大程度的还原了人眼在观察该胶囊时，胶囊各个位置的强度表现。
考虑到原始图像或待处理图像可能是图像采集设备输出的图像格式，即YCrCb格式，YCrCb格式的图像无法直接转换至Lab颜色空间。在本实施方式的一个实施例中，将所述待处理图像转换至第二颜色空间，包括：
将所述待处理图像转换至第一颜色空间，获取第一图像。
具体来说，所述第一颜色空间可以是RGB颜色空间，此处，可以将YCrCb格式的待处理图像转换至RGB颜色空间，得到所述第一图像。
将所述第一图像转换至第二颜色空间。
在得到待处理图像在RGB颜色空间的第一图像之后，将所述第一图像转换至Lab颜色空间，RGB颜色空间的图像转换至Lab颜色空间为现有技术，此处不再赘述。
虽然上述实施例以第一颜色空间为RGB颜色空间、第二颜色空间为Lab颜色空间为例，说明了如何获取所述待处理图像在两个不同通道的图像分量，然而本发明对所述第一颜色空间具体对应的颜色空间并不限定，所述第一颜色空间为RGB颜色空间或XYZ颜色空间。
具体来说，在所述第二颜色空间为Lab颜色空间，即所述第二通道为L通道的情况下，所述第一颜色空间的第一通道可以是RGB颜色空间的R通道，或者RGB颜色空间的G 通道，或者RGB颜色空间的B通道，或者XYZ颜色空间的X通道，或者XYZ颜色空间的Y通道，或者XYZ颜色空间的Z通道。具体的第一颜色空间的第一通道可以根据图案的实际色彩确定，本实施例对此不做限定，本领域的技术人员可以根据红色胶囊实例的原理进行选择。
在得到待处理图像在两个不同通道的图像分量后，执行步骤S140，根据所述第一图像分量和第二图像分量进行图像融合，得到目标图像。
其中，所述目标图像中的图案强度与背景强度相似。
所述强度相似例如两者的强度分量相似度达到预设阈值，所述强度分量可以是灰度值，所述预设阈值例如可以是80%以上。
在一个实施例中，根据所述第一图像分量和第二图像分量进行图像融合，得到目标图像，包括：
根据所述第一图像分量和第二图像分量进行图像融合，得到候选目标图像。
由上述实施例可见，不同颜色通道的强度分量凸显了胶囊上不同位置、不同特征的细节。比如，G颜色通道的强度分量主要反映了胶囊表面印刷字符的强度，而对其他位置的强度进行了屏蔽；而L颜色通道的强度分量最大程度的还原了人眼在观察该胶囊时，各个位置的强度表现。为了抑制或者消除胶囊表面印刷字符对缺陷检测的影响，需要根据第一图像分量和第二图像分量进行融合，例如使用这两个图像分量进行加权融合，其过程为：
I(x,y)= IL (x,y)∙α+IG (x,y)∙β
其中，I(x,y)为加权融合后输出的强度分量，IL (x,y)为L通道的强度分量，IG(x,y)为G通道的强度分量，α和β分别为权值，可以根据实际需要进行设置，例如均可以为1。
如图 6所示，其中，图6a为L通道的强度分量，图6b为G通道的强度分量，图6c为加权融合结果。可以看到，加权融合得到的图像中，印刷字符区域已经大部分被消除，此时的带印字的胶囊已经和一个普通单色胶囊趋于相同。
对所述候选目标图像进行预设滤波处理，得到所述目标图像。
从图 6中可以看到，加权融合后得到的图像中印字消除效果还不够完美，且主要体现在在印字的边缘位置，还有一些残余的高频信号。此时，可以对输入应用低通空间滤波器。低通空间滤波器用于降低灰度的急剧过渡，一般可用于减少图像中的无关细节，其中“无关”是指小于滤波器核的像素区域，或者是平滑因灰度级数量不足而导致的图像中的伪轮廓。常用的低通滤波器包括：均值滤波、Gaussian（高斯）滤波和中值滤波等。其中中值滤波主要用于消除图像中的椒盐噪声，高斯滤波与均值滤波相比，计算过程更加复杂，但是得到的结果更加平滑。并且，高斯滤波使用的滤波器核高斯核是圆对称的（也称各同向性，这意味着它们的响应与方向无关）。
高斯核是唯一可分离的圆对称核。由于其可分离性，高斯滤波器的计算优势可以与均值滤波媲美。
本实施例利用Gaussian滤波的特性，对加权融合得到图像进行进一步的处理，弱化字符边缘的响应，同时对整体的图像的噪声也起到抑制效果。图7展示了应用Gaussian滤波后的效果，图7a为Gaussian滤波前的加权图像，图7b为Gaussian滤波后的加权图像，可以看到Gaussian滤波后，胶囊表面的印刷字符被进一步补偿到与周围相近的灰度。
根据上述实施例的图像处理方法，可以对胶囊表面印刷的字符进行抑制甚至是消除，以便对胶囊进行缺陷检测，即通过本发明的图像处理方法对印字胶囊图像进行处理之后，得到的目标图像已经接近或者等同于单色胶囊图像，可以采用针对单色胶囊的检测流程对所述目标图像进行缺陷检测。为了验证本发明处理得到的目标图像对缺陷胶囊的效果，以确认本发明能在有效补偿印字区域的同时，不影响缺陷区域的特征。发明人进行了实验，图 8展示了一带有黑点的缺陷胶囊的实例，图 8a为带有黑点的缺陷胶囊的原始图像，可以看到，两个黑点分别位于印刷字符的内部和笔划之间的位置。对于处在这些位置的缺陷，普通的方法无疑会将这些缺陷过滤掉，从而造成缺陷品的漏检测。
图 8b为带有黑点的缺陷胶囊的原始图像经过本发明处理后的目标图像，可以看到，印刷字符被补偿掉的同时，黑点缺陷被较好地保留了下来。
根据本发明实施方式的图像处理方法，可将包括背景和图案的待处理图像分别转换至第一颜色空间和第二颜色空间，获取所述待处理图像在第一通道的第一图像分量以及所述待处理图像在第二通道的第二图像分量，其中，所述第一通道至少用于描述图像的色调信息，所述第二通道至少用于描述图像的明暗信息，所述第一图像分量中的图案强度与背景强度的表现与所述第二图像分量不同，所述第二图像分量中的图案强度与背景强度的对比和所述待处理图像中的图案强度与背景强度的对比相似，最后根据所述第一图像分量和第二图像分量进行图像融合，得到目标图像，其中，所述目标图像中的图案强度与背景强度相似。通过获取待处理图像在两个不同颜色空间的符合预设条件的两个不同通道的图像分量，然后将两个图像分量按照预设方式融合，使得待处理图像中的图案与背景的差异减小，从而显著地降低了图案对后续缺陷检测处理过程的影响，为用户带来了更好的体验。另外，由于处理过程仅涉及简单的颜色空间转换和计算，计算复杂度更低，处理效率更高，能够快速高效地减小图像中胶囊本体上的图案与胶囊本体的差异，更加适用于实时胶囊外观检测。
示例性装置
在介绍了本发明示例性实施方式的方法之后，接下来，参考图9对本发明示例性实施方式的用于处理图像的装置进行说明，该图像处理装置40，包括：
获取模块410，被配置为获取待处理图像，所述待处理图像至少包括背景和图案；
第一转换模块420，被配置为将所述待处理图像转换至第一颜色空间，获取所述待处理图像在第一通道的第一图像分量，其中，所述第一通道至少用于描述图像的色调信息，所述第一图像分量中的图案强度与背景强度的表现与所述第二图像分量不同；
第二转换模块430，被配置为将所述待处理图像转换至第二颜色空间，获取所述待处理图像在第二通道的第二图像分量，其中，所述第二通道至少用于描述图像的明暗信息，所述第二图像分量中的图案强度与背景强度的对比和所述待处理图像中的图案强度与背景强度的对比相似；
处理模块440，被配置为根据所述第一图像分量和第二图像分量进行图像融合，得到目标图像，其中，所述目标图像中的图案强度与背景强度相似。
在一个实施例中，所述获取模块410，还被配置为获取原始图像，并对所述原始图像进行增强处理，得到所述待处理图像。
在一个实施例中，所述处理模块440，还被配置为根据所述第一图像分量和第二图像分量进行图像融合，得到候选目标图像；以及对所述候选目标图像进行预设滤波处理，得到所述目标图像。
在一个实施例中，所述第二转换模块420，还被配置为将所述待处理图像转换至第一颜色空间，获取第一图像；以及将所述第一图像转换至第二颜色空间，获取所述待处理图像在第二通道的第二图像分量。
在一个实施例中，所述第一颜色空间为RGB颜色空间或XYZ颜色空间，所述第二颜色空间为Lab颜色空间。
在一个实施例中，在所述第一颜色空间为RGB颜色空间时，所述第一通道为G通道；
在所述第二颜色空间为Lab颜色空间时，所述第二通道为L通道。
在一个实施例中，所述原始图像为包装图像，所述背景为所述包装本体，所述图案包括文字、标识和图形中的至少一项。
根据本发明实施方式的图像处理装置，可将包括背景和图案的待处理图像分别转换至第一颜色空间和第二颜色空间，获取所述待处理图像在第一通道的第一图像分量以及所述待处理图像在第二通道的第二图像分量，其中，所述第一通道至少用于描述图像的色调信息，所述第二通道至少用于描述图像的明暗信息，所述第一图像分量中的图案强度与背景强度的表现与所述第二图像分量不同，所述第二图像分量中的图案强度与背景强度的对比和所述待处理图像中的图案强度与背景强度的对比相似，最后根据所述第一图像分量和第二图像分量进行图像融合，得到目标图像，其中，所述目标图像中的图案强度与背景强度相似。通过获取待处理图像在两个不同颜色空间的符合预设条件的两个不同通道的图像分量，然后将两个图像分量按照预设方式融合，使得待处理图像中的图案与背景的差异减小，从而显著地降低了图案对后续缺陷检测处理过程的影响，为用户带来了更好的体验。另外，由于处理过程仅涉及简单的颜色空间转换和计算，计算复杂度更低，处理效率更高，能够快速高效地减小图像中胶囊本体上的图案与胶囊本体的差异，更加适用于实时胶囊外观检测。
示例性介质
在介绍了本发明示例性实施方式的方法和装置之后，接下来，参考图10对本发明示例性实施方式的计算机可读存储介质进行说明，请参考图10，其示出的计算机可读存储介质为光盘50，其上存储有计算机程序（即程序产品），所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，获取待处理图像，所述待处理图像至少包括背景和图案；将所述待处理图像转换至第一颜色空间，获取所述待处理图像在第一通道的第一图像分量，其中，所述第一通道至少用于描述图像的色调信息，所述第一图像分量中的图案强度与背景强度的表现与所述第二图像分量不同；将所述待处理图像转换至第二颜色空间，获取所述待处理图像在第二通道的第二图像分量，其中，所述第二通道至少用于描述图像的明暗信息，所述第二图像分量中的图案强度与背景强度的对比和所述待处理图像中的图案强度与背景强度的对比相似；根据所述第一图像分量和第二图像分量进行图像融合，得到目标图像，其中，所述目标图像中的图案强度与背景强度相似；各步骤的具体实现方式在此不再重复说明。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
示例性计算设备
在介绍了本发明示例性实施方式的方法、装置和介质之后，接下来，参考图11对本发明示例性实施方式的用于处理图像的计算设备进行说明。
图11示出了适于用来实现本发明实施方式的示例性计算设备60的框图，该计算设备60可以是计算机系统或服务器。图11显示的计算设备60仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示，计算设备60的组件可以包括但不限于：一个或者多个处理器或者处理单元601，系统存储器602，连接不同系统组件（包括系统存储器602和处理单元601）的总线603。
计算设备60典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备60访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器602可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）6021和/或高速缓存存储器6022。计算设备60可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM6023可以用于读写不可移动的、非易失性磁介质（图11中未显示，通常称为“硬盘驱动器”）。尽管未在图11中示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM，DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线603相连。系统存储器602中可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组（至少一个）程序模块6024的程序/实用工具6025，可以存储在例如系统存储器602中，且这样的程序模块6024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块6024通常执行本发明所描述的实施例中的功能和/或方法。
计算设备60也可以与一个或多个外部设备604（如键盘、指向设备、显示器等）通信。这种通信可以通过输入/输出（I/O）接口605进行。并且，计算设备60还可以通过网络适配器606与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图11所示，网络适配器606通过总线603与计算设备60的其它模块（如处理单元601等）通信。应当明白，尽管图11中未示出，可以结合计算设备60使用其它硬件和/或软件模块。
处理单元601通过运行存储在系统存储器602中的程序，从而执行各种功能应用以及数据处理，例如，获取待处理图像，所述待处理图像至少包括背景和图案；将所述待处理图像转换至第一颜色空间，获取所述待处理图像在第一通道的第一图像分量，其中，所述第一通道至少用于描述图像的色调信息，所述第一图像分量中的图案强度与背景强度的表现与所述第二图像分量不同；将所述待处理图像转换至第二颜色空间，获取所述待处理图像在第二通道的第二图像分量，其中，所述第二通道至少用于描述图像的明暗信息，所述第二图像分量中的图案强度与背景强度的对比和所述待处理图像中的图案强度与背景强度的对比相似；根据所述第一图像分量和第二图像分量进行图像融合，得到目标图像，其中，所述目标图像中的图案强度与背景强度相似。各步骤的具体实现方式在此不再重复说明。
应当注意，尽管在上文详细描述中提及了图像处理装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (9)
1.一种图像处理方法，包括：
获取待处理图像，所述待处理图像至少包括背景和图案；
将所述待处理图像转换至第一颜色空间，获取所述待处理图像在第一通道的第一图像分量，其中，所述第一通道至少用于描述图像的色调信息，所述第一图像分量中的图案强度与背景强度的表现与第二图像分量不同；
将所述待处理图像转换至第二颜色空间，获取所述待处理图像在第二通道的第二图像分量，其中，所述第二通道至少用于描述图像的明暗信息，所述第二图像分量中的图案强度与背景强度的对比和所述待处理图像中的图案强度与背景强度的对比相似；
根据所述第一图像分量和第二图像分量进行图像融合，得到目标图像，其中，所述目标图像中的图案强度与背景强度相似，所述目标图像用于对印制有图案的包装进行外观缺陷检测；
其中，在所述第一颜色空间为RGB颜色空间时，所述第一通道为G通道；
在所述第二颜色空间为Lab颜色空间时，所述第二通道为L通道。
2.如权利要求1所述的图像处理方法，其中，所述获取待处理图像，包括：
获取原始图像，并对所述原始图像进行增强处理，得到所述待处理图像。
3.如权利要求1所述的图像处理方法，其中，根据所述第一图像分量和第二图像分量进行图像融合，得到目标图像，包括：
根据所述第一图像分量和第二图像分量进行图像融合，得到候选目标图像；
对所述候选目标图像进行预设滤波处理，得到所述目标图像。
4.如权利要求1所述的图像处理方法，其中，将所述待处理图像转换至第二颜色空间，包括：
将所述待处理图像转换至第一颜色空间，获取第一图像；
将所述第一图像转换至第二颜色空间。
5.如权利要求1所述的图像处理方法，其中，所述第一颜色空间为RGB颜色空间或XYZ颜色空间，所述第二颜色空间为Lab颜色空间。
6.如权利要求2所述的图像处理方法，其中，所述原始图像为包装图像，所述背景为包装本体，所述图案包括文字、标识和图形中的至少一项。
7.一种图像处理装置，包括：
获取模块，被配置为获取待处理图像，所述待处理图像至少包括背景和图案；
第一转换模块，被配置为将所述待处理图像转换至第一颜色空间，获取所述待处理图像在第一通道的第一图像分量，其中，所述第一通道至少用于描述图像的色调信息，所述第一图像分量中的图案强度与背景强度的表现与第二图像分量不同；
第二转换模块，被配置为将所述待处理图像转换至第二颜色空间，获取所述待处理图像在第二通道的第二图像分量，其中，所述第二通道至少用于描述图像的明暗信息，所述第二图像分量中的图案强度与背景强度的对比和所述待处理图像中的图案强度与背景强度的对比相似；
处理模块，被配置为根据所述第一图像分量和第二图像分量进行图像融合，得到目标图像，其中，所述目标图像中的图案强度与背景强度相似，所述目标图像用于对印制有图案的包装进行外观缺陷检测；
其中，在所述第一颜色空间为RGB颜色空间时，所述第一通道为G通道；
在所述第二颜色空间为Lab颜色空间时，所述第二通道为L通道。
8.一种计算机可读存储介质，存储有程序代码，所述程序代码当被处理器执行时，实现如权利要求1-6中任一项所述的方法。
9.一种计算设备，包括处理器和存储有程序代码的存储介质，所述程序代码当被处理器执行时，实现如权利要求1-6中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210542955.4A CN114882127B (zh) | 2022-05-19 | 2022-05-19 | 图像处理方法、装置、存储介质和计算设备 |
| US18/317,745 US20230377110A1 (en) | 2022-05-19 | 2023-05-15 | Method and device for processing image, storage medium, and computing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210542955.4A CN114882127B (zh) | 2022-05-19 | 2022-05-19 | 图像处理方法、装置、存储介质和计算设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114882127A CN114882127A (zh) | 2022-08-09 |
| CN114882127B true CN114882127B (zh) | 2023-05-12 |
Family
ID=82676341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210542955.4A Active CN114882127B (zh) | 2022-05-19 | 2022-05-19 | 图像处理方法、装置、存储介质和计算设备 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20230377110A1 (zh) |
| CN (1) | CN114882127B (zh) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110706294A (zh) * | 2019-09-10 | 2020-01-17 | 武汉纺织大学 | 一种色纺织物颜色差异度检测方法 |
| CN111028186B (zh) * | 2019-11-25 | 2023-07-04 | 泰康保险集团股份有限公司 | 一种图像增强方法和装置 |
| CN111738970A (zh) * | 2020-06-19 | 2020-10-02 | 无锡英菲感知技术有限公司 | 图像融合方法、装置及计算机可读存储介质 |
| CN111935364B (zh) * | 2020-08-17 | 2022-08-30 | 珠海奔图电子有限公司 | 图像处理方法、装置、图像形成装置及存储介质 |
| CN114241436A (zh) * | 2021-10-09 | 2022-03-25 | 淮阴工学院 | 一种改进色彩空间和搜索窗口的车道线检测方法及系统 |
-
2022
- 2022-05-19 CN CN202210542955.4A patent/CN114882127B/zh active Active
-
2023
- 2023-05-15 US US18/317,745 patent/US20230377110A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230377110A1 (en) | 2023-11-23 |
| CN114882127A (zh) | 2022-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9042649B2 (en) | Color document image segmentation and binarization using automatic inpainting | |
| EP2545499B1 (en) | Text enhancement of a textual image undergoing optical character recognition | |
| JP4375322B2 (ja) | 画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体 | |
| US20030161534A1 (en) | Feature recognition using loose gray scale template matching | |
| CN112183038A (zh) | 一种表格识别套打方法、计算机设备及计算机可读存储介质 | |
| CN110390643B (zh) | 一种车牌增强方法、装置及电子设备 | |
| JP2007507802A (ja) | デジタル画像におけるテキスト状エッジの強調 | |
| JP4821663B2 (ja) | 文字ノイズ除去装置、文字ノイズ除去方法、文字ノイズ除去プログラム | |
| CA3153067C (en) | Picture-detecting method and apparatus | |
| JP5337563B2 (ja) | 帳票認識方法および装置 | |
| Lee et al. | Color image enhancement using histogram equalization method without changing hue and saturation | |
| US8610963B2 (en) | Image corner sharpening method and system | |
| US20080292204A1 (en) | Image processing apparatus, image processing method and computer-readable medium | |
| US8285036B2 (en) | Image processing method, image processing apparatus, and computer-readable storage medium for computer program | |
| CN108877030B (zh) | 图像处理方法、装置、终端和计算机可读存储介质 | |
| CN114882127B (zh) | 图像处理方法、装置、存储介质和计算设备 | |
| JP5304529B2 (ja) | 画像処理装置及び画像処理プログラム | |
| CN111445402A (zh) | 一种图像去噪方法及装置 | |
| KR102158633B1 (ko) | 인감 사용 서류의 인감 이미지 추출 방법 | |
| JP5286215B2 (ja) | 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム | |
| JP2003274180A (ja) | 画像処理装置、画像処理方法、プリンタドライバ、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム | |
| JP6486082B2 (ja) | 画像処理装置及び画像処理方法、プログラム | |
| US20120057797A1 (en) | Pattern noise removal device, pattern noise removal method, and pattern noise removal program | |
| CN112508024A (zh) | 一种变压器电气铭牌钢印字体智能识别方法 | |
| CN108133204B (zh) | 一种手体识别方法、装置、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |