CN113155853B - 板状木材的缺陷检测系统、缺陷检测方法及缺陷检测用程序 - Google Patents

板状木材的缺陷检测系统、缺陷检测方法及缺陷检测用程序 Download PDF

Info

Publication number
CN113155853B
CN113155853B CN202110522912.5A CN202110522912A CN113155853B CN 113155853 B CN113155853 B CN 113155853B CN 202110522912 A CN202110522912 A CN 202110522912A CN 113155853 B CN113155853 B CN 113155853B
Authority
CN
China
Prior art keywords
visible light
light
plate
image
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110522912.5A
Other languages
English (en)
Other versions
CN113155853A (zh
Inventor
森田晃司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meinan Machinery Works Inc
Original Assignee
Meinan Machinery Works Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meinan Machinery Works Inc filed Critical Meinan Machinery Works Inc
Publication of CN113155853A publication Critical patent/CN113155853A/zh
Application granted granted Critical
Publication of CN113155853B publication Critical patent/CN113155853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901—Optical details; Scanning details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G01N21/898—Irregularities in textured or patterned surfaces, e.g. textiles, wood
    • G01N21/8986—Wood
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/46—Wood
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/062—LED's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30161—Wood; Lumber

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Textile Engineering (AREA)
  • Wood Science & Technology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Multimedia (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供板状木材的缺陷检测系统、缺陷检测方法以及缺陷检测用程序；该缺陷检测系统具备：向单板(6)的表面照射反射光用的可见光的反射光用照明(2)；向单板(6)的背面照射透射光用的近红外线的透射光用照明(3)；以及通过解析线性传感器照相机(4)所生成的拍摄图像而检测单板(6)的缺陷的图像处理装置(1)，并且，根据基于透射光的红外透射光图像的浓淡和形状、以及基于反射光的可见光图像的颜色的组合来判别单板(6)的缺陷，即使是在可见光图像上与正常部分的色差少的缺陷，也能够在红外透射光图像上呈现出缺陷部分与正常部分的浓淡差，从而仅通过观察可见光图像的色差难以检测的缺陷也能够比较容易地进行检测。

Description

板状木材的缺陷检测系统、缺陷检测方法及缺陷检测用程序
技术领域
本发明涉及板状木材的缺陷检测系统、缺陷检测方法以及缺陷检测用程序，尤其适用于检测从圆木等切出的单板或锯材等板状木材中存在的缺陷的系统。
背景技术
目前，已知有一种利用拍摄装置拍摄单板等的木材，并利用拍摄图像的颜色分布来检测木材表面的变色所引起的缺陷部分的缺陷检测装置(例如参照专利文献1)。在该专利文献1公开的缺陷检测装置中，从设置于单板表面侧的反射光用照明照射白色的可见光，并从设置于单板背面侧的透射光用照明照射与反射光用照明不同颜色(例如绿色)的可见光。然后，根据基于反射光的拍摄图像检测活节、死节、霉引起的变色部等缺陷，另一方面，根据基于透射光的拍摄图像检测单板的虫眼、裂纹等缺陷。
此外，例如专利文献2至4中公开了使用对检测对象物照射红外线时的透射光来检测缺陷的技术，但该技术并非用于检测单板的缺陷。
专利文献1：日本专利特开2007-147442号公报
专利文献2：日本专利特开2006-153633号公报
专利文献3：日本专利特开2011-33449号公报
专利文献4：日本专利特开2014-190797号公报
发明内容
然而，在如上述专利文献1所记载的缺陷检测装置那样仅观察照射可见光拍摄的图像的色差(颜色的差异)的情况下，具有存在难以检测的缺陷这一问题。即，与正常部分的板颜色的色差小的活节或死节、因为变色菌等而使颜色变淡的变色部等缺陷难以根据基于反射光的拍摄图像进行检测。另外，未沿着可见光的照射方向从单板的表面贯穿至背面的虫眼、被粪便堵塞的虫眼、未开裂的裂纹等缺陷难以根据基于透射光的拍摄图像进行检测。
本发明是为了解决上述问题而完成的，其目的在于，比较容易地检测仅通过观察拍摄图像的色差难以检测的缺陷。
为了解决上述问题，本发明涉及的板状木材的缺陷检测系统具备：可见光照明，其向板状木材的一面照射反射光用的可见光；非可见光照明，其向板状木材的与一面相反的另一面照射透射光用的非可见光；拍摄装置，其拍摄板状木材的一面并生成图像；以及图像处理装置，其通过对拍摄装置生成的拍摄图像进行解析而检测板状木材的多种缺陷；并且，根据至少包括基于透过板状木材的非可见光的图像的浓淡和形状、以及基于被板状木材反射的可见光的图像的颜色的组合来判别板状木材的多种缺陷。
(发明效果)
根据上述那样构成的本发明，即使是在照射可见光而拍摄到的图像上与正常部分的板色的色差少的缺陷，也能够在照射非可见光而拍摄的图像上，根据透过缺陷部分的非可见光的量与透过正常部分的非可见光的量的差异而使缺陷部分与正常部分的浓淡差显现在拍摄图像上。因此，能够确定具有该浓淡差的部分存在缺陷。进而，能够根据通过基于非可见光的拍摄图像确定的缺陷部分的形状与基于可见光的拍摄图像上对应部分的颜色的组合，判别可能存在的缺陷的种类。由此，仅观察基于可见光的拍摄图像的色差难以检测的缺陷也可以比较容易地进行检测。
附图说明
图1是表示本实施方式涉及的板状木材的缺陷检测系统的构成例的图。
图2是表示本实施方式涉及的图像处理装置的功能构成例的框图。
图3是表示本实施方式涉及的板状木材的缺陷检测系统的动作例的流程图。
(符号说明)
1：图像处理装置
2：反射光用照明(可见光照明)
3：透射光用照明(第二可见光照明、非可见光照明)
4：线性传感器照相机(拍摄装置)
11：线性图像获取部
12：整体图像生成部
13：图像解析部
具体实施方式
以下，根据附图对本发明的一个实施方式进行说明。图1是表示本实施方式涉及的板状木材的缺陷检测系统的构成例的图。如图1所示，本实施方式的缺陷检测系统具备图像处理装置1、反射光用照明2、透射光用照明3以及线性传感器照相机4而构成，检测通过带式输送机5a、5b(以下简称为带式输送机5)输送来的单板6中存在的多种缺陷。
反射光用照明2包括权利要求中的可见光照明，向单板6的一面(表面)照射反射光用的可见光。作为该可见光照明，例如使用LED等的白色光源。以下，将反射光用照明2照射的可见光称为“白色可见光”。反射光用照明2在与单板6的输送方向正交的方向(单板6的宽度方向)上呈线状地延伸，从而呈带状地向单板6照射白色可见光。
透射光用照明3包括权利要求中的第二可见光照明和非可见光照明。第二可见光照明向单板6的与一面相反的另一面(背面)照射容易与作为反射光用照明2的可见光照明照射在单板6上的反射光的色调区别的颜色的透射光用的可见光。作为该第二可见光照明，例如使用LED等的蓝色光源或绿色光源。以下，将透射光用照明3的第二可见光照明照射的可见光称为“第二可见光”。非可见光照明向单板6的背面照射透射光用的非可见光。作为该非可见光照明，例如使用LED等的近红外线光源。以下，将透射光用照明3的非可见光照明照射的非可见光称为“近红外线”。透射光用照明3也在与单板6的输送方向正交的方向(单板6的宽度方向)上呈线状地延伸，从而呈带状地向单板6照射第二可见光和近红外线。
在此，鉴于与单板6的板厚之间的关系，近红外线的波段使用能够透过单板6的适当的波段。另外，优选在考虑到线性传感器照相机4的灵敏度范围的基础上使用适当的波段。例如，在单板6的板厚为6mm左右的情况下，能够使用750nm～1500nm波段的近红外线。但是，并不限定于该波段。
透射光用照明3设置于与上游侧带式输送机5a和下游侧带式输送机5b之间的间隙相对的位置处，并且从带式输送机5的背侧穿过该间隙向单板6的背面照射非可见光(近红外线)和第二可见光。另一方面，反射光用照明2设置于相比上游侧带式输送机5a与下游侧带式输送机5b之间的间隙稍微靠近上游侧(也可以是下游侧)的位置处，并且从带式输送机5的表面侧倾斜地向单板6的与被照射近红外线和第二可见光的背面区域相反的表面区域照射白色可见光。
线性传感器照相机4相当于权利要求中的拍摄装置，以彩色方式拍摄单板6的表面并生成图像。线性传感器照相机4设置于隔着上游侧带式输送机5a和下游侧带式输送机5b之间的间隙与透射光用照明3相对的位置上，并沿着与单板6的输送方向正交的方向(单板6的宽度方向)延伸，呈线状地拍摄单板6。当在带式输送机5上输送单板6时，线性传感器照相机4从单板6的输送方向的一端侧的边至另一端侧的边为止，每隔规定的采样时间反复生成一行的图像，并将它们依次输出至图像处理装置1中。
线性传感器照相机4具备对于反射光用照明2照射的白色可见光和透射光用照明3照射的第二可见光具有灵敏度的受光元件、和对于透射光用照明3照射的近红外线具有灵敏度的受光元件。线性传感器照相机4接收反射光用照明2照射的白色可见光在单板6上的反射光、和透射光用照明3照射的近红外线和第二可见光透过单板6的透射光，并对它们进行光电转换，从而生成单板6的一行的拍摄图像。
在此，线性传感器照相机4生成基于白色可见光的反射光和第二可见光的透射光的图像(以下称为可见光图像)和基于近红外线的透射光的图像(以下称为红外透射光图像)。当单板6中存在大致垂直地从背面贯穿至表面的孔时，第二可见光从该贯通孔穿过，该部分被成像为可见光图像的一部分。另一方面，近红外线从包括具有上述贯通孔的部分和不具有上述贯通孔的部分在内的单板6的整体穿过，并成像为红外透射光图像。此时，单板6的板厚、纤维密度、纤维方向等与周围不同的部分呈现白色化或黑色化。
此外，以下将可见光图像中基于第二可见光的透射光的图像部分称为第二可见光图像，将除此以外的图像部分且基于白色可见光的反射光的图像部分称为白色反射光图像。严格来说，在第二可见光透过的部分中，白色可见光也有可能朝向线性传感器照相机4的方向反射，但为了便于说明，将第二可见光图像以外的部分(第二可见光未透过的部分)的图像称为白色反射光图像。
图像处理装置1通过将每规定的采样时间从线性传感器照相机4依次输出的多行的拍摄图像进行合成(耦合)，针对可见光图像和红外透射光图像分别生成单板6的整体图像。然后，通过对生成的可见光图像和红外透射光图像进行解析，从而检测单板6中存在的多种缺陷。
图2是表示图像处理装置1的功能构成例的框图。如图2所示，图像处理装置1的功能构成包括线性图像获取部11、整体图像生成部12以及图像解析部13。该等各功能块11～13可以由硬件、DSP(Digital Signal Processor：数字信号处理器)、软件中的任意一种构成。例如，在由软件构成的情况下，上述各功能块11～13具备计算机的CPU、RAM、ROM等而构成，并通过运行RAM或ROM、硬盘或者半导体存储器等的记录介质中存储的程序而实现。
线性图像获取部11按顺序获取线性传感器照相机4每规定的采样时间生成的一行的拍摄图像。整体图像生成部12通过将线性图像获取部11所获得的多行的拍摄图像加以合成(耦合)，从而生成单板6的整体图像。此时，整体图像生成部12分别生成由白色反射光图像及第二可见光图像构成的可见光图像和红外透射光图像。
图像解析部13通过对整体图像生成部12所生成的单板6的整体图像进行解析，从而检测单板6的多种缺陷。其中，图像解析部13根据白色反射光图像的颜色、形状及花纹、第二可见光图像的颜色及形状、以及红外透射光图像的浓淡及形状的组合来判别单板6的多种缺陷。图像解析部13检测出的单板6的缺陷例如为虫眼、活节、死节、开口裂纹、非开口裂纹、夹皮、油眼、应力木、变色菌等引起的变色部、卡刀(刃詰まり)等。变色菌等引起的变色部是广泛包含因为变色菌而发生了变色的木材的部位、附着有发生了变色的菌的部位等因为变色菌而发生了变色的部位的概念。变色菌等引起的变色部例如是因为由蓝变菌引起的青霉或黑霉而变成青色或黑色的木材的部位。以下，将变色菌等引起的变色部简称为“变色部”。
这些各种缺陷中的开口裂纹、夹皮、油眼、卡刀，即使没有红外透射光图像，也能够根据可见光图像(白色反射光图像和第二可见光图像)的颜色、形状、花纹等在某种程度上进行判别。
开口裂纹是沿第二可见光的光轴从单板6的背面至表面贯穿厚度方向且开口的一种裂纹。由于透射光用照明3照射的第二可见光从该开口裂纹透过，因此，开口裂纹的缺陷部分(第二可见光图像)与其周边木材的正常部分(白色反射光图像)的色差变大，从而能够根据颜色的差异检测出存在缺陷。另外，能够根据产生该色差的缺陷部分的形状判别该缺陷为“裂纹”。
夹皮是呈具有浓焦茶色或黑色的配色的倾向的缺陷。因此，当在基于反射光用照明2照射的白色可见光的白色反射光图像中，夹皮的缺陷部分与其周边木材的正常部分的色差大时，能够根据颜色差异检测出存在缺陷。另外，当产生该色差的缺陷部分的木纹等花纹图案是夹皮中特征性的图案时，能够判别该缺陷为“夹皮”。
油眼是储存有树脂的孔部的缺陷，多数情况下变色为黑色。因此，当在白色反射光图像中，油眼的缺陷部分与其周边木材的正常部分的色差大时，能够根据颜色的差异检测出存在缺陷。另外，当沿厚度方向贯穿时，透射光用照明3照射的第二可见光会从此处透过。此时，当该缺陷部分(第二可见光图像)与其周边木材的正常部分(白色反射光图像)的色差变大时(孔部周边未黑色化时)，能够根据颜色的差异检测出存在缺陷。另外，根据产生该色差的缺陷部分的颜色，能够判别该缺陷可能是“油眼”、“夹皮”或者黑色系的“木节”中的哪一种。
卡刀是指与其周围部分相比板厚存在变动，木纹图案的连续性中断的缺陷。因此，当在基于反射光用照明2照射的白色可见光的白色反射光图像中，木纹图案的连续性明显中断时，能够判别此处存在“卡刀”的缺陷。
对于上述缺陷而言，针对虫眼、活节、死节、非开口裂纹、应力木、变色部，图像解析部13根据基于从透射光用照明3照射的近红外线的透射光的红外透射光图像的浓淡和形状、以及基于从反射光用照明2照射的白色可见光的反射光的白色反射光图像的颜色的组合来判别单板6的多种缺陷。
虫眼是指因为虫害而形成的孔洞。虫眼存在沿单板6的厚度方向贯穿的贯通孔的情况和未沿厚度方向贯穿的未贯通孔的情况。在未贯通孔的情况下，由于从透射光用照明3发出的第二可见光未透过，因此，无法根据第二可见光图像检测虫眼。另外，只要未因为虫蛀部的变色等而与周边木材存在显著的配色差异，则仅利用基于从反射光用照明2发出的白色可见光的白色反射光图像难以检测虫眼。在虫眼被虫的粪便堵塞的情况下，更难检测。
相对于此，透射光用照明3照射的近红外线包括正常部分和缺陷部分在内从单板6的背面透射至表面。在此，未贯穿的虫眼或者孔洞被粪便堵塞的虫眼的部分，因为近红外线的透射量与周边木材的正常部分存在差异而容易在红外透射光图像上白色化。因此，图像解析部13能够检测出红外透射光图像中白色化的部分存在缺陷。另外，当该白色化部分的形状是不规则的长孔形状或者与纤维正交的方向的长孔形状时，能够判别该缺陷为“虫眼”。当白色化部分的形状接近于圆形时，图像解析部13能够在考虑到与之对应部分的白色反射光图像的色调和形状的基础上判别是虫眼、松节还是针孔。此外，一部分的虫具有使虫蛀部位周边发霉的特性。该情况下的虫眼在孔洞周边产生霉菌，在该发霉部分中，红外透射光图像容易黑色化。因此，通过检测上述状态，能够判别是否为虫眼。
活节是纤维与周边木材未断裂的一种木节。由于具有与单板6的木材颜色相近的配色，因而多数情况下边界不清晰，从而仅通过可见光图像多数情况下难以检测。相对于此，在红外透射光图像中，存在活节的部分会白色化。因此，图像解析部13能够检测出红外透射光图像中白色化的部分存在缺陷。在活节的情况下，由于该白色化部分的形状接近于圆形，因此，图像解析部13在考虑到与之对应部分的白色反射光图像的色调和形状的基础上判别是虫眼还是活节。
死节是纤维与周边木材断裂的一种木节，相比活节而黑色系更多。因此，多数情况下相比活节而言与周边木材的边界比较清晰，有时也能够根据可见光图像进行检测，但是，在如使用了整体黑色的木材的单板6等这样与周边木材的配色差异少的情况下，难以进行检测。相对于此，在红外透射光图像中，存在死节的部分会白色化。因此，图像解析部13能够检测出红外透射光图像中白色化的部分存在缺陷。死节的形状也接近于圆形，但是，由于在白色反射光图像中多数情况下黑色化，因而能够根据色调来判别死节。
非开口裂纹是从单板6的背面贯穿至表面但未沿第二可见光的光轴开口的裂纹、或者未从单板6的背面贯穿至表面的裂纹。由于从透射光用照明3发出的第二可见光未透过，因此，无法根据第二可见光图像检测非开口裂纹。另外，由于配色和配色图案(木纹等的花纹)均与周边木材的正常部分差异较小，因此，仅利用白色反射光图像难以检测。相对于此，在红外透射光图像中，存在非开口裂纹的部分在因为板材的缺口引起的板厚不够、和因为裂纹而从容易使近红外线光散射的空间漏出的光的影响下白色化。因此，图像解析部13能够检测出红外透射光图像中白色化的部分存在缺陷。另外，能够根据该白色化部分的形状而判别该缺陷为“裂纹”。
应力木是木质纤维紧密且强韧的部位。有时会因为与周边的通常木质的密度差而产生细微的裂纹，但也存在配色没有特征的情况，多数情况下仅利用可见光图像难以检测。相对于此，在红外透射光图像中，若木质纤维仅仅是高密度，则应力木的部分会黑色化。因此，图像解析部13能够检测出在红外透射光图像中黑色化的部分中存在缺陷。另外，根据该黑色化部分的形状以及与之对应部分的白色反射光图像的配色，能够与同样在红外透射光图像中黑色化的变色部(作为一例是因为青霉或黑霉而黑色化的部位)区分开而判别该缺陷为“应力木”。此外，有时在红外透射光图像中存在卡刀的部分也会黑色化，但能够根据其形状及白色反射光图像的配色来进行区别。
变色部不具有形状上的特征，以往是作为白色反射光图像的发生了变色的部位进行检测。然而，由于配色是从黑色系到青黑色系等，并且难以与污垢区别，在单板6的材料的配色为黑色系的情况下，难以检测存在变色部。另外，淡色的青霉也难以根据白色反射光图像进行检测。相对于此，在红外透射光图像中，变色部的部分会黑色化。因此，图像解析部13能够检测出在红外透射光图像中黑色化的部分中存在缺陷。另外，能够根据该黑色化部分的形状并非应力木或卡刀特有的形状的情况、或者对应部分的白色反射光图像的配色来判别该缺陷为变色部。
此外，如上所述，针对开口裂纹、夹皮、油眼、卡刀，即使没有红外透射光图像，也能够根据可见光图像的颜色、形状、花纹等在某种程度上进行判别，但是，在红外透射光图像中，这些缺陷部分会显现出白色化或黑色化。因此，也可以在对红外透射光图像进行解析并提取出呈现白色化或黑色化的部分之后，对可见光图像上的对应部分的颜色、形状、花纹等进行解析，从而判别缺陷的种类。
尤其是油眼，在树脂的储存量多而只是变色并未贯穿的情况下，有时仅通过解析可见光图像也难以进行检测。卡刀在与其周围部分相比配色并未大幅变化的情况下，有时仅通过解析可见光图像也难以进行检测。相对于此，在红外透射光图像中，存在油眼的部分白色化，存在卡刀的部分白色化或黑色化，因此，能够检测到存在这些缺陷。进而，能够从白色化或黑色化部分的形状和可见光图像的对应部分的颜色判别缺陷的种类。
图3是表示上述那样构成的本实施方式涉及的单板的缺陷检测系统的动作例的流程图。图3所示的流程图在进行了指示缺陷检测系统开始动作的操作时开始。此外，当指示缺陷检测系统开始动作时，在带式输送机5上依次输送多个单板6，并依次对各个单板6执行缺陷的检测，但图3中示出的是对一张单板6进行处理时的动作例。
首先，线性传感器照相机4在从反射光用照明2向单板6的表面照射白色可见光，从透射光用照明3向单板6的背面照射第二可见光和近红外线的环境下，在单板6的宽度方向上拍摄一行的图像，并将得到的拍摄图像(可见光图像和红外透射光图像)输出至图像处理装置1(步骤S1)。
图像处理装置1的线性图像获取部11获取从线性传感器照相机4输出的一行的拍摄图像(步骤S2)。另外，整体图像生成部12将线性图像获取部11所获得的一行的拍摄图像与之前合成(耦合)生成的拍摄图像进一步进行耦合(步骤S3)。然后，整体图像生成部12判断是否生成了单板6的整体图像(步骤S4)。
例如，当在合成的拍摄图像中沿单板6的宽度方向检测到颜色差异明显的线状边缘时，可以判断为生成了单板6的整体图像。在尚未生成单板6的整体图像的情况下，处理返回步骤S1。然后，每规定的采样时间反复进行步骤S1至S4的处理。
另一方面，当整体图像生成部12判定为已生成了单板6的整体图像时，图像解析部13对整体图像生成部12所生成的单板6的整体图像进行解析(步骤S5)。在此，图像解析部13对白色反射光图像的颜色、形状以及花纹、第二可见光图像的颜色及形状、以及红外透射光图像的浓淡及形状进行解析。由此，检测单板6中存在的多种缺陷(步骤S6)，并将该结果显示于缺陷检测系统的显示器中。
如以上详细说明，本实施方式中具备：可见光照明(反射光用照明2)，其向单板6的表面照射反射光用的白色可见光；非可见光照明(透射光用照明3的一部分)，其向单板6的背面照射透射光用的近红外线；线性传感器照相机4，其拍摄单板6的表面并生成图像；以及图像处理装置1(图像解析部13)，其通过对线性传感器照相机4生成的拍摄图像进行解析而检测单板6的多种缺陷，并且，根据基于透射光的红外透射光图像的浓淡和形状、以及基于反射光的白色反射光图像的颜色的组合来判别虫眼、活节、死节、非开口裂纹、应力木、变色部等的缺陷。
根据这样构成的本实施方式，即使是在照射白色可见光并拍摄得到的白色反射光图像上与正常部分的板色的色差少的缺陷，也会根据从该缺陷部分透过的近红外线的量与从正常部分透过的近红外线的量的差异，在红外透射光图像上显现出缺陷部分与正常部分的浓淡差。由此，能够确定存在该浓淡差的部分存在缺陷。进而，能够根据红外透射光图像上确定的缺陷部分的形状与白色反射光图像上对应部分的颜色的组合，判别可能存在的缺陷的种类。由此，仅观察白色反射光图像的色差难以检测的缺陷也可以比较容易地进行检测。尤其能够容易地检测虫眼、活节、死节、非开口裂纹、应力木、变色部等缺陷。
另外，在本实施方式中，还具备向单板6的背面照射透射光用的第二可见光的第二可见光照明(透射光用照明3的一部分)，并且，根据白色反射光图像的颜色、形状及花纹、第二可见光图像的颜色及形状、以及红外透射光图像的浓淡及形状的组合来判别单板6的多种缺陷。由此，包括仅根据可见光图像便能够检测的缺陷在内，能够容易地检测虫眼、活节、死节、开口裂纹、非开口裂纹、夹皮、油眼、应力木、变色部、卡刀等多种缺陷。关于不使用第二可见光图像就能够检测的缺陷，只要是大致垂直地从单板6的背面贯穿至表面的状态，则能够在第二可见光图像的解析的基础上更加容易地进行检测。
此外，在上述实施方式中，说明了作为拍摄装置而使用具备对于可见光具有灵敏度的受光元件和对于近红外线具有灵敏度的受光元件的线性传感器照相机4，并分别生成可见光图像和红外透射光图像的例子，但本发明并不限定于此。例如，也可以使用具备从可见光区域到近红外线区域都具有灵敏度的受光元件的拍摄装置生成拍摄图像，并将其分离为可见光图像和红外透射光图像。
另外，在上述实施方式中，说明了对于包含白色反射光图像和第二可见光图像的可见光图像进行解析的例子，但本发明并不限定于此。例如，也可以从可见光图像将白色反射光图像与第二可见光图像分离，并分别对各个图像进行解析。
另外，在上述实施方式中，说明了作为拍摄装置而使用线性传感器照相机4的例子，但本发明并不限定于此。例如，也可以使用能够将整个单板6拍摄为一张图像的区域传感器照相机。该情况下，反射光用照明2和透射光用照明3呈区域状地向整个单板6照射白色可见光、第二可见光以及近红外线。
另外，在上述实施方式中，说明了作为可见光照明而使用白色光源，作为第二可见光照明而使用蓝色光源或绿色光源的例子，但本发明并不限定于此。只要能够区别反射光用照明的颜色与透射光用照明的颜色，则也可以使用除此之外的颜色的组合。
另外，在上述实施方式中，说明了作为透射光用而具备照射第二可见光的第二可见光照明的例子，但也可以将其省略。即使在省略的情况下，也能够比较容易地检测仅观察可见光图像的色差难以检测的虫眼、活节、死节、非开口裂纹、应力木、变色部等缺陷。
另外，上述实施方式中，说明了作为非可见光照明而使用近红外线光源的例子，但本发明并不限定于此。只要是能够透过单板6，并且是线性传感器照相机4的受光元件的灵敏度范围所对应的波段即可，例如也可以使用中红外线、远红外线、太赫兹波、紫外线、X射线等。
另外，在上述实施方式中，说明了检测单板6中存在的缺陷的例子，但本发明并不限定于此。例如，也可以将锯材等其他板状木材作为对象来检测缺陷。
此外，上述实施方式都只不过示出了实施本发明时的具体化的一例，不能据此对本发明的技术范围进行限定性的解释。即，本发明能够在不脱离其主旨或其主要特征的情况下以各种方式实施。

Claims (10)

1.一种板状木材的缺陷检测系统，其特征在于，具备：
可见光照明，其向板状木材的一面照射反射光用的可见光；
非可见光照明，其向所述板状木材的与所述一面相反的另一面照射透射光用的非可见光；
第二可见光照明，所述第二可见光照明向所述板状木材的所述另一面照射容易与所述可见光照明照射在所述板状木材上的反射光的色调区别的颜色的透射光用的可见光；
拍摄装置，其拍摄所述板状木材的所述一面并生成图像；以及
图像处理装置，其通过对所述拍摄装置生成的拍摄图像进行解析而检测所述板状木材的多种缺陷；
所述图像处理装置根据基于所述可见光照明照射的可见光的反射光的反射光图像的颜色、形状及花纹、基于所述第二可见光照明照射的可见光的透射光的第二可见光图像的颜色及形状、以及基于所述非可见光照明照射的非可见光的透射光的透射光图像的浓淡及形状的组合来判别所述板状木材的多种缺陷。
2.如权利要求1所述的板状木材的缺陷检测系统，其特征在于，
所述可见光照明是白色光源，所述非可见光照明是近红外线光源。
3.如权利要求1所述的板状木材的缺陷检测系统，其特征在于，
所述板状木材是单板，所述非可见光照明是近红外线光源。
4.如权利要求1所述的板状木材的缺陷检测系统，其特征在于，
所述可见光照明是白色光源，所述非可见光照明是近红外线光源，所述第二可见光照明是与所述白色光源不同颜色的光源。
5.一种板状木材的缺陷检测方法，其特征在于，包括如下步骤：
在从可见光照明向板状木材的一面照射反射光用的可见光，并且从非可见光照明向所述板状木材的与所述一面相反的另一面照射透射光用的非可见光，以及从第二可见光照明向所述板状木材的所述另一面照射容易与所述可见光照明照射在所述板状木材上的反射光的色调区别的颜色的透射光用的可见光之后，通过拍摄装置拍摄所述板状木材的所述一面并生成图像；以及
图像处理装置通过对所述拍摄装置生成的拍摄图像进行解析而检测所述板状木材的多种缺陷；
所述图像处理装置根据基于所述可见光照明照射的可见光的反射光的反射光图像的颜色、形状及花纹、基于所述第二可见光照明照射的可见光的透射光的第二可见光图像的颜色及形状、以及基于所述非可见光照明照射的非可见光的透射光的透射光图像的浓淡及形状的组合来判别所述板状木材的多种缺陷。
6.如权利要求5所述的板状木材的缺陷检测方法，其特征在于，
所述非可见光照明是近红外线光源。
7.如权利要求6所述的板状木材的缺陷检测方法，其特征在于，所述板状木材是单板。
8.一种计算机可读存储介质，其存储有板状木材的缺陷检测用程序，所述板状木材的缺陷检测用程序安装于图像处理装置中，所述计算机可读存储介质的特征在于，
所述板状木材的缺陷检测用程序用于使所述图像处理装置的计算机作为下述单元发挥功能；
获取单元，其获取拍摄图像，所述拍摄图像通过在从可见光照明向板状木材的一面照射反射光用的可见光，从非可见光照明向所述板状木材的与所述一面相反的另一面照射透射光用的非可见光，并从第二可见光照明向所述板状木材的所述另一面照射容易与所述可见光照明照射在所述板状木材上的反射光的色调区别的颜色的透射光用的可见光的环境下拍摄所述板状木材的所述一面而生成；
检测单元，其对所述拍摄图像进行解析，并根据至少包括基于所述可见光照明照射的可见光的反射光的反射光图像的颜色、形状及花纹、基于所述第二可见光照明照射的可见光的透射光的第二可见光图像的颜色及形状、以及基于所述非可见光照明照射的非可见光的透射光的透射光图像的浓淡及形状的组合来判别所述板状木材的多种缺陷，从而检测所述板状木材的多种缺陷。
9.如权利要求8所述的计算机可读存储介质，其特征在于，
所述非可见光照明是近红外线光源。
10.如权利要求9所述的计算机可读存储介质，其特征在于，
所述板状木材是单板。
CN202110522912.5A 2020-08-13 2021-05-13 板状木材的缺陷检测系统、缺陷检测方法及缺陷检测用程序 Active CN113155853B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPPCT/JP2020/030797 2020-08-13
JPPCT/JP2020/030797 2020-08-13

Publications (2)

Publication Number Publication Date
CN113155853A CN113155853A (zh) 2021-07-23
CN113155853B true CN113155853B (zh) 2022-08-05

Family

ID=76250142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110522912.5A Active CN113155853B (zh) 2020-08-13 2021-05-13 板状木材的缺陷检测系统、缺陷检测方法及缺陷检测用程序

Country Status (7)

Country Link
US (1) US11615521B2 (zh)
EP (1) EP3954984B1 (zh)
CN (1) CN113155853B (zh)
AU (1) AU2021203608B1 (zh)
CA (1) CA3120622C (zh)
NZ (1) NZ776876A (zh)
TW (1) TWI762271B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3916378B1 (en) * 2020-05-29 2023-09-27 MICROTEC S.r.l. Method and apparatus for capturing an image of a lateral face of a wooden board
CN113021592B (zh) * 2021-04-19 2022-11-25 四川兴事发门窗有限责任公司 一种木质防火门芯板生产工艺方法
CN113533206A (zh) * 2021-07-26 2021-10-22 上海图也信息技术有限公司 一种工业互联网的工业检测系统及方法
CN113607081A (zh) * 2021-07-28 2021-11-05 清华大学 一种接触式焊接表面缺陷三维测量系统及方法
CN117929376B (zh) * 2024-03-22 2024-06-11 华南农业大学 一种基于主动光源的植物叶片透射与反射纹理影像同步采集装置与方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997004299A1 (en) * 1995-07-14 1997-02-06 Casco Products Ab Prediction of the properties of board by using a spectroscopic method combined with multivariate calibration
US8253793B2 (en) * 2007-04-20 2012-08-28 Meinan Machinery Works, Inc. Lumber inspection method, device and program
JP2014020910A (ja) * 2012-07-18 2014-02-03 Omron Corp 欠陥検査方法及び欠陥検査装置
JP2019190891A (ja) * 2018-04-20 2019-10-31 オムロン株式会社 検査管理システム、検査管理装置及び検査管理方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6480535A (en) 1987-09-24 1989-03-27 Dainippon Ink & Chemicals Inspection of plywood
US5517580A (en) * 1991-06-19 1996-05-14 Texas Instruments Incorporated Method for estimating the shape of an object from IR image shading
US5406378A (en) * 1992-04-29 1995-04-11 Mpb Technologies Inc. Method and apparatus for non-contact and rapid identification of wood species
US5960104A (en) * 1996-08-16 1999-09-28 Virginia Polytechnic & State University Defect detection system for lumber
AT407198B (de) * 1998-10-28 2001-01-25 Werth Peter Dipl Ing Verfahren und anlage zum lokalisieren von harzeinschlüssen in holz
US6757058B1 (en) 1999-05-05 2004-06-29 Lucidyne Technologies, Inc. Fiber-optic light line for use in an inspection system
JP2006153633A (ja) 2004-11-29 2006-06-15 Mitsubishi Electric Engineering Co Ltd 被検査物体の欠陥判定装置
JP4704804B2 (ja) * 2005-05-18 2011-06-22 株式会社名南製作所 木材の節探査方法及び装置及びプログラム
JP4708904B2 (ja) 2005-08-05 2011-06-22 株式会社名南製作所 木材の検査方法及び装置及びプログラム
JP5085860B2 (ja) * 2005-11-28 2012-11-28 株式会社名南製作所 木材の検査方法及び装置及びプログラム
EP2065676A1 (en) 2007-11-27 2009-06-03 Weyerhaeuser Company Methods for detecting compression wood in lumber
WO2010048453A2 (en) * 2008-10-22 2010-04-29 International Electronic Machines Corp. Thermal imaging-based vehicle analysis
CN201413296Y (zh) * 2009-06-11 2010-02-24 浙江创鑫木业有限公司 一种检测木板表面缺陷的装置
JP2011033449A (ja) 2009-07-31 2011-02-17 Sumco Corp ウェーハの欠陥検査方法及び欠陥検査装置
DE102012213793B3 (de) * 2012-08-03 2013-10-24 Solarworld Innovations Gmbh Untersuchung eines Siliziumsubstrats für eine Solarzelle
JP5825278B2 (ja) * 2013-02-21 2015-12-02 オムロン株式会社 欠陥検査装置および欠陥検査方法
JP2014190797A (ja) 2013-03-27 2014-10-06 Tokushima Densei Kk シリコンウェハの欠陥検査装置
CN103884650B (zh) * 2014-03-28 2016-08-24 北京大恒图像视觉有限公司 一种多光源线阵成像系统及方法
DE102016011497B4 (de) * 2016-09-21 2019-01-24 Mühlbauer Gmbh & Co. Kg Optische Untersuchungseinrichtung und optisches Untersuchungsverfahren mit sichtbarem und infrarotem Licht für Halbleiterbauteile
WO2019059011A1 (ja) * 2017-09-19 2019-03-28 富士フイルム株式会社 教師データ作成方法及び装置並びに欠陥検査方法及び装置
CN107831175B (zh) * 2017-11-17 2023-11-24 广西我的科技有限公司 一种板材表面缺陷双面检测装置及其检测方法
US10933556B2 (en) * 2018-11-30 2021-03-02 Boise Cascade Company Method and system for ensuring the quality of a wood product based on surface irregularities using near infrared imaging and machine learning
KR102108724B1 (ko) * 2019-03-07 2020-05-08 문준호 적외선과 가시광선을 이용한 검사시스템
RU2730407C1 (ru) * 2020-02-03 2020-08-21 Фин Скан Ою Способ оценки качества пиломатериала и устройство для его реализации
CN111474131A (zh) * 2020-04-24 2020-07-31 张苗苗 一种射击残留物的红外光谱成像检验方法
WO2021229446A2 (en) * 2020-05-12 2021-11-18 Smartex Unipessoal Lda Systems and methods for material illumination

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997004299A1 (en) * 1995-07-14 1997-02-06 Casco Products Ab Prediction of the properties of board by using a spectroscopic method combined with multivariate calibration
US8253793B2 (en) * 2007-04-20 2012-08-28 Meinan Machinery Works, Inc. Lumber inspection method, device and program
JP2014020910A (ja) * 2012-07-18 2014-02-03 Omron Corp 欠陥検査方法及び欠陥検査装置
JP2019190891A (ja) * 2018-04-20 2019-10-31 オムロン株式会社 検査管理システム、検査管理装置及び検査管理方法

Also Published As

Publication number Publication date
TW202206799A (zh) 2022-02-16
TWI762271B (zh) 2022-04-21
NZ776876A (en) 2022-07-01
EP3954984C0 (en) 2024-01-10
US11615521B2 (en) 2023-03-28
AU2021203608B1 (en) 2021-09-16
CN113155853A (zh) 2021-07-23
EP3954984A1 (en) 2022-02-16
US20220051392A1 (en) 2022-02-17
CA3120622C (en) 2022-05-31
EP3954984B1 (en) 2024-01-10
CA3120622A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
CN113155853B (zh) 板状木材的缺陷检测系统、缺陷检测方法及缺陷检测用程序
US20080140248A1 (en) Method and System for Determining Characteristics of Lumber Using End Scanning
FI58838B (fi) Foerfarande och anordning foer detektering av defekter i virke
WO2008016309A1 (en) Multi-modal machine-vision quality inspection of food products
US4978225A (en) Detection of anomalies in translucent material by candling
WO2008102143A1 (en) Quality control of meat products and the like
JPH05503990A (ja) 木材および木材片上の樹皮の検出およびその剥離程度の決定方法および装置
JP7053075B2 (ja) 教師データ生成方法および異物検査装置ならびに異物検査方法
WO2018198923A1 (ja) 卵の検査装置
WO2018198922A1 (ja) 卵の検査装置
JP6924536B1 (ja) 板状木材の欠陥検査システム、欠陥検査方法および欠陥検査用プログラム
CN110621983B (zh) 蛋的检查装置
US20070238147A1 (en) Method of detecting foreign matter
CA2601490C (en) Methods for detecting blue stain in lumber
KR20110008489A (ko) 육질 판별시스템 및 이를 사용한 육질 판별방법
CA2514788A1 (en) System and method for the detection of bluestain and rot on wood
RU2776260C1 (ru) Дефектоскопическая система, способ дефектоскопии и программа дефектоскопии для деревянной доски
EP2065676A1 (en) Methods for detecting compression wood in lumber
CA2601486C (en) Methods for detecting compression wood in lumber
US7679752B2 (en) Methods for detecting pitch in lumber
JP2002014050A (ja) シガレット検査装置
JPH05196579A (ja) 異物検査装置
CA2584377A1 (en) Method and system for detecting characteristics of lumber using end scanning
Sivertsen Automatic inspection of cod (Gadus Morhua L.) fillets by hyperspectral imaging
BG62304B1 (bg) Метод и фотометрична камера за неразрушаващо класифициранеи/или сортиране на плодове и зеленчуци според вътрешното имкачество, независимо от качеството на кората

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant