CN113614498A - 过滤器学习设备、过滤器学习方法和非暂时性计算机可读介质 - Google Patents

过滤器学习设备、过滤器学习方法和非暂时性计算机可读介质 Download PDF

Info

Publication number
CN113614498A
CN113614498A CN201980093692.XA CN201980093692A CN113614498A CN 113614498 A CN113614498 A CN 113614498A CN 201980093692 A CN201980093692 A CN 201980093692A CN 113614498 A CN113614498 A CN 113614498A
Authority
CN
China
Prior art keywords
filter
image
unit
optical
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980093692.XA
Other languages
English (en)
Inventor
户泉贵裕
塚田正人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN113614498A publication Critical patent/CN113614498A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1213—Filters in general, e.g. dichroic, band
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J2003/283—Investigating the spectrum computer-interfaced
    • G01J2003/284—Spectral construction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0224—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using polarising or depolarising elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G06V40/145—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Vascular Medicine (AREA)
  • Image Analysis (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)

Abstract

本发明的目的是提供一种过滤器学习设备，其能够优化使用从光的属性获得的特性的识别过程。该过滤器学习设备(10)包括：光学过滤器单元(11)，其使用根据过滤器参数确定的过滤器条件从学习图像中提取过滤器图像；参数更新单元(12)，其使用执行与过滤器图像相关的图像分析处理的结果来更新过滤器参数；以及，感测单元(13)，其使用满足根据更新的过滤器参数确定的过滤器条件的物理光学过滤器来进行输入图像的感测。

Description

过滤器学习设备、过滤器学习方法和非暂时性计算机可读 介质
技术领域
本公开涉及过滤器学习设备、过滤器学习方法和非暂时性计算机可读介质。
背景技术
包括卷积神经网络等的当前深度学习技术被应用于各种应用，诸如图像识别、对象检测、分割和异常检测。
当前的深度学习技术主要用于优化对具有RGB过滤器的相机获得的图像的识别处理。专利文献1公开了对输入图像进行过滤处理并检测作为过滤处理的结果的特征量的识别设备的配置。专利文献1的识别设备通过使用检测到的特征量和鉴别器来执行分数计算，并基于分数计算的结果从输入图像中检测人物。专利文献1中的过滤处理通过使用卷积过滤器来执行。
引文列表
非专利文献
[非专利文献1]日本未审查专利申请公开No.2010-266983
发明内容
技术问题
在专利文献1中公开的识别设备中执行的过滤处理使用卷积过滤器。因此，在专利文献1中，主要执行与从图像传感器等输出的图像数据相关的过滤处理。因此，专利文献1中公开的识别设备存在不能用于从光的特性获得的特征来优化识别处理的问题，光的特性诸如识别对象具有的波长的反射特性等。
本公开的目的是提供一种过滤器学习设备、过滤器学习方法和非暂时性计算机可读介质，其可以使用从光的特性获得的特征来优化识别处理。
问题解决方案
根据本公开的第一方面的一种过滤器学习设备包括：光学过滤器单元，用于通过使用根据过滤器参数确定的过滤器条件从用于学习的图像中提取过滤器图像；参数更新单元，用于通过使用通过对所述过滤器图像执行图像分析处理获得的结果来更新所述过滤器参数；以及，感测单元，用于通过使用满足根据所述更新的过滤器参数确定的过滤器条件的物理光学过滤器来感测输入图像。
根据本公开第二方面的一种过滤器学习方法包括：通过使用根据过滤器参数确定的过滤器条件，从用于学习的图像中提取过滤器图像；通过使用通过对所述过滤器图像执行图像分析处理获得的结果来更新所述过滤器参数；以及，通过使用满足根据所述更新的过滤器参数确定的过滤器条件的物理光学过滤器来感测输入图像。
根据本公开的第三方面的一种程序使计算机：通过使用根据过滤器参数确定的过滤器条件从用于学习的图像中提取过滤器图像；通过使用通过对所述过滤器图像执行图像分析处理获得的结果来更新所述过滤器参数；以及，通过使用满足根据所述更新的过滤器参数确定的过滤器条件的物理光学过滤器来感测输入图像。
发明的有益效果
根据本公开，可以提供能够使用从光的特性获得的特征来优化识别处理的过滤器学习设备、过滤器学习方法和非暂时性计算机可读介质。
附图说明
图1是示出根据第一示例实施例的过滤器学习设备的配置的图。
图2是示出根据第二示例实施例的过滤器学习设备的配置的图。
图3是示出根据第二示例实施例的学习处理的流程的图。
图4是示出根据第二示例实施例的估计处理的流程的图。
图5是示出根据第二示例实施例的修改示例的过滤器学习设备的配置的图。
图6是示出根据第二示例实施例的修改示例的过滤器学习设备的配置的图。
图7是示出根据第二示例实施例的修改示例的过滤器学习设备的配置的图。
图8是示出根据各个示例实施例的过滤器学习设备的配置的图。
具体实施方式
(第一示例实施例)
在下文中，将参照附图描述本公开的示例实施例。将参考图1描述过滤器学习设备10的配置示例。过滤器学习设备10可以是在处理器执行存储在存储器中的程序时进行操作的计算机设备。过滤器学习设备10可以用于例如图像识别、对象检测、分割、异常检测、图像生成、图像转换、图像压缩、光场生成和三维图像生成等。
过滤器学习设备10包括光学过滤器单元11、参数更新单元12和感测单元13。过滤器学习设备10的组成元件(诸如光学过滤器单元11、参数更新单元12和感测单元13)可以是其处理由执行存储在存储器中的程序的处理器执行的软件或模块。可替代地，参数更新单元12和感测单元13可以是诸如电路或芯片的硬件。
光学过滤器单元11通过使用根据过滤器参数确定的过滤器条件从用于学习的图像中提取过滤器图像。光学过滤器单元11例如是用于通过使用软件来模拟物理光学过滤器的操作的过滤器。例如，光学过滤器单元11可以被称为软件过滤器。物理光学过滤器可以被称为物理光学过滤器、硬件光学过滤器等。例如，过滤器条件可以是截断特定偏振方向的光或透射特定偏振方向的光。可替代地，过滤器条件可以是截断具有特定波长的光或透射具有特定波长的光。
过滤器参数是根据过滤器条件而改变的参数。例如，当考虑带通过滤器时，过滤器参数可以是指示要透射的波长范围的中心的波长以及指示要透射的波长范围的宽阔区域的标准偏差等。当考虑长波长截断过滤器或短波长截断过滤器时，过滤器参数可以是具有截断波长和衰减宽度自由度的形状的优化函数，该形状例如包括通过对于高斯分布进行积分获得的形状以及在波长方向具有自由度的sigmoid函数等。当考虑偏振过滤器时，过滤器参数可以是指定允许透射的偏振方向的参数。此外，可以创建矩阵，其中将实际测量的过滤器透射率的波长相关性设置为横轴，将实际测量的过滤器透射率的波长相关性的横轴排列在纵轴上，横轴的数量为等于过滤器的数量，并且可以从该矩阵中选择一个或多个过滤器，并且该矩阵中的参数在优化时是固定的。
用于学习的图像可以是通过使用相机对实际存在的对象、人物、风景等进行成像而获得的图像，或者可以是通过使用计算机执行模拟而生成的图像。换言之，当过滤器学习设备10用于图像识别时，用于学习的图像可以是与待识别图像不同的图像。
过滤器图像是在光学过滤器单元11中满足过滤器条件的图像。具体地，过滤器图像可以是使用透射通过光学过滤器单元11的光捕获的图像。
参数更新单元12利用通过对过滤器图像执行图像分析处理获得的结果来更新过滤器参数。使用接收过滤器图像作为输入的神经网络的深度学习可以被作为图像分析处理而执行。可替代地，不使用函数的直接识别或使用人为设计的HOG特征的图像处理等可以被作为图像分析处理而进行。
更新过滤器参数可以被理解为将执行图像分析处理获得的结果反馈给过滤器参数。通过更新过滤器参数，可以提高图像分析处理的精度。
感测单元13通过使用满足根据更新的过滤器参数确定的过滤器条件的物理光学过滤器来感测输入图像。物理光学过滤器满足与其过滤器参数已被更新的光学过滤器单元11的过滤器条件基本相似的过滤器条件。基本相似的过滤器条件可以包括误差，该误差的级别使得可以忽略其对后续识别处理的影响。换言之，在物理光学过滤器中的过滤器条件的情况下，与光学过滤器单元11中的过滤器条件相比，指示要透射的波长范围的中心的波长以及指示要透射的波长范围的宽阔区域的标准偏差等可能在误差范围内偏离。此外，在物理光学过滤器中的过滤器条件的情况下，与光学过滤器单元11中的过滤器条件相比较，允许透射的偏振方向可能在误差范围内偏离。
输入图像是通过使用相机等对识别目标进行成像而获得的图像。例如，在感测单元13中，可以通过使用物理光学过滤器执行过滤器处理，或者可以使用经过滤的过滤器图像执行图像分析处理。例如，感测可以是执行过滤器处理以生成要用于图像识别处理的图像。
如上所述，根据第一示例实施例的过滤器学习设备10可以通过使用参数更新单元12改变过滤器参数来优化光学过滤器单元11。换言之，过滤器学习设备10可以优化光学过滤器单元11以便能够执行所需的图像分析处理。此外，用于过滤器学习设备10中的物理光学过滤器可以满足与光学过滤器单元11的过滤器条件类似的过滤器条件。换言之，满足与光学过滤器单元11的过滤器条件类似的过滤器条件的物理光学过滤器可以被选为要在过滤器学习设备10中使用的物理光学过滤器。
结果，通过使用具有与优化的光学过滤器单元11的过滤器条件类似的过滤器条件的物理光学过滤器，过滤器学习设备10可以使用从识别目标具有的光的特性获得的特征来执行识别处理。
(第二示例实施例)
随后，将参照图2描述根据第二示例实施例的过滤器学习设备100的配置示例。在第二示例实施例中，过滤器学习设备100将被描述为用于执行图像识别的设备。过滤器学习设备100包括图像获取单元21、学习单元30、感测单元40和估计单元50。
图像获取单元21例如可以是高光谱相机。高光谱相机感测具有垂直度、水平度和光谱通道信息的图像。光谱通道可以被解释为每个波长的光谱信息。当使用高光谱相机时，可以获取多个波长的光谱信息。图像获取单元21将通过使用高光谱相机获取的图像(以下称为高光谱图像)输出到学习单元30。此外，高光谱图像可以被称为示出每个波长的亮度的亮度图像。
学习单元30包括图像输入单元31、光学过滤器单元32、估计计算单元33、结果输出单元34和参数更新单元35。
图像输入单元31从图像获取单元21接收高光谱图像。此外，图像输入单元31将接收到的高光谱图像输出到光学过滤器单元32。光学过滤器单元32通过使用软件来模拟物理光学波长过滤器的操作。换言之，光学过滤器单元32模拟硬件光学波长过滤器。光学过滤器单元32将模拟的光学波长过滤器的处理应用于高光谱图像。
光学过滤器单元32具有仅使具有特定波长的光透射通过其的过滤器。此外，光学过滤器单元32可以具有用于使具有特定波长周围的波长的光透射通过其的过滤器。更进一步地，光学过滤器单元32可以具有允许具有等于或高于特定波长的波长的光透射通过其的过滤器。更进一步地，光学过滤器单元32可以具有用于使波长等于或小于特定波长的光透射通过其的过滤器。更进一步地，光学过滤器单元32对应于图1中的光学过滤器单元11。光学过滤器单元32可以模拟一个光学波长过滤器，或可以模拟两个或更多光学波长过滤器。由光学过滤器单元32模拟的光学波长过滤器的透射率可以遵循以特定波长为中心的高斯分布。遵循高斯分布的过滤器可以被称为高斯过滤器。可替换地，作为物理光学波长过滤器的光学波长过滤器41在每个波长处的透射率分布可以被用作光学过滤器单元32的透射率。换言之，可以被用作光学波长过滤器41的多个物理光学波长过滤器的透射率可以被模拟为光学过滤器单元32的透射率。
光学过滤器单元32接收高光谱图像，并且通过其透射具有特定波长的光。此外，光学过滤器单元32将利用具有该波长的透射光捕获的过滤器图像输出到估计计算单元33。
由光学过滤器单元32输出的过滤器图像具有三个维度，例如垂直度、水平度和过滤器的数量。具体地，当Y被定义为光学过滤器单元32的输出，X被定义为光学过滤器单元32的输入，W被定义为过滤器时，可以表达Y＝XW(等式1)。W是一个矩阵，其中横轴代表光谱通道，纵轴代表过滤器的数量。高光谱图像包括多个波长信息片，并且光学过滤器单元32从高光谱图像中提取关于期望波长的信息。换言之，光学过滤器单元32从具有多个波长的光中提取具有特定波长的光。假设高光谱图像中包括的多个波长的数量相比在光学过滤器单元32中提取的波长的数量而言足够多。
估计计算单元33使用根据计算参数确定的学习模型对从光学过滤器单元32输出的过滤器图像进行图像分析处理。更新计算参数提高了学习模型的精度，从而获得期望的计算结果。例如，估计计算单元33接收从光学过滤器单元32输出的过滤器图像以使用卷积神经网络执行计算。估计计算单元33将计算结果输出到结果输出单元34。要在估计计算单元33中执行的卷积神经网络可以具有各种结构。例如，VGG或Resnet可以用于估计计算单元33。可替换地，经过训练的神经网络可以用于估计计算单元33。
结果输出单元34生成估计结果，并将生成的估计结果输出到参数更新单元35。例如，结果输出单元34执行用于识别红色的对象识别。具体地，结果输出单元34当光学过滤器单元32输出的过滤器图像的颜色为红色时，输出sigmoid函数的输出以输出接近“1”的值，并且当颜色不是红色时输出接近“0”的值。
参数更新单元35使用从结果输出单元34接收的估计结果来优化要在光学过滤器单元32中使用的过滤器参数以及要在估计计算单元33中使用的神经网络的参数。参数更新单元35对应于图1中的参数更新单元12。例如，为了提高用于识别红色的对象识别的准确性，参数更新单元35通过使用损失函数作为反馈信息来计算每个参数的梯度，损失函数是从结果输出单元34接收的估计结果与预先保存的正确答案数据之间的比较结果。参数更新单元35通过使用计算结果对过滤器参数和神经网络参数进行优化。例如，在用于识别红色的对象识别的情况下，正确答案数据是指示红色的正确答案数据1的数值以及指示其他颜色的正确答案数据0的数值。例如，输入数据和正确答案数据对可以被称为要在机器学习中使用的训练数据。过滤器参数可以是例如指示透射率分布的中心波长和标准偏差的参数。换言之，过滤器参数可以是指示透射区域的波长信息。神经网络参数例如可以是权重信息或偏置信息等或者它们的组合。
进一步地，参数更新单元35可以被解释为优化通过使用光学过滤器单元32和估计计算单元33配置的神经网络。在这种情况下，参数更新单元35在以下约束条件下优化整个神经网络：光学过滤器单元32被优化，使得等式1中的光谱通道(即波长透射率)接近实际存在的光学过滤器特性。这里，参数更新单元35优化光学过滤器单元32和估计计算单元33。因此，估计计算单元33中的神经网络参数被优化使得不同于用于其中光学过滤器单元32未被优化的一般图像识别的神经网络参数。
感测单元40具有光学波长过滤器41和图像获取单元42。感测单元40对应于图1中的感测单元13。感测单元40将光学波长过滤器41应用于通过用相机等对识别目标对象、风景等进行成像而获得的输入图像。用于生成输入图像的相机不限于高光谱相机。具有与在学习单元30中被优化的光学过滤器单元32的特性最接近的特性的光学波长过滤器被应用为光学波长过滤器41。最接近的特性可以是光学波长过滤器41和光学过滤器单元32具有基本上类似的过滤器条件。具体地，最接近的特性可以是透射通过光学过滤器单元32的波长的中心波长和标准偏差与在光学波长过滤器41中透射的波长的中心波长和标准偏差之间的差在预定值内。换言之，光学过滤器单元32中的透射率分布与光学波长过滤器41中的透射率分布之间的差可以在预定值内。此外，当光学过滤器单元32被模拟以具有与被用作光学波长过滤器41的物理光学波长过滤器的过滤器条件相同的过滤器条件时，光学波长过滤器41和光学过滤器单元32具有相同的过滤器条件。光学波长过滤器41将用具有透射波长的光捕获的过滤器图像输出到图像获取单元42。
光学波长过滤器41可以是简单的波长过滤器或允许多种颜色透射通过其的波长过滤器。此外，要透射通过光学波长过滤器41的光不限于可见光，并且光学波长过滤器41可以是允许在近紫外区域或近红外区域(图像传感器对于其具有灵敏度)中的光的透射的过滤器。此外，光学波长过滤器41可以是直接嵌入在图像传感器中的滤色器。在这种情况下，当在设计图像传感器时预先确定了诸如对象识别或对象检测的应用领域时，可以通过基于使用学习单元30优化获得的结果来选择光学波长过滤器41以进行传感器设计。
图像获取单元42可以是不具有光学波长过滤器的图像传感器。例如，图像获取单元42可以是具有400nm至1000nm灵敏度的硅图像传感器。当光学波长过滤器被直接嵌入图像传感器中时，光学波长过滤器41和图像获取单元42可以构成一体式图像传感器。图像传感器可以由例如对红外线具有灵敏度的砷化镓形成。
估计单元50包括图像输入单元51、估计计算单元52和结果输出单元53。图像输入单元51接收由图像获取单元42感测的图像。图像获取单元42将接收到的图像输出到估计计算单元52。
估计计算单元52使用已经在学习单元30中被优化的估计计算单元33的参数来执行操作。估计计算单元52将计算结果输出到结果输出单元53。
估计计算单元52以及光学波长过滤器41被优化用于图像识别处理。这里，将描述要在估计计算单元52中执行的估计处理或识别处理。例如，在识别红色对象的情况下，由于信息量较大，一般地使用RGB图像比使用灰度图像更能提高估计精度。此外，光学波长过滤器41和估计计算单元52的相应参数被优化以执行红色对象的识别。因此，估计计算单元52接收其中红色对象最容易被识别的波长区域中的图像作为灰度图像。在这种情况下，与使用从未透射通过被优化以识别红色对象的光学波长过滤器41的光生成的灰度图像的情况相比，估计计算单元52可以提高估计精度。光学波长过滤器41不仅可以被扩展到红色，还可以被扩展到红外线等。在这种情况下，估计计算单元52也被优化为与使用RGB图像作为输入的神经网络的参数不同的参数。注意，可以通过使用由光学波长过滤器41和图像获取单元42获得的图像来微调估计计算单元52。
结果输出单元53输出以与结果输出单元34相同的方式获得的估计结果。具体而言，当光学波长过滤器41输出的过滤器图像的颜色为红色时，输出1，并且当颜色为任意其他颜色时，输出0。
图2的过滤器学习设备100使用使特定波长的光透射通过其的光学波长过滤器41。然而，在特定偏振方向上透射光的情况下可以使用偏振过滤器。在这种情况下，可以通过使用修改的相机来捕获输入图像。
随后，将参照图3描述根据第二示例实施例的学习单元30中要执行的学习处理的流程。首先，图像获取单元21获取用于学习的图像(S11)。例如，图像获取单元21通过使用高光谱相机获取高光谱图像作为用于学习的图像。
接下来，光学过滤器单元32将基于预定过滤器参数确定的过滤器条件应用于用于学习的图像以对用于学习的图像进行过滤(S12)。例如，光学过滤器单元32使具有特定波长和特定波长周围的波长的光透射通过。
接下来，估计计算单元33使用利用透射通过光学过滤器单元32的光捕获的过滤器图像来进行计算(S13)。例如，估计计算单元33使用卷积神经网络进行计算。
接着，参数更新单元35通过使用关于估计计算单元33中的计算结果是否示出红色的估计结果和正确答案数据，更新光学过滤器单元32中的过滤器参数(S14)。此外，参数更新单元35还利用估计结果和正确答案数据来更新估计计算单元33中的参数。
学习单元30重复步骤S11至S14的处理，并更新光学过滤器单元32和估计计算单元33中的参数，从而提高用于学习的图像的估计精度。
随后，将参考图4描述感测单元40和估计单元50中的估计处理的流程。估计处理可以被解释为识别处理。假设感测单元40使用具有与其过滤器参数在学习单元30中已被更新的光学过滤器单元32的过滤器条件基本相似的过滤器条件的光学波长过滤器41。此外，假设估计单元50将与在学习单元30的估计计算单元33中已经更新的参数相同的参数应用到估计计算单元52。
首先，光学波长过滤器41对通过对识别目标进行成像而获得的输入图像进行过滤(S21)。光学波长过滤器41将与要在光学过滤器单元32中被应用的过滤器条件类似的过滤器条件应用到输入图像。此外，感测单元40向估计单元50输出满足过滤器条件并且由透射光捕获的过滤器图像。
接下来，估计计算单元52使用过滤器图像进行估计处理(S22)。具体地，估计计算单元52可以执行估计过滤器图像中反映的对象是否是红色对象的处理。
如上所述，过滤器学习设备100的学习单元30可以优化光学过滤器单元32的过滤器参数和在估计计算单元33中使用的神经网络的参数。这样，也可以通过不仅优化神经网络，而且优化过滤器参数来优化要透射的光的波长。
具有与已经在学习单元30中被优化的光学过滤器单元32的特性类似的特性的光学波长过滤器被用作要在感测单元40中使用的光学波长过滤器41。因此，当识别识别目标时，估计单元50可以通过使用利用透射通过已经被优化的光学波长过滤器的光捕获的图像来进行估计处理。结果，估计单元50可以提高估计处理的准确度。
由感测单元40接收的图像不限于高光谱图像。因此，由于不需要使用高光谱相机来生成要在感测单元40和估计单元50中使用的图像，所以与其中将高光谱相机用于估计处理的情况相比，可以进行廉价的估计处理。
通过优化光学过滤器单元32，过滤器学习设备100可以将具有用于分析识别目标所需的波长的光透射通过过滤器单元32。结果，过滤器学习设备100可以根据识别目标的反射特性的波长，通过可以容易地看到皮肤中的血管的波长、可以容易地识别植物的波长等以高精度来提取用于识别的特征。
(第二示例实施例的修改示例)
如图5中所示，在参考图2描述的过滤器学习设备100中可以省略图像获取单元21。换言之，过滤器学习设备100可以具有如图5中所示的不具有高光谱相机的配置。在这种情况下，图像输入单元31可以将存储在诸如计算机硬盘的存储介质中的高光谱图像数据输出到光学过滤器单元32。光学过滤器单元32对从图像输入单元31输出的数据应用预定的过滤器条件。
进一步地，如图6中所示，还可以从图5的过滤器学习设备100省略估计计算单元33和估计计算单元52。可替换地，可以从图2的过滤器学习设备100中省略估计计算单元33和估计计算单元52。在这种情况下，参数更新单元35更新光学过滤器单元32的过滤器参数以优化光学过滤器单元32。基于优化的光学过滤器单元32选择光学波长过滤器41。此外，在图6的过滤器学习设备100中，结果输出单元34和结果输出单元53不限于诸如神经网络之类的机器学习方法，并且可以进行不使用函数的直接识别或使用人工设计的HOG特征的图像处理等。
此外，如图7中所示，过滤器学习设备100可以具有图像模拟单元36来代替在图2的过滤器学习设备100中的图像获取单元21和图像输入单元31。图像模拟单元36模拟光学空间(光学模拟)以生成高光谱图像。
图8是示出过滤器学习设备10和过滤器学习设备100(以下称为过滤器学习设备10等)的配置示例的框图。参考图8，过滤器学习设备10等包括网络接口1201、处理器1202和存储器1203。网络接口1201用于与构成通信系统的其他网络节点设备进行通信。网络接口1201可以包括例如符合IEEE 802.3系列的网络接口卡(NIC)。可替换地，网络接口1201可用于进行无线通信。例如，网络接口1201可用于进行3GPP(第三代合作伙伴计划)中定义的无线LAN通信或移动通信。
处理器1202从存储器1203读取软件(计算机程序)并执行该软件以进行通过使用上述示例实施例中的流程图或序列描述的过滤器学习设备10等的处理。处理器1202可以是例如微处理器、MPU(微处理单元)或CPU(中央处理单元)。处理器1202可以包括多个处理器。
通过组合易失性存储器和非易失性存储器来配置存储器1203。存储器1203可以包括远离处理器1202的存储。在这种情况下，处理器1202可以经由I/O接口(未示出)访问存储器1203。
在图8的示例中，存储器1203用于存储软件模块组。处理器1202可以通过从存储器1203读取软件模块组并执行软件模块组来进行上述示例实施例中描述的过滤器学习设备10等的处理。
如参考图8所描述的，包括在过滤器学习设备10等中的每个处理器执行一个或多个程序，该程序包括用于使计算机进行参考附图描述的算法的一组命令。
在上述示例中，可以通过使用各种类型的非暂时性计算机可读介质来存储程序，并将程序提供给计算机。非暂时性计算机可读介质包括各种类型的有形存储介质。非暂时性计算机可读介质的示例包括磁记录介质、磁光记录介质(例如，磁光盘)、CD-ROM(只读存储器)、CD-R、CD-R/W和半导体存储器。磁记录介质可以是例如软盘、磁带或硬盘驱动器。半导体存储器可以是例如掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪存ROM或RAM(随机存取存储器)。该程序还可以通过各种类型的暂时性计算机可读介质提供给计算机。暂时性计算机可读介质的示例包括电信号、光信号和电磁波。暂时性计算机可读介质可以经由诸如电线和光纤的有线通信路径或无线通信路径将程序提供给计算机。
注意，本公开不限于上述示例实施例，并且可以在不脱离主旨的情况下适当地修改。
还可以根据以下附记来描述上述示例实施例的部分或全部，但其不限于以下附记。
(附记1)
一种过滤器学习设备，包括：
光学过滤器装置，用于通过使用根据过滤器参数确定的过滤器条件从用于学习的图像中提取过滤器图像；
参数更新装置，用于通过使用通过对所述过滤器图像执行图像分析处理获得的结果来更新所述过滤器参数；以及
感测装置，用于通过使用满足根据所述更新的过滤器参数确定的过滤器条件的物理光学过滤器来感测输入图像。
(附记2)
在附记1中描述的过滤器学习设备中，所述光学过滤器装置被配置为使用所述过滤器参数来模拟作为所述物理光学过滤器的光学波长过滤器。
(附记3)
在附记1中描述的过滤器学习设备中，所述过滤器装置被配置为使用所述过滤器参数来模拟作为所述物理光学过滤器的偏振过滤器。
(附记4)
附记1至3中的任一项所述的过滤器学习设备还包括估计装置，用于通过使用根据计算参数确定的学习模型对所述过滤器图像执行图像分析处理，其中，所述参数更新装置被配置为更新所述过滤器参数和所述计算参数。
(附记5)
在附记4中描述的过滤器学习设备中，所述参数更新装置被配置为在模拟在所述光学过滤器装置中的所述光学波长过滤器的约束条件下被优化。
(附记6)
在附记1至5中的任一项所述的过滤器学习设备中，所述用于学习的图像是使用高光谱相机捕获的图像。
(附记7)
在附记1至5中的任一项所述的过滤器学习设备中，所述用于学习的图像是通过执行光学模拟获得的图像。
(附记8)
一种过滤器学习方法，包括：
通过使用根据过滤器参数确定的过滤器条件从用于学习的图像中提取过滤器图像；
通过使用通过对所述过滤器图像执行图像分析处理获得的结果来更新所述过滤器参数；以及
通过使用满足根据所述更新的过滤器参数确定的过滤器条件的物理光学过滤器来感测输入图像。
(附记9)
在提取所述过滤器图像后，通过使用根据计算参数确定的学习模型执行对所述过滤器图像的图像分析处理，并且利用通过执行图像分析处理所获得的结果来更新所述过滤器参数和所述计算参数。
(附记10)
一种其中存储有程序的非暂时性计算机可读介质，所述程序使计算机：
通过使用根据过滤器参数确定的过滤器条件从用于学习的图像中提取过滤器图像；
利用通过对所述过滤器图像执行图像分析处理所获得的结果来更新所述过滤器参数；以及
通过使用满足根据所述更新的过滤器参数确定的过滤器条件的物理光学过滤器来进行对输入图像的感测。
参考标志列表
10 过滤器学习设备
11 光学过滤器单元
12 参数更新单元
13 感测单元
21 图像获取单元
30 学习单元
31 图像输入单元
32 光学过滤器单元
33 估计计算单元
34 结果输出单元
35 参数更新单元
36 图像模拟单元
40 感测单元
41 光学波长过滤器
42 图像获取单元
50 估计单元
51 图像输入单元
52 估计计算单元
53 结果输出单元
100 过滤器学习设备

Claims (10)

1.一种过滤器学习设备，包括：
光学过滤器装置，所述光学过滤器装置用于：通过使用根据过滤器参数确定的过滤器条件，从用于学习的图像来提取过滤器图像；
参数更新装置，所述参数更新装置用于：通过使用通过对所述过滤器图像执行图像分析处理获得的结果，来更新所述过滤器参数；以及
感测装置，所述感测装置用于：通过使用满足根据所更新的过滤器参数确定的过滤器条件的物理光学过滤器，来感测输入图像。
2.根据权利要求1所述的过滤器学习设备，其中，
所述光学过滤器装置被配置为：使用所述过滤器参数来模拟作为所述物理光学过滤器的光学波长过滤器。
3.根据权利要求1所述的过滤器学习设备，其中，
所述光学过滤器装置被配置为：使用所述过滤器参数来模拟作为所述物理光学过滤器的偏振过滤器。
4.根据权利要求1至3中的任一项所述的过滤器学习设备，还包括：
估计装置，所述估计装置用于：通过使用根据计算参数确定的学习模型，对所述过滤器图像执行图像分析处理，
其中，
所述参数更新装置被配置为更新所述过滤器参数和所述计算参数。
5.根据权利要求2所述的过滤器学习设备，其中，
所述参数更新装置被配置为：在模拟所述光学过滤器装置中的所述光学波长过滤器的约束条件下来被优化。
6.根据权利要求1至5中的任一项所述的过滤器学习设备，其中，
所述用于学习的图像是通过使用高光谱相机捕获的图像。
7.根据权利要求1至5中的任一项所述的过滤器学习设备，其中，
所述用于学习的图像是通过执行光学模拟获得的图像。
8.一种过滤器学习方法，包括：
通过使用根据过滤器参数确定的过滤器条件，从用于学习的图像来提取过滤器图像；
通过使用通过对所述过滤器图像执行图像分析处理获得的结果，来更新所述过滤器参数；以及
通过使用满足根据所更新的过滤器参数确定的过滤器条件的物理光学过滤器，来感测输入图像。
9.根据权利要求8所述的过滤器学习方法，其中，
在提取所述过滤器图像后，通过使用根据计算参数确定的学习模型来执行对所述过滤器图像的图像分析处理，并且
以通过执行图像分析处理所获得的结果，来更新所述过滤器参数和所述计算参数。
10.一种存储有程序的非暂时性计算机可读介质，所述程序使计算机：
通过使用根据过滤器参数确定的过滤器条件，从用于学习的图像来提取过滤器图像；
以通过对所述过滤器图像执行图像分析处理所获得的结果，来更新所述过滤器参数；以及
通过使用满足根据所更新的过滤器参数确定的过滤器条件的物理光学过滤器，来进行对输入图像的感测。
CN201980093692.XA 2019-02-06 2019-02-06 过滤器学习设备、过滤器学习方法和非暂时性计算机可读介质 Pending CN113614498A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/004172 WO2020161812A1 (ja) 2019-02-06 2019-02-06 フィルタ学習装置、フィルタ学習方法、及び非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
CN113614498A true CN113614498A (zh) 2021-11-05

Family

ID=71947157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980093692.XA Pending CN113614498A (zh) 2019-02-06 2019-02-06 过滤器学习设备、过滤器学习方法和非暂时性计算机可读介质

Country Status (5)

Country Link
US (1) US20220092871A1 (zh)
EP (1) EP3922966A4 (zh)
JP (1) JPWO2020161812A1 (zh)
CN (1) CN113614498A (zh)
WO (1) WO2020161812A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7189585B1 (ja) 2022-02-07 2022-12-14 国立大学法人北海道大学 情報処理システムおよび分光計測器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5717605A (en) * 1993-10-14 1998-02-10 Olympus Optical Co., Ltd. Color classification apparatus
JP2000267062A (ja) * 1999-03-15 2000-09-29 Hiihaisuto Seiko Kk 広帯域透過率可変フィルタ
CN107169535A (zh) * 2017-07-06 2017-09-15 谈宜勇 生物多光谱图像的深度学习分类方法及装置
CN107810505A (zh) * 2015-03-27 2018-03-16 英特尔公司 实时图像捕获参数的机器学习
US20180315344A1 (en) * 2015-06-29 2018-11-01 Universite de Bordeaux Hybrid simulator and method for teaching optics or for training adjustment of an optical device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3297737B2 (ja) * 2000-02-16 2002-07-02 埼玉大学長 分光画像撮像装置
JP2002207195A (ja) * 2001-01-05 2002-07-26 Olympus Optical Co Ltd 光画像処理装置
JP2010266983A (ja) 2009-05-13 2010-11-25 Sony Corp 情報処理装置及び方法、学習装置および方法、プログラム、並びに情報処理システム
JP6291795B2 (ja) * 2013-11-06 2018-03-14 株式会社リコー 撮像システムおよび撮像方法
IL265205B (en) * 2016-09-06 2022-08-01 B G Negev Technologies And Applications Ltd At Ben Gurion Univ Extracting hyperspectral information from an image
JP2018200183A (ja) * 2017-05-25 2018-12-20 住友電気工業株式会社 分光撮像装置及び分光撮像システム
JP7284502B2 (ja) * 2018-06-15 2023-05-31 大学共同利用機関法人情報・システム研究機構 画像処理装置及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5717605A (en) * 1993-10-14 1998-02-10 Olympus Optical Co., Ltd. Color classification apparatus
JP2000267062A (ja) * 1999-03-15 2000-09-29 Hiihaisuto Seiko Kk 広帯域透過率可変フィルタ
CN107810505A (zh) * 2015-03-27 2018-03-16 英特尔公司 实时图像捕获参数的机器学习
US20180315344A1 (en) * 2015-06-29 2018-11-01 Universite de Bordeaux Hybrid simulator and method for teaching optics or for training adjustment of an optical device
CN107169535A (zh) * 2017-07-06 2017-09-15 谈宜勇 生物多光谱图像的深度学习分类方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHIJIE NIE，ETC: "Deeply Learned Filter Response Functions for Hyperspectral Reconstruction", 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 18 June 2018 (2018-06-18), pages 4767 - 4774 *
SHIJIE NIE，ETC: "Deeply Learned Filter Response Functions for Hyperspectral Reconstruction", 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, pages 4767 - 4774 *

Also Published As

Publication number Publication date
JPWO2020161812A1 (ja) 2021-12-02
EP3922966A1 (en) 2021-12-15
WO2020161812A1 (ja) 2020-08-13
US20220092871A1 (en) 2022-03-24
EP3922966A4 (en) 2022-02-16

Similar Documents

Publication Publication Date Title
CN110555390B (zh) 基于半监督训练方式的行人重识别方法、装置及介质
JP6539901B2 (ja) 植物病診断システム、植物病診断方法、及びプログラム
US20200327308A1 (en) Methods and systems for face recognition
US20180157899A1 (en) Method and apparatus detecting a target
US20240096091A1 (en) Identifying targets within images
Zintgraf et al. A new method to visualize deep neural networks
US11341770B2 (en) Facial image identification system, identifier generation device, identification device, image identification system, and identification system
CN107122744A (zh) 一种基于人脸识别的活体检测系统及方法
CN109117817B (zh) 人脸识别的方法及装置
JP7187557B2 (ja) 医療画像学習装置、方法及びプログラム
CN111597933B (zh) 人脸识别方法和装置
CN110059579B (zh) 用于活体检验的方法和装置，电子设备和存储介质
CN113095370A (zh) 图像识别方法、装置、电子设备及存储介质
CN111738349A (zh) 目标检测算法的检测效果评估方法、装置、存储介质及设备
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
CN109117746A (zh) 手部检测方法及机器可读存储介质
CN110276831A (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN114841920A (zh) 基于图像处理的火焰识别方法、装置及电子设备
CN112149601A (zh) 兼容遮挡的面部属性识别方法、装置和电子设备
CN113614498A (zh) 过滤器学习设备、过滤器学习方法和非暂时性计算机可读介质
CN117474029B (zh) 基于区块链的ai偏振增强图码波频采集成像识别方法
KR102142616B1 (ko) 밴드비를 이용한 초분광영상 활용 방법
CN116630828A (zh) 基于地形环境适配的无人机遥感信息采集系统及方法
JP4711131B2 (ja) 画素群パラメータ算出方法及び画素群パラメータ算出装置
CN115471745A (zh) 用于植株识别的网络模型和装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination