CN113646758A - 信息处理设备、个人识别设备、信息处理方法和存储介质 - Google Patents

信息处理设备、个人识别设备、信息处理方法和存储介质 Download PDF

Info

Publication number
CN113646758A
CN113646758A CN201980094592.9A CN201980094592A CN113646758A CN 113646758 A CN113646758 A CN 113646758A CN 201980094592 A CN201980094592 A CN 201980094592A CN 113646758 A CN113646758 A CN 113646758A
Authority
CN
China
Prior art keywords
sequence data
integrated
information processing
index
elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980094592.9A
Other languages
English (en)
Inventor
海老原章记
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN113646758A publication Critical patent/CN113646758A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供了一种信息处理设备，包括：获取单元，顺序获取序列数据中包括的多个元素；第一计算单元，针对多个元素中的每一个，考虑多个元素中的两个或更多个元素以计算指示给定元素适合属于多个类别中的哪一个的指标；第二计算单元，对多个元素中的每一个的指标进行整合以计算整合的指标，该整合的指标指示序列数据适合属于多个类别中的哪一个；以及分类单元，基于整合的指标将序列数据分类为类别之一。

Description

信息处理设备、个人识别设备、信息处理方法和存储介质
技术领域
本发明涉及信息处理设备、个人识别设备、信息处理方法和存储介质。
背景技术
专利文献1至3公开了使用顺序概率比测试(SPRT)的信息处理技术。SPRT是一种确定顺序输入的序列数据属于多个预定类别中的哪一个的方法。
[引用列表]
[专利文献]
PTL1：日本专利申请公开No.2009-245314
PTL2：日本专利申请公开No.2008-299589
PTL3：日本专利申请公开No.2001-523824
发明内容
技术问题
在专利文献1至3公开的用于SPRT的数学公式中，假设序列数据的每个元素是随机变量，并且独立同分布(i.i.d.)。因此，由于SPRT没有考虑序列数据的元素之间的关系，根据序列数据的性质，可能无法获得足够的准确性。
本发明的示例目的是提供一种能够准确分类序列数据的信息处理设备、个人识别设备、信息处理方法和存储介质。
问题的解决方案
根据本发明的一个示例方面，提供了一种信息处理设备，包括：获取单元，顺序获取包括在序列数据中的多个元素；第一计算单元，在考虑到所述多个元素中的两个或更多个元素的情况下针对所述多个元素中的每一个计算指标，每个指标指示对应元素适合属于多个类别中的哪一个；第二计算单元，通过对所述多个元素的指标进行整合来计算整合的指标，所述整合的指标指示所述序列数据适合属于所述多个类别中的哪一个；以及分类单元，基于整合的指标将序列数据分类为多个类别中的一个类别。
根据本发明的另一示例方面，提供了一种信息处理方法，包括：顺序获取序列数据中包括的多个元素；在考虑到所述多个元素中的两个或更多个元素的情况下针对所述多个元素中的每一个计算指标，每个指标指示对应元素适合属于多个类别中的哪一个；通过对所述多个元素的指标进行整合来计算整合的指标，所述整合的指标指示所述序列数据适合属于所述多个类别中的哪一个；以及基于所述整合的指标将所述序列数据分类为所述多个类别中的一个类别。
根据本发明的又一示例方面，提供了一种存储介质，该存储介质存储使计算机执行信息处理方法的程序，该信息处理方法包括：顺序获取序列数据中包括的多个元素；在考虑到所述多个元素中的两个或更多个元素的情况下针对所述多个元素中的每一个计算指标，每个指标指示对应元素适合属于多个类别中的哪一个；通过对所述多个元素的指标进行整合来计算整合的指标，所述整合的指标指示所述序列数据适合属于所述多个类别中的哪一个；以及基于所述整合的指标将所述序列数据分类为所述多个类别中的一个类别。
发明的有益效果
根据本发明，可以提供能够准确分类序列数据的信息处理设备、个人识别设备、信息处理方法和存储介质。
附图说明
图1是示出了根据第一示例实施例的序列数据分类系统的整体配置的示意图；
图2是根据第一示例实施例的信息处理设备的功能框图；
图3是示出了根据第一示例实施例的由信息处理设备执行的个人识别处理的示例的流程图；
图4是根据第二示例实施例的个人识别设备的功能框图；
图5是根据第三示例实施例的信息处理设备的功能框图。
具体实施方式
下面将参考附图描述本发明的示例实施例。贯穿附图，相同的组件或对应的组件用相同的附图标记来标记，并且其描述可以省略或简化。
[第一示例实施例]
将描述根据本示例实施例的序列数据分类系统。本示例实施例的序列数据分类系统是用于通过顺序获取和分析序列数据中包括的多个元素来将序列数据分类为多个预定类别之一的系统。
这里，序列数据是指可以分解为多个元素的数据序列。序列数据可以是时间序列数据，或是非时间序列数据。时间序列数据的具体示例包括运动图像数据和音频数据。非时间序列数据的具体示例包括从多个位置采样的植被数据、产品的多个部分的检验数据以及用于生物特征认证的多个生物特征数据。当序列数据是运动图像数据时，序列数据中包括的多个元素可以是构成运动图像的多个图像(帧)。当序列数据是产品的多个部分的检验数据时，序列数据中包括的多个元素可以是产品的每个部分的检验数据。注意，可以应用本示例实施例的分类处理的序列数据和元素不限于这些。
当序列数据是产品的多个部分的检验数据时，由本示例实施例的序列数据分类系统分类的类别例如可以是指示该产品是无缺陷产品的第一类和指示该产品是缺陷产品的第二类。当序列数据是用于生物特征认证的多个生物特征数据时，由本示例实施例的序列数据分类系统分类的类别例如可以是指示认证目标人与目标人是同一人的第一类和指示它们不是同一人的第二类。类别的数量可以是三个或更多个。
图1是示出了根据本示例实施例的序列数据分类系统的整体配置的示意图。图1示出了包括在序列数据分类系统中的硬件配置。序列数据分类系统包括信息处理设备100、数据获取设备201、输入设备202和显示设备203。
信息处理设备100是诸如蜂窝电话、智能电话、台式个人计算机(PC)、膝上型PC或服务器的计算机。信息处理设备100包括处理器101、存储器102、存储装置103、输入和输出接口(I/F)104和通信I/F 105。信息处理设备100的单元经由总线、布线、驱动设备等相互连接，并且可以相互发送和接收控制信号和数据。
处理器101例如是诸如中央处理单元(CPU)或图形处理单元(GPU)之类的算术处理设备。存储器102是诸如随机存取存储器(RAM)或只读存储器(ROM)之类的易失性或非易失性存储介质。存储装置103是诸如硬盘驱动器(HDD)、固态驱动器(SSD)或存储卡之类的非易失性存储介质。
存储器102或存储装置103存储用于实现信息处理设备100的信息处理功能的程序。当执行上述程序时，处理器101可以将程序读入存储器102然后执行该程序，或者可以执行程序而不将程序读入存储器102。
可以使用各种类型的非暂时性计算机可读介质来存储上述程序，并将其提供给信息处理设备100。非暂时性计算机可读介质包括各种类型形式的存储介质。非暂时性计算机可读介质包括例如磁存储介质、磁光存储介质、光存储介质和半导体存储器。
磁存储介质的示例包括软盘、磁带和硬盘驱动器。磁光存储介质的示例包括磁光盘。光存储介质的示例是光盘只读存储器(CD-ROM)、可刻录光盘(CD-R)和可擦写光盘(CD-R/W)。半导体存储器的示例包括掩膜ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、闪存ROM和RAM。
备选地，可以经由各种类型的暂时性计算机可读介质将程序提供给信息处理设备100。暂时性计算机可读介质包括例如电信号、光信号和电磁波。暂时性计算机可读介质可以经由诸如电线或光纤的有线通信路径或无线通信路径将程序提供给信息处理设备100。
输入和输出I/F 104是用于基于诸如通用串行总线(USB)和数字视频接口(DVI)的标准与外围设备通信的通信接口。输入和输出I/F 104可以执行数据获取设备201、输入设备202和显示设备203的有线或无线通信连接。因此，信息处理设备100可以向数据获取设备201、输入设备202和显示设备203发送数据和控制信号，并且从数据获取设备201、输入设备202和显示设备203接收数据和控制信号。
通信I/F 105是基于诸如蓝牙(注册商标)、Wi-Fi(注册商标)或4G之类的标准的通信接口。通信I/F 105可以执行到外部设备的有线或无线通信连接。因此，信息处理设备100可以向外部设备发送数据和从外部设备接收数据。
数据获取设备201是用于获取序列数据的设备。例如，当序列数据是产品的检验数据时，数据获取设备201可以是设置在工厂等中的检验设备。例如，当序列数据是用于生物特征认证的生物特征数据时，数据获取设备201可以是用于获取诸如数码相机、麦克风或指纹采集扫描仪之类的生物特征信息的设备。当数据获取设备201包括诸如传感器之类的获取模拟信号的设备时，数据获取设备201可以包括将模拟信号转换成数字数据的模数转换(AD转换)设备。由数据获取设备201获取的序列数据被输入到信息处理设备100。
输入设备202是用于接收由用户进行的信息处理设备100的操作的用户接口。输入设备202的示例包括键盘、鼠标、轨迹球、触摸传感器、手写板、按钮等。显示设备203是基于由处理器101处理的绘图数据显示屏幕的设备。显示设备203的示例包括液晶显示器(LCD)、阴极射线管(CRT)显示器和有机发光二极管(OLED)显示器。输入设备202和显示设备203可以一体地形成为触摸面板。
注意，图1所示的硬件配置是示例，并且可以添加其他设备或者可以不提供一些设备。此外，一些设备可以被具有类似功能的其他设备替代。此外，本示例实施例的一些功能可以由另一设备经由网络提供，或者本示例实施例的功能可以通过分布在多个设备上来实现。例如，存储装置103可以被信息处理设备100外部的云存储替代。当在不同于序列数据分类系统的系统中执行序列数据的获取时，可以省略数据获取设备201。备选地，数据获取设备201、输入设备202或显示设备203可以设置在信息处理设备100中。因此，可以适当地改变图1所示的硬件配置。
图2是根据本示例实施例的信息处理设备100的功能框图。信息处理设备100包括获取单元110、第一计算单元120、第二计算单元130和分类单元140。第一计算单元120包括指标计算单元121和第一存储单元122。第二计算单元130包括整合的指标计算单元131和第二存储单元132。
处理器101通过执行存储在存储器102、存储装置103等中的程序来实现获取单元110、指标计算单元121、整合的指标计算单元131和分类单元140的功能。此外，处理器101通过基于程序控制存储装置103来实现第一存储单元122和第二存储单元132的功能。稍后将描述由这些单元执行的具体过程。
图3是示出了根据本示例实施例的由信息处理设备100执行的分类处理的示例的流程图。图3所示的分类处理是将输入序列数据分类为多个预定类别之一的处理。图3的分类处理包括循环过程(步骤S101至S106)，其中从包括多个元素的序列数据中逐个获取元素并且顺序计算整合的指标。重复该循环过程，直到基于整合的指标(整合的似然比)确定序列数据的分类目的地的类别。
例如，当在输入设备202上执行预定的用户操作时，可以开始图3的过程。然而，过程的开始时间不限于此。例如，当从数据获取设备201输入序列数据时，可以执行图3的过程。当如在数据获取设备201是监视相机的情况下连续输入序列数据时，图3的过程可以以预定的时间间隔重复执行。
在步骤S101中，获取单元110获取序列数据的一个元素。此时的获取处理可以是直接从数据获取设备201获取数据的过程，或者是读出从数据获取设备201获取并预先存储在存储装置103等中的数据的过程。
在步骤S102中，指标计算单元121读取存储在第一存储单元122中的过去数据。过去数据是指：当当前处理是对序列数据中的第j个元素的处理时指标计算单元121对序列数据中的第j个元素之前的元素的处理结果。备选地，过去数据可以是在第j个数据之前输入的元素本身。第一存储单元122存储指标计算单元121每次执行处理的处理结果或输入元素。在该存储过程中，可以在过去存储的信息上覆盖新的信息，或者在保留过去存储的信息的同时添加新的信息。
在步骤S103中，指标计算单元121在考虑到序列数据中包括的多个元素中的两个或更多个元素的情况下计算指示输入元素适合属于多个类别中的哪一个的指标。两个或更多个元素包括输入元素和过去数据中包括的先前处理的元素。第一计算单元120将所计算的指标输出到第二计算单元130，并根据需要将处理结果存储在第一存储单元122中。这里，指标例如可以是指示某个元素属于多个类别中的某一类别的可能性的似然比。备选地，指标可以是包括似然比作为变量的函数。在以下描述中，假设指标是似然比。
指标计算单元121从从序列数据输入的元素中提取特征。此时，指标计算单元121在考虑到输入元素和过去数据之间的关系的情况下执行特征提取。作为特征提取的具体方法，例如可以使用卷积神经网络(CNN)，但该方法不限于此。作为存储过去数据并计算与当前输入数据的关系的具体方法，例如可以使用长短期记忆(LSTM)，但该方法不限于此。
将描述似然比的具体示例。构成序列数据的N个元素表示为x1，...，xN，并且多个类别表示为C1，C2。即，在该示例中，为了简单起见，假设分类是其中类别的数量为二的两类分类。这里，在计算中不考虑过去数据的情况下，元素xi属于类别C1的概率的计算结果表示为p(xi|C1)。此外，在计算中不考虑过去数据的情况下，元素xi属于类别C2的概率的计算结果表示为p(xi|C2)。在这种情况下，这些的似然比由以下表达式(1)表示。
[公式1]
Figure BDA0003275122180000071
表达式(1)的似然比指示元素xi属于类别C1的概率与元素xi属于类别C2的概率之间的似然比。例如，当似然比超过1时，由于p(xi|C1)＞p(xi|C2)，将元素xi分类为类别C1而不是类别C2是合适的。如上所述，表达式(1)的似然比充当指示输入元素适合属于类别C1和类别C2中的哪一个的指标。
此外，如上所述，指标计算单元121可以在考虑到多个元素(即输入元素和过去数据之间的关系)的情况下计算指标。在这种情况下，例如，在考虑到两个元素xi和xi-1的情况下计算的似然比由以下表达式(2)表示。
[公式2]
Figure BDA0003275122180000081
在步骤S104中，整合的指标计算单元131从第二存储单元132中读取过去计算的整合的指标。在步骤S105中，整合的指标计算单元131将由指标计算单元121这次计算的似然比和过去计算的整合的指标进行整合，以计算新的整合的指标。第二计算单元130将所计算的整合的指标输出到分类单元140，并将整合的指标存储在第二存储单元132中。
整合的指标指示整个序列数据适合属于多个类别中的哪一个。过去整合的指标是指：当当前处理是对序列数据中的第j个元素的处理时，由整合的指标计算单元131对序列数据中的第j个元素之前的元素计算的整合的指标。第二存储单元132存储整合的指标计算单元131每次执行处理的整合的指标。在该存储处理中，可以通过用新的整合的指标覆盖过去存储的整合的指标来更新整合的指标的值，或者可以在保留过去存储的整合的指标的同时增加新的整合的指标。
整合的指标例如可以是指示序列数据属于多个类别中的某一类别的可能性的整合的似然比。备选地，整合的指标可以是包括整合的似然比作为变量的函数。在以下描述中，整合的指标是整合的似然比。
假设类别的数量为2，将描述整合的似然比的具体示例。当在计算整合的似然比时输入N个元素时，N个元素表示为x1，...，xN。这里，整个序列数据属于类别C1的概率表示为p(x1，...，xN|C1)。整个序列数据属于类别C2的概率表示为p(x1，...，xN|C2)。在这种情况下，这些的似然比由以下表达式(3)表示。表达式(3)称为整合的似然比。
[公式3]
Figure BDA0003275122180000091
当假设序列数据的每个元素如在常规SPRT中一样是独立的时，可以通过将其分解为针对每个元素的项来计算整合的似然比，如以下表达式(4)所示。在表达式(4)中，为了计算简单，通过使用似然比的对数将每个元素分解为和，但这不是必需的。在本说明书中，术语似然比或整合的似然比可用于对数似然比。此外，虽然在本说明书中省略了对数底的符号，但底可以是任何值。
[公式4]
Figure BDA0003275122180000092
然而，如上所述，在本示例实施例中，由于似然比和整合的似然比是在考虑到两个或更多个元素的情况下计算的，因此通常不满足每个元素都是独立的假设。因此，不可能如表达式(4)中那样将整合的似然比分解为针对每个元素的项，并且整合的似然比是在考虑到关系的情况下取决于元素的数量通过不同的计算表达式来计算的。
例如，在考虑作为当前过程的元素和紧接在该元素之前的元素的两个元素的情况下，可以使用以下表达式(5)计算整合的似然比。
[公式5]
Figure BDA0003275122180000093
在考虑作为当前过程的元素和该元素之前的两个元素的三个元素的情况下，可以使用以下表达式(6)计算整合的似然比。
[公式6]
Figure BDA0003275122180000094
注意，由指标计算单元121在步骤S103中在考虑到两个或三个元素的情况下先前计算的似然比可以用作表达式(5)和(6)中表示的右侧的项。
表达式(5)和(6)表示计算类别C1和类别C2之间的似然比的两类分类的情况的示例，但是类别的数量可以是三个或更多个。例如，当类别的数量为M时，表达式(5)的右侧可以扩展，使得可以计算第k个类别与M个类别中除第k个类别以外的所有类别之间的整合的似然比。这种扩展的示例是如在下面的表达式(7)中使用除第k个类别以外的所有类别的最大似然。
[公式7]
Figure BDA0003275122180000101
作为另一个示例，如在下面的表达式(8)中使用除第k个类别以外的所有类别的似然总和。注意，计算在类别的数量为三个或更多个时的整合的似然比的方法不限于此。
[公式8]
Figure BDA0003275122180000102
表达式(5)至(8)示出了考虑两个或三个元素的情况，但也可以考虑四个或更多个元素。在这种情况下，整合的似然比可以通过用相同的方法扩展表达式(5)至(8)来计算。
计算整合的指标的方法不限于上述方法。例如，可以通过使用LSTM或深度神经网络的方法来计算整合的指标。
在步骤S106中，分类单元140基于由第二计算单元130计算的整合的指标来确定是否可以将序列数据分类为任何类别。当整合的指标是整合的似然比时，分类单元140例如基于是否存在整合的似然比超过预定阈值的类别来确定是否可以进行类别的分类。如果不能进行分类(步骤S106中的“否”)，则过程进行到步骤S101，并且获取单元110获取下一个元素。如果可以进行分类(步骤S106中的“是”)，则过程进行到步骤S107。
在步骤S107中，分类单元140基于整合的指标将序列数据分类为多个类别中的一个类别。例如，当整合的指标是整合的似然比时，序列数据被分类为属于整合的似然比超过预定阈值的类别。
将参考具体示例更详细地描述步骤S106和S107中的处理。假设该示例中的分类处理是类别C1或类别C2的两类分类，并且用于确定类别C1和类别C2的阈值分别为T1和T2。让L1为针对类别C1的整合的似然比，并且L2为针对类别C2的整合的似然比。当整合的似然比由表达式(4)定义时，由于L2＝-L1，基本上可以仅计算L1。
在这种情况下，当L1＞T1时，分类单元140将序列数据分类为类别C1，并且过程结束。当L2＞T2时，分类单元140将序列数据分类为类别C2，并且过程结束。当L1≤T1且L2≤T2时，分类单元140确定不能进行分类，并且获取单元110获取下一个元素。
当类别的数量为M(其是三或更多)时，以与上述类似的方式准备M个阈值，并且可以通过确定M个整合的似然比中的每一个与对应的阈值之间的大小关系来执行类似的分类过程。此时，分类单元140将序列数据分类为整合的似然比首先超过阈值的类别。当整合的似然比不超过任何阈值时，分类单元140确定不能进行分类，并且获取单元110获取下一个元素。
上述分类方法是示例，并且不限于此。例如，当在步骤S106和S107中输入的元素数量大于预定值(元素的最大数量)时，即使不存在整合的似然比超过阈值的类别，序列数据也可以被强制分类为类别中的任何一个，并且可以终止该过程。这可以防止计算时间变得过长。在该示例中，期望确定标准是相互排斥的，以便可靠地被分类为任何类别。
将描述相互排斥标准的具体示例。在两类分类的情况下，当元素的数量超过元素的最大数量时，可以使用取决于整合的似然比L1是否为0或更大来将序列数据分类为两个类别之一的方法。在M类分类的情况下，可以使用将序列数据分类为具有与各个类别相对应的整体似然比中的最大值的类别的方法。
如上所述，根据本示例实施例，序列数据的分类是使用其中考虑了多个序列数据的元素的整合的指标来执行的。因此，可以执行其中考虑到元素之间的关系的分类，从而提供了能够准确地对序列数据进行分类的信息处理设备100。
当序列数据的元素之间的相关性强时，根据本示例实施例的信息处理设备100中的分类处理更有效。在专利文献1至3中公开的SPRT中，由于如在表达式(4)中那样使用其中不考虑序列数据的元素之间的关系的算法，对元素之间实际上具有强关系的序列数据就像对元素之间不具有关系的序列数据一样执行分类。因此，对于元素之间具有强关系的序列数据，分类准确性可能恶化。另一方面，在本示例实施例的信息处理设备100中的分类处理中，由于如在表达式(5)至(8)中那样考虑了序列数据的元素之间的关系，因此即使对于元素之间具有强关系的序列数据，分类准确性也不太可能恶化。
序列数据的元素之间的相关性强的情况的具体示例包括诸如运动图像数据的时间序列数据。例如，在运动图像数据中，通常一帧和下一帧具有相似的特征。因此，本示例实施例的信息处理设备100中的分类处理在时间序列数据的处理中更有效。
[第二示例实施例]
在本示例实施例中，个人识别设备300将被描述为根据第一示例实施例的信息处理设备100的应用示例。在下文中，将主要描述与第一示例实施例的不同之处，并且将省略或简化对共同部分的描述。
图4是根据第二示例实施例的个人识别设备300的功能框图。个人识别设备300包括分类设备301、生物特征信息获取单元302和生物特征信息存储单元303。个人识别设备300可以包括与图1所示的信息处理设备100类似的计算机。因此，将省略对个人识别设备300的硬件配置的描述。
个人识别设备300是用于通过将诸如面部图像、指纹图像和虹膜图像之类的识别目标的生物特征信息与预先注册的生物特征信息进行核对来识别人的设备。个人识别设备300可以包括用于获取生物特征信息的设备(例如相机)，并且可以以独立的方式操作，或者可以从个人识别系统中的其他设备获取生物特征信息以识别人。此外，个人识别设备300可以由彼此通信连接的多个设备配置。
个人识别设备300例如可以是用于人脸认证闸门的认证设备。备选地，个人识别设备300可以是智慧型相机。智慧型相机是网络协议(IP)相机或具有分析功能的网络相机，并且可以被称为智能相机。
生物特征信息获取单元302是获取生物特征信息的设备，并且例如可以是能够捕获运动图像的数码相机。在生物特征信息的识别中，可以从由生物特征信息获取单元302获取的图像等中提取用于匹配的特征量。该特征量提取处理可以在分类设备301中执行，可以在生物特征信息获取单元302中在获取生物特征信息时执行，或者可以由另一设备执行。在本说明书中，由生物特征信息获取单元302获取的图像等和从中提取的特征量可以统称为生物特征信息。
生物特征信息存储单元303存储分类设备301中处理所必需的信息，例如注册的人的生物特征信息。第一示例实施例的信息处理设备100用作分类设备301。分类设备301获取具有作为生物特征信息的元素的序列数据作为在第一示例实施例中描述的序列数据。分类设备301参考存储在生物特征信息存储单元303中的信息，并将序列数据分类为多个预定类别之一。这里，多个类别可以是例如每个都指示与输入的序列数据相匹配的人的类别。备选地，多个类别可以是例如每个都指示是否存在欺骗的类别。换言之，多个类别可以包括例如指示输入的序列数据中存在欺骗的类别和指示输入的序列数据中不存在欺骗的类别。
本示例实施例的个人识别设备300包括能够准确对序列数据进行分类的分类设备301。因此，提供了能够更适当地执行个人识别的个人识别设备300。
欺骗检测的示例将被描述为在本示例实施例的个人识别设备300中更多地利用第一示例实施例的信息处理设备100的序列数据的分类准确性高的特征的示例。作为诸如人脸认证的生物特征认证中的欺骗方法之一，已知存在使用诸如人的面部照片或面部模型之类的非活体对象的方法。作为检测这种欺骗的方法，存在拍摄多个图像，并且当多个图像之间的差异小时，确定该图像不是活体对象的方法。在本示例实施例的分类设备301中，将要被认证的人的时间序列图像作为序列数据输入，并且使用图像之间的差异作为特征量来执行指示序列数据存在或不存在欺骗的分类，从而可以检测到欺骗。在该方法中，输入的时间序列数据中包括的图像的时间变化很小，并且在许多情况下图像之间的相关性很强。因此，当执行用于欺骗检测的分类时，使用根据第一示例性实施例的信息处理设备100的分类处理是有效的，在该分类处理中分类准确性对于元素之间具有强关系的序列数据不太可能恶化。
上述实施例中描述的设备或系统也可以如在以下第三示例实施例中那样进行配置。
[第三示例实施例]
图5是根据第三示例实施例的信息处理设备400的功能框图。信息处理设备400包括获取单元410、第一计算单元420、第二计算单元430和分类单元440。获取单元410顺序获取序列数据中包括的多个元素。第一计算单元420在考虑到多个元素中的两个或更多个元素的情况下针对多个元素中的每一个计算指标，每个指标指示对应元素适合属于多个类别中的哪一个。第二计算单元430通过对多个元素的指标进行整合来计算指示序列数据适合属于多个类别中的哪一个的整合的指标。分类单元440基于整合的指标将序列数据分类为多个类别中的一个类别。
根据本示例实施例，提供了能够准确地对序列数据进行分类的信息处理设备400。
[修改的示例实施例]
本发明不限于上述示例实施例，并且可以在本发明的范围内适当地进行修改。例如，将一个实施例的配置的一部分添加到另一个实施例的示例或者将一个实施例的配置的一部分替换为另一个实施例的配置的一部分的示例也是本发明的示例实施例。
每个示例实施例的范围还包括一种处理方法，其在存储介质中存储程序，该程序使每个示例实施例的配置进行操作以实现上述每个示例实施例的功能，该处理方法读取存储在存储介质中的程序作为代码，并在计算机中执行程序。即，每个示例实施例的范围还包括计算机可读存储介质。此外，每个示例实施例不仅包括存储有上述计算机程序的存储介质，还包括计算机程序本身。此外，上述示例性实施例中包括的一个或两个或更多个组件可以是诸如专用集成电路(ASIC)和现场可编程门阵列(FPGA)的电路，被配置为实现每个组件的功能。
作为存储介质，例如，可以使用软(注册商标)盘、硬盘、光盘、磁光盘、压缩盘(CD)-ROM、磁带、非易失性存储器卡或ROM。此外，每个示例实施例的范围包括在操作系统(OS)上操作以与另一软件或插件板的功能协作执行过程的示例，而不限于通过存储在存储介质中的单独程序执行过程的示例。
此外，可以以软件即服务(SaaS)的形式向用户提供由上述每个示例实施例的功能实现的服务。
应当注意，上述实施例仅仅是体现本发明的示例，并且本发明的技术范围不应被这些限制性地解释。即，本发明可以在不脱离其技术思想或主要特征的情况下以各种形式实现。
上文公开的全部或部分示例实施例可以被描述为但不限于以下补充说明。
(补充说明1)
一种信息处理设备，包括：
获取单元，顺序获取序列数据中包括的多个元素；
第一计算单元，在考虑到多个元素中的两个或更多个元素的情况下针对所述多个元素中的每一个计算指标，每个指标指示对应元素适合属于多个类别中的哪一个；
第二计算单元，通过对多个元素的指标进行整合来计算整合的指标，该整合的指标指示序列数据适合属于多个类别中的哪一个；以及
分类单元，基于整合的指标将序列数据分类为多个类别中的一个类别。
(补充说明2)
根据补充说明1所述的信息处理设备，其中，每个指标包括指示多个元素中的对应一个元素属于多个类别中的某一类别的可能性的似然比。
(补充说明3)
根据补充说明1或2所述的信息处理设备，其中，整合的指标包括整合的似然比，该整合的似然比指示序列数据属于多个类别中的某一类别的可能性。
(补充说明4)
根据补充说明3所述的信息处理设备，其中，当存在整合的似然比超过预定阈值的类别时，分类单元将序列数据分类为整合的似然比超过阈值的类别。
(补充说明5)
根据补充说明3或4所述的信息处理设备，其中，当不存在整合的似然比超过预定阈值的类别时，分类单元不将序列数据分类为任何类别，并且获取单元进一步获取另一个元素。
(补充说明6)
根据补充说明3至5中任一项所述的信息处理设备，其中，当不存在整合的似然比超过预定阈值的类别并且序列数据的元素数量大于预定值时，分类单元基于整合的似然比将序列数据分类为多个类别中的一个类别。
(补充说明7)
根据补充说明1至6中任一项所述的信息处理设备，
其中，第一计算单元包括：
第一存储单元，存储由第一计算单元过去处理的信息；
以及
指标计算单元，在获取单元获取所述序列数据的元素时基于元素和存储在第一存储单元中的信息来计算指标中的每一个。
(补充说明8)
根据补充说明7所述的信息处理设备，
其中，第二计算单元包括：
第二存储单元，存储由第一计算单元过去计算的整合的指标；以及
整合的指标计算单元，通过对从所述第一计算单元输出的指标和存储在所述第二存储单元中的整合的指标进行整合来计算所述整合的指标。
(补充说明9)
根据补充说明1至8中任一项所述的信息处理设备，其中，序列数据是时间序列数据。
(补充说明10)
一种个人识别设备，包括：
生物特征信息获取单元，获取有关目标人的生物特征信息；以及
根据补充说明1至9中任一项所述的信息处理设备；
其中，所述信息处理设备将包括所述生物特征信息作为元素的序列数据分类为多个类别中的一个类别。
(补充说明11)
根据补充说明10所述的个人识别设备，其中，信息处理设备将序列数据分类为多个类别中的一个类别，该一个类别指示存在或不存在生物特征信息的欺骗。
(补充说明12)
一种信息处理方法，包括：
顺序获取序列数据中包括的多个元素；
在考虑到所述多个元素中的两个或更多个元素的情况下针对所述多个元素中的每一个计算指标，每个指标指示对应元素适合属于多个类别中的哪一个；
通过对所述多个元素的指标进行整合来计算整合的指标，所述整合的指标指示所述序列数据适合属于所述多个类别中的哪一个；以及
基于所述整合的指标将所述序列数据分类为所述多个类别中的一个类别。
(补充说明13)
一种存储介质，存储使计算机执行信息处理方法的程序，该信息处理方法包括：
顺序获取序列数据中包括的多个元素；
在考虑到所述多个元素中的两个或更多个元素的情况下针对所述多个元素中的每一个计算指标，每个指标指示对应元素适合属于多个类别中的哪一个；
通过对所述多个元素的指标进行整合来计算整合的指标，所述整合的指标指示所述序列数据适合属于所述多个类别中的哪一个；以及
基于所述整合的指标将所述序列数据分类为所述多个类别中的一个类别。
[附图标记列表]
100、400 信息处理设备
101 处理器
102 存储器
103 存储装置
104 输入和输出I/F
105 通信I/F
110、410 获取单元
120、420 第一计算单元
121 指标计算单元
122 第一存储单元
130、430 第二计算单位
131 整合的指标计算单元
132 第二存储单元
140、440 分类单元
201 数据获取设备
202 输入设备
203 显示设备
300 个人识别设备
301 分类设备
302 生物特征信息获取单元
303 生物特征信息存储单元。

Claims (13)

1.一种信息处理设备，包括：
获取单元，顺序获取序列数据中包括的多个元素；
第一计算单元，在考虑到所述多个元素中的两个或更多个元素的情况下针对所述多个元素中的每一个计算指标，每个指标指示对应元素适合属于多个类别中的哪一个；
第二计算单元，通过对所述多个元素的指标进行整合来计算整合的指标，所述整合的指标指示所述序列数据适合属于所述多个类别中的哪一个；以及
分类单元，基于所述整合的指标将所述序列数据分类为所述多个类别中的一个类别。
2.根据权利要求1所述的信息处理设备，其中，所述指标中的每一个包括指示所述多个元素中的对应一个元素属于所述多个类别中的某一类别的可能性的似然比。
3.根据权利要求1或2所述的信息处理设备，其中，所述整合的指标包括整合的似然比，所述整合的似然比指示所述序列数据属于所述多个类别中的某一类别的可能性。
4.根据权利要求3所述的信息处理设备，其中，当存在所述整合的似然比超过预定阈值的类别时，所述分类单元将所述序列数据分类为所述整合的似然比超过所述阈值的所述类别。
5.根据权利要求3或4所述的信息处理设备，其中，当不存在所述整合的似然比超过预定阈值的类别时，所述分类单元不将所述序列数据分类为任何类别，并且所述获取单元进一步获取另一个元素。
6.根据权利要求3至5中任一项所述的信息处理设备，其中，当不存在所述整合的似然比超过预定阈值的类别并且所述序列数据的元素数量大于预定值时，所述分类单元基于所述整合的似然比将所述序列数据分类为所述多个类别中的一个类别。
7.根据权利要求1至6中任一项所述的信息处理设备，
其中，所述第一计算单元包括：
第一存储单元，存储由所述第一计算单元过去处理的信息；以及
指标计算单元，在所述获取单元获取所述序列数据的元素时基于所述元素和存储在所述第一存储单元中的所述信息来计算所述指标中的每一个。
8.根据权利要求7所述的信息处理设备，
其中，所述第二计算单元包括：
第二存储单元，存储由所述第一计算单元过去计算的整合的指标；以及
整合的指标计算单元，通过对从所述第一计算单元输出的指标和存储在所述第二存储单元中的整合的指标进行整合来计算所述整合的指标。
9.根据权利要求1至8中任一项所述的信息处理设备，其中，所述序列数据是时间序列数据。
10.一种个人识别设备，包括：
生物特征信息获取单元，获取有关目标人的生物特征信息；以及
根据权利要求1至9中任一项所述的信息处理设备；
其中，所述信息处理设备将包括所述生物特征信息作为元素的序列数据分类为多个类别中的一个类别。
11.根据权利要求10所述的个人识别设备，其中，所述信息处理设备将所述序列数据分类为所述多个类别中的一个类别，所述一个类别指示存在或不存在所述生物特征信息的欺骗。
12.一种信息处理方法，包括：
顺序获取序列数据中包括的多个元素；
在考虑到所述多个元素中的两个或更多个元素的情况下针对所述多个元素中的每一个计算指标，每个指标指示对应元素适合属于多个类别中的哪一个；
通过对所述多个元素的指标进行整合来计算整合的指标，所述整合的指标指示所述序列数据适合属于所述多个类别中的哪一个；以及
基于所述整合的指标将所述序列数据分类为所述多个类别中的一个类别。
13.一种存储介质，存储使计算机执行信息处理方法的程序，所述信息处理方法包括：
顺序获取序列数据中包括的多个元素；
在考虑到所述多个元素中的两个或更多个元素的情况下针对所述多个元素中的每一个计算指标，每个指标指示对应元素适合属于多个类别中的哪一个；
通过对所述多个元素的指标进行整合来计算整合的指标，所述整合的指标指示所述序列数据适合属于所述多个类别中的哪一个；以及
基于所述整合的指标将所述序列数据分类为所述多个类别中的一个类别。
CN201980094592.9A 2019-03-26 2019-03-26 信息处理设备、个人识别设备、信息处理方法和存储介质 Pending CN113646758A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/012793 WO2020194497A1 (ja) 2019-03-26 2019-03-26 情報処理装置、個人識別装置、情報処理方法及び記憶媒体

Publications (1)

Publication Number Publication Date
CN113646758A true CN113646758A (zh) 2021-11-12

Family

ID=72609367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980094592.9A Pending CN113646758A (zh) 2019-03-26 2019-03-26 信息处理设备、个人识别设备、信息处理方法和存储介质

Country Status (5)

Country Link
US (1) US20220147778A1 (zh)
EP (1) EP3951620A4 (zh)
JP (1) JP7248102B2 (zh)
CN (1) CN113646758A (zh)
WO (1) WO2020194497A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240020574A1 (en) * 2020-11-24 2024-01-18 Nec Corporation Information processing apparatus, information processing method, and computer program
WO2022157973A1 (ja) * 2021-01-25 2022-07-28 日本電気株式会社 情報処理システム、情報処理方法、及びコンピュータプログラム
US20240203086A1 (en) 2021-04-23 2024-06-20 Nec Corporation Image processing device, image processing method, and storage medium
EP4354322A4 (en) 2021-06-09 2024-06-12 NEC Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, MEDICAL IMAGE IDENTIFICATION DEVICE, AND NON-TRANSIENT COMPUTER-READABLE MEDIUM IN WHICH A PROGRAM IS STORED
WO2023148846A1 (ja) * 2022-02-02 2023-08-10 日本電気株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2023162216A1 (ja) 2022-02-28 2023-08-31 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2024013848A1 (ja) * 2022-07-12 2024-01-18 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2024075240A1 (ja) * 2022-10-06 2024-04-11 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2024075242A1 (ja) * 2022-10-06 2024-04-11 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240372B1 (en) 1997-11-14 2001-05-29 Arch Development Corporation System for surveillance of spectral signals
JP4467838B2 (ja) * 2001-06-15 2010-05-26 パナソニック株式会社 画像認識装置および画像認識方法
JP4548218B2 (ja) * 2005-05-24 2010-09-22 パナソニック電工株式会社 顔認証装置
JP4951415B2 (ja) 2007-05-31 2012-06-13 株式会社日立製作所 生体認証システム
WO2009096208A1 (ja) * 2008-01-31 2009-08-06 Nec Corporation 物体認識システム，物体認識方法および物体認識用プログラム
JP5061382B2 (ja) 2008-03-31 2012-10-31 Ｋｄｄｉ株式会社 時系列データの識別装置および動画像への人物メタ情報付与装置
JP5121681B2 (ja) * 2008-04-30 2013-01-16 株式会社日立製作所 生体認証システム、認証クライアント端末、及び生体認証方法
JP5554987B2 (ja) * 2009-12-28 2014-07-23 キヤノン株式会社 オブジェクト識別装置及びその制御方法
JP2011218090A (ja) * 2010-04-14 2011-11-04 Olympus Corp 画像処理装置、内視鏡システム及びプログラム
US20170358045A1 (en) * 2015-02-06 2017-12-14 Fronteo, Inc. Data analysis system, data analysis method, and data analysis program
WO2016157499A1 (ja) * 2015-04-02 2016-10-06 株式会社日立製作所 画像処理装置、物体検知装置、画像処理方法
FR3087028B1 (fr) * 2018-10-04 2021-05-07 Idemia Identity & Security France Procede de classification securisee d'une donnee d'entree au moyen d'un reseau de neurones a convolution
JP7311310B2 (ja) * 2018-10-18 2023-07-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及びプログラム
KR20200144658A (ko) * 2019-06-19 2020-12-30 삼성전자주식회사 분류 장치 및 이의 동작 방법과 트레이닝 방법
US11676034B2 (en) * 2019-06-27 2023-06-13 The Nielsen Company (Us), Llc Initialization of classification layers in neural networks
KR102635607B1 (ko) * 2021-11-04 2024-02-08 중앙대학교 산학협력단 코스-투-파인 컨볼루션 뉴럴 네트워크 기반 다중 레이블 클래스 분류 방법 및 장치

Also Published As

Publication number Publication date
EP3951620A4 (en) 2022-04-13
US20220147778A1 (en) 2022-05-12
WO2020194497A1 (ja) 2020-10-01
JPWO2020194497A1 (ja) 2021-12-02
EP3951620A1 (en) 2022-02-09
JP7248102B2 (ja) 2023-03-29

Similar Documents

Publication Publication Date Title
CN113646758A (zh) 信息处理设备、个人识别设备、信息处理方法和存储介质
US20160098636A1 (en) Data processing apparatus, data processing method, and recording medium that stores computer program
WO2019033572A1 (zh) 人脸遮挡检测方法、装置及存储介质
US9070041B2 (en) Image processing apparatus and image processing method with calculation of variance for composited partial features
US9773322B2 (en) Image processing apparatus and image processing method which learn dictionary
US8929611B2 (en) Matching device, digital image processing system, matching device control program, computer-readable recording medium, and matching device control method
US9633264B2 (en) Object retrieval using background image and query image
JP5106356B2 (ja) 画像監視装置
US8938117B2 (en) Pattern recognition apparatus and method therefor configured to recognize object and another lower-order object
US9965841B2 (en) Monitoring system based on image analysis of photos
WO2019095587A1 (zh) 人脸识别方法、应用服务器及计算机可读存储介质
CN112668423B (zh) 楼道杂物检测方法、装置、终端设备及存储介质
CN111931548A (zh) 人脸识别系统、建立人脸识别数据的方法及人脸识别方法
CN112149570B (zh) 多人活体检测方法、装置、电子设备及存储介质
US20240265536A1 (en) Information processing apparatus, information processing method, medical image identification device, and non-transitory computer readable medium storing program
CN110393539B (zh) 心理异常检测方法、装置、存储介质及电子设备
US12087035B2 (en) Information processing system, information processing method, and computer program
US10007842B2 (en) Same person determination device and method, and control program therefor
KR102230559B1 (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
CN117133050A (zh) 轿厢异常行为检测方法、装置、设备及存储介质
US20230401289A1 (en) Information processing device, personal identification device, information processing method, and storage medium
US20230394117A1 (en) Information processing device, personal identification device, information processing method, and storage medium
CN113610936B (zh) 色温确定方法、装置、设备及介质
KR102342495B1 (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
JP7337541B2 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination