CN107273784B - 图像模式识别装置和方法 - Google Patents

图像模式识别装置和方法 Download PDF

Info

Publication number
CN107273784B
CN107273784B CN201710073650.2A CN201710073650A CN107273784B CN 107273784 B CN107273784 B CN 107273784B CN 201710073650 A CN201710073650 A CN 201710073650A CN 107273784 B CN107273784 B CN 107273784B
Authority
CN
China
Prior art keywords
sub
network
layers
processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710073650.2A
Other languages
English (en)
Other versions
CN107273784A (zh
Inventor
重中亨介
坪下幸宽
加藤典司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Publication of CN107273784A publication Critical patent/CN107273784A/zh
Application granted granted Critical
Publication of CN107273784B publication Critical patent/CN107273784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了图像模式识别装置和方法，所述图像模式识别装置包括：数据接收单元，其接收数据；监管信息接收单元，其接收监管信息；以及人工神经网络处理单元，其执行人工神经网络处理。人工神经网络处理单元包括：第一子网络，其包括处理主任务的一个或多个层；第二子网络，其包括处理子任务的一个或多个层；以及第三子网络，其包括不属于第一子网络和第二子网络中的任何一个的一个或多个层。第三子网络包括将与输入特征量相同的值输出至多个层的分支处理单元。第一子网络包括将来自多个层的输入进行结合并输出结果的结合处理单元。

Description

图像模式识别装置和方法
技术领域
本发明涉及一种图像模式识别装置和方法。
背景技术
JP-A-10-44824公开了一种驾驶者眼睛开/闭确定装置，其用于根据捕获了车辆等的驾驶者的面部的图像数据来检测疏忽状态或清醒度降低状态。
JP-A-2008-198078公开了一种图像检测装置，其根据捕获的图像来检测与检测目标有关的信息。
JP-A-2016-006626公开了一种检测装置、检测程序、检测方法和包括这样一种检测装置的车辆，该检测装置即使在人被部分隐藏的情况下也可以准确地检测人、而无需生成部分模型。
JP-A-2016-001362公开了一种属性估计程序和基于与用户相关联的图像信息来估计用户的属性的信息处理装置。
在下述非专利文献1中，公开了一种根据用户发布的图像来估计发布者的性别的方法。
在下述非专利文献4中，公开了一种误差反向传播方法(反向传播)，即，一种执行特征表现学习的方法。
在下述非专利文献5中，公开了一种使用误差反向传播方法的多层神经网络。
在下述非专利文献6中，公开了一种使用一个或多个卷积层的人工神经网络。
[非专利文献1]X.Ma et al.,Gender Estimation for SNS User ProfilingUsing Automatic Image Annotation,International Workshop on Cross-mediaAnalysis for Social Multimedia,2014(X.Ma等人，使用自动图像注释来针对社交网络服务(SNS)用户外形进行性别估计，社交多媒体跨媒体分析国际研讨会，2014)。
[非专利文献2]D.G.Lowe et al.,Object Recognition from Local Scale-Invariant Features,ICCV,1999(D.G.Lowe等人，根据局部尺度无关特征的对象识别.国际计算机视觉大会，1999)。
[非专利文献3]J.Wang et al.,Locally-Constrained Linear Coding forImage Classification,CVPR,2010(J.Wang等人，用于图像分类的局部约束线性编码，CVPR，2010)
[非专利文献4]D.E.Rumelhart et al.,Learning Representations by back-propagating errors,Nature,1986(D.E.Rumelhart等人，通过反向传播误差的学习表征，《自然》，1986)
[非专利文献5]Y.LeCun et al.,Backpropagation applied to handwrittenzip code recognition,Neural Computation,1989(Y.LeCun等人，反向传播应用于手写邮政编码识别，《神经计算》，1989)
[非专利文献6]Y.LeCun et al.,Gradient-Based Learning Applied toDocument Recognition,IEEE,1998(Y.LeCun等人，应用于文档识别的基于梯度的学习，IEEE，1998)
[非专利文献7]A.Krizhevsky et al.,ImageNet Classification with DeepConvolutional Neural Networks,NIPS,2012(A.Krizhevsky等人，利用深卷积神经网络的图像网络(ImageNet)分类，NIPS，2012)
发明内容
在用于对图像数据进行分类的模式识别中，由于问题的难度，通常是通过将处理划分成几个任务来逐步地执行该处理。另外，为了减少模式识别中的人力或成本，有时组合使用其中自动地学习待从图像等中提取的特征量的特征表现学习或其表现方法。
如在JP-A-2008-198078和JP-A-2016-006626中所公开的那样，输出主任务的确定结果的单元和输出子任务的确定结果的单元并列布置在输出层中。然而，由于在主任务与子任务之间共用一个或多个中间层，因此在特征提取方法中，权重参数被所有任务共同使用。
如上所述，由于主任务和子任务共用一个或多个中间层，因此特征提取方法是所有任务所共同的。因此，存在这样一个问题，通过特征表现学习所获得的参数对于主任务而言并不总是最佳的。
本发明的目的在于提高在通过被划分成多个任务来执行处理的模式识别中的特征表现学习的精度。
[1]根据本发明的一方面，提供了一种图像模式识别装置，包括：数据接收单元，其接收数据；监管信息接收单元，其接收监管信息；以及人工神经网络处理单元，其执行人工神经网络处理，其中，该人工神经网络处理单元包括：第一子网络，其包括处理主任务的一个或多个层；第二子网络，其包括处理子任务的一个或多个层；以及第三子网络，其包括不属于第一子网络和第二子网络中的任何一个的一个或多个层，该第三子网络包括将与输入特征量相同的值输出至多个层的分支处理单元，并且第一子网络包括将来自多个层的输入进行结合并输出结果的结合处理单元。
[2]在根据[1]所述的图像模式识别装置中，结合处理单元可以执行将来自多个层的输入进行连结并输出结果的处理，或者执行针对多个输入层的关于每个元素的计算并输出结果的处理。
[3]在根据[1]或[2]所述的图像模式识别装置中，在该层中，第一子网络中的最终层和第二子网络中的最终层可以由线性计算单元或卷积单元中的任一个、非线性计算单元和池化(pool ing)处理单元形成，并且除了第一子网络中的最终层和第二子网络中的最终层之外的层可以从全结合层和卷积层中的任一个形成，该全结合层由线性计算单元和非线性计算单元形成，该卷积层由卷积处理单元、非线性计算单元和池化处理单元形成。
[4]根据[1]至[3]中任一项所述的图像模式识别装置还可以包括：确认单元，其输出每个任务的确定结果；误差计算单元，其输出两种类型的输入之间的误差；以及学习单元，其执行基于随机梯度下降的误差反向传播方法。
[5]在根据[1]至[4]中任一项所述的图像模式识别装置中，第一子网络还可以包括误差分支单元，该误差分支单元根据由结合处理单元执行的处理来对输入误差进行分支并将结果输出至多个层，并且第三子网络还可以包括对从多个层输入的误差进行积分的误差积分单元。
[6]根据[1]至[5]中任一项所述的图像模式识别装置还可以包括执行归一化处理的归一化处理单元。
[7]根据本发明的另一方面，提供了一种图像模式识别方法，包括步骤：接收数据；接收监管信息；以及执行人工神经网络处理，其中，执行人工神经网络处理的步骤包括处理主任务、处理子任务以及执行不包括在主任务和子任务中的任何一个中的处理，执行不包括在主任务和子任务中的任一个中的处理包括将与输入特征量相同的值输出至多个层，并且执行主任务包括结合来自多个层的输入并输出结果。
根据[1]所述的图像模式识别装置，与在分支的输出层中处理主任务时没有一体地使用子任务的特征量的情况相比，能够改善特征表现学习的精度。
根据[2]所述的图像模式识别装置，与在分支的输出层中处理主任务时没有一体地使用子任务的特征量的情况相比，能够提高特征表现学习的精度。
根据[3]所述的图像模式识别装置，与在分支的输出层中处理主任务时没有一体地使用子任务的特征量的情况相比，能够提高特征表现学习的精度。
根据[4]所述的图像模式识别装置，与在分支的输出层中处理主任务时没有一体地使用子任务的特征量的情况相比，能够提高特征表现学习的精度。
根据[5]所述的图像模式识别装置，与在分支的输出层中处理主任务时没有一体地使用子任务的特征量的情况相比，能够提高特征表现学习的精度。
根据[6]所述的图像模式识别装置，在结合处理中，即使在每个输入的特征量的值的标度彼此显著不同的情况下，能够适当地执行积分。
根据[7]所述的图像模式识别方法，与在分支的输出层中处理主任务时没有一体地使用子任务的特征量的情况相比，能够提高特征表现学习的精度。
附图说明
将基于以下附图详细地描述本发明的示例性实施例，在附图中：
图1是示出了本示例性实施例的整体配置的概念图，其中，左图中示出了学习时的配置，而右图中示出了确定时的配置；
图2是示出了本示例性实施例中的神经网络处理单元的示例的概念图；
图3是示出了全结合层的配置的概念图；
图4是示出了卷积层的配置的概念图；
图5是示出了全结合层中的处理的概念图；
图6是示出了分支处理单元中的分支处理的概念图；
图7是示出了结合处理单元中的结合处理的概念图；
图8是示出了特征表现学习处理的流程的示例的概念图，并且示出了在将图像内容的识别作为子任务并将性别估计作为主任务的情况下执行对图像内容的识别和性别估计的情况；
图9是示出了在使用学习的神经网络来执行性别估计的情况下的流程的示例的概念图；
图10是示出了在使用学习的神经网络来执行性别估计的情况下的流程的示例的概念图；
图11是示出了在使用学习的神经网络来执行性别估计的情况下的流程的示例的概念图；
图12是示出了示例中的神经网络单元的配置的示意图；
图13是示出了比较示例1中的神经网络单元的配置的示意图；
图14是示出了比较示例2中的神经网络单元的配置的示意图；以及
图15是示出了示例和每个比较示例的评价结果的曲线图。
具体实施方式
[背景]
近年来，作为公司进行市场调查所用的方法，对于使用诸如TWITTER或FACEBOOK的社交网络网站(社交网络服务(SNS))的社交媒体营销的需求增长。
社交媒体营销是一种通过从用户发布的内容中提取在SNS上发布的关于产品和服务的大量意见和评论来调查客户的需求的方法，因而，可以以低成本实时地执行调查。
然而，由于现有技术中使用调查问卷的监视调查引起的困难，在许多情况下，诸如用户的性别、年龄或职业的人口统计简档不清楚。因此，不能执行其中针对每个消费者的简档来分析评论的细分市场分析(segment analysis)，结果，无法执行有效的营销。
为了解决该问题，进行了对根据用户在SNS上发布的文本或图像或者用户之间的社交关系估计用户的简档的研究。例如，在上述JP-A-2106-001362和非专利文献1中，提出了一种根据在SNS上发布的图像来估计发布该图像的用户的性别的方法。
具体地，定义了十种类型的图像内容(宠物、食物、车辆、表演者等)与三种性别(男性、女性和性别未知)相组合而成的三十种类别，并且通过将图像分类到这三十种类别来实现性别估计。
在上述图像模式识别中，由于问题的难度，通常通过将处理划分成几个任务来逐步地执行处理。例如，在JP-A-10-44824中，对于根据脸部图像来确定眼睛的开或闭状态的任务，将该处理划分成三个任务，诸如检测眼睛位置、检测眼睛的大小以及确定眼睛的开闭。确定眼睛的开闭处于主任务中，检测眼睛位置和检测眼睛的大小处于子任务中，然后，诸如按“检测眼睛位置”→“检测眼睛的大小”→“确定眼睛的开闭状态”的顺序来逐步地执行处理。
在上述JP-A-2016-001362和非专利文献1中，使用了作为由人预先设计的特征表现方法的LLC(对上述非专利文献2中所公开的SIFT进行编码：参见上述非专利文献3)。
另一方面，为了执行模式识别，存在这样一种方法：在图像模式识别中使用了使得机器自动学习待从图像中提取的特征量的特征表现学习或其表现方法。作为执行特征表现学习的方法，提出了使用误差反向传播方法(参考上述非专利文献4)的多层神经网络(参考上述非专利文献5)。
在该方法中，例如，图像的亮度被输入至多层神经网络，正向传播每层中的非线性计算的计算结果，并且在最终层中获得输出结果。接下来，通过将该输出结果与来自输出层的监管信息之间的误差反向传播来更新每层的参数。通过重复该处理，在多层神经网络中，可以学习适合于模式识别的特征表现。
在JP-A-2008-198078和JP-A-2016-006626中，使用人工神经网络来执行特征表现学习，而在上述JP-A-2016-001362和非专利文献1中不执行特征表现学习。
在JP-A-2008-198078中，确定眼睛的开闭被设定为主任务，并且确定眼睛是否存在被设定为子任务。如JP-A-2008-198078的图3中所示，输出确定眼睛的开闭的结果的单元以及输出确定眼睛是否存在的结果的单元并列布置在输出层上。
另外，在JP-A-2016-006626中，设置了人的位置估计和确定人是否存在这两项任务，并且执行人的位置估计的单元和执行确定人是否存在的单元并列布置在输出层上。
下文中，将详细地描述本发明的示例性实施例。然而，下文中所描述的示例性实施例仅呈现了用于体现与本发明有关的技术思想的图像模式识别装置的示例，而非旨在将本发明限制于本示例性实施例。在不脱离本发明的各方面所描述的技术思想的情况下，本发明同样可以应用于示例性实施例的各种改变。
[示例性实施例]
在图1和图2中示出了本示例性实施例的配置。监管数据11被配置成包括作为一对的图像数据和监管信息。需要人为地预先构造监管数据。至于图像，可以由API(诸如TWITTER API或INSTAGRAM API)收集在SNS上发布的图像。另一方面，由于无法从API获取监管信息，因此需要手动地为每幅图像设置监管信息。
[数据接收单元]
在数据接收单元2中，在学习时，从存储在存储装置(诸如硬盘)中且其中图像和监管信息(监管标记)被设置成一对的数据中将图像读入到存储器中。另外，在确定时，由于不需要监管数据1，因此将作为确定目标的图像数据12的图像读入到存储器中。以RGB或灰度等级中的任一个均匀地执行图像的输入。在图像的大小为224×224的情况下可以均匀地执行处理，或者可以将该处理作为除上述情况以外的归一化的预处理来执行。
[监管信息接收单元]
从被配置为图像与监管信息(监管标记)对的数据中将与输入图像相对应的监管信息读入到监管信息接收单元3中。
[神经网络处理单元]
神经网络处理单元4被配置为包括神经网络处理主体单元5和确认单元6，并且神经网络处理主体单元5具有通过人工神经网络从图像中提取特征量的作用。神经网络处理单元4被配置为具有多层，并且实际执行的处理的细节根据层配置而不同。
[线性计算单元]
在图3中的全结合层11中使用了线性计算单元12。全结合层11具有其中以层形状排列的单元仅与相邻层结合的结构，并且信息从输入侧到输出层侧单向传播。构成全结合层11的每个单元接收多个输入并且如图5所示计算出一个输出。如果假设输入为x1、x2、x3…xn，则可以使用偏置项b1来如下计算单元u1的输出。
[公式1]
Figure BDA0001223582200000081
因此，可以使用矩阵来如下归纳所有单元的输出。
u＝Wx+b
[非线性计算单元]
在非线性计算单元13中，对输入的每个单元x应用非线性函数。
u＝f(x)
例如，在非线性函数中使用如下所述的修正线性单元(ReLU)。
f(u)＝max(u,0)
[分支处理单元]
分支处理单元9将输入值x无变化地输出至多个输出目的地。
在图6中，
u1＝uJ＝x。
[结合处理单元]
结合处理单元10接收来自多个层的输出，并且结合各层并输出结果。作为结合方法，存在执行连结处理的方法，在该方法中，从多个层(在图7中，从x1到xI这I个层)接收输出，并且连结所有这些单元以输出。在图7中，
m＝n(I-1)+1，并且ui＝xi(这里,i＝1,…,nI)。
另外，可以执行其中针对每个元素执行计算的针对每个元素的计算处理来替代连结处理。在连结处理中，仅仅连结所有输入层以进行输出。然而，在针对每个元素的计算处理中，可以适当地执行积分。如果假设输入层的单元数量全部相同，则针对每个元素执行以下计算。这里，输入层的数量为二。
u＝f(x1,x2)
以下描述所应用的函数的示例
(乘积)
f(x1,x2)＝x1×x2
(最大值)
f(x1,x2)＝max(x1,x2)
(平均值)
f(x1,x2)＝(x1+x2)/2
[确认单元]
在确认单元6中，对从最终层N和M’输出而作为确认单元6的输入的每个单元x应用下列函数。
u＝f(x)
以下描述的softmax函数(soft max function)等是可应用函数的示例。
[公式2]
Figure BDA0001223582200000101
K是输入的单元数量并且与待确认的类别数量一致(例如，在性别估计的情况下，对于男性和女性，K＝2)。
[误差计算单元]
误差计算单元7根据从确认单元输出的确定结果和监管信息来计算误差。例如，可以在误差计算中使用交叉熵。当假设针对类别k的监管信息为dk时，如下计算交叉熵。
[公式3]
E＝-Σk dk log yk
[学习单元]
学习单元8使用由误差计算单元获得的误差来学习包括在每层中的权重参数。在学习中，使用基于随机梯度下降的误差反向传播方法(反向传播)。在随机梯度下降中，使用关于一幅或多幅图像的误差En的梯度▽En来如下更新参数w。
[公式4]
Figure BDA0001223582200000102
这里，t表示更新次数。
在误差反向传播方法中，从最终层开始按逆向顺序传播误差，并在每层中执行随机梯度下降。在更新每层的参数之后，再次计算误差，并且重复参数的更新直到误差收敛为止。
[误差分支处理单元]
误差分支处理单元对所接收到的误差进行分支并将结果反向传播到多个层。关于分支方法，根据结合处理单元10中的处理内容来
执行以下描述的处理。
(连结处理)
当与u1至unI相对应的误差是e1至enI时，将如下描述的误差反向传播到x1至xnI。这里，y1至ynI与x1至xnI相对应。
yi＝ei(这里,i＝1,…,nI)
(针对每个元素的计算处理：乘积)
与所接收到的误差相同的值被反向传播到多个层。
(针对每个元素的计算处理：最大值)
将每个元素的误差无改变地反向传播至在针对每个元素的计算处理时获得最大值的层。为零的值被反向传播至其它层。
(针对每个元素的计算处理：平均值)
对作为所接收到的误差e除以在分支目的地处的层数的结果的值进行反向传播。例如，在分支目的地处的层数为二的情况下，将误差的一半的值分别反向传播至每层。
y1＝e/2
y2＝e/2
[误差结合处理单元]
误差结合处理单元接收来自多个层的误差，并且结合这些误差以用于反向传播。作为结合方法，输出从多个层接收到的所有误差的加权和。权重作为参数而被提供。当y是输出并且x1和x2是所接收到的误差时，计算如下。这里，假设从两个层接收到误差。λ是权重参数。
y＝λx1+(1-λ)x2
神经网络处理单元4中的层的配置是任意的，作为全结合层11的替代，可以使用包括替代了线性计算单元的卷积处理单元15和池化处理单元16的卷积层14(图4)。在全结合层11中，相邻层之间的所有单元被全部结合。然而，在卷积层14中，仅相邻层之间的特定单元被结合。因此，与全结合层11相比，在使用单元数量(要学习的参数)小的卷积层14的情况下，学习变得容易。
[卷积处理单元]
在卷积处理单元15中，在卷积处理中，由H×H个参数构成的滤波器h应用于W×W个输入X。当(i,j)＝(i＝0,…,W-1,j＝0,…,W-1)以及(p,q)＝(p＝0,…,H-1,q＝0,…,H-1)时，在卷积处理中执行如下的乘积和计算。
[公式5]
Figure BDA0001223582200000121
在输入具有为W×W×K个的多个通道时，针对每个通道而执行卷积处理，然后，通过从全部通道之间的输出结果中取最大值来将该结果压缩至一个通道。另外，在所述通道是为H×H×C个的多个通道的情况下，针对每个通道而执行上述的卷积处理以进行输出。因此，该输出具有C个通道。
[池化处理单元]
即使在图像中的目标特征量的位置稍微改变的情况下，池化处理单元16可以通过稍微降低从卷积处理单元输出的特征的位置的灵敏度来使卷积层14的输出不改变。
假设输入的大小为W×W×K并且假设池化处理的单位区域为H×H。另外，假设池化处理区域H×H中所包括的X的集合为P。在这种情况下，例如，通过如下定义的方法来执行池化处理。
(平均池化)
[公式6]
Figure BDA0001223582200000122
(最大池化)
[公式7]
Figure BDA0001223582200000123
[归一化单元]
在本发明中，可以添加归一化单元，该归一化单元在结合处理之前执行归一化处理。在通过连结处理或针对每个元素的计算处理对多个特征量进行积分时，在每个特征量的值的标度彼此显著不同的情况下，存在无法适当地执行积分的可能性。因此，归一化单元针对每个输入而执行L1范数归一化或L2范数归一化。
接下来，将描述神经网络处理的基本流程。
在确定时，数据接收单元2将图像数据输入至神经网络处理单元4，并且神经网络处理单元4输出确定结果。在学习时，误差计算单元7使用从监管信息接收单元3获取的监管信息和确定结果来计算误差。然后，学习单元8执行神经网络的学习。
神经网络处理单元4被配置为包括神经网络处理主体单元5和确认单元6，并且神经网络处理主体单元5提取图像的特征量。在图2中，示出了处理一个子任务加上主任务这总共两个任务的情况。
神经网络处理主体单元5被配置为包括N+M’((1<＝L<M<N；M′是子任务的层数)个层、一个或多个分支处理单元9、一个或多个结合处理单元10。分支处理单元9接收前一层(层L)的输出结果作为输入，并且进行复制，并将副本输出至多个分支目的地的层(在图2中，层L’+1和层L+1)。层1至分支处理单元9与本发明中的第三子网络相对应，层L+1至层N与第一子网络相对应，并且层L’+1至层M’+1与第二子网络相对应。
结合处理单元10接收多个分支源(在图2中，层M’和层M)的输出结果作为输入，并且对所接收到的输出结果执行连结处理或针对每个元素的计算处理，并且将处理结果输出至层M+1。
在执行针对每个元素的计算处理时，针对多个输入层而执行针对每个元素(矢量或矩阵的维度)的计算，并且计算结果被输出至层M+1。该计算是任意的，因而，可以考虑乘积、和或最大值。
对于每层，可以使用由线性计算单元12和非线性计算单元13构成的全结合层11(图3)或者由卷积处理单元15、非线性计算单元13和池化处理单元16构成的卷积层14(图4)。使用卷积层的神经网络被称为卷积神经网络(参考上述非专利文献6)，并且已知其在识别和确认图像数据方面展示了高精度。另外，每个最终层(层N和层M’)不包括非线性计算单元，并且在不应用非线性计算的情况下从每个最终层输出至确认单元。除了执行从子任务的最终层(层M’)到确认单元6的输出外，还执行从子任务的最终层(层M’)至结合处理单元10的输出。
来自每个最终层的输出被输入至确认单元6，并且从确认单元6输出确定结果。在学习时，该确定结果连同监管信息一起输出至误差计算单元7，并且在误差计算单元7中计算确定结果与监管信息之间的误差。
在学习单元8中，使用该误差来执行基于链式规则的误差反向传播方法。
在图8中，在根据图像内容来估计图像的发布者的性别的情况下，示出了如下情况作为流程图的示例：在将图像内容识别作为子任务并且将性别估计作为主任务的情况下执行图像内容的识别和性别估计。
当执行误差反向传播方法时，从每个最终层反向传播误差。在每层中，执行随机梯度下降以更新每层的参数。
在反向传播的过程中，在与正向传播的结合处理对应的定时处对误差进行分支。即，从层M+1输出的误差被分支，然后，一个输出至主任务侧(层M)而另一个被输出至子任务侧(层M’)。另外，在与正向传播的分支处理对应的定时处结合误差。即，结合从主任务侧(层L+1)输出的误差和从子任务侧(层L’+1)输出的误差，并且将结果输出至层L。
在学习单元中，如上所述，执行重复更新神经网络中的每层的参数的处理，直到确定结果的误差收敛为止，并且特征表现学习在误差已收敛的阶段结束。
在图9至图11中，示出了使用学习的神经网络以根据输入图像来实际估计用户的性别时的流程图的示例。由于学习的神经网络，没有确定子任务侧，并且处理在基于来自主任务侧(层N)的输出从确认单元输出确定结果(性别估计的结果)的时间点结束。
在图9中，示出了如下流程：其中，不执行从子任务侧(层M’)到确认单元的输出，而仅执行从子任务侧(层M’)到连结处理单元10或针对每个元素的计算单元的输出。然而，可以基于图10或图11中的流程来执行性别估计。
[示例]
接下来，将描述适用于以下情景的示例：根据在SNS上发布的图像而对发布者(用户)的性别进行估计。该示例适用于这样一种情况：将图像内容识别作为子任务并且将性别估计作为主任务的情况下执行图像内容的识别和性别估计。
在图12中，示意性地示出了神经网络单元的具体配置。其基于上述非专利文献7中公开的网络，分支处理单元被设置在五层卷积层之后并被划分成两个分支。
在将三层全结合层设置在每个分支上之后，通过针对每个元素的计算单元来结合图像内容的特征量与性别的特征量。此外，经由一层全结合层输出所结合的特征量。在本示例中，将乘积计算用作针对每个元素的计算单元。
在执行本示例中，对于具有发布至TWITTER的图像的推文(tweet)，基于从2013年6月到8月在日本发布的推文通过从除了自动程序(bot)以外的发布了许多推文的活动用户处提取推文来收集图像。
接下来，针对可以从其下载等于或多于200个推文或者等于或多于一副图像的用户而创建监管标记。向监管标记赋予26种类型的图像内容标记(IT装置、野生动物、动画片、艺术、书、汽车和自行车、卡通片、人物(character)、化妆品、艺人、时尚、食品、赌博、游戏、杂货、插画、建筑物、音乐、普通人、宠物、植物、海报、风景、屏幕截图、运动等)以及三种类型的性别标记(男性、女性和性别未知)，并且工作人员执行标记工作。
对于图像内容标记，要求十个工作人员投票选择认为哪幅图像是适当的，而对于性别标记，则要求五个工作人员投票选择认为哪幅图像是适当的。然后，对于图像内容标记和性别标记中的每一个，最终标记由投票结果的大多数确定。
在以该方式获得的图像的集合之中，通过去除被赋予了性别未知的性别标记的图像来从3683个用户中最终获得13525幅图像的集合。其中，该数据集由用于学习的6642幅图像、用于参数设计的1760幅图像、以及用于评价的5123幅图像创建成。
在评价中，准备了下述情况以作为比较示例：仅执行性别标记的学习而不执行图像内容的学习的情况(比较示例1)；以及，执行学习而不执行结合处理的情况(比较示例2：对应于在JP-A-2008-198078中公开的方法)。使用作为准确率和召回率的调和平均数的F度量来对这两种情况进行比较。图13示出了比较示例1中的神经网络单元的配置，而图14示出了比较示例2中的神经网络单元的配置。
在图15中示出了结果。根据比较示例1与比较示例2之间的比较，可以理解，当使用图像内容信息来进行学习时，估计精确高。另外，可以理解，与不执行结合处理的比较示例2相比，在执行主任务和子任务的两个特征量的结合的示例中，估计精度变高。
为了说明和描述的目的而提供了本发明的示例性实施例的以上描述。其不旨在对本发明进行详尽说明或将本发明限于所公开的确切形式。显然，许多变型和改变对于本领域技术人员是显而易见的。选择并描述实施例是为了最好地解释本发明的原理及其实际应用，从而使得本领域技术人员能够理解本发明的各实施例和适合于所预期的特定用途的各种修改。旨在由所附权利要求及其等同物来限定本发明的范围。

Claims (7)

1.一种图像模式识别装置，包括：
数据接收单元，其接收数据；
监管标记接收单元，其接收监管标记；以及
人工神经网络处理单元，其执行人工神经网络处理，以根据图像的图像内容确定图像的发布者的性别，
其中，所述人工神经网络处理单元包括：
第一子网络，其包括处理主任务的一个或多个层，所述主任务对应于性别估计，所述第一子网络被配置为提取第一特征量，所述第一特征量是性别的特征量，
第二子网络，其包括处理子任务的一个或多个层，所述子任务对应于内容识别，所述第二子网络被配置为提取第二特征量，所述第二特征量是图像内容的特征量，以及
第三子网络，其包括不属于所述第一子网络和所述第二子网络中的任何一个的一个或多个层，所述第三子网络被配置为提取作为来自所述图像的输出结果的第三特征量，
所述第三子网络包括分支处理单元，所述分支处理单元接收第三子网络的最终层的输出结果，并将所述输出结果无变化地输入至第一子网络和第二子网络的层，并且
所述第一子网络包括结合处理单元，所述结合处理单元接收第一子网络和第二子网络的多个层的输出结果，并对所述输出结果执行连结处理；
其中，所述人工神经网络处理单元还包括确认单元，所述确认单元接收所述第一子网络的最终层的输出结果和第二子网络的最终层的输出结果，并且从所述确认单元分别输出确定结果。
2.根据权利要求1所述的图像模式识别装置，
其中，所述结合处理单元执行将来自第一子网络和第二子网络的多个层的输入进行连结并输出结果的处理，或者执行针对第一子网络和第二子网络的多个输入层的关于每个元素的计算并输出结果的处理。
3.根据权利要求1或2所述的图像模式识别装置，
其中，在所述层中，所述第一子网络中的最终层和所述第二子网络中的最终层由线性计算单元构成的层，或由卷积处理单元、非线性计算单元和池化处理单元构成的层形成，并且除了所述第一子网络中的最终层和所述第二子网络中的最终层之外的层从全结合层和卷积层中的任一个形成，所述全结合层由所述线性计算单元和所述非线性计算单元形成，所述卷积层由卷积处理单元、所述非线性计算单元和所述池化处理单元形成。
4.根据权利要求1至3中任一项所述的图像模式识别装置，还包括：
误差计算单元，其输出两种类型的输入之间的误差；以及
学习单元，其执行基于随机梯度下降的误差反向传播方法。
5.根据权利要求1至4中任一项所述的图像模式识别装置，
其中，所述第一子网络还包括误差分支单元，所述误差分支单元根据由所述结合处理单元执行的处理来对输入误差进行分支，并且将结果输出至第一子网络和第二子网络的多个层，并且
所述第三子网络还包括对从第一子网络和第二子网络的多个层输入的误差进行积分的误差积分单元。
6.根据权利要求1至5中任一项所述的图像模式识别装置，还包括：
归一化处理单元，其执行归一化处理。
7.一种图像模式识别方法，包括步骤：
接收数据；
接收监管标记；以及
执行人工神经网络处理，以根据图像的图像内容确定图像的发布者的性别，
其中，执行所述人工神经网络处理的步骤包括：
通过第一子网络的一个或多个层处理主任务，所述主任务对应于性别估计，所述第一子网络被配置为提取第一特征量，所述第一特征量是性别的特征量，
通过第二子网络的一个或多个层处理子任务，所述子任务对应于内容识别，所述第二子网络被配置为提取第二特征量，所述第二特征量是图像内容的特征量，以及
通过第三子网络的一个或多个层执行不包括在所述主任务和所述子任务中的任何一个中的处理，所述第三子网络被配置为提取作为来自所述图像的输出结果的第三特征量，
执行不包括在所述主任务和所述子任务中的任何一个中的处理包括：接收第三子网络的最终层的输出结果，并将所述输出结果无变化地输入至第一子网络和第二子网络的层，并且
处理主任务包括：接收第一子网络和第二子网络的多个层的输出结果，并对所述输出结果执行连结处理；
其中，执行所述人工神经网络处理的步骤还包括：接收所述第一子网络的最终层的输出结果和第二子网络的最终层的输出结果，并分别输出确定结果。
CN201710073650.2A 2016-04-01 2017-02-10 图像模式识别装置和方法 Active CN107273784B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016074219A JP6727543B2 (ja) 2016-04-01 2016-04-01 画像パターン認識装置及びプログラム
JP2016-074219 2016-04-01

Publications (2)

Publication Number Publication Date
CN107273784A CN107273784A (zh) 2017-10-20
CN107273784B true CN107273784B (zh) 2022-04-15

Family

ID=58016577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710073650.2A Active CN107273784B (zh) 2016-04-01 2017-02-10 图像模式识别装置和方法

Country Status (4)

Country Link
US (1) US10664727B2 (zh)
EP (1) EP3226175A1 (zh)
JP (1) JP6727543B2 (zh)
CN (1) CN107273784B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
KR101916347B1 (ko) * 2017-10-13 2018-11-08 주식회사 수아랩 딥러닝 기반 이미지 비교 장치, 방법 및 컴퓨터 판독가능매체에 저장된 컴퓨터 프로그램
JP6958277B2 (ja) * 2017-11-20 2021-11-02 日本製鉄株式会社 異常判定方法及び装置
JP6783742B2 (ja) * 2017-11-24 2020-11-11 Kddi株式会社 パラメータ特定装置及びパラメータ特定方法
EP3537348A1 (en) * 2018-03-06 2019-09-11 Dura Operating, LLC Heterogeneous convolutional neural network for multi-problem solving
JP6791182B2 (ja) * 2018-03-14 2020-11-25 オムロン株式会社 ニューラルネットワーク型画像処理装置
CN111868754A (zh) * 2018-03-23 2020-10-30 索尼公司 信息处理装置和信息处理方法
EP3567544B1 (en) * 2018-05-11 2023-06-28 Siemens Healthcare GmbH Method of creating an image chain
JP7113674B2 (ja) * 2018-06-15 2022-08-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置及び情報処理方法
CN109190757B (zh) * 2018-08-07 2021-05-04 百度在线网络技术（北京）有限公司 任务处理方法、装置、设备及计算机可读存储介质
CN109165729A (zh) * 2018-08-22 2019-01-08 中科物栖（北京）科技有限责任公司 神经网络的调度方法及系统
KR102708715B1 (ko) * 2018-11-16 2024-09-24 삼성전자주식회사 영상 처리 장치 및 그 동작방법
KR102155789B1 (ko) * 2019-08-23 2020-09-14 주식회사 크라우드웍스 크로스체크를 통한 신뢰도 높은 작업 결과 획득 방법 및 장치
JP6737491B1 (ja) * 2020-01-09 2020-08-12 株式会社アドイン研究所 Ａｉを用いる診断装置、診断システム、及び、プログラム
US11734576B2 (en) * 2020-04-14 2023-08-22 International Business Machines Corporation Cooperative neural networks with spatial containment constraints
US11222201B2 (en) 2020-04-14 2022-01-11 International Business Machines Corporation Vision-based cell structure recognition using hierarchical neural networks

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1345161A2 (en) * 2002-03-15 2003-09-17 Microsoft Corporation System and method facilitating pattern recognition
CN105184303A (zh) * 2015-04-23 2015-12-23 南京邮电大学 一种基于多模态深度学习的图像标注方法
CN105205479A (zh) * 2015-10-28 2015-12-30 小米科技有限责任公司 人脸颜值评估方法、装置及终端设备

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1044824A (ja) 1996-07-30 1998-02-17 Nissan Motor Co Ltd 車両運転者の開閉眼判定装置
US7319779B1 (en) * 2003-12-08 2008-01-15 Videomining Corporation Classification of humans into multiple age categories from digital images
US7848566B2 (en) * 2004-10-22 2010-12-07 Carnegie Mellon University Object recognizer and detector for two-dimensional images using bayesian network based classifier
US7739208B2 (en) * 2005-06-06 2010-06-15 Numenta, Inc. Trainable hierarchical memory system and method
JP4978227B2 (ja) 2007-02-15 2012-07-18 トヨタ自動車株式会社 画像検出装置
JP2009237977A (ja) * 2008-03-27 2009-10-15 Seiko Epson Corp 画像出力制御装置、画像出力制御方法、画像出力制御プログラムおよび印刷装置
US20090299929A1 (en) * 2008-05-30 2009-12-03 Robert Kozma Methods of improved learning in simultaneous recurrent neural networks
US8582807B2 (en) * 2010-03-15 2013-11-12 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics
AU2011270457A1 (en) * 2010-06-21 2012-11-29 Pola Chemical Industries, Inc. Age estimation method and gender determination method
US8913839B2 (en) * 2011-09-27 2014-12-16 University Of North Carolina At Wilmington Demographic analysis of facial landmarks
JP6032921B2 (ja) * 2012-03-30 2016-11-30 キヤノン株式会社 物体検出装置及びその方法、プログラム
US9373085B1 (en) * 2012-05-15 2016-06-21 Vicarious Fpc, Inc. System and method for a recursive cortical network
US9374374B2 (en) * 2012-06-19 2016-06-21 SecureMySocial, Inc. Systems and methods for securing social media for users and businesses and rewarding for enhancing security
JP6208552B2 (ja) * 2013-11-14 2017-10-04 株式会社デンソーアイティーラボラトリ 識別器、識別プログラム、及び識別方法
US9400925B2 (en) * 2013-11-15 2016-07-26 Facebook, Inc. Pose-aligned networks for deep attribute modeling
JP2016006626A (ja) 2014-05-28 2016-01-14 株式会社デンソーアイティーラボラトリ 検知装置、検知プログラム、検知方法、車両、パラメータ算出装置、パラメータ算出プログラムおよびパラメータ算出方法
JP6375706B2 (ja) 2014-06-11 2018-08-22 富士ゼロックス株式会社 属性推定プログラム及び情報処理装置
US9411726B2 (en) * 2014-09-30 2016-08-09 Samsung Electronics Co., Ltd. Low power computation architecture
US9928410B2 (en) * 2014-11-24 2018-03-27 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognizer
US9760792B2 (en) * 2015-03-20 2017-09-12 Netra, Inc. Object detection and classification
US9286524B1 (en) * 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
US9530082B2 (en) * 2015-04-24 2016-12-27 Facebook, Inc. Objectionable content detector
CN106295476B (zh) * 2015-05-29 2019-05-17 腾讯科技（深圳）有限公司 人脸关键点定位方法和装置
US9471851B1 (en) * 2015-06-29 2016-10-18 International Business Machines Corporation Systems and methods for inferring gender by fusion of multimodal content
JP2017102671A (ja) * 2015-12-01 2017-06-08 キヤノン株式会社 識別装置、調整装置、情報処理方法及びプログラム
US10311334B1 (en) * 2018-12-07 2019-06-04 Capital One Services, Llc Learning to process images depicting faces without leveraging sensitive attributes in deep learning models

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1345161A2 (en) * 2002-03-15 2003-09-17 Microsoft Corporation System and method facilitating pattern recognition
CN105184303A (zh) * 2015-04-23 2015-12-23 南京邮电大学 一种基于多模态深度学习的图像标注方法
CN105205479A (zh) * 2015-10-28 2015-12-30 小米科技有限责任公司 人脸颜值评估方法、装置及终端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CONVOLUTIONAL MODELS FOR JOINT OBJECT CATEGORIZATION AND POSE ESTIMATION;Mohamed Elhoseiny 等;《arXiv:1511.05175v3》;20160107;第37-42页 *
Multi-task Deep Learning for Image Understanding;Bo Yu 等;《International Conference of Soft Computing and Pattern Recognition》;20150115;第1-20页 *

Also Published As

Publication number Publication date
US10664727B2 (en) 2020-05-26
CN107273784A (zh) 2017-10-20
US20170286810A1 (en) 2017-10-05
JP2017187840A (ja) 2017-10-12
EP3226175A1 (en) 2017-10-04
JP6727543B2 (ja) 2020-07-22

Similar Documents

Publication Publication Date Title
CN107273784B (zh) 图像模式识别装置和方法
Ayyadevara Pro machine learning algorithms
Eunice et al. Deep learning-based leaf disease detection in crops using images for agricultural applications
Singh et al. Deep learning for plant stress phenotyping: trends and future perspectives
CN109523018B (zh) 一种基于深度迁移学习的图片分类方法
Khan et al. Real-time plant health assessment via implementing cloud-based scalable transfer learning on AWS DeepLens
CN109101938B (zh) 一种基于卷积神经网络的多标签年龄估计方法
Yasir et al. An intelligent event-sentiment-based daily foreign exchange rate forecasting system
Albahli et al. AEI-DNET: a novel densenet model with an autoencoder for the stock market predictions using stock technical indicators
Meena et al. Sentiment analysis on images using convolutional neural networks based Inception-V3 transfer learning approach
Palacios et al. A non-invasive method based on computer vision for grapevine cluster compactness assessment using a mobile sensing platform under field conditions
CN110929665A (zh) 一种自然场景曲线文本检测方法
Jamalian et al. A hybrid data mining method for customer churn prediction
CN107239532A (zh) 数据挖掘方法及装置
CN104851183A (zh) 纸币面向识别方法及装置
CN115761240B (zh) 一种混沌反向传播图神经网络的图像语义分割方法及装置
Joshi et al. Python: Real world machine learning
Okokpujie et al. Predictive modeling of trait-aging invariant face recognition system using machine learning
Piratelo et al. Blending colored and depth cnn pipelines in an ensemble learning classification approach for warehouse application using synthetic and real data
Anand et al. Deep temporal features to predict repeat buyers
JP2019109648A (ja) 情報処理システムおよび情報処理システムの学習方法
Shinde et al. Feedforward back propagation neural network (FFBPNN) based approach for the identification of handwritten math equations
Jalali et al. Convolutional neural networks considering robustness improvement and its application to face recognition
CN113706258B (zh) 基于组合模型的产品推荐方法、装置、设备及存储介质
Bui et al. Uvds: a new dataset for traffic forecasting with spatial-temporal correlation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Fuji Xerox Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant