CN115191004A - 信息处理方法、信息处理系统、以及信息处理装置 - Google Patents

信息处理方法、信息处理系统、以及信息处理装置 Download PDF

Info

Publication number
CN115191004A
CN115191004A CN202180017616.8A CN202180017616A CN115191004A CN 115191004 A CN115191004 A CN 115191004A CN 202180017616 A CN202180017616 A CN 202180017616A CN 115191004 A CN115191004 A CN 115191004A
Authority
CN
China
Prior art keywords
model
image
face
training
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180017616.8A
Other languages
English (en)
Inventor
石井育规
佐藤智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN115191004A publication Critical patent/CN115191004A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种信息处理方法，由计算机执行，在所述信息处理方法中，获得以第1模型的输出成为第2模型的输入的方式将第1模型与第2模型连接而成的第3模型，第1模型是对被输入的图像进行模糊消除处理从而输出特征量的机器学习模型，第2模型是对被输入的图像进行物体识别处理从而输出物体识别结果的机器学习模型(S31)，以向第3模型输入包含模糊的训练图像从而从第3模型输出的物体识别结果、和与训练图像对应的物体识别结果的正确答案数据之间的差变小的方式，通过机器学习来训练第3模型(S33)，输出训练后的第3模型(S34)。

Description

信息处理方法、信息处理系统、以及信息处理装置
技术领域
本公开涉及信息处理方法，信息处理系统、以及信息处理装置。
背景技术
近几年研究开发出为了保护隐私而加工图像的技术。例如在非专利文献1中公开了检测在图像中映现的人的脸，对脸的部分实施模糊处理的技术。此外在非专利文献2中公开了检测在图像中映现的人，将人的部分用其他的图像来置换的技术。
另一方面通过使用图像的机器学习而进行的物体识别，对在图像中映现的物体或者文字等(以下简称为物体)进行识别。在通过机器学习进行物体识别的情况下，从提高识别精度的观点上，输入的图像优选的是聚焦的图像(轮廓鲜明的图像)。例如在专利文献1中公开了能够从被输入的图像中生成轮廓被强调的轮廓强调图像的图像处理装置。
(现有技术文献)
(专利文献)
专利文献1：日本特开2019-67106号公报
(非专利文献)
非专利文献1：Nodari,A.,Vanetti,M.,Gallo,I.:Digital privacy:Replacingpedestrians from google street view images.In:Proceedings of the 21stInternational Conference on Pattern Recognition(ICPR2012).pp.2889-2893.IEEE(2012)
非专利文献2：Fernandes,F.E.,Yang,G.,Do,H.M.,Sheng,W.:Detection ofprivacy-sensitive situations for social robots in smart homes.In:2016 IEEEInternational Conference on Automation Science and Engineering(CASE).pp.727-732.IEEE(2016)
然而，在上述现有技术中，难以既保护与图像中映现的物体有关的隐私，又使物体识别模型对图像中映现的物体进行识别。例如使用通过非专利文献1以及2的技术而被加工的图像的物体识别中，识别结果通常很差。此外在上述专利文献1公开的技术中，没有考虑与在图像映现的物体等有关的隐私的保护。
发明内容
于是，本公开提供一种既保护与在图像中映现的物体有关的隐私，又能够抑制物体识别中的识别性能的降低的信息处理方法、信息处理系统、以及信息处理装置。
本公开的一个方案涉及的信息处理方法，由计算机执行，在所述信息处理方法中，获得以第1模型的输出成为第2模型的输入的方式将所述第1模型与所述第2模型连接而成的第3模型，所述第1模型是对被输入的图像进行模糊消除处理从而输出特征量的机器学习模型，所述第2模型是对被输入的图像进行物体识别处理从而输出物体识别结果的机器学习模型，以向所述第3模型输入包含模糊的训练图像从而从所述第3模型输出的所述物体识别结果、和与所述训练图像对应的所述物体识别结果的正确答案数据之间的差变小的方式，通过机器学习来训练所述第3模型，输出训练后的所述第3模型。
本公开的一个方案涉及的信息处理系统，具备：获得部，获得以第1模型的输出成为第2模型的输入的方式将所述第1模型与所述第2模型连接而成的第3模型，所述第1模型是对被输入的图像进行模糊消除处理从而输出特征量的机器学习模型，所述第2模型是对被输入的图像进行物体识别处理从而输出物体识别结果的机器学习模型；训练部，以向所述第3模型输入包含模糊的训练图像从而从所述第3模型输出的所述物体识别结果、和与所述训练图像对应的所述物体识别结果的正确答案数据之间的差变小的方式，通过机器学习来训练所述第3模型；以及输出部，输出训练后的所述第3模型。
本公开的一个方案涉及的信息处理装置，具备：获得部，获得包含模糊的图像；控制部，将所述包含模糊的图像输入到第3模型从而获得物体识别结果，所述第3模型是以第1模型的输出成为第2模型的输入的方式将所述第1模型与所述第2模型连接而成的模型，所述第1模型是对被输入的图像进行模糊消除处理从而输出特征量的机器学习模型，所述第2模型是对被输入的图像进行物体识别处理从而输出所述物体识别结果的机器学习模型；以及输出部，对基于所获得的所述物体识别结果的信息进行输出，所述第3模型是利用被输入包含模糊的训练图像从而从所述第3模型输出的所述物体识别结果以及与所述训练图像对应的所述物体识别结果的正确答案数据，通过机器学习而被训练的机器学习模型。
通过本公开的一个方案涉及的信息处理方法等，既能够保护与在图像映现的物体有关的隐私，又能够抑制物体识别中的识别性能的降低。
附图说明
图1是示出实施方式的信息系统的功能结构的方框图。
图2是模式性地示出实施方式的信息处理系统的人脸复原型识别NW模型的训练顺序的图。
图3是示出实施方式的信息处理系统中的人脸复原NW模型的训练处理的流程图。
图4是示出实施方式的信息处理系统中的人脸识别NW模型的训练处理的流程图。
图5是示出实施方式的信息处理系统中的人脸复原型识别NW模型的训练处理的流程图。
图6是示出实施方式的信息处理装置中的使用了人脸复原型识别NW模型的识别处理的流程图。
图7是示出将由模糊图像生成部生成的模糊图像作为训练图像来训练了人脸复原型识别NW模型的情况下的、对每个训练条件的识别性能的比较的图。
图8是示出将由多针孔相机拍摄的模糊图像作为训练图像来训练了人脸复原型识别NW模型的情况下的、对每个训练条件的识别性能的比较的图。
图9是示出实施方式的变形例1的信息处理系统中的人脸复原型识别NW模型的训练处理的流程图。
图10是示出实施方式的变形例2的信息处理系统中的人脸复原型识别NW模型的训练处理的流程图。
具体实施方式
(提出本公开的经过)
在说明本公开的实施方式之前，先说明提出本公开的经过。
近几年在室内外广泛设置了监控摄像机等相机，所以容易获得室内的人的情况、过路人的脸、汽车的牌照等包含隐私的图像。对这一类的图像进行作为物体识别的一例的人脸识别，从而进行适合个人的家电控制、或者获得适合个人的交互等，能够将人脸识别结果用于各种各样的用途。
另一方面，与相机拍摄的图像中映现的物体有关的隐私保护的重要性越来越高。从保护隐私的观点上，使用如非专利文献1以及2公开的加工后的图像进行物体识别的情况下，很多时候识别结果变差。进而非专利文献1以及2公开的技术，存在向外部流出加工前的图像等的危险，所以隐私的保护不充分。此外，专利文献1公开的技术，没有考虑与在图像上映现的物体等有关的隐私的保护。
于是，在本公开中，从与在图像上映现的物体有关的隐私保护的观点上，利用多针孔相机来拍摄物体。关于细节稍后描述，由多针孔相机拍摄的图像(多针孔图像：MPH图像)成为包含视差特性的图像。换句话说，MPH图像是包含模糊的图像(模糊图像)。由此获得的图像成为模糊图像，所以能够保护物体的隐私。另外，多针孔相机是具有被形成有多针孔的多针孔掩膜的相机。
针对这样的MPH图像，例如使用通过机器学习而生成的物体识别模型，来进行物体识别。关于该物体识别模型，即使被输入了由多针孔相机拍摄的MPH图像，换言之被输入了模糊图像，也被要求高精度地进行物体识别。然而，有效地训练针对MPH图像进行物体识别的物体识别模型存在困难，该MPH图像是具有多针孔相机特有的模糊的图像，也就是说抑制识别性能的降低是存在困难的。
于是，本公开的发明者们为了抑制针对能够保护隐私的MPH图像等的图像进行物体识别的物体识别模型中的识别性能的降低，进行了认真研究，提出了以下示出的信息处理方法等。利用以下示出的信息处理方法等进行了训练的物体识别模型，既能够保护利用图像进行物体识别的物体有关的隐私，又能够抑制物体识别中的识别性能的降低。另外，下面说明物体识别模型对人物的脸进行识别的人脸识别模型(物体识别模型的一例)的情况，但是不限于此。本公开也可以适用于人脸识别模型以外的物体识别模型。
本公开的一个方案涉及的信息处理方法，由计算机执行，在所述信息处理方法中，获得以第1模型的输出成为第2模型的输入的方式将所述第1模型与所述第2模型连接而成的第3模型，所述第1模型是对被输入的图像进行模糊消除处理从而输出特征量的机器学习模型，所述第2模型是对被输入的图像进行物体识别处理从而输出物体识别结果的机器学习模型，以向所述第3模型输入包含模糊的训练图像从而从所述第3模型输出的所述物体识别结果、和与所述训练图像对应的所述物体识别结果的正确答案数据之间的差变小的方式，通过机器学习来训练所述第3模型，输出训练后的所述第3模型。
从而，第3模型在训练时，作为输入图像使用包含模糊的训练图像，所以在识别时即使被输入包含模糊的图像，也能够恰当地进行物体识别。换言之，第3模型能够不使用没有保护隐私的图像就是不包含模糊的图像，而恰当地进行物体识别。此外，在第3模型中，使第1模型以及第2模型被连接并且一体地进行训练，所以第1模型的输出以提高第2模型的物体识别性能的方式而变化。因此，与第1模型以及第2模型被独立利用的(例如第1模型以及第2模型独立地训练)的情况相比，能够提高物体识别的精度。此外，在第3模型中，将第1模型以及第2模型连接成为一体化，所以第1模型的输出不会向外部流出。因此，比起第1模型与第2模型独立的情况，能够强化保护隐私。此外即使第1模型的输出向外部流出，由于第1模型与第2模型连接并且一体地训练，所以第1模型的输出变为人不能识别的值，因此能够保护隐私。从而本公开的一个方案涉及的信息处理方法，既保护利用图像对物体进行物体识别中的物体的隐私，又抑制物体识别中的识别性能的降低。另外如上所述的第1模型的输出，通过第3模型的训练而变化，该输出可以是能够作为图像来处理的范围内的值的数据，也可以是作为图像来处理的范围之外的值的数据。例如后面所述，第1模型的输出，只要能够向第2模型输入的大小的张量，该值可以是任意的值。
此外，例如可以在所述第3模型的训练中，对所述第3模型具有的所述第1模型的参数进行更新。
从而，第1模型能够输出更适合第2模型进行的物体识别的特征量。从而能够进一步抑制第3模型进行的识别性能的降低。
此外，例如可以在所述第3模型的训练中，进一步对所述第3模型具有的所述第2模型的参数进行更新。
从而，第2模型能够输出更适合来自第1模型的特征量的识别结果。从而，能够进一步抑制第3模型进行的识别性能的降低。
此外，例如可以在所述第3模型的训练中，进一步，对所述训练图像中包含的模糊的程度进行判断，按照所述模糊的程度，决定所述第1模型以及所述第2模型的参数更新程度，按照被决定的所述参数更新程度，对所述第3模型具有的所述第1模型以及所述第2模型的参数进行更新。
从而，按照训练图像的模糊的程度，决定参数更新程度，所以能够按照训练图像的模糊的程度，高效地进行参数的更新。
此外，例如可以在所述参数更新程度的决定中，在所述模糊的程度比阈值大的情况下，将所述第1模型的所述参数更新程度决定为比所述第2模型的所述参数更新程度大。此外，例如可以在所述参数更新程度的决定中，在所述模糊的程度比阈值小的情况下，将所述第1模型的所述参数更新程度决定为比所述第2模型的所述参数更新程度小。
从而，以不依赖于训练图像的模糊的程度而能够输出对第2模型进行的物体识别有效的特征量的方式，对第1模型高效地进行训练。例如，在模糊的程度比阈值高的情况下，能够使第1模型的参数更新程度变大，以能够输出更加抑制针对物体识别的模糊的影响的特征量的方式来训练第1模型。此外，在模糊的程度比阈值低的情况下，能够使第1模型的参数更新程度变小，使针对物体识别的第2模型的参数的更新程度相对地变大，能够以提高识别性能的方式来训练第1模型。
此外，例如可以在所述第3模型的训练中，进一步，对所述第1模型的性能进行判断，按照所述性能，决定所述第1模型以及所述第2模型的参数更新程度，按照被决定的所述参数更新程度，对所述第3模型具有的所述第1模型以及所述第2模型的参数进行更新。
从而，按照第1模型的性能来决定参数更新程度，所以能够按照第1模型的性能高效地进行参数的更新。
此外，例如可以在所述参数更新程度的决定中，在所述性能比阈值高的情况下，将所述第1模型的所述参数更新程度决定为比所述第2模型的所述参数更新程度小。此外，例如可以在所述参数更新程度的决定中，在所述性能比阈值低的情况下，将所述第1模型的所述参数更新程度决定为比所述第2模型的所述参数更新程度大。
从而，以能够输出对第2模型进行的物体识别有效的特征量的方式，能够使第1模型按照第1模型的性能高效地进行训练。例如，在性能比阈值高的情况下，能够使第1模型的参数更新程度变小，以特征量不过度变化的方式来训练第1模型。此外，在性能比阈值低的情况下，能够使第1模型的参数更新程度变大，以使特征量变为能够提高物体识别性能的方式来训练第1模型。
此外，例如可以是所述训练图像包括由多针孔相机进行拍摄而得到的图像。
从而，能够生成即使输入由多针孔相机拍摄的图像也能够输出恰当的物体识别结果的第3模型。此外，由多针孔相机拍摄的图像是包含很多模糊的图像，能够进一步提高针对物体的隐私保护的效果。
此外，例如可以是所述训练图像包括对规定的图像卷积点扩散函数而得到的图像。
从而，能够生成由多针孔相机拍摄的图像相同或者与该图像相近的训练图像。换言之，不需要由多针孔相机进行用于获得训练图像的拍摄，就能够获得训练图像。从而，能够容易生成机器学习用的训练图像。
此外，本公开的一个方案涉及的信息处理方法，具备：获得部，获得以第1模型的输出成为第2模型的输入的方式将所述第1模型与所述第2模型连接而成的第3模型，所述第1模型是对被输入的图像进行模糊消除处理从而输出特征量的机器学习模型，所述第2模型是对被输入的图像进行物体识别处理从而输出物体识别结果的机器学习模型；训练部，以向所述第3模型输入包含模糊的训练图像从而从所述第3模型输出的所述物体识别结果、和与所述训练图像对应的所述物体识别结果的正确答案数据之间的差变小的方式，通过机器学习来训练所述第3模型；以及输出部，输出训练后的所述第3模型。
从而能够起到与上述信息处理方法同样的效果。
此外，本公开的一个方案涉及的信息处理装置，具备：获得部，获得包含模糊的图像；控制部，将所述包含模糊的图像输入到第3模型从而获得物体识别结果，所述第3模型是以第1模型的输出成为第2模型的输入的方式将所述第1模型与所述第2模型连接而成的模型，所述第1模型是对被输入的图像进行模糊消除处理从而输出特征量的机器学习模型，所述第2模型是对被输入的图像进行物体识别处理从而输出所述物体识别结果的机器学习模型；以及输出部，对基于所获得的所述物体识别结果的信息进行输出，所述第3模型是利用被输入包含模糊的训练图像从而从所述第3模型输出的所述物体识别结果以及与所述训练图像对应的所述物体识别结果的正确答案数据，通过机器学习而被训练的机器学习模型。
从而能够起到与上述信息处理方法同样的效果。
进而这些概括或者具体的方案，可以通过系统、装置、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等非暂时的记录介质来实现，也可以任意组合系统、装置、方法、集成电路、计算机程序以及记录介质来实现。
下面对本公开的一个方案涉及的信息处理方法、信息处理系统、以及信息处理装置的具体例子，参考附图进行说明。这里示出的实施方式都是示出本公开的一个具体例子。所以以下的实施方式所示的数值、构成要素、步骤、步骤的顺序等均为一个例子，其主旨并非是对本公开进行限定。并且，对于以下的实施方式的构成要素之中没有记载在独立技术方案的构成要素，作为任意的构成要素来说明。
此外，各图是示意图，并非是严谨的图示。因此，例如在各图中缩尺等也并非一致。此外，在各图中，对实质上相同的构成赋予相同的符号，省略或简化重复说明。
此外，在本说明书中，相同等表示要素间的关系性的用语、以及数值以及数值范围，不仅是表示严格意义上的表现，而且是表示具有实际上同等的范围，例如包括百分之几左右(例如5％左右)的差异的表现。
(实施方式)
下面对本实施方式中的信息处理系统等，参考图1至图8进行说明。
[1.信息系统的结构]
首先关于本实施方式中的信息系统的结构，参考图1进行说明。图1是示出本实施方式的信息系统10的功能结构的图。信息系统10是针对用于人脸识别的机器学习模型，使用MPH图像等的模糊图像进行训练，使用训练后的机器学习模型进行物体识别的系统。
如图1所示，信息系统10具备多针孔相机100、信息处理系统200、以及信息处理装置300。多针孔相机100以及信息处理系统200、多针孔相机100以及信息处理装置300、信息处理系统200以及信息处理装置300，分别以能够通信的方式被连接。另外下面将多针孔相机100也记载为MPH相机100。此外在训练时可以不用具备MPH相机100。
MPH相机100能够在1次摄像动作中同时获得针对物体(被摄体)视点相互不同的多个图像(针孔图像：PH图像)。MPH相机100，也称为无透镜多针孔相机。MPH相机100是使用多个针孔(多针孔)的相机，具有多针孔掩膜和图像传感器。多针孔掩膜被配置在相对于图像传感器位于物体侧并且与图像传感器相隔一定距离的位置上。换言之，通过多针孔掩膜的光入射到图像传感器。在多针孔掩膜，形成有以随机或等间隔地配置的多个针孔。另外，关于多个针孔例如只要是2个以上的针孔，数量没有特别限定。
图像传感器通过各个针孔，获得物体的图像(MPH图像)。MPH图像是经由各个针孔而获得的图像。根据各针孔的位置以及大小，获得的PH图像不同。图像传感器，将多个PH图像的重叠图像(编码图像)作为MPH图像来获得。MPH图像可以是在人的视觉上有可能不能识别的图像，但是利用计算机处理能够获得图像中包含的摄像对象的物体以及周围环境等的信息的图像。
另外，在本说明书中，如MPH相机100一样具备多针孔掩膜的种类的相机以外的种类的相机所拍摄的、不包含由多针孔掩膜而生成的模糊的图像，记载为无模糊图像。无模糊图像例如是通过光学系统拍摄的图像。无模糊图像通常是由光学系统进行聚光对来自物体的光进行成像来获得的图像。光学系统的一例是透镜。在物体存在的环境下，人直接看物体时，人以与无模糊图像大致同样的状态来感知该物体。换句话说，人对通常的相机(例如有透镜的相机)拍摄的无模糊图像，在视觉上以与实际空间的状态同样的状态来识别。另外通常的相机，不具有多针孔掩膜。
另外，在本说明书中，模糊图像以及无模糊图像是映现出人物的脸的人脸图像。
信息处理系统200生成人脸复原型识别NW(神经网络)模型，该人脸复原型识别NW模型是将MPH相机100拍摄的模糊图像作为输入图像(训练图像)，输出人脸识别结果的机器学习模型。人脸识别结果，例如可以是在2个模糊图像中映现的人物是否为同一人物的判断结果，也可以是在模糊图像中映现的人物的脸的特征量。
信息处理系统200具有模糊图像生成部210、第1存储部220、第2存储部230、第3存储部240、第1训练部250、第4存储部260、第2训练部270、以及第5存储部280。另外，模糊图像生成部210以及第1存储部220不是信息处理系统200必需的结构。此外，第1存储部220～第5存储部280可以由1个存储装置来实现，也可以由2个以上的存储装置来实现。另外，人脸复原型识别NW模型是物体识别模型的一例。
模糊图像生成部210，根据第1存储部220中存储的PSF(Point Spread Function：点扩散函数)的集合即PSF集合和第2存储部230中存储的无模糊图像，生成对无模糊图像进行了模糊的模糊图像。模糊图像生成部210，例如对无模糊图像实施使用PSF的卷积运算(卷积积分运算)，从而生成模糊图像。模糊图像生成部210，可以将无模糊图像分割为多个区域，按照分割的每个区域，使用与该区域对应的PSF实施卷积运算。
模糊图像生成部210生成的模糊图像，可以在稍后描述的人脸复原NW模型以及人脸复原型识别NW模型中的至少一方的训练时使用，也可以在识别性能的确认时(参考稍后描述的图7)使用。
另外，PSF集合可以包括从MPH相机100拍摄的图像中提取的PSF。例如PSF集合，可以包括对MPH相机100拍摄的图像分割为多个区域并在分割的各个区域中提取的PSF。
从而，模糊图像生成部210生成的模糊图像，成为与MPH相机100拍摄的图像类似的图像。换言之，由模糊图像生成部210生成的模糊图像，成为好像多个PH图像重叠的图像。由模糊图像生成部210生成的模糊图像，有可能是在人的视觉上不能识别的图像，但是作为物体识别模型(例如人脸识别模型)的训练用的图像是能够使用的图像。
第1存储部220，对包括多个PSF的PSF集合进行存储，该多个PSF用于模糊图像生成部210生成模糊图像。PSF是示出对点光源进行拍摄时的光学系统针对像的模糊方法(劣化的办法)，是表示模糊时的强度分布的函数。PSF也可以说是在理想的点光源通过光学系统的情况下，表示光线如何展开的函数。PSF成为理想化的脉冲响应。
第2存储部230，对在第1训练部250以及第2训练部270的机器学习模型的训练所使用的图像(训练图像)进行存储。第2存储部230，存储包括多个无模糊图像的无模糊图像集合和包括多个模糊图像的模糊图像集合。无模糊图像集合，可以包括通常的相机拍摄的图像，也可以包括在因特网上公开的训练用的数据集的图像。模糊图像集合可以包括模糊图像生成部210生成的图像，也可以包括MPH相机100拍摄的图像，也可以包括上述双方的图像。另外通常的相机拍摄的图像以及在因特网上公开的训练用的数据集包括的图像是无模糊图像，是规定的图像的一例。
第3存储部240，对在第1训练部250以及第2训练部270的机器学习模型的训练所使用的教师数据(正确答案信息)进行存储。教师数据包括与模糊图像对应的无模糊图像、以及信息(ID信息)，该信息是包含模糊图像以及无模糊图像中映现的人物的特征的信息。
第1训练部250分别对被输入的模糊图像进行模糊消除处理从而输出与该模糊图像对应的无模糊图像的特征量的人脸复原神经网络模型(人脸复原NW模型)、以及被输入特征量从而输出与该特征量对应的人脸识别结果的人脸识别神经网络模型(人脸识别NW模型)进行训练。第1训练部250具有人脸复原NW训练部251和人脸识别NW训练部252。
人脸复原NW训练部251，将模糊图像作为输入图像，与该模糊图像对应的无模糊图像作为教师数据，通过机器学习来训练人脸复原NW模型。人脸复原NW模型是对被输入的图像进行模糊消除处理，从而输出模糊消除处理后的特征量的机器学习模型，是第1模型的一例。人脸复原NW模型，例如是深层学习(Deep Learning)等使用神经网络(例如，CNN(Convolutional Neural Network)的机器学习模型，但也可以是其他的机器学习模型。人脸复原NW模型，例如具有输入层、隐藏层以及输出层、隐藏层可以包括卷积层和池化层来构成。另外，复原包括从模糊图像消除模糊。
人脸识别NW训练部252，将无模糊图像作为输入图像，将用于识别该无模糊图像中映现的人物的ID信息作为教师数据，通过机器学习来训练人脸识别NW模型。人脸识别NW模型是对被输入的图像进行人脸识别处理，从而输出人脸识别结果(物体识别结果的一例)的机器学习模型，是第2模型的一例。人脸识别NW模型，例如是深层学习等的使用神经网络的机器学习模型，但也可以是其他的机器学习模型。人脸识别NW模型可以使用现有的人脸识别网络，例如可以使用“SphereFace”、“CosFace”以及“ArcFace”等。
第4存储部260对通过第1训练部250进行了训练的训练后的机器学习模型进行存储。第4存储部260存储通过人脸复原NW训练部251进行了训练的人脸复原NW模型、和通过人脸识别NW训练部252进行了训练的人脸识别NW模型。另外，存储机器学习模型是指，存储机器学习模型中的网络参数，运算的算法(机器学习算法)等的信息。
第2训练部270，对将人脸复原NW模型和人脸识别NW模型连接而成的人脸复原型识别神经网络模型(人脸复原型识别NW模型)进行训练。将人脸复原NW模型以及人脸识别NW模型连接是指，以人脸复原NW模型的输出成为人脸识别NW模型的输入的方式，对信息的输入输出建立关系。人脸复原NW模型的输出以及人脸识别NW模型的输入，成为人脸复原型识别NW模型中的中间生成物。
人脸复原型识别NW模型是使用人脸复原NW模型和人脸识别NW模型，根据模糊图像输出人脸识别结果的机器学习模型，是第3模型的一例。第2训练部270具有人脸复原型识别NW训练部271。
人脸复原型识别NW训练部271，将模糊图像作为输入图像，将用于识别该模糊图像中映现的人物的ID信息作为教师数据，通过机器学习来训练人脸复原型识别NW模型。人脸复原型识别NW训练部271是训练部的一例。
另外，第1训练部250以及第2训练部270中的机器学习，例如通过深度学习等中的误差反向传播法(BP：BackPropagation)等来实现。
第5存储部280对通过第2训练部270进行了训练的训练后的机器学习模型进行存储。第5存储部280，存储通过人脸复原型识别NW训练部271进行了训练的人脸复原型识别NW模型。
另外，第1存储部220～第5存储部280通过半导体存储器等来实现，但是不限于此。此外，第1存储部220～第5存储部280可以由相互不同的存储装置来实现，也可以由1个存储装置来实现。
信息处理系统200，将存储在第5存储部280的已训练的人脸复原型识别NW模型，通过通信输出给信息处理装置300。从而，能够使信息处理装置300具有的第7存储部320存储人脸复原型识别NW模型。
信息处理装置300，使用训练后的物体识别模型，进行物体识别。在本实施方式中，信息处理装置300，使用训练后的人脸复原型识别NW模型，进行人脸识别。信息处理装置300具备第6存储部310、第7存储部320、处理部330、输出部340、以及获得部350。
第6存储部310存储模糊图像集合，该模糊图像集合包含获得部350通过通信从MPH相机100获得的多个模糊图像(MPH图像)。该模糊图像是成为由训练后的人脸复原型识别NW模型进行人脸识别的对象的图像。模糊图像是对物体的隐私进行了保护的图像。
第7存储部320，存储从信息处理系统200输出的已训练的人脸复原型识别NW模型。
另外，第6存储部310以及第7存储部320，通过半导体存储器等来实现，但是不限于此。此外，第6存储部310以及第7存储部320，可以由相互不同的存储装置来实现，也可以由1个存储装置来实现。
处理部330，进行使模糊图像输入到人脸复原型识别NW模型从而获得人脸识别结果的处理。处理部330，对由信息处理系统200进行了训练的人脸复原型识别NW模型，输入被存储在第6存储部310中的模糊图像，将来自该人脸复原型识别NW模型的输出作为人脸识别结果来获得。处理部330是控制部的一例。
输出部340输出基于所获得的人脸识别结果的信息。输出部340，根据例如将第1模糊图像输入到人脸复原型识别NW模型而输出的第1人脸识别结果，和将不同于第1模糊图像的第2模糊图像输入到人脸复原型识别NW模型而输出的第2人脸识别结果，判断第1模糊图像中映现的人物与第2模糊图像中映现的人物是不是同一个人物，并且输出判断结果。
输出部340，例如可以被构成为包括液晶显示器等的显示装置，将该信息通过显示来输出，也可以被构成为包括通信电路，将该信息通过通信输出给外部的装置。
获得部350，从MPH相机100获得模糊图像。获得部350，将获得的模糊图像存储到第6存储部310。
如上所述，信息处理装置300，不使用无模糊图像而输出人脸识别结果，所以比起输入无模糊图像的情况，能够抑制图像泄漏等隐私流出。
[2.信息系统的动作]
接下来针对上述信息系统10的动作，参考图2～图6进行说明。
[2-1.信息处理系统的动作]
首先对信息处理系统200的动作，参考图2～图5进行说明。图2是模式性地示出本实施方式的信息处理系统200中的人脸复原型识别NW模型的训练顺序的图。图3是示出本实施方式的信息处理系统200中的人脸复原NW模型的训练处理的流程图。
如图2所示，在本实施方式中，机器学习模型的训练以第1步骤、第2步骤以及第3步骤的顺序进行训练。另外，机器学习模型的训练，至少包括第3步骤的训练就可以。
如图2所示，在第1步骤中，进行人脸复原NW模型的训练，在第2步骤中，进行人脸识别NW模型的训练，在第3步骤中，进行将人脸复原NW模型以及人脸识别NW模型连接而成的人脸复原型识别NW模型的训练。在进行第1步骤以及第2步骤的训练之后，进行第3步骤的训练。此外，进行第1步骤以及第2步骤的训练的顺序，没有特别的限定。
第1步骤是在人脸复原NW模型中，用于从被输入的模糊图像恰当地进行模糊消除处理的训练的步骤。换言之，在第1步骤中，对用于从模糊图像中复原无模糊图像的特征量的参数进行更新。第2步骤是用于从无模糊图像恰当地进行人脸识别而进行训练的步骤。换言之，在第2步骤中，对用于恰当地进行人脸识别的参数进行更新。第1步骤以及第2步骤，可以说是对人脸复原NW模型以及人脸识别NW模型进行前训练的步骤。
第3步骤是将人脸复原NW模型与人脸识别NW模型连接，重新训练人脸复原NW模型以及人脸识别NW模型的步骤。换言之，在第3步骤中，对用于从模糊图像中恰当地进行人脸识别的参数进行更新。第3步骤，可以说是对训练后的人脸复原NW模型以及人脸识别NW模型进行追加训练的进行微调的步骤。
如图3所示，在第1步骤中，人脸复原NW训练部251从第2存储部230读入模糊图像，并且从第3存储部240读入与该模糊图像对应的无模糊图像(S11)。这里模糊图像和无模糊图像是指映出相同的人物的图像。
接下来，人脸复原NW训练部251对人脸复原NW模型进行训练(S12)。如图2所示，人脸复原NW训练部251，将模糊图像作为训练图像，将无模糊图像作为教师数据，来训练人脸复原NW模型。从而，人脸复原NW模型以输出的特征量与教师数据之间的误差变小的方式，被更新参数。人脸复原NW模型，在被输入模糊图像时，能够输出与该模糊图像对应的无模糊图像的特征量。
这里的特征量例如是尺寸为横宽×纵宽×通道数的张量。张量的横宽，与教师数据即无模糊图像的横宽相同，张量的纵宽，例如与教师数据即无模糊图像的纵宽相同，张量的通道数，与教师数据即无模糊图像的通道数相同。关于通道数，例如是3个通道，一个像素由RGB(Red，Green，Blue)构成。换言之，特征量的张量与无模糊图像的张量为尺寸相同。
此外，关于特征量，张量的值按照复原的程度有时为图像的情况，也有不是图像的情况。不是图像的情况是指，例如单通道的值表现为8bit(0～255)的情况下，像素的至少1个值为0～255以外的值的信息的情况。
接下来，人脸复原NW训练部251，输出训练后的人脸复原NW模型的参数(S13)。输出的参数，存储在第4存储部260。
接下来，在第2步骤中，参考图2以及图4进行说明。图4是示出本实施方式的信息处理系统200中的人脸识别NW模型的训练处理的流程图。
如图4所示，在第2步骤中，人脸识别NW训练部252，从第2存储部230读入无模糊图像，并且从第3存储部240读入在该无模糊图像中映现的人物的ID信息(S21)。这里无模糊图像的张量，与在步骤S11的读入并在人脸复原NW模型的训练时作为教师数据而使用的无模糊图像的张量为尺寸相同。
接下来，人脸识别NW训练部252，对人脸识别NW模型进行训练(S22)。如图2所示，人脸识别NW训练部252，将无模糊图像作为训练图像，将与该无模糊图像对应的ID信息作为教师数据，来训练人脸识别NW模型。从而，人脸识别NW模型，以针对无模糊图像的输出与教师数据之间的误差变小的方式，对参数进行更新。
另外，人脸识别NW训练部252，可以将相互进行比较的2个无模糊图像作为训练图像，将表示在该2个无模糊图像中映现的人物彼此是否为同一个人物的信息作为教师数据，来训练人脸识别NW模型。
接下来，人脸识别NW训练部252，输出训练后的人脸识别NW模型的参数(S23)。被输出的参数，存储到第4存储部260。
接下来针对第3步骤，参考图2以及图5进行说明。图5是示出本实施方式的信息处理系统200中的人脸复原型识别NW模型的训练处理的流程图。
如图5所示，在第3步骤中，人脸复原型识别NW训练部271，从第4存储部260读入人脸复原NW模型以及人脸识别NW模型(S31)。步骤S31是获得第3模型的一例。此外，人脸复原型识别NW训练部271，作为获得部发挥作用。
接下来，人脸复原型识别NW训练部271，从第2存储部230读入模糊图像，并且从第3存储部240读入该模糊图像中映现的人物的ID(ID信息)(S32)。在步骤S32读入的模糊图像是训练图像的一例，可以包括由MPH相机100进行摄像而得到的图像，也可以包括对规定的图像卷积点扩散函数而得到的图像，也可以包括这些双方的图像。ID信息是正确答案数据的一例。
另外，在步骤S32读入的模糊图像，例如可以是与步骤S11读入的模糊图像不同的模糊图像，也可以是至少一部分的模糊图像重复。
接下来，人脸复原型识别NW训练部271，对将人脸复原NW模型以及人脸识别NW模型连接而成的人脸复原型识别NW模型进行训练(S33)。如图2所示，人脸复原型识别NW训练部271，以向人脸复原型识别NW模型输入模糊图像，从而从人脸复原型识别NW模型输出的人脸识别结果(物体识别结果的一例)、和与模糊图像对应的人脸识别结果的教师数据即ID信息之间的差变小的方式，通过机器学习来训练人脸复原型识别NW模型。具体而言，人脸复原型识别NW训练部271，获得与将模糊图像输入到人脸复原NW模型而得到的该模糊图像对应的无模糊图像的特征量，并且获得与将所获得的特征量输入到人脸识别NW模型而得到的该特征量对应的人脸识别结果。而且，人脸复原型识别NW训练部271，以人脸识别结果与ID信息之间的差变小的方式，更新人脸复原型识别NW模型的参数。第3步骤，不使用没有保护隐私的无模糊图像来进行。
从而，人脸复原NW模型，以适应人脸识别NW模型的方式被进行训练。换言之，人脸复原NW模型，被训练为输出如下特征量，该特征量是能够正确地输出人脸识别NW模型的输出即人脸识别结果的特征量。人脸复原NW模型，在第1步骤被训练为从模糊图像输出无模糊图像，但是在第3步骤被训练为能够从模糊图像输出与人脸识别NW模型适应的特征量。以能够提取与人脸识别NW模型适应的特征量的方式进行了训练的人脸复原NW模型，与由第1步骤训练时相比，有可能发生模糊的消除程度降低。另外，特征量可以是图像。
人脸复原型识别NW模型，以输出的人脸识别结果与教师数据的误差变小的方式，被更新参数。人脸复原型识别NW模型，在被输入模糊图像时，能够输出与该模糊图像适合的人脸识别结果。
这样，通过进行第3步骤，与仅仅是将被进行了第1步骤的训练的人脸复原NW模型与被进行了第2步骤的训练的人脸识别NW模型连接的机器学习模型相比，能够提高被输出的人脸识别结果的精度。
另外，人脸复原型识别NW训练部271，可以在步骤S33，更新人脸复原NW模型以及人脸识别NW模型的至少一方的参数。人脸复原型识别NW训练部271，例如可以在步骤S33，更新人脸复原NW模型的参数，也可以进一步更新人脸识别NW模型的参数。
接下来，人脸复原型识别NW训练部271，输出训练后的人脸复原型识别NW的参数(S34)。人脸复原型识别NW训练部271，经由通信部(未图示)输出到信息处理装置300。此外，人脸复原型识别NW训练部271，可以将人脸复原型识别NW的参数存储到第5存储部280。人脸复原型识别NW训练部271，作为输出部来发挥作用。
[2-2.信息处理装置的动作]
接下来针对上述的信息处理装置300的动作，参考图6进行说明。图6是示出本实施方式的信息处理装置300中的人脸复原型识别NW模型的识别处理的流程图。另外，设为将训练后的人脸复原型识别NW模型存储在第7存储部320，模糊图像存储在第6存储部310。
如图6所示，处理部330从第6存储部310读入模糊图像(S41)。模糊图像是通过MPH相机100进行拍摄的图像。
接下来处理部330，从第7存储部320读出人脸复原型识别NW模型，向读出的人脸复原型识别NW模型输入模糊图像(S42)。处理部330，通过向人脸复原NW模型输入模糊图像，从而获得与人脸复原NW模型的输出即该模糊图像对应的无模糊图像的特征量。而且，处理部330，通过向人脸识别NW模型输入所获得的无模糊图像的特征量，从而获得人脸识别结果。
接下来输出部340输出人脸识别结果(S43)。
这样，信息处理装置300，不使用没有保护隐私的无模糊图像，就能够进行人脸识别，所以能够保护在模糊图像映现的人物的隐私。
[3.实验结果]
在此关于如上所述生成的人脸复原型识别NW模型的识别性能，参考图7以及图8进行说明。图7是示出将由模糊图像生成部210生成的模糊图像作为训练图像来训练了人脸复原型识别NW模型的情况下的，每个训练条件的识别性能的比较(模拟实验结果)的图。图8是示出将由多针孔相机100拍摄的模糊图像作为训练图像来训练了人脸复原型识别NW模型的情况下的，每个训练条件的识别性能的比较的图。
在图7以及图8中的LFW(Labelled Faces in the Wild)、CPLFW(Cross-Pose LFW)以及CALFW(Cross-Age LFW)是表示在实验中使用的公知的数据集。PSFid表示模糊图像生成部210使用的PSF。在以“3-025”为例进行说明时，表示使用具有针孔的数量为3，针孔的间隔为0.25mm的多针孔掩膜的MPH相机100而获得的PSF。
在图7中，在训练时所使用的机器学习用的数据集是MS1MV2。训练图像是对MS1MV2包括的图像(规定的图像的一例)卷积由PSFid所示的PSF，从而生成的模糊图像。在图8中，在训练时使用的训练图像是由MPH相机100拍摄的模糊图像。MPH相机100具有的多针孔掩膜是“3-025”以及“9-025”。此外，在实验时使用的评估图像是对在LFW、CPLFW以及CALFW中包括的图像，卷积由PSFid所示的PSF而生成的模糊图像。
“SphereFace”，“CosFace”以及“ArcFace”表示在人脸识别NW模型中使用的公知的人脸识别网络。
训练条件是(A)～(D)的4个条件。条件(A)表示向以模糊图像进行了学习的人脸识别NW模型输入了评估图像时的正确答案率(％)。条件(B)表示向训练时进行了第1步骤～第3步骤中的第1步骤以及第3步骤的人脸复原型识别NW模型输入了评估图像时的正确答案率。条件(C)表示向训练时仅进行了第1步骤～第3步骤中的第1步骤以及第2步骤的人脸复原型识别NW模型输入了评估图像时的正确答案率。换言之，条件(C)表示向在训练时没有进行第3步骤的人脸复原型识别NW模型输入了评估图像时的正确答案率。条件(D)表示向训练时进行了第1步骤～第3步骤中的所有步骤的人脸复原型识别NW模型输入了评估图像时的正确答案率。
此外，PSFid的下面的“SphereFace”，“CosFace”以及“ArcFace”的右侧的数值，分别表示作为评价图像向人脸识别NW模型输入了LFW、CPLFW或者CALFW中包括的无模糊图像时的正确答案率，也可以记载为无模糊图像正确答案率。
如图7以及图8的条件(B)～(D)所示，能够知道在使用将人脸复原NW模型以及人脸识别NW模型连接而成的人脸复原型识别NW模型的情况下，整体上获得了一定程度的正确答案率。在条件(B)中，比没有进行第3步骤的条件(C)，正确答案率高。此外关于特定的人脸识别NW(例如图7的SphereFace、ArcFace)，在一部分上比条件(A)正确答案率高。另一方面，条件(C)的正确答案率不及条件(A)的正确答案率。换言之，通过进行第3步骤，能够提高识别性能。此外，在条件(D)中，能够知道在整体上能够获得与无模糊图像正确答案率同等程度的正确答案率。换言之，能够知道分别进行第1步骤～第3步骤来训练人脸复原型识别NW模型，就能够获得与使用了无模糊图像的人脸识别同等程度的识别性能。另外向以被公开的无模糊图像进行了训练的人脸识别NW模型(即没有像条件(A)一样使用模糊图像来进行训练的人脸识别NW模型)，输入了实验中使用的评估图像的情况下，很多情况下不能识别人脸，可以想到人脸识别结果的正确答案率比起图7以及图8的条件(B)～(D)非常低。
如上所述，本实施方式涉及的信息处理系统200，针对将人脸复原NW模型与人脸识别NW模型连接而成的人脸复原型识别NW模型，以输入模糊图像从而从人脸复原型识别NW模型输出的人脸识别结果、和与模糊图像对应的人脸识别结果的正确答案数据之间的差变小的方式，通过机器学习来训练人脸复原型识别NW模型。
(实施方式的变形例1)
接下来针对本变形例涉及的信息处理系统，参考图9进行说明。图9是示出本实施方式的信息处理系统中的人脸复原型识别NW模型的训练处理的流程图。本变形例中的信息处理系统与实施方式中的信息处理系统200的不同之处，主要是按照人脸复原型识别NW训练部进行训练时的模糊图像(训练图像)包含的模糊的程度(模糊程度)，来变更人脸复原NW模型以及人脸识别NW模型的学习率。接下来针对本变形例的信息处理系统，以与实施方式的信息处理系统200的不同点为中心进行说明。此外，在本变形例中信息处理系统的结构与实施方式的信息处理系统200相同，赋予实施方式的信息处理系统200相同的符号，并且省略或简化说明。此外，在图9中，与图5相同或类似的处理，赋予与图5相同的符号，省略或简化说明。另外，学习率是参数更新程度的一例。
如图9所示，本变形例中的信息处理系统200的人脸复原型识别NW训练部271，在读入模糊图像和ID(ID信息)(S32)时，对读入的模糊图像的模糊程度进行判断(S131)。模糊图像的模糊程度，可以通过对模糊图像进行图像分析来进行判断。此外，关于模糊图像的模糊程度，在模糊图像是MPH相机100拍摄的图像的情况下，可以根据MPH相机的100的规格(针孔的数量，针孔的间隔等)来进行判断。此外，关于模糊图像的模糊程度，在模糊图像是由模糊图像生成部210生成的图像的情况下，可以根据在该模糊图像的生成中使用的PSF来进行判断。人脸复原型识别NW训练部271，也可以例如将模糊图像的模糊程度，判断为预先设定的模糊程度(1～10等的数值，或者“高”、“中”、“低”等的级别)中的任一个。
人脸复原型识别NW训练部271，可以将人脸复原型识别NW模型的训练中使用的多个模糊图像的模糊程度的统计值，作为该训练中的模糊图像的模糊程度来判断。统计值是多个模糊图像各自的模糊程度的平均值、中值、众数、最小值或者最大值的任一值，但是不限于此。
此外，人脸复原型识别NW训练部271，可以进一步对被判断的模糊程度是否为第1阈值以上进行判断。第1阈值可以被预先设定，存储在第4存储部260中。
接下来，人脸复原型识别NW训练部271，按照被判断的模糊程度，决定人脸复原NW模型以及人脸识别NW模型的学习率(S132)。人脸复原型识别NW训练部271，例如可以决定在步骤S133的训练时使用的人脸复原NW模型以及人脸识别NW模型的学习率的1个组合，也可以按照每个模糊图像决定学习率的组合。
人脸复原型识别NW训练部271，例如在模糊程度大时，可以将人脸复原NW模型的学习率比人脸识别NW模型的学习率大的方式来决定学习率。人脸复原型识别NW训练部271，例如可以是模糊程度越大，人脸复原NW模型的学习率比人脸识别NW模型的学习率更大的方式来决定学习率。换言之，人脸复原型识别NW训练部271，例如可以是模糊程度越大，人脸复原NW模型的学习率与人脸识别NW模型的学习率之间的差更大、并且人脸复原NW模型的学习率更高的方式来决定学习率。
此外，人脸复原型识别NW训练部271，例如在模糊程度小时，可以将人脸复原NW模型的学习率比人脸识别NW模型的学习率小的方式来决定学习率。人脸复原型识别NW训练部271，例如可以是模糊程度越小，人脸复原NW模型的学习率比人脸识别NW模型的学习率更小的方式来决定学习率。换言之，人脸复原型识别NW训练部271，例如可以是模糊程度越小，人脸复原NW模型的学习率与人脸识别NW模型的学习率之间的差更大、并且人脸识别NW模型的学习率更高的方式来决定学习率。
此外，人脸复原型识别NW训练部271，例如被判断的模糊程度为第1阈值以上的情况下，人脸复原NW模型的学习率比人脸识别NW模型学习率大的方式来决定学习率，在被判断的模糊程度比第1阈值小的情况下，以人脸复原NW模型的学习率比人脸识别NW模型的学习率小的方式来决定学习率。
此外，人脸复原型识别NW训练部271，可以是例如在被判断的模糊程度为第1阈值以上的情况下，比起模糊程度小于第1阈值的情况，学习率更大的方式来决定学习率。
此外，人脸复原型识别NW训练部271，可以按照模糊图像的模糊程度，阶段性地设定学习率。人脸复原型识别NW训练部271，例如在被判断的模糊程度为第1阈值以上、并且小于比第1阈值大的第2阈值的情况下，将人脸复原NW模型的学习率决定为比人脸识别NW模型的学习率高的第1学习率，在被判断的模糊程度为第2阈值以上的情况下，将人脸复原NW模型的学习率决定为比第1学习率高的第2学习率。
此外，人脸复原型识别NW训练部271，可以是以模糊程度越大，人脸复原NW模型的学习率相对于人脸识别NW模型的学习率更小的方式来决定学习率，以模糊程度越小，人脸复原NW模型的学习率相对于人脸识别NW模型的学习率更大的方式来决定学习率。
这样人脸复原NW模型的学习率、以及人脸识别NW模型的学习率，可以按照第3步骤中使用的模糊图像的模糊程度，被决定为彼此不同的学习率。
接下来人脸复原型识别NW训练部271，使用被决定的学习率，训练人脸复原型识别NW模型(S133)。人脸复原型识别NW训练部271，按照被决定的学习率，对人脸复原NW模型以及人脸识别NW模型各自的参数进行更新。从而，人脸复原型识别NW模型，使用与在训练中使用的模糊图像的模糊程度对应的学习率来进行训练，所以参数被更新为能够进行更加适合模糊图像的人脸识别。
另外以上说明了按照模糊程度使人脸复原NW模型的参数更新程度(以下称为D1)，比人脸识别NW模型的参数更新程度(以下称为D2)大或者小的例子，但是参数的更新程度的变更不限于上述例子。具体而言，按照模糊程度，D1可以不依赖于D2来进行变更。例如在D2>D1的情况下，模糊程度比阈值大时，D1增大，但是增大后的D1可以比D2小。
(实施方式的变形例2)
接下来针对本变形例中的信息处理系统，参考图10进行说明。图10是示出本变形例中的信息处理系统中的人脸复原型识别NW模型的训练处理的流程图。本变形例中的信息处理系统与实施方式中的信息处理系统200的不同之处，主要是人脸复原型识别NW训练部按照人脸复原NW模型的性能，变更人脸复原NW模型以及人脸识别NW模型的学习率。接下来针对本变形例的信息处理系统，以与实施方式的信息处理系统200的不同点为中心进行说明。此外，在本变形例中信息处理系统的结构与实施方式的信息处理系统200相同，赋予与实施方式的信息处理系统200相同的符号，并且省略或简化说明。此外，在图10中，与图5相同或类似的处理，赋予与图5相同的符号，省略或简化说明。
如图10所示，本变形例中的信息处理系统200的人脸复原型识别NW训练部271，在读入模糊图像和ID(ID信息)(S32)时，对步骤S31中读入的人脸复原NW模型的性能进行判断(S231)。人脸复原NW模型的性能，可以根据人脸复原NW模型中的模糊图像的复原精度(模糊消除性能)来进行判断。人脸复原NW模型的性能，例如可以根据与在第1步骤的训练中使用的模糊图像不同的模糊图像输入到人脸复原NW模型从而得到的输出(特征量)、和与该模糊图像对应的教师数据(无模糊图像的特征量)之间的差分，来进行判断。
人脸复原型识别NW训练部271，可以将输出与教师数据之间的差分的统计值，作为人脸复原NW模型的性能来判断。统计值是与多个模糊图像对应的多个差分的平均值、中值、众数、最小值或者最大值的任一值，但是不限于此。
此外，人脸复原型识别NW训练部271，可以进一步对被判断的差分是否为第1阈值以上进行判断。第1阈值可以被预先设定，并存储在第4存储部260中。
接下来人脸复原型识别NW训练部271，按照人脸复原NW模型的性能，决定人脸复原NW模型以及人脸识别NW模型的学习率(S232)。人脸复原型识别NW训练部271，例如，可以决定在步骤S133的训练时使用的人脸复原NW模型以及人脸识别NW模型的学习率的一个组合，也可以按照每个模糊图像决定学习率的组合。
人脸复原型识别NW训练部271，例如在人脸复原NW模型的性能高时，可以将人脸复原NW模型的学习率比人脸识别NW模型的学习率小的方式来决定学习率。人脸复原型识别NW训练部271，例如可以是人脸复原NW模型的性能越大，人脸复原NW模型的学习率比人脸识别NW模型的学习率更小的方式来决定学习率。换言之，人脸复原型识别NW训练部271，例如可以是人脸复原NW模型的性能越大，人脸复原NW模型的学习率与人脸识别NW模型的学习率之间的差更大、并且人脸识别NW模型的学习率更高的方式来决定学习率。
此外，人脸复原型识别NW训练部271，例如在人脸复原NW模型的性能低时，可以将人脸复原NW模型的学习率比人脸识别NW模型的学习率大的方式来决定学习率。人脸复原型识别NW训练部271，例如可以是人脸复原NW模型的性能越低，人脸复原NW模型的学习率比人脸识别NW模型的学习率更大的方式来决定学习率。换言之，人脸复原型识别NW训练部271，例如可以是人脸复原NW模型的性能越低，人脸复原NW模型的学习率与人脸识别NW模型的学习率之间的差更大、并且人脸复原NW模型的学习率更高的方式来决定学习率。
此外，人脸复原型识别NW训练部271，例如在判断出的人脸复原NW模型的性能为第1阈值以上的情况下，以人脸复原NW模型的学习率比人脸识别NW模型的学习率小的方式来决定学习率，在判断出的人脸复原NW模型的性能比第1阈值低的情况下，以人脸复原NW模型的学习率比人脸识别NW模型的学习率大的方式来决定学习率。
此外，人脸复原型识别NW训练部271，例如在判断出的人脸复原NW模型的性能为第1阈值以上的情况下，与人脸复原NW模型的性能小于第1阈值的情况相比，学习率变小的方式来决定学习率。
此外，人脸复原型识别NW训练部，可以按照人脸复原NW模型的性能，阶段性地设定学习率。人脸复原型识别NW训练部271，例如在判断出的人脸复原NW模型的性能为第1阈值以上并且小于比第1阈值高的第2阈值的情况下，将人脸复原NW模型的学习率决定为比人脸识别NW模型的学习率低的第1学习率，在判断出的人脸复原NW模型的性能为第2阈值以上的情况下，将人脸复原NW模型的学习率决定为比第1学习率低的第2学习率。
这样人脸复原NW模型的学习率以及人脸识别NW模型的学习率，可以按照在第1步骤中进行了训练的训练后的人脸复原NW模型的性能，被决定为彼此不同的学习率。
接下来，人脸复原型识别NW训练部271使用被决定的学习率，训练人脸复原型识别NW模型(S133)。人脸复原型识别NW训练部271，按照被决定的学习率，分别对人脸复原NW模型以及人脸识别NW模型的参数进行更新。从而，人脸复原型识别NW模型，使用与在第1步骤中进行了训练的人脸复原NW模型的性能对应的学习率进行训练，所以在第3步骤，能够以更适合人脸复原NW模型的性能的方式进行参数的更新。
另外以上说明了按照人脸复原NW模型的性能使人脸复原NW模型的参数更新程度(以下称为D1)，比人脸识别NW模型的参数更新程度(以下称为D2)大或者小的例子，但是参数的更新程度的变更不限于上述例子。具体而言，按照人脸复原NW模型的性能，D1可以不依赖于D2来进行变更。例如在D2>D1的情况下，人脸复原NW模型的性能比阈值大时，D1增大，但是增大后的D1可以比D2小。
(其他实施方式)
以上基于实施方式对本公开的实施方式以及各个变形例(以下也称为实施方式等)进行了说明，不过本公开并非受上述实施方式等的限制。在不超出本公开的主旨的范围内，将本领域技术人员所能够想到的各种变形执行于本实施方式等而得到的形态、对不同的实施方式中的构成要素进行组合而构成的形态也包括在本公开的一个或多个方案的范围内。
此外，在上述实施方式等说明了图像是由相机获得的例子，但是不限于此。图像可以是通过CG(Computer Graphics)而生成的图像。
此外，在上述实施方式等说明了图像是由可见光相机获得的图像的例子，但是不限于此。图像可以是由红外线相机、或者紫外线相机等不可见光相机而获得的图像，也可以是多光谱相机等能够涵盖可见光以及不可见光的双方的相机而获得的图像。
此外，在上述实施方式等说明了信息处理装置进行识别时，将MPH相机拍摄的图像作为输入图像而使用的例子，但是作为输入图像也可以使用由模糊图像生成部等生成的模糊图像。
此外，在上述实施方式等中，对人脸识别是在2个模糊图像(人脸图像)中映现的人物是否为同一人物进行判断(1：1认证)为例进行了说明，但是不限于此，在预先被赋予了N个人的模糊图像(人脸图像)的状态下，被输入了没有确定个人的模糊图像时，进行该模糊图像中映现的人物是N个人中的哪一个的判断、或者哪一个都不是的判断(1：N认证)。
此外，在上述实施方式等说明了机器学习模型是使用了神经网络的机器学习模型的例子，但是也可以是其他的机器学习模型。例如，机器学习模型也可以是使用了RandomForest、Genetic Programming等的机器学习模型。
此外，在上述实施方式等说明了在信息处理装置进行使用训练后的物体识别模型的物体识别处理的例子，但是该物体识别处理也可以在信息处理系统进行。此外，信息处理装置可以内置在多针孔相机中。
此外在上述实施方式等中说明的多个处理的顺序是一例。多个处理的顺序可以变更，多个处理也可以并行执行。此外，多个处理的一部分也可以不执行。
此外，方框图中的功能块的分割是一例，可以将多个功能块作为一个功能块来实现，或者将一个功能块分割为多个，或者将一部分功能转移到其他功能块。此外，具有类似的功能的多个功能块的功能，可以由单一硬件或者软件并行或者分时地处理。
此外，信息处理系统或者信息处理装置可以分别作为单一的装置来实现，也可以通过多个装置来实现。例如第1训练部和第2训练部，可以通过相互不同的装置来实现。在信息处理系统或者信息处理装置由多个装置来实现的情况下，信息处理系统或者信息处理装置具备的构成要素，可以以任意方式分配到多个装置中。此外多个装置间的通信方法，没有特别限定。
此外，在上述实施方式等中说明的各个构成要素，可以作为软件来实现，典型的是由集成电路即LSI来实现。这些可以分别单片化，或者包括一部分或者全部的方式单片化。再此说明为LSI，但是根据集成度的不同有时也可以称为IC、系统LSI、超大LSI、特大LSI。此外，集成电路化的方法不限于LSI，可以通过专用电路或者通用处理器来实现。也可以使用在LSI制造后可编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、或者可重构LSI内部的电路单元的连接或者设定的可重构处理器。进而，随着半导体技术的进步或者派生出的别的技术，出现能够替代LSI的集成电路化技术时，当然可以使用该技术进行构成要素的集成化。
进而本公开的技术可以是上述程序，也可以是上述程序中记录的非暂时的计算机可读取的记录介质。此外，上述程序当然可以经由因特网等传输介质而流通。例如上述程序以及由上述程序而成的数字信号，经由电通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等传输。此外，上述程序以及由上述程序而成的数字信号，通过记录在记录介质并移送，或者经由网络等移送，从而可以由独立的其他的计算机系统来执行。
另外，在实施方式等中，各个构成要素，可以由专用的硬件构成，或者由执行适合各个构成要素的软件程序来实现。各个构成要素，可以由CPU或者处理器等的程序执行部，读出并执行在硬盘或者半导体存储器等记录介质中记录的软件程序来实现。
本公开能够广泛利用于使用图像进行物体识别的装置。
符号说明
10 信息系统
100 多针孔相机(MPH相机)
200 信息处理系统
210 模糊图像生成部
220 第1存储部
230 第2存储部
240 第3存储部
250 第1训练部
251 人脸复原NW训练部
252 人脸识别NW训练部
260 第4存储部
270 第2训练部
271 人脸复原型识别NW训练部(获得部，训练部，输出部)
280 第5存储部
300 信息处理装置
310 第6存储部
320 第7存储部
330 处理部(控制部)
340 输出部
350 获得部。

Claims (13)

1.一种信息处理方法，由计算机执行，在所述信息处理方法中，
获得以第1模型的输出成为第2模型的输入的方式将所述第1模型与所述第2模型连接而成的第3模型，所述第1模型是对被输入的图像进行模糊消除处理从而输出特征量的机器学习模型，所述第2模型是对被输入的图像进行物体识别处理从而输出物体识别结果的机器学习模型，
以向所述第3模型输入包含模糊的训练图像从而从所述第3模型输出的所述物体识别结果、和与所述训练图像对应的所述物体识别结果的正确答案数据之间的差变小的方式，通过机器学习来训练所述第3模型，
输出训练后的所述第3模型。
2.如权利要求1所述的信息处理方法，
在所述第3模型的训练中，对所述第3模型具有的所述第1模型的参数进行更新。
3.如权利要求2所述的信息处理方法，
在所述第3模型的训练中，进一步对所述第3模型具有的所述第2模型的参数进行更新。
4.如权利要求3所述的信息处理方法，
在所述第3模型的训练中，进一步，
对所述训练图像中包含的模糊的程度进行判断，
按照所述模糊的程度，决定所述第1模型以及所述第2模型的参数更新程度，
按照被决定的所述参数更新程度，对所述第3模型具有的所述第1模型以及所述第2模型的参数进行更新。
5.如权利要求4所述的信息处理方法，
在所述参数更新程度的决定中，
在所述模糊的程度比阈值大的情况下，将所述第1模型的所述参数更新程度决定为比所述第2模型的所述参数更新程度大。
6.如权利要求4所述的信息处理方法，
在所述参数更新程度的决定中，
在所述模糊的程度比阈值小的情况下，将所述第1模型的所述参数更新程度决定为比所述第2模型的所述参数更新程度小。
7.如权利要求3所述的信息处理方法，
在所述第3模型的训练中，进一步，
对所述第1模型的性能进行判断，
按照所述性能，决定所述第1模型以及所述第2模型的参数更新程度，
按照被决定的所述参数更新程度，对所述第3模型具有的所述第1模型以及所述第2模型的参数进行更新。
8.如权利要求7所述的信息处理方法，
在所述参数更新程度的决定中，
在所述性能比阈值高的情况下，将所述第1模型的所述参数更新程度决定为比所述第2模型的所述参数更新程度小。
9.如权利要求7所述的信息处理方法，
在所述参数更新程度的决定中，
在所述性能比阈值低的情况下，将所述第1模型的所述参数更新程度决定为比所述第2模型的所述参数更新程度大。
10.如权利要求1至9的任一项所述的信息处理方法，
所述训练图像包括由多针孔相机进行拍摄而得到的图像。
11.如权利要求1至9的任一项所述的信息处理方法，
所述训练图像包括对规定的图像卷积点扩散函数而得到的图像。
12.一种信息处理系统，具备：
获得部，获得以第1模型的输出成为第2模型的输入的方式将所述第1模型与所述第2模型连接而成的第3模型，所述第1模型是对被输入的图像进行模糊消除处理从而输出特征量的机器学习模型，所述第2模型是对被输入的图像进行物体识别处理从而输出物体识别结果的机器学习模型；
训练部，以向所述第3模型输入包含模糊的训练图像从而从所述第3模型输出的所述物体识别结果、和与所述训练图像对应的所述物体识别结果的正确答案数据之间的差变小的方式，通过机器学习来训练所述第3模型；以及
输出部，输出训练后的所述第3模型。
13.一种信息处理装置，具备：
获得部，获得包含模糊的图像；
控制部，将所述包含模糊的图像输入到第3模型从而获得物体识别结果，所述第3模型是以第1模型的输出成为第2模型的输入的方式将所述第1模型与所述第2模型连接而成的模型，所述第1模型是对被输入的图像进行模糊消除处理从而输出特征量的机器学习模型，所述第2模型是对被输入的图像进行物体识别处理从而输出所述物体识别结果的机器学习模型；以及
输出部，对基于所获得的所述物体识别结果的信息进行输出，
所述第3模型是利用被输入包含模糊的训练图像从而从所述第3模型输出的所述物体识别结果以及与所述训练图像对应的所述物体识别结果的正确答案数据，通过机器学习而被训练的机器学习模型。
CN202180017616.8A 2020-03-02 2021-01-27 信息处理方法、信息处理系统、以及信息处理装置 Pending CN115191004A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062984011P 2020-03-02 2020-03-02
US62/984,011 2020-03-02
JP2020145219 2020-08-31
JP2020-145219 2020-08-31
PCT/JP2021/002859 WO2021176899A1 (ja) 2020-03-02 2021-01-27 情報処理方法、情報処理システム、及び、情報処理装置

Publications (1)

Publication Number Publication Date
CN115191004A true CN115191004A (zh) 2022-10-14

Family

ID=77614186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180017616.8A Pending CN115191004A (zh) 2020-03-02 2021-01-27 信息处理方法、信息处理系统、以及信息处理装置

Country Status (5)

Country Link
US (1) US20220398766A1 (zh)
EP (1) EP4116929A4 (zh)
JP (1) JPWO2021176899A1 (zh)
CN (1) CN115191004A (zh)
WO (1) WO2021176899A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117706376A (zh) * 2024-02-04 2024-03-15 深圳海辰储能科技有限公司 电池容量预测方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12131446B2 (en) * 2021-07-06 2024-10-29 GE Precision Healthcare LLC Self-supervised deblurring
EP4436199A1 (en) * 2021-12-27 2024-09-25 Panasonic Intellectual Property Corporation of America Image identification system, image identification method, image identification program, and computer-readable non-temporary recording medium having image identification program recorded thereon
CN114596571B (zh) * 2022-03-14 2024-10-18 浙江大学 一种智能无透镜文字识别系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4881278B2 (ja) * 2007-10-31 2012-02-22 株式会社東芝 物体認識装置及びその方法
JP6811965B2 (ja) 2017-09-29 2021-01-13 株式会社Ｓｐｅｃｔｅｅ 画像処理装置、画像処理方法及びプログラム
JP2019096146A (ja) * 2017-11-24 2019-06-20 キヤノン株式会社 画像識別装置、画像識別方法、コンピュータプログラム、及び記憶媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117706376A (zh) * 2024-02-04 2024-03-15 深圳海辰储能科技有限公司 电池容量预测方法、装置、电子设备及存储介质
CN117706376B (zh) * 2024-02-04 2024-05-24 深圳海辰储能科技有限公司 电池容量预测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2021176899A1 (ja) 2021-09-10
EP4116929A4 (en) 2023-07-05
JPWO2021176899A1 (zh) 2021-09-10
US20220398766A1 (en) 2022-12-15
EP4116929A1 (en) 2023-01-11

Similar Documents

Publication Publication Date Title
CN115191004A (zh) 信息处理方法、信息处理系统、以及信息处理装置
CN110428366B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110276767B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
Swaminathan et al. Nonintrusive component forensics of visual sensors using output images
CN108537155B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109214337B (zh) 一种人群统计方法、装置、设备及计算机可读存储介质
Villalba et al. Smartphone image clustering
KR101223046B1 (ko) 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법
US11416707B2 (en) Information processing method, information processing system, and information processing apparatus
JP5457606B2 (ja) 画像処理方法及び装置
CN109948439B (zh) 一种活体检测方法、系统及终端设备
CN111753869A (zh) 图像处理方法、图像处理装置、存储介质、图像处理系统及已学习模型制造方法
CN110059607B (zh) 活体多重检测方法、装置、计算机设备及存储介质
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN113505682B (zh) 活体检测方法及装置
CN110147708B (zh) 一种图像数据处理方法和相关装置
CN116057570A (zh) 机器学习装置以及图像处理装置
JP7539795B2 (ja) 情報処理方法、情報処理システム、及び、情報処理装置
CN112070954A (zh) 活体识别方法、装置、设备及存储介质
CN117173232A (zh) 深度图像的获取方法、装置及设备
CN108737733B (zh) 信息提示方法和装置、电子设备、计算机可读存储介质
CN113553928B (zh) 一种人脸活体检测方法、系统和计算机设备
CN115280754A (zh) 数据生成方法、学习方法、估计方法、数据生成装置和程序
JP2018049396A (ja) 形状推定方法、形状推定装置および形状推定プログラム
WO2022044953A1 (ja) 画像処理装置、機械学習モデルの訓練方法、識別装置、及び、画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination