CN113454634A - 信息处理系统、信息处理装置、信息处理方法和程序 - Google Patents

信息处理系统、信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN113454634A
CN113454634A CN201880100712.7A CN201880100712A CN113454634A CN 113454634 A CN113454634 A CN 113454634A CN 201880100712 A CN201880100712 A CN 201880100712A CN 113454634 A CN113454634 A CN 113454634A
Authority
CN
China
Prior art keywords
image
feature information
information
person
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880100712.7A
Other languages
English (en)
Inventor
川濑伸明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN113454634A publication Critical patent/CN113454634A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/23—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on positionally close patterns or neighbourhood relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Collating Specific Patterns (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

一种信息处理装置(100)包括：对照单元(102)，其将从第一图像(10)中所包括的人员提取的第一特征信息与指示检索目标人员的特征的第一特征信息进行对照；提取单元(104)，在对照单元(102)中的对照结果指示匹配的情况下，其从第一图像中所包括的人员提取第二特征信息；以及记录单元(106)，其将从第一图像中所包括的人员提取的第二特征信息存储在第二特征信息存储单元(110)中。

Description

信息处理系统、信息处理装置、信息处理方法和程序
技术领域
本公开涉及一种能够执行图像识别处理的信息处理系统、信息处理装置、信息处理方法和程序。
背景技术
近年来，已经开发了通过使用图像来检测与期望条件相匹配的人员的技术。例如，专利文献1公开了一种系统，该系统判断在街道等中捕获的移动图像中是否包括诸如失踪人员或被通缉的罪犯的预定人员。该系统生成捕获图像的每个帧中所包括的面部图像的特征数据，比较所生成的多条特征数据，从而对每个人员的特征数据进行排列，使得同一人员的特征数据被包括在单个组中。该系统基于排列后的特征数据为每个人员确定代表特征数据，并将所确定的特征数据和与所确定的特征数据相对应的面部图像中的至少一个作为代表面部数据传输给面部识别装置。面部识别装置将所传输的数据与记录在面部数据字典中的预定人员的面部数据进行对照。
专利文献2公开了一种图像处理装置，其从由不同相机捕获的图像中标识同一人员，从而自动追踪该人员。不同的相机从不同方向捕获人员的图像。
专利文献3公开了一种技术，其从时间上相距较远的帧或由不同相机获得的人员图像序列中检测人员的步行状态，并基于步行状态判断不同图像序列中所包括的人员是否为同一人员。
相关文献
专利文献
[专利文献1]日本特开第2017-182210号公报
[专利文献2]日本特开第2015-2547号公报
[专利文献3]国际公布No.WO2006/013765
发明内容
技术问题
本发明人研究了一种新技术，用于通过使用对其他图像的图像处理来标识在原始图像中无法标识的人员。换言之，本公开的目的是提供一种技术，用于通过使用对其他图像的图像处理来标识原始图像中无法标识的人员。
问题的解决方案
在本公开的每个方面中，以下配置被采用以解决上述问题。
第一方面涉及一种信息处理装置。
与第一方面相关的信息处理装置包括：对照单元，其将从第一图像中所包括的人员提取的第一特征信息与指示检索目标人员的特征的第一特征信息进行对照；提取单元，在对照单元中的对照结果指示匹配的情况下，其从第一图像中所包括的人员提取第二特征信息；以及记录单元，其将从第一图像中所包括的人员提取的第二特征信息存储在存储单元中。
第二方面涉及一种由至少一个计算机执行的信息处理方法。
与第二方面相关的由信息处理装置执行的第一信息处理方法包括：将从第一图像中所包括的人员提取的第一特征信息与指示检索目标人员的特征的第一特征信息进行对照；在对照结果指示匹配的情况下，从第一图像中所包括的人员提取第二特征信息；以及将从第一图像中所包括的人员提取的第二特征信息存储在存储单元中。
应该注意的是，本公开的其他方面可以涉及一种使至少一个计算机执行第二方面的方法的程序，并且可以涉及一种存储这种程序的计算机可读存储介质。存储介质包括非暂时性介质。
计算机程序包括计算机程序代码，当程序由计算机执行时，使计算机对信息处理装置执行信息处理装置的控制方法。
应该注意的是，上述构成元素的任何组合以及本公开在方法、装置、系统、存储介质、计算机程序等之间的表达转换作为本公开的一个方面也是有效的。
本公开的各种构成元素不一定需要单独独立的元素。例如，多个构成元素可以被配置为单个构件，单个构成元素可以被配置有多个构件，任何构成元素可以是另一构成元素的一部分，并且任何构成元素的一部分可以与另一构成元素的一部分重叠。
多个程序在本公开的方法和计算机程序中连续描述，但是描述的顺序不限制执行多个程序的顺序。因此，在本公开的方法和计算机程序被执行的情况下，多个程序的顺序可以在不违背其内容的范围内改变。
本公开的方法和计算机程序的多个程序不被限于分别在不同的定时执行。因此，在执行任何程序期间可能会出现另一程序，并且任何程序的执行定时可能会与另一程序的执行定时部分或完全重叠。
发明的有利效果
根据以上每个方面，可以提供一种技术，用于通过使用对其他图像的图像处理来标识原始图像中无法标识的人员。
附图说明
通过下面描述的优选示例实施例和附图，上述目的和其他目的、特征和优点将变得显而易见。
图1是图示了根据本公开的示例实施例的图像处理系统的配置的概念图。
图2是图示了视频数据和图像数据的数据结构的示例的图。
图3是图示了根据第一示例实施例的信息处理装置的逻辑配置的功能框图。
图4是图示以解释第一图像和第二图像的图。
图5是图示了信息处理装置生成第一特征信息的过程的程序示例的流程图。
图6是图示了第一特征信息存储单元和第二特征信息存储单元的数据结构的示例的图。
图7是图示了信息处理装置的操作的示例的流程图。
图8是图示了图7的步骤S110中的检索处理的细节的流程图。
图9是图示了根据第二示例实施例的信息处理装置的逻辑配置的功能框图。
图10是图示了识别信息数据库的数据结构的示例的图。
图11是图示了信息处理装置中的识别处理的程序示例的流程图。
图12是图示了信息处理装置的操作的另一示例的流程图。
图13是图示了第二特征信息存储单元的数据结构的示例的图。
图14是图示了根据第三示例实施例的信息处理装置的逻辑配置的功能框图。
图15是图示了由信息处理装置显示的结果列表画面的示例的图。
图16是图示了识别结果存储单元的数据结构的示例的图。
图17是图示了信息处理装置的操作的示例的流程图。
图18是图示了图17中的步骤S130中的显示处理的详细过程的示例的流程图。
图19是图示了图15中的候补显示区段中的显示示例的细节的图。
图20是图示了图15中的候补显示区段中的显示示例的细节的图。
图21是图示了详细信息窗口的示例的图。
图22是图示了信息处理装置中的显示处理的过程的示例的图。
图23是图示了信息处理装置中的显示处理的过程的示例的图。
图24是图示了信息处理装置中的显示处理的过程的示例的图。
图25是用于解释显示画面的改变的图。
图26是图示了实施每个示例实施例的信息处理装置的计算机的示例的图。
具体实施方式
在下文中，本公开的示例实施例将参照附图描述。在所有附图中，相同的构成元素被赋予相同的附图标记，并且其描述将适当地不被重复。
在本说明书的每个附图中，与本公开的本质无关的部分的配置被省略，并且未被图示。
(第一示例实施例)
图1是图示了根据本公开的示例实施例的图像处理系统的配置的概念图。
图像处理系统1包括信息处理装置100。信息处理装置100从由多个相机5a、5b、5c、…(在相机没有特别需要彼此区分的情况下，称为“相机5”或“多个相机5”)捕获的图像检索特定人员。
例如，存在例如仅检索目标人员的背部在原始图像(第二图像22)中被捕获，因此面部识别无法被执行的情况。在这种情况下，信息处理装置100通过使用诸如体格等信息(在下文中，称为第一特征信息)从由相机5捕获的其他图像(第一图像10)找到类似于检索目标人员的匹配候选，并且通过使用其面部在图像当中示出的图像，通过面部识别来标识人员。
应该注意的是，在示例实施例中，“获取”包括装置取得(主动获取)存储在另一装置或存储介质中的数据或信息以及装置在其中输入(被动获取)从另一装置输出的数据或信息中的至少一项。作为主动获取的示例，存在装置向另一装置发送请求或查询并接收对其的响应的情况，以及装置访问另一装置或存储介质并读取数据或信息的情况。作为被动获取的示例，存在主机装置接收递送的信息(备选地，所传输的信息或通过推送通知发送的信息)的情况。“获取”可以包括从接收到的数据或信息中选择性地获取数据或信息，或者选择性地接收递送的数据或信息。
相机5是包括镜头和诸如电荷耦合设备(CCD)图像传感器等成像元件的相机。例如，相机5是网络相机，诸如互联网协议(IP)相机。例如，网络相机具有无线局域网(LAN)通信功能，并且通过通信网络——即，诸如路由器等中继装置(未图示)——被连接至信息处理装置100。相机5可以是设置在街道中或建筑物内外的所谓的监视相机。相机5可以包括根据移动追踪特定人员的移动的机制，并且执行相机主体或镜头方向的控制、缩放控制或聚焦。
相机5和信息处理装置100可以不彼此连接，可以直接地彼此连接，以及可以通过通信网络3等间接地彼此连接。例如，在相机5和信息处理装置100未彼此连接的情况下，图像数据是从分别存储由相机5a和相机5b捕获的图像的介质7a和介质7b(在下文中，在介质没有特别需要彼此区分的情况下，称为“介质7”或“多个介质7”)读取并获取的。
通过通信网络3等被连接至信息处理装置100的示例中的相机5c具有例如无线局域网(LAN)通信功能，并且通过通信网络3——即，诸如路由器等中继装置(未图示)——被连接至信息处理装置100。优选地，相机5c是网络相机，诸如互联网协议(IP)相机。
关于图像从相机5被传输给信息处理装置100的定时，图像可以例如通过流式递送实时地递送，并且对应于预定时段的图像可以以预定间隔传输。传输定时可以基于相机5或信息处理装置100的存储器容量、通信容量或图像处理性能或者相机5和信息处理装置100之间的通信情况等适当地选择，并且可以取决于情况变化而改变。
例如，由相机5捕获的图像数据可以被直接传输给信息处理装置100，并且信息处理装置100可以顺序地接收图像数据。可以由相机5和信息处理装置100两者访问的存储装置(未图示)可以被设置。在这种情况下，由相机5捕获的图像数据被存储在存储装置中。信息处理装置100从存储装置读取图像数据。
此处，图像数据可以是静止图像和移动图像中的至少一个。数据格式、文件格式、文件大小、图像大小、图像分辨率、移动图像的帧速率等没有特别限制，并且各种格式的数据或文件可以根据相机5和信息处理信息100的规格、标准、性能等或其图像分析处理性能或准确度而被采用。图像数据的至少一帧可以是稍后将描述的第一图像10和第二图像22中的至少一个。
图2(a)是图示了视频数据40的数据结构的示例的图。视频数据40由特定相机5捕获，并且从相机5被接收或被存储在介质7上。视频数据40包括指示用于标识视频数据40的视频ID、用于标识存储视频数据40的介质7的介质ID、或用于标识捕获视频数据40的相机5的相机ID、以及相机5的成像条件(例如成像位置和成像时间)以及视频数据的实体的多条信息。
图2(b)是图示了第一图像10的数据结构的示例的图。第一图像10是由特定相机5捕获的视频数据40的一部分，并且可以是视频数据40的任何帧。第一图像10包括指示用于标识图像的图像ID和用于标识作为图像源的视频数据40的视频ID、以及图像数据的实体的多条信息。在图像数据的实体为帧的情况下，第一图像10还包括指示用于标识帧的帧号的信息。图像ID可以是文件名称。应该注意的是，与第二图像22不同，第一图像10是检索目标人员被检索的图像。第一图像10可以由与捕获第二图像22的相机不同的相机5捕获。
图3是图示了根据本示例实施例的信息处理装置100的逻辑配置的功能框图。信息处理装置100包括对照单元102、提取单元104和记录单元106。在图3所图示的示例中，信息处理装置100还包括第二特征信息存储单元110。第二特征信息存储单元110可以与信息处理装置100的主体集成在一起，以及可以与其分离。第二特征信息存储单元110可以具有数据库结构，并且可以具有其他数据结构。
对照单元102执行对照处理，其将指示检索目标人员的特征的第一特征信息与从第一图像10中所包括的人员提取的人员区域的特征信息进行对照。此处，从第二图像22提取的第一特征信息是指示检索目标人员的人员区域的特征的特征信息，并且在下文中也将是第一特征信息14a。从检索目标第一图像10中所包括的人员提取的人员区域的特征信息在下文中也将被称为第一特征信息14b。在对照单元102中的对照结果指示匹配的情况下，提取单元104从第一图像10中所包括的人员提取第二特征信息。记录单元106将从第一图像10中所包括的人员提取的第二特征信息存储在第二特征信息存储单元110中。换言之，记录单元106将从第一图像10中所包括的人员提取的第二特征信息记录在第二特征信息存储单元110中。
特别地，通过从介质7读取第一图像10或通过从相机5接收第一图像10，对照单元102获取第一图像10。首先，对照单元102从所获取的第一图像10指定人员区域，并对所指定的人员区域执行与第一特征信息14a的对照处理。此处，可以存在多条第一特征信息14a。
图4(a)图示了第二图像22的示例。第二图像22是人员被捕获但人员无法通过面部识别等被标识的图像。例如，第二图像22是其中人员面向后方因此其面部未被捕获的图像、可以在面部识别中获得参考值的匹配准确度或更高的程度的面部未被捕获的图像、或者面部识别无法被执行的低质量图像。应该注意的是，人员无法被标识的图像不被限于面部识别无法被执行的情况。该图像可以是人员无法在其他识别方法中标识的图像。其他识别方法可以是例如生物识别，并且是使用虹膜、耳廓、静脉和指纹中的至少一种的识别。相对于在第二图像22中捕获的人员，代替通过面部识别处理或其他识别处理标识人员，第一特征信息14a可以从人员的人员区域提取。换言之，面部识别处理或其他识别处理不一定需要对第二图像22执行。换言之，第二图像22可以是其中捕获的人员的标识未被执行的图像。
在对照处理中，对照单元102将与第一特征信息14a的匹配度等于或大于参考的人员区域判断为与第一特征信息14a相对应的区域。提取单元104在第一图像10中指定与第一特征信息14a的匹配度等于或大于参考的人员区域，并且还指定人员区域的面部区域。
匹配度是指示匹配的程度的值，并且在本示例实施例中，匹配度为0到1的数值，在完全匹配的情况下为1，并且在完全不匹配的情况下为0。
提取单元104提取指定面部区域的特征信息以生成第二特征信息，并且记录单元106将第二特征信息存储在第二特征信息存储单元110中。如图4(b)和4(c)所图示的，人员区域16和面部区域20在第一图像10中指定。包括这些区域的人员是检索目标人员的候选。
提取单元104可以从多个不同的第二图像22中所包括的人员的人员区域提取多个检索目标人员的多条第一特征信息14a，并且记录单元106可以彼此相关联地将多条第一特征信息14a存储在第一特征信息存储单元112中作为关于同一人员的信息。通过使用多条第一特征信息14a，对照单元102可以执行对照处理。
信息处理装置100不一定需要包括第一特征信息存储单元112。通过从第一特征信息存储单元112读取第一特征信息14a，或者通过接收从外部装置输入的第一特征信息14a，对照单元102可以获取第一特征信息14a。第一特征信息存储单元112也可以被用作第二特征信息存储单元110。在这种情况下，信息处理装置100使用所生成的第二特征信息作为第一特征信息。
在本示例实施例中，人员区域包括对应于第一部分和第二部分的区域。第二部分是例如面部、虹膜、耳廓、静脉和指纹的至少一个区域。备选地，第二部分可以是人员的步态而不是区域。第一部分可以包括或不包括第二部分。在本示例实施例中，第一部分是人员的全身区域，并且第二部分是面部区域。第一部分的第一特征信息(第一特征信息14a和第一特征信息14b)是指示人员的诸如尺寸或服装等外貌特征的特征信息。在本说明书中，在一些情况下，第一特征信息将被称为“人员区域特征信息”，并且第二特征信息将被称为“面部信息”。
第一特征信息(第一特征信息14a和第一特征信息14b)包括指示诸如身高、肩宽、身体部位比例、衣服(形状、颜色、材料等)、发型(也包括发色)、装饰品(帽子、眼镜、配饰等)和随身物品(包、雨伞或手杖)的特征的信息。人员区域特征信息可以包括诸如特征信息的可能性的信息。
在本示例实施例中，检索目标人员的第一特征信息14a通过使用检索目标人员被捕获的第二图像22来生成。第二图像22可以是由相机5捕获的图像，可以是由其他成像装置捕获的图像，并且可以是由扫描仪读取的图像。
信息处理装置100还包括第一特征信息提取单元(未图示)。第一特征信息生成单元通过使用检索目标人员被捕获的第二图像22来生成第一特征信息14a，并将第一特征信息14a存储在第一特征信息存储单元112中。
图5是图示了信息处理装置100生成第一特征信息14a的处理的过程的示例的流程图。第一特征信息生成单元获取检索目标人员的图像(第二图像22)(步骤S10)，通过使用所获取的图像生成第二特征信息(面部信息)，并将第二特征信息存储在第一特征信息存储单元112中(步骤S20)。
图6(a)是图示了第一特征信息存储单元112的数据结构的示例的图。用于标识检索目标人员的检索目标ID、人员的第一特征信息14a、第一特征信息14a从其被获取的原始图像的图像数据彼此相关联地被存储在第一特征信息存储单元112中。第一特征信息存储单元112可以存储图像数据的实体，并且可以存储指示图像数据被保存的位置的路径和文件名称。
图6(b)是图示了第二特征信息存储单元110的数据结构的示例的图。用于标识检索目标人员的候补的候补ID和该候补的第二特征信息彼此相关联地被存储在第二特征信息存储单元110中。第二特征信息存储单元110存储关于检索目标人员的至少一个候选的信息。在存在多个检索目标人员的情况下，如图6(c)所图示的，在第二特征信息存储单元110中，作为候选的基础的检索目标ID可以与候选ID以及候选的第二特征信息相关联。
图7是图示了信息处理装置100的操作示例的流程图。图8是图示了图7中的步骤S110中的检索处理的细节的流程图。
首先，对照单元102获取检索目标人员的第一特征信息14a(人员区域特征信息)(步骤S101)。对照单元102还获取第一图像10(步骤S103)。流程进行到图8中的步骤S110中的检索处理。
如图8所图示的，在步骤S110中的检索处理中，首先，对照单元102执行检索目标人员的第一特征信息14a和从第一图像10中所包括的人员提取的人员区域的第一特征信息14b之间的对照处理(步骤S111)。在第一特征信息14a和第一特征信息14b之间的对照结果指示匹配——即，找到与第一特征信息14a的匹配度等于或大于参考的区域——的情况下(在步骤S113中为是)，提取单元104从第一图像10中所包括的人员生成第二特征信息(面部信息)(步骤S115)。例如，提取单元104可以指定包括该区域的人员区域，指定所指定的人员区域中的面部区域，并通过提取指定面部区域的特征信息来生成第二特征信息(面部信息)。记录单元106将所生成的面部信息存储在第二特征信息存储单元110中(步骤S117)。
在本示例实施例中，在对照单元102从第一图像10中找到与检索目标人员的人员区域特征信息(第一特征信息14a)相匹配的人员的情况下，提取单元104生成人员的面部区域的特征信息，并且记录单元106将特征信息存储在第二特征信息存储单元110中。存储在第二特征信息存储单元110中的面部区域的特征信息被用于图像处理中的人员标识处理。如上面提及的，根据本示例实施例，通过使用从检索目标人员的面部未被捕获的图像获得的人员区域特征信息(第一特征信息14a)，检索目标人员可以从由相机5捕获的第一图像10中被找到，并且所找到的人员的面部特征信息可以被提取和存储。
(第二示例实施例)
图9是图示了根据第二示例实施例的信息处理装置100的逻辑配置的功能框图。除了关于检索目标人员的候选的信息通过将存储在第二特征信息存储单元110中的第二特征信息与预先记录的面部识别信息进行对照来获取之外，本示例实施例的信息处理装置100与上述示例实施例的信息处理装置相同。
除了图3所图示的配置之外，图9中的信息处理装置100还包括识别单元120和获取单元122。通过使用识别信息数据库114，识别单元120对存储在第二特征信息存储单元110中的第二特征信息执行对照处理。特定人员的第二特征信息与关于识别信息数据库114中的人员的信息相关联地被记录。获取单元122从识别信息数据库114获取关于与被判断为具有参考匹配度或更高的第二特征信息相关联的人员的信息。
图10是图示了识别信息数据库114的数据结构的示例的图。用于标识其识别信息被记录的特定人员(在下文中，称为已记录人员)的识别ID、指示已记录人员的面部特征的面部特征信息(第二特征信息)、已记录人员的面部图像数据、已记录人员的名称、已记录人员的属性信息彼此相关联地被记录在识别信息数据库114中。
面部图像数据的实体可以被记录在识别信息数据库114中，并且指示面部图像数据被存储的位置的路径和文件名称可以被记录。如稍后将描述的，面部图像数据被用于画面显示，并且操作者可以沿着名称和属性信息查看在画面上显示的面部图片。
在图9所图示的示例中，识别信息数据库114是信息处理装置100的一部分。识别信息数据库114可以与信息处理装置100的主体集成在一起，以及可以与其分离。识别信息数据库114可以被包括在与第二特征信息存储单元110相同的装置中，以及可以被包括在不同的装置中。识别信息数据库114具有数据库结构，但是也可以具有其他数据结构。
对照单元104可以具有本示例实施例的识别单元120的功能。
信息处理装置100可以包括输出处理单元(未图示)，其读取与存储在识别信息数据库114中的面部特征信息相对应的标识信息(识别ID或名称)，并且在识别单元120中的识别结果指示匹配的情况下，执行从输出单元输出标识信息的处理。输出处理稍后将被详细描述。
图11是图示了本示例实施例的信息处理装置100中的识别处理的过程的示例的流程图。
首先，通过使用识别信息数据库114，识别单元120对存储在第二特征信息存储单元110中的第二特征信息执行对照处理(步骤S121)。在存在通过对照处理被判断为具有参考匹配度或更高的人员的情况下(在步骤S123中为是)，识别单元120从识别信息数据库114获取关于该人员的信息(名称等)(步骤S125)。
在本示例实施例中，信息处理装置100的记录单元106将至少与第一图像10中的第一特征信息14a相对应的区域与第二特征信息相关联地存储在第二特征信息存储单元110中。
例如，如图12所图示的，在图8的流程图中的步骤S117之后，记录单元106可以将第一图像10中的人员区域的图像数据与第二特征信息(面部信息)相关联地存储在第二特征信息存储单元110中(步骤S119)。
图13是图示了本示例实施例的第二特征信息存储单元110的数据结构的示例的图。在本示例实施例中，除了图6(b)中描述的信息之外，关于在图11的步骤S121中的对照处理中计算的匹配度的信息、人员区域的图像数据、和用于标识人员区域从其被获取的第一图像10的图像ID(在图13中，被图示为原始图像ID)可以彼此相关联地被存储在第二特征信息存储单元110中。
由于与原始图像ID的关联，信息处理装置100可以从图4(b)中例示的第一图像10获取视频ID，并且与第二特征信息相关联地，还可以从图4(a)中例示的第二图像22获取诸如成像位置的信息。信息处理装置100可以与第二特征信息存储单元110中的第二特征信息相关联地存储诸如相机5的成像位置、成像方向和成像时间的成像条件。
如上所述，在本示例实施例中，识别单元120对存储在第二特征信息存储单元110中的面部信息执行与在识别信息数据库114中记录的面部信息的对照处理，因此获取单元122可以获取关于类似人员的信息。如上面提及的，根据本示例实施例，可以实现与上述示例实施例相同的效果，并且通过使用人员区域特征信息对类似于检索目标人员的候选执行面部识别处理，还可以从由相机5捕获的第一图像10获取关于类似人员的信息。
(第三示例实施例)
图14是图示了根据第三示例实施例的信息处理装置100的逻辑配置的功能框图。除了关于检测到的候选的信息被显示的配置之外，本示例实施例的信息处理装置100与第二示例实施例的信息处理装置相同。除了图9中的配置之外，信息处理装置100还包括显示处理单元130。显示处理单元130在连接至信息处理装置100的诸如液晶显示器或有机电致发光(EL)显示器的显示装置132上显示各条信息。
在本示例实施例中，获取单元122从识别信息数据库114获取多个候选人员区域图像和多条信息(名称或属性)。显示处理单元130在图像显示区段214中显示每个候选人员区域图像，并且在候选显示区段222中为每个候选显示关于作为面部识别处理的结果而被检测为候选的至少一个人员的信息。具体地，显示处理单元130在同一画面上显示检索目标显示区段202、检索结果显示区段210和识别结果显示区段220中的至少两个。
图15是图示了由本示例实施例的信息处理装置100显示的结果列表画面200的示例的图。在图15所图示的示例中，检索目标显示区段202、检索结果显示区段210和识别结果显示区段220被显示在同一结果列表画面200上。应该注意的是，在同一画面上显示检索目标显示区段202、检索结果显示区段210和识别结果显示区段220中的至少两个的示例稍后将被描述。
在本示例实施例中，获取单元122获取由显示处理单元130显示的至少一些信息。这样的一些信息包括例如第一特征信息14a(人员区域特征信息)指示关于检索目标人员的面部以外的区域的特征的第二图像22、与第一特征信息14a(人员区域特征信息)的对照结果指示匹配并且面部区域被检测到的第一图像10(在下文中，在一些情况下称为候选人员区域图像)、以及结果信息。结果信息指示将存储在识别信息数据库114中的面部信息与从面部区域提取的第二特征信息进行对照的结果，并且由识别单元120生成。具体地，结果信息是存储在识别结果存储单元116中的数据。
与第一特征信息14a(人员区域特征信息)的对照结果指示匹配为例如包括与第一特征信息14a(人员区域特征信息)的匹配度等于或大于参考的区域。
检索目标人员被捕获的第二图像22被显示在检索目标显示区段202中。在检索目标显示区段202中显示的第二图像22是第二图像22的包括至少检索目标人员的人员区域的一部分，并且可以是例如通过将第二图像切割为包括检索目标人员的人员区域的矩形形状生成的图像。检索结果显示区段210包括至少一个候选显示区段212。每个候选显示区段212包括图像显示区段214。候选的候选人员区域图像连同图像的成像条件(例如成像位置)、和与检索目标显示区段202中显示的第二图像22的匹配度被显示在图像显示区段214中。候选人员区域图像是第一图像10的至少一部分，并且可以是例如通过将第一图像切割为包括在对照中匹配的人员区域的矩形形状而生成的图像。面部识别的结果被显示在识别结果显示区段220中，并且候选显示区段222还针对候选显示区段212中显示的每个候选显示。候选显示区段222包括图像显示区段224。与候选人员区域图像的匹配度较高的人员的面部图像被显示在图像显示区段224中。在图像显示区段224中显示的信息被包括在上述结果信息中。
在图15所图示的示例中，关于多个候选的多条信息按照与第一特征信息14a的匹配度的降序显示。此处，关于多个候选的多条信息在候选显示区段222中按照与第二特征信息的匹配度的降序显示。在检索结果显示区段210和识别结果显示区段220中显示的候选数量可以在设置菜单(未图示)等上可设置。匹配度等于或大于预定参考值的所有候选可以被显示在列表画面上或通过滚动显示。在这种情况下，预定参考值可以在设置菜单上可设置。
如图14所图示的，信息处理装置100还包括识别结果存储单元116。识别结果存储单元116可以与信息处理装置100的主体集成在一起，以及可以与其分离。识别结果存储单元116可以被包括在与第二特征信息存储单元110和识别信息数据库114相同的装置中，以及可以被包括在不同的装置中。识别结果存储单元116可以具有数据库结构。
图16是图示了本示例实施例的识别结果存储单元116的数据结构的示例的图。针对每个候选，候选ID、用于标识结果信息的识别结果ID、面部识别的匹配度、以及指示结果信息被获得的源识别信息的识别信息ID彼此相关联地被记录在识别结果存储单元116中。
图17是图示了本示例实施例的信息处理装置100的操作的示例的流程图。首先，参照图11描述的识别处理(步骤S120)被执行，然后获取单元122将关于在识别处理中获取的人员的信息作为结果信息存储在识别结果存储单元116中(步骤S127)。显示处理单元130在显示装置132上显示所获取的信息(图15中的结果列表画面200)(步骤S130)。
图18是图示了图17中的步骤S130中的显示处理的详细程序的示例的流程图。首先，获取单元122从第一特征信息存储单元112获取检索目标人员的图像(第二图像22)(步骤S131)。获取单元122从第二特征信息存储单元110获取包括匹配度等于或大于参考的区域和面部区域的候选图像(第一图像10)(步骤S133)。获取单元122从识别结果存储单元116获取结果信息(步骤S135)。
显示处理单元130在结果列表画面200的检索目标显示区段202中显示在步骤S131中获取的第二图像22，在检索结果显示区段210的图像显示区段214中显示在步骤S133中获取的候选图像，并且在识别结果显示区段220中显示在步骤S135中获取的结果信息(步骤S137)。
图19是图示了图15中的候选显示区段212中的显示示例的细节的图。候选显示区段212包括图像显示区段214、候选排名显示区段215、匹配度显示区段216和成像位置显示区段218。包括候选的人员区域16的图像被显示在图像显示区段214中，并且围绕人员区域16的框架和围绕面部区域20的框架可以被单独显示。
图20是图示了图15中的候选显示区段222中的显示示例的细节的图。候选显示区段222包括图像显示区段224、候选排名显示区段225、匹配度显示区段226、名称显示区段228、候选属性信息显示区段229和详细显示按钮230。通过面部识别处理检测到的人员的面部图像被显示在图像显示区段224中。人员的名称被显示在名称显示区段228中。通过面部识别处理检测到的人员的面部图像和标识信息中的至少一个被显示在候选显示区段222中。应该注意的是，人员的标识信息可以是识别信息数据库114中的标识信息(图10中的识别ID)，并且可以是名称和属性中的至少一个。
通过面部识别处理检测到的人员的属性信息——例如其性别和年龄——被显示在候选属性信息显示区段229中。详细显示按钮230是用于显示人员的新属性信息的操作按钮。在详细显示按钮230的按下被接收到的情况下，图21中的详细信息窗口240被显示。在详细信息窗口240中显示的详细信息可以被记录在识别信息数据库114中，以及可以与识别ID相关联地被存储在另一存储装置中。作为结果信息的一部分，用于到达详细信息的信息被存储在识别结果存储单元116中。
如上所述，在本示例实施例中，显示处理单元130在同一结果列表画面200上显示检索目标人员的图像(第二图像22)、通过与由相机5捕获的第一图像10中的第一特征信息14a(人员区域特征信息)的对照处理检测到的候选的人员区域的图像、以及通过使用识别信息数据库114对人员区域中所包括的面部区域的对照处理检测到的候选的图像和信息。
如上面提及的，根据本示例实施例，候选的图像可以在由相机5捕获的第一图像10中检测，并基于面部未被捕获的检索目标人员的图像(第二图像22)来显示，并且相对于候选的图像中的面部区域，在识别信息数据库114中记录的人员的面部图像和属性信息可以在同一结果列表画面200上查看。
(第四示例实施例)
在上述示例实施例中，已经描述了检索目标显示区段202、检索结果显示区段210、和识别结果显示区段220被一起显示在结果列表画面200上的配置。本示例实施例的信息处理装置100显示检索目标显示区段202，显示其中至少一个候选的图像被显示或者候选可以按照排名顺序以切换方式显示的候选显示区段212，并且还显示其中所选候选的面部识别结果被指示的显示区段222。
图22至24是图示了本示例实施例的信息处理装置100中的显示处理的程序示例的图。图25是用于解释显示画面的改变的图。在下文中，将参照附图描述信息处理装置100中的显示处理。
首先，显示处理单元130接收对第二图像22中的检索目标人员的指定，并在图25(a)中的画面300的检索目标显示区段202中显示该检索目标人员(步骤S201)。例如，在多个人员被包括在第二图像22中的情况下，用于指定目标人员的人员区域16的框架可以由操作者对第二图像22操作以显示目标人员。画面300还包括检索按钮302和取消按钮304。
在图25所图示的示例中，存在单个检索目标人员，但是，在对照处理通过使用在多个第二图像22中捕获的多个检索目标人员的第一特征信息14a执行的情况下，多个检索目标人员的多个图像可以被显示在检索目标显示区段202中。针对每个检索目标人员可以显示至少一个候选显示区段212，并且作为使用多个检索目标人员的第一特征信息14a的对照处理的结果而获得的关于多个候选的多条信息可以被显示在候选显示区段212中。
在对检索按钮302的按下被接收到的情况下(在步骤S203中为是)，信息处理装置100执行图8中描述的检索处理(步骤S110)。指示检索正在进行的消息306在检索处理期间显示(步骤S205)。在取消按钮304的按下在检索处理期间接收到的情况下，信息处理装置100停止检索处理，并返回到步骤S201(未图示)。
在作为检索处理的结果没有找到候选的情况下(在步骤S207中为否)，图25(e)中的画面310被显示。画面310包括指示候选未被找到的消息312。画面310可以包括重新检索按钮314。在重新检索按钮314的按下被接收到的情况下，流程可以返回到步骤S201，并且提示重新选择检索目标人员的第二图像22的消息可以被显示，使得重新选择被接收到(未图示)。
在本示例实施例中，假设候选显示方法在设置菜单(未图示)等上预先设置。在设置菜单上，检测到的候选被逐个显示的方法或检测到的候选(按预定数量的人员(例如按三个排名最高的人员))被全部显示的方法可以被选择。在至少一个候选被找到的情况下(在步骤S207中为是)，信息处理装置100根据设置改变候选显示方法(步骤S211)。例如，在所有候选(在该示例中三个排名最高的人员)被选择的情况下，流程进行到步骤S120中的识别处理，并且对每个候选的面部区域执行面部识别处理。指示面部识别处理结果的结果列表画面200(图15)被显示(步骤S213)。
在逐个顺序地显示候选的设置被选择的情况下(在步骤S211中的顺序)，信息处理装置100进行到步骤S221(图23)。首先，在计数器i中设置1(步骤S221)。在i等于或小于1的情况下，如图25(b)所图示的，用于显示下一候选的下一按钮332被显示在画面330上，并且用于显示前一候选的前一按钮未被显示(步骤S225)。检索目标显示区段202和第一候选的候选显示区段212被显示在画面330上(步骤S233)。用于接收候选的面部识别处理的检索按钮334被显示在画面330上。
处理取决于画面330上按下的操作按钮的类型来改变(步骤S235)。在下一按钮332的按下被接收到的情况下，i被递增到2(步骤S243)，并且流程返回到步骤S223。由于i是2，因此步骤S223的结果指示否，并且前一按钮342进一步显示在画面340上(步骤S227)。此处，假设显示候选数量的最大值为3，i>最大值imax-1(即，2)不成立(在步骤S229中为否)，流程进行到步骤S233，并且第二候选的候选显示区段212被显示在图25(c)的画面340上(步骤S233)。
在前一按钮342被按下的情况下(步骤S235中的前一)，i被递减到1(步骤S241)，并且流程返回到步骤S223。由于i≤1成立，因此流程进行到步骤S225，下一按钮332被显示，并且前一按钮342不被显示。第一候选的候选显示区段212被显示在画面330上(图25(b))(步骤S235)。
在图25(b)中的画面330上检索按钮334被按下的情况下(步骤S235中的检索)，对第一候选的面部区域执行面部识别处理(步骤S120)。在结果信息被获取的情况下，图25(d)中的结果画面350被显示(步骤S237)。检索目标显示区段202、候选显示区段212和候选显示区段222被显示在结果画面350上，并且用于对其他候选执行面部识别处理的改变按钮352可以进一步被显示。
在改变按钮352被按下的情况下(在步骤S239中为是)，流程返回到步骤S223。此处，因为i是1，所以图25(b)中的画面330被显示。在下一按钮332被选择的情况下，第二候选被显示(步骤S233)，并且在检索按钮334被选择的情况下(步骤S235中的检索)，对第二候选执行面部识别处理(步骤S120)。
作为另一示例，候选可以通过预定数量的人员(例如通过三个排名最高的人员)而不是逐个地显示，并且要对其执行面部识别处理的人员可以从候选当中选择。图24是图示了显示处理的过程的示例的流程图。在图22中的步骤S207中检测到候选的情况下(在步骤S207中为是)，图25(f)中的画面360被显示(步骤S251)。识别结果显示区段220和包括多个候选(在该示例中为三个人员)的候选显示区段212的检索结果显示区段210被显示在画面360上。用于接收要对其执行面部识别处理的候选的选择的检索按钮362被显示在候选显示区段212中。
在检索按钮362被按下的情况下(在步骤S253中为是)，识别单元120对所选候选执行面部识别处理(步骤S120)。面部识别处理的结果被显示在图25(d)中的画面350上。在画面350上，被选择为面部识别处理目标的候选的图像被显示在候选显示区段212中。
如上所述，在本示例实施例中，显示处理单元130可以显示包括检索目标显示区段202和检索结果显示区段210的画面320或画面360。由于在画面320或画面360上，操作者可以选择要对其执行面部识别处理的候选，并且可以执行面部识别处理，可以对明显不同的人员省略面部识别处理，因此效率被提高。显示内容可以取决于显示器的大小等来改变，因此可以容易地查看画面显示。
图26是图示了实施上述示例实施例中的每个示例实施例的信息处理装置100的计算机80的配置的示例的图。
计算机80包括中央处理单元(CPU)82、存储器84、加载到存储器84的程序90——用于实施图2、9和11中的每个信息处理装置100的构成元件、存储程序90的存储装置85、输入/输出(I/O)86和网络连接接口(通信I/F 87)。
CPU 82、存储器84、存储装置85、I/O 86和通信I/F 87通过总线89彼此连接，并且整个信息处理装置由CPU 82控制。然而，将CPU 82等彼此连接的方法不被限于总线连接。
存储器84是诸如随机存取存储器(RAM)或只读存储器(ROM)的存储器。存储装置85是诸如硬盘、固态驱动器(SSD)或存储卡的存储装置。
存储装置85可以是诸如RAM或ROM的存储器。存储装置85可以被设置在计算机80中，可以被设置在计算机80外部，只要计算机80可以评估存储装置即可，并且可以以有线或无线方式被连接至计算机80。备选地，存储装置可以被设置为可附接至计算机80并且从计算机80拆卸。
CPU 82将存储在存储装置85中的程序90读取到存储器84并执行程序，因此可以实现每个示例实施例的信息处理装置100的每个单元的功能。
I/O 86控制计算机80和其他输入和输出装置当中的数据和控制信号的输入和输出。其他输入和输出装置例如包括连接至计算机80的输入装置(未图示)——诸如键盘、触摸板、鼠标和麦克风；输出装置(未图示)——诸如显示器、打印机和扬声器；以及计算机80与输入和输出装置之间的接口。I/O 86可以控制与用于存储介质的其他读取或写入装置(未图示)的数据的输入和输出。
通信I/F 87是执行计算机80和外部装置之间的通信的网络连接接口。通信I/F 87可以是用于连接至电缆线的网络接口，并且可以是用于连接至无线电线的网络接口。例如，通过使用通信I/F 87，实施信息处理装置100的计算机80通过网络被连接至至少一个相机5。
每个示例实施例的信息处理装置100的每个构成元件通过图26中的计算机80的硬件和软件的任何组合来实现。本领域技术人员将理解，在实现方法和实现装置中存在各种修改示例。图示上述示例实施例中的每个示例实施例的信息处理装置100的功能框图指示逻辑功能单元中的块而不是硬件单元中的配置。
信息处理装置100可以被配置有多个计算机80，并且可以由虚拟服务器实现。
作为被配置有多个计算机80的示例，本公开可以被实现为下面例示的信息处理系统，但不被限于此。
(1)提取单元104和对照单元102由不同的装置(计算机80)实施。例如，信息处理系统可以包括具有提取单元104的终端装置和具有对照单元102的服务器装置。
(2)实施第二特征信息存储单元110和第一特征信息存储单元112的存储单元可以由多个装置实施。例如，存储从第一图像中所包括的人员提取的第二特征信息的存储设备可以与存储特定人员的标识信息和第二特征信息的存储装置分开地设置。
(3)在由提取单元104执行的提取处理中，从第一图像10提取特征信息的处理和从第二图像20提取特征信息的处理由不同的装置(计算机80)执行。例如，信息处理系统可以包括具有提取单元104并且分析视频的多个终端装置以及从其集成信息并执行对照处理的服务器装置。多个终端装置可以被布置为分布到各个区域，并且提取单元102可以由多个物理装置实施。
(4)取决于作为视频分析目标的特征信息(提取单元102和对照单元104)的类型(面部特征信息和人员区域特征信息)，不同的装置(计算机80)可以被使用。
如上面提及的，本公开的示例实施已经参照附图描述，但是这些是本公开的示例，并且不同于描述的各种配置可以被采用。
例如，在上述示例实施例中，从第一图像10中所包括的人员的人员区域提取的特征信息与检索目标人员的第一特征信息14a之间的第一对照处理、以及从在对照处理中指示匹配的第一图像10中的人员的面部区域提取的第二特征信息和已记录人员的面部特征信息之间的第二对照处理被执行。在其他示例实施例中，通过使用第一特征信息14a和第二特征信息，对照单元102可以相对于不同于第一图像10和第二图像22的第三图像执行第一对照处理和第二对照处理中的至少一个。
在该配置中，在面部区域可以从第三图像中检测到的情况下，代替与第一特征信息14a的第一对照处理，与第二特征信息的第二对照处理可以被执行。在面部区域无法从第三图像中检测到的情况下，与第一特征信息14a的第一对照处理可以被执行。通过第一对照处理生成的新的第二特征信息可以被存储在第二特征信息存储单元110中。
根据该配置，通过使用已经被获取的第二特征信息或第一特征信息14a，对在与第一图像10不同的日期和时间或位置捕获的第三图像执行对照处理，可以从第三图像检索检索目标人员。
在上述示例实施例中，已经对第一特征信息是从人员区域的第一部分提取的特征信息并且第二特征信息是从人员区域的第二部分——例如面部区域——提取的特征信息的示例进行了描述，但也可以存在第一特征信息和第二特征信息的其他组合。
作为第一示例，第一特征信息可以是指示人员的衣服颜色、年龄、性别和身高中的至少一个的信息，并且第二特征信息可以是人员的面部特征信息。
在该示例中，例如检索目标人员的面部未在第二图像22中捕获从而面部识别无法被执行的情况下，代替执行从第二图像22中的人员区域提取第一特征信息14a的处理，检索目标人员的衣服颜色、年龄、性别和身高中的至少一个可以通过操作者的操作指定，并且可以被存储在第一特征信息存储单元112中作为第一特征信息14a。在该示例中，用于接收检索目标人员的第一特征信息的输入的操作接收部分(未图示)可以连同第二图像22被显示的检索目标显示区段202一起被设置在画面上。在查看显示在检索目标显示区段202中的检索目标人员的图像的同时，操作者可以输入人员的第一特征信息。
作为第二示例，第一特征信息可以是整个人员区域的特征信息，并且第二特征信息可以是多条生物识别信息，以用于执行其中多条生物信息彼此组合的多模态生物识别处理。
例如，在检索目标人员的面部未在第二图像22中捕获，因此面部识别难以执行，并且身体的下半部分也未被捕获，因此步态识别也难以执行的情况下，该示例可以被应用。第一特征信息14a可以从在第二图像22中捕获的人员的人员区域提取，可以通过使用第一特征信息14a从第一图像10中检测到候选，并且通过使用多条生物信息作为第二特征信息，可以通过对检测到的候选进行的多模态生物识别处理来标识人员。
如上面提及的，本公开已经参照示例实施例和示例描述，但是本公开不被限于示例实施例和示例。本公开的配置或详细可以经受在本公开的范围内可以由本领域技术人员理解的各种改变。
应该注意的是，假设本公开中关于用户的信息的获取和使用均以合法方式执行。
上述示例实施例中的一些或全部可以在以下附录中公开，但不被限于此。
1.一种信息处理装置，包括
对照单元，其将从第一图像中所包括的人员提取的第一特征信息与指示检索目标人员的特征的第一特征信息进行对照；
提取单元，在对照单元中的对照结果指示匹配的情况下，其从第一图像中所包括的人员提取第二特征信息；以及
记录单元，其将从第一图像中所包括的人员提取的第二特征信息存储在存储单元中。
2.根据1.的信息处理装置，
其中，对照单元将从第一图像中所包括的人员提取的第二特征信息与关联于特定人员的标识信息而被存储在存储单元中的第二特征信息进行对照，
信息处理装置还包括输出处理单元，该输出处理单元在对照结果指示匹配的情况下从输出单元输出存储在存储单元中的标识信息。
3.根据权利要求1.或2.的信息处理装置，
其中，第一特征信息通过使用与第一图像不同的第二图像来生成。
4.根据3.的信息处理装置，
其中，提取单元从彼此不同的多个第二图像中所包括的人员的人员区域提取多条第一特征信息，
其中，记录单元将多条第一特征信息彼此相关联地存储在存储单元中作为关于同一人员的信息，以及
其中对照单元通过使用存储在存储单元中的多条第一特征信息来执行对照处理。
5.根据权利要求3.或4.的信息处理装置，
其中，第二图像由成像单元生成，该成像单元不同于生成第一图像的成像单元。
6.根据1.至5.中任一项的信息处理装置，
其中，对照单元执行相对于第三图像与第一特征信息的对照处理和与第二特征信息的对照处理中的至少一个。
7.根据1.至6.中任一项的信息处理装置，
其中，记录单元将至少与第一图像中的第一特征信息相对应的区域与第二特征信息相关联地存储在存储单元中。
8.根据1.至7.中任一项的信息处理装置，
其中，记录单元与第一图像的成像条件相关联地存储第二特征信息。
9.根据1.至8.中任一项的信息处理装置，
其中，第一特征信息是人员的面部的特征信息，并且第二特征信息是包括人员的面部之外的区域的特征信息。
10.一种信息处理系统，包括：
对照单元，其将从第一图像中所包括的人员提取的第一特征信息与指示检索目标人员的特征的第一特征信息进行对照；
提取单元，在对照单元中的对照结果指示匹配的情况下，其从第一图像中所包括的人员提取第二特征信息；以及
记录单元，其将从第一图像中所包括的人员提取的第二特征信息存储在存储单元中。
11.根据10.的信息处理装置，
其中，对照单元将从第一图像中所包括的人员提取的第二特征信息与关联于特定人员的标识信息而被存储在存储单元中的第二特征信息进行对照，
信息处理系统还包括输出处理单元，该输出处理单元在对照结果指示匹配的情况下从输出单元输出存储在存储单元中的标识信息。
12.根据10.或11.的信息处理系统，
其中，第一特征信息通过使用与第一图像不同的第二图像来生成。
13.根据12.的信息处理系统，
其中，提取单元从彼此不同的多个第二图像中所包括的人员的人员区域提取多条第一特征信息，
其中，记录单元将多条第一特征信息彼此相关联地存储在存储单元中作为关于同一人员的信息，以及
其中，对照单元通过使用存储在存储单元中的多条第一特征信息来执行对照处理。
14.根据12.或13.的信息处理系统，
其中，第二图像由成像单元生成，该成像单元不同于生成第一图像的成像单元。
15.根据10.至14.中任一项的信息处理系统，
其中，对照单元执行相对于第三图像与第一特征信息的对照处理和与第二特征信息的对照处理中的至少一个。
16.根据10.至15.中任一项的信息处理系统，
其中，记录单元将至少与第一图像中的第一特征信息相对应的区域与第二特征信息相关联地存储在存储单元中。
17.根据10.至16.中任一项的信息处理系统，
其中，记录单元与第一图像的成像条件相关联地存储第二特征信息。
18.根据10.至17.中任一项的信息处理系统，
其中，第一特征信息是人员的面部的特征信息，并且第二特征信息是包括人员的面部之外的区域的特征信息。
19.一种由信息处理装置执行的信息处理方法，该方法包括：
将从第一图像中所包括的人员提取的第一特征信息与指示检索目标人员的特征的第一特征信息进行对照；
在对照结果指示匹配的情况下，从第一图像中所包括的人员提取第二特征信息，以及
将从第一图像中所包括的人员提取的第二特征信息存储在存储单元中。
20.根据19.的由信息处理装置执行的信息处理方法，该方法包括：
将从第一图像中所包括的人员提取的第二特征信息与关联于特定人员的标识信息而被存储在存储单元中的第二特征信息进行对照；以及
在对照结果指示匹配的情况下，从输出单元输出存储在存储单元中的标识信息。
21.根据19.或20.的信息处理方法，
其中，第一特征信息通过使用与第一图像不同的第二图像来生成。
22.根据21.的由信息处理装置执行的信息处理方法，该方法包括：
从彼此不同的多个第二图像中所包括的人员的人员区域提取多条第一特征信息；
将多条第一特征信息彼此相关联地存储在存储单元中作为关于同一人员的信息；以及
通过使用存储在存储单元中的多条第一特征信息来执行对照处理。
23.根据21.或22.的信息处理方法，
其中，第二图像由成像单元生成，该成像单元不同于生成第一图像的成像单元。
24.根据19.至23.中任一项的由信息处理装置执行的信息处理方法，该方法包括：
执行相对于第三图像与第一特征信息的对照处理和与第二特征信息的对照处理中的至少一个。
25.根据19.至24.中任一项的由信息处理装置执行的信息处理方法，该方法包括：
将至少与第一图像中的第一特征信息相对应的区域与第二特征信息相关联地存储在存储单元中。
26.根据19.至25.中任一项的由信息处理装置执行的信息处理方法，该方法包括：
与第一图像的成像条件相关联地存储第二特征信息。
27.根据19.至26.中任一项的信息处理方法，
其中，第一特征信息是人员的面部的特征信息，并且第二特征信息是包括人员的面部之外的区域的特征信息。
28.一种程序，使计算机执行：
将从第一图像中所包括的人员提取的第一特征信息与指示检索目标人员的特征的第一特征信息进行对照的过程；
在对照结果指示匹配的情况下，从第一图像中所包括的人员提取第二特征信息的过程；以及
将从第一图像中所包括的人员提取的第二特征信息存储在存储单元中的过程。
29.根据28.的程序，使计算机执行：
将从第一图像中所包括的人员提取的第二特征信息与关联于特定人员的标识信息而被存储在存储单元中的第二特征信息进行对照的过程；以及
在对照结果指示匹配的情况下，从输出单元输出存储在存储单元中的标识信息的过程。
30.根据28.或29.的程序，
其中，第一特征信息通过使用与第一图像不同的第二图像来生成。
31.根据30.的程序，使计算机执行：
从彼此不同的多个第二图像中所包括的人员的人员区域提取多条第一特征信息的过程；
将多条第一特征信息彼此相关联地存储在存储单元中作为关于同一人员的信息的过程；以及
通过使用存储在存储单元中的多条第一特征信息来执行对照处理的过程。
32.根据30.或31.的程序，
其中，第二图像由成像单元生成，该成像单元不同于生成第一图像的成像单元。
33.根据28.至32.中任一项的程序，使计算机执行
执行相对于第三图像与第一特征信息的对照处理和与第二特征信息的对照处理中的至少一个的过程。
34.根据28.至33.中任一项的程序，使计算机执行
将至少与第一图像中的第一特征信息相对应的区域与第二特征信息相关联地存储在存储单元中的过程。
35.根据28.至34.中任一项的程序，使计算机执行
与第一图像的成像条件相关联地存储第二特征信息的过程。
36.根据28.至35.中任一项的程序，
其中，第一特征信息是人员的面部的特征信息，并且第二特征信息是包括人员的面部之外的区域的特征信息。

Claims (12)

1.一种信息处理装置，包括：
对照单元，所述对照单元将从第一图像中所包括的人员提取的第一特征信息与指示检索目标人员的特征的第一特征信息进行对照；
提取单元，在所述对照单元中的对照结果指示匹配的情况下，所述提取单元从所述第一图像中所包括的所述人员提取第二特征信息；以及
记录单元，所述记录单元将从所述第一图像中所包括的所述人员提取的所述第二特征信息存储在存储单元中。
2.根据权利要求1所述的信息处理装置，
其中，所述对照单元将从所述第一图像中所包括的所述人员提取的所述第二特征信息与关联于特定人员的标识信息而被存储在所述存储单元中的第二特征信息进行对照，
所述信息处理装置还包括输出处理单元，所述输出处理单元在对照结果指示匹配的情况下从输出单元输出存储在所述存储单元中的所述标识信息。
3.根据权利要求1或2所述的信息处理装置，
其中，所述第一特征信息通过使用与所述第一图像不同的第二图像来生成。
4.根据权利要求3所述的信息处理装置，
其中，所述提取单元从彼此不同的多个第二图像中所包括的人员的人员区域提取多条第一特征信息，
其中，所述记录单元将所述多条第一特征信息彼此相关联地存储在所述存储单元中作为关于同一人员的信息，以及
其中，所述对照单元通过使用存储在所述存储单元中的所述多条第一特征信息来执行所述对照处理。
5.根据权利要求3或4所述的信息处理装置，
其中，所述第二图像由成像单元生成，所述成像单元不同于生成所述第一图像的成像单元。
6.根据权利要求1至5中任一项所述的信息处理装置，
其中，所述对照单元执行相对于第三图像与所述第一特征信息的对照处理和与所述第二特征信息的对照处理中的至少一个。
7.根据权利要求1至6中任一项所述的信息处理装置，
其中，所述记录单元将至少与所述第一图像中的所述第一特征信息相对应的区域与所述第二特征信息相关联地存储在所述存储单元中。
8.根据权利要求1至7中任一项所述的信息处理装置，
其中，所述记录单元与所述第一图像的成像条件相关联地存储所述第二特征信息。
9.根据权利要求1至8中任一项所述的信息处理装置，
其中，所述第一特征信息是人员的面部的特征信息，并且所述第二特征信息是包括所述人员的所述面部之外的区域的特征信息。
10.一种信息处理系统，包括：
对照单元，所述对照单元将从第一图像中所包括的人员提取的第一特征信息与指示检索目标人员的特征的第一特征信息进行对照；
提取单元，在所述对照单元中的对照结果指示匹配的情况下，所述提取单元从所述第一图像中所包括的所述人员提取第二特征信息；以及
记录单元，所述记录单元将从所述第一图像中所包括的所述人员提取的所述第二特征信息存储在存储单元中。
11.一种由信息处理装置执行的信息处理方法，所述方法包括：
将从第一图像中所包括的人员提取的第一特征信息与指示检索目标人员的特征的第一特征信息进行对照，
在对照结果指示匹配的情况下，从所述第一图像中所包括的所述人员提取第二特征信息，以及
将从所述第一图像中所包括的所述人员提取的所述第二特征信息存储在存储单元中。
12.一种程序，所述程序使计算机执行：
将从第一图像中所包括的人员提取的第一特征信息与指示检索目标人员的特征的第一特征信息进行对照的过程；
在对照结果指示匹配的情况下，从所述第一图像中所包括的所述人员提取第二特征信息的过程；以及
将从所述第一图像中所包括的所述人员提取的所述第二特征信息存储在存储单元中的过程。
CN201880100712.7A 2018-12-27 2018-12-27 信息处理系统、信息处理装置、信息处理方法和程序 Pending CN113454634A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/048088 WO2020136794A1 (ja) 2018-12-27 2018-12-27 情報処理システム、情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN113454634A true CN113454634A (zh) 2021-09-28

Family

ID=71126181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880100712.7A Pending CN113454634A (zh) 2018-12-27 2018-12-27 信息处理系统、信息处理装置、信息处理方法和程序

Country Status (5)

Country Link
US (8) US11928181B2 (zh)
EP (1) EP3905187A4 (zh)
JP (3) JP7207431B2 (zh)
CN (1) CN113454634A (zh)
WO (1) WO2020136794A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4123542A4 (en) * 2020-03-17 2023-03-29 NEC Corporation ELECTRONIC PAYMENT DEVICE, SYSTEM, METHOD, AND COMPUTER-READABLE NON-TRANSITORY MEDIUM ON WHICH A PROGRAM IS STORED

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1052910A (en) 1904-12-12 1913-02-11 American Multigraph Co Duplicating-machine.
US20090030220A1 (en) 2004-08-02 2009-01-29 Teruo Uchibori Transparent desiccating agent
CN100474339C (zh) 2004-08-03 2009-04-01 松下电器产业株式会社 人物判定装置
JP5752977B2 (ja) * 2011-03-30 2015-07-22 セコム株式会社 画像監視装置
JP5863400B2 (ja) 2011-11-07 2016-02-16 株式会社日立国際電気 類似画像検索システム
JP5959093B2 (ja) * 2012-03-06 2016-08-02 学校法人東京電機大学 人物検索システム
JP2013196043A (ja) * 2012-03-15 2013-09-30 Glory Ltd 特定人物監視システム
JP5872343B2 (ja) 2012-03-22 2016-03-01 西日本電信電話株式会社 電源タップ用親機、及び電源タップ制御システム
JP2015061577A (ja) 2013-01-18 2015-04-02 株式会社東芝 動作情報処理装置
JP5296936B2 (ja) 2013-02-28 2013-09-25 新倉工業株式会社 船倉用弁装置
JP6221390B2 (ja) 2013-06-18 2017-11-01 富士通株式会社 画像処理装置、プログラム、および画像処理方法
KR102094509B1 (ko) * 2014-07-31 2020-03-27 삼성전자주식회사 촬영 제한 요소를 포함하는 영상을 수정하는 방법, 이를 수행하기 위한 디바이스 및 시스템
JP6289308B2 (ja) 2014-08-22 2018-03-07 東芝テック株式会社 情報処理装置およびプログラム
JP6516832B2 (ja) 2015-04-08 2019-05-22 株式会社日立製作所 画像検索装置、システム及び方法
JP6100301B2 (ja) 2015-04-12 2017-03-22 大谷　洋 浄化装置、およびそれを備えたアクアリウム
CN105069083B (zh) * 2015-07-31 2019-03-08 小米科技有限责任公司 关联用户的确定方法及装置
CN106548127B (zh) 2015-09-18 2022-11-04 松下电器（美国）知识产权公司 图像识别方法
JP6679373B2 (ja) 2016-03-28 2020-04-15 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 顔検出装置、顔検出方法及び顔認識システム
JP2018019125A (ja) 2016-07-25 2018-02-01 グローリー株式会社 不正利用検知システム及び不正利用検知方法
EP3312762B1 (en) * 2016-10-18 2023-03-01 Axis AB Method and system for tracking an object in a defined area
US10764415B2 (en) * 2016-10-25 2020-09-01 Huawei Technologies Co., Ltd. Screen lighting method for dual-screen terminal and terminal
US10528799B2 (en) * 2016-12-23 2020-01-07 Samsung Electronics Co., Ltd. Electronic apparatus and operation method thereof
JP6811645B2 (ja) 2017-02-28 2021-01-13 株式会社日立製作所 画像検索装置及び画像検索方法
US11270544B2 (en) * 2017-04-20 2022-03-08 Fingerprint Cards Anacatum Ip Ab Access control for access restricted domains using first and second biometric data
CN110232968A (zh) 2017-04-23 2019-09-13 奥康科技有限公司 可穿戴装置和校正可穿戴图像传感器的安置的方法及介质
US10762640B2 (en) * 2017-05-22 2020-09-01 Creavision Technologies, Ltd. Systems and methods for user detection, identification, and localization within a defined space
EP3418944B1 (en) * 2017-05-23 2024-03-13 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
KR101934954B1 (ko) 2017-05-24 2019-01-03 네이버 주식회사 음성요청에 대응하는 정보 전달 향상을 위한 출력
CN109426787A (zh) * 2017-08-31 2019-03-05 杭州海康威视数字技术股份有限公司 一种人体目标轨迹确定方法及装置
US10796202B2 (en) 2017-09-21 2020-10-06 VIMOC Technologies, Inc. System and method for building an edge CNN system for the internet of things
US10613726B2 (en) 2017-12-22 2020-04-07 Adobe Inc. Removing and replacing objects in images according to a directed user conversation
US11375336B2 (en) 2018-01-15 2022-06-28 Here Global B.V. Radio-based occupancies in venues
US11847848B2 (en) 2018-12-07 2023-12-19 Nec Corporation Information processing apparatus, information processing method, and program
WO2020115910A1 (ja) 2018-12-07 2020-06-11 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP7298729B2 (ja) 2018-12-07 2023-06-27 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、およびプログラム
US11361588B2 (en) 2018-12-27 2022-06-14 Nec Corporation Information processing apparatus, information processing method, and program
JP7124994B1 (ja) 2021-02-25 2022-08-24 日本電気株式会社 方法、プログラム、及び情報処理装置

Also Published As

Publication number Publication date
JP2023026630A (ja) 2023-02-24
EP3905187A1 (en) 2021-11-03
EP3905187A4 (en) 2021-12-29
US20230359700A1 (en) 2023-11-09
US11836217B2 (en) 2023-12-05
JP7435837B2 (ja) 2024-02-21
JP2024045460A (ja) 2024-04-02
US20220207292A1 (en) 2022-06-30
US11934483B2 (en) 2024-03-19
US20220207291A1 (en) 2022-06-30
US20220358329A1 (en) 2022-11-10
US11971952B2 (en) 2024-04-30
US20230359701A1 (en) 2023-11-09
US20230359702A1 (en) 2023-11-09
JP7207431B2 (ja) 2023-01-18
US11928181B2 (en) 2024-03-12
WO2020136794A1 (ja) 2020-07-02
US20230359699A1 (en) 2023-11-09
US20220012528A1 (en) 2022-01-13
JPWO2020136794A1 (ja) 2021-11-04

Similar Documents

Publication Publication Date Title
US11710347B2 (en) Information processing apparatus, information processing method, and program
WO2007105768A1 (ja) 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体
WO2009142098A1 (ja) 画像処理装置、カメラ、画像処理方法およびプログラム
JP2012048400A (ja) オブジェクト認識装置およびその認識方法
JP2019160001A (ja) 画像処理装置、画像処理方法およびプログラム
JP2024045460A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP2019185205A (ja) 情報処理装置、情報処理方法、及びプログラム
US20220122377A1 (en) Information processing apparatus, information processing method, and program
JP7298729B2 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP7371806B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2019185349A (ja) 検索装置、検索方法及びプログラム
JP2023075515A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2024095137A (ja) 人物追跡システム、人物追跡サーバ装置、人物追跡方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination