CN107305693A - 信息处理装置、信息处理方法及存储介质 - Google Patents

信息处理装置、信息处理方法及存储介质 Download PDF

Info

Publication number
CN107305693A
CN107305693A CN201710253807.XA CN201710253807A CN107305693A CN 107305693 A CN107305693 A CN 107305693A CN 201710253807 A CN201710253807 A CN 201710253807A CN 107305693 A CN107305693 A CN 107305693A
Authority
CN
China
Prior art keywords
retrieval
unit
personage
image
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710253807.XA
Other languages
English (en)
Other versions
CN107305693B (zh
Inventor
椎山弘隆
松下昌弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016083882A external-priority patent/JP6762754B2/ja
Priority claimed from JP2016083874A external-priority patent/JP6736340B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN107305693A publication Critical patent/CN107305693A/zh
Application granted granted Critical
Publication of CN107305693B publication Critical patent/CN107305693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及信息处理装置、信息处理方法及存储介质。第一检索器基于从在对目标人物的检索指令的接受时间点之前的并存储的视频图像中提取的人物的特征、以及从与检索指令相关的目标人物中提取的特征,进行从存储的视频图像中检索目标人物的第一检索处理,第二检索器基于从在接受时间点之后的视频图像中提取的人物的特征、以及从检索指令的查询图像中提取的目标人物的特征,进行从在接受时间点之后输入的视频图像中检索目标人物的第二检索处理,并且第一检索单元对在如下时段期间输入的视频图像进行第一检索处理:从接受时间点到当完成第二检索处理的准备并且开始第二检索处理时的时间。

Description

信息处理装置、信息处理方法及存储介质
技术领域
本发明涉及一种信息处理装置、信息处理方法以及存储用于进行信息处理方法的程序的存储介质。
背景技术
传统上,已知有通过从监控视频图像的各个帧中检索人物的面部来检测迷途儿童(即,走失的儿童)和/或漏乘乘客(即,错过火车等的乘客)的技术。日本特开2013-153304号公报公开了如下技术:从监控视频图像的各个帧中检测人物的面部,根据检测到的面部计算图像特征,将计算出的图像特征与视频图像的帧相关联地存储在DB(数据库)中,并且通过例如使用迷途儿童的面部作为查询来从DB检索迷途儿童的视频图像。此外,日本特开2014-215747号公报公开了如下技术:事先对要检测的人物的面部进行登记,然后从输入视频图像中实时地检测此人。
然而,在日本特开2013-153304号公报中公开的技术中,要对在发出查询时的时间点已经存储并累积在DB中的视频图像进行检索。然而,无法从相关时间点之后获得的视频图像中检索目标人物(即,作为目标的人物)。因此,该技术不能向用户通知迷途儿童和/或漏乘乘客的当前行踪以确保他们的安全。此外,在日本特开2014-215747号公报公开的技术中,当从发出查询时的时间点之前的视频图像中追溯地检索人物时,处理速度降低。因此,为了确保迷途儿童和/或失踪乘客的安全,日本特开2014-215747号公报中的技术不足。
鉴于如上所述的这些问题完成了本发明,本发明的目的是在不降低处理速度的情况下从过去连续地检索人物。
发明内容
因此,根据本发明,提供一种信息处理装置,其特征在于包括:接受单元,被构造为接受对目标人物的检索指令;第一检索单元,被构造为基于从在检索指令的接受时间点之前从摄像单元输入的并存储在存储单元中的视频图像中提取的人物的特征、以及从与检索指令相关的目标人物中提取的特征,进行从存储在所述存储单元中的视频图像中检索目标人物的第一检索处理;以及第二检索单元,被构造为基于从在接受时间点之后从摄像单元输入的视频图像中提取的人物的特征、以及从与检索指令相关的查询图像中提取的目标人物的特征,进行从在接受时间点之后输入的视频图像中检索目标人物的第二检索处理,其中所述第一检索单元对在如下时段期间输入的视频图像进行第一检索处理:从接受时间点到当完成由第二检索单元进行的第二检索处理的准备并且开始第二检索处理时的时间。
通过下面参照附图对示例性实施例的描述,本发明的其他特征将变得清楚。
附图说明
图1是用于描述根据第一实施例的监视(监控)系统的图。
图2是用于描述信息处理装置的软件构造的图。
图3是用于描述视频图像记录处理的流程图。
图4A和图4B是第一检索处理和第二检索处理的说明图。
图5是用于描述检索处理的流程图。
图6是用于描述根据第二实施例的检索处理的流程图。
图7是用于描述根据第三实施例的检索处理的流程图。
图8是用于描述根据第四实施例的检索处理的流程图。
图9是用于描述根据第五实施例的检索处理的流程图。
图10是用于描述根据第七实施例的居民检索处理的流程图。
图11是用于描述根据第七实施例的检索处理的流程图。
具体实施方式
下文将参照附图详细描述本发明的优选实施例。
(第一实施例)
图1是用于描述根据第一实施例的监视(监控)系统的图。监视系统包括信息处理装置100和用作摄像单元的照相机112,并且检索被指定为查询的人物。在图1中,虽然人物检测系统包括三个照相机112的情况是示例性的,但是照相机112的数量不限于在实施例中所描述的数量。信息处理装置100和照相机112经由网络111彼此连接。
CPU 101是控制整个信息处理装置100的中央处理单元。ROM 102是其中存储不需要进行任何修改的程序和参数的只读存储器。RAM 103是在其中临时地存储从外部设备等供给的程序和数据的随机存取存储器。外部存储设备104是诸如硬盘、存储卡等固定地安装在信息处理装置100中的存储设备。顺便提及,外部存储设备104可以包括诸如FD(软盘)或CD(光盘)等能够从信息处理装置100分离的光盘、磁卡或光卡、IC(集成电路)卡、存储卡等。在如下前提下实现稍后描述的信息处理装置100的功能和处理:CPU 101读取在ROM 102或外部存储设备104中存储的程序,然后执行读取的程序。
输入I/F(接口)105是与诸如指点设备、键盘等接收用户的操作和输入各种数据的输入单元109的接口。输出设备I/F 106是与显示供给的数据和由信息处理装置100保持的数据的监视器110的接口。通信I/F 107连接到诸如互联网等的网络111。照相机112是诸如监控照相机等的摄像和拍摄视频图像的摄像设备,并且经由网络111连接到信息处理装置100。系统总线108是用于可通信地连接101至107的各个单元的发送路径。
图2是用于描述信息处理装置100的软件构造的图。信息处理装置100使用从面部获得的面部图像特征作为图像特征,并使用所获得的面部图像特征进行图像特征检索。视频图像接受单元201接受由照相机112拍摄的视频图像以及从照相机112输入到信息处理装置100的视频图像。视频图像存储单元202在其中存储由视频图像接受单元201接受的视频图像。
跟踪单元203在由视频图像接受单元201接受的视频图像中跟踪人物。更具体地,跟踪单元203根据运动向量检测对象、估计下一帧中的检索位置并通过模板匹配进行人物跟踪。关于人物跟踪处理,可以参考以下文献。
日本特开2002-373332号公报
跟踪单元203发出针对跟踪同一人物的踪迹的相同的跟踪ID(识别),并且发出针对跟踪不同人物的踪迹的不同的跟踪ID,从而保证唯一性并能够根据跟踪ID识别同一人物。顺便提及,一旦跟踪中断,即使对于同一人物,跟踪单元203也发出不同的跟踪ID。
面部检测单元204根据视频图像中的帧图像等进行面部检测。例如,面部检测单元204根据由跟踪单元203跟踪的人物的帧图像中的各个进行面部检测。此外,面部检测单元根据从视频图像接受单元201输入的视频图像或者根据稍后描述的查询图像进行面部检测。面部检测单元204关于要处理的图像检测单眼候选区域,对多个单眼候选区域进行配对,并基于经过配对的双眼位置确定面部区域。顺便提及,关于根据图像检测人物的面部的方法,可以参考以下文献。
日本特开2010-165156号公报
代表确定单元205从被跟踪的人物的帧图像组选择代表面部图像。在下文中,应当注意,代表面部图像被称为代表图像。例如,代表确定单元205从由面部检测单元204检测的面部图像当中选择具有最大面部尺寸的图像。使用面部尺寸的原因是存在图像特征的精确度的问题。即,面部图像越大,获得的图像特征的精确度越高。即,当根据面部图像计算图像特征时,需要进行将面部图像尺寸改变为一定尺寸的面部尺寸归一化处理。在这种情况下,如果面部图像大于一定尺寸,由于进行缩小处理,信息的丢失相对小。然而,如果面部图像小于一定尺寸,由于需要进行例如超分辨率处理的像素插值,信息严重地恶化。
作为另一示例,代表确定单元205可以从帧图像组中选择多个图像作为代表图像。例如,存在选择多个面部方向的图像的方法。这是由于即使图像对应于同一人物,如果在这些图像中的面部方向不同,则从图像获得的图像特征不同。
代表确定单元205提取HOG(方向梯度直方图)作为特征,并且使用SVR(支持向量回归)来估计面部方向。HOG是用图像的辉度梯度信息的直方图针对图像的各局部区域获得的特征,并且已知HOG是对图像的局部噪声和亮度具有鲁棒性的特征。通过选择对与面部方向不相关的诸如噪声改变和辉度改变等的改变具有鲁棒性的特征,即使在现实环境中也能实现稳定的面部方向估计。顺便提及,关于从图像检测人物的面部方向的方法,可以参考以下文献。
Erik Murphy-Chutorian,“Head pose estimation for driver assistancesystems:A robust algorithm and experimental evaluation,”in Proc.IEEEConf.Intelligent Transportation Systems,2007,pp.709-714
此外,代替检测人物的面部方向,代表确定单元205可以检测人物的人体的方向。关于人体的方向的检测,例如,可以使用以下文献中描述的方法。
日本特开2011-186576号公报
作为另一示例,代表确定单元205还可以选择具有较少图像模糊的图像作为代表图像。用于拍摄静止图像的照相机也和用于摄影或拍摄运动图像的照相机一样,存在快门速度根据摄影/拍摄地点的亮度改变的情况。因此,存在有时候依据暗的地点或被摄体的运动速度出现面部图像的模糊的情况,并且相关的模糊直接引起图像特征和属性信息的劣化。在估计模糊的情况下,代表确定单元205获得面部图像区域的频率分量,获得低频分量与高频分量之间的比例,并可以确定当获得的比例超过预定值时出现模糊。此外,代表确定单元205可以不选择例如闭眼的面部图像、张嘴的面部图像等的面部图像作为代表图像。这是因为如果闭眼或张嘴等,则器官的图像特征有可能改变。
特征计算单元206计算要处理的面部图像的图像特征。更具体地,特征计算单元206获得人物面部图像中的例如眼、嘴等的器官点,然后针对各个器官点计算SIFT(尺度不变特征变换)。顺便提及,应当注意该特征仅仅是示例,并且要计算的特征类型不限于在本实施例中使用的特征类型。第一特征存储单元207在其中存储由特征计算单元206计算的关于由视频图像接受单元201接受的视频图像的图像特征。第一特征存储单元207还在其中存储人物的ID以及在跟踪人物情况下的跟踪ID、拍摄(摄影)时间和拍摄照相机112的照相机ID同时对它们进行关联,作为图像特征的元数据。第一特征存储单元207例如是外部存储设备104。
查询接受单元208接受查询图像的指定。这里,应当注意,查询图像是用作检索关键的人物的面部图像,并且作为检索关键的人物被称为目标人物。例如,CPU 101在监视器110上显示在外部存储设备104中存储的面部图像。然后,在观看监视器110的同时,用户经由输入单元109选择要检索的人物的面部图像作为查询图像。响应于该选择,查询接受单元208接受由用户选择的查询图像。应当注意,查询图像可以是单个图像或者是两个或更多个图像。
第二特征存储单元209在其中存储由查询接受单元208接受的查询图像(面部图像)的图像特征。这里,应当注意查询图像的图像特征是针对目标人物预定的基准特征的示例。由特征计算单元206计算查询图像的图像特征。第二特征存储单元209例如是外部存储设备104。查询图像的图像特征通过CPU 101存储在第二特征存储单元209中。即,这种将查询图像的图像特征记录在第二特征存储单元209的处理是用于开始要由稍后描述的第二检索单元212进行的对输入图像的检索处理的准备处理。此外,当接受稍后描述的指令以排除目标时,CPU 101从第二特征存储单元209删除图像特征。
第一检索单元211进行第一检索处理。这里,应当注意的是第一检索处理是通过使用根据查询图像计算的图像特征作为查询,从针对第一检索处理而设置的检索范围的视频图像中检索目标人物的处理。根据本实施例的第一检索单元211将存储在第一特征存储单元207中的图像特征设置为检索范围,并识别第一图像存储单元207中的具有高于预定阈值的相似度的图像特征。在计算相似度时,计算各个器官点的SIFT特征的距离的总和,对距离的总和进行归一化,然后获得相似度。
第二检索单元212进行第二检索处理。这里,应当注意的是第二检索处理是通过使用在第二特征存储单元209中存储的图像特征(基准特征)作为查询,从针对第二检索处理而设置的检索范围的视频图像中检索目标人物的处理。根据本实施例的第二检索单元212在接受指定查询图像的检索指令时的时间点之后,将根据由视频图像接受单元201接受的视频图像计算的图像特征设置为检索范围。这里,检索范围不仅包括由视频图像接受单元201接受的视频图像还包括存储在临时存储单元210中的视频图像。第二检索单元212识别检索范围中的具有高于预定阈值的相似度的图像特征。计算相似度的方法与关于第一检索单元211描述的方法相同。
显示处理单元213将第一检索单元211的检索结果和第二检索单元212的识别结果彼此整合,并在监视器110上显示整合结果。例如,显示处理单元213针对各个照相机112对检索结果进行分类,并且以拍摄时间的顺序在监视器110上对它们进行显示。作为另一示例,显示处理单元213映射显示照相机112的安装位置,并基于拍摄时间在监视器110上显示这些位置的运动历史。要显示的内容不限于在本实施例中描述的这些内容。
排除接受单元214接受表示不再需要检索(例如通过确保迷途儿童或漏乘乘客的安全)的人物的信息,然后从第二特征存储单元209删除相关人物的图像特征。在这种情况下,能够在显示处理单元213的用户界面上指明迷途儿童或漏乘乘客已受到保护。此外,在检索错过飞机的乘客的情况下,也能够检测乘客通过了相关飞机的登机口,然后通过使用检测结果作为触发器从第二特征存储单元209删除该人物(相关乘客)的图像特征。
图3是用于描述要由信息处理装置100进行的视频图像记录处理的流程图。视频图像记录处理是对由视频图像接受单元201接受的视频图像进行累积(或记录)使得累积的视频图像能够被适当地检索的处理。在S301中,视频图像接受单元201接受视频图像。接下来,在S302中,CPU 101将在S301中接受的视频图像记录在视频图像存储单元202中。此时,CPU101记录拍摄时间和拍摄照相机112的照相机ID同时对它们进行关联作为视频图像的元数据。该处理是将从照相机112输入的视频图像记录在存储单元中的记录处理的示例。
接下来,在S303中,跟踪单元203从各个帧图像检测人物并进行对被检测人物的跟踪。这里,将不同的人物ID分配给各个帧图像的被检测人物,并且将分配的人物ID与帧图像中的人物的坐标一起临时地存储。此外,将相同的跟踪ID分配给被跟踪的人物,然后将分配的跟踪ID与进行跟踪的帧图像的ID一起临时地存储。在S304中,当存在跟踪被中断的人物时(S304中为“是”),跟踪单元203是处理前进到S305。另一方面,当不存在跟踪被中断的人物时(S304中为“否”),跟踪单元203将处理返回到S301。
在S305中,面部检测单元204从由跟踪单元203跟踪的人物的帧图像中的各个进行面部检测。接下来,在S306中,代表确定单元205从被跟踪的人物的帧图像组中选择一个或更多个代表面部图像。接下来,在S307中,特征计算单元206根据在S306中选择的一个或更多面部图像计算面部图像特征。
接下来,在S308中,CPU 101将在S307计算的图像特征记录在第一特征存储单元207中。此外,CPU 101将人物ID、在跟踪人物的情况下的跟踪ID、拍摄时间和拍摄时间相关联地记录作为图像特征的元数据。接下来,在S309中,CPU 101确认是否接受这种累积处理的结束指令。当接受结束指令时(S309中为“是”),CPU 101结束该处理。另一方面,当不接受结束指令时(S309中为“否”),CPU 101将处理返回到S301。通过以上处理,在第一特征存储单元207中对从照相机112输入的视频图像中拍摄的和捕捉的、人物的面部图像的图像特征进行累积,并因此能够进行检索。
接下来,将描述要由信息处理装置100进行的人物检索处理。在进行人物检索处理的描述之前,将参照图4A和图4B描述要由第一检索单元211进行的第一检索处理和要由第二检索单元212进行的第二检索处理。即,图4A和图4B是第一检索处理和第二检索处理的说明图。在第一检索处理中,使用提取的图像特征作为查询进行核对(或检查)。为此,能够使用任意人物作为查询进行检索。另一方面,在第二检索处理中,需要事先对查询人物的图像特征进行登记。
关于精确度,第二检索处理在通过机器学习等的精确度方面具有优点。关于速度,第一检索处理关于登记的视频图像的检索是快的。但是,将检索结果反映到第一特征存储单元207上要花费很长时间,使得从处理量(登记和检索)的角度看速度是稍微次要的。另一方面,在第二检索处理中,当将要预先登记的人物的数量控制在一定数量时,能够实时地进行认证,使得处理量被认为是高的。
因此,第一检索处理的优选用途是从大量过去的图像中的累积视频图像检索任意人物,第二检索处理的优选用途是实时认证有限数量的特定人物。
因此,根据本实施例的信息处理装置100接受指定查询人物指令,对当人物检索开始时的时间点之前(过去的)的视频图像进行第一检索处理,并进行对相关时间点之后(未来的)的视频图像进行第二检索处理。因此,例如能够适当的检索迷途儿童。
也对过去的视频图像进行检索的原因如下。即,由于可以想象目标人物可能位于所有照相机112没有拍摄的地方,所以目标人物曾位于的过去的地方的信息也是重要的。此外,过去的视频图像对于估计目标人物将要移动到的地方也是有用的。
然而,在仅将第一检索处理与第二检索处理结合的情况下会出现问题。图4B是用于描述要有第一检索处理和第二检索处理检索的检索范围(时间范围)的图。在第一检索处理中,将记录在第一特征存储单元207中的视频图像设置为检索范围。为此,直到在接受查询指定的接受时间点的视频图像能够被检索为止,出现了一个小的准备时段(延迟)401。这里,准备时段是从当视频图像接受单元201接受检索指令时的接受时间点,到当由第二检索单元212的检索处理的准备完成时的准备完成时间点的时段。
此外,在第二检索处理中,诸如对要从各个照相机112的视频图像检索的图像特征进行设置和学习等的初始化处理花费时间,使得直到能够进行检测处理为止出现了准备时段(延迟)402。为此,出现了不可检索时间段403,不可检索时间段403是通过将准备时段401和准备时段402相加在一起而获得的时间段。在例如监视(监控)系统的安全应用中,理想的是缩短不可检索时间段403。
图5是用于描述要由信息处理装置100进行的检索处理的流程图。在S501中,查询接受单元208接受指定作为检索查询的人物的查询图像的检索指令。在S501的处理之后,CPU 101进行三个线程的处理。第一线程是进行第一检索处理的线程,并且包括S502至S505的处理。第二线程是进行第二检索处理的线程,并且包括S511至S513的处理。第三线程是进行整合和显示检索结果的处理的线程,并且包括S521和S522的处理。
在第一线程的S502中,第一检索单元211进行第一检索处理以检索目标人物。在这种情况下的检索范围是存储在第一特征存储单元207中的视频图像的图像特征,即,在检索指令的接受时间点之前输入到信息处理装置100,并存储在视频图像存储单元202中的视频图像的图像特征。此外,检索查询是从与检索指令相关的查询图像中检测到的面部图像的图像特征。第一检索单元211将由检索获得的图像以及表示图像的拍摄地点、拍摄时间等信息传输给显示处理单元213。
接下来,在S503中,第一检索单元211确认由第二检索单元212进行的第二检索处理是否开始。当第二检索处理开始时(步骤S503中为“是”),第一检索单元211使处理前进到S505。另一方面,当第二检索处理没有开始时(步骤S503中为“否”),第一检索单元211使处理前进到S504。
在S504中,第一检索单元211再次进行第一检索处理。顺便提及,应当注意的是,在S504中的第一检索处理的检索范围是在存储在第一特征存储单元207中的图像特征中的检索范围,并且没有被设置在已经进行的第一检索处理的检索范围中。然后,第一检索单元211使处理前进到S503。以这种方式,第一检索单元211使用新输入的视频图像作为检索范围重复地进行第一检索处理,直到第二检索处理开始。第一检索单元211还将由检索获得的图像以及表示图像的摄像地点、摄像时间等的信息传输给显示处理单元213。然后,在S505中,第一检索单元211停止第一检索处理。因此,第一线程的处理结束。以这种方式,在第一检索处理的检索范围内,针对直到第二检索处理开始为止的时段输入的视频图像,进行第一检索处理。因此,能够缩短不可检索时间段403。
在第二线程的S511中,第二检索单元212进行为开始第二检索处理的准备处理。准备处理是将目标人物的查询图像的图像特征作为基准特征登记(记录)在第二特征存储单元209中的处理。在S511中,显示处理单元213可以在监视器110上显示查询图像。接下来,在S512中基于基准特征,第二检索单元212开始从在接受时间点之后输入到信息处理装置100的视频中检索目标人物的第二检索处理。然后第二检索单元212将通过检索获得的图像以及表示图像的拍摄地点和拍摄时间等的信息传输给显示处理单元213。当在S512中开始第二检索处理时,在上面描述的S503中,第一检索单元211决定第二检索处理开始,使得第一检索处理停止。
接下来,在S513中,第二检索单元212确认CPU 101是否接受停止指令。当没有接受停止指令时(S513中为“否”),CPU 101继续第二检索处理。另一方面,当接受了停止指令时(S513中为“是”),CPU 101结束该处理。例如,当由于迷途儿童或漏乘乘客已被保护而不需要对被指定为查询的人物进行检索时,用户输入停止指令。
在第三线程的S521中,显示处理单元213将分别在S502、S504和S512获得的检测结果整合在一起,并在监视器110上显示整合的检测结果。接下来,在S522中,CPU 101确认是否接受了停止指令。当没有接受停止指令时(S522中为“否”),CPU 101将处理返回到S521以继续显示处理。另一方面,当接受了停止指令时(S522中为“是”),CPU 101结束该处理。
如刚刚描述的,信息处理装置100针对不可检索时间段403通过第一检索处理来检索目标人物,然后停止第一检索处理。然后,信息处理装置100通过第二检索处理检索目标人物直到接受停止指令为止。此外,通过重复进行第一检索处理,能够缩短不可检索时间段,不可检索时间段对应于当通过指定查询人物而进行检索时特征量尚未被面部图像特征检索编入索引的时间段与直到面部图像特征辨别为止的时间段的总和。以这种方式,本实施例的信息处理装置100能够在不降低处理速度的情况下从过去连续地检索人物。
(第二实施例)
随后,将描述根据第二实施例的监视系统。根据第二实施例的监视系统中的信息处理装置100在进行第二检索处理之前进行第一检索处理,并且,在第二检索处理中使用在第一检索处理中检测到的图像。因此,能够提高检索精确度。
在下文中,将描述根据第二实施例的监视系统与根据第一实施例的监视系统之间的差异。图6是用于描述要由根据第二实施例的信息处理装置100进行的检索处理的流程图。在S601中,查询接受单元208接受指定人物的查询图像作为检索查询的检索指令。在S601的处理之后,CPU101以两个线程进行该处理。第一线程是进行检索的线程,包括S602至S617中的处理。第二线程是对检索结果进行整合和显示的处理的线程,包括S621至S622中的处理。
在第一线程的S602中,第一检索单元211进行第一检索处理以检索目标人物。在这种情况下的检索范围是存储在第一特征存储单元207中的视频图像的图像特征,即,在检索指令的接受时间点之前输入到信息处理装置100并存储在视频图像存储单元202中的视频图像的图像特征。此外,检索查询是从与检索指令相关的查询图像检测到的面部图像的图像特征。第一检索单元211将通过检索获得的图像以及表示图像的拍摄地点、拍摄时间等的信息传输给显示处理单元213。
在S602的处理之后,CPU 101进一步以两个线程进行该处理。第11线程是继续第一检索处理的线程,包括S603至S605中的处理。第12线程是进行第二检索处理的线程,包括S611至S617中的处理。这里,第11线程的S603至S605的处理与参照图5描述的第一实施例的检索处理中的S503至S505的处理相同。
在第12线程的S611中,第二检索单元212确认在S602中的第一检索处理中是否检测到目标人物。当检测到目标人物时(S611中为“是”),第二检索单元212使处理前进到S612。另一方面,当没有检测到目标人物时(S611中为“否”),第二检索单元使处理前进到S615。在S612中,第二检索单元212通过不仅使用查询图像还使用在S612中的第一检索处理中的检测到了目标人物的检测图像,来进行第二检索处理的准备。
接下来,在S613中,第二图像检索单元使用查询图像和检测图像来开始第二检索处理。接下来,在S614中,第二检索单元212确认是否接受了停止指令。当接受了停止指令时(S614中为“是”),第二检索单元212结束第21线程的处理。另一方面,当没有接受停止指令时(S614中为“否”),第二检索单元212继续第二检索处理。在S615中,第二检索单元212进行准备处理以仅使用查询图像进行第二检索处理。这里,S615至S617的处理与参照图5描述的第一实施例的检索处理中的S511至S513的处理相同。
在第二线程的S621中,显示处理单元213将分别在S602、S604、S613和S616获得的检测结果整合在一起,并在监视器110上显示整合的检测结果。接下来,在S622中,CPU 101确认是否接受了停止指令。当没有接受停止指令时(S622中为“否”),CPU 101将处理返回到S621以继续显示处理。另一方面,当接受了停止指令时(S622中为“是”),CPU 101结束该处理。顺便提及,应当注意,根据第二实施例的监视系统的其他结构和处理与根据第一实施例的监视系统的结构和处理相同。
如上所述,根据第二实施例的信息处理装置100在进行第二检索处理之前进行第一检索处理,第一检索处理以在检索指令的接受时间点之前输入到信息处理装置100并存储在视频图像存储单元202中的视频图像作为检索范围。然后,在第一检索处理之后,信息处理装置100通过使用在第一检索处理中获得的目标人物的检测图像进行第二检索处理。因此,能够提高检索精确度。此外,如同第一实施例,信息处理装置100在不同的检索范围中继续第一检索处理直到第二检索处理开始。因此,信息处理装置100能够在不降低处理速度的情况下从过去连续地检索人物。
在下文中,将描述第一实施例和第二实施例的变型例。作为第一变形例,图像特征不限于面部图像的图像特征。作为另一示例,图像特征可以是从整个人体获得的人体图像特征。即,人体图像特征包括诸如身体高度与身体宽度的比例、腿长于头部和身体的比例、腿长与身高的比例等的数值。作为又一示例,代替图像特征,信息处理装置100可以使用从包括面部的整个人体获得的人物的属性信息。这里,属性信息的示例包括种族、性别、年龄、有无眼镜、胡须、服装颜色等。
作为又一示例,信息处理装置100可以使用图像特征和属性信息二者作为图像特征。例如,信息处理装置100分开地计算第一检索处理和第二检索处理关于图像特征的得分、以及第一检索处理和第二检索处理关于属性信息的得分。然后,信息处理装置100可以计算两个得分的加权和作为总得分。
作为第二变型例,信息处理装置100可以可区分地显示查询人物和作为检索结果的图像。因此,用户能够确认是否进行了错误的检索。
作为第三变型例,当第一检索单元211和第二检索单元212中的至少一个检测到目标人物的多个图像时,可以能够优先地检测不同面部方向的图像。
作为第四变型例,第一检索单元211和第二检索单元212中的至少一个可以优先地检测在更接近处理时间点的时间点拍摄的图像。该示例对于保护例如迷途儿童的人物的目的是有用的。
作为第五变型例,信息处理装置100的第一检索单元211可以对在第二检索处理开始之前输入到信息处理装置100的视频图像进行第二检索处理,并且这样做的具体的处理不限于在本实施例中描述的处理。作为另一示例,在第二检索处理开始的时间点,第一检索单元211可以使用在第二检索处理开始之前输入到信息处理装置100并存储在视频图像存储单元202中的视频图像的特征,作为检索范围,进行一次第一检索处理。
如上所述,根据上述实施例,能够在不降低处理速度的情况下从过去连续地检索人物。
(第三实施例)
随后,将描述第三实施例。在本实施例中,对于与在上面的实施例中已经描述的结构使用相同的附图标记,并且将省略其描述。图7是用于描述由根据本实施例的信息处理装置100进行的检索处理的流程图。在S701中,查询接受单元208接受作为检索查询的人物的查询图像的指定。接下来,在S702中,CPU 101开始将在查询图像的指定的时间点之后由视频图像接受单元201接受的视频图像,记录在临时存储单元210中。接下来,在S703中,面部检测单元204从由查询接受单元208接受的查询图像检测面部图像。接下来,在S704中,特征计算单元206从在S703中检测到的查询图像的面部图像计算图像特征。在S704中的处理之后,CPU 101进行两个线程的处理。
这两个线程中的第一线程是进行第一检索处理的线程,而第二线程是进行第二检索处理的线程。第一线程是在S704之后进行到S711的处理,包括S711和S712中的处理。第二线程是在S704之后进行到S721的处理,包括S721和S727中的处理。顺便提及,S731至S733中的处理是将第一检索处理的检索结果与第二检索处理的检索结果彼此整合的处理。
在S711中,第一检索单元211确认截止到指定查询图像的接受时间点的视频图像是否被记录在第一特征存储单元207中。第一检索单元211等待直到记录完成为止(步骤S711中为“否”)。当记录完成时(步骤S711中为“是”),处理前进到S712。在S712中,第一检索单元211通过使用存储在第一特征存储单元207中的图像特征作为检索范围,并且使用在S704中计算的查询图像的图像特征作为检索查询来检索目标人物。然后,第一检索单元211从存储在第一特征存储单元207中的图像特征,检测具有与以上图像特征之间的相似度高于预定阈值的图像特征。
在第二线程的S721中,CPU 101将在S704中计算的查询图像的图像特征作为基准特征登记(记录)在第二特征存储单元209中。应当注意S721中的处理是第二检索处理的准备处理的示例。由于在S721中完成了准备处理,所以在随后的S722中,CPU 101结束在S702中开始的将视频图像记录到临时存储单元210。因此,在从指令接受时间点第二检索处理的准备的完成时间点的准备时段中从照相机112输入的视频图像被记录在临时存储单元210中。
在S722中的处理之后,处理进一步被分成两个线程。第二线程的两个线程中的第21线程是在S722的处理之后进行到S723的处理。另一方面,第22线程是在S722的处理之后进行到S724的处理,包括S724至S727的处理。在S723中,第二检索单元212通过将从存储在临时存储单元210中的视频图像提取的图像特征,与存储在第二特征存储单元209中的图像特征(基准特征)彼此进行比较来检索目标人物。第二检索单元212从临时存储单元202删除对其比较处理结束的视频图像。
另一方面,在S724中,第一检索单元211获得在将查询图像指定为检索目标的接受时间点之后从照相机112输入的视频图像(输入视频图像)。接下来,在S725中,第二检索单元212通过将从S724中接受的视频图像提取的图像特征与基准特征彼此进行比较来检索目标人物。因此能够对输入视频图像进行实时检索。
接下来,在S726中,CPU 101确认是否接受了停止指令。当没有接受停止指令时(S726中为“否”),CPU 101使处理前进到S724。另一方面,当接受了停止指令时(S724中为“是”),CPU 101使处理前进到S726。在S726中,CPU 101将在S721中记录在第二特征存储单元209中的基准特征删除,并结束该处理。例如,当由于迷途儿童或漏乘乘客已被保护而不需要对被指定为查询的人物进行检索时,用户输入停止指令。
顺便提及,应当注意,CPU 101将S711至S712的处理以及S721和随后的步骤的处理作为并行处理同时地进行。此外,CPU 101将S723的处理和S724至S727的处理作为并行处理同时地进行。
在S712的处理之后,CPU 101使处理前进到S731。在S731中,显示处理单元213将在S712中获得的第一检索处理的检索结果与在S723和S725中获得的第二检索处理的检测结果彼此整合。接下来,在S732中,显示处理单元213在监视器110上显示整合后的检测结果。接下来,在S733中,CPU 101确认是否接受了停止指令。当没有接受停止指令时(S733中为“否”),CPU 101将处理返回到S731。另一方面,当接受了停止指令时(S733中为“是”),CPU101结束该处理。
如上所述,根据本实施例的信息处理装置100将在第二检索处理的准备时段中的视频图像记录到临时存储单元210。因此,也能够关于准备时段中的视频图像进行人物检索。信息处理装置100还能够进行第一检索处理和实时检索。即,信息处理装置100能够以合适的处理速度从过去的视频图像连续地进行人物检索。此外,由于能够进行实时检索,因此还能够保护目标人物。此外,由于能够检索过去的视频图像,因此能够估计目标人物将要移动到的地点。顺便提及,由于在第二检索处理中存在大的处理负荷,因此理想的是,当由于例如能够保护查询人物而使检索变得不必要时及时结束第二检索处理。在本文中,信息处理装置100能够响应于停止指令及时结束第二检索处理。
(第四实施例)
在根据第四实施例的监视系统中,信息处理装置100的临时存储单元210存储根据准备时段的视频图像计算的图像特征而不存储准备时段的视频图像。在下文中,将描述根据第四实施例的监视系统与根据第三实施例的监视系统之间的差异。图8是用于描述要由根据第四实施例的信息处理装置100进行的检索处理的流程图。顺便提及,在图8描述的检索处理中包括的处理中,与参照图7描述的根据第三实施例的检索处理中的处理相同的处理分别用相同的附图标记表示。
在第四实施例中,在S701的处理之后,CPU 101使处理前进到S801’。在S801’中,在接受对查询图像的指定的接受时间段之后,CPU 101开始将由视频图像接受单元201接受的视频图像的图像特征记录到临时存储单元210。应当注意,特征计算单元206根据由视频图像接受单元201接受的视频图像进行计算图像特征的处理。然后CPU 101使处理前进到S703。
除此之外,在S721的处理之后,CPU 101使处理前进到S802’。在S802’中,CPU 101结束在S801’中开始的将图像特征记录到临时存储单元201。随后的处理分成两个线程。在这两个线程中,第21线程是在S802’的处理之后进行到S803’的处理。此外,第22线程的处理是与在第三实施例中描述的第22线程的处理相同的处理。
在S803’中,第二检索单元212通过将存储在临时存储单元210中的图像特征与基准图像彼此进行比较来检索目标人物。第二检索单元212从临时存储单元210删除对其比较处理结束的图像特征。顺便提及,根据第四实施例的监视系统的其余的结构和处理与根据第三实施例的监视系统的相对应的结构和处理相同。
如上所述,根据第四实施例的信息处理装置100将根据视频图像计算的图像特征记录到临时存储单元210而不是将视频图像记录到临时存储单元210。因此,能够减少开始检索处理之后信息处理装置100的处理负荷。
(第五实施例)
在根据第五实施例的监视系统中,首先,信息处理装置100的第二检索单元212使用存储在临时存储单元210中的视频图像作为检索范围进行第二检索处理。然后,在相关处理结束之后,第二检索单元212对从照相机112输入的视频图像进行第二检索处理。在下文中,将描述根据第五实施例的监视系统与根据第三实施例的监视系统之间的差异。图9是用于描述要由根据第五实施例的信息处理装置100进行的检索处理的流程图。顺便提及,在图9中描述的检索处理中包括的处理中,与参照图7描述的根据第三实施例的检索处理中的处理相同的处理分别用相同的附图标记表示。
在第五实施例中,在S721的处理之后,CPU 101使处理进行到S723。即,在CPU 101继续在S702中开始的将视频图像记录到临时存储器210的处理的同时,在S723中,第二检索单元212使用存储在临时存储单元210中的视频图像作为检索范围进行第二检索处理。然后,CPU 101使处理进行到S901。在S901中,CPU 101结束将视频图像记录到临时存储单元210。
如上所述,在第五实施例中,在使用存储在临时存储单元210中的视频图像作为检索范围进行第二检索处理结束之后,CPU 101结束将视频图像记录到临时存储单元210。之后,CPU 101使处理进行到S902。这里应当注意,S902至S905的处理分别与参照图7描述的S724至S727的处理相同。顺便提及,应当注意,根据第五实施例的监视系统的其他结构和处理与根据其他实施例的监视系统的结构和处理相同。
如上所述,根据第五实施例的信息处理装置100在对存储在临时存储单元210中的视频图像的检索处理结束之后进行实时检索处理。因此,实时检索的开始定时与根据其他实施例的信息处理装置100的实时检索的开始定时相比被延迟了。但是,能够在进行实时检索时减少信息处理装置100的处理负荷。
作为第五实施例的变型例,与第四实施例的描述相同,信息处理装置100可以将根据视频图像计算的图像特征存储到临时存储单元210而不是将视频图像存储到临时存储单元210。
(第六实施例)
在要检索的人物为多个的情况下,根据第六实施例的信息处理装置100进行控制使得对从照相机112输入的视频图像的处理不重叠。因此,能够进行有效率的处理。假设根据本实施例的信息处理装置100在指定查询图像(假设为人物A)的时间点正在进行对另一人物(假设为人物B)的检索处理。在这种情况下,信息处理装置100将计算的、要用于对人物B的第二检索处理的图像特征存储到临时存储单元210。
在下文中,将参照图8描述由根据第六实施例的信息处理装置100进行的检索处理与根据第四实施例的检索处理之间的差异。在第六实施例中,信息处理装置100使用临时存储请求标志作为关于是否将与另一人物的第二检索处理相关的图像特征存储在临时存储单元210中的标志。假设,临时存储请求标记正常处于关闭状态。
在S801’中,CPU 101确认对除了目标人物以外的人物(另一人物)的第二检索处理是否正在进行。与第四实施例的描述相同,当相关处理没有正在进行时,CPU 101开始将由视频图像接受单元201接受的视频图像的图像特征记录到临时存储单元210。另一方面,当对另一人物的第二检索处理正在进行时,CPU 101将临时存储请求标志打开。此外,在S802’中,当临时存储请求标志为关时,即,当临时存储处理正在进行时,CPU 101结束临时存储处理。当临时存储请求标志为开时,CPU 101关闭。
在S724中,当临时存储请求标志为关(OFF)时,在第二检索处理结束之后,CPU 101从临时存储单元210中删除根据由视频图像接受单元201接受的视频图像计算的图像特征。另一方面,当临时存储请求标志为开(ON)时,CPU 101将根据由视频图像接受单元201接受的视频图像计算的图像特征存储到临时存储单元210。作为另一示例,CPU 101可以不仅将图像特征还将相应的视频图像存储在临时存储单元210中。
在S726中,在接受停止指令的情况下,当临时存储请求标志为开时,CPU 101开始将根据由视频图像接受单元201接受的视频图像计算的图像特征存储到临时存储单元210的处理。此时,CPU 101还将临时存储请求标志关闭。在接受停止指令的情况下,当临时存储请求标志为关时,CPU 101什么都不做。顺便提及,在根据第六实施例的监视系统中,除去上述的结构和处理以外的其他结构和处理分别与根据其他实施例的监视系统的结构和处理相同。
如上所述,在根据第六实施例的信息处理装置100中,当在接受对目标人物的查询图像的指定的时间点,正在进行对另一人物的第二检索处理时,相关另一人物的图像特征被存储在临时存储单元210中。因此,能够在检索多个人物时减少信息处理装置100的处理负荷。
(第七实施例)
在根据第七实施例的信息处理装置100中,临时存储单元210存储在距离处理时间点预定时段期间内输入的视频图像。然后,在由查询图像进行的对第二检索处理的准备处理完成之后,第一检索单元211进行第二检索处理,并同时对在查询图像的指定的接受时间点之前(过去)输入的视频图像进行第一检索处理。因此,也能够针对在不可检索时间段内的视频图像检索目标人物。即,根据第七实施例的信息处理装置100也针对第一检索处理的不可检索时间段,以第二检索处理检索目标人物。在这个方面,本实施例中的信息处理装置100与其他实施例的不同。
图10是用于描述要由根据第七实施例的信息处理装置100进行的居民检索处理。信息处理装置100一直进行如图10所示的居民检索处理。在S801中,CPU 101确认在第二特征存储单元209中是否存储了基准特。当存储了基准特征时(S801中为“是”),CPU 101使处理前进到S803。另一方面,当未存储基准特征时(S801中为“否”),CPU 101使处理前进到S802。在S802中,CPU 101将由视频图像接受单元201接受的视频图像记录到临时存储单元201,然后使处理进行到S806。
顺便提及,S803和S804的处理与参照图7描述的S724和S725的处理相同。在S804的处理之后,CPU 101使处理前进到S805。在S805中,CPU 101将从在S803中使用的输入视频图像提取的图像特征存储到临时存储单元201。接下来,在S806中,CPU 101从临时存储单元210删除在距离进行处理的时刻预定时间之前的时刻之前记录到临时存储单元210的视频图像、以及从输入视频图像提取的图像特征。在这里,优选的是考虑直到第一检索处理变得可以进行为止的时间和第二检索处理的准备时段来确定预定时间。例如,信息处理装置100将这些时间的总和值设置为预定时间。顺便提及,通过S802和S806的处理,临时存储单元210总是将视频图像或者从视频图像提取的图像特征存储预定时间。在这里S802和S806的处理是如下管理处理的示例:进行管理使得临时存储单元210存储在距离处理时间点预定时间之前输入的视频图像或从视频图像提取的图像特征。
接下来,在S807中,CPU 101确认是否接受结束指令。当接受结束指令时(S807中为“是”),CPU 101结束该处理。另一方面,当不接受结束指令时(S807中为“否”),CPU 101将处理前进到S801。
图11是用于描述要由根据第七实施例的信息处理装置100进行的检索处理的流程图。顺便提及,在图11中描述的检索处理中包括的处理中,与参照图7描述的根据第三实施例的检索处理中的处理相同的处理分别用相同的附图标记表示。在根据第七实施例的检索处理中,在S701的处理之后,CPU 101使处理前进到S703。此外,在S704的处理之后,CPU 101通过使处理进行到S712而不是S711来进行第一线程的处理。另一方面,在第二线程中,在S721的处理之后,CPU 101跳过S722的处理并进行第二线程。在这些线程中,第21个线程包括S723的处理并且第22个线程包括S726和S727的处理。
在本实施例中,视频图像和面部图像特征被混合地存储在临时存储单元210中。在S723中,第二检索单元212计算存储在临时存储单元210中的视频图像的图像特征并将视频图像的图像特征与存储在第二特征存储单元209中的基准特征相互比较。然后,第二检索单元212检测具有高于预定阈值的相似度的图像特征。此外,第二检索单元212将存储在临时存储单元210中的图像特征与存储在第二特征存储单元209中的基准特征相互比较,并且检测具有高于预定阈值的相似度的面部图像特征。顺便提及,应当注意,根据第七实施例的监视系统的其他结构和处理与根据其他实施例的监视系统的结构和处理相同。
如上所述,根据第七实施例的信息处理装置100一直进行第二检索处理,并且临时存储单元210一直在其中存储在过去的预定时段内输入的视频图像。然后,在经过由查询图像进行的对第二检索处理的准备时段之后,信息处理装置100进行第二检索处理并且也对过去的视频图像进行第一检索处理。因此,根据第七实施例的信息处理装置100能够对在查询图像的指定的接受时间点之前的过去的图像立即进行检索,并且也能够对变得能够检索为止的延迟部分通过第二检索处理进行高精确度的检索。
作为第七实施例的第一变型例,与第四实施例的描述相同,信息处理装置100可以将根据视频图像计算的图像特征存储到临时存储单元210而不是将视频图像存储到临时存储单元210。
而且,将描述第七实施例的第二变型例。信息处理装置100可以仅对从连接到信息处理装置100的多个照相机112的部分输入的图像作为目标,进行在第五实施例中描述的居民检索处理和检索处理。顺便提及,应当注意,信息处理装置100对从其他照相机112输入的视频图像进行在其他实施例(例如,第三实施例)中描述的检索处理。例如,假设引入了允许通过面部认证而进行过登记的人物通过的安全门系统。在这种情况下,信息处理装置100对要在这种安全门中使用的认证照相机进行根据第五实施例的处理,并且对于其他照相机进行根据其他实施例的处理。
在下文中,将描述上述实施例的变型例。作为第一变型例,图像特征不限于面部图像的图像特征。作为另一变型例,图像特征可以是从整个人体获得的人体图像特征。例如,人体图像特征包括诸如身高与身宽的比例、腿长与头和身体的比例、腿长与身高的比例等的数值。作为又一示例,信息处理装置100可以使用从包括面部的整个人体获得的人物的属性信息而不使用图像特征。例如,属性信息包括种族、性别、年龄、有无眼镜、胡须、服装颜色等。
作为又一示例,信息处理装置100可以使用图像特征和属性信息二者作为图像特征。例如,信息处理装置100分开地计算第一检索处理和第二检索处理关于图像特征的得分、以及第一检索处理和第二检索处理关于属性信息的得分。然后,信息处理装置100可以计算两个得分的加权和作为总得分。
如上所述,根据上述实施例中的各个,能够以适当的处理速度从过去连续地检索人物。
虽然基于其优选的实施例详细描述了本发明,但是本发明不限于这些具体实施例。即,在不脱离本发明的范围的范围内的各种实施例也包括在本发明中。而且,上述实施例的部分可以适当地组合。
在上面的描述中,在第一检索处理中能够通过识别具有高于预定阈值的相似度的图像特征来获得目标人物的检测图像,但是,例如,可能能够通过由使用信息处理装置100的用户(监控人员)识别目标人物,并且经由信息处理装置100的输入单元输入这种信息,来获得目标人物的检测图像。
(其他实施例)
还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如,一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如,专用集成电路(ASIC))的系统或装置的计算机,来实现本发明的实施例,并且,可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法,来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如,中央处理单元(CPU)、微处理单元(MPU)),并且可以包括分开的计算机或分开的处理器的网络,以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存装置以及存储卡等中的一个或更多个。
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
根据本发明,能够在不降低处理速度的情况下从过去连续地检索人物。
虽然已经参照示例性实施例对本发明进行了描述,但是应该理解,本发明不限于所公开的示例性实施例。应当对权利要求的范围给予最宽的解释,以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (24)

1.一种信息处理装置,所述信息处理装置包括:
接受单元,被构造为接受对目标人物的检索指令;
第一检索单元,被构造为基于从在检索指令的接受时间点之前从摄像单元输入的并存储在存储单元中的视频图像中提取的人物的特征、以及从与检索指令相关的目标人物中提取的特征,进行从存储在所述存储单元中的视频图像中检索目标人物的第一检索处理;以及
第二检索单元,被构造为基于从在接受时间点之后从摄像单元输入的视频图像中提取的人物的特征、以及从与检索指令相关的查询图像中提取的目标人物的特征,进行从在接受时间点之后输入的视频图像中检索目标人物的第二检索处理,其中
所述第一检索单元对在如下时段期间输入的视频图像进行第一检索处理:从接受时间点到当完成由第二检索单元进行的第二检索处理的准备并且开始第二检索处理时的时间。
2.根据权利要求1所述的信息处理装置,所述信息处理装置还包括:
整合单元,被构造为将第一检索单元的检索结果与第二检索单元的检索结果彼此整合;以及
显示单元,被构造为对由整合单元进行整合之后的检索结果进行显示。
3.根据权利要求1所述的信息处理装置,其中,在使用从存储在存储单元中的视频图像中提取的人物的特征作为检索范围的第一检索处理结束之后,并且第二检索处理尚未开始的情况下,第一检索单元通过使用从存储在存储单元中的视频图像中提取的人物的特征、以及从在已经进行的第一检索处理中未被设置在检索范围中的视频图像中提取的人物的特征作为检索范围,再次进行第一检索处理。
4.根据权利要求1所述的信息处理装置,其中,在第二检索处理开始的情况下,第一检索单元结束第一检索处理。
5.根据权利要求1所述的信息处理装置,其中,在由第一检索单元检测到目标人物的情况下,第二检索单元基于检测到目标人物的图像以及查询图像,来检索目标人物。
6.根据权利要求5所述的信息处理装置,其中,在第一检索单元结束以在接受时间点之前从摄像单元输入的并存储在存储单元中的视频图像的特征作为目标的第一检索处理之后,第二检索单元开始第二检索处理。
7.根据权利要求1所述的信息处理装置,其中,在接受停止指令的情况下,第二检索单元结束第二检索处理。
8.根据权利要求1所述的信息处理装置,其中,在从摄像单元输入的视频图像中提取的人物在检索范围之外的情况下,或者在从摄像单元输入的视频图像中提取人物之后的时间超过预定时间的情况下,第二检索单元结束第二检索处理。
9.根据权利要求2所述的信息处理装置,其中,所述显示单元以可区分的方式显示查询图像和检索结果。
10.根据权利要求1所述的信息处理装置,其中,第一检索单元和第二检索单元中的至少一者,优先检测目标人物的面部方向或目标人物的人体的方向不同的图像。
11.一种信息处理装置,所述信息处理装置包括:
第一存储单元,被构造为存储从摄像单元输入的视频图像中提取的人物的特征;
接受单元,被构造为接受作为检索查询的目标人物的查询图像的指定;
第二存储单元,被构造为存储从查询图像中提取的目标人物的特征;
第一检索单元,被构造为基于在接受指定的第一时间点之前输入的并存储在第一存储单元中的人物的特征、以及从目标人物中提取的特征,进行从在第一时间点之前输入的视频图像中检索目标人物的第一检索处理;以及
第二检索单元,被构造为基于从在第一时间点以及第一时间点之后从摄像单元输入的视频图像中提取的人物的特征、以及存储在第二存储单元中的目标人物的特征,进行从在第一时间点以及第一时间点之后输入的视频图像中检索目标人物的第二检索处理。
12.根据权利要求11所述的信息处理装置,所述信息处理装置还包括:
整合单元,被构造为将第一检索单元的检索结果与第二检索单元的检索结果彼此整合;以及
显示单元,被构造为对由整合单元进行整合之后的检索结果进行显示。
13.根据权利要求11所述的信息处理装置,所述信息处理装置还包括第三存储单元,所述第三存储单元被构造为,对在从第一时间点到完成第二检索处理的准备的第二时间点的准备时段中从摄像单元输入的视频图像进行存储,其中
所述第二检索单元基于从存储在第三存储单元中的视频图像中提取的人物的特征、以及存储在第二存储单元中的目标人物的特征,从准备时段中的视频图像中检索目标人物。
14.根据权利要求13所述的信息处理装置,其中,
第三存储单元对在从第一时间点到完成第二检索处理的准备的第二时间点的准备时段中从摄像单元输入的视频图像中提取的人物的特征进行存储,并且
所述第二检索单元通过使用准备时段中的视频图像作为检索范围,基于存储在第三存储单元中的人物的特征以及存储在第二存储单元中的目标人物的特征,来检索目标人物。
15.根据权利要求13所述的信息处理装置,其中,所述第二检索单元基于在准备时段之后输入的视频图像的特征以及存储在第二存储单元中的目标人物的特征,从在准备时段之后输入的视频图像中检索目标人物。
16.根据权利要求15所述的信息处理装置,其中,在从准备时段中的视频图像中检索目标人物的处理之后,所述第二检索单元进行从在准备时段之后输入的视频图像中检索目标人物的处理。
17.根据权利要求15所述的信息处理装置,其中,所述第二检索单元进行从在准备时段中输入的视频图像中检索目标人物的处理、以及从在准备时段之后输入的视频图像中检索目标人物的处理,作为并行的处理。
18.根据权利要求11所述的信息处理装置,第一检索单元和第二检索单元分别进行第一检索处理和第二检索处理,作为并行的处理。
19.根据权利要求13所述的信息处理装置,其中,在正在对第一人物进行第二检索单元的检索处理的情况下,当接受单元接受将与第一人物不同的第二人物作为目标人物的查询图像的指定时,第二存储单元将在正在对第一人物进行第二检索单元的检索处理的同时从摄像单元输入的视频图像中提取的人物的特征,与视频图像一起进行记录,或者替换视频图像而进行记录。
20.根据权利要求11所述的信息处理装置,其中,所述信息处理装置还包括管理单元,所述管理单元被构造为管理第二存储单元以存储在自处理时间点起的预定时段之前输入的视频图像、以及从视频图像中提取的人物的特征中的至少一者,其中
第一检索单元基于在自处理时间点起的预定时段之前输入的并存储在第一存储单元中的人物的特征、以及从目标人物中提取的特征,从存储在第一存储单元中的视频图像中检索目标人物,并且
第二检索单元基于从存储在第二存储单元中的视频图像中提取的人物特征、以及从目标人物中提取的特征,从存储在第二存储单元中的视频图像中检索目标人物。
21.一种由信息处理装置进行的信息处理方法,所述信息处理方法包括:
接受步骤,接受对目标人物的检索指令;
第一检索步骤,基于从在检索指令的接受时间点之前从摄像单元输入的并存储在存储单元中的视频图像中提取的人物的特征、以及从与检索指令相关的目标人物中提取的特征,进行从存储在存储单元中的视频图像中检索目标人物的第一检索处理;以及
第二检索步骤,基于从在接受时间点之后从摄像单元输入的视频图像中提取的人物的特征、以及从与检索指令相关的查询图像中提取的目标人物的特征,进行从在接受时间点之后输入的视频图像中检索目标人物的第二检索处理,其中
在所述第一检索步骤中,对在如下时段期间输入的视频图像进行第一检索处理:从接受时间点到当完成在第二检索步骤中的第二检索处理的准备并且开始第二检索处理时的时间。
22.一种由信息处理装置进行的信息处理方法,所述信息处理方法包括:
接受步骤,接受作为存储在第一存储单元中的视频图像的检索查询的目标人物的查询图像的指定,所述第一存储单元被构造为存储从摄像单元输入的视频图像中提取的人物的特征;
第一检索步骤,基于在接受指定的第一时间点之前输入的并存储在第一存储单元中的人物的特征、以及从目标人物中提取的特征,进行从在第一时间点之前输入的视频图像中检索目标人物的第一检索处理;以及
第二检索步骤,基于从在第一时间点以及第一时间点之后从摄像单元输入的视频图像中提取的人物的特征、以及存储在第二存储单元中的目标人物的特征,进行从在第一时间点以及第一时间点之后输入的视频图像中检索目标人物的第二检索处理,所述第二存储单元被构造为存储从查询图像中提取的目标人物的特征。
23.一种非暂时性计算机可读存储介质,其存储有使计算机用作以下单元的程序:
接受单元,被构造为接受对目标人物的检索指令;
第一检索单元,被构造为基于从在检索指令的接受时间点之前从摄像单元输入的并存储在存储单元中的视频图像中提取的人物的特征、以及从与检索指令相关的目标人物中提取的特征,进行从存储在所述存储单元中的视频图像中检索目标人物的第一检索处理;以及
第二检索单元,被构造为基于从在接受时间点之后从摄像单元输入的视频图像中提取的人物的特征、以及从与检索指令相关的查询图像中提取的目标人物的特征,进行从在接受时间点之后输入的视频图像中检索目标人物的第二检索处理,其中
所述第一检索单元对在如下时段期间输入的视频图像进行第一检索处理:从接受时间点到当完成由第二检索单元进行的第二检索处理的准备并且开始第二检索处理时的时间。
24.一种非暂时性计算机可读存储介质,其存储有使计算机进行以下步骤的程序:
接受步骤,接受作为存储在第一存储单元中的视频图像的检索查询的目标人物的查询图像的指定,所述第一存储单元被构造为存储从摄像单元输入的视频图像中提取的人物的特征;
第一检索步骤,基于在接受指定的第一时间点之前输入的并存储在第一存储单元中的人物的特征、以及从目标人物中提取的特征,进行从在第一时间点之前输入的视频图像中检索目标人物的第一检索处理;以及
第二检索步骤,基于从在第一时间点以及第一时间点之后从摄像单元输入的视频图像中提取的人物的特征、以及存储在第二存储单元中的目标人物的特征,进行从在第一时间点以及第一时间点之后输入的视频图像中检索目标人物的第二检索处理,所述第二存储单元被构造为存储从查询图像中提取的目标人物的特征。
CN201710253807.XA 2016-04-19 2017-04-18 信息处理装置、信息处理方法及存储介质 Active CN107305693B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016-083874 2016-04-19
JP2016083882A JP6762754B2 (ja) 2016-04-19 2016-04-19 情報処理装置、情報処理方法及びプログラム
JP2016-083882 2016-04-19
JP2016083874A JP6736340B2 (ja) 2016-04-19 2016-04-19 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN107305693A true CN107305693A (zh) 2017-10-31
CN107305693B CN107305693B (zh) 2021-08-03

Family

ID=58692256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710253807.XA Active CN107305693B (zh) 2016-04-19 2017-04-18 信息处理装置、信息处理方法及存储介质

Country Status (4)

Country Link
US (1) US10664523B2 (zh)
EP (1) EP3236366B1 (zh)
KR (1) KR102284448B1 (zh)
CN (1) CN107305693B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111295879A (zh) * 2017-11-15 2020-06-16 村田机械株式会社 管理服务器、管理系统、管理方法以及程序
CN111444386A (zh) * 2020-03-27 2020-07-24 深圳技术大学 视频信息检索方法、装置、计算机设备及可存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107820010B (zh) * 2017-11-17 2020-11-06 英业达科技有限公司 摄影计数装置
CN109858308B (zh) * 2017-11-30 2023-03-24 株式会社日立制作所 视频检索装置、视频检索方法和存储介质
JP6760318B2 (ja) * 2018-03-14 2020-09-23 オムロン株式会社 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
JP7431563B2 (ja) 2019-11-28 2024-02-15 キヤノン株式会社 画像検索装置、画像検索方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040117638A1 (en) * 2002-11-21 2004-06-17 Monroe David A. Method for incorporating facial recognition technology in a multimedia surveillance system
US20070248244A1 (en) * 2006-04-06 2007-10-25 Mitsubishi Electric Corporation Image surveillance/retrieval system
CN101071447A (zh) * 2006-03-06 2007-11-14 索尼株式会社 检索系统、摄像装置、数据保存装置及信息处理装置
CN102665054A (zh) * 2012-05-10 2012-09-12 江苏友上科技实业有限公司 一种用人脸快速检索的网络视频录像机系统
CN104050169A (zh) * 2013-03-11 2014-09-17 株式会社理光 图像存储检索系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4467838B2 (ja) 2001-06-15 2010-05-26 パナソニック株式会社 画像認識装置および画像認識方法
US7881505B2 (en) * 2006-09-29 2011-02-01 Pittsburgh Pattern Recognition, Inc. Video retrieval system for human face content
JP2010165156A (ja) 2009-01-15 2010-07-29 Canon Inc 画像処理装置、方法及びプログラム
JP5598751B2 (ja) 2010-03-05 2014-10-01 日本電気株式会社 動作認識装置
JP5894807B2 (ja) 2012-01-25 2016-03-30 株式会社日立国際電気 監視装置及び監視カメラシステム並びに映像送信方法
JP2014215747A (ja) 2013-04-24 2014-11-17 株式会社日立製作所 追跡装置、追跡システム、及び、追跡方法
US20150286719A1 (en) * 2014-04-03 2015-10-08 Sony Corporation Recognizing and registering faces in video
JP6396682B2 (ja) 2014-05-30 2018-09-26 株式会社日立国際電気 監視カメラシステム
US9792334B2 (en) * 2014-09-25 2017-10-17 Sap Se Large-scale processing and querying for real-time surveillance
JP2017033547A (ja) 2015-08-05 2017-02-09 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム
EP3142040A1 (en) 2015-09-11 2017-03-15 Canon Kabushiki Kaisha Information processing apparatus, method of controlling the same, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040117638A1 (en) * 2002-11-21 2004-06-17 Monroe David A. Method for incorporating facial recognition technology in a multimedia surveillance system
CN101071447A (zh) * 2006-03-06 2007-11-14 索尼株式会社 检索系统、摄像装置、数据保存装置及信息处理装置
US20070248244A1 (en) * 2006-04-06 2007-10-25 Mitsubishi Electric Corporation Image surveillance/retrieval system
CN102665054A (zh) * 2012-05-10 2012-09-12 江苏友上科技实业有限公司 一种用人脸快速检索的网络视频录像机系统
CN104050169A (zh) * 2013-03-11 2014-09-17 株式会社理光 图像存储检索系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111295879A (zh) * 2017-11-15 2020-06-16 村田机械株式会社 管理服务器、管理系统、管理方法以及程序
CN111295879B (zh) * 2017-11-15 2021-08-03 村田机械株式会社 管理服务器、管理系统、管理方法以及记录介质
CN111444386A (zh) * 2020-03-27 2020-07-24 深圳技术大学 视频信息检索方法、装置、计算机设备及可存储介质

Also Published As

Publication number Publication date
US20170300569A1 (en) 2017-10-19
US10664523B2 (en) 2020-05-26
EP3236366A1 (en) 2017-10-25
KR20170119630A (ko) 2017-10-27
CN107305693B (zh) 2021-08-03
EP3236366B1 (en) 2018-11-07
KR102284448B1 (ko) 2021-08-02

Similar Documents

Publication Publication Date Title
CN107305693A (zh) 信息处理装置、信息处理方法及存储介质
JP6587610B2 (ja) 映像医療機器により取得した画像を処理するシステムおよびそのシステムの作動方法
JP6148480B2 (ja) 画像処理装置、画像処理方法
US9141184B2 (en) Person detection system
US9092662B2 (en) Pattern recognition method and pattern recognition apparatus
Liong et al. Automatic micro-expression recognition from long video using a single spotted apex
CN109214373A (zh) 一种用于考勤的人脸识别系统及方法
US10467461B2 (en) Apparatus for searching for object and control method thereof
US11836944B2 (en) Information processing apparatus, information processing method, and storage medium
CN109063611A (zh) 一种基于视频语义的人脸识别结果处理方法和装置
CN113221086B (zh) 离线人脸认证方法、装置、电子设备及存储介质
CN105095853A (zh) 图像处理装置及图像处理方法
CN106529388A (zh) 信息处理装置及其控制方法
CN104504162B (zh) 一种基于机器人视觉平台的视频检索方法
CN116703837B (zh) 一种基于mri图像的肩袖损伤智能识别方法及装置
JP2022043631A (ja) 情報処理装置、情報処理方法及びプログラム
CN106446837B (zh) 一种基于运动历史图像的挥手检测方法
EP3982333A1 (en) Method and apparatus for people flow analysis using similar-image search
JP2023161956A (ja) 物体追跡装置、物体追跡方法、及びプログラム
JP6762754B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2008293178A (ja) シーン管理装置及びシーン管理方法ならびにそのプログラム
JP6736340B2 (ja) 情報処理装置、情報処理方法及びプログラム
Ravindhar et al. Person face re-identification using deep learning approach
JP7098180B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2022079841A1 (ja) グループ特定装置、グループ特定方法、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant