CN112005272A - 影像分析装置、人物检索系统和人物检索方法 - Google Patents

影像分析装置、人物检索系统和人物检索方法 Download PDF

Info

Publication number
CN112005272A
CN112005272A CN201980027442.6A CN201980027442A CN112005272A CN 112005272 A CN112005272 A CN 112005272A CN 201980027442 A CN201980027442 A CN 201980027442A CN 112005272 A CN112005272 A CN 112005272A
Authority
CN
China
Prior art keywords
person
image
portions
analysis device
image analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980027442.6A
Other languages
English (en)
Inventor
秋良直人
广池敦
今田努
中前冠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN112005272A publication Critical patent/CN112005272A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明的目的在于提供一种影像分析装置，其能根据来自多个摄像机的影像准确地进行确定人物的匹配或对被指定为可疑人物的人物的检索。该影像分析装置能够与具有多个摄像机的拍摄装置连接，对于由摄像机拍摄到的多个人物，追踪多个人物中的至少一个人物，检测被追踪人物的多个部分，对于检测到的多个部分，基于定义了用来确定各部分的最佳图像的得分的信息，对摄像机拍摄的影像的每一帧计算各部分的得分，按各部分比较对每一帧计算出的各部分的得分，确定各部分的最佳图像，将各部分与该部分的特征量对应地进行存储，通过比较多个人物的各部分的特征量来判断人物的同一性。

Description

影像分析装置、人物检索系统和人物检索方法
技术领域
本发明涉及一种用于从影像中检索或追踪特定人物的技术。
背景技术
随着监视摄像机的设置场所的扩大，越来越需要从监视摄像机影像寻找特定的人物。作为检索人物的目的，例如当发现了感兴趣的人物时，要确认该人物的过去的行动或追踪并监视随后的行动。作为即使在不能总是检测到人物的面部正面时也能正确地追踪人物并检测出场人物的技术，可列举专利文献1。
在专利文献1中公开了一种方法，其中检测从影像连续检测到的面部影像的面部尺寸的变化量，如果该变化量是连续的，则判断该人物是同一人物，将适合于保存的面部影像作为最佳图像(最佳镜头)保存在存储介质中，将所保存的信息作为检索关键字来进行人物检索。
现有技术文献
专利文献
专利文献1：日本特开2007-006324号公报
发明内容
发明要解决的课题
在专利文献1的技术中，由于作为最佳图像仅关注面部，因此如果没有仅由面部就能充分识别的最佳图像，则认为难以进行人物检索。此外，当试图通过使用多个摄像机来追踪人物时，存在在其他摄像机中没拍摄到面部的情况，因而认为不能由其他摄像机进行追踪。此外，当例如在机场检查行李等不仅要检索人物而且由于行李的危险性也要检索人物时，不能关注该行李并进行追踪。
因此，本发明的目的是提供一种能够通过获取较好地示出人物的特征的大量信息来检索同一人物的技术。
本发明的另一个目的是提供一种能够从多个摄像机的影像中正确地关联特定人物并检索被指定为需要关注的人物的技术。
用于解决课题的技术方案
为了解决上述问题，本发明的影像分析装置，例如能够与具有多个摄像机的拍摄装置连接，对于由摄像机拍摄到的多个人物，追踪多个人物中的至少一个人物，检测被追踪人物的多个部分，对于检测到的多个部分，基于定义了用来确定各部分的最佳图像的得分的信息，对摄像机拍摄的影像的每一帧计算各部分的得分，按各部分比较对每一帧计算出的各部分的得分，确定各部分的最佳图像，将各部分与该部分的特征量对应地进行存储，通过比较多个人物的各部分的特征量来判断人物的同一性。
此外，为了解决上述问题，本发明的人物检索系统例如包括：能够与具有多个摄像机的拍摄装置连接的影像分析装置、以及具有显示部和输入部的工作终端，影像分析装置对于由摄像机拍摄到的多个人物，追踪多个人物中的至少一个人物，检测被追踪人物的多个部分，对于检测到的多个部分，基于定义了用来确定各部分的最佳图像的得分的信息，对摄像机拍摄的影像的每一帧计算各部分的得分，按各部分比较对每一帧计算出的各部分的得分，确定各部分的最佳图像，将各部分与该部分的特征量对应地进行存储，通过比较多个人物的各部分的特征量来判断人物的同一性。
发明效果
根据本发明，能够从多个帧图像中选择代表人物的多个部分的特征的最佳图像，掌握最佳图像的特征量，从而能够高精度地检索或追踪同一人物。
附图说明
图1是示出人物检索系统的一例的构成图。
图2是示出影像分析装置的构成的一例的图。
图3是示出了最佳图像定义表的一例的图。
图4是示出最佳图像摄像机表的一例的图。
图5是示出最佳图像合并表的一例的图。
图6是示出部分DB的一例的图。
图7是示出获取最佳图像的一例的图。
图8是示出帧图像DB216的一例的图。
图9是示出根据摄像机的影像来确定二维平面上的人物位置的方法的图。
图10是示出部分的模板的一例的图。
图11是示出工作终端PC4的构成图的一例的图。
图12是示出最佳图像部分的获取的一例的流程图。
图13是示出指定人物的影像的检索处理的一例的图。
图14是示出用于显示作为警惕对象的人物的最新信息的处理的一例的流程图。
具体实施方式
实施例1
<整体结构>
首先，将参考附图说明本发明的第一实施方式。
图1是示出人物检索系统的一例的构成图。在图1中，人物检索系统包括：由拍摄装置、行李检索装置等构成的输入装置1；连接各输入装置1和各PC(个人计算机)的互联网或内联网等的网络2；用于分析所输入或存储的影像的内容的影像分析装置(以下称为影像分析PC)3；用于人物检索的指示、人物检索结果的显示和警报等的工作终端PC4。输入装置1包括：为监视各据点的整体而设置的监视摄像机等多个拍摄装置(摄像机)11；用于检查包和/或携带物品中是否含有危险物的X射线行李检查装置(称为X射线检查装置)12；对X射线检查装置12的内部或装置附近等搬运行李的位置的行李外观进行拍摄的行李外观拍摄摄像机(称为行李外观摄像机)13。也可以将这些装置设置在多个据点，并在多个据点之间共享使用影像等。此外，对于这些输入装置1，不需要在所有据点都设置所有类型的装置，而仅设置所需类型的装置即可。
行李外观摄像机13设置在X射线检查装置12的内部或周边，当在X射线检查装置12拍摄到的X射线图像中包含危险物品或需要确认的行李的情况下自动或手动地指定了行李时，将拍摄该行李的外观。它也可以设置在没有X射线检查装置的地方，例如在机场接收托运行李的转盘。只要能够拍摄行李的外观，也可以使用其他手段进行拍摄。
接下来，将参考图2说明影像分析PC3。图2是示出影像分析PC的构成的一例的图。
对由摄像机11拍摄到的影像进行分析并从各摄像机11获取而存储各人物的最佳图像的影像分析PC3，由包括CPU201、主内存202、输入部203、显示部204、通信部205和存储部210的计算机构成。在存储部210保存有：OS211、最佳图像定义表212、最佳图像摄像机表213、最佳图像合并表214、部分DB215、帧图像DB216、影像获取程序217、人物追踪程序218、人物位置确定程序219、部分区域检测程序220、最佳图像判断程序221、摄像机表更新程序222、合并表更新程序223和人物检索程序224。
保存在这些存储部210中的各种程序(217～224)被读入主内存202，并由CPU201执行以实现各种功能。
图3示出了最佳图像定义表212的一例。在最佳图像定义表212中登记定义得分的信息，该得分用于决定人物的头部、面部、侧脸、服装和包等的各部分的最佳图像。最佳图像定义表的项目得分按用于各种部分类型的面积S31、正面性(frontality)D32和几何特征数N等各项目(31～35)来定义得分。
例如，在部分为面部的情况下，通过使用面部面积S31、作为面部正面性的部分的正面性32和示出检测出面部时的面部相似度的检测可靠性35，对它们所使用的项目的得分(项目得分)的值相加，来计算面部的得分。这种面部得分成为：用于与不同时间的其他图像的同一人物的面部得分进行比较、以选择得分较高的图像作为最佳图像的信息。对于穿在身上的服装和包等人造物品，由于图案等代表各自的特征的几何特征33以及示出鲜明/清晰度的亮度值34等也成为对于确定各部分的最佳拍拍摄响很大的因素，所以也可以包含这些项目。
例如，在判断头部的最佳图像的情况下，通过针对以下三个项目中的每一个计算得分：被确定为头部区域的区域的面积31、作为头部角度的部分正面性32和检测可靠性35，将这些得分相加，来计算头部的得分。面积设为所检测到的头部区域的面积，即像素数，头部的角度设为从人物的行进方向和面部检测结果等获得的、从摄像机看到的头部的角度。
当判断侧脸的最佳图像时，通过用由被确定为侧脸的区域的面积31、作为面部朝向的部分正面性32以及检测可靠性35定义得分，来计算侧脸的得分。关于是否是侧脸的判断，可以从人物的行进方向获得，也可以使用全身的外观特征通过深度学习等的常规方法来估计。
服装的最佳图像例如通过针对上半身的前向、上半身的后向、下半身的前向和下半身的后向，用服装的面积31、作为正面性的部分正面性32、表示服装设计特征的几何特征点33、亮度值34和检测可靠性35定义得分，来计算服装的得分。正面角度根据人物的行进方向等获取。在此，几何特征点的数量可以通过使用公知的SIFT特征量等提取特征点，用其数量来确定。此外，可以通过霍夫变换等来提取边缘分量，用边缘长度的总和等来定义得分。
对于帽子的最佳图像，以与服装相同的方式计算得分。没有帽子的人物被排除在计算对象之外，因为没有相应部分。
对于手表的最佳图像，因为部分很小、没有标准方向，因此使用面积和检测可靠性来计算得分。没佩戴手表的人物被排除在计算对象之外，因为没有相应部分。
如上所述，可以通过使用面积31、部分正面性32、几何特征点数33、亮度值34、检测可靠性35等，选择代表人物的各部分的特征的项目，将这些得分相加，来计算各部分的得分。也可以不简单地将各项目的得分相加，而是设为将项目得分的相加值除以项目数而获得的平均值。此外，也可以通过相应于部分地对各项目的得分加权来计算各部分的得分。最佳图像定义表的项目不限于图3中所示的项目，也可以相应于各部分的特征追加。
这些最佳图像定义表的例子仅是一例，如果可以选择具有大量目标部分的信息的部分，也可以使用另一种得分定义方法。而且，在最佳图像定义表中，可以将在期望是最佳图像的条件下拍摄的部分的图像登记为每种类型的部分的图像，使用公知的相似图像检索技术获取将相似的图像设为最佳图像的图像，并登记最佳图像。
图4示出了最佳图像摄像机表213的一例。
在该最佳图像摄像机表213中登记有如下内容：用于识别在同一摄像机中被确定为同一人物的人物的人物轨迹ID41；用于参考在图5所示的最佳图像合并表214中登记的人物轨迹的合并表ID42；头部43、面部44、侧脸45、服装(上前部)46、包47、鞋48、帽子49等的最佳图像的部分；以及最佳图像最后更新的日期和时间的信息410。对各部分存储图6所示的部分ID的值。部分ID是与部分的特征量和得分相对应地管理的信息，这将在后面参考图6进行描述。此外，图4中所示的部分是一个示例，例如，除了示出服装的上衣的正面的服装(上前部)46之外，还可以追加示出服装的上衣的背面的服装(上后部)、下半身服装的前侧的服装(下前部)、下半身服装的后侧的服装(下后部)等。
人物轨迹ID的前两位是用于识别摄像机的值，也可以在表中将摄像机ID和摄像机识别ID作为不同的值进行管理。当存在多个摄像机时，按各摄像机的人物轨迹创建最佳图像摄像机表213。然而，即使为各摄像机准备最佳图像摄像机表213，也可以将最佳图像摄像机表213放在一起作为一个表。
图5是示出最佳图像合并表214的一例的图。如图5中的一例所示，用于识别在多个摄像机中被确定为同一人物的人物的人物ID(也可以与图4中的合并表ID42相对应)51、与图4相同的头部52、面部53、侧脸54、服装55、包56、鞋57、帽子58、手表59，以及最佳图像最后更新的日期和时间510的信息。在最佳图像合并表214中，与图4相同地，对应于头部52、面部53、侧脸54、服装55、包56、鞋57、帽子58和手表59来登记最佳图像的部分ID的值。最佳图像摄像机表213和最佳图像合并表214之间的差异在于，最佳图像摄像机表213是针对摄像机内的人物轨迹的最佳图像，而最佳图像合并表214是将多个摄像机的人物轨迹相同的人物的最佳图像合并。即，当最佳图像摄像机表被更新时，最佳图像合并表也被更新。
参照图4中的合并表ID，因为图4的人物轨迹ID41“10001”和“10003”被附加了相同的合并表ID42“200001”，所以可以理解人物轨迹ID41的“100001”和“100003”是同一人物。由于同一人物在不同时间进入一个摄像机的拍摄范围，结果将其作为两个人物轨迹进行管理。由于人物轨迹ID41的“10001”和“10003”是同一人物，并且图5的部分ID与图4的人物轨迹ID“10001”的各部分的部分ID的值相同，因此人物轨迹ID41“10001”的所有部分都是最佳图像。
另一方面，关于图5中的人物ID51“200002”的头部52、面部53和侧脸54，由于具有与图4的人物轨迹“10002”相同的部分ID，因此，对于头部52、面部53和侧脸54，在人物轨迹“10002”时存在最佳图像，而对于包56等其他部分，最佳图像存在于由另一个摄像机拍摄的人物轨迹上。
图6示出了部分DB215的一例。与部分ID61相对应地登记部分类型62、部分的矢量数据等的特征量63、用于确定部分拍摄时的帧图像中的位置的部分坐标64、用于确定影像中包括部分的帧的帧ID65、用于判断最佳图像的部分的得分66。因此，可以从图4的最佳图像摄像机表和图5的最佳图像合并表的部分ID掌握该部分的特征量63、得分66等。
图6所示的部分DB215可以针对动态图像的每一帧获取，计算各部分的得分，仅保存与最高得分相对应的信息。例如，关于部分ID“10318”是针对部分类型62“面部”的特征量、得分“5”等。在该状态下，作为新的部分ID61“10003”，输入部分类型62“面部”的图像，基于最佳图像定义表，计算得分为“3”，判断部分ID“10318”时为最佳图像。最佳图像是最能捕捉到该部分的图像，通过基于与其相对应的特征量，与另一人物轨迹的该部分的特征量进行比较，能够高精度地掌握人物的同一性。
换句话说，对于从进入一个摄像机的拍摄范围到离开拍摄范围，针对同一人物的人物轨迹判断各部分的最佳图像，存储该最佳图像中的各部分的特征量。对于其他摄像机也同样地，对于从进入拍摄范围到离开拍摄范围的同一人物的人物轨迹，判断各部分的最佳图像，按照各部分比较该最佳图像中各部分的特征量，来计算相似度。当各个部分的相似度之总和为某个阈值以上时，判断由不同摄像机拍摄的两个人物轨迹是同一人物(同一性)的。
图6中的部分DB是针对同一人物轨迹记载到一张表的示例，但是，例如，也可以通过添加像图5中的人物ID那样的用于确定人物的信息，来将多个人物汇总到一张表中进行管理。作为特征量，可以使用公知的边缘图案特征量或使用通常已知的深度学习中间特征量的特征量等。部分坐标在这里设为矩形，但是也可以使用表示多边形的坐标等。还可以将部分图像与部分ID相对应地存储，以便可以在以后确认最佳图像的图像。而且，即使是为各摄像机创建部分DB，也可以通过合并多个摄像机的部分来创建部分DB。此外，为了防止部分DB的容量增加，也可以删除除了最佳图像部分的数据以外的数据，或者可以删除一定时间段之后的数据。
图7是示出获取最佳图像的一例的图。图7示出了在一个摄像机的拍摄范围71内人物在时刻t＝t0进入并且在时刻t＝t3离开画面的人物轨迹。该例示出该人物在右侧携带有包，并且在时刻t＝t1时为包的最佳图像，即，根据最佳图像定义表计算出的包的得分最高的帧(有时称为图像)。该帧的包的特征量与图6的部分DB215的特征量63和得分66一起存储，部分ID61存储在图4的最佳图像摄像机表213的包47中。然后，将所存储的各部分的得分与另一摄像机所拍摄的人物轨迹的包的最佳图像的得分进行比较。作为比较的结果，将得分最高的帧中所示的包的特征量作为该人物的包的特征量，借助于部分ID用图6的最佳图像合并表214进行管理。
此外，在时刻t＝t2处由于人物朝摄像机移动，因此示出该时刻的帧是面部(部分)的最佳图像的帧。与包和其他部分的情况同样地，通过计算各帧的面部的得分并按帧进行比较，来决定面部的最佳图像。此外，面部的最佳图像的特征量与部分ID相对应地被存储在部分DB中，部分ID成为按各人物轨迹管理的图4的最佳图像摄像机表或图5的最佳图像合并表中的各部分的值。
图8是示出帧图像DB216的一例的图。如图8中的一例所示，登记：用于识别通过从影像以指定的时间间隔剪切出图像后的帧图像的帧ID81、帧图像的文件82以及拍摄日期时间83。可以为各摄像机创建帧图像DB216，也可以通过合并多个摄像机来创建帧图像DB216。如果有必要减小图像文件的大小，也可以不保存帧图像，而是通过以以H.264等的动画压缩方式进行压缩而将其保存为动画，在参考时可基于时刻信息从动画中剪切出帧图像。
返回图2，描述由各程序实现的功能。
影像获取程序217从摄像机11或行李外观摄像机13获取影像或图像，并将其登记到帧图像DB216中。可以实时接收影像，也可以采用接收暂时保存的影像的方法。
人物追踪程序218使用如下一种公知的技术：使用光流法等从由影像获取程序217获取的影像中计算前后帧之间的差异信息，按各帧计算沿相同方向变化的相邻的像素集，将在同一方向上连续变化的区域确定为同一人物的区域。人物追踪程序218对同一人物赋予相同的人物ID。另外，只要可以进行人物追踪，可以使用任何方法，例如，使用背景差分法等检测人物区域，将在影像的前后帧中位置靠近的人物区域作为同一人物进行追踪的方法等。此外，只要可以进行人物追踪，可以使用来自立体摄像机等的3D传感器的信息来进行人物追踪。
此外，人物追踪程序218具有在用于接收从X射线检查装置等中出来的行李的区域、用于接收机场的托运行李的转盘等区域中，在接收行李时将行李与人物相匹配(对应关联)的功能，可以将由行李外观摄像机13拍摄到的行李外观图像与人物相匹配。可以通过检测接收行李的时间并识别当时最接近的人物，来使人物和行李彼此匹配。另外，可以使用任何方法，只要行李和人物可以彼此匹配即可。通过将行李与人物相匹配，具有能够更清楚地获得行李的最佳图像的效果。
图9是示出由人物位置确定程序219执行的、基于从摄像机影像检测到的人物位置来确定二维平面上的人物位置的方法的图。
人物位置确定程序219使用为各摄像机准备的帧图像的坐标和二维平面上的位置关系的信息，用人物的脚位置来确定人物位置。例如，如图9的上部图所示，将摄像机影像划分为网格，并且预先登记各网格在图9的下部图中与哪一位置相对应的对应关系，由此基于图9的上部图中的黑白方格图案的脚位置来确定二维平面上的位置。只要可以从摄像机影像确定人物的位置，也可以使用其他技术来确定位置。
图2的部分区域检测程序220根据从从帧图像获取的人物的位置的信息来检测部分区域，并将其登记在部分DB215中。例如，可以根据基于人物位置推算出的人物的行进方向来估计人物是朝正面方向，背面方向还是横向方向，并且使用图10所例示的部分的模板剪切出。关于各部分的存在/不存在，可以针对所剪切出的图像使用公知的相似图像检索技术，来计算与普通的部分的画像的相似度，当相似度大时判断为存在部分。对于不使用模板的部分区域检测，可使用一般公开的程式库的完全卷积实例感知语义分割(FullyConvolutional Instance-aware Semantic Segmentation)，学习各部分的特征，通过深度学习的分割(Segmentation)来检测部分的区域。当使用机器学习从图像中检测出部分区域时，还可同时获得指示检测可靠性的值，因此，能够将其用作用于判断最佳图像的检测可靠性。
如图7中所示，最佳图像判断程序221从由一个摄像机作为同一人物追踪的帧图像(人物轨迹)中获取各部分的最佳图像。将使用部分区域检测程序220从帧图像获取的部分的得分和从同一人物轨迹的其他帧图像获得的相同部分的得分进行比较，将得分较大的帧判断为最佳图像。如果得分相同，则用预定项目的值的大小来判断最佳图像，例如将具有较大面积的一者设为最佳图像。
在人物轨迹中断的时刻(一个人物的轨迹结束的时刻)，例如当人物被显示在摄像机的视角之外时等，摄像机表更新程序222进行更新。此时，从部分DB215获取诸如形成该人物轨迹的人物的特征量等的信息。最佳图像判断程序221将从人物轨迹内获取的最佳图像的部分类型62、特征量63、帧ID65和得分66与部分ID61相对应地存储在部分DB215中，将该部分ID登记到最佳图像摄像机表的对应的部分。在登记完成后，使用人物检索程序来判断在最近的人物轨迹中是否存在反映同一人物的人物轨迹，如果最近有同一人物轨迹，则将人物轨迹合并，最佳图像部分也按各部分都采用得分最高的一者。
此外，通过比较各部分的特征量的相似度，来判断是否是基于同一人物(人物的同一性)的不同的人物轨迹。即，判断各部分的最佳图像，针对各部分比较该最佳图像中各部分的特征量，并计算相似度。当各个部分的相似度之和为某个一定阈值以上时，判断由不同摄像机拍摄的两个人物轨迹是同一人物(人物的同一性)的。
合并表更新程序223将登记在最佳图像摄像机表213中的一个人物轨迹中的各部分的得分(基于最佳图像定义表)进行比较，将得分较高的一者作为各部分的最佳图像。即，合并表更新程序223将与高分相对应的部分ID登记为读取到图4中所示的最佳图像摄像机表213的头部43和面部44等的各部分的部分ID的值。将登记在该最佳图像摄像机表213中的部分ID称为最佳图像部分。
人物检索程序224获取对应于所登记的人物轨迹的最佳图像合并表214的人物ID，而且，最佳图像判断程序221还比较新登记的最佳图像部分和登记在最佳图像合并表214的最佳图像部分，当新登记的最佳图像部分的得分较大时，更新在最佳图像合并表214中所登记的最佳图像部分的ID。
具体地，在部分DB215中，与最佳图像部分(部分ID)对应地登记有基于最佳图像定义表212计算出的得分66，通过将新登记的与最佳图像部分对应地存储的得分与已登记在最佳图像合并表214中的最佳图像部分对应地存储的得分进行比较，来决定最佳图像。此外，前提是：要比较的最佳图像部分是同一人物的个人物轨迹。基于各部分的特征量的相似度来进行人物身份的同一性的判断。
人物检索程序224使用登记在部分DB215中的特征量，比较人物轨迹之间的最佳图像部分(各部分的最佳图像)的表观相似度，获取各部分的相似度的总和为阈值以上的人物轨迹作为同一人物的人物轨迹。关于相似度的计算，是计算各最佳图像部分的相似度，当头部之间的相似度、面部之间的相似度、侧脸之间的相似度、服装之间的相似度、包之间的相似度、鞋之间的相似度、帽子之间的相似度与手表之间的相似度之总和为阈值以上时，则判断为同一人物。在这里，如果没有要比较的部分，例如没有手表等，则从计算中排除该项目。此外，由于人物的特定贡献度因各部分而异，所以当求取相似度的总和时，可以将预定权重应用于各项目后求取。而且，各部分的相似度可以使用类似的图像检索技术等来计算，但也可以使用其他方法，只要可以计算相似度即可。而且，相似度的总和可以是相似度的平均值，并且在这种情况下，用相似度的总和除以部分数即可。
图11是示出工作终端PC4的构成图的一例的图。如图11的一例所示，用于指定要检索的人物、或追踪需要确认的行李的所有者并显示警报的工作终端PC4，由包含CPU111、主内存112、输入部113、显示部114、通信部115和存储部116的计算机构成。存储部116包括存储OS1161、人物检索画面显示程序1162和警报画面显示程序1163。这些各种程序被读出到主内存112，通过由CPU111执行以实现各种功能。
人物检索画面显示程序1162实时显示摄像机11的影像，或者当从输入部113输入了例如用户请求在影像分析PC3的帧图像DB216中所存储的影像的日期和时间、以及摄像机设置位置等的条件时，根据该输入显示用户请求的影像。此外，当用户找到想要确认的人物时，人物检索画面显示程序1162从诸如鼠标的输入部113接收区域的指定，并且使用接受该区域的指定的人物的最佳图像部分，用影像分析PC3的人物检索程序224进行检索，检索并显示另一个摄像机中同一人物的影像，或者在地图上显示该人物的移动轨迹。
在用X射线检查装置检测到可疑行李时等检测到需要确认的人物时，警报画面显示程序1163将指示所确定的位置的人物区域的人物ID的人物与另一个摄像机11的追踪结果一起显示，在诸如工作终端PC4的显示器等的显示部114上显示用于确认最新的该人物位于何处的信息画面。
<最佳图像部分的获取>
图12是示出从由摄像机11获取的影像数据针对同一人物的各人物轨迹获取最佳图像部分的例子的流程图。
首先，影像获取程序217从摄像机11获取影像，并且将从影像获取的帧图像存储在帧图像DB216中(S1201)。在此，当通过Motion Jpeg或MPEG编码等压缩影像时，可将其划分为帧图像，以使得能够执行图像处理。
接下来，人物追踪程序218从摄像机11或帧图像DB216读取影像数据，从各帧图像中检测人物所在的区域，并使用诸如光流等的方法获取人物的区域和移动轨迹(S1202)。而且，当在同一帧图像中显示多个人物时，按各人物将人物轨迹ID存储在最佳图像摄像机表213中。
接下来，人物位置确定程序219通过图9中描述的方法等，从在步骤S1202中获取的人物的区域信息中获取二维平面上的人物位置(S1203)。通过确定人物在二维平面上的位置，可以知道人物的移动方向，从而具有能够容易地获得与人物朝向的方向有关的最佳图像部分的效果。
接下来，部分区域检测程序220检测与头部、面部、侧脸、服装、包、鞋、帽子和手表相对应的部分区域和部分类型(S1204)。当未检测到部分区域时，判断未拍摄到部分，从而判断没有检测目标。在该步骤中，使用图10所示的各部分的模板来检测各部分的区域。各部分区域的检测也可以使用深度学习分割(Segmentation)处理来进行。
影像分析PC2继续上述步骤S1201～S1204，直到人物轨迹中断为止，并将所获取的数据保存在缓存和部分DB215中(S1205)。即，当人物进入一个摄像机的拍摄范围并直到移出拍摄范围为止，将数据保存在部分DB215中。当在同一摄像机的帧中示出多个人物时，对各人物执行上述处理。在此，为了便于理解，将描述人物类轨迹为一条时的情况。
最佳图像判断程序221在部分DB215中创建条目并登记信息(S1205)。在该步骤中，当最佳图像判断程序221从部分区域检测程序220接收部分区域和部分类型时，赋予部分ID并将其保存在部分DB215的部分类型62中。当赋予部分ID时，从人物位置确定程序219接收部分坐标，并且将部分坐标64存储在对应的部分ID中。此外，最佳图像判断程序221为各部分计算特征量63，并将其保存在部分DB215中。
此外，最佳图像判断程序221基于最佳图像定义表212计算各部分的得分，并将得分保存在部分DB215中。如上所述，最佳图像判断程序221针对一个人物轨迹按照影像的每一帧获取诸如部分ID61、部分类型62和特征量63等的构成部分DB215的信息，并将该信息保存在部分DB215中。
此外，在部分DB215中，通过最佳图像判断程序221针对影像的每一帧保存各部分的特征量63和得分66，但是在相同部分类型的情况下，可以通过仅留下得分较高的条目，而删除得分较低的条目，由此，保存在部分DB215中的信息能够始终是各部分的最佳图像信息，能够减小部分DB215的容量。
接下来，当人物轨迹中断时(S1206)，摄像机表更新程序222在最佳图像摄像机表213中登记在部分DB215中所登记的部分ID61的值(S1207)。另外，当同一人物从同一摄像机的影像中消失后，可能会再次在同一摄像机中显现，因此，定期地对人物轨迹之间进行对照，当包含同一人物的人物轨迹时，合并这些人物轨迹。如上所述，基于各部分的特征量的相似度来执行同一人物的判断。
而且，对于同一人物的人物轨迹，比较各部分的得分，将得分较高的一者判断为该部分的最佳图像部分。
接下来，在合并表更新程序223中，当最佳图像摄像机表213的更新事件被接收并更新了时，对登记在最佳图像摄机像表的新的最佳图像部分的得分和登记在最佳图像合并表214中的过去最佳图像部分的得分进行比较，当新的部分的得分较大时，则更新为登记在最佳图像合并表214中的最佳图像部分(部分ID的值)(S1208)。
接下来，当影像的输入完成了时，结束处理。通过对所有摄像机11的影像执行上述步骤S1201～S1207的处理，可以针对各人物轨迹，即针对各人物轨迹ID，获取从不同时间获取的最佳图像的部分，因而，具有使示出人物外观特征的特征量的获取最大化的效果。
而且，按各人物轨迹并且按各人物轨迹异步地执行上述步骤S1203～S1208的处理，能够在获得第一人物的最佳图像部分的同时不获得其他人物的最佳图像部分。
<人物检索>
图13示出了针对在工作终端PC4上显示的影像而进行的指定人物的影像检索处理的一例。
首先，人物检索画面显示程序1162在诸如显示器等的显示部114上显示摄像机11的实时影像或被保存在影像分析PC3的帧图像DB216中的影像(S1301)。这里，关于实时影像显示，可以通过在画面(屏幕)上并排显示所指定的摄像机11的影像，或以预定顺序切换摄像机11进行显示，只要能够确认摄像机11的影像即可。而且，关于所累积的影像的显示，通过从用户接受时间和摄像机ID的指定，请求影像分析PC3获取影像数据来显示所获取的影像。
接下来，人物检索画面显示程序1162由例如键盘或鼠标等的输入部114接收要检索的人物的指定，获取可以确定想要检索的人物的摄像机ID、帧图像ID，、日期和时间、指定的坐标等信息(S1302)。例如，箭头部分表示鼠标光标的位置，并且将点击鼠标的位置处的人物确定为想要检索的人物。而且，在显示影像中，可以将表示人物区域的矩形等叠加显示在由影像分析PC检测到的人物区域的部分上。
接下来，人物检索程序224使用在上述步骤S1302中获取的可以确定想要检索的人物的信息，从最佳图像合并表214获取所指定的人物的最佳图像部分的信息，通过比较最佳图像部分之间的特征量，并计算人物轨迹之间的相似度，来进行将相似度高的人物轨迹确定为同一人物的人物检索(S1303)。当与所选择的帧图像相对应的人物轨迹已经被登记在最佳图像合并表214中时，仅通过获得对应的人物轨迹ID就可以获得同一人物的检索结果。当检索新上传的影像作为查询时，与最佳图像部分的处理内容同样地，从影像中检测出最佳图像部分，用人物检索程序使用该部分的信息，从最佳图像合并表中确定同一人物的人物轨迹。当在没有多个帧图像的图像中指定人物时，将从指定了人物的图像中检测到的部分直接用作最佳图像部分。
接下来，人物检索画面显示程序1162将在进行人物检索的步骤S1303中获取的检索结果显示在诸如显示器等的显示装置上(S1304)。通过并排显示包括检索结果的人物轨迹的摄像机的影像，或者在二维地图上显示该人物的移动轨迹，或并排显示各轨迹的最佳图像部分等，来显示检索结果，只要可以确认人物的行动历史就不论显示方法。
接下来，当要显示的影像结束时，处理结束(S1305)。
<人物警报>
图14是示出显示由工作终端PC4接收到的警报对象人物的最新信息的处理的一例的流程图。
首先，警报画面显示程序1163在X射线检查装置12等的行李检查中接收警报信号，并将包含警报内容的信息与由行李外观摄像机13拍摄到的行李外观影像一起接收(S1401)。
接下来，在人物追踪程序218中，基于诸如检查装置的行李接收区域等的、事先定义的行李和人物汇合的位置的信息以及X射线检查装置12的传送带的速度等信息，确定并获取包括作为在接收上述行李时的包和行李的拥有者的人物的人物区域(S1402)。
接下来，警报画面显示程序1163以与获取最佳图像部分的过程相同的方式追踪上述人物并获取人物轨迹中的最佳图像部分(S1403)。
接下来，当在同一摄像机内完成对警报目标人物的追踪时，与上述人物检索过程一样，人物检索程序224通过比较最佳图像部分之间的特征量计算出是否存在另一摄像机的警报目标人物，通过将包括许多相似的最佳图像部分的或具有高度相似度的人物确定为警报目标，来进行另一个摄像头的人物追踪(S1404)。警报画面显示程序1163使显示装置显示包括最新影像的摄像机11的实时影像，该最新影像包括所确定的人物(S1405)。
接下来，如果在一定时间段内在所有摄像机11中都不存在作为警报目标的人物的轨迹，则判断追踪完成，结束追踪(S1406)。
如上所述，基于由摄像机11拍摄到的人物的多个部分的信息，能够高精度地进行人物检索。此外，能够基于影像中的最能捕获各部分特征的帧中的各部分的特征量，来进行人物检索，探索或追踪。
此外，能够高精度地进行不同摄像机之间的人物追踪。
另外，通过保存最佳图像部分的信息，能够在指定包或服装地进行检索时，在部分之间进行检索。
附图标记说明
1：输入装置，2：网络，3：影像分析PC，4：工作终端PC，11：摄像机，12：X射线行李检查装置，13：行李外观摄像机，201：CPU，202：主内存，203：输入部，204：显示部，205：通信部，210：存储部，212：最佳图像定义表，213：最佳图像摄像机表，214：最佳图像合并表，215：部分DB，220：部分区域检测程序，221：最佳图像判断程序，222：摄像机表更新程序，223：合并表更新程序，1162：人物检索画面显示程序，1163：警报画面显示程序。

Claims (15)

1.一种能够与具有多个摄像机的拍摄装置连接的影像分析装置，其特征在于：
所述影像分析装置，
对于由所述摄像机拍摄到的多个人物，
追踪所述多个人物中的至少一个人物，
检测被追踪的所述人物的多个部分，
对于检测到的所述多个部分，基于定义了用来确定各部分的最佳图像的得分的信息，对所述摄像机拍摄的影像的每一帧计算所述各部分的得分，
按所述各部分比较对所述每一帧计算出的各部分的得分，来确定所述各部分的最佳图像，
将所述各部分与该部分的特征量对应地进行存储，
通过比较所述多个人物的所述各部分的特征量来判断人物的同一性。
2.根据权利要求1所述的影像分析装置，其特征在于：
所述影像分析装置将所述人物的头部、面部、服装、包、鞋、帽子和手表中的至少两个类别作为所述多个部分进行检测。
3.根据权利要求1所述的影像分析装置，其特征在于：
所述影像分析装置针对所述多个部分中的每一个部分选择面积、正面性、几何特征、亮度值和检测可靠性的项目，使用对选择出的各个所述项目定义的项目得分来计算所述各部分的得分。
4.根据权利要求1所述的影像分析装置，其特征在于：
所述影像分析装置具有存储部，
所述存储部能够存储将所述各部分与该部分的特征量建立了对应关系的部分DB，
所述部分DB，对于所述多个部分中的任一个部分，将表示部分的类别的部分类别以及该部分的特征量和该部分的得分与该部分的部分ID对应地进行存储。
5.根据权利要求4所述的影像分析装置，其特征在于：
所述存储部，对于由所述多个摄像机中的任一个摄像机拍摄到的人物的一条人物轨迹，存储将对应于所述人物轨迹的人物轨迹ID与所述人物轨迹的多个部分的所述部分ID建立了对应关系的最佳图像摄像机表。
6.根据权利要求5所述的影像分析装置，其特征在于：
所述存储部，在由所述多个摄像机拍摄到的多个人物的人物轨迹是同一个人物的轨迹时，存储用于管理各部分中的得分较高的部分的部分ID的最佳图像合并表。
7.一种包括具有多个摄像机的拍摄装置和影像分析装置的人物检索系统，其特征在于：
所述影像分析装置，
对于由所述摄像机拍摄到的多个人物，
追踪所述多个人物中的至少一个人物，
检测被追踪的所述人物的多个部分，
对于检测到的所述多个部分，基于定义了用来确定各部分的最佳图像的得分的信息，对所述摄像机拍摄的影像的每一帧计算所述各部分的得分，
按所述各部分比较对所述每一帧计算出的各部分的得分，来确定所述各部分的最佳图像，
将所述各部分与该部分的特征量对应地存储于存储部，
通过比较所述多个人物的所述各部分的特征量来判断人物的同一性。
8.根据权利要求7所述的人物检索系统，其特征在于：
具有能够与所述影像分析装置连接的工作终端，
所述工作终端包括用于显示由所述拍摄装置拍摄到的影像的显示部和能够输入用于从显示于所述显示部的影像来确定人物的信息的输入部，
所述影像分析装置，计算由所述工作终端的输入部确定的人物的多个部分的特征量，基于保存在所述存储部中的能够参考所述各部分的特征量的最佳图像合并表，来进行由所述输入部确定的人物的检索。
9.根据权利要求7所述的人物检索系统，其特征在于：
所述影像分析装置从来自行李检查装置的影像中确定包含行李的所有者的区域，追踪确定出的所述人物的人物轨迹，获取被追踪的所述人物轨迹的各部分的最佳图像，对获取的所述各部分的最佳图像的特征量与在存储于所述存储部的最佳图像合并表的相应的部分DB中保存的各部分的特征量进行比较，来检索与所述行李的所有者相同的人物。
10.一种使用能够连接到具有多个摄像机的拍摄装置的影像分析装置进行分析的人物检索方法，其特征在于：
所述影像分析装置，
对于由所述摄像机拍摄到的多个人物，
追踪所述多个人物中的至少一个人物，
检测被追踪的所述人物的多个部分，
对于检测到的所述多个部分，基于定义了用来确定各部分的最佳图像的得分的信息，对所述摄像机拍摄的影像的每一帧计算所述各部分的得分，
按所述各部分比较所述各部分的得分，来确定所述各部分的最佳图像，
将所述各部分与该部分的特征量对应地存储于存储部，
通过比较所述多个人物的所述各部分的特征量来判断人物的同一性。
11.根据权利要求10所述的人物检索方法，其特征在于：
所述影像分析装置针对所述多个部分中的每一个部分选择面积、正面性、几何特征、亮度值和检测可靠性的项目，使用对选择出的各个所述项目定义的项目得分来计算所述各部分的得分。
12.根据权利要求11所述的人物检索方法，其特征在于：
所述影像分析装置，对于所述多个部分中的任一个部分，将表示部分的类型的部分类别以及该部分的特征量和该部分的得分与该部分的部分ID对应地存储于存储部。
13.根据权利要求12所述的人物检索方法，其特征在于：
所述影像分析装置，在由所述多个摄像机拍摄到的多个人物的人物轨迹是同一个人物的轨迹时，选择各部分中得分较高的部分ID，作为汇总所述同一个人物的所述各部分的最佳图像的最佳图像合并表进行管理。
14.根据权利要求10所述的人物检索方法，其特征在于：
所述影像分析装置，显示由所述拍摄装置拍摄到的影像，在输入了用于从显示的所述影像来确定人物的信息时，计算确定出的所述人物的多个部分的特征量，基于保存在所述存储部中的能够参考所述各部分的特征量的最佳图像合并表，来进行确定出的所述人物的检索。
15.根据权利要求10所述的人物检索方法，其特征在于：
所述影像分析装置基于来自行李检查装置的警报信号和行李影像来确定包含行李的所有者的区域，追踪所述所有者的人物轨迹，获取被追踪的所述人物轨迹的各部分的最佳图像，对获取的所述各部分的最佳图像的特征量与在存储于所述存储部的最佳图像合并表的相应的部分DB中保存的最佳图像的各部分的特征量进行比较，来检索与行李的所有者相同的人物。
CN201980027442.6A 2018-07-18 2019-06-11 影像分析装置、人物检索系统和人物检索方法 Pending CN112005272A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-134607 2018-07-18
JP2018134607A JP7039409B2 (ja) 2018-07-18 2018-07-18 映像解析装置、人物検索システムおよび人物検索方法
PCT/JP2019/023083 WO2020017190A1 (ja) 2018-07-18 2019-06-11 映像解析装置、人物検索システムおよび人物検索方法

Publications (1)

Publication Number Publication Date
CN112005272A true CN112005272A (zh) 2020-11-27

Family

ID=69163878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980027442.6A Pending CN112005272A (zh) 2018-07-18 2019-06-11 影像分析装置、人物检索系统和人物检索方法

Country Status (6)

Country Link
US (1) US11367219B2 (zh)
EP (1) EP3800613A4 (zh)
JP (1) JP7039409B2 (zh)
CN (1) CN112005272A (zh)
SG (1) SG11202013000TA (zh)
WO (1) WO2020017190A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7249300B2 (ja) * 2020-02-21 2023-03-30 株式会社日立製作所 アラート出力装置、アラート出力方法、及びアラート出力プログラム
JP2021145164A (ja) * 2020-03-10 2021-09-24 株式会社日立製作所 映像解析システム、及び、映像解析方法
JP7029486B2 (ja) * 2020-04-10 2022-03-03 株式会社エクサウィザーズ 情報処理装置、情報処理方法、及びプログラム
JP7493995B2 (ja) 2020-04-30 2024-06-03 日本信号株式会社 人物識別システム
JP7424939B2 (ja) * 2020-08-07 2024-01-30 エヌ・ティ・ティ・コミュニケーションズ株式会社 人物検出装置、人物追跡装置、人物追跡システム、人物検出方法、人物追跡方法、人物検出プログラム及び人物追跡プログラム
WO2022030558A1 (ja) * 2020-08-07 2022-02-10 エヌ・ティ・ティ・コミュニケーションズ株式会社 人物を検出または追跡する装置、システム、方法及びプログラム
JP7500335B2 (ja) * 2020-08-07 2024-06-17 エヌ・ティ・ティ・コミュニケーションズ株式会社 人物追跡装置、人物追跡システム、人物追跡方法及び人物追跡プログラム
JP7479987B2 (ja) * 2020-08-07 2024-05-09 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報処理装置、情報処理方法、及びプログラム
JP7424940B2 (ja) * 2020-08-07 2024-01-30 エヌ・ティ・ティ・コミュニケーションズ株式会社 人物追跡装置、人物追跡システム、人物追跡方法及び人物追跡プログラム
CN112528850B (zh) * 2020-12-11 2024-06-04 北京百度网讯科技有限公司 人体识别方法、装置、设备和存储介质
JP7439785B2 (ja) * 2021-03-19 2024-02-28 株式会社デンソー 認証システム及び追跡システム
JP2022148811A (ja) * 2021-03-24 2022-10-06 株式会社日立製作所 物体追跡システムおよび方法
CN114201643B (zh) * 2022-02-18 2022-06-17 深圳市明源云科技有限公司 视频流渠道风控方法、设备及计算机可读存储介质
KR102617756B1 (ko) * 2022-11-07 2023-12-28 (주) 원모어시큐리티 속성 기반 실종자 추적 장치 및 방법
CN115761633B (zh) * 2022-11-17 2023-07-21 深圳市阳光博睿教育技术有限公司 一种基于应用场景的监控预警方法
CN116110100B (zh) * 2023-01-14 2023-11-14 深圳市大数据研究院 一种人脸识别方法、装置、计算机设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005227957A (ja) * 2004-02-12 2005-08-25 Mitsubishi Electric Corp 最適顔画像記録装置及び最適顔画像記録方法
JP2006254308A (ja) * 2005-03-14 2006-09-21 Matsushita Electric Ind Co Ltd 映像記録装置及び映像記録方法
US20130266181A1 (en) * 2012-04-09 2013-10-10 Objectvideo, Inc. Object tracking and best shot detection system
WO2015045233A1 (ja) * 2013-09-26 2015-04-02 日本電気株式会社 情報処理システム
JP5785667B1 (ja) * 2015-02-23 2015-09-30 三菱電機マイコン機器ソフトウエア株式会社 人物特定システム
JP2017041022A (ja) * 2015-08-18 2017-02-23 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN106548263A (zh) * 2015-09-21 2017-03-29 同方威视技术股份有限公司 一种智能安全检查系统和方法
CN107958258A (zh) * 2016-10-18 2018-04-24 安讯士有限公司 用于追踪限定区域中的对象的方法和系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0502369D0 (en) * 2005-02-04 2005-03-16 British Telecomm Classifying an object in a video frame
JP4316541B2 (ja) 2005-06-27 2009-08-19 パナソニック株式会社 監視記録装置及び監視記録方法
JP5227911B2 (ja) 2009-07-22 2013-07-03 株式会社日立国際電気 監視映像検索装置及び監視システム
US20130030875A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation System and method for site abnormality recording and notification
US9734681B2 (en) * 2013-10-07 2017-08-15 Ubiquiti Networks, Inc. Cloud-based video monitoring
JP6254836B2 (ja) * 2013-11-29 2017-12-27 キヤノン株式会社 画像検索装置、画像検索装置の制御方法およびプログラム
GB201501510D0 (en) * 2015-01-29 2015-03-18 Apical Ltd System
EP3246849A1 (en) 2016-05-18 2017-11-22 L-1 Identity Solutions AG Method for analyzing video data
JP2018055607A (ja) * 2016-09-30 2018-04-05 富士通株式会社 イベント検知プログラム、イベント検知装置、及びイベント検知方法
CN207689691U (zh) * 2017-11-08 2018-08-03 中云智慧（北京）科技有限公司 一种行李通关查验系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005227957A (ja) * 2004-02-12 2005-08-25 Mitsubishi Electric Corp 最適顔画像記録装置及び最適顔画像記録方法
JP2006254308A (ja) * 2005-03-14 2006-09-21 Matsushita Electric Ind Co Ltd 映像記録装置及び映像記録方法
US20130266181A1 (en) * 2012-04-09 2013-10-10 Objectvideo, Inc. Object tracking and best shot detection system
WO2015045233A1 (ja) * 2013-09-26 2015-04-02 日本電気株式会社 情報処理システム
JP5785667B1 (ja) * 2015-02-23 2015-09-30 三菱電機マイコン機器ソフトウエア株式会社 人物特定システム
JP2017041022A (ja) * 2015-08-18 2017-02-23 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN106548263A (zh) * 2015-09-21 2017-03-29 同方威视技术股份有限公司 一种智能安全检查系统和方法
CN107958258A (zh) * 2016-10-18 2018-04-24 安讯士有限公司 用于追踪限定区域中的对象的方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JOSEF S等: "Finding people in repeated shots of the same scene", IN:BMVC2006 *
汪力;叶桦;夏良正;: "基于模板的非参量统计的视频图像中人的检测跟踪方法", 光子学报, no. 06 *

Also Published As

Publication number Publication date
SG11202013000TA (en) 2021-01-28
EP3800613A1 (en) 2021-04-07
EP3800613A4 (en) 2022-03-16
US20210264636A1 (en) 2021-08-26
JP2020013290A (ja) 2020-01-23
JP7039409B2 (ja) 2022-03-22
US11367219B2 (en) 2022-06-21
WO2020017190A1 (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
CN112005272A (zh) 影像分析装置、人物检索系统和人物检索方法
JP7375101B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7317919B2 (ja) 外観検索のシステムおよび方法
US11321947B2 (en) Information processing apparatus, information processing method, and information processing program
JP6986576B2 (ja) 物品識別方法及びシステム、電子機器
CN102087702B (zh) 图像处理设备和图像处理方法
Kong et al. Detecting abandoned objects with a moving camera
JP5010937B2 (ja) 画像処理装置、プログラム及び画像処理方法
US10795928B2 (en) Image search apparatus, system, and method
JP2017041022A (ja) 情報処理装置、情報処理方法及びプログラム
KR20180015101A (ko) 소스 비디오 내에서 관심 동영상을 추출하는 장치 및 방법
JP2020095757A (ja) 情報処理装置、情報処理方法及びプログラム
US11216969B2 (en) System, method, and computer-readable medium for managing position of target
JP2011043863A (ja) 対象領域判定・追跡装置、方法、プログラム及び対象領域判定装置
US20240119087A1 (en) Image processing apparatus, image processing method, and non-transitory storage medium
US20210287503A1 (en) Video analysis system and video analysis method
Hoedl et al. Real-time orientation of a PTZ-camera based on pedestrian detection in video data of wide and complex scenes
der Merwe et al. Using existing surveillance infrastructure to monitor pedestrians on pedestrian bridges: a proof of concept
Sugandi Study on object tracking under outdoor environments using video cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination