CN115210759A - 图像处理装置、图像处理方法以及程序 - Google Patents

图像处理装置、图像处理方法以及程序 Download PDF

Info

Publication number
CN115210759A
CN115210759A CN202080097874.7A CN202080097874A CN115210759A CN 115210759 A CN115210759 A CN 115210759A CN 202080097874 A CN202080097874 A CN 202080097874A CN 115210759 A CN115210759 A CN 115210759A
Authority
CN
China
Prior art keywords
unit
moving body
movement
movement information
comparison
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080097874.7A
Other languages
English (en)
Inventor
辻郁奈
太田昂志
小林刚
岸田俊文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020042659A external-priority patent/JP7484248B2/ja
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN115210759A publication Critical patent/CN115210759A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)

Abstract

图像处理设备具有：图像获取单元，以时间序列获取由相机拍摄到的拍摄图像；储存单元，储存所述拍摄图像内的运动体的时间序列的移动信息；计算单元，根据由所述图像获取单元获取到的时间序列的拍摄图像，计算运动体的移动信息；比较单元，对由所述计算单元计算出的运动体的移动信息和由所述储存单元储存的运动体的移动信息进行比较；判定单元，基于所述比较单元的运动体的移动信息的比较结果，判定成为所述比较单元的比较对象的运动体是否示出异常的活动；以及输出单元，输出所述判定单元的判定结果。

Description

图像处理装置、图像处理方法以及程序
技术领域
本发明涉及在相机的拍摄图像中检测运动体的异常的活动的技术。
背景技术
在利用了网络相机(IP相机)的监视中，要求基于由设置于建筑物的网络相机拍摄到的影像来检测表示异常的动作的运动体，并通知给管理者等用户。
因此，提出有自动判定表示异常的活动的运动体的技术。在专利文献1中公开了如下技术：计算相机拍摄到的影像的帧间的动作矢量，在检测到按图像的每个块而被预先定义的表示异常动作的动作矢量的情况下，通知表示异常的动作的运动体。另外，在专利文献2中公开了如下技术：将与相机的被观察者的生活行动有关的参数存储在数据库中，将与使用人感传感器、摄像元件而估计的生活行动的发生有关的参数与在数据库中存储的参数进行比较，由此判定被观察者的异常行动。
现有技术文献
专利文献
专利文献1：日本特开2015-100031号公报
专利文献2：日本特开2002-352352号公报
发明内容
发明要解决的课题
但是，在现有技术中，需要预先创建与使用网络相机的各个状况对应的、定义异常动作、异常行为的矢量、参数等数据。另外，为了使用现有技术在各种状况下也高精度地检测运动体的异常的活动，需要创建各种各样的变化的数据加以使用。其结果，存在伴随着对网络相机的影像的图像处理、判定处理的处理负荷变得庞大的可能性。
本发明鉴于上述实际情况而完成，其目的在于提供抑制对相机的拍摄图像的图像处理的负荷来检测图像内的运动体的异常的活动的技术。
用于解决课题的手段
为了达成上述目的，本发明采用以下的构成。
本发明的第一方面的图像处理装置的特征在于，具有：图像获取单元，以时间序列获取由相机拍摄到的拍摄图像；储存单元，储存所述拍摄图像内的运动体的时间序列的移动信息；计算单元，根据由所述图像获取单元获取到的时间序列的拍摄图像，计算运动体的移动信息；比较单元，对由所述计算单元计算出的运动体的移动信息和由所述储存单元储存的运动体的移动信息进行比较；判定单元，基于所述比较单元的运动体的移动信息的比较结果，判定成为所述比较单元的比较对象的运动体是否示出异常的活动；以及输出单元，输出所述判定单元的判定结果。由此，由于不会预先创建用于与从拍摄图像得到的移动信息进行比较的各种数据、或者使用这样的数据，因此能够抑制图像处理的负荷而检测表示异常的活动的运动体。
此外，移动信息也可以包含运动体的移动量和运动体的移动方向中的至少一方。由此，例如能够基于运动体的移动量而检测到运动体移动到通常不进入的区域、或者基于运动体的移动方向而检测到运动体移动到与通常不同的方向、或者基于运动体的移动量和移动方向而检测表示偏斜等与通常不同的行动的运动体。
另外，所述计算单元也可以根据由所述图像获取单元以时间序列获取到的多个拍摄图像之间的像素值的差分，计算所述移动量和所述移动方向的所述至少一方。由此，能够根据相邻的两个帧的拍摄图像的像素值的差分来计算运动体的移动量或移动方向，或者能够根据相邻的三个以上帧的拍摄图像的像素值的差分的平均值来计算运动体的移动量或移动方向。
另外，在所述移动信息包含运动体的移动量的情况下，所述储存单元也可以储存根据移动量的平均值、最频值、中值、最小值及最大值而决定的范围内的任一个。由此，能够根据相机的拍摄环境，灵活地选择与为了检测表示异常的活动的运动体而从拍摄图像算出的移动量进行比较的基准。
另外，上述图像处理装置还可以具有受理单元，该受理单元受理关于针对由所述输出单元输出的所述判定结果的运动体是否示出异常的活动的用户输入，所述储存单元也可以根据由所述受理单元受理的所述用户输入，决定是否使用由所述计算单元计算出的所述移动信息来更新由所述储存单元储存的所述移动信息。由此，在通过图像处理装置判定为表示正常活动的运动体表示异常的活动的情况下，通过基于用户输入的反馈来更新所储存的移动信息，从而能够提高表示下次以后的异常的活动的运动体的检测精度。
另外，本发明也能够捕捉为包含上述处理的至少一部分的图像处理方法、用于使计算机执行这些方法的程序、或者非暂时性地记录了这样的程序的计算机可读取的记录介质。上述结构和处理分别只要不产生技术上的矛盾就能够相互组合而构成本发明。
发明效果
根据本发明，能够抑制相机获取的图像的处理负荷，检测表示异常的活动的运动体。
附图说明
图1是表示适用本发明的图像处理装置的结构例的框图。
图2是表示一个实施方式所涉及的PC(图像处理装置)的结构例的框图。
图3是表示一个实施方式所涉及的PC的处理流程例的流程图。
图4是表示一个实施方式所涉及的PC的子例程的处理流程例的流程图。
图5A是表示一个实施方式的拍摄图像的具体例的示意图，图5B和图5C是分别表示移动量的稳定数据和移动方向的稳定数据的具体例的示意图。
图6A至图6C是表示一个实施方式所涉及的拍摄图像中的可疑人员的动作的具体例的示意图，图6D和6E是表示从图6A至图6C的拍摄图像计算的移动量和移动方向的具体例的示意图。
具体实施方式
<应用例>
说明本发明的应用例。在利用网络相机(IP相机)的监视中，要求基于由设置于建筑物的网络相机拍摄到的影像来检测表示异常的动作的运动体，并通知给管理者等用户。然而，在现有技术中，为了维持在各种使用环境中表示异常的活动的运动体的检测精度，使用为了从拍摄图像检测运动体而使用的庞大的辞典，因此有可能图像处理的负荷增大。
图1是表示应用本发明的图像处理装置100的结构例的框图。图像处理装置100具有图像获取部101、异常判定部102以及输出部103。图像获取部101获取由网络相机拍摄的图像。异常判定部102执行在下面的实施方式中详细叙述的处理，进行表示针对拍摄图像的异常的活动的运动体的检测。更具体而言，异常判定部102基于拍摄图像而计算运动体的移动量和移动方向，基于计算出的移动量和移动方向，确定表示异常的活动的运动体。输出部103输出表示由异常判定部102所确定的异常的活动的运动体的通知。
根据本发明的图像处理装置100，能够在各种使用环境中抑制图像处理的负荷，且高精度地检测表示相对于相机的拍摄图像的异常的活动的运动体。
<实施方式的说明>
说明本发明的一个实施方式。图2是表示本实施方式涉及的图像处理系统的大致结构例的示意图。本实施方式涉及的图像处理系统具有PC200(个人计算机；图像处理装置)、网络相机300以及显示装置400。PC200和网络相机300通过有线或无线被相互连接，PC200和显示装置400通过有线或无线被相互连接。
在本实施方式中，作为一例，设想由设置于房屋的玄关的屋檐下的网络相机300拍摄玄关、房屋的地板、与地面邻接的道路等。网络相机300获取多个帧的拍摄图像，并将获取到的拍摄图像输出至PC200。PC200基于网络相机300的拍摄图像而确定表示异常的活动的运动体，并将与所确定的运动体有关的信息输出到显示装置。作为显示装置的一例，可列举显示器、信息处理终端(智能手机等)。
此外，在本实施方式中，PC200是与网络相机300或显示装置400分体的装置，但PC200也可以与网络相机300或显示装置400一体地构成。此外，PC200的设置场所没有特别限定。例如，PC200也可以设置在与网络相机300相同的场所。此外，PC200也可以是云服务(cloud)上的计算机。
PC200具有输入部210、控制部220、存储部230以及输出部240。控制部220具有运动体信息获取部221、基准值计算部224、比较部225以及判定部226。此外，运动体信息获取部221具有帧间差分计算部222以及移动信息计算部223。输入部210、存储部230、帧间差分计算部222、比较部225、判定部226、输出部240分别与本发明的图像获取单元、储存单元、计算单元、比较单元、判定单元、输出单元对应。
输入部210从网络相机300获取构成由网络相机300拍摄到的动态图像的帧并输出至控制部220。另外，网络相机300可以不是光学相机，也可以是热感相机等。
控制部220包括CPU(Central Processing Unit：中央处理单元)、RAM(RandomAccess Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)等，控制部220进行PC200内的各部分的控制、各种信息处理等。
运动体信息获取部221生成储存基于网络相机300的视角内的运动体的时间序列的活动而得的数据作为稳定数据，并将所生成的稳定数据存储在存储部230中。此外，运动体信息获取部221的帧间差分计算部222计算稳定数据的相邻的2个以上的帧间的像素差分量。另外，运动体信息获取部221的移动信息计算部223基于由帧间差分计算部222计算出的像素差分量，计算运动体的移动量以及移动方向。
基准值计算部224基于由移动信息计算部223计算出的运动体的移动量及移动方向、和存储于存储部230的稳定数据所表示的移动量和移动方向，计算由运动体的移动量的平均值、最频值、中央值、最小值及最大值决定的范围、由基于运动体的移动方向的角度的平均值、最频值、中央值、最小值及最大值决定的范围。然后，基准值计算部224使用计算结果来更新存储部230中存储的稳定数据。
比较部225将计算出的运动体的移动量和移动方向与包含在稳定数据中的运动体的移动量和移动方向的差分与用于判定为异常的阈值进行比较。判定部226基于比较部225的比较结果来进行表示异常的活动的运动体的判定。
存储部230除了存储上述的稳定数据之外，还存储由控制部220执行的程序、在控制部220中使用的各种数据等。例如，存储部230是硬盘驱动器、固态驱动器等辅助存储装置。输出部240将用于通知表示判定部226的异常的活动的运动体的判定结果的信息输出至显示装置400。另外，判定部226的运动体的判定结果也可以存储在存储部230中，并在任意的定时从输出部240输出到显示装置400。
图3是示出PC200的处理流程例的流程图。PC200按由输入部210获取的每个图像执行图3的处理流程。由PC200反复执行的图3的处理流程的反复周期没有特别限定，在本实施方式中，以由网络相机300进行拍摄的帧率反复进行图3的处理流程。
首先，输入部210从网络相机300获取由网络相机300拍摄到的拍摄图像(步骤S301)。输入部210获取到的拍摄图像被临时存储于PC200内的RAM等。此外，输入部210在仅获取1帧的拍摄图像的情况下，重复步骤S301的处理，获取以下的处理所需的帧数的拍摄图像。
接着，运动体信息获取部221的帧间差分计算部222计算由输入部210获取到的多个帧的拍摄图像中当前的(最新的)帧的拍摄图像和前一个帧的拍摄图像之间的像素值的差分(步骤S302)。另外，用于计算差分的帧数没有限制，但3个以上的帧的拍摄图像中的差分例如能够分别计算相邻的2个帧间的像素值的差分的绝对值，并将它们的平均值作为像素值的差分而算出。
帧间差分计算部222计算出的帧之间的像素值差分被临时存储在PC200内的RAM等中。此外，帧间差分计算部222在以下的处理中计算运动体的移动量，因此在未计算3个帧间(例如，当前的帧与其前后的帧各自之间)的像素值的差分的情况下，重复步骤S301以及S302，计算各帧间的像素值的差分。
接着，移动信息计算部223基于在步骤S302中计算出的多个帧间的像素值的差分，计算拍摄图像内的运动体的移动量以及移动方向(步骤S303)。作为移动量的一个例子，能够使用根据像素值的差分而求出的标量值，作为移动方向的一个例子，能够使用角度。另外，拍摄图像中的运动体的确定、运动体的移动量以及移动方向的计算能够使用公知的技术来进行，因此在此省略关于处理的详情的说明。
在图5(A)示意性示出网络相机300的拍摄图像的一个例子。如图5所示，网络相机300拍摄面向房屋的道路501、人行道502、从人行道502到房屋的玄关口503为止连续的途径504、站立于房屋的玄关口503的人505、在道路501上行驶的车506等。
图5(B)、5(C)是概略地示出本实施方式中被储存的稳定数据的一例的图。图5(B)是表示拍摄图像内的运动体的移动量的稳定数据，图5(C)是表示拍摄图像内的运动体的移动方向的稳定数据。稳定数据是在网络相机300获取的拍摄图像中按像素的每个块表示移动物体的平均移动量以及移动方向的数据。另外，像素的区块的大小能够设为1个像素～多个像素中的任意的像素数的块。
在移动量的稳定数据中，针对像素的每个块，存储有与运动体的移动速度对应的移动量的大小。例如，由于道路501是车辆行驶，所以在稳定数据中与道路501对应的块的移动量变大。另外，由于人往来于人行道502、途径504，因此与人行道502、途径504对应的区块的移动量比与道路501对应的块小，比其它周围的块大。
另外，在移动方向的稳定数据中，存储有表示运动体的移动方向的代表性移动方向。例如，由于道路501确定车辆行驶的方向，所以在图5A的拍摄图像中，与道路501对应的块的移动方向以右方向或者左方向横向排列成一列的方式被存储。另外，由于途径504在人在人行道502与玄关口504之间移动，因此与途径504对应的块的移动方向被存储上下方向。在拍摄图像内，由于静物部分通常不存在运动体的移动，因此没有存储对应的块的移动方向(图中“N”)。
再次返回图3的流程图的说明。在步骤S304中，控制部220判定在存储部230中是否存储有稳定数据。控制部220能够使用稳定数据的数据大小、更新次数、表示存储有稳定数据的标志(flag)等，判定是否存储有稳定数据。控制部220在判定为存储有稳定数据的情况下(S304：是)，使处理进入步骤S305。另一方面，控制部220在判断为未存储有稳定数据的情况下(S304：否)，使处理前进到步骤S307。
在此，参照图4，对步骤S305的子例程的处理进行说明。首先，在步骤S401中，比较部225对在步骤S303中计算出的运动体的移动量和移动方向、与在存储部230中存储的稳定数据所表示的移动量和移动方向进行比较，计算在步骤S303中计算出的运动体的移动量和移动方向的稳定数据之间的偏差。
接下来，在步骤S402中，比较部225判定在步骤S305中计算出的运动体的移动量与移动方向各自的偏差是否大于阈值。比较部225在判定为运动体的移动量与移动方向的偏差的任一个大于阈值的情况下(S305：是)，使处理进入步骤S405。另一方面，比较部225在判定为运动体的移动量和移动方向均为阈值以下的情况下(S305：否)，使处理进入步骤S405。
在步骤S403中，比较部225将在步骤S402中判定为移动量与移动方向中的任一个的偏差大于阈值的运动体视为表示异常的活动的运动体并通知给用户。作为向用户的通知方法，比较部225通过输出部240，将向用户请求是否是拍摄图像内的运动体的图像、或表示异常的活动的运动体的判定的消息等显示于显示装置400。此外，比较部225也可以使用语音通知等其他通知方法来进行该运动体的通知。
在此，参照图6(A)～图6(E)对通过上述的处理表示异常的活动的运动体的拍摄图像与移动量以及移动方向的关系进行说明。图6(A)～图6(C)表示将由网络相机300得到的拍摄图像排列为时间序列(时刻t-1、t、t+1)的例子。在该例子中，设想可疑人员601靠近设置有网络相机300的房屋。对于这些网络相机300的拍摄图像，通过上述步骤S302、S303的处理，将在图像上与可疑人员601移动了的范围重叠的像素的块的移动量计算为比其以外的范围的像素的块的移动量大的值。在图6(D)示出该例中计算的移动量的一例。图6(D)的网线部分的块的移动量为在图像上与可疑人员601移动了的范围重叠的像素的块的移动量。此外，通过上述步骤S302和S303的处理，如图6(E)所示地计算与可疑人员601在图像上移动了的范围重叠的像素的块的移动方向。
然后，通过求出所计算的图6(D)、图6(E)所示的移动量和移动方向、各自的稳定数据的图5(B)、图5(C)所示的移动量和移动方向的偏差，从而能够将与稳定数据的移动量的偏差大于阈值的块和与移动方向的偏差大于阈值的块视为存在表示异常的活动的运动体的块。移动量和移动方向中使用的阈值可以采用按每个块而不同的阈值，也可以被适当设定阈值的大小。
这样，根据本实施方式，能够根据基于网络相机的拍摄图像而储存的移动量和移动方向，将表示图像内的异常的活动的运动体通知给用户，不需要如以往那样在表示异常的活动的运动体的判定中使用的庞大的辞典数据、使用了辞典数据的比较等图像处理，因此与以往相比能够抑制图像处理而检测表示异常的活动的运动体。
在步骤S403中，用户基于显示装置400中显示的运动体、消息等，判定是否是表示异常的活动的运动体，操作未图示的鼠标、键盘、麦克风等输入装置而将判定结果输入至PC200。
接着，在步骤S404中，作为用户输入的受理单元，判定部226受理在步骤S403中用户所输入的运动体的判定结果，在判定为用户是表示异常的活动的运动体(“有异常”)的情况下(S404：是)进入步骤S405，在判定为用户不是表示异常的活动的运动体(“无异常”)的情况下(S404：否)处理进入S406。
在步骤S405中，判定部226将成为判定对象的运动体是表示异常的活动的运动体这样的判定结果存储于存储部230，结束本子例程的处理。此外，在步骤S406中，判定部226将成为判定对象的运动体不是表示异常的活动的运动体这样的判定结果存储于存储部230，结束本子例程的处理。
接着，在图3的步骤S306中，控制部220判定判定部226对在步骤S303中被计算移动量以及移动方向的运动体的判定结果是否没有异常。在判定部226的判定结果为没有异常的情况下(S306：是)，控制部220使处理进入S307。另一方面，在判定部226的判定结果为有异常的情况下(S306：否)，控制部20使处理返回到S301。在S307中，控制部220从将步骤S303中计算出的移动量以及移动方向的数据与存储部230中存储的稳定数据合并而得的数据组中选择各像素的移动量以及移动方向的最频值，以所选择的最频值更新稳定数据。控制部220将更新后的稳定数据存储于存储部230。
在本实施方式中，通过步骤S306、S307的处理，仅在判定为在拍摄图像中运动体不是表示异常的动作的运动体的情况下更新稳定数据，所以将与不表示异常的动作的运动体相关的数据储存在稳定数据中。此外，通过步骤S403～S406的处理，在通过PC200误判定为表示异常的活动的情况下，受理用户输入的反馈，视为运动体的活动没有异常而更新稳定数据。这样，根据本实施方式，能够将稳定数据构建为表示准确度更高的判定基准的数据。
根据本实施方式的图像处理装置，基于从相机被输入的拍摄图像，储存用于检测表示异常的活动的运动体的稳定数据。因此，与现有技术那样根据各种使用环境预先创建庞大的辞典数据并使用的情况相比，能够期待本实施方式的图像处理装置的运动体检测的处理负荷得以减轻。
<其他>
上述实施方式只不过是例示说明本发明的结构例。本发明不限于上述的具体实施方式，能够在其技术思想的范围内进行各种变形。例如，上述各实施方式的结构以及处理等可以彼此组合。另外，在上述实施方式中，设想使用运动体的移动量和移动方向作为运动体的移动信息，但也可以使用移动量和移动方向中的至少一方作为移动信息。例如，在使用运动体的移动量的情况下，通常检测运动体向未进入的区域移动(向禁止站立区域内进入等)，在使用运动体的移动方向的情况下，检测运动体向与通常不同的方向移动(人、车的逆行等)，在使用运动体的移动量和移动方向的情况下，能够检测表示与通常不同的行动(晃眼等)的运动体。
另外，在上述的实施方式的步骤S402的判定中，在移动量的偏差和移动方向的偏差的任一个比阈值大的情况下，进行表示异常的活动的运动体的用户通知，但也可以取而代之，在移动量的偏差和移动方向的偏差均比各自的阈值大的情况下，进行用户通知。另外，在上述实施方式中，也可以省略步骤S403、S404的处理，基于步骤S402的判定结果来决定是否为在S405、S406中表示异常的动作的运动体。
另外，在上述实施方式中，通过在拍摄图像内的运动体的检测处理中组合公知的人体检测技术、一般物体识别技术，从而能够将拍摄图像中的监视对象缩小到人或物体。由此，能够排除拍进拍摄图像中的树木的摇晃等与监视对象无关的运动体的活动，因此能够期待表示异常的活动的运动体的检测精度进一步提高。
<付记1>
一种图像处理设备，具有：
图像获取单元(210)，以时间序列获取由相机拍摄到的拍摄图像；
储存单元(230)，存储所述拍摄图像内的运动体的时间序列的移动信息；
计算单元(220)，根据由所述图像获取单元获取到的时间序列的拍摄图像，计算运动体的移动信息；
比较单元(225)，对由所述计算单元计算出的运动体的移动信息和由所述储存单元储存的运动体的移动信息进行比较；
判定单元(226)，基于所述比较单元的运动体的移动信息的比较结果，判定成为所述比较单元的比较对象的运动体是否示出异常的活动；以及
输出单元(240)，输出所述判定单元的判定结果。
<付记2>
一种图像处理方法，包括：
图像获取步骤(S301)，以时间序列获取由相机拍摄到的拍摄图像；
储存步骤(S304、S307)，存储所述拍摄图像内的运动体的时间序列的移动信息；
计算步骤(S303)，根据通过所述图像获取步骤获取到的时间序列的拍摄图像，计算运动体的移动信息；
比较步骤(S305)，对通过所述计算步骤计算出的运动体的移动信息和通过所述储存步骤储存的运动体的移动信息进行比较；
判定步骤(S402)，基于所述比较步骤的运动体的移动信息的比较结果，判定成为所述比较步骤的比较对象的运动体是否示出异常的活动；以及
输出步骤(S403)，输出所述判定步骤的判定结果。
附图标记的说明
100：图像处理装置；101：图像获取部；102：异常判定部；103：输出部；200：PC(图像处理装置)；210：输入部；230：存储部；240：输出部；220：控制部；222：帧间差分计算部；223：移动信息计算部；225：比较部；226：判定部。

Claims (7)

1.一种图像处理设备，具有：
图像获取单元，以时间序列获取由相机拍摄到的拍摄图像；
储存单元，储存所述拍摄图像内的运动体的时间序列的移动信息；
计算单元，根据由所述图像获取单元获取到的时间序列的拍摄图像，计算运动体的移动信息；
比较单元，对由所述计算单元计算出的运动体的移动信息和由所述储存单元储存的运动体的移动信息进行比较；
判定单元，基于所述比较单元的运动体的移动信息的比较结果，判定成为所述比较单元的比较对象的运动体是否示出异常的活动；以及
输出单元，输出所述判定单元的判定结果。
2.如权利要求1所述的图像处理装置，其特征在于，
所述移动信息包含运动体的移动量和运动体的移动方向中的至少一方。
3.如权利要求2所述的图像处理装置，其特征在于，
所述计算单元根据由所述图像获取单元以时间序列获取到的多个拍摄图像之间的像素值的差分，计算所述移动量和所述移动方向的所述至少一方。
4.如权利要求2或3所述的图像处理装置，其特征在于，
在所述移动信息包含运动体的移动量的情况下，所述储存单元储存根据移动量的平均值、最频值、中值、最小值及最大值而决定的范围内的任一个。
5.如权利要求1至4中任一项所述的图像处理装置，其特征在于，
还具有受理单元，该受理单元受理关于针对由所述输出单元输出的所述判定结果的运动体是否示出异常的活动的用户输入，
所述储存单元根据由所述受理单元受理的所述用户输入，决定是否使用由所述计算单元计算出的所述移动信息来更新由所述储存单元储存的所述移动信息。
6.一种图像处理方法，包括：
图像获取步骤，以时间序列获取由相机拍摄到的拍摄图像；
储存步骤，储存所述拍摄图像内的运动体的时间序列的移动信息；
计算步骤，根据通过所述图像获取步骤获取到的时间序列的拍摄图像，计算运动体的移动信息；
比较步骤，对通过所述计算步骤计算出的运动体的移动信息和通过所述储存步骤储存的运动体的移动信息进行比较；
判定步骤，基于所述比较步骤的运动体的移动信息的比较结果，判定成为所述比较步骤的比较对象的运动体是否示出异常的活动；以及
输出步骤，输出所述判定步骤的判定结果。
7.一种程序，用于使计算机执行根据权利要求6所述的图像处理方法的各步骤。
CN202080097874.7A 2020-03-12 2020-12-16 图像处理装置、图像处理方法以及程序 Pending CN115210759A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020042659A JP7484248B2 (ja) 2020-03-12 画像処理装置、画像処理方法およびプログラム
JP2020-042659 2020-03-12
PCT/JP2020/047021 WO2021181790A1 (ja) 2020-03-12 2020-12-16 画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
CN115210759A true CN115210759A (zh) 2022-10-18

Family

ID=77671619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080097874.7A Pending CN115210759A (zh) 2020-03-12 2020-12-16 图像处理装置、图像处理方法以及程序

Country Status (4)

Country Link
US (1) US20230082044A1 (zh)
CN (1) CN115210759A (zh)
DE (1) DE112020006877T5 (zh)
WO (1) WO2021181790A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6532106B2 (ja) * 2013-04-26 2019-06-19 日本電気株式会社 監視装置、監視方法および監視用プログラム
CN107113399A (zh) * 2014-06-30 2017-08-29 日本电气株式会社 图像处理装置、监视系统、图像处理方法和程序

Also Published As

Publication number Publication date
DE112020006877T5 (de) 2023-01-12
WO2021181790A1 (ja) 2021-09-16
JP2021144466A (ja) 2021-09-24
US20230082044A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
JP4730431B2 (ja) 目標追尾装置
US20180285656A1 (en) Information processing apparatus, information processing method, and computer-readable storage medium, for estimating state of objects
JP5644097B2 (ja) 画像処理装置、画像処理方法及びプログラム
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
US20140098996A1 (en) Image display apparatus and image display method
US20080095399A1 (en) Device and method for detecting occlusion area
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
JP6414066B2 (ja) 画像処理システム、画像処理方法及びプログラム
KR101758685B1 (ko) 카메라 템퍼링 감지 방법 및 시스템
EP2570992A1 (en) Image processing apparatus, image processing method, and program
JP2001216519A (ja) 交通監視装置
JP5088279B2 (ja) 目標追尾装置
JP5155110B2 (ja) 監視装置
CN107578595B (zh) 流动体分析装置
JP2019032588A (ja) 画像解析装置
CN115210759A (zh) 图像处理装置、图像处理方法以及程序
JP2004222200A (ja) 侵入物体検出方法及び侵入物体検出装置
KR101357721B1 (ko) 영상 데이터를 이용하여 독거 노인에 대한 비정상 상황 발생을 감지하는 장치 및 방법
JP7214437B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7484248B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR101970611B1 (ko) 프레임률에 따라 학습률을 가변하는 이동객체 검출장치 및 방법
JP7415327B2 (ja) 携帯端末制御方法、携帯端末制御装置、プログラム
JP2007336431A (ja) 映像監視装置及び方法
JP7250433B2 (ja) 撮像装置、制御方法及びプログラム
Kumari et al. Dynamic scheduling of an autonomous PTZ camera for effective surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination