CN106157328B - 运动判定装置、运动判定方法 - Google Patents

运动判定装置、运动判定方法 Download PDF

Info

Publication number
CN106157328B
CN106157328B CN201510187574.9A CN201510187574A CN106157328B CN 106157328 B CN106157328 B CN 106157328B CN 201510187574 A CN201510187574 A CN 201510187574A CN 106157328 B CN106157328 B CN 106157328B
Authority
CN
China
Prior art keywords
movement
frame image
moving direction
detection zone
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510187574.9A
Other languages
English (en)
Other versions
CN106157328A (zh
Inventor
张海虹
劳世红
李甫
卢湖川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Omron Corp
Original Assignee
Dalian University of Technology
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology, Omron Corp filed Critical Dalian University of Technology
Priority to CN201510187574.9A priority Critical patent/CN106157328B/zh
Priority to JP2015111260A priority patent/JP6599644B2/ja
Publication of CN106157328A publication Critical patent/CN106157328A/zh
Application granted granted Critical
Publication of CN106157328B publication Critical patent/CN106157328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

一种运动判定装置、运动判定方法。在运动图像输入部(2)中,被输入拍摄到对象区域的运动图像。图像处理部(3)对与被输入至运动图像输入部(2)的运动图像相关的帧图像进行处理,在对所拍摄的目标决定的多个检测区域的每个中,检测帧图像上的移动方向。此外,图像处理部(3)关于对目标决定的多个检测区域计算所检测出的移动方向的离散度。并且,图像处理部(3)使用所计算出的离散度来判定目标的运动是否异常。

Description

运动判定装置、运动判定方法
技术领域
本发明涉及判定由监控照相机等拍摄到的运动图像中拍摄的目标(object)的运动是否异常的技术。
背景技术
以往,在机场、车站、购物中心、街角等不特定多个人聚集的各种地点设置有监控照相机。
此外,研究了对由监控照相机拍摄到的运动图像进行处理,将采取异常的行动的人检测为可疑者的技术。例如,存在对由照相机拍摄到的运动图像进行处理,将所拍摄的人的移动速度、移动方向、头的高度等检测为该人的行动的特征量,使用此处检测的特征量,判定该人是否是可疑者的技术(参照专利文献1)。
另外,专利文献1不仅对由监控照相机拍摄到的运动图像进行处理,还对由车载照相机拍摄到的运动图像进行处理。
现有技术文献
专利文献
专利文献1:(日本)特开2013-88870号公报
但是,在专利文献1等中记载的技术是使用运动图像中拍摄的人(以下,称为追踪对象者。)的移动速度或移动方向,判定该追踪对象者的行动是否异常的结构。对得到追踪对象者的移动速度来说,需要在实际空间上的追踪对象者的移动量。即,对判定追踪对象者的行动是否异常来说,为了计算实际空间上的追踪对象者的移动量,需要将帧图像上的追踪对象者的位置变换为实际空间上的位置。
此外,将由监控照相机拍摄的帧图像上的位置和实际空间上的位置建立对应的变换参数根据监控照相机的拍摄角(angle)而发生变化。此外,监控照相机在设置后,存在由于风或振动等的外力的影响而拍摄角发生变化的情况。从而,由于在设置监控照相机时或监控照相机的拍摄角发生了变化时,进行变换参数的设定作业,所以在应用管理上花费人手和成本。
另外,如公知那样,即使在实际空间上的追踪对象者的移动量相同,帧图像上的追踪对象者的移动量也根据照相机和追踪对象者之间的位置关系而发生变化。即,不能根据帧图像上的追踪对象者的移动量而直接计算实际空间上的追踪对象者的移动量。
发明内容
本发明的目的在于,提供能够简单地进行运动图像中拍摄的目标的运动是否异常的判定,且降低应用管理所花费的人手和成本的技术。
为了达到上述目的,本发明的运动判定装置如以下那样构成。
在运动图像输入部中,被输入拍摄到对象区域的运动图像。被输入至运动图像输入部的运动图像例如是由监控照相机拍摄到的对象区域的运动图像。
移动方向检测部对与被输入至运动图像输入部的运动图像相关的帧图像进行处理,在对所拍摄的目标决定的多个检测区域的每个中,检测帧图像上的移动方向。将检测区域设定为与追踪对象者重合的位置或追踪对象者的周边。例如,将对象区域设定为帧图像上的包围追踪对象者的全身的矩形区域或包围上半身的矩形区域。并且,将检测区域设定为将该对象区域分割为矩阵状的分割区域。由此,在一个帧图像上设定多个检测区域。
在摄像定时不同的两个帧图像间的检测区域的移动方向θ(0≤θ<2π)能够使用一个帧图像上的该检测区域的位置(x1,y1)、和另一个帧图像上的该检测区域的位置(x2,y2),通过
θ=arg tan((y2-y1)/(x2-x1))
来计算。
离散度计算部关于对目标决定的多个检测区域,计算移动方向检测部检测出的移动方向的离散度。此处计算的离散度也可以是针对各检测区域检测出的移动方向的直方图的L0范数(norm),也可以是针对各检测区域检测出的移动方向的方差δ2或标准差δ。
判定部使用离散度计算部计算出的离散度来判定目标的运动是否异常。若将正在进行异常的运动的人、和没有正在进行异常的运动的人进行比较,则与没有正在进行异常的运动的人相比,正在进行异常的运动的人在身体的各部分运动的方向上存在离散。此外,在此所说的正在进行异常的运动的人是正在奔跑的人、步履蹒跚的人(喝醉而步履蹒跚的人或因身体状况不良而步履蹒跚的人等)、正在争执的人(正在吵架的人)等。
像这样,在该结构中,进行该目标的运动是否异常的判定,而不使用在帧图像中拍摄的目标的实际空间上的位置(不检测实际空间上的目标的移动速度)。从而,能够简单地进行在运动图像中拍摄的目标的运动是否异常的判定,且降低应用管理所花费的人手和成本。
此外,也可以是构成为具备:移动量检测部,在对目标决定的多个检测区域的每个中,检测帧图像上的移动量;以及移动特定值计算部,关于对目标决定的多个检测区域,根据移动量检测部检测出的移动量来计算目标的移动特定值,判定部使用离散度计算部计算出的所述离散度、以及移动特定值计算部计算出的移动特定值来判定目标的运动是否异常。
此时,还考虑帧图像上的目标的移动量来进行目标的运动是否异常的判定。由此,能够高精度地判定正在奔跑的人作为正在进行异常的运动的人。
摄像定时不同的两个帧图像间的检测区域的移动量(帧图像上的移动量)能够使用一个帧图像上的该检测区域的位置(x1,y1)、和另一个帧图像上的该检测区域的位置(x2,y2),通过
移动量=((x2-x1)2+(y2-y1)2)1/2
来计算。
此外,移动特定值计算部计算的移动特定值也可以是在每个检测区域中检测到的帧图像上的移动量的最大值,也可以是平均值,也可以是中间值。
此外,判定部例如也可以是通过将离散度和移动特定值相乘后的值与判定阈值的比较,判定目标的运动是否异常的结构。此时,判定阈值优选根据帧图像上的目标的移动方向而决定。
根据本发明,能够简单地进行在运动图像中拍摄的目标的运动是否异常的判定,且降低应用管理所花费的人手和成本。
附图说明
图1是表示运动判定装置的主要部分的结构的框图。
图2是表示图像处理部的功能结构的图。
图3是说明帧图像上的移动方向的图。
图4是说明正在行走的人的检测区域的移动方向的图。
图5是说明正在奔跑的人的检测区域的移动方向的图。
图6是表示正在行走的人的检测区域的移动方向的直方图的图。
图7是表示正在奔跑的人的检测区域的移动方向的直方图的图。
图8是表示运动判定装置的图像处理部的动作的流程图。
标号说明
1……运动判定装置
2……运动图像输入部
3……图像处理部
4……输出部
10……摄像装置
31……目标追踪功能部
32……检测区域设定功能部
33……移动方向检测功能部
34……离散度计算功能部
35……移动量检测功能部
36……移动特定值计算功能部
37……判定值计算功能部
38……判定阈值决定功能部
39……判定功能部
具体实施方式
以下,说明本发明的实施方式的运动判定装置。
图1是表示该例所涉及的运动判定装置的主要部分的结构的框图。运动判定装置1具备运动图像输入部2、图像处理部3、以及输出部4。该例所涉及的运动判定装置1对由监控照相机等的摄像装置10拍摄到的运动图像进行处理,判定在该运动图像中拍摄的人(相当于本发明中所说的目标)的运动是否异常,且将其判定结果输出至上位装置等。
另外,在此所说的正在进行异常的运动的人是正在奔跑的人、步履蹒跚的人(喝醉而步履蹒跚的人或因身体状况不良而步履蹒跚的人等)、正在争执的人(正在吵架的人)等。
摄像装置10与运动图像输入部2连接。摄像装置10是用于拍摄运动图像的摄像机。摄像装置10例如是在不特定多个人聚集的地点(机场、车站、购物中心、街角等)设置的监控照相机。摄像装置10将所拍摄到的运动图像输入至运动图像输入部2。即,在运动图像输入部2中,被时序地输入与摄像装置10拍摄到的运动图像相关的帧图像。摄像装置10的帧频(frame rate)也可以是5~30帧/sec左右。摄像装置10的摄像区域相当于本发明中所说的对象区域。
另外,运动图像输入部2也可以是连接用于再现USB存储器、SD存储卡、DVD、HD等介质中记录的运动图像文件的再现装置,输入由该再现装置再现的再现图像(运动图像文件的再现图像)的结构。在该介质中,记录有例如与摄像装置10拍摄到的摄像区域的运动图像相关的运动图像文件。此外,该例所涉及的运动判定装置1也可以是具有再现所输入的运动图像文件的功能的结构。
图像处理部3对与被输入至运动图像输入部2的运动图像相关的帧图像进行处理,进行追踪所拍摄的人的移动的处理或判定该追踪的人的运动是否异常的处理等。关于这些处理的细节,在后面叙述。
该图像处理部3具备用于执行本发明所涉及的运动判定方法的计算机。
另外,图像处理部3也可以将与被输入至运动图像输入部2的运动图像相关的全部帧图像作为处理对象帧图像来处理,也可以从与被输入至运动图像输入部2的运动图像相关的帧图像之中,将以预先决定的间隔提取出的帧图像作为处理对象帧图像来处理(关于在此没有提取的帧图像,不进行后述的处理。)。此外,提取该处理对象帧图像的间隔根据被输入至运动图像输入部2的运动图像的帧频来决定即可,也可以以时间间隔来设定,也可以以帧间隔来设定。
输出部4输出图像处理部3中的判定结果。例如,输出部4将在图像处理部3中有无被判定为运动异常的人通知给上位装置。上位装置例如是若被通知在图像处理部3中存在被判定为运动异常的人,则对检测到运动异常的人的情况进行报告的结构。该报告通过显示灯的点亮或从扬声器发出声音消息等进行即可。此外,输出部4也可以是将被输入至运动图像输入部2的运动图像显示在所连接的显示装置(未图示)中的结构。此时,运动判定装置1设为将用于强调显示由图像处理部3检测到的运动异常的人的视频信号从输出部4输出的结构即可。
接着,说明图像处理部3的功能结构。图2是表示图像处理部的功能结构的框图。图像处理部3具有目标追踪功能部31、检测区域设定功能部32、移动方向检测功能部33、离散度计算功能部34、移动量检测功能部35、移动特定值计算功能部36、判定值计算功能部37、判定阈值决定功能部38、以及判定功能部39。
目标追踪功能部31在从与摄像装置10拍摄到的运动图像相关的帧图像提取出的每个处理对象帧图像中,将该处理对象帧图像中拍摄的人检测为追踪对象者。如上所述,处理对象帧图像也可以是与被输入至运动图像输入部2的运动图像相关的全部帧图像,也可以是从被输入至运动图像输入部2的运动图像以预先决定的间隔提取出的帧图像。目标追踪功能部31通过例如公知的背景差分方式,检测在处理对象帧图像中拍摄的追踪对象者。
此外,目标追踪功能部31在时间上连续的处理对象帧图像间,进行将所拍摄的追踪对象者建立对应的辨认处理。进而,目标追踪功能部31生成用于对追踪对象者的移动进行追踪的目标图。目标图对每个追踪对象者,将检测出该追踪对象者的处理对象帧图像、和该处理对象帧图像上的追踪对象者的位置(处理对象帧图像上的2维坐标(x,y))建立对应而注册。在目标图中注册的追踪对象者的位置例如设为处理对象帧图像上的追踪对象者的头顶部的位置(难以受到遮掩(occlusion)所带来的影响的位置)即可。目标追踪功能部31根据所生成的目标图,得到处理对象帧图像上的追踪对象者的移动方向以及移动量。
另外,目标追踪功能部31关于处理对象帧图像中拍摄的追踪对象者,不需要计算该追踪对象者的实际空间上的位置。
检测区域设定功能部32对目标追踪功能部31检测出的处理对象帧图像中拍摄的每个追踪对象者,对该追踪对象者设定多个用于检测移动方向的检测区域。检测区域设定功能部32在处理对象帧图像上设定对象区域(矩形区域)。该对象区域对每个追踪对象者设定。对象区域例如也可以是处理对象帧图像上的包围追踪对象者的全身的区域,也可以是包围上半身的区域。设定对象区域的方法被预先决定。检测区域设定功能部32将对象区域分割为矩阵状,将分割后的各区域设定为检测区域。对象区域的分割数(纵向以及横向的分割数)预先决定即可。从而,检测区域被设定为处理对象帧图像上的追踪对象者上或其周边。对追踪对象者设定的检测区域的总数只要设为适当进行后述的移动方向的离散度的计算的数目即可。
另外,不限于根据由目标追踪功能部31生成的目标图而得到的追踪对象者的移动方向、与对该追踪对象者设定的各检测区域的移动方向一致。
移动方向检测功能部33对每个追踪对象者,检测对该追踪对象者设定的各检测区域的移动方向。检测区域的移动方向是在时间上连续的两个处理对象帧图像间,该检测区域的位置发生了变化的方向(处理对象帧图像上的方向)。移动方向是,例如如图3所示那样,将帧图像上的朝右的水平方向设为0°,顺时针旋转地设定的角度θ(0≤θ<360°)。角度θ的基准(设为0°的方向)不限于帧图像上的朝右的水平方向,能够任意设定。此外,角度θ也可以相对于基准方向逆时针旋转地设定。
移动方向检测功能部33通过公知的光流(optical flow)来检测对追踪对象者设定的各检测区域移动方向。帧图像上的检测区域的移动方向θ(0≤θ<2π)能够使用上次的处理对象帧图像上的该检测区域的位置(x1,y1)、和此次的处理对象帧图像上的该检测区域的位置(x2,y2),通过
θ=arg tan((y2-y1)/(x2-x1))
来计算。
例如,如图4所示,在追踪对象者为正在行走的人的情况下,在对该追踪对象者设定的较多的检测区域中,移动方向成为大致相同的方向。从而,在追踪对象者为正在行走的人的情况下,针对多个检测区域检测出的移动方向的离散比较小。
另一方面,如图5所示,在追踪对象者为正在奔跑的人的情况下,对该追踪对象者设定的检测区域的移动方向为各种各样的方向。这是因为追踪对象者正在比较激烈地移动身体的各部分。从而,在追踪对象者为正在奔跑的人的情况下,针对多个检测区域检测出的移动方向的离散变得比较大。
另外,不仅是正在奔跑的人,步履蹒跚的人(喝醉而步履蹒跚的人或因身体状况不良而步履蹒跚的人等)、正在争执的人(正在吵架的人)等也比较激烈地移动身体的各部分,因此针对多个检测区域检测出的移动方向的离散变得比较大。此外,图4以及图5所示的箭头是为了便于示出针对一部分的检测区域检测到的移动方向,不是处理对象帧图像中拍摄的。
根据上述的说明而明显可知,移动方向检测功能部33也在检测各检测区域的移动方向时,不需要计算追踪对象者的实际空间上的位置。
离散度计算功能部34在相同的处理对象帧图像中,对每个追踪对象者,计算对该追踪对象者设定的各检测区域的移动方向的离散度。在该例中,计算将追踪对象者的各检测区域的移动方向以10°为间隔划分后的36维的直方图的L0范数作为离散度。L0范数是非0的维的数。即,在该例中,所计算的离散度成为1≤离散度≤36的范围的整数。
图6是针对图4所示的正在行走的人生成的直方图的例子。此外,图7是针对图5所示的正在奔跑的人生成的直方图的例子。正在行走的人如图6所示那样,检测区域的移动方向以180°为中心而集中。另一方面,正在奔跑的人如图7所示那样,检测区域的移动方向与如图6所示的正在行走的人相比更离散。图6所示的直方图的L0范数为14,图7所示的直方图的L0范数为25。
在该例中,将检测区域的移动方向分割为36维,但也可以分割为24维(以15°为间隔)或72维(以5°为间隔)等。此外,设为对追踪对象者设定的检测区域的总数为维数的几倍(1~3倍)左右即可。维数以及检测区域的总数也可以设定为在正在行走的人和正在奔跑的人之间各检测区域的移动方向的离散度的差变大。
若将所分割的维数过分减少,则一个维的范围变宽,因此各检测区域的移动方向易于集中于特定的维。另一方面,若将所分割的维数过分增多,则一个维的范围变窄,因此各检测区域的移动方向易于分散在较多的维。从而,无论所分割的维数过少还是过多,在正在行走的人和正在奔跑的人之间,各检测区域的移动方向的离散度的差都变小。
移动量检测功能部35对每个追踪对象者,检测对该追踪对象者设定的各检测区域的移动量。检测区域的移动量是在时间上连续的两个处理对象帧图像间,该检测区域的位置发生了变化的大小(处理对象帧图像上的大小)。
移动方向检测功能部33在上次的处理对象帧图像和此次的处理对象帧图像中,检测对应的检测区域的移动量。帧图像上的检测区域的移动量能够使用上次的处理对象帧图像上的该检测区域的位置(x1,y1)、和此次的处理对象帧图像上的该检测区域的位置(x2,y2),通过
移动量=((x2-x1)2+(y2-y1)2)1/2
来计算。
在该例中,上述的移动方向检测功能部33在检测各检测区域的移动方向时进行光流,因此移动量检测功能部35只要利用在移动方向检测功能部33中进行的光流的结果来检测各检测区域的移动量即可。即,移动量检测功能部35不需要进行光流。
其中,也可以是在移动量检测功能部35中进行光流的结构。此时,移动方向检测功能部33只要利用在移动量检测功能部35中进行的光流的结果来检测各检测区域的移动方向即可。即,光流在移动方向检测功能部33或者移动量检测功能部35的一方中进行即可,另一方利用其结果即可。
移动量检测功能部35也根据上述的说明而明显可知,在检测各检测区域的移动量时,不需要计算追踪对象者的实际空间上的位置。
移动特定值计算功能部36关于对追踪对象者设定的各检测区域,计算基于移动量检测功能部35检测出的移动量的移动特定值。在该例中,该移动特定值是各检测区域的移动量的平均值。
另外,移动特定值也可以设为各检测区域的移动量的最大值或中间值。
判定值计算功能部37使用离散度计算功能部34计算出的离散度、和移动特定值计算功能部36计算出的移动特定值,计算判定值。在该例中,判定值是将离散度计算功能部34计算出的离散度、和移动特定值计算功能部36计算出的移动特定值相乘后的值。即,
判定值=(移动特定值)×(离散度)。
另外,判定值也可以设为通过上述以外的计算式而计算的值。
判定阈值决定功能部38基于帧图像上的追踪对象者的移动方向(不是上述的各检测区域的移动方向)而决定。如上所述,帧图像上的追踪对象者的移动方向是根据目标追踪功能部31生成的目标图而得到的。在该例中,决定为通过
判定阈值=A×|cosα|+B
而计算出的值。其中,A、B是预先决定的常数,α是帧图像上的追踪对象者的移动方向。帧图像上的追踪对象者的移动方向α也是将如图3所示的帧图像上的朝右的水平方向设为0°,顺时针旋转地设定的角度α(0≤α<360°)。
若将在帧图像上向横向(图3所示的水平方向)移动的追踪对象者、和在帧图像上向纵向移动的追踪对象者相比,在这些追踪对象者在实际空间上移动的移动量相同的情况下,在帧图像上向横向移动的追踪对象者的移动量变得更大。这是因为在帧图像上向纵向移动的追踪对象者向消失点方向的移动分量更大。由此,设为通过判定阈值决定功能部38决定的判定阈值随着帧图像上的追踪对象者的移动方向接近纵向(随着接近如图3所示的90°或270°)而变小。
另外,判定阈值决定功能部38只要满足随着帧图像上的追踪对象者的移动方向变为纵向而变小的条件,则也可以是通过其他计算式来计算判定阈值的结构。
判定功能部39将判定值计算功能部37计算出的判定值、和判定阈值决定功能部38决定的判定阈值进行比较,若判定值小于判定阈值,则判定为追踪对象者的运动没有异常,相反若判定值为判定阈值以上,则判定为追踪对象者的运动异常。
图8是表示运动判定装置的图像处理部的动作的流程图。图像处理部3从与被输入至运动图像输入部2的运动图像相关的帧图像之中,决定此次的处理对象帧图像(s1)。
图像处理部3对s1中决定的此次的处理对象帧图像进行处理,进行对于追踪对象者的追踪处理(s2)。在s2中,进行上述的目标图的生成。s2所涉及的处理由目标追踪功能部31进行。
图像处理部3对每个追踪对象者,对该追踪对象者设定检测区域(s3)。在s3中,检测区域设定功能部32设定通过光流来检测移动矢量的检测区域。在该例中,检测区域设定功能部32对在处理对象帧图像中拍摄的每个追踪对象者,对该追踪对象者,将包围上半身的矩形区域设定为对象区域。检测区域设定功能部32将所设定的对象区域分割为矩阵状,将分割后的各区域设定为检测区域。
图像处理部3对每个追踪对象者,计算该追踪对象者的移动特定值(s4),且计算该追踪对象者的移动方向的离散度(s5)。s4以及s5所涉及的处理也可以执行的顺序为前后,也可以并行地进行。s4所涉及的处理由移动量检测功能部35以及移动特定值计算功能部进行。此外,s5所涉及的处理由移动方向检测功能部33以及离散度计算功能部34进行。
另外,检测各检测区域的移动矢量的光流所涉及的处理先于s4以及s5所涉及的处理而进行。该光流所涉及的处理由移动量检测功能部35或者移动方向检测功能部33的一方进行。
在s4中,对每个追踪对象者,检测对该追踪对象者设定的各检测区域的移动量,计算其平均值作为该追踪对象者的移动特定值。此外,在s5中,对每个追踪对象者,检测对该追踪对象者设定的各检测区域的移动方向,计算图6或图7所示的直方图的L0范数作为该追踪对象者的移动方向的离散度。
此外,图像处理部3对每个追踪对象者,使用在s4中计算出的移动特定值和在s5中计算出的离散度来计算判定值(s6)。在s6中计算的判定值是将在s4中计算出的移动特定值和在s5中计算出的离散度相乘后的值。s6所涉及的处理由判定值计算功能部37进行。
图像处理部3对每个追踪对象者,决定对于该追踪对象者的判定阈值(s7)。如上所述,判定阈值根据帧图像上的追踪对象者的移动方向而决定。该s7所涉及的处理也可以与上述的s2~s6所涉及的处理并行地进行,也可以在开始s2~s6的任一个处理前执行。s7所涉及的处理由判定阈值决定功能部38进行。
图像处理部3对每个追踪对象者,进行将针对该追踪对象者在s6中计算出的判定值和在s7中计算出的判定阈值进行比较,判定该追踪对象者的行动是否异常的判定处理(s8)。s8所涉及的处理由判定功能部39进行。在s8中,对每个追踪对象者,若针对该追踪对象者在s6中计算出的判定值小于在s7中计算出的判定阈值,则判定为行动没有异常,若为在s7中计算出的判定阈值以上,则判定为行动异常。
若在s8中针对至少1人的追踪对象者判定为行动异常,则图像处理部3输出存在行动异常的追踪对象者的判定结果(s9、s11)。相反,若在s8中针对全部追踪对象者判定为行动没有异常,则图像处理部3输出不存在行动异常的追踪对象者的判定结果(s9、s10)。
像这样,该例所涉及的运动判定装置1能够判定与所输入的运动图像相关的帧图像中拍摄的追踪对象者的行动是否异常,而不关于该追踪对象者计算实际空间上的位置。从而,能够简单地进行所输入的运动图像中拍摄的追踪对象者(目标)的运动是否异常的判定,且降低应用管理所花费的人手和成本。
此外,在上述的例中,将在s5中计算的移动方向的离散度设为各检测区域的移动方向的L0范数,但也可以设为各检测区域的移动方向的方差δ2或标准差δ。
此外,在s6中计算的判定值也可以设为在s5中计算出的各检测区域的移动方向的离散度。这样,不需要针对各检测区域检测移动量的结构,因此实现处理负荷的降低,且实现运动判定装置1主体的成本下降。
此外,在s7中计算的判定阈值也可以是预先设定的固定值。这样,不需要对每个追踪对象者计算判定阈值的结构,因此实现处理负荷的降低,且实现运动判定装置1主体的成本下降。

Claims (6)

1.一种运动判定装置,具备:
运动图像输入部,输入拍摄到对象区域的运动图像;
移动方向检测部,对与被输入至所述运动图像输入部的运动图像相关的帧图像进行处理,在对所拍摄的目标决定的多个检测区域的每个中,检测帧图像上的检测区域的移动方向;
离散度计算部,关于对所述目标决定的多个所述检测区域,计算所述移动方向检测部检测出的移动方向的离散度;以及
判定部,使用所述离散度计算部计算出的所述离散度来判定所述目标的运动是否异常,
所述帧图像上的检测区域的移动方向是在摄像定时不同的两个帧图像间的检测区域的移动方向,使用一个帧图像上的该检测区域的位置和另一个帧图像上的该检测区域的位置计算。
2.如权利要求1所述的运动判定装置,具备:
移动量检测部,在对所述目标决定的多个所述检测区域的每个中,检测帧图像上的检测区域的移动量;以及
移动特定值计算部,关于对所述目标决定的多个所述检测区域,根据所述移动量检测部检测出的移动量来计算所述目标的移动特定值,
所述判定部使用所述离散度计算部计算出的所述离散度、以及所述移动特定值计算部计算出的所述移动特定值来判定所述目标的运动是否异常,
所述帧图像上的检测区域的移动量是在摄像定时不同的两个帧图像间的检测区域的移动量,使用一个帧图像上的该检测区域的位置和另一个帧图像上的该检测区域的位置计算。
3.如权利要求2所述的运动判定装置,其中,
所述判定部通过将所述离散度和所述移动特定值相乘后的判定值与判定阈值的比较来进行所述目标的运动是否异常的判定。
4.如权利要求3所述的运动判定装置,具备:
判定阈值决定部,根据帧图像上的所述目标的移动方向来决定所述判定阈值。
5.如权利要求1~4的任一项所述的运动判定装置,其中,
所述离散度计算部关于对所述目标决定的多个所述检测区域,计算所述移动方向检测部检测出的移动方向的直方图的L0范数作为所述离散度。
6.一种运动判定方法,具备:
移动方向检测步骤,对与被输入至运动图像输入部的、拍摄到对象区域的运动图像相关的帧图像进行处理,在对所拍摄的目标决定的多个检测区域的每个中,检测帧图像上的检测区域的移动方向;
离散度计算步骤,关于对所述目标决定的多个所述检测区域,计算在所述移动方向检测步骤中检测出的移动方向的离散度;以及
判定步骤,使用在所述离散度计算步骤中计算出的所述离散度来判定所述目标的运动是否异常,
所述帧图像上的检测区域的移动方向是在摄像定时不同的两个帧图像间的检测区域的移动方向,使用一个帧图像上的该检测区域的位置和另一个帧图像上的该检测区域的位置计算。
CN201510187574.9A 2015-04-20 2015-04-20 运动判定装置、运动判定方法 Active CN106157328B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510187574.9A CN106157328B (zh) 2015-04-20 2015-04-20 运动判定装置、运动判定方法
JP2015111260A JP6599644B2 (ja) 2015-04-20 2015-06-01 動き判定装置、動き判定方法、および動き判定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510187574.9A CN106157328B (zh) 2015-04-20 2015-04-20 运动判定装置、运动判定方法

Publications (2)

Publication Number Publication Date
CN106157328A CN106157328A (zh) 2016-11-23
CN106157328B true CN106157328B (zh) 2019-05-03

Family

ID=57487163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510187574.9A Active CN106157328B (zh) 2015-04-20 2015-04-20 运动判定装置、运动判定方法

Country Status (2)

Country Link
JP (1) JP6599644B2 (zh)
CN (1) CN106157328B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6863728B2 (ja) * 2016-12-14 2021-04-21 株式会社デンソーテン 運転支援装置および運転支援方法
JP7242309B2 (ja) * 2019-01-16 2023-03-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN113099173A (zh) * 2021-03-25 2021-07-09 湖南桥康智能科技有限公司 一种具有物体位移测量计算功能的智能网络摄像机
CN114821795B (zh) * 2022-05-05 2022-10-28 北京容联易通信息技术有限公司 一种基于ReID技术的人员跑动检测和预警方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930248A (zh) * 2012-10-22 2013-02-13 中国计量学院 基于机器学习的人群异常行为检测方法
CN103733607A (zh) * 2011-08-10 2014-04-16 富士胶片株式会社 用于检测运动物体的装置和方法
CN104081757A (zh) * 2012-02-06 2014-10-01 索尼公司 图像处理设备、图像处理方法、程序和记录介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070063304A (ko) * 2005-12-14 2007-06-19 삼성전자주식회사 움직임 추정장치 및 움직임 추정방법
JP4811184B2 (ja) * 2006-08-04 2011-11-09 株式会社日立製作所 画像監視装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103733607A (zh) * 2011-08-10 2014-04-16 富士胶片株式会社 用于检测运动物体的装置和方法
CN104081757A (zh) * 2012-02-06 2014-10-01 索尼公司 图像处理设备、图像处理方法、程序和记录介质
CN102930248A (zh) * 2012-10-22 2013-02-13 中国计量学院 基于机器学习的人群异常行为检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Abnormal Behavior Recognition Based on Trajectory Feature and Re;A-Lin Hou 等;《2013 Seventh International Conference on Image and Graphics》;20131231;全文
基于目标距离关系和图像光流特征的异常行为检测;赵明月 等;《黑龙江大学自然科学学报》;20141031;第31卷(第5期);摘要,第0、2-3、5节
基于运动块及关键帧的人体动作识别;应锐 等;《复旦学报》;20141231;第53卷(第6期);第817页第3段

Also Published As

Publication number Publication date
JP6599644B2 (ja) 2019-10-30
JP2016207185A (ja) 2016-12-08
CN106157328A (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
EP2801078B1 (en) Context aware moving object detection
Wang et al. Tracking interacting objects optimally using integer programming
CN106157328B (zh) 运动判定装置、运动判定方法
JP2017091549A (ja) 単一のカメラを用いた移動物体検出のための方法およびシステム
KR102096230B1 (ko) 도착 레인으로 합병되는 이동 아이템의 출발 레인을 결정
CN101930609A (zh) 接近的目标物检测方法及装置
Fradi et al. Spatio-temporal crowd density model in a human detection and tracking framework
JP2012191354A (ja) 情報処理装置、情報処理方法及びプログラム
KR101472674B1 (ko) 군중 궤적 추출을 이용한 비정상 행동 검출에 기초한 영상 감시 방법 및 영상 감시 장치
Nizar et al. Multi-object tracking and detection system based on feature detection of the intelligent transportation system
Guan et al. Multi-person tracking-by-detection with local particle filtering and global occlusion handling
Xia et al. Automatic multi-vehicle tracking using video cameras: An improved CAMShift approach
Xie et al. Motion instability based unsupervised online abnormal behaviors detection
Goya et al. A method for automatic detection of crimes for public security by using motion analysis
Pan et al. Fighting detection based on pedestrian pose estimation
Tursun et al. A video based real-time vehicle counting system using optimized virtual loop method
Fradi et al. Sparse feature tracking for crowd change detection and event recognition
CN101702199B (zh) 笑脸检测方法及装置、移动终端
Pane et al. A people counting system for business analytics
US20140064562A1 (en) Approaching-object detector, approaching object detecting method, and recording medium storing its program
KR101646580B1 (ko) 하체 검출/추적 장치 및 방법
Nkosi et al. Autonomous pedestrian detection
Tong et al. Human positioning based on probabilistic occupancy map
Foresti et al. Vehicle detection and tracking for traffic monitoring
Sahu et al. A Study on Real-Time Vehicle Speed Measurement Techniques

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant