CN108764100B - 一种目标行为检测方法及服务器 - Google Patents

一种目标行为检测方法及服务器 Download PDF

Info

Publication number
CN108764100B
CN108764100B CN201810492359.3A CN201810492359A CN108764100B CN 108764100 B CN108764100 B CN 108764100B CN 201810492359 A CN201810492359 A CN 201810492359A CN 108764100 B CN108764100 B CN 108764100B
Authority
CN
China
Prior art keywords
target
image
position data
coordinates
scene image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810492359.3A
Other languages
English (en)
Other versions
CN108764100A (zh
Inventor
陈诚
李泊
董世文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Nanjing Agricultural University
State Grid Zhejiang Electric Power Co Ltd
Global Energy Interconnection Research Institute
Original Assignee
State Grid Corp of China SGCC
Nanjing Agricultural University
State Grid Zhejiang Electric Power Co Ltd
Global Energy Interconnection Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Nanjing Agricultural University, State Grid Zhejiang Electric Power Co Ltd, Global Energy Interconnection Research Institute filed Critical State Grid Corp of China SGCC
Priority to CN201810492359.3A priority Critical patent/CN108764100B/zh
Publication of CN108764100A publication Critical patent/CN108764100A/zh
Application granted granted Critical
Publication of CN108764100B publication Critical patent/CN108764100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标行为检测方法及服务器,其中,方法包括:获取场景图像,并识别第一目标和第二目标;获取第一目标的第一位置数据以及第二目标的第二位置数据;根据第一位置数据以及第二位置数据,计算第一目标与第二目标之间的关联度值;根据关联度值确定关联目标对;关联目标对包括一所述第一目标和一所述第二目标;在场景图像中提取包括关联目标对在内的目标图像。本发明实施例提供的目标行为检测方法及服务器将目标行为检测简化为目标识别和目标关联两个问题,降低了算法复杂度,从而提高了计算速度,使得本发明实施例提供的目标行为检测方法能够满足实时检测的需要。

Description

一种目标行为检测方法及服务器
技术领域
本发明涉及图像处理技术领域,具体涉及一种目标行为检测方法及服务器。
背景技术
视频监控系统可以用来采集信息和数据。传统技术中,一般采用人工观测的方式发现图像或视频中的不合规行为。在公共场合或工作场地,视频监控系统的部署十分广泛,数量众多,这就使得通过视频监控系统采集得到的图像或视频数据越来越多。传统的人工监控方式已远远无法满足日常监控及目标行为监测的需要。计算机视觉技术可以在一定程度上代替人眼,实现对监控图像或视频的智能化自动监控。但现有的计算机视觉技术在目标行为检测方面存在算法复杂、计算速度较慢以及算法准确度较低等问题,很难满足复杂背景下对目标行为进行实时检测的需要。
发明内容
有鉴于此,本发明实施例提供了一种目标行为检测方法及服务器,以解决现有技术在目标行为检测方面存在的算法复杂、计算速度较慢以及算法准确度较低的问题。
根据第一方面,本发明实施例提供了一种目标行为检测方法,包括:获取场景图像,并识别所述场景图像中的第一目标和第二目标;获取所述第一目标的第一位置数据以及所述第二目标的第二位置数据;根据所述第一位置数据以及所述第二位置数据,计算所述第一目标与所述第二目标之间的关联度值;根据所述关联度值确定关联目标对;所述关联目标对包括一所述第一目标和一所述第二目标;在所述场景图像中提取包括所述关联目标对在内的目标图像。
本发明实施例提供的目标行为检测方法,首先识别视频监控系统采集的场景图像中的多个监控目标,包括第一目标和第二目标,将所有监控目标作为备选目标集;然后再根据第一目标和第二目标之间的相对位置信息计算目标的关联度值;最后根据关联目标对在场景图像中的位置输出目标行为检测结果,即目标图像。经实验证实,本发明实施例提供的目标行为检测方法能够适用于复杂背景环境下,如营业厅等公共场合的多目标行为检测,检测结构具有较为优异的鲁棒性,对外界环境及场景图像的拍摄角度等约束较少,取得了较高的目标行为检测准确度。本发明实施例提供的目标行为检测方法,将目标行为检测简化为目标识别和目标关联两个问题,降低了算法复杂度,从而提高了计算速度,使得本发明实施例提供的目标行为检测方法能够满足实时检测的需要。
结合第一方面,在第一方面第一实施方式中,获取所述第一目标的第一位置数据以及所述第二目标的第二位置数据,包括:确定所述第一目标的第一特征点在所述场景图像中的第一像素位置,以及所述第二目标的第二特征点在所述场景图像中的第二像素位置;根据所述第一像素位置的坐标确定所述第一目标的第一位置数据,根据所述第二像素位置的坐标确定所述第二目标的第二位置数据。
本发明实施例提供的目标行为检测方法,通过分别在第一目标和第二目标中设置特征点的方式,确定第一目标和第二目标的位置数据,保证了位置数据的可靠性。
结合第一方面第一实施方式,在第一方面第二实施方式中,所述第一目标的第一特征点包括所述第一目标的左上顶点、中心点和右下顶点,所述第二目标的第二特征点包括所述第二目标的中心点;根据以下公式计算所述第一目标与所述第二目标之间的关联度值:
Figure BSA0000164195430000021
其中,Pi表示第i个第一目标,i=1,2,…,n,n表示第一目标的数量;Oj表示第j个第二目标,j=1,2,…,m,m表示第二目标的数量;
Figure BSA0000164195430000031
表示第一目标Pi和第二目标Oj之间的关联度值;(Pi xL,Pi yL)表示第一目标Pi的左上顶点坐标;(Pi xC,Pi yC)表示第一目标Pi的中心点坐标;(Pi xR,Pi yR)表示第一目标Pi的右下顶点坐标;
Figure BSA0000164195430000032
表示第二目标Oj的中心点坐标。
本发明实施例提供的目标行为检测方法,通过第一目标的左上顶点坐标、中心点坐标和右下顶点坐标,以及第二目标的中心点坐标,计算得到第一目标与第二目标之间的关联度值,计算公式较为简洁,从而提高了计算速度。
结合第一方面第二实施方式,在第一方面第三实施方式中,根据所述关联度值确定关联目标对,包括:统计计算得到的同一所述第二目标与各所述第一目标之间的关联度值;对各所述关联度值进行排序,得到各所述关联度值中的最小值;确定所述最小值对应的所述第二目标与所述第一目标为关联目标对。
本发明实施例提供的目标行为检测方法,由于对同一第二目标对应的各个关联度值进行排序,进而根据排序结果确定与该第二目标关联的第一目标,将该第二目标和与其关联的第一目标作为一对关联目标对,从而保证每一个第二目标都能组建形成一对关联目标对,以避免关联目标对的漏检,从而提高目标行为检测的准确度。
结合第一方面,在第一方面第四实施方式中,在所述场景图像中提取包括所述关联目标对在内的目标图像,包括:将包含同一所述第一目标的各个关联目标对合并,形成融合目标对组;根据所述融合目标对组在所述场景图像中确定目标图像的范围;根据所述目标图像的范围在所述场景图像中提取目标图像。
本发明实施例提供的目标行为检测方法,通过将关联目标对合并,减少了多目标检测下获得的目标图像的数量,使得目标行为的检测结果能够方便地呈现给用户。
结合第一方面第四实施方式,在第一方面第五实施方式中,所述第一目标的第一特征点包括所述第一目标的左上顶点和右下顶点,所述第二目标的第二特征点包括所述第二目标的左上顶点和右下顶点;根据以下公式在所述场景图像中确定目标图像的范围:
Figure BSA0000164195430000041
Figure BSA0000164195430000042
其中,(OUTxL,OUTyL)表示所述目标图像的左上顶点坐标,(OUTxR,OUTyR)表示所述目标图像的右下顶点坐标;(Pi xL,Pi yL)表示所述融合目标对组中第一目标Pi的左上顶点坐标,(Pi xR,Pi yR)表示所述融合目标对组中第一目标Pi的右下顶点坐标;
Figure BSA0000164195430000043
表示所述融合目标对组中第二目标Ok的左上顶点坐标,
Figure BSA0000164195430000044
表示所述融合目标对组中第二目标Ok的右下顶点坐标,k=1,2,…,K,K表示构成所述融合目标对组的各个第二目标的数量。
本发明实施例提供的目标行为检测方法,通过融合目标对组中第一目标的左上顶点坐标和融合目标对组中各个第二目标的左上顶点坐标,计算得到目标图像的左上顶点坐标;通过融合目标对组中第一目标的右下顶点坐标和融合目标对组中各个第二目标的右下顶点坐标,计算得到目标图像的右下顶点坐标,计算公式较为简洁,从而提高了计算速度。
结合第一方面或第一方面第一至第五实施方式中的任一项实施方式,在第一方面第六实施方式中,在所述场景图像中提取包括所述关联目标对在内的目标图像的步骤之后,所述目标行为检测方法还包括:输出所述目标图像。
本发明实施例提供的目标行为检测方法,通过输出目标行为检测结果,即输出目标图像,帮助用户直接掌握目标行为,对于违规行为可以及时进行核实和纠正。
结合第一方面或第一方面任一实施方式,在第一方面第七实施方式中,识别所场景图像中的第一目标和第二目标,包括:根据预设的目标识别模型识别所述场景图像中的第一目标和第二目标。
本发明实施例提供的目标行为检测方法,由于使用预设的目标识别模型对场景图像进行目标识别,使得每一次目标识别的准确度能够保持大致相同的水平,避免因目标识别的失误造成对目标行为的漏检。
结合第一方面第七实施方式,在第一方面第八实施方式中,构建所述预设的目标识别模型,包括:采集分别包含所述第一目标和所述第二目标的图像样本;根据所述图像样本构建预设的目标识别模型。
本发明实施例提供的目标行为检测方法,由于使用包含第一目标或第二目标的图像样本对目标识别模型进行训练和优化,使得目标识别模型的识别准确度可控,从而避免目标行为检测的准确度出现较大波动,有利于提高目标行为检测的可靠性。
根据第二方面,本发明实施例提供了一种服务器,包括:目标识别单元,用于获取场景图像并识别所述场景图像中的第一目标和第二目标;位置数据获取单元,用于获取所述第一目标的第一位置数据以及所述第二目标的第二位置数据;关联度计算单元,用于根据所述第一位置数据以及所述第二位置数据,计算所述第一目标与所述第二目标之间的关联度值;目标对确定单元,用于根据所述关联度值确定关联目标对;所述关联目标对包括一所述第一目标和一所述第二目标;目标图像提取单元,用于在所述场景图像中提取包括所述关联目标对在内的目标图像。
根据第三方面,本发明实施例提供了一种服务器,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面或者第一方面的任意一种实施方式中所述的目标行为检测方法。
根据第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的目标行为检测方法。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1示出了本发明实施例中的一种目标行为检测方法的一个具体示例的流程图;
图2示出了构建预设的目标识别模型的一个具体示例的流程图;
图3示出了本发明实施例中一种目标行为检测方法中实现步骤S102获取第一目标的第一位置数据以及第二目标的第二位置数据的一个具体示例的流程图;
图4示出了本发明实施例中一种目标行为检测方法中实现步骤S104根据关联度值确定关联目标对的一个具体示例的流程图;
图5示出了本发明实施例中一种目标行为检测方法中实现步骤S105在场景图像中提取包括所关联目标对在内的目标图像的一个具体示例的流程图;
图6示出了本发明实施例中的另一种目标行为检测方法的一个具体示例的流程图;
图7示出了本发明实施例中的一种服务器的一个具体示例的流程图;
图8示出了本发明实施例中的另一种服务器的一个具体示例的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例还提供一种目标行为检测方法,如图1所示,该目标行为检测方法可以包括以下步骤:
步骤S101:获取场景图像并识别场景图像中的第一目标和第二目标。在一具体实施方式中,可以根据预设的目标识别模型识别场景图像中的第一目标和第二目标。具体的,如图2所示,可以通过以下几个步骤构建预设的目标识别模型:
步骤S201:采集分别包含第一目标和第二目标的图像样本。在实际应用中,第一目标可以是人员目标,例如身着统一制服的营业厅柜员,或身着工作服的生产车间工人;对应的,包含第一目标的图像样本即人员照片。第二目标可以是与人员违规行为相对应的各种违规物品,例如手机或点燃的香烟等;对应的,包含第二目标的图像样本即上述各种违规物品的照片。
步骤S202:根据图像样本构建预设的目标识别模型。具体的,可以使用图像样本对目标识别模型进行训练,以不断优化目标识别模型。在一具体实施方式中,可以使用YOLO(You Only Look Once,简称YOLO)模型作为预设的目标识别模型。
步骤S102:获取第一目标的第一位置数据以及第二目标的第二位置数据。在一具体实施方式中,如图3所示,可以通过以下几个子步骤实现步骤S102获取第一目标的第一位置数据以及第二目标的第二位置数据:
步骤S1021:确定第一目标的第一特征点在场景图像中的第一像素位置,以及第二目标的第二特征点在场景图像中的第二像素位置。第一特征点在场景图像中的第一像素位置能够表征第一目标的位置,第二特征点在场景图像中的第二像素位置能够表征第二目标的位置。具体的,第一目标的第一特征点可以包括第一目标的左上顶点、中心点和右下顶点,第二目标的第二特征点可以包括第二目标的左上顶点、中心点和右下顶点。
步骤S1022:根据第一像素位置的坐标确定第一目标的第一位置数据,根据第二像素位置的坐标确定第二目标的第二位置数据。为了获取各个像素的坐标信息,可以在场景图像上构建坐标系,这样场景图像上每个像素的坐标均能够很方便的被采集上来。在一具体实施方式中,第一目标的左上顶点、中心点和右下顶点对应的三个像素的坐标,构成了第一位置数据;同样的,第二目标的左上顶点、中心点和右下顶点对应的三个像素的坐标,构成了第二位置数据。
步骤S103:根据第一位置数据以及第二位置数据计算第一目标与第二目标之间的关联度值。可以根据以下公式(1)计算第一目标与第二目标之间的关联度值:
Figure BSA0000164195430000081
其中,Pi表示第i个第一目标,i=1,2,…,n,n表示第一目标的数量;Oj表示第j个第二目标,j=1,2,…,m,m表示第二目标的数量;
Figure BSA0000164195430000082
表示第一目标Pi和第二目标Oj之间的关联度值;(Pi xL,Pi yL)表示第一目标Pi的左上顶点坐标;(Pi xC,Pi yC)表示第一目标Pi的中心点坐标;(Pi xR,Pi yR)表示第一目标Pi的右下顶点坐标;
Figure BSA0000164195430000083
表示第二目标Oj的中心点坐标。
步骤S104:根据关联度值确定关联目标对。关联目标对包括一第一目标和一第二目标。当场景图像中包含多个目标时,具体的,当场景图像中包含多个第二目标时,为保证每一个第二目标都能组建形成一对关联目标对,从而避免关联目标对的漏检,如图4所示,可以通过以下几个子步骤实现步骤S104根据关联度值确定关联目标对:
步骤S1041:统计计算得到的同一第二目标与各第一目标之间的关联度值。在一幅实际场景图像中,包含三个人员目标和两个手机目标,即包含三个第一目标P1、P2和P3,以及两个第二目标O1和O2。可以分别计算第二目标O1与第一目标P1、P2和P3之间的关联度值
Figure BSA0000164195430000084
Figure BSA0000164195430000085
将关联度值
Figure BSA0000164195430000086
Figure BSA0000164195430000087
编为一组。同样的,还可以分别计算第二目标O2与第一目标P1、P2和P3之间的关联度值
Figure BSA0000164195430000088
Figure BSA0000164195430000089
将关联度值
Figure BSA00001641954300000810
Figure BSA00001641954300000811
编为另一组。
步骤S1042:对各关联度值进行排序,得到各关联度值中的最小值。可以对关联度值
Figure BSA00001641954300000812
Figure BSA00001641954300000813
构成的一组关联度进行冒泡排序,以确定其中的最小值。同样的,对关联度值
Figure BSA00001641954300000814
Figure BSA00001641954300000815
构成的另一组关联度进行冒泡排序,以确定其中的最小值。
步骤S1043:确定最小值对应的第二目标与第一目标为关联目标对。当关联度值
Figure BSA00001641954300000816
Figure BSA00001641954300000817
中的最小值为
Figure BSA00001641954300000818
时,可以确定第一目标P2和第二目标O1为一对关联目标对<P2,O1>。同样的,当关联度值
Figure BSA00001641954300000819
Figure BSA00001641954300000820
中的最小值为
Figure BSA00001641954300000821
时,可以确定第一目标P2和第二目标O2为一对关联目标对<P2,O2>。通过上述步骤S1041至步骤S1043,可以为每一个第二目标筛选出与其关联的第一目标,即为每一个违规物品找到与其关联的人员。
步骤S105:在场景图像中提取包括关联目标对在内的目标图像。场景图像一般尺寸较大,除了各个第一目标和第二目标以外,还会包含大量无关内容,例如等候办理业务的群众、办公桌椅和墙面装饰等。为了使用户能够快速掌握目标行为检测的结果,需要在场景图像中提取包括关联目标对在内的目标图像,以目标图像作为目标行为检测的结果。在一具体实施方式中,如图5所示,可以通过以下几个子步骤实现步骤S105在场景图像中提取包括所关联目标对在内的目标图像:
步骤S1051:将包含同一第一目标的各个关联目标对合并,形成融合目标对组。对于上述包含三个第一目标P1、P2和P3,以及两个第二目标O1和O2的实际场景图像,由于关联目标对<P2,O1>和<P2,O2>中均包含同一第一目标P2,可以将关联目标对<P2,O1>和<P2,O2>合并以形成融合目标对组<P2,O1,O2>。
步骤S1052:根据融合目标对组在场景图像中确定目标图像的范围。具体的,可以根据以下公式(2)和公式(3)在场景图像中确定目标图像的范围:
Figure BSA0000164195430000091
Figure BSA0000164195430000092
其中,(OUTxL,OUTyL)表示目标图像的左上顶点坐标,(OUTxR,OUTyR表示目标图像的右下顶点坐标;(Pi xL,Pi yL)表示融合目标对组中第一目标Pi的左上顶点坐标,(Pi xR,Pi yR)表示融合目标对组中第一目标Pi的右下顶点坐标;
Figure BSA0000164195430000093
表示融合目标对组中第二目标Ok的左上顶点坐标,
Figure BSA0000164195430000094
表示融合目标对组中第二目标Ok的右下顶点坐标,k=1,2,…,K,K表示构成融合目标对组的各个第二目标的数量。
将融合目标对组<P2,O1,O2>代入公式(2)和公式(3),可以得到目标图像的左上顶点坐标
Figure BSA0000164195430000095
以及目标图像的右下顶点坐标
Figure BSA0000164195430000096
步骤S1053:根据目标图像的范围在场景图像中提取目标图像。将目标图像的左上顶点坐标(OUTxL,OUTyL)和右下顶点坐标(OUTxR,OUTyR)为对角线,该对角线限定的矩形范围即目标图像的范围,在场景图像中提取该矩形,得到的图像即目标图像。目标图像可以作为目标行为检测的结果。由于场景图像中常常包含多个第一目标,使得目标图像的数量不一定为一,可以根据实际目标行为检测的结果提取多个目标图像。
可选的,如图6所示,在步骤S105之后,还可以增设以下步骤:
步骤S106:输出目标图像。
本发明实施例提供的目标行为检测方法,首先识别视频监控系统采集的场景图像中的多个监控目标,包括第一目标和第二目标,将所有监控目标作为备选目标集;然后再根据第一目标和第二目标之间的相对位置信息计算目标的关联度值;最后根据关联目标对在场景图像中的位置输出目标行为检测结果,即目标图像。经实验证实,本发明实施例提供的目标行为检测方法能够适用于复杂背景环境下,如营业厅等公共场合的多目标行为检测,检测结构具有较为优异的鲁棒性,对外界环境及场景图像的拍摄角度等约束较少,取得了较高的目标行为检测准确度。本发明实施例提供的目标行为检测方法,将目标行为检测简化为目标识别和目标关联两个问题,降低了算法复杂度,从而提高了计算速度,使得本发明实施例提供的目标行为检测方法能够满足实时检测的需要。
本发明实施例还提供了一种服务器,如图7所示,该服务器可以包括:目标识别单元701、位置数据获取单元702、关联度计算单元703、目标对确定单元704和目标图像提取单元705。
其中,目标识别单元701用于获取场景图像并识别场景图像中的第一目标和第二目标;详细内容参考步骤S101所述。
位置数据获取单元702用于获取第一目标的第一位置数据以及第二目标的第二位置数据;详细内容参考步骤S102所述。
关联度计算单元703用于根据第一位置数据以及第二位置数据,计算第一目标与第二目标之间的关联度值;详细内容参考步骤S103所述。
目标对确定单元704用于根据关联度值确定关联目标对;关联目标对包括一所述第一目标和一所述第二目标;详细内容参考步骤S104所述。
目标图像提取单元705用于在场景图像中提取包括关联目标对在内的目标图像;详细内容参考步骤S105所述。
本发明实施例还提供了一种服务器,如图8所示,该服务器可以包括处理器801和存储器802,其中处理器801和存储器802可以通过总线或者其他方式连接,图8中以通过总线连接为例。
处理器801可以为中央处理器(Central Processing Unit,CPU)。处理器801还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器802作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施例中的目标行为检测方法对应的程序指令/模块(例如,图7所示的目标识别单元701、位置数据获取单元702、关联度计算单元703、目标对确定单元704和目标图像提取单元705)。处理器801通过运行存储在存储器802中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的目标行为检测方法。
存储器802可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器801所创建的数据等。此外,存储器802可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器802可选包括相对于处理器801远程设置的存储器,这些远程存储器可以通过网络连接至处理器801。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器802中,当被所述处理器801执行时,执行如图1-6所示实施例中的目标行为检测方法。
上述服务器具体细节可以对应参阅图1至图6所示的实施例中对应的相关描述和效果进行理解,此处不再赘述。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random AccessMemory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种目标行为检测方法,其特征在于,包括:
获取场景图像,并识别所述场景图像中的第一目标和第二目标;
获取所述第一目标的第一位置数据以及所述第二目标的第二位置数据;
根据所述第一位置数据以及所述第二位置数据,计算所述第一目标与所述第二目标之间的关联度值;
根据所述关联度值确定关联目标对;所述关联目标对包括一所述第一目标和一所述第二目标;
在所述场景图像中提取包括所述关联目标对在内的目标图像;
其中,获取所述第一目标的第一位置数据以及所述第二目标的第二位置数据,包括:
确定所述第一目标的第一特征点在所述场景图像中的第一像素位置,以及所述第二目标的第二特征点在所述场景图像中的第二像素位置;
根据所述第一像素位置的坐标确定所述第一目标的第一位置数据,根据所述第二像素位置的坐标确定所述第二目标的第二位置数据;所述第一目标的第一特征点包括所述第一目标的左上顶点、中心点和右下顶点,所述第二目标的第二特征点包括所述第二目标的中心点;
根据以下公式计算所述第一目标与所述第二目标之间的关联度值:
Figure FDA0003508160570000011
其中,Pi表示第i个第一目标,i=1,2,…,n,n表示第一目标的数量;Oj表示第j个第二目标,j=1,2,…,m,m表示第二目标的数量;
Figure FDA0003508160570000012
表示第一目标Pi和第二目标Oj之间的关联度值;(Pi xL,Pi yL)表示第一目标Pi的左上顶点坐标;(Pi xC,Pi yC)表示第一目标Pi的中心点坐标;(Pi xR,Pi yR)表示第一目标Pi的右下顶点坐标;
Figure FDA0003508160570000021
表示第二目标Oj的中心点坐标。
2.根据权利要求1所述的目标行为检测方法,其特征在于,根据所述关联度值确定关联目标对,包括:
统计计算得到的同一所述第二目标与各所述第一目标之间的关联度值;
对各所述关联度值进行排序,得到各所述关联度值中的最小值;
确定所述最小值对应的所述第二目标与所述第一目标为关联目标对。
3.根据权利要求1所述的目标行为检测方法,其特征在于,在所述场景图像中提取包括所述关联目标对在内的目标图像,包括:
将包含同一所述第一目标的各个关联目标对合并,形成融合目标对组;
根据所述融合目标对组在所述场景图像中确定目标图像的范围;
根据所述目标图像的范围在所述场景图像中提取目标图像。
4.根据权利要求3所述的目标行为检测方法,其特征在于,所述第一目标的第一特征点包括所述第一目标的左上顶点和右下顶点,所述第二目标的第二特征点包括所述第二目标的左上顶点和右下顶点;
根据以下公式在所述场景图像中确定目标图像的范围:
Figure FDA0003508160570000022
Figure FDA0003508160570000023
其中,(OUTxL,OUTyL)表示所述目标图像的左上顶点坐标,(OUTxR,OUTyR)表示所述目标图像的右下顶点坐标;(Pi xL,Pi yL)表示所述融合目标对组中第一目标Pi的左上顶点坐标,(Pi xR,Pi yR)表示所述融合目标对组中第一目标Pi的右下顶点坐标;
Figure FDA0003508160570000024
表示所述融合目标对组中第二目标Ok的左上顶点坐标,
Figure FDA0003508160570000031
表示所述融合目标对组中第二目标Ok的右下顶点坐标,k=1,2,…,K,K表示构成所述融合目标对组的各个第二目标的数量。
5.根据权利要求1至4中任一项所述的目标行为检测方法,其特征在于,在所述场景图像中提取包括所述关联目标对在内的目标图像的步骤之后,所述目标行为检测方法还包括:
输出所述目标图像。
6.根据权利要求5所述的目标行为检测方法,其特征在于,识别所场景图像中的第一目标和第二目标,包括:
根据预设的目标识别模型识别所述场景图像中的第一目标和第二目标。
7.根据权利要求6所述的目标行为检测方法,其特征在于,构建所述预设的目标识别模型,包括:
采集分别包含所述第一目标和所述第二目标的图像样本;
根据所述图像样本构建预设的目标识别模型。
8.一种服务器,其特征在于,包括:
目标识别单元,用于获取场景图像并识别所述场景图像中的第一目标和第二目标;
位置数据获取单元,用于获取所述第一目标的第一位置数据以及所述第二目标的第二位置数据;
关联度计算单元,用于根据所述第一位置数据以及所述第二位置数据,计算所述第一目标与所述第二目标之间的关联度值;
目标对确定单元,用于根据所述关联度值确定关联目标对;所述关联目标对包括一所述第一目标和一所述第二目标;
目标图像提取单元,用于在所述场景图像中提取包括所述关联目标对在内的目标图像;
获取所述第一目标的第一位置数据以及所述第二目标的第二位置数据,包括:
确定所述第一目标的第一特征点在所述场景图像中的第一像素位置,以及所述第二目标的第二特征点在所述场景图像中的第二像素位置;
根据所述第一像素位置的坐标确定所述第一目标的第一位置数据,根据所述第二像素位置的坐标确定所述第二目标的第二位置数据;
所述第一目标的第一特征点包括所述第一目标的左上顶点、中心点和右下顶点,所述第二目标的第二特征点包括所述第二目标的中心点;
根据以下公式计算所述第一目标与所述第二目标之间的关联度值:
Figure FDA0003508160570000041
其中,Pi表示第i个第一目标,i=1,2,…,n,n表示第一目标的数量;Oj表示第j个第二目标,j=1,2,…,m,m表示第二目标的数量;
Figure FDA0003508160570000042
表示第一目标Pi和第二目标Oj之间的关联度值;(Pi xL,Pi yL)表示第一目标Pi的左上顶点坐标;(Pi xC,Pi yC)表示第一目标Pi的中心点坐标;(Pi xR,Pi yR)表示第一目标Pi的右下顶点坐标;
Figure FDA0003508160570000043
表示第二目标Oj的中心点坐标。
9.一种服务器,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行如权利要求1-7中任一项所述的目标行为检测方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行如权利要求1-7中任一项所述的目标行为检测方法。
CN201810492359.3A 2018-05-22 2018-05-22 一种目标行为检测方法及服务器 Active CN108764100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810492359.3A CN108764100B (zh) 2018-05-22 2018-05-22 一种目标行为检测方法及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810492359.3A CN108764100B (zh) 2018-05-22 2018-05-22 一种目标行为检测方法及服务器

Publications (2)

Publication Number Publication Date
CN108764100A CN108764100A (zh) 2018-11-06
CN108764100B true CN108764100B (zh) 2022-03-25

Family

ID=64007624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810492359.3A Active CN108764100B (zh) 2018-05-22 2018-05-22 一种目标行为检测方法及服务器

Country Status (1)

Country Link
CN (1) CN108764100B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886117A (zh) * 2019-01-21 2019-06-14 青岛海信网络科技股份有限公司 一种目标行为检测的方法和设备
CN110084123A (zh) * 2019-03-28 2019-08-02 上海拍拍贷金融信息服务有限公司 人体行为检测方法及系统、计算机可读存储介质
CN112767357A (zh) * 2021-01-20 2021-05-07 沈阳建筑大学 一种基于Yolov4的混凝土结构病害检测方法
CN112949538B (zh) * 2021-03-16 2023-08-04 杭州海康威视数字技术股份有限公司 一种目标关联方法、装置、电子设备及机器可读存储介质
CN114067441B (zh) * 2022-01-14 2022-04-08 合肥高维数据技术有限公司 摄录行为检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999918A (zh) * 2012-04-19 2013-03-27 浙江工业大学 全景视频序列图像的多目标对象跟踪系统
CN103020591A (zh) * 2012-11-21 2013-04-03 燕山大学 一种基于因果网络分析的中等规模人群异常行为检测方法
CN103530995A (zh) * 2013-10-12 2014-01-22 重庆邮电大学 基于目标空间关系约束的视频监控智能预警系统及方法
CN104361327A (zh) * 2014-11-20 2015-02-18 苏州科达科技股份有限公司 一种行人检测方法和系统
US20150154449A1 (en) * 2013-11-29 2015-06-04 Fujitsu Limited Method and apparatus for recognizing actions
CN107862360A (zh) * 2017-11-01 2018-03-30 北京旷视科技有限公司 目标对象与商品信息的关联方法、装置及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6767811B2 (ja) * 2016-08-31 2020-10-14 キヤノン株式会社 位置検出方法、位置検出装置、リソグラフィ装置および物品製造方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999918A (zh) * 2012-04-19 2013-03-27 浙江工业大学 全景视频序列图像的多目标对象跟踪系统
CN103020591A (zh) * 2012-11-21 2013-04-03 燕山大学 一种基于因果网络分析的中等规模人群异常行为检测方法
CN103530995A (zh) * 2013-10-12 2014-01-22 重庆邮电大学 基于目标空间关系约束的视频监控智能预警系统及方法
US20150154449A1 (en) * 2013-11-29 2015-06-04 Fujitsu Limited Method and apparatus for recognizing actions
CN104361327A (zh) * 2014-11-20 2015-02-18 苏州科达科技股份有限公司 一种行人检测方法和系统
CN107862360A (zh) * 2017-11-01 2018-03-30 北京旷视科技有限公司 目标对象与商品信息的关联方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
分布式复杂威胁行为检测技术研究;程力;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20180415(第04期);全文 *

Also Published As

Publication number Publication date
CN108764100A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN108764100B (zh) 一种目标行为检测方法及服务器
JP6336117B2 (ja) 建物高さの計算方法、装置及び記憶媒体
WO2020181872A1 (zh) 一种物体检测方法、装置及电子设备
CN107995982B (zh) 一种目标识别方法、装置和智能终端
WO2019237745A1 (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
WO2022041830A1 (zh) 行人重识别方法和装置
CN109426785B (zh) 一种人体目标身份识别方法及装置
CN106485186B (zh) 图像特征提取方法、装置、终端设备及系统
CN110781805B (zh) 一种目标物体检测方法、装置、计算设备和介质
WO2020147346A1 (zh) 图像识别方法、系统及装置
CN111666907B (zh) 一种视频中对象信息的识别方法、装置及服务器
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN110348519A (zh) 金融产品欺诈团伙的识别方法和装置
CN108846899B (zh) 提高用户对房源中每个功能间的面积感知的方法及系统
CN111476894A (zh) 三维语义地图构建方法、装置、存储介质及电子设备
WO2019148923A1 (zh) 一种以图搜图方法、装置、电子设备及存储介质
WO2022237026A1 (zh) 平面信息检测方法及系统
WO2022160587A1 (zh) 深度检测方法、装置、电子设备、存储介质及程序产品
CN107832598B (zh) 解锁控制方法及相关产品
CN115063656A (zh) 图像检测方法、装置、计算机可读存储介质及电子设备
CN111986229A (zh) 视频目标检测方法、装置及计算机系统
US20150180749A1 (en) Apparatus and method for mapping position information of virtual resources
CN108932703A (zh) 图片处理方法、图片处理装置及终端设备
US10410067B2 (en) Systems and methods for detecting vehicle attributes
WO2021012523A1 (zh) 三维图像搜索方法、系统、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant