CN108122245A - 一种目标行为描述方法、装置和监控设备 - Google Patents
一种目标行为描述方法、装置和监控设备 Download PDFInfo
- Publication number
- CN108122245A CN108122245A CN201611092831.1A CN201611092831A CN108122245A CN 108122245 A CN108122245 A CN 108122245A CN 201611092831 A CN201611092831 A CN 201611092831A CN 108122245 A CN108122245 A CN 108122245A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- default
- algorithm
- detection block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种目标行为描述方法和装置，通过摄像头的姿态位置信息和运动参数信息可根据上一图像得到预测图像，根据预测图像和当前图像进行目标检测可减少运算量。将识别出来的运动目标和显著性目标进行去重复处理，在对去重复处理后的每个目标进行行为描述得到行为描述结果，这样可对图像中的多个目标同时进行行为描述，并减少计算量。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种目标行为描述方法、装置和监控设备。
背景技术
近年来，在政府对汽车安全法令的贯彻和实施、消费者的驾驶体验更高需求及自动驾驶的趋势推动下，业界提出了ADAS(Advanced Driver Assistant System，先进辅助驾驶系统)的解决方案。ADAS是指利用车辆上安装的传感器收集周围的数据，进行物体的辨识、侦测和追踪等功能，能够让驾驶者在最快时间察觉潜在危险，提高驾驶的安全性。车辆上的摄像头为核心的感知部件，摄像头可以采集道路上行人和车辆的图像，然而如何利用摄像头对采集的图像中的物体行为描述是目前研究的热点。
发明内容
本申请所要解决的技术问题在于，提供一种目标行为描述方法、装置和监控设备。可图像中的多个目标进行行为描述，同时有效减少计算量。
为了解决上述技术问题，本申请提供了一种目标行为描述方法，包括：摄像头将采集到的多个图像存储在缓冲区中，目标行为描述装置(以下简称描述装置)，描述装置从缓冲区中取出当前图像和当前图像的上一图像，描述装置确定摄像头的姿态位置信息和运动参数信息，摄像头安装在车辆上，可安装在车辆的任意位置，且随车辆的运动而运动。姿态位置信息表示摄像头预先设置的固定参数，例如：姿态位置信息包括视角，运动参数信息表示摄像头在运动过程中的相关参数，例如：运动参数信息包括速度和转向角。生成预测图像的方法可以是：根据摄像头的运动参数信息(如速度和转向角)，以及摄像头的姿态位置信息(如视角)可计算出车辆前进的距离，摄像头与物体之间的运动趋势决定了目标在图像中的变化规律，物体表示真实世界中的实体，例如物体包括行人、车辆、红绿灯等，目标表示物体在摄像头采集的图像中的像素区域。根据运动趋势的不同，目标在图像中的变化规律为：如果摄像头靠近物体，则目标在图像中会慢慢变大，将上一图像中的目标放大预设比例后得到预测图像；如果摄像头远离物体，则目标在图像中会慢慢变小，将上一图像中的物体缩小预设比例后得到预测图像；如果摄像头相对于物体发生拐弯，则目标会在图像中水平移动，将上一图像中的物体进行平移预设距离后得到预测图像。因此通过运动状态信息和姿态位置信息可以精确确定目标的变化情况，再对上一图像中的目标进行放大、缩小或平移得到预测图像。然后，描述装置根据当前图像和预测图像进行进一步的处理：根据预设的目标检测算法从当前图像和预测图像得到至少一个运动目标，运动目标在图像中表现为一个像素区域，运动目标表示在当前图像和预测图像中发生运动的目标，根据识别出的至少一个运动目标生成第一图像。描述装置根据预设的显著性区域检测算法从当前图像中识别出至少一个显著目标，显著目标在图像中表示为一个矩形的像素区域，显著性区域检测算法包括但不限于AC、HC、LC和FT。描述装置将第一图像和第二图像中相同的目标进行去重处理，对于相同的目标只保留一个目标，去重处理后生成预处理图像，预处理图像中包括至少一个互不相同的目标，描述装置根据预设的行为描述算法对预处理图像中的每个目标进行行为描述得到行为描述结果。
上述实施例，通过摄像头的姿态位置信息和运动参数信息可根据上一图像得到预测图像，根据预测图像和当前图像进行目标检测可减少运算量。将识别出来的运动目标和显著性目标进行去重复处理，在对去重复处理后的每个目标进行行为描述得到行为描述结果，这样可对图像中的多个目标同时进行行为描述，并减少计算量。
在本方面的一种可能的实施方式中，对第一图像和第二图像中相同的目标进行去重处理得到预处理图像包括：根据预设的顺序从所述第一图像和所述第二图像中取出两个目标；计算所述两个目标各自对应的相似度值，两个目标的相似度的计算方法包括但不限于直方图匹配、矩阵分解以及SIFT算法，若相似度值大于预设值，确定所述两个目标在各自对应的图像中的坐标位置，若两个目标在各自对应的图像中的坐标位置相同，确定所述两个目标为相同的目标，只保留所述两个目标中的任意一个，重复上述过程，直到完成对第一图像和第二图像中所有的目标的识别。上述实施例，通过对第一图像和第二图像中相同的目标进行去重复处理，在后续的行为描述过程中可减少运算量。
在本方面的一种可能的实施方式中，根据预设的行为描述算法对预处理图像中的每个目标进行行为描述得到行为描述结果包括：针对所述预处理图像中的每个目标，确定目标的初始检测框；将所述初始检测框的长和框都扩大为2倍后生成第一扩展检测框，以及将所述初始检测框的长和框都扩大为4倍后生成第二扩展检测框；将每个目标的初始检测框、第一扩展检测框和第二扩展检测框压缩成预设的相同尺寸的检测框；根据Attention-Based Model算法和LSTM(Long Short-Term Memory，长期记忆)算法对压缩后的3个检测框进行处理得到每个目标的行为描述结果。
在本方面的一种可能的实施方式中，所述目标检测算法为SIFT(Scale-InvariantFeature Transform，尺度不变特征变换)算法和RANSAN(Random Sample Consensus，随机抽样一致性)算法。
在本方面的一种可能的实施方式中，所述姿态位置信息包括：所述摄像头的视角和位置，所述运算状态信息包括速度和转向角。
第二方面，本申请提供了一种目标行为描述装置，包括：
获取模块，用于获取当前图像和所述当前图像的上一图像，以及获取摄像头的姿态位置信息和运动状态信息；
预测模块，用于根据姿态位置信息和运动状态信息对所述上一图像进行预测得到预测图像；
第一生成模块，用于根据预设的目标检测算法从所述当前图像和所述预测图像中识别出至少一个运动目标，生成包括所述至少一个运动目标的第一图像；
第二生成模块，用于根据预设的显著性区域检测算法从所述当前图像中识别出至少一个显著目标，生成包括所述至少一个显著目标的第二图像；
去重模块，用于对所述第一图像和所述第二图像中相同的目标进行去重处理得到预处理图像；
描述模块，用于根据预设的行为描述算法对所述与预处理图像中的每个目标进行行为描述得到行为描述结果。
在本方面的一种可能的实施方式中，所述去重模块用于：
根据预设的顺序从所述第一图像和所述第二图像中取出两个目标；
计算所述两个目标各自对应的相似度值，若相似度值大于预设值，确定所述两个目标在各自对应的图像中的坐标位置，若两个目标在各自对应的图像中的坐标位置相同，确定所述两个目标为相同的目标，只保留所述两个目标中的任意一个。
在本方面的一种可能的实施方式中，所述描述模块用于：
针对所述预处理图像中的每个目标，确定目标的初始检测框；
将所述初始检测框的长和框都扩大为2倍后生成第一扩展检测框，以及将所述初始检测框的长和框都扩大为4倍后生成第二扩展检测框；
将每个目标的初始检测框、第一扩展检测框和第二扩展检测框压缩成预设的相同尺寸的检测框；
根据Attention-Based Model算法和LSTM算法对压缩后的3个检测框进行处理得到每个目标的行为描述结果。
在本方面的一种可能的实施方式中，所述目标检测算法为SIFT算法和RANSAN算法。
在本方面的一种可能的实施方式中，所述姿态位置信息包括：所述摄像头的视角和位置，所述运算状态信息包括速度和转向角。
第三方面，提供一种本发明提供了一种目标行为描述装置，包括处理器、存储器、通信接口、总线，所述处理器、存储器和通信接口之间通过总线连接并完成相互间的通信，所述存储器中用于存储计算机执行指令，所述目标行为描述装置运行时，所述处理器执行所述存储器中的计算机执行指令以利用所述目标行为描述装置中的硬件资源执行第一方面或第一方面任一种可能实现方式中测试装置所执行的操作。
第四方面，提供了一种计算机可读介质，用于存储计算机程序，该计算机程序包括用于执行第一方面或第一方面任一种可能实现方式中的方法的指令。
第五方面，提供可一种监控设备，监控设备可安装在车辆上，监控设备包括摄像头和目标行为描述装置和显示设备，摄像头用于采集图像，并将采集的图像放在视频缓冲区；
目标行为描述装置用于：获取当前图像和所述当前图像的上一图像，以及获取摄像头的姿态位置信息和运动状态信息；根据姿态位置信息和运动状态信息对所述上一图像进行预测得到预测图像；根据预设的目标检测算法从所述当前图像和所述预测图像中识别出至少一个运动目标，生成包括所述至少一个运动目标的第一图像；根据预设的显著性区域检测算法从所述当前图像中识别出至少一个显著目标，生成包括所述至少一个显著目标的第二图像；对所述第一图像和所述第二图像中相同的目标进行去重处理得到预处理图像；根据预设的行为描述算法对所述与预处理图像中的每个目标进行行为描述得到行为描述结果。
显示设备，用于显示所述行为描述结果。
本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种目标行为描述方法的流程示意图；
图2a-图2d是预测图像生成的原理示意图；
图2e是行为描述过程的原理示意图；
图3是本发明实施例提供的一种目标行为描述装置的结构示意图；
图4是本发明实施例提供的一种目标行为描述装置的另一结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
参见图1，为本发明实施例提供的一种目标行为描述方法的流程示意图，在本发明实施例中，所述方法包括：
S101、获取当前图像和所述当前图像的上一图像，以及获取摄像头的姿态位置信息和运动状态信息。
具体的，摄像头根据预设的采样周期采集图像，将采集到的图像按照时间顺序存储在缓冲区中，描述装置可从缓冲区中获取当前图像和当前图像的上一图像。摄像头安装在车辆上，具体可安装在车辆的任意位置，且摄像头会随着车辆的运动而运动，姿态位置信息表示摄像头预先设置的固定参数，包括但不限于视角，运动参数信息表示摄像头随车辆的运动过程中的相关参数，包括但不限于速度和转向角度。
S102、根据姿态位置信息和运动状态信息对所述上一图像进行预测得到预测图像。
具体的，根据摄像头的姿态位置信息和运动状态信息可以确定摄像头相对于物体的运动趋势，例如运动趋势为前进、后退、左转弯、右转弯，不同的运动趋势物体在图像中对应的目标具有不同的变化规律，物体表示真实世界中的实体，目标表示物体在图像中对应的像素区域，可以理解的是图像中一般包括多个目标。
参见图2a所示，在运动趋势为前进的情况下，则目标在图像中会慢慢变大，根据摄像头的速度计算出前进的距离，放大比例和前进的距离成正相关性，根据预设的映射关系确定前进的距离对应的放大比例，那么描述装置可对上一图像中的目标放大预设比例后生成预测图像；
参见图2b所示，在运动趋势为后退的情况下，则目标在图像中会慢慢变小，根据摄像头的速度计算出后退的距离，缩小比例和后退的距离呈正相关性，根据预设的映射关系确定后退的距离对应的缩小比例，那么描述装置可根据缩小比例对上一图像中的目标进行缩小后生成预测图像。
参见图2c所示，在运动趋势为左转弯的情况下，目标在水平方向上向右平移，确定摄像头的转向角，平移的距离和转向角呈正相关性，根据预设的映射关系确定转向角对应的平移距离，那么描述装置可对上一图像中的目标向右平移计算得到距离后生成预测图像。
参见图2d所示，在运动趋势为右转弯的情况下，目标在水平方向上向左平移，确定摄像头的转向角，平移的距离和转向角呈正相关性，根据预设的映射关系确定转向角对应的平移距离，那么描述装置可对上一图像中的目标向左平移计算得到的距离后生成预测图像。
需要说明的是，在运动趋势为多种情况的结合时，描述装置对上一图像中的目标进行对应的处理得到预测图像，例如：运动趋势为前进和左转弯，则描述装置对上一图像中的目标根据预设的放大比例进行放大以及向右平移预设距离后得到预测图像。
S103、根据预设的目标检测算法从所述当前图像和所述预测图像中识别出至少一个运动目标，生成包括所述至少一个运动目标的第一图像。
具体的，运动目标在图像中对应一个像素区域，像素区域的形状由目标对应真实世界中的物体的形状决定，运动目标表示当前图像和预测图像对比发生移动的目标。描述装置根据预设的目标检测算法从当前图像和预测图像中确定出发生至少一个运动目标，根据运动目标生成第一图像，目标检测算法可以是SIFT算法和RANSAC算法的结合。
S104、根据预设的显著性区域检测算法从所述当前图像中识别出至少一个显著目标，生成包括所述至少一个显著目标的第二图像。
具体的，显著性区域在图像中表示一个像素区域，显著性区域检测算法包括但不限于AC、HC、LC和FT，描述装置根据识别出的至少一个显著目标生成第二图像。
S105、对所述第一图像和所述第二图像中相同的目标进行去重处理得到预处理图像。
具体的，描述装置采用遍历的方法识别出第一图像和第二图像中相同的目标，对于相同的目标只保留一个目标，识别相同的目标的方法可以是：根据预设的顺序分别从第一图像和第二图像中取出一个目标，计算两个目标各自对应的相似度值，若相似度值大于预设值，两个目标的相似度值大于预设值并不能说明两个目标是相同的目标，例如同时出现两个相同的车，同时出现两个同样衣服的行人，因此还需要继续识别两个目标在各自对应的图像中的坐标位置，若两个目标在各自图像中的坐标位置相同，才能确定两个目标为相同的目标。计算两个目标的相似度值的方法可以是直方图匹配、矩阵分解或SIFT等。去重处理后，描述装置生成预处理图像，预处理图像中包括至少一个目标，在预处理图像中包括多个目标的情况下，多个目标为互不相同的目标。
S106、根据预设的行为描述算法对所述与预处理图像中的每个目标进行行为描述得到行为描述结果。
具体的，行为描述算法可以是Attention-Based Model模型和LSTM模型的结合，描述装置将确定预处理图像中的所有目标根据预设的行为描述算法进行描述，得到每个目标的行为描述结果。
针对每个目标的行为描述方法可以是：
确定目标的初始检测框；
将所述初始检测框的长和框都扩大为2倍后生成第一扩展检测框，以及将所述初始检测框的长和框都扩大为4倍后生成第二扩展检测框；
将每个目标的初始检测框、第一扩展检测框和第二扩展检测框压缩成预设的相同尺寸的检测框；
根据Attention-Based Model算法和LSTM算法对压缩后的3个检测框进行处理得到每个目标的行为描述结果。
举例说明：参见图2e所示，预处理图像中包括1个目标，对于该目标而言，确定目标的初始检测框，初始检测框为包括目标的像素块，假设初始检测框为16*16的像素块，然后描述装置生成第一扩展检测框和第二扩展检测框，具体为：将初始检测框的长和宽扩大为2倍后生成第一扩展检测框，将初始检测框的长和宽扩大为4被生成第二扩展检测框，即目标的第一扩展检测框为32*32的像素块，目标的第二扩展检测框为64*64的像素块，将目标的初始检测框、第一扩展检测框和第二扩展检测框压缩成预设大小的像素块，例如：上述的3个检测框均压缩成8*8的像素块，将3个压缩后的像素块输入到Attention-Based模型和LSTM模型得到目标的行为描述结果。在预处理图像中包括多个目标的情况下，每个目标的行为描述过程可参照上述过程，此处不再赘述。
参见图3，为本发明实施例提供的一种目标行为描述装置的结构示意图，以下简称描述装置，本发明实施例的描述装置用于执行图1中的一种目标行为描述方法，所涉及的术语和过程可参照图1实施例的描述。描述装置3包括：获取模块301、预测模块302、第一生成模块303、第二生成模块304、去重模块305和描述模块306。
获取模块，用于获取当前图像和所述当前图像的上一图像，以及获取摄像头的姿态位置信息和运动状态信息；
预测模块，用于根据姿态位置信息和运动状态信息对所述上一图像进行预测得到预测图像；
第一生成模块，用于根据预设的目标检测算法从所述当前图像和所述预测图像中识别出至少一个运动目标，生成包括所述至少一个运动目标的第一图像；
第二生成模块，用于根据预设的显著性区域检测算法从所述当前图像中识别出至少一个显著目标，生成包括所述至少一个显著目标的第二图像；
去重模块，用于对所述第一图像和所述第二图像中相同的目标进行去重处理得到预处理图像；
描述模块，用于根据预设的行为描述算法对所述与预处理图像中的每个目标进行行为描述得到行为描述结果。
可选的，所述去重模块用于：
根据预设的顺序每次所述第一图像取出一个目标和所述第二图像中取出一个目标进行两两比较；
计算两个目标各自对应的相似度值，若相似度值大于预设值，确定所述两个目标在各自对应的图像中的坐标位置，若两个目标在各自对应的图像中的坐标位置相同，确定所述两个目标为相同的目标，只保留所述两个目标中的任意一个。
可选的，所述描述模块用于：
针对所述预处理图像中的每个目标，确定目标的初始检测框；
将所述初始检测框的长和框都扩大为2倍后生成第一扩展检测框，以及将所述初始检测框的长和框都扩大为4倍后生成第二扩展检测框；
将每个目标的初始检测框、第一扩展检测框和第二扩展检测框压缩成预设的相同尺寸的检测框；
根据Attention-Based Model算法和LSTM算法对压缩后的3个检测框进行处理得到每个目标的行为描述结果。
可选的，所述目标检测算法为SIFT算法和RANSAN算法。
可选的，所述姿态位置信息包括：所述摄像头的视角和位置，所述运算状态信息包括速度和转向角。
需要说明的是，在本发明实施例中，各个单元的具体实现还可以对应参照图3所示的方法实施例的相应描述。
需要说明的是，测试装置可以通过处理器核、逻辑电路、专用集成电路(英文：Application-Specific Integrated Circuit，缩写：ASIC)中任意一种实现，也可以通过可编程逻辑器件(英文：Programmable Logic Device，缩写：PLD)实现。上述PLD可以是复杂可编程逻辑器件(英文：(Complex Programmable Logic Device，缩写：CPLD)，FPGA，通用阵列逻辑(英文：Generic Array Logic,缩写：GAL)或其任意组合。
参见图4，为本发明实施例提供的一种目标行为描述装置的另一结构示意图，以下简称描述装置，在本发明实施例中，描述装置4包括处理器401、存储器402和收发器403。收发器403用于与外部设备之间收发数据。描述装置4中的处理器401的数量可以是一个或多个。本发明的一些实施例中，处理器401、存储器402和收发器403可通过总线系统或其他方式连接。描述装置4可以用于执行图1所示的方法。关于本实施例涉及的术语的含义以及举例，可以参考图1对应的实施例。此处不再赘述。
其中，存储器402中存储程序代码。处理器401用于调用存储器402中存储的程序代码，用于执行以下操作：
获取当前图像和所述当前图像的上一图像，以及获取摄像头的姿态位置信息和运动状态信息；
根据姿态位置信息和运动状态信息对所述上一图像进行预测得到预测图像；
根据预设的目标检测算法从所述当前图像和所述预测图像中识别出至少一个运动目标，生成包括所述至少一个运动目标的第一图像；
根据预设的显著性区域检测算法从所述当前图像中识别出至少一个显著目标，生成包括所述至少一个显著目标的第二图像；
对所述第一图像和所述第二图像中相同的目标进行去重处理得到预处理图像；
根据预设的行为描述算法对所述与预处理图像中的每个目标进行行为描述得到行为描述结果。
可选的，处理器401执行所述对所述第一图像和所述第二图像中相同的目标进行去重处理得到预处理图像包括：
根据预设的顺序从所述第一图像和所述第二图像中取出两个目标；
计算所述两个目标各自对应的相似度值，若相似度值大于预设值，确定所述两个目标在各自对应的图像中的坐标位置，若两个目标在各自对应的图像中的坐标位置相同，确定所述两个目标为相同的目标，只保留所述两个目标中的任意一个。
可选的，处理器401执行所述根据预设的行为描述算法对所述与预处理图像中的每个目标进行行为描述得到行为描述结果包括：
针对所述预处理图像中的每个目标，确定目标的初始检测框；
将所述初始检测框的长和框都扩大为2倍后生成第一扩展检测框，以及将所述初始检测框的长和框都扩大为4倍后生成第二扩展检测框；
将每个目标的初始检测框、第一扩展检测框和第二扩展检测框压缩成预设的相同尺寸的检测框；
根据Attention-Based算法和LSTM算法对压缩后的3个检测框进行处理得到每个目标的行为描述结果。
可选的，所述目标检测算法为SIFT算法和RANSAN算法。
可选的，所述姿态位置信息包括：所述摄像头的视角和位置，所述运算状态信息包括速度和转向角。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (11)
1.一种目标行为描述方法，其特征在于，包括：
获取当前图像和所述当前图像的上一图像，以及获取摄像头的姿态位置信息和运动状态信息；
根据姿态位置信息和运动状态信息对所述上一图像进行预测得到预测图像；
根据预设的目标检测算法从所述当前图像和所述预测图像中识别出至少一个运动目标，生成包括所述至少一个运动目标的第一图像；
根据预设的显著性区域检测算法从所述当前图像中识别出至少一个显著目标，生成包括所述至少一个显著目标的第二图像；
对所述第一图像和所述第二图像中相同的目标进行去重处理得到预处理图像；
根据预设的行为描述算法对所述与预处理图像中的每个目标进行行为描述得到行为描述结果。
2.如权利要求1所述的方法，其特征在于，所述对所述第一图像和所述第二图像中相同的目标进行去重处理得到预处理图像包括：
以遍历的方式每次分别从所述第一图像和所述第二图像中取出一个目标；
计算取出的两个目标各自对应的相似度值，若相似度值大于预设值，确定所述两个目标在各自对应的图像中的坐标位置，若两个目标在各自对应的图像中的坐标位置相同，确定所述两个目标为相同的目标，只保留所述两个目标中的任意一个。
3.如权利要求1或2所述的方法，其特征在于，所述根据预设的行为描述算法对所述与预处理图像中的每个目标进行行为描述得到行为描述结果包括：
针对所述预处理图像中的每个目标，确定目标的初始检测框；
将所述初始检测框的长和框都扩大为2倍后生成第一扩展检测框，以及将所述初始检测框的长和框都扩大为4倍后生成第二扩展检测框；
将目标的初始检测框、第一扩展检测框和第二扩展检测框压缩成预设尺寸的检测框；
根据基于注意力模型Attention-Based Model算法和长期记忆LSTM算法对压缩后的3个检测框进行处理得到目标的行为描述结果。
4.如权利要求1-3任意一项所述的方法，其特征在于，所述目标检测算法为尺寸不变特性转换SIFT算法和随机抽样一致性RANSAN算法。
5.如权利要求4所述的方法，其特征在于，所述姿态位置信息包括：所述摄像头的视角和位置，所述运算状态信息包括速度和转向角。
6.一种目标行为描述装置，其特征在于，包括：
获取模块，用于获取当前图像和所述当前图像的上一图像，以及获取摄像头的姿态位置信息和运动状态信息；
预测模块，用于根据姿态位置信息和运动状态信息对所述上一图像进行预测得到预测图像；
第一生成模块，用于根据预设的目标检测算法从所述当前图像和所述预测图像中识别出至少一个运动目标，生成包括所述至少一个运动目标的第一图像；
第二生成模块，用于根据预设的显著性区域检测算法从所述当前图像中识别出至少一个显著目标，生成包括所述至少一个显著目标的第二图像；
去重模块，用于对所述第一图像和所述第二图像中相同的目标进行去重处理得到预处理图像；
描述模块，用于根据预设的行为描述算法对所述与预处理图像中的每个目标进行行为描述得到行为描述结果。
7.如权利要求6所述的装置，其特征在于，所述去重模块用于：
以遍历的方式每次分别每次所述第一图像取出一个目标和所述第二图像中取出一个目标；
计算取出的两个目标各自对应的相似度值，若相似度值大于预设值，确定所述两个目标在各自对应的图像中的坐标位置，若两个目标在各自对应的图像中的坐标位置相同，确定所述两个目标为相同的目标，只保留所述两个目标中的任意一个。
8.如权利要求6或7所述的装置，其特征在于，所述描述模块用于：
针对所述预处理图像中的每个目标，确定目标的初始检测框；
将所述初始检测框的长和框都扩大为2倍后生成第一扩展检测框，以及将所述初始检测框的长和框都扩大为4倍后生成第二扩展检测框；
将目标的初始检测框、第一扩展检测框和第二扩展检测框压缩成预设的相同尺寸的检测框；
根据Attention-Based Model算法和LSTM算法对压缩后的3个检测框进行处理得到目标的行为描述结果。
9.如权利要求6-8任意一项所述的装置，其特征在于，所述目标检测算法为SIFT算法和RANSAN算法。
10.如权利要求9所述的装置，其特征在于，所述姿态位置信息包括：所述摄像头的视角和位置，所述运算状态信息包括速度和转向角。
11.一种监控设备，其特征在于，包括摄像头和如权利要求1-10任意一项所述的装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611092831.1A CN108122245B (zh) | 2016-11-30 | 2016-11-30 | 一种目标行为描述方法、装置和监控设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611092831.1A CN108122245B (zh) | 2016-11-30 | 2016-11-30 | 一种目标行为描述方法、装置和监控设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108122245A true CN108122245A (zh) | 2018-06-05 |
| CN108122245B CN108122245B (zh) | 2021-11-30 |
Family
ID=62226591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611092831.1A Active CN108122245B (zh) | 2016-11-30 | 2016-11-30 | 一种目标行为描述方法、装置和监控设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108122245B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108776796A (zh) * | 2018-06-26 | 2018-11-09 | 内江师范学院 | 一种基于全局时空注意力模型的动作识别方法 |
| CN109902550A (zh) * | 2018-11-08 | 2019-06-18 | 阿里巴巴集团控股有限公司 | 行人属性的识别方法和装置 |
| CN111091581A (zh) * | 2018-10-24 | 2020-05-01 | 百度在线网络技术（北京）有限公司 | 基于生成对抗网络的行人轨迹模拟方法、装置和存储介质 |
| WO2020108311A1 (zh) * | 2018-11-29 | 2020-06-04 | 北京市商汤科技开发有限公司 | 目标对象3d检测方法、装置、介质及设备 |
| CN113763136A (zh) * | 2021-11-09 | 2021-12-07 | 武汉星巡智能科技有限公司 | 基于商品区重量变化对视频分段处理的智能生成订单方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140108828A (ko) * | 2013-02-28 | 2014-09-15 | 한국전자통신연구원 | 카메라 트래킹 장치 및 방법 |
| CN105184258A (zh) * | 2015-09-09 | 2015-12-23 | 苏州科达科技股份有限公司 | 目标跟踪方法及系统、人员行为分析方法及系统 |
| CN105976399A (zh) * | 2016-04-29 | 2016-09-28 | 北京航空航天大学 | 一种基于sift特征匹配的运动目标检测方法 |
-
2016
- 2016-11-30 CN CN201611092831.1A patent/CN108122245B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140108828A (ko) * | 2013-02-28 | 2014-09-15 | 한국전자통신연구원 | 카메라 트래킹 장치 및 방법 |
| CN105184258A (zh) * | 2015-09-09 | 2015-12-23 | 苏州科达科技股份有限公司 | 目标跟踪方法及系统、人员行为分析方法及系统 |
| CN105976399A (zh) * | 2016-04-29 | 2016-09-28 | 北京航空航天大学 | 一种基于sift特征匹配的运动目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| MATTHIEU PERREIRA DA SILVA ET AL: "Real Time Dynamic Image Re-targeting Based on a Dynamic Visual Attention Model", 《2012 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO WORKSHOPS》 * |
| 安宁 等: "基于压缩感知的多尺度绝缘子跟踪算法", 《传感器与微系统》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108776796A (zh) * | 2018-06-26 | 2018-11-09 | 内江师范学院 | 一种基于全局时空注意力模型的动作识别方法 |
| CN111091581A (zh) * | 2018-10-24 | 2020-05-01 | 百度在线网络技术（北京）有限公司 | 基于生成对抗网络的行人轨迹模拟方法、装置和存储介质 |
| CN111091581B (zh) * | 2018-10-24 | 2023-06-16 | 百度在线网络技术（北京）有限公司 | 基于生成对抗网络的行人轨迹模拟方法、装置和存储介质 |
| CN109902550A (zh) * | 2018-11-08 | 2019-06-18 | 阿里巴巴集团控股有限公司 | 行人属性的识别方法和装置 |
| WO2020108311A1 (zh) * | 2018-11-29 | 2020-06-04 | 北京市商汤科技开发有限公司 | 目标对象3d检测方法、装置、介质及设备 |
| CN113763136A (zh) * | 2021-11-09 | 2021-12-07 | 武汉星巡智能科技有限公司 | 基于商品区重量变化对视频分段处理的智能生成订单方法 |
| CN113763136B (zh) * | 2021-11-09 | 2022-03-18 | 武汉星巡智能科技有限公司 | 基于商品区重量变化对视频分段处理的智能生成订单方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108122245B (zh) | 2021-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6902611B2 (ja) | 物体検出方法、ニューラルネットワークの訓練方法、装置および電子機器 | |
| CN108122245A (zh) | 一种目标行为描述方法、装置和监控设备 | |
| US10621446B2 (en) | Handling perspective magnification in optical flow processing | |
| JP2022504713A (ja) | 拡張データによって機械モデルを訓練するためのシステムおよび方法 | |
| CN109816694B (zh) | 目标跟踪方法、装置及电子设备 | |
| CN112435223B (zh) | 目标检测方法、装置及存储介质 | |
| CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
| CN112336342A (zh) | 手部关键点检测方法、装置及终端设备 | |
| CN109410246B (zh) | 基于相关滤波的视觉跟踪的方法及装置 | |
| CN114155365A (zh) | 模型训练方法、图像处理方法及相关装置 | |
| Gluhaković et al. | Vehicle detection in the autonomous vehicle environment for potential collision warning | |
| CN112348116A (zh) | 利用空间上下文的目标检测方法、装置和计算机设备 | |
| CN113627397A (zh) | 一种手部姿态识别方法、系统、设备和存储介质 | |
| CN113762159A (zh) | 一种基于有向箭头模型的目标抓取检测方法及系统 | |
| CN110458177B (zh) | 图像深度信息的获取方法、图像处理装置以及存储介质 | |
| CN114972492A (zh) | 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质 | |
| CN111507999B (zh) | 一种基于fdsst算法的目标追踪方法及装置 | |
| CN112037255A (zh) | 目标跟踪方法和装置 | |
| CN115588187A (zh) | 基于三维点云的行人检测方法、装置、设备以及存储介质 | |
| CN116228850A (zh) | 物体姿态估计方法、装置、电子设备及可读存储介质 | |
| CN114373078A (zh) | 目标检测方法、装置、终端设备及存储介质 | |
| CN111160255B (zh) | 一种基于三维卷积网络的捕鱼行为识别方法及系统 | |
| CN114550062A (zh) | 图像中运动对象的确定方法、装置、电子设备和存储介质 | |
| CN113743487A (zh) | 一种增强型遥感影像目标检测方法及系统 | |
| CN114140517A (zh) | 物体位姿识别方法及装置、视觉处理设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |