CN111241937A - 一种基于深度学习的行人攻击车辆意图识别方法及系统 - Google Patents
一种基于深度学习的行人攻击车辆意图识别方法及系统 Download PDFInfo
- Publication number
- CN111241937A CN111241937A CN201911407142.9A CN201911407142A CN111241937A CN 111241937 A CN111241937 A CN 111241937A CN 201911407142 A CN201911407142 A CN 201911407142A CN 111241937 A CN111241937 A CN 111241937A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- pedestrian
- vehicle
- module
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003062 neural network model Methods 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000007613 environmental effect Effects 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 39
- 238000002372 labelling Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims 1
- 239000002994 raw material Substances 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的行人攻击车辆意图识别方法及系统，包括以下步骤，采集模块实时采集车辆周围的环境视频；深度学习模块构建深度神经网络模型并训练其检测人体关键点；将所述环境视频输入深度学习模块进行逐帧检测，识别并判断环境中是否存在具有攻击意图的行人；若判断环境中存在具有攻击意图的行人，报警模块进行报警处理。本发明的有益效果：能够在攻击者袭击到车辆前,提前预判出攻击意图,并做出相应的预警反应,而不是等到车辆受到破坏后才进行报警，从而减少车主因车辆被攻击或盗窃所产生的损失,提升汽车的安全性。
Description
技术领域
本发明涉及智能汽车的技术领域，尤其涉及一种基于深度学习的行人攻击车辆意图识别方法及系统。
背景技术
近年来，随着汽车智能化程度的不断提高，市面上常见的智能汽车的系统也逐渐增加，例如智能驾驶系统、生活服务系统、安全防护系统、位置服务系统和用车辅助系统等，现有的汽车安全防护系统主要是车辆防盗和车辆追踪用于防止车辆盗窃造成的车主损失。
但除了车辆盗窃外，日常中也存在很多由于人为的破坏导致车辆损伤的事件，例如小偷砸破车窗进行盗窃，用石头、小刀等工具划伤车身、轮胎的行为，针对这种情况，目前市面上的车辆基本不配有通过计算机视觉来提前预判车身周围是否有行人有攻击车辆意图的系统,且现有的报警系统基本基于车身震动或者门窗被破坏而出发报警机制,从而使车身鸣笛或双闪产生报警警示效果，判断方法较为单一。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明解决的一个技术问题是：提供一种基于深度学习的行人攻击车辆意图识别方法，能够提前预判出周围人的攻击意图,并做出相应的预警反应，提升汽车的安全性。
为解决上述技术问题，本发明提供如下技术方案：一种基于深度学习的行人攻击车辆意图识别方法，包括以下步骤，采集模块实时采集车辆周围的环境视频；深度学习模块构建深度神经网络模型并训练其检测人体关键点；将所述环境视频输入深度学习模块进行逐帧检测，识别并判断环境中是否存在具有攻击意图的行人；若判断环境中存在具有攻击意图的行人，报警模块进行报警处理。
作为本发明所述的基于深度学习的行人攻击车辆意图识别方法的一种优选方案，其中：所述深度学习模块基于MXNET深度学习框架搭建深度神经网络模型，所述深度神经网络模型的输入参数为图像,输出参数为预测到的人体关键点在输入图中的像素坐标信息以及相对应点的置信度。
作为本发明所述的基于深度学习的行人攻击车辆意图识别方法的一种优选方案，其中：所述深度神经网络模型的训练还包括以下步骤，采集模块采集包含人体的图像作为训练数据；通过标注模块对训练数据进行标注得到标注数据；将训练数据输入深度学习模块的深度神经网络模型中得到检测数据；利用损失函数计算检测数据与标注数据之间的误差，并通过梯度优化器对深度神经网络模型的参数进行更新；对参数更新后的深度神经网络模型反复训练，直至训练指标达标。
作为本发明所述的基于深度学习的行人攻击车辆意图识别方法的一种优选方案，其中：所述损失函数为softmax函数和交叉熵函数，计算公式如下：
其中，L是损失，Sj是softmax其中输出向量S的第j个值，表示的是这个样本属于第j个类别的概率，j的范围是1到总类别数T，标签y是一个1*T的向量，里面有T个值，只有一个值是1，即真实标签对应的位置的值，其他均为0。
作为本发明所述的基于深度学习的行人攻击车辆意图识别方法的一种优选方案，其中：所述训练指标为平均精度均值，当平均精度均值达到98％及以上时，认为深度神经网络模型的训练指标达标，结束训练。
作为本发明所述的基于深度学习的行人攻击车辆意图识别方法的一种优选方案，其中：所述对环境视频逐帧检测还包括以下步骤，深度学习模块对所述环境视频进行逐帧读取；读取到的每一帧图像通过所述深度神经网络模型进行检测；将检测结果编写成数组，并判断环境中是否存在具有攻击意图的行人。
作为本发明所述的基于深度学习的行人攻击车辆意图识别方法的一种优选方案，其中：所述将检测结果编写成的数组为n*2*17维的数组，其中n为图像中出现的行人的数量,2为图像中x轴和y轴两组坐标,17为17个人体关键点的坐标。
作为本发明所述的基于深度学习的行人攻击车辆意图识别方法的一种优选方案，其中：所述报警处理包括以下步骤，开启汽车的喇叭进行鸣笛，开启汽车车灯进行双闪；采集模块录制实时视频并保存。
本发明解决的另一个技术问题是：提供一种基于深度学习的行人攻击车辆意图识别系统，上述识别方法能够依托于本系统实现。
为解决上述技术问题，本发明提供如下技术方案：一种基于深度学习的行人攻击车辆意图识别系统，包括，采集模块，所述采集模块能够对周围环境进行视频采集；深度学习模块，所述深度学习模块用于构建深度神经网络模型并进行行人攻击意图的检测；报警模块，所述报警模块能够在检测到具有攻击意图的行人时进行报警。
作为本发明所述的基于深度学习的行人攻击车辆意图识别系统的一种优选方案，其中：还包括，标注模块，所述标注模块能够在训练时对训练数据进行标注得到标注数据。
本发明的有益效果：利用本发明提供的意图识别方法，可以在攻击者袭击到车辆前,提前预判出攻击意图,并做出相应的预警反应,从而减少车主因车辆被攻击或盗窃所产生的损失,提升汽车的安全性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一种实施例所述基于深度学习的行人攻击车辆意图识别方法的整体流程结构示意图；
图2为本发明第二种实施例所述基于深度学习的行人攻击车辆意图识别系统的整体结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1的示意，示意为本实施例提出的一种基于深度学习的行人攻击车辆意图识别方法的整体流程结构示意图，为了解决现有技术中仅通过检测车身震动来判断车身是否遭受攻击或其他意外情况,无法在攻击者袭击到车辆之前就提前预判攻击意图并及时警告攻击者并预警车主的问题，本实施例提出，可以基于计算机视觉的攻击意图识别系统,在攻击者袭击到车辆前,提前预判出其攻击意图,并做出相应的预警反应，从而起到预防和预警的效果。
具体的，本实施例的基于深度学习的行人攻击车辆意图识别方法包括以下步骤，
S1：采集模块100实时采集车辆周围的环境视频；本实施例中的采集模块100可以采用1920*1080的高清单目摄像头，能够进行图像和视频的采集。
S2：深度学习模块200构建深度神经网络模型并训练其检测人体关键点；其中，深度学习模块200基于MXNET深度学习框架搭建深度神经网络模型，深度神经网络模型的输入参数为图像,输出参数为预测到的人体关键点在输入图中的像素坐标信息以及相对应点的置信度。
具体的，对深度神经网络模型的训练还包括以下步骤，
S2-1：采集模块100采集包含人体的图像作为训练数据；
具体的，采集过程应在白天夜晚室内室外等多种不同光线下,通过与车身上采集模块100的摄像头相同的角度,使用单目摄像头连续拍摄需要采集的人体躯体姿势的图片数据作为训练数据。
S2-2：通过标注模块400对训练数据进行标注得到标注数据；
具体的，对训练数据的人体姿势图片数据进行标注包括包括通过2D方框将人体部分框出，并对人体躯体关键进行位置的标注,标注出关键点在图中的像素坐标,其中，本实施例中标注的关键点包括鼻子,双眼,双耳,左右手腕,左右手肘,左右肩,左右胯,左右膝盖,左右脚踝等共17个关键点，优选的，关键点的数量也可以根据需求改变。
S2-3：将训练数据输入深度学习模块200的深度神经网络模型中得到检测数据；检测数据为预测到的人体关键点在输入图像中的像素坐标信息以及相对应点的置信度。
S2-4：利用损失函数计算检测数据与标注数据之间的误差，并通过梯度优化器对深度神经网络模型的参数进行更新；
具体的，本实施例中使用softmax函数和交叉熵函数作为损失函数，其计算公式如下：
其中，L是损失，Sj是softmax其中输出向量S的第j个值，表示的是这个样本属于第j个类别的概率，j的范围是1到总类别数T，标签y是一个1*T的向量，里面有T个值，只有一个值是1，即真实标签对应的位置的值，其他均为0。
S2-5：对参数更新后的深度神经网络模型反复训练，直至训练指标达标。
具体的，通过误差的大小,通过Stochastic Gradient Descent(SGD)梯度优化器,对深度神经网络模型的参数进行更新,直至训练指标达标。本实施例中的训练指标为平均精度均值(MAP)，当其达到98％及以上时，认为深度神经网络模型的训练指标达标，结束训练。
S3：将环境视频输入深度学习模块200进行逐帧检测，识别并判断环境中是否存在具有攻击意图的行人；
具体的，对环境视频逐帧检测还包括以下步骤，
S3-1：深度学习模块200对所述环境视频进行逐帧读取；
具体的，可以使用C++语言编写调用步骤2中训练的深度神经网络模型,读取实时摄像头帧,使用深度神经网络模型对读取的帧进行实时的处理。
S3-2：读取到的每一帧图像通过深度神经网络模型进行检测；
S3-3：将检测结果编写成数组，并判断环境中是否存在具有攻击意图的行人。具体的，将检测结果编写成的数组为n*2*17维的数组，其中n为图像中出现的行人的数量,2为图像中x轴和y轴两组坐标,17为17个人体关键点的坐标。而判断过程为，
根据获取的结果数组是否包含想要的结果进行判断,例如希望得到的结果标签为2,那么获得的结果数组中如果包含[1,2,3,4],则视为检测结果满足的需求,可将判断结果设为1,反之,则视为检测结果不包含需要的结果,将判断结果设为-1。
S4：若判断环境中存在具有攻击意图的行人，报警模块300进行报警处理。
具体的，若步骤S3中的判断结果为1,那么将视为满足攻击意图,此时报警模块300会将报警指令发送给摄像头,喇叭以及车灯，进行报警处理，报警处理包括以下步骤，
开启汽车的喇叭进行鸣笛，开启汽车车灯进行双闪；
采集模块100录制实时视频并保存。录制的实时视频可以发送给车主,本领域技术人员应当理解的是，视频可以发送给车主的手机。
反之,如果步骤S3中判断结果为-1,则视为不满足攻击意图,此时报警模块300进行报警处理，摄像头,喇叭,车灯将保持断点待命状态。
场景一：
传统的技术方案识别车辆被攻击是基于车身震动或者门窗被破坏而发出报警的机制，即在车辆受到攻击后才能够进行报警，因此即使发出了报警声音，也只能减小车辆的受损程度，但车辆依旧会收到损害。
而本实施例中提出的基于深度学习的行人攻击车辆意图识别方法，能够提前识别出车辆附近有攻击意图的行人，并提前进行报警或通知车主，先于车辆被破坏前做出反应，能够使车辆有机会免于受损。
本实施例中将采用传统的车辆被攻击识别方法和本实施例的基于深度学习的行人攻击车辆意图识别方法分别模拟车辆被攻击的情况以及车辆做出报警的时间，要求实验中采用相同型号和状态的车辆，确保测试处于同一地点、周围处攻击者外的其他要素保持一致。
被攻击的情况包括以下几种：1、徒手攻击车辆的行人(例如用拳头捶、用脚踢等)；2、手持棍子攻击车辆的行人；3、远处使用小物体(例如小石块)砸向车辆的行人；4、远处使用较大物体(例如砖块)砸向车辆的行人。在以上四种情况下，车辆分别是什么时间进行报警的，测试结果如下表：
表1：测试结果
| 情况1 | 情况2 | 情况3 | 情况4 | |
| 传统方法 | 被攻击后1.42秒 | 被攻击后1.64秒 | 被攻击后1.73秒 | 被攻击后1.82秒 |
| 本实施例 | 被攻击前1.89秒 | 被攻击前1.45秒 | 被攻击前2.34秒 | 被攻击前2.66秒 |
本次测试实验可以采用高速摄像头进行动作和时间的记录，包括车辆遭受攻击的时间，以及车辆发出报警的时间。参照表1，传统方法只能在车辆被攻击后发出报警信息，即使对行人产生了警示效果，也无法避免车辆一定会遭受损害；但本实施例的方法能够在行人出现攻击意图时，提前进行报警，先于车辆被损害时警示攻击者，一定程度上避免了车辆可能遭受的攻击。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
实施例2
参照图2的示意，为实现上述基于深度学习的行人攻击车辆意图识别方法，本实施例中提出一种基于深度学习的行人攻击车辆意图识别系统。具体的，该系统包括采集模块100、深度学习模块200、报警模块300和标注模块400。其中，采集模块100能够对周围环境进行视频采集；深度学习模块200用于构建深度神经网络模型并进行行人攻击意图的检测；报警模块300能够在检测到具有攻击意图的行人时进行报警；标注模块400能够在训练时对训练数据进行标注得到标注数据。
具体的，采集模块100可以为1920*1080的高清单目摄像头，能够采集环境的视频信息。深度学习模块200基于MXNET深度学习框架搭建深度神经网络模型，并可以通过代码进行调用。报警模块300应包括摄像头,喇叭和车灯，分别由摄像头拍摄图片和视频，喇叭鸣笛，车灯闪光等方式进行报警，且摄像头拍摄图片和视频能够实时发送至车主的手机上，令车主第一时间了解车辆的状况。标注模块400可以为HyperLabelImg等开源标注工具，其作用是对训练数据进行标注，从而与检测数据进行对比判断训练是否充分。
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于深度学习的行人攻击车辆意图识别方法，其特征在于：包括以下步骤，
采集模块(100)实时采集车辆周围的环境视频；
深度学习模块(200)构建深度神经网络模型并训练其检测人体关键点；
将所述环境视频输入深度学习模块(200)进行逐帧检测，识别并判断环境中是否存在具有攻击意图的行人；
若判断环境中存在具有攻击意图的行人，报警模块(300)进行报警处理。
2.如权利要求1所述的基于深度学习的行人攻击车辆意图识别方法，其特征在于：所述深度学习模块(200)基于MXNET深度学习框架搭建深度神经网络模型，所述深度神经网络模型的输入参数为图像,输出参数为预测到的人体关键点在输入图中的像素坐标信息以及相对应点的置信度。
3.如权利要求1或2所述的基于深度学习的行人攻击车辆意图识别方法，其特征在于：所述深度神经网络模型的训练还包括以下步骤，
采集模块(100)采集包含人体的图像作为训练数据；
通过标注模块(400)对训练数据进行标注得到标注数据；
将训练数据输入深度学习模块(200)的深度神经网络模型中得到检测数据；
利用损失函数计算检测数据与标注数据之间的误差，并通过梯度优化器对深度神经网络模型的参数进行更新；
对参数更新后的深度神经网络模型反复训练，直至训练指标达标。
4.如权利要求3所述的基于深度学习的行人攻击车辆意图识别方法，其特征在于：所述损失函数为softmax函数和交叉熵函数，计算公式如下：
其中，L是损失，Sj是softmax其中输出向量S的第j个值，表示的是这个样本属于第j个类别的概率，j的范围是1到总类别数T，标签y是一个1*T的向量，里面有T个值，只有一个值是1，即真实标签对应的位置的值，其他均为0。
5.如权利要求4所述的基于深度学习的行人攻击车辆意图识别方法，其特征在于：所述训练指标为平均精度均值，当平均精度均值达到98％及以上时，认为深度神经网络模型的训练指标达标，结束训练。
6.如权利要求4或5所述的基于深度学习的行人攻击车辆意图识别方法，其特征在于：所述对环境视频逐帧检测还包括以下步骤，
深度学习模块(200)对所述环境视频进行逐帧读取；
读取到的每一帧图像通过所述深度神经网络模型进行检测；
将检测结果编写成数组，并判断环境中是否存在具有攻击意图的行人。
7.如权利要求6所述的基于深度学习的行人攻击车辆意图识别方法，其特征在于：所述将检测结果编写成的数组为n*2*17维的数组，其中n为图像中出现的行人的数量,2为图像中x轴和y轴两组坐标,17为17个人体关键点的坐标。
8.如权利要求7所述的基于深度学习的行人攻击车辆意图识别方法，其特征在于：所述报警处理包括以下步骤，
开启汽车的喇叭进行鸣笛，开启汽车车灯进行双闪；
采集模块(100)录制实时视频并保存。
9.一种基于深度学习的行人攻击车辆意图识别系统，其特征在于：包括，
采集模块(100)，所述采集模块(100)能够对周围环境进行视频采集；
深度学习模块(200)，所述深度学习模块(200)用于构建深度神经网络模型并进行行人攻击意图的检测；
报警模块(300)，所述报警模块(300)能够在检测到具有攻击意图的行人时进行报警。
10.如权利要求9所述的基于深度学习的行人攻击车辆意图识别系统，其特征在于：还包括，
标注模块(400)，所述标注模块(400)能够在训练时对训练数据进行标注得到标注数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911407142.9A CN111241937A (zh) | 2019-12-31 | 2019-12-31 | 一种基于深度学习的行人攻击车辆意图识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911407142.9A CN111241937A (zh) | 2019-12-31 | 2019-12-31 | 一种基于深度学习的行人攻击车辆意图识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111241937A true CN111241937A (zh) | 2020-06-05 |
Family
ID=70866380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911407142.9A Pending CN111241937A (zh) | 2019-12-31 | 2019-12-31 | 一种基于深度学习的行人攻击车辆意图识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111241937A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114604199A (zh) * | 2022-04-08 | 2022-06-10 | 中国第一汽车股份有限公司 | 一种车辆保护系统及方法 |
| CN114821808A (zh) * | 2022-05-18 | 2022-07-29 | 湖北大学 | 一种攻击行为预警方法及系统 |
| CN115953764A (zh) * | 2023-03-13 | 2023-04-11 | 深圳魔视智能科技有限公司 | 基于鸟瞰图的车辆哨兵方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117701A (zh) * | 2018-06-05 | 2019-01-01 | 东南大学 | 基于图卷积的行人意图识别方法 |
| CN109389791A (zh) * | 2018-09-12 | 2019-02-26 | 北京宝驰新风科技有限公司 | 一种用于车辆的检测物体接近预警系统 |
-
2019
- 2019-12-31 CN CN201911407142.9A patent/CN111241937A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117701A (zh) * | 2018-06-05 | 2019-01-01 | 东南大学 | 基于图卷积的行人意图识别方法 |
| CN109389791A (zh) * | 2018-09-12 | 2019-02-26 | 北京宝驰新风科技有限公司 | 一种用于车辆的检测物体接近预警系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114604199A (zh) * | 2022-04-08 | 2022-06-10 | 中国第一汽车股份有限公司 | 一种车辆保护系统及方法 |
| CN114821808A (zh) * | 2022-05-18 | 2022-07-29 | 湖北大学 | 一种攻击行为预警方法及系统 |
| CN115953764A (zh) * | 2023-03-13 | 2023-04-11 | 深圳魔视智能科技有限公司 | 基于鸟瞰图的车辆哨兵方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109657533B (zh) | 行人重识别方法及相关产品 | |
| CN111241937A (zh) | 一种基于深度学习的行人攻击车辆意图识别方法及系统 | |
| CN109871799B (zh) | 一种基于深度学习的驾驶员玩手机行为的检测方法 | |
| WO2021098657A1 (zh) | 视频检测方法、装置、终端设备及可读存储介质 | |
| CN202257856U (zh) | 驾驶员疲劳驾驶监控装置 | |
| Chen et al. | Driver behavior monitoring and warning with dangerous driving detection based on the internet of vehicles | |
| CN110569772A (zh) | 一种泳池内人员状态检测方法 | |
| CN112071084A (zh) | 一种利用深度学习判断违章停车的方法和系统 | |
| CN116152863B (zh) | 一种人员信息识别方法、装置、电子设备及存储介质 | |
| CN105117096A (zh) | 一种基于图像识别的反跟踪方法及装置 | |
| CN109671090A (zh) | 基于远红外线的图像处理方法、装置、设备和存储介质 | |
| CN111461001A (zh) | 一种计算机视觉自动开车门方法及其系统 | |
| CN116259002A (zh) | 一种基于视频的人体危险行为分析方法 | |
| CN112215093A (zh) | 一种车辆驾驶能力水平的评价方法及装置 | |
| CN115690750A (zh) | 一种驾驶员分心检测方法和装置 | |
| CN107264526A (zh) | 一种横向车辆预警方法、系统、存储介质及终端设备 | |
| WO2022226021A1 (en) | System and method for automatic treadwear classification | |
| CN109685083A (zh) | 驾驶员开车违规使用手机的多尺度检测方法 | |
| US20130342696A1 (en) | Monitoring through a transparent display of a portable device | |
| CN111241918B (zh) | 一种基于人脸识别的车用防跟踪方法及系统 | |
| CN109214316B (zh) | 周界防护方法及装置 | |
| CN111368688A (zh) | 行人监测方法及相关产品 | |
| CN106128105A (zh) | 一种交通路口行人行为监测系统 | |
| CN110659626A (zh) | 图像检测方法、装置和设备 | |
| KR20180051422A (ko) | 전자 장치 및 그 제어 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 11th Floor, Building A1, Huizhi Science and Technology Park, No. 8 Hengtai Road, Nanjing Economic and Technological Development Zone, Jiangsu Province, 211000 Applicant after: DILU TECHNOLOGY Co.,Ltd. Address before: Building C4, No.55 Liyuan South Road, moling street, Nanjing, Jiangsu Province Applicant before: DILU TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information |