CN110858290B - 驾驶员异常行为识别方法、装置、设备及存储介质 - Google Patents
驾驶员异常行为识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110858290B CN110858290B CN201810975097.6A CN201810975097A CN110858290B CN 110858290 B CN110858290 B CN 110858290B CN 201810975097 A CN201810975097 A CN 201810975097A CN 110858290 B CN110858290 B CN 110858290B
- Authority
- CN
- China
- Prior art keywords
- processed
- video stream
- stream data
- neural network
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000003062 neural network model Methods 0.000 claims abstract description 119
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 18
- 238000012544 monitoring process Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 2
- 230000000246 remedial effect Effects 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 14
- 230000006399 behavior Effects 0.000 description 13
- 230000002159 abnormal effect Effects 0.000 description 12
- 238000004804 winding Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000003475 lamination Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
Abstract
本申请公开了一种驾驶员异常行为识别方法、装置、设备及存储介质，其中方法包括：确定待处理视频流数据的属性信息；根据待处理视频流数据的属性信息，获取与待处理视频流数据对应的目标神经网络模型；利用目标神经网络模型，对待处理视频流数据进行识别处理，以确定待处理视频数据中是否包含驾驶员异常行为数据。该方法实现了根据神经网络模型，对采集的视频流数据中驾驶员异常行为进行自动识别，从而当确定驾驶员行为存在异常时进行及时预警，使得控制中心能够及时采取补救措施，以降低突发事件造成的严重后果，并且还能降低人工成本，提高识别效率，为车辆的安全运行提供了条件。
Description
技术领域
本申请涉及安全驾驶技术领域，尤其涉及一种驾驶员异常行为识别方法、装置、设备及存储介质。
背景技术
随着轨道交通系统日益完善，交通智能化监控已成为轨道交通的核心发展方向。尤其是对驾驶员异常行为监测，以避免安全事故的发生，具有重要社会意义。
在实际应用中，对驾驶员异常行为进行监测时，通常采用以下方式：其一，在一个驾驶室内配备两名驾驶员，以降低安全风险；其二，利用监控系统获取驾驶室内的视频流数据，并将视频流数据上传至监控中心，以使监控中心的工作人员进行实时查看，确定驾驶员是否存在异常行为。
然而，上述方式存在以下缺陷，其一，在驾驶室内配备两名驾驶员，虽然降低了安全风险，但是提高了人力成本，同时也浪费了人力资源；其二，通过人工进行视频监控，不仅效率低下而且人力成本高，更有可能因为人为因素不能及时准确的确定异常情况，给车辆的正常运行带来了安全隐患。
发明内容
本申请提供一种驾驶员异常行为识别方法、装置、设备及存储介质，用于解决相关技术中，通过人工监测方式，对驾驶员异常行为进行识别时，不仅效率低而且人力成本高，更有可能因为人为因素不能及时准确的确定异常情况，给车辆的正常运行带来了安全隐患的问题。
本申请一方面实施例提供一种驾驶员异常行为识别方法，该方法包括：确定待处理视频流数据的属性信息，其中，所述属性信息，包括以下信息中的至少一个：所属的线路标识、采集时间、对应的采集区域、包含的视频帧数量、及包含的驾驶员数量；根据所述待处理视频流数据的属性信息，获取与所述待处理视频流数据对应的目标神经网络模型；利用所述目标神经网络模型，对所述待处理视频流数据进行识别处理，以确定所述待处理视频数据中是否包含驾驶员异常行为数据。
本申请另一方面实施例提供一种驾驶员异常行为识别装置，该装置包括：确定模块，用于确定待处理视频流数据的属性信息，其中，所述属性信息，包括以下信息中的至少一个：所属的线路标识、采集时间、对应的采集区域、包含的视频帧数量、及包含的驾驶员数量；获取模块，用于根据所述待处理视频流数据的属性信息，获取与所述待处理视频流数据对应的目标神经网络模型；识别模块，用于利用所述目标神经网络模型，对所述待处理视频流数据进行识别处理，以确定所述待处理视频数据中是否包含驾驶员异常行为数据。
本申请又一方面实施例提供一种计算机设备，该计算机设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，以实现第一方面实施例所述的驾驶员异常行为识别方法。
本申请再一方面实施例的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，以实现第一方面实施例所述的驾驶员异常行为识别方法。
本申请再一方面实施例的计算机程序，当所述计算机程序被处理器执行时，实现第一方面实施例所述的驾驶员异常行为识别方法。
本申请公开的技术方案，具有如下有益效果：
通过确定待处理视频流数据的属性信息，以根据待处理视频流数据的属性信息，获取与待处理视频流数据对应的目标神经网络模型，然后利用目标神经网络模型，对待处理视频流数据进行识别处理，以确定待处理视频数据中是否包含驾驶员异常行为数据。由此，实现了根据神经网络模型，对采集的视频流数据中驾驶员异常行为进行自动识别，从而当确定驾驶员行为存在异常时进行及时预警，使得控制中心能够及时采取补救措施，以降低突发事件造成的严重后果，并且还能降低人工成本，提高识别效率，为车辆的安全运行提供了条件。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，
图1是根据本申请一个示例性实施例示出的驾驶员异常行为识别方法的流程示意图；
图2是根据本申请一个示例性实施例示出的目标神经网络模型生成过程的流程示意图；
图3是根据本申请另一个示例性实施例示出的驾驶员异常行为识别方法的流程示意图；
图4是根据本申请再一个示例性实施例示出的驾驶员异常行为识别方法的流程示意图；
图5是根据本申请一个示例性实施例示出的驾驶员异常行为识别装置的结构示意图；
图6是根据本申请另一个示例性实施例示出的驾驶员异常行为识别装置的结构示意图；
图7是根据本申请一个示例性实施例示出的计算机设备的结构示意图；
图8是根据本申请另一个示例性实施例示出的计算机设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
本申请各实施例针对相关技术中，通过人工监测方式，对驾驶员异常行为进行识别时，不仅效率低而且人力成本高，更有可能因为人为因素不能及时准确的确定异常情况，给车辆的正常运行带来了安全隐患的问题，提出一种驾驶员异常行为识别方法。
本申请实施例，通过确定待处理视频流数据的属性信息，以根据待处理视频流数据的属性信息，获取对应的目标神经网络模型，然后利用获取的目标神经网络模型，对待处理视频流数据进行识别处理，以确定待处理视频流数据中是否包含驾驶员异常行为数据。由此，实现了根据神经网络模型，对采集的视频流数据中驾驶员异常行为进行自动识别，从而当确定驾驶员行为存在异常时进行及时预警，使得控制中心能够及时采取补救措施，以降低突发事件造成的严重后果，并且还能降低人工成本，提高识别效率，为车辆的安全运行提供了条件。
下面参考附图描述本申请实施例的驾驶员异常行为识别方法、装置、设备及存储介质进行详细说明。
首先，结合图1对本申请中驾驶员异常行为识别方法进行具体说明。
图1是根据本申请一个示例性实施例的驾驶员异常行为识别方法的流程示意图。如图1所示，本申请的驾驶员异常行为识别方法可以包括以下步骤：
步骤101，确定待处理视频流数据的属性信息。
其中，属性信息，包括以下信息中的至少一个：所属的线路标识、采集时间、对应的采集区域、包含的视频帧数量、及包含的驾驶员数量。
在本实施例中，待处理视频流数据，可以是图像采集设备对驾驶室内在连续时间段采集的视频流数据。其中，图像采集设备可以是任一具有图像采集功能的设备，比如摄像机等，此处对其不作具体限定。
其中，本申请实施例提供的驾驶员异常行为识别方法，可以由本申请实施例提供的计算机设备执行。其中，计算机设备中设置有驾驶员异常行为识别装置，以实现对待处理视频流中包含的驾驶员异常行为数据进行识别。本实施例计算机设备可以是任一具有数据处理功能的硬件设备，比如电脑、服务器等等。
可选的，在执行步骤101之前，本实施例可以通过图像采集设备，采集车辆驾驶室内的视频流数据，并将采集的视频流数据通过TCP/IP发送给计算机设备，使得计算机设备对上述视频流数据进行处理，确定出待处理视频流数据的属性信息。
进一步的，由于在实际应用中，图像采集设备采集的视频流数据中可能存在空白帧或者质量差的帧。因此为了提高对视频流数据的处理速度，本实施例中图像采集设备将采集的视频流数据通过TCP/IP发送给计算机设备之后，计算机设备可以通过对上述视频流数据进行筛选梳理，以将空白帧、质量差的帧进行剔除，得到具有数据内容且质量好的待处理视频流数据。
进而，通过对待处理视频流数据进行分析处理，确定出待处理视频流数据的属性信息。
步骤102，根据待处理视频流数据的属性信息，获取与待处理视频流数据对应的目标神经网络模型。
现如今，随着轨道交通的快速发展，轨道交通线路数目在不断增加，并且每条线路对应的规范要求也因为地理环境不同存在差异。因此，为了实现对不同线路中驾驶员的异常行为均能进行准确识别，本实施例可以根据各线路具体规范要求及驾驶员基本行为要求，训练预设的神经网络模型，以生成对应的目标神经网络模型。
为了更清楚的理解本申请实施例，下面结合图2，对本申请中目标神经网络模型的生成过程进行详细说明。
如图2所示，本申请实施例的生成目标神经网络模型的过程可以包括以下步骤：
步骤201，根据目标异常行为特征，从预设的数据库中获取目标多媒体数据，或者录制目标多媒体数据，其中，异常行为特征为根据待处理的视频流数据的属性信息确定的。
在本实施例中，目标异常行为特征可以根据驾驶员行为规范、及各个线路的驾驶员行为要求等确定。在实际使用时，目标异常行为特征可以包括，但不限于：突然倒在驾驶室地面；突然倒在驾驶控制台；手抚摸心脏部位次数大于第一阈值；双手离开驾驶控制台；手拿违规设备(对讲机、应急处置箱、灭火器除外)；手触动紧急制动设备；频繁站立与坐下频率大于第二阈值；目视驾驶室侧面超过10分钟；到站后，离开驾驶室超过5分钟；驾驶室来回走动频率大于第三阈值；依靠控制室墙角时间过长(大于1分钟)；规定外其他人员闯入驾驶室(人数增加)；手拿灭火器；敲击控制两侧门(大于30秒)等。
其中，第一阈值、第二阈值、第三阈值可以根据实际情况进行适应性设置。
例如，第一阈值可以是在5分钟内抚摸心脏部位的次数大于10次。
又如，第二阈值可以是每分钟站立与坐下的频率大于8次。
再如，第三阈值可以是驾驶员在驾驶室内来回走动的频率每分钟大于10次等等。
需要说明的是，由于采集的视频流数据所属的线路并不相同，因此对应的目标异常行为特征也不相同；或者，在视频流数据采集的区域和时间不同时，对应的目标异常行为特征也不相同。
其中，预设的数据库，可以是历史获取的驾驶员视频数据库；或者，也可以是参考现有的已经公布的行为识别数据库。例如，法国国家信息与自动化研究所(Institutnational de recherche en informatique et en automatique，简称为INRIA)人体行为数据库、加州理工学院(California Institute of Technology，简称为Caltech)行人数据库、中佛罗里达大学体育(UCF Sports)数据库及Hollywood人体行为库等。
需要说明的是，由于每条线路的作业要求因为地理环境等因素存在差别，因此本实施例中预设的数据库还可以根据线路的具体规范要求进行补充细化或作相应修改操作，此处对其不作具体限定。
可选的，本实施例可以根据任意目标异常行为特征，从预设的数据库中获取目标多媒体数据，或者录制目标多媒体数据。
例如，若目标异常行为特征为“突然倒在驾驶室地面”，则本实施例计算机设备可以根据“突然倒在驾驶室地面”，从预设的数据库中获取包含“突然倒在驾驶室地面”的多媒体数据，并将获取的多媒体数据作为目标多媒体数据。
步骤202，利用目标多媒体数据，对预设的神经网络模型进行训练，以生成目标神经网络模型。
可选的，在获取到目标多媒体数据之后，即可将目标多媒体数据作为预设的神经网络模型的输入数据，输入至预设的神经网络模型中，以使预设的神经网络模型对输入的目标多媒体数据进行处理训练，以生成目标神经网络模型。
需要说明的是，由于目标异常行为特征不同，获取的目标多媒体数据也不同，进而根据不同的目标多媒体数据，对预设的神经网络模型进行训练，生成的目标神经网络模型也不相同。
进一步的，为了保证对不同线路中驾驶员异常行为识别的针对性，本申请在生成神经网络模型时，可以根据不同线路对驾驶员不同异常行为的关注度，为不同的异常行为特征对应的多媒体数据设置不同的权重，进而生成不同的神经网络模型。
之后，在对视频流数据进行识别时，即可根据待处理视频流数据的所属的线路标识，获取与待处理视频流数据对应的目标神经网络模型，从而根据目标神经网络模型实现对不同线路中驾驶员的异常行为进行准确识别。
另外，对于同一异常行为特征，不同采集角度、不同采集时刻、或者视频流中包含的驾驶员数量不同时，对应的衡量标准可能不同。比如“双手离开驾驶控制台”这一异常行为特征，若采集时刻为车辆行驶过程中、且驾驶室内仅有一个驾驶员时，对应的异常等级较高；而若采集时刻为车辆进站后，或者驾驶室内有两名驾驶员时，对应的异常等级较低。因此，本申请实施例，还可以利用采集时间、采集区域、包含的驾驶员数量及视频帧数量等不同的多媒体数据，训练不同的神经网络模型。进而，在对待处理视频流数据进行识别时，即可根据待处理视频流数据的属性信息，获取对应的目标神经网络模型，以进一步提高识别结果的准确性和可靠性。
也就是说，本申请实施例中神经网络模型可以包括多个，以满足不同线路均有对应的目标神经网络模型，从而可以实现根据不同待处理视频流数据的属性，确定对应的目标神经网络模型，并根据对应的目标神经网络模型进行后续操作。
步骤103，利用目标神经网络模型，对待处理视频流数据进行识别处理，以确定待处理视频流数据中是否包含驾驶员异常行为数据。
可选的，当获取到与待处理视频数据的属性信息相对应的目标神经网络模型之后，计算机设备即可利用目标神经网络模型，对待处理视频流数据进行识别处理，以确定待处理视频流数据中是否包含驾驶员异常行为数据。
作为本申请的一种可选的实现方式，在对待处理视频流数据进行识别处理时，可将待处理视频流数据作为输入数据，输入至目标神经网络模型中，使得目标神经网络模型根据对应的神经网络算法对待处理视频流数据进行识别，以确定待处理视频流数据中是否包含驾驶员异常行为数据。
进一步的，在本申请的另一个实施例中，当利用目标神经网络模型，对待处理视频数据进行识别处理之后，还可以包括：在确定待处理视频流数据中包含驾驶员异常行为数据时，向待处理视频流数据所属的车站监控系统发送预警消息，以使车站监控系统根据预警消息采取相应的应对措施，以降低驾驶员异常行为造成的严重后果。
本申请提供的驾驶员异常行为识别方法，通过确定待处理视频流数据的属性信息，以根据待处理视频流数据的属性信息，获取与待处理视频流数据对应的目标神经网络模型，然后利用目标神经网络模型，对待处理视频流数据进行识别处理，以确定待处理视频数据中是否包含驾驶员异常行为数据。由此，实现了根据神经网络模型，对采集的视频流数据中驾驶员异常行为进行自动识别，从而当确定驾驶员行为存在异常时进行及时预警，使得控制中心能够及时采取补救措施，以降低突发事件造成的严重后果，并且还能降低人工成本，提高识别效率，为车辆的安全运行提供了条件。
通过上述分析可知，本申请实施例通过根据待处理视频流数据的属性信息，获取目标神经网络模型，以根据目标神经网络模型对待处理视频流数据进行识别处理，确定待处理视频流数据中是否包含驾驶员异常行为数据。
在实际使用过程中，由于轨道行业行车线路及驾驶员行为规范的特殊性，各线路对应的目标神经网络模型之间也存在差别。对此为了实现对不同线路中驾驶员在工作过程中行为操作是否存在异常进行有针对性的识别，本实施例在利用目标神经网络模型，对待处理视频流数据进行识别处理之前，可以首选获取与待处理视频流数据对应的目标参数矩阵，以使目标神经网络可以根据目标参数矩阵对待处理视频流数据进行高效准确的识别操作，以提高识别的准确度。下面结合图3，对本申请的驾驶员异常行为识别方法进行进一步的说明。
图3是根据本申请另一个示例性实施例的驾驶员异常行为识别方法的流程示意图。如图3所示，本申请实施例的驾驶员异常行为识别方法可以包括以下步骤：
步骤301，确定待处理视频流数据的属性信息。
其中，属性信息，包括以下信息中的至少一个：所属的线路标识、采集时间、对应的采集区域、包含的视频帧数量、及包含的驾驶员数量。
步骤302，根据待处理视频流数据的属性信息，获取与待处理视频流数据对应的目标参数矩阵。
其中，目标参数矩阵，是与神经网络模型中的各层算法相对应的参数矩阵。
在本实施例中，各条线路中对驾驶员的行为规范要求各不相同，因此为了提高对各条线路中驾驶员的行为数据中是否存在异常行为数据的识别准确性。本实施例可以根据待处理视频流数据的属性信息，获取与待处理视频流数据对应的目标参数矩阵，从而根据目标参数矩阵对待处理视频流数据进行准确识别。
步骤303，基于目标参数矩阵，利用预设的神经网络模型，对待处理视频流数据进行识别处理。
其中，预设的神经网络模型中的各参数的取值为目标参数矩阵中的各参数时，预设的神经网络模型为所述目标神经网络模型。
可选的，本实施例在获取到与待处理视频流数据对应的目标参数矩阵之后，即可基于目标参数矩阵，利用预设的神经网络模型，对待处理视频流数据进行识别处理。
也就是说，通过待处理视频流数据的属性信息，可以获取与待处理视频流数据对应的目标参数矩阵，从而使得预设的神经网络模型，可以基于目标参数矩阵，对待处理视频流数据进行识别处理，以确定待处理视频流数据中是否包含驾驶员异常行为数据。
本申请实施例的驾驶员异常行为识别方法，通过确定待处理视频流数据的属性信息，以根据待处理视频流数据的属性信息，获取与待处理视频流数据对应的目标参数矩阵，从而基于目标参数矩阵，利用预设的神经网络模型，对待处理视频流数据进行识别处理。由此，实现了利用视频流数据对应的目标参数矩阵，对视频流数据进行针对性的识别处理，可以提高对视频流数据中驾驶员异常行为的识别准确性，从而当确定驾驶员行为存在异常时进行及时预警，使得控制中心能够及时采取补救措施，以降低突发事件造成的严重后果，并且还能降低人工成本，提高识别效率，为车辆的安全运行提供了条件。
通过上述分析可知，本申请实施例通过获取待处理视频流数据对应的目标参数矩阵，以基于目标参数矩阵，利用预设的神经网络模型，对待处理视频流数据进行识别处理。
在实际使用时，由于神经网络中可以包括不同处理层，例如巻积层、池化层等等，以通过不同处理层对待视频流数据进行不同方式的处理操作，以实现对待处理视频流数据中是否包含驾驶员异常行为数据进行准确识别。下面结合图4，对本申请上述利用目标神经网络模型，对待处理视频流数据进行识别处理过程进行具体说明。
图4是根据本申请另一个示例性实施例的驾驶员异常行为识别方法的流程示意图。如图4所示，本申请实施例的驾驶员异常行为识别方法可以包括以下步骤：
步骤401，确定待处理视频流数据的属性信息。
其中，属性信息，包括以下信息中的至少一个：所属的线路标识、采集时间、对应的采集区域、包含的视频帧数量、及包含的驾驶员数量。
步骤402，根据待处理视频流数据的属性信息，获取与待处理视频流数据对应的目标神经网络模型。
步骤403，利用目标神经网络模型中的卷积层，对待处理视频流数据进行特征提取。
目前，对视频类数据进行特征提取比较好的算法是三维卷积神经网络算法，那么本实施例对待处理视频流数据进行特征提取时，可以采用三维卷积神经网络算法实现特征提取操作。
为了更好的理解三维卷积神经网络算法对视频类数据的特征提取，下面首先对三维卷积神经网络算法的基本原理进行说明：
假设三维卷积神经网络在卷积前为l-1层，特征图数为N；卷积后为l层，特征图数为M，卷积前视频大小为T×W×H，其中T、W、H分别为视频流数据中视频图像的帧数、帧宽和帧高，各维度卷积步长均为1，卷积过滤器(也称核)大小为TN×WW×HH。由基本卷积计算公式可知，使用不同卷积过滤器(核)生成不同特征图过程是相同的。在本实施例中只计算一个特征图相关公式，因此，在通过卷积运算后，第一层大小为(T-FN+1)×(W-FW+1)×(H-FH+1)，获取位置(ti,ii,ji)激活值的三维卷积操作运算定义如下公式(1)所示：
其中，表示第l层位置(ti,ii,ji)的输入加权和，b为偏置单元，tl∈[1,T-KT+1]；il∈[1,W-Kw+1]；jl∈[1,H-KH+1]，k为l-1层特征图编号。
其中，表示第l层位置(tl,il,jl)的激活值(即输出值)，激活函数f(.)为双曲正切函数，如公式(3)所示：
进一步的，本实施例利用目标神经网络模型中的巻积层，对待处理视频流数据进行特征提取时，可以采用动态配置不同目标异常行为特征对应的卷积第一层特征参数N，即动态可变参数。
也就是说，本实施例可以根据运营公司对目标异常行为特征的重视程度，设置不同的特征参数N，从而可以实现对待处理视频流数据进行识别处理时，可以实现动态加权和计算，以对驾驶员行为数据进行分级别监测。
例如，若运营公司比较注重对“突然倒在驾驶室地面”的目标异常行为特征的监测，则在训练生成目标神经网络模型时，增大该目标异常行为特征的特征参数值，并将该目标异常行为特征的特征参数值写入相应的配置文件。从而在调用三维卷积操作运算公式，即上述公式(1)时，通过读取配置文件中目标异常行为特征对应的特征参数值，即可实现动态加权和计算，从而使得运营公司可以得到比较注重的异常行为特征的情况信息。
步骤404，利用目标神经网络模型中的池化层，对卷积层提取的特征进行压缩处理，以确定待处理视频流数据的关键特征。
在实际使用过程中，视频流数据中图像帧数量过多，可能会导致过拟合情况，因此为了减少训练数据的数量，本实施例在神经网络模型中的巻积层之后，引入池化层，以对巻积层提取的特征进行压缩处理，减少视频流数据中图像帧占用的空间大小，并确定待处理视频流数据的关键特征。
通常，池化在每一个纵深维度上独立完成，因此视频流数据中图像帧的纵深保持不变，并且在实际使用时，池化层最常见的形式是最大池化。下面就以最大池化对本实施例中，对巻积层提取的特征进行压缩处理，以确定待处理视频流数据的关键特征进行举例说明。
例如，假设本实施例中池化区域为2×2×2，各维度池化步长均为2，并且最大池化的池化公式如公式(4)所示：
其中，tl∈[2tlp-1,2tlp+1]，il∈[2ilp-1,2ilp+1]，jl∈[2jlp-1,2jlp+1]，为l层使用最大池化后，位置(tlp,ilp,jlp)的特征值，即l层该特征图在位置(tlp,ilp,jlp)的特征值。
步骤405，利用目标神经网络模型中的分类层，对关键特征进行分类处理，以根据关键特征与每个预设类的相似度，确定待处理视频流数据中包含的驾驶员异常行为数据类型。
其中，预设类的类别可以包括：正常类和异常类等，此处对其不作具体限定。在本实施例中，正常类可以用0表示，异常类可以用1表示。
可选的，本实施例可以通过逻辑分类器(logistic分类器)，对池化层确定的关键特征进行分类处理，并根据关键特征与预设类的相似度，确定待处理视频流数据中包含的驾驶异常行为数据类型。
也就是说，logistic分类器通过对目标神经网络模型中池化层提取的关键特征进行分类，可以得到关键特征所属的数据类型。
其中，由于池化层获取的关键特征可以包括多个，则可以将多个关键特征组合成关键特征集合，并且该关键特征集合可以表示为：X＝{x1,x2,x3,.....}。其中，每个关键特征中均可以包含一系列的属性信息，并且任一关键特征可以标识为xi＝(a1,a2,a3,.....)。
作为本实施例的一种可选的实现方式，本实施例可以通过以下步骤确定待处理视频流数据中包含的驾驶员异常行为数据类型。
步骤一：
通过引入参数θ＝(θ1,θ2,θ3,.....)，对关键特征的属性进行加权处理，得到：θTx。
可选的，在本实施例中，对关键特征的属性进行加权处理的方法可以包括以下步骤：
假设一个因变量y和一组自变量x1、x2、x3、…、xn，其中y为连续变量，那么可以拟合一个线性方程，具体如下公式(5)：
y＝β0+β1*x1+β2*x2+β3*x3+...+βn*xn…………………………(5)
上式(5)中，β＝(β0,β1,β2,...,βn)，即为参数θ＝(θ1,θ2,θ3,.....)。
其中，若y取连续[0,1]，按照logistics函数(即S函数)，可以将上述公式(5)修改成公式(6)：
其中，e-z＝β0+β1*x1+β2*x2+β3*x3+...+βn*xn。
进一步的，本实施例还可对上述公式(6)进行对数转换，得到公式(7)：
其中，若取y＝1的概率为p(y＝1),那么，y＝1-y就为y取值为0的概率，且概率为p(y＝0)，基于上述y的取值，则公式(7)可以变换为公式(8)：
其中，z＝β0+β1*x1+β2*x2+β3*x3+...+βn*xn。
然后，使用最大似然法估计出各个系数β0、β1、β2、…、βn。
其中，Logistics回归的最大似然法估计的对数似然函数如下公式(9)：
令x0＝1，则可以得到公式(10)：
若令
则可以将公式(10)转换成公式(11)：
为了求的f(β)的最大值，本实施例可以根据公式(11)进行β迭代，得到公式(12)：
设初始值β0＝β0,β1,...,βp，经过迭代之后，当|βi+1-βi|<ε时，停止迭代，可以得到βi+1，即β0,β1,...,βp的值。其中ε为预先设置的误差值，可以根据实际需要进行适应性设置。
步骤二：
通过引入logistic函数(sigmoid函数)：g(z)＝1/(1+e-z)，将该函数作为目标神经网络的激活函数，具体如公式(13)：
其中，函数hθ(x)的值表示结果为1的概率，即关键特征属于y＝1的概率。因此，本实施例中对输入关键特征分类结果为类别1和类别0的概率分别为：
p(y＝1|x；θ)＝hθ(x)
p(y＝0|x；θ)＝1-hθ(x)
进而，当判断新特征属于哪一数据类型时，可以按照公式(14)求出z值，并将z值代入公式(13)中，即可确定新特征的数据类型。
需要说明的是，若任一特征的hθ(x)大于0.5，则说明该特征属于y＝1的那一类，若特征hθ(x)小于或等于0.5，则说明该特征属于y＝0类。
进一步的，当确定待处理视频流数据中包含的驾驶员异常行为数据类型为类型异常类时，则说明当前驾驶员的行为存在异常，可能会导致安全事故的发生，此时计算机设备可以将异常行为数据携带在预警消息中，向待处理视频流数据所属的车站监控系统发送预警消息，以使车站监控系统根据预警消息，向控制中心发送控制指令，以使控制中心根据指令采取对应的补救措施，以减少驾驶员的异常行为造成的严重后果。
本申请实施例的驾驶员异常行为识别方法，通过利用目标神经网络模型中的巻积层，对待处理视频流数据进行特征提取，并利用目标神经网络模型中的池化层，对巻积层提取的特征进行压缩处理，确定待处理视频流数据的关键特征，然后再利用目标神经网络模型中的分类层，对关键特征进行分类处理，以根据关键特征与每个预设类的相似度，确定待处理视频流数据中包含的驾驶员异常行为数据类型。由此，实现了根据神经网络模型中对视频流数据进行一系列的处理操作，并确定视频流数据中包含的驾驶员异常行为数据类型，从而可以及时准确的判断出驾驶员异常行为，并当存在驾驶员异常行为时，及时采取补救措施，将危险降至最低，从而保证驾驶员及乘客的人身安全。
为了实现上述实施例，本申请还提出了一种驾驶员异常行为识别装置。
图5是本申请一个示例性实施例的驾驶员异常行为识别装置的结构示意图。如图5所示，本申请的驾驶员异常行为识别装置包括：确定模块11、获取模块12以及识别模块13。
其中，确定模块11用于确定待处理视频流数据的属性信息，其中，所述属性信息，包括以下信息中的至少一个：所属的线路标识、采集时间、对应的采集区域、包含的视频帧数量、及包含的驾驶员数量；
获取模块12用于根据所述待处理视频流数据的属性信息，获取与所述待处理视频流数据对应的目标神经网络模型；
识别模块13用于利用所述目标神经网络模型，对所述待处理视频流数据进行识别处理，以确定所述待处理视频数据中是否包含驾驶员异常行为数据。
作为本申请的一种可选的实现形式，所述对所述待处理视频流数据进行识别处理之前，还包括：对所述待处理视频流数据进行筛选处理。
作为本申请的一种可选的实现形式，本申请驾驶员异常行为识别装置，还包括：第二获取模块和生成模块。
其中，第二获取模块用于根据目标异常行为特征，从预设的数据库中获取目标多媒体数据，或者录制目标多媒体数据，其中，所述异常行为特征为根据待处理的视频流数据的属性信息确定的；
生成模块用于利用所述目标多媒体数据，对预设的神经网络模型进行训练，以生成所述目标神经网络模型。
作为本申请的一种可选的实现形式，本申请驾驶员异常行为识别装置，还包括：预警模块。
其中预警模块用于在确定所述待处理视频流数据中包含驾驶员异常行为数据时，向所述待处理视频流数据所属的车站监控系统发送预警消息。
在本申请的另一个实施例中，获取模块12具体用于：获取与所述待处理视频流数据对应的目标参数矩阵；
所述识别模块13具体用于：
基于所述目标参数矩阵，利用预设的神经网络模型，对所述待处理视频流数据进行识别处理。
需要说明的是，前述对驾驶员异常行为识别方法实施例的解释说明也适用于该实施例的驾驶员异常行为识别装置，其实现原理类似，此处不再赘述。
本实施例提供的驾驶员异常行为识别装置，通过确定待处理视频流数据的属性信息，以根据待处理视频流数据的属性信息，获取与待处理视频流数据对应的目标神经网络模型，然后利用目标神经网络模型，对待处理视频流数据进行识别处理，以确定待处理视频数据中是否包含驾驶员异常行为数据。由此，实现了根据神经网络模型，对采集的视频流数据中驾驶员异常行为进行自动识别，从而当确定驾驶员行为存在异常时进行及时预警，使得控制中心能够及时采取补救措施，以降低突发事件造成的严重后果，并且还能降低人工成本，提高识别效率，为车辆的安全运行提供了条件。
图6是根据本申请另一个示例性实施例的驾驶员异常行为识别装置的结构示意图。
参照图6所示，本申请的驾驶员异常行为识别装置包括：确定模块11、获取模块12以及识别模块13。
其中，确定模块11用于确定待处理视频流数据的属性信息，其中，所述属性信息，包括以下信息中的至少一个：所属的线路标识、采集时间、对应的采集区域、包含的视频帧数量、及包含的驾驶员数量；
获取模块12用于根据所述待处理视频流数据的属性信息，获取与所述待处理视频流数据对应的目标神经网络模型；
识别模块13用于利用所述目标神经网络模型，对所述待处理视频流数据进行识别处理，以确定所述待处理视频数据中是否包含驾驶员异常行为数据，其中，所述预设的神经网络模型中的各参数的取值为所述目标参数矩阵中的各参数时，所述预设的神经网络模型为所述目标神经网络模型。
作为本申请的一个可选的实现方式，识别模块13还包括提取单元131、第一确定单元132和第二确定单元133。
其中，提取单元131用于利用所述目标神经网络模型中的卷积层，对所述待处理视频流数据进行特征提取；
第一确定单元132用于利用所述目标神经网络模型中的池化层，对所述卷积层提取的特征进行压缩处理，以确定所述待处理视频流数据的关键特征；
第二确定单元133利用所述目标神经网络模型中的分类层，对所述关键特征进行分类处理，以根据所述关键特征与每个预设类的相似度，确定所述待处理视频流数据中包含的驾驶员异常行为数据类型。
需要说明的是，本实施例的驾驶员异常行为识别装置的实施过程和技术原理参见前述对第一方面实施例的驾驶员异常行为识别方法的解释说明，此处不再赘述。
本申请实施例提供的驾驶员异常行为识别装置，通过利用目标神经网络模型中的巻积层，对待处理视频流数据进行特征提取，并利用目标神经网络模型中的池化层，对巻积层提取的特征进行压缩处理，确定待处理视频流数据的关键特征，然后再利用目标神经网络模型中的分类层，对关键特征进行分类处理，以根据关键特征与每个预设类的相似度，确定待处理视频流数据中包含的驾驶员异常行为数据类型。由此，实现了根据神经网络模型中对视频流数据进行一系列的处理操作，并确定视频流数据中包含的驾驶员异常行为数据类型，从而可以及时准确的判断出驾驶员异常行为，并当存在驾驶员异常行为时，及时采取补救措施，将危险降至最低，从而保证驾驶员及乘客的人身安全。
为了实现上述实施例，本申请还提出一种计算机设备。
图7是根据本申请一个示例性实施例的计算机设备的结构示意图。图7显示的计算机设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，上述计算机设备200包括：存储器210、处理器220及存储在存储器210上并可在处理器220上运行的计算机程序，所述处理器220执行所述程序时，以实现第一方面实施例所述的驾驶员异常行为识别方法。
在一种可选的实现形式中，如图8所示，该计算机设备200还可以包括：存储器210及处理器220，连接不同组件(包括存储器210和处理器220)的总线230，存储器210存储有计算机程序，当处理器220执行所述程序时实现本申请实施例所述的驾驶员异常行为识别方法。
总线230表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备200典型地包括多种计算机设备可读介质。这些介质可以是任何能够被计算机设备200访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器210还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)240和/或高速缓存存储器250。计算机设备200可以进一步包括其他可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统260可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块270的程序/实用工具280，可以存储在例如存储器210中，这样的程序模块270包括——但不限于——操作系统、一个或者多个应用程序、其他程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备200也可以与一个或多个外部设备290(例如键盘、指向设备、显示器291等)通信，还可与一个或者多个使得用户能与该计算机设备200交互的设备通信，和/或与使得该计算机设备200能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口292进行。并且，计算机设备200还可以通过网络适配器293与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器293通过总线230与计算机设备200的其他模块通信。应当明白，尽管图中未示出，可以结合计算机设备200使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
需要说明的是，本实施例的计算机设备的实施过程和技术原理参见前述对第一方面实施例的驾驶员异常行为识别方法的解释说明，此处不再赘述。
本申请实施例提供的计算机设备，通过确定待处理视频流数据的属性信息，以根据待处理视频流数据的属性信息，获取与待处理视频流数据对应的目标神经网络模型，然后利用目标神经网络模型，对待处理视频流数据进行识别处理，以确定待处理视频数据中是否包含驾驶员异常行为数据。由此，实现了根据神经网络模型，对采集的视频流数据中驾驶员异常行为进行自动识别，从而当确定驾驶员行为存在异常时进行及时预警，使得控制中心能够及时采取补救措施，以降低突发事件造成的严重后果，并且还能降低人工成本，提高识别效率，为车辆的安全运行提供了条件。
为实现上述目的，本申请还提出一种计算机可读存储介质。
其中该计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，以实现第一方面实施例所述的驾驶员异常行为识别方法。
一种可选实现形式中，本实施例可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
为实现上述目的，本申请还提出一种计算机程序。其中当计算机程序被处理器执行时，以实现第一方面实施例所述的驾驶员异常行为识别方法。
在本申请中，除非另有明确的规定和限定，术语“设置”、“连接”等术语应做广义理解，例如，可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种驾驶员异常行为识别方法，其特征在于，包括：
确定待处理视频流数据的属性信息，其中，所述属性信息，包括以下信息中的至少一个：所属的线路标识、采集时间、对应的采集区域、包含的视频帧数量、及包含的驾驶员数量；
根据所述待处理视频流数据的属性信息，获取与所述待处理视频流数据对应的目标神经网络模型；
利用所述目标神经网络模型，对所述待处理视频流数据进行识别处理，以确定所述待处理视频流数据中是否包含驾驶员异常行为数据；
所述获取与所述待处理视频流数据对应的目标神经网络模型，包括：
获取与所述待处理视频流数据对应的目标参数矩阵；
所述利用所述目标神经网络模型，对所述待处理视频流数据进行识别处理，包括：
基于所述目标参数矩阵，利用预设的神经网络模型，对所述待处理视频流数据进行识别处理；其中，所述预设的神经网络模型中的各参数的取值为所述目标参数矩阵中的各参数时，所述预设的神经网络模型为所述目标神经网络模型。
2.如权利要求1所述的方法，其特征在于，所述对所述待处理视频流数据进行识别处理之前，还包括：
对所述待处理视频流数据进行筛选处理。
3.如权利要求1所述的方法，其特征在于，所述利用所述目标神经网络模型，对所述待处理视频流数据进行识别处理之前，还包括：
根据目标异常行为特征，从预设的数据库中获取目标多媒体数据，或者录制目标多媒体数据，其中，所述异常行为特征为根据待处理的视频流数据的属性信息确定的；
利用所述目标多媒体数据，对预设的神经网络模型进行训练，以生成所述目标神经网络模型。
4.如权利要求1-3任一所述的方法，其特征在于，所述利用所述目标神经网络模型，对所述待处理视频流数据进行识别处理，包括：
利用所述目标神经网络模型中的卷积层，对所述待处理视频流数据进行特征提取；
利用所述目标神经网络模型中的池化层，对所述卷积层提取的特征进行压缩处理，以确定所述待处理视频流数据的关键特征；
利用所述目标神经网络模型中的分类层，对所述关键特征进行分类处理，以根据所述关键特征与每个预设类的相似度，确定所述待处理视频流数据中包含的驾驶员异常行为数据类型。
5.如权利要求1-3任一所述的方法，其特征在于，所述利用所述目标神经网络模型，对所述待处理视频数据进行识别处理之后，还包括：
在确定所述待处理视频流数据中包含驾驶员异常行为数据时，向所述待处理视频流数据所属的车站监控系统发送预警消息。
6.一种驾驶员异常行为识别装置，其特征在于，包括：
确定模块，用于确定待处理视频流数据的属性信息，其中，所述属性信息，包括以下信息中的至少一个：所属的线路标识、采集时间、对应的采集区域、包含的视频帧数量、及包含的驾驶员数量；
获取模块，用于根据所述待处理视频流数据的属性信息，获取与所述待处理视频流数据对应的目标神经网络模型；
识别模块，用于利用所述目标神经网络模型，对所述待处理视频流数据进行识别处理，以确定所述待处理视频数据中是否包含驾驶员异常行为数据；
所述获取与所述待处理视频流数据对应的目标神经网络模型，包括：
获取与所述待处理视频流数据对应的目标参数矩阵；
所述利用所述目标神经网络模型，对所述待处理视频流数据进行识别处理，包括：
基于所述目标参数矩阵，利用预设的神经网络模型，对所述待处理视频流数据进行识别处理；其中，所述预设的神经网络模型中的各参数的取值为所述目标参数矩阵中的各参数时，所述预设的神经网络模型为所述目标神经网络模型。
7.一种计算机设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，以实现如权利要求1-5任一所述的驾驶员异常行为识别方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，以实现如权利要求1-5任一所述的驾驶员异常行为识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810975097.6A CN110858290B (zh) | 2018-08-24 | 2018-08-24 | 驾驶员异常行为识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810975097.6A CN110858290B (zh) | 2018-08-24 | 2018-08-24 | 驾驶员异常行为识别方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110858290A CN110858290A (zh) | 2020-03-03 |
| CN110858290B true CN110858290B (zh) | 2023-10-17 |
Family
ID=69635772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810975097.6A Active CN110858290B (zh) | 2018-08-24 | 2018-08-24 | 驾驶员异常行为识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110858290B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111401282B (zh) * | 2020-03-23 | 2024-10-01 | 上海眼控科技股份有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
| CN111753994B (zh) * | 2020-06-22 | 2023-11-03 | 深圳鲲云信息科技有限公司 | Ai芯片的数据处理方法、装置和计算机设备 |
| CN113177603B (zh) * | 2021-05-12 | 2022-05-06 | 中移智行网络科技有限公司 | 分类模型的训练方法、视频分类方法及相关设备 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0783161A2 (en) * | 1996-01-02 | 1997-07-09 | Tecno Accion SA | Double registration control of entry and exit of persons or things in a predetermined zone |
| CN101593422A (zh) * | 2009-06-15 | 2009-12-02 | 无锡骏聿科技有限公司 | 一种基于视频追踪和模式识别的交通违规检测方法 |
| CN101746269A (zh) * | 2010-01-08 | 2010-06-23 | 东南大学 | 基于软计算的疲劳驾驶融合检测方法 |
| CN103489010A (zh) * | 2013-09-25 | 2014-01-01 | 吉林大学 | 基于驾驶行为的疲劳驾驶检测方法 |
| CN103544337A (zh) * | 2012-05-29 | 2014-01-29 | 通用汽车环球科技运作有限责任公司 | 汽车乘员的对话模型 |
| CN203759874U (zh) * | 2013-12-23 | 2014-08-06 | 安徽皖通科技股份有限公司 | 一种具有视频增强效果的交通违章信息采集系统 |
| CN105469097A (zh) * | 2015-11-18 | 2016-04-06 | 江苏省电力公司检修分公司 | 一种基于神经网络的变电站特征提取方法 |
| CN106530730A (zh) * | 2016-11-02 | 2017-03-22 | 重庆中科云丛科技有限公司 | 交通违规检测方法及系统 |
| CN106652468A (zh) * | 2016-12-09 | 2017-05-10 | 武汉极目智能技术有限公司 | 车辆道路前车违规检测和自车违规预警提醒装置及方法 |
| CN106778583A (zh) * | 2016-12-07 | 2017-05-31 | 北京理工大学 | 基于卷积神经网络的车辆属性识别方法与装置 |
| CN107428352A (zh) * | 2015-03-12 | 2017-12-01 | 西门子公司 | 用于确定轨道车辆的信号形态的方法和装置 |
| CN107610707A (zh) * | 2016-12-15 | 2018-01-19 | 平安科技（深圳）有限公司 | 一种声纹识别方法及装置 |
| US9925987B1 (en) * | 2015-12-11 | 2018-03-27 | Lytx, Inc. | Driving abnormality detection |
| CN107909839A (zh) * | 2017-11-21 | 2018-04-13 | 北京华油信通科技有限公司 | 车辆安全处理方法及装置 |
| CN108021986A (zh) * | 2017-10-27 | 2018-05-11 | 平安科技（深圳）有限公司 | 电子装置、多模型样本训练方法和计算机可读存储介质 |
-
2018
- 2018-08-24 CN CN201810975097.6A patent/CN110858290B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0783161A2 (en) * | 1996-01-02 | 1997-07-09 | Tecno Accion SA | Double registration control of entry and exit of persons or things in a predetermined zone |
| CN101593422A (zh) * | 2009-06-15 | 2009-12-02 | 无锡骏聿科技有限公司 | 一种基于视频追踪和模式识别的交通违规检测方法 |
| CN101746269A (zh) * | 2010-01-08 | 2010-06-23 | 东南大学 | 基于软计算的疲劳驾驶融合检测方法 |
| CN103544337A (zh) * | 2012-05-29 | 2014-01-29 | 通用汽车环球科技运作有限责任公司 | 汽车乘员的对话模型 |
| CN103489010A (zh) * | 2013-09-25 | 2014-01-01 | 吉林大学 | 基于驾驶行为的疲劳驾驶检测方法 |
| CN203759874U (zh) * | 2013-12-23 | 2014-08-06 | 安徽皖通科技股份有限公司 | 一种具有视频增强效果的交通违章信息采集系统 |
| CN107428352A (zh) * | 2015-03-12 | 2017-12-01 | 西门子公司 | 用于确定轨道车辆的信号形态的方法和装置 |
| CN105469097A (zh) * | 2015-11-18 | 2016-04-06 | 江苏省电力公司检修分公司 | 一种基于神经网络的变电站特征提取方法 |
| US9925987B1 (en) * | 2015-12-11 | 2018-03-27 | Lytx, Inc. | Driving abnormality detection |
| CN106530730A (zh) * | 2016-11-02 | 2017-03-22 | 重庆中科云丛科技有限公司 | 交通违规检测方法及系统 |
| CN106778583A (zh) * | 2016-12-07 | 2017-05-31 | 北京理工大学 | 基于卷积神经网络的车辆属性识别方法与装置 |
| CN106652468A (zh) * | 2016-12-09 | 2017-05-10 | 武汉极目智能技术有限公司 | 车辆道路前车违规检测和自车违规预警提醒装置及方法 |
| CN107610707A (zh) * | 2016-12-15 | 2018-01-19 | 平安科技（深圳）有限公司 | 一种声纹识别方法及装置 |
| CN108021986A (zh) * | 2017-10-27 | 2018-05-11 | 平安科技（深圳）有限公司 | 电子装置、多模型样本训练方法和计算机可读存储介质 |
| CN107909839A (zh) * | 2017-11-21 | 2018-04-13 | 北京华油信通科技有限公司 | 车辆安全处理方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 何龙文.中国优秀硕士学位论文全文数据库.(01), * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110858290A (zh) | 2020-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108216252B (zh) | 一种地铁司机车载驾驶行为分析方法、车载终端及系统 | |
| CN109154976B (zh) | 通过机器学习训练对象分类器的系统和方法 | |
| CN107153363B (zh) | 无人驾驶汽车的仿真测试方法及装置、设备与可读介质 | |
| CN110858290B (zh) | 驾驶员异常行为识别方法、装置、设备及存储介质 | |
| CN112037266B (zh) | 一种下落物体的识别方法、装置、终端设备及存储介质 | |
| WO2019179024A1 (zh) | 机场跑道智能监控方法、应用服务器及计算机存储介质 | |
| US10009579B2 (en) | Method and system for counting people using depth sensor | |
| CN110084289B (zh) | 图像标注方法、装置、电子设备及存储介质 | |
| KR102600401B1 (ko) | 분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 | |
| JP2021530823A (ja) | ニューラルネットワークのトレーニング方法、視線追跡方法及び装置並びに電子機器 | |
| CN111028940B (zh) | 肺结节多尺度检测方法、装置、设备及介质 | |
| CN116416281A (zh) | 一种粮库ai视频监管分析方法及系统 | |
| CN116245417A (zh) | 基于舒适性评价的车辆数据测试方法、系统、介质及设备 | |
| CN115599077A (zh) | 车辆故障定界方法、装置、电子设备及存储介质 | |
| CN113269111B (zh) | 一种基于视频监控的电梯异常行为检测方法及系统 | |
| CN113537148B (zh) | 人体动作识别方法及装置、可读存储介质、电子设备 | |
| CN117129247A (zh) | 一种地铁车门故障诊断方法 | |
| CN115083229B (zh) | 基于ai视觉识别的飞行训练设备智能识别与警示系统 | |
| CN111241918A (zh) | 一种基于人脸识别的车用防跟踪方法及系统 | |
| CN115871679A (zh) | 驾驶员疲劳检测方法、装置、电子设备及介质 | |
| Li et al. | Real-time driver drowsiness estimation by multi-source information fusion with Dempster–Shafer theory | |
| CN115601684A (zh) | 突发事件预警方法、装置、电子设备及存储介质 | |
| CN115756922A (zh) | 一种故障预测诊断方法、装置、电子设备及存储介质 | |
| CN114898140A (zh) | 一种基于paa算法的行为检测方法、装置及可读介质 | |
| CN115294048A (zh) | 一种异物检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |