CN111860111A - 车辆行程中的安全监测方法、设备及存储介质 - Google Patents
车辆行程中的安全监测方法、设备及存储介质 Download PDFInfo
- Publication number
- CN111860111A CN111860111A CN202010485448.2A CN202010485448A CN111860111A CN 111860111 A CN111860111 A CN 111860111A CN 202010485448 A CN202010485448 A CN 202010485448A CN 111860111 A CN111860111 A CN 111860111A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- driver
- order
- video image
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012544 monitoring process Methods 0.000 title claims abstract description 21
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 115
- 238000012545 processing Methods 0.000 claims abstract description 97
- 238000012806 monitoring device Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 7
- 230000001568 sexual effect Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Alarm Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开的实施例提供一种车辆行程中的安全监测方法、设备及存储介质，通过获取图像采集设备在订单行程中采集的车辆内部的视频图像；其中图像采集设备安装在车辆内部，订单为代驾或网约车订单；根据视频图像对车内人员进行识别处理，将识别结果输入到流式处理引擎中；通过流式处理引擎以及预设判断策略判断车内人员是否出现异常行为；若确定出现异常行为，则向目标终端设备发送告警信息。本公开的实施例通过在订单行程中采集的车辆内部的视频图像，并对视频图像进行识别，基于识别结果和预设判断策略进行流处理，可实时判断车内人员是否出现异常行为，以便及时告警、及时制止异常行为的继续，有效的确保司机和乘客的安全，降低出行安全风险。
Description
技术领域
本公开的实施例涉及通信技术，尤其涉及一种车辆行程中的安全监测方法、设备及存储介质。
背景技术
随着代驾和网约车行业的日益发展，在为人们的出行带来便利的同时，代驾和网约车的安全问题也愈发重要。
代驾平台和网约车平台通常会提供一些投诉或报警的通道，来保证在代驾或网约车订单行程中司机与乘客之间出现打架斗殴或性骚扰、或者司机擅离岗位等异常行为时司机或乘客能够及时投诉或报警，以确保司机和乘客的安全，降低出行安全风险。
然而，通过投诉或报警的方式通常是在异常行为发生之后进行，无法在异常行为发生的过程中及时制止，且也无法进行事后判责，从而无法有效的确保司机和乘客的安全。
发明内容
本公开的实施例提供一种车辆行程中的安全监测方法、设备及存储介质，用以在代驾或网约车订单行程中实时判断司机和乘客是否出现异常行为，有效的确保司机和乘客的安全，降低出行安全风险。
第一方面，本公开的实施例提供一种车辆行程中的安全监测方法，包括：
获取图像采集设备在订单行程中采集的车辆内部的视频图像；其中所述图像采集设备安装在所述车辆内部，所述订单为代驾订单或网约车订单；
根据所述视频图像对车内人员进行识别处理，并将识别结果输入到流式处理引擎中；
通过所述流式处理引擎以及预设判断策略，判断所述车内人员是否出现异常行为；
若确定所述车内人员出现异常行为，则向目标终端设备发送告警信息。
第二方面，本公开的实施例提供一种车辆行程中的安全监测设备，包括：
获取模块，用于获取图像采集设备在订单行程中采集的车辆内部的视频图像；其中所述图像采集设备安装在所述车辆内部，所述订单为代驾订单或网约车订单；
识别模块，用于根据所述视频图像对车内人员进行识别处理，并将识别结果输入到流式处理引擎中；
处理模块，用于通过所述流式处理引擎以及预设判断策略，判断所述车内人员是否出现异常行为；
告警模块，用于若确定所述车内人员出现异常行为，则向目标终端设备发送告警信息。
第三方面，本公开的实施例提供车辆行程中的安全监测设备包括：存储器和处理器；
所述存储器用于存储程序指令；
所述处理器用于调用所述存储器中的程序指令执行如第一方面所述的方法。
第四方面，本公开的实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序；所述计算机程序被执行时，实现如第一方面所述的方法。
本公开的实施例提供的车辆行程中的安全监测方法、设备及存储介质，通过获取图像采集设备在订单行程中采集的车辆内部的视频图像；其中图像采集设备安装在车辆内部，订单为代驾订单或网约车订单；根据视频图像对车内人员进行识别处理，并将识别结果输入到流式处理引擎中；通过流式处理引擎以及预设判断策略，判断车内人员是否出现异常行为；若确定车内人员出现异常行为，则向目标终端设备发送告警信息。本公开的实施例通过在订单行程中采集的车辆内部的视频图像，并对视频图像进行识别，基于识别结果和预设判断策略进行流处理，从而可以实时判断车内人员是否出现异常行为，可以及时告警，以便及时制止异常行为的继续，有效的确保司机和乘客的安全，降低出行安全风险。
本公开的各种可行实施例及其技术优势将在下文详述。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本公开一实施例提供的车辆行程中的安全监测方法的场景示意图；
图2为本公开一实施例提供的服务器的架构图；
图3为本公开一实施例提供的车辆行程中的安全监测方法流程图；
图4为本公开另一实施例提供的车辆行程中的安全监测方法流程图；
图5为本公开一实施例提供的车辆行程中的安全监测方法中的一种异常行为判断的示意图；
图6为本公开另一实施例提供的车辆行程中的安全监测方法流程图；
图7为本公开一实施例提供的车辆行程中的安全监测设备的结构图；
图8为本公开另一实施例提供的车辆行程中的安全监测设备的结构图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
由于当前的代驾平台和网约车平台通常通过投诉或报警的方式保证订单行程中司机和乘客的安全，而投诉或报警通常是在订单行程中司机与乘客之间出现打架斗殴或性骚扰、或者司机擅离岗位等异常行为发生之后进行，无法在异常行为发生的过程中及时制止，且也无法进行事后判责，从而无法有效的确保司机和乘客的安全。
针对上述问题，本公开考虑在代驾或网约车订单行程中实时判断司机和乘客是否出现异常行为，进而能在异常行为发生的过程中及时制止，有效的确保司机和乘客的安全。本公开通过安装在车辆内部的图像采集设备在订单行程中采集的车辆内部的视频图像，并上传至服务器，由服务器通过图像识别技术对视频图像进行识别，采用流式处理引擎以及预设判断策略来判断包括车内的司机和乘客是否出现异常行为，进而在确定出现异常行为时向目标终端设备(例如客服人员或管理人员的终端设备)发送告警信息，客服人员或管理人员可干预异常行为，例如通过拨打司机或乘客电话，或者直接报警，有效的确保司机和乘客的安全。此外，服务器获取到的视频图像可进行存储，作为事后判责依据。
本公开的实施例提供的数据传输的方法，可以适用于图1所示的场景示意图。如图1所示，该通信系统包括：服务器10、图像采集设备11以及目标终端设备12，其中，图像采集设备11安装在车辆内部，例如图像采集设备11可以为能够采集车内图像的行车记录仪，此外，对于代驾业务图像采集设备11可采用便携式摄像头，司机可在订单开始时在车辆前侧安装便携式摄像头，订单结束后可拆卸，便携式摄像头具体可包括入网设备、摄像头设备、供电设备、摄像头辅助安装设备等，通过调整摄像头角度确保可以拍摄到司机、副驾和后排座椅区域。图像采集设备11在订单行程中采集车辆内部的视频图像，并发送给服务器10，服务器10根据视频图像判断车内人员是否出现异常行为，若确定车内人员出现异常行为，则向目标终端设备12发送告警信息。其中终端设备可以为个人电脑、移动电话、个人数字助理、平板电脑等电子设备。
可选的，服务器10可以是一台服务器，或者由若干台服务器组成的服务器集群，例如，如图2所示，服务器10具体包括抽帧服务器101、图像识别服务器102、流式处理引擎服务器103。其中由于图像采集设备11发送的视频图像为视频流的形式，因此抽帧服务器101用于在获取到视频流后，从视频流中抽取出一帧帧的视频图像，抽帧时可以采用固定周期进行抽取，例如每隔1s抽取一帧，当然也可以根据实际需求来抽取，例如在确定车内人员出现异常行为的时刻起，采用更短的第二固定周期进行抽帧，例如50ms抽取一帧，从而可以更为精准的确定车内人员的异常行为；抽帧服务器101在每抽取到一帧视频图像后将视频图像发送给图像识别服务器102，由图像识别服务器102通过预定的识别算法例如人工智能算法等，根据视频图像对车内人员进行识别处理，并将识别结果直接输入到流式处理引擎服务器103，或者通过抽帧服务器101输入到流式处理引擎服务器103；通过流式处理引擎服务器103将识别结果输入到流式处理引擎中，通过预设判断策略判断所述车内人员是否出现异常行为，进而在确定车内人员出现异常行为，则向目标终端设备12发送告警信息。当然，上述的抽帧处理过程、图像识别处理过程、以及流式处理引擎可以耦合在一个服务器之上执行。
下面以具体地实施例对本公开的实施例的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例的实施例进行描述。
本公开一实施例提供一种车辆行程中的安全监测方法，图3为本发明实施例提供的车辆行程中的安全监测方法流程图。所述执行主体可以为图1中的服务器10，如图3所示，所述方法具体步骤如下：
S301、获取图像采集设备在订单行程中采集的车辆内部的视频图像；其中所述图像采集设备安装在所述车辆内部，所述订单为代驾订单或网约车订单。
在本实施例中，在代驾或网约车的订单行程中，可通过车辆内部的图像采集设备采集车辆内部的视频图像，并发送给服务器。其中，车辆内部的图像采集设备可以行车记录仪，能够采集车内图像、且与服务器通信连接；当然对于代驾业务，由于不便于将车主的行车记录仪与服务器建立通信，因此可以由代驾司机在车辆内部安装便携式摄像头，订单结束后可拆卸，便携式摄像头具体可包括入网设备、摄像头设备、供电设备、摄像头辅助安装设备等，能够与服务器通信连接，通过调整摄像头角度确保可以拍摄到司机、副驾和后排座椅区域。本实施例中，图像采集设备可以通过任意通信方式将采集的车辆内部的视频图像发送给服务器，例如蜂窝移动网络等，此处不再赘述。
S302、根据所述视频图像对车内人员进行识别处理，并将识别结果输入到流式处理引擎中。
在本实施例中，对于视频图像，可以采用预定的识别算法，例如人工智能算法等，根据视频图像对车内人员进行识别处理，例如识别车内的司机和/或乘客在视频图像中的位置，或者也可识别司机和/或乘客的预定身体部位的位置，如头部、手臂、手部的位置，更具体的，也可以识别眼睛、鼻子、嘴等部位的位置，或者也可识别司机和/或乘客手中的物体，或者也可对司机和/或乘客进行人脸识别等等。其中，具体的识别处理可根据实际业务需求进行选择，例如若需要识别不同的异常行为，采用不同的识别处理过程。
需要说明的是，可选的，图像采集设备发送的视频图像为视频流形式，本实施例中在进行识别处理前可从视频流中抽取出一帧帧的视频图像，抽帧时可以采用固定周期进行抽取，例如每隔1s抽取一帧，当然也可以根据实际需求来抽取，例如在确定车内人员出现异常行为的时刻起，采用更短的第二固定周期进行抽帧，例如50ms抽取一帧，从而可以更为精准的确定车内人员的异常行为。
S303、通过所述流式处理引擎以及预设判断策略，判断所述车内人员是否出现异常行为。
在本实施例中，在每获取到一张视频图像的识别结果后即输入到流式处理引擎中，通过流式处理引擎进行实时计算，从而可以进行异常行为的实时判断。其中，流式处理引擎可采用Flink流式处理引擎，其具有性能消耗低、吞吐量高、延时低等优势。
在流式处理引擎进行实时计算的过程中，可由流式处理引擎执行预设判断策略，对接收到的视频图像的识别结果进行事件过滤、判断和处理，从而判断出车内人员是否出现异常行为。
可选的，流式处理引擎执行预设判断策略的方式可以采用复杂事件处理(ComplexEvent Processing，CEP)方式，其中复合事件处理是一种基于动态环境中事件流的分析技术，事件在这里通常是有意义的状态变化，通过分析事件间的关系，利用过滤、关联、聚合等技术，根据事件间的时序关系和聚合关系制定检测规则，持续地从事件流中查询出符合要求的事件序列，最终分析得到更复杂的复合事件。上述实施例中的预设判断策略即可以为CEP的检测规则。
当然也可采用其他的流式处理引擎，如Spark、Storm等，此处不再赘述。
S304、若确定所述车内人员出现异常行为，则向目标终端设备发送告警信息。
在本实施例中，若通过流式处理引擎确定车内人员出现异常行为，则可向目标终端设备发送告警信息，其中目标终端设备可以为客服人员或管理人员的终端设备，客服人员或管理人员在接收到告警信息后可干预异常行为，例如通过拨打司机或乘客电话，或者直接报警，从而及时制止异常行为的继续，有效的确保司机和乘客的安全。
此外，服务器还可将获取到的视频图像可进行存储，作为事后判责依据。
本实施例提供的车辆行程中的安全监测方法，通过获取图像采集设备在订单行程中采集的车辆内部的视频图像；其中图像采集设备安装在车辆内部，订单为代驾订单或网约车订单；根据视频图像对车内人员进行识别处理，并将识别结果输入到流式处理引擎中；通过流式处理引擎以及预设判断策略，判断车内人员是否出现异常行为；若确定车内人员出现异常行为，则向目标终端设备发送告警信息。本实施例通过在订单行程中采集的车辆内部的视频图像，并对视频图像进行识别，基于识别结果和预设判断策略进行流处理，从而可以实时判断车内人员是否出现异常行为，可以及时告警，以便及时制止异常行为的继续，有效的确保司机和乘客的安全，降低出行安全风险。
在上述任一实施例的基础上，可选的，S302所述的根据所述视频图像对车内人员进行识别处理，可包括：
根据所述视频图像识别车内的司机和/或乘客在所述视频图像中的位置。
在本实施例中，可以通过预定的识别算法，例如人工智能算法等，识别出车内人员在视频图像中的位置，具体的，可识别出车内的司机在视频图像中的位置，也可识别出乘客在视频图像中的位置；进一步的，在识别到司机和/或乘客在视频图像中的位置后，可在视频图像中标注出识别到的司机和/或乘客，例如在视频图像中圈出司机和/或乘客。
进一步的，将视频图像以及司机和/或乘客在视频图像中的位置输入到流式处理引擎，可选的，将标注了司机和/或乘客位置的视频图像输入到流式处理引擎。
相应的，如图4所示，S303所述通过所述流式处理引擎以及预设判断策略，判断所述车内人员是否出现异常行为，可包括：
S401、通过所述流式处理引擎判断所述司机和/或乘客在所述视频图像中的位置是否离开对应的预设图像区域范围，或者是否存在除原有的司机和乘客外的其他人员进入所述预设图像区域范围内；
S402、若是，则确定在订单行程中所述车内人员出现上车或下车的异常行为。
本实施例中，考虑到订单行程中车内人员上下车会存在一定的安全风险，因此，需要判断订单行程中车内人员是否出现上车或下车的异常行为。具体的，流式处理引擎可在视频图像中划定司机位置允许的图像区域范围(也可称为周界)、和/或乘客位置允许的图像区域范围，并将司机位置与司机位置允许的图像区域范围进行比较，当司机的位置离开了司机位置允许的图像区域范围时，可确定在订单行程中司机擅离岗位，也可将乘客位置与乘客位置允许的图像区域范围进行比较，当乘客位置离开了乘客位置允许的图像区域范围时，可确定在订单行程中乘客下车；此外，也可判断是否存在除原有的司机和乘客外的其他人员进入图像区域范围，从而判断订单行程中是否有其他人员上车；本实施例中也可将整个车内范围划为一个图像区域范围，可以更便于判断订单行程中是否出现上下车。
例如图5所示，虚线框41为预设图像区域范围，实线框42为识别结果所示的司机位置，若司机位置离开虚线框41的图像区域范围，如箭头所示，则确定司机越界，可确定在订单行程中司机擅离岗位，确定为在订单行程中出现异常行为。
当然，本实施例中对于图像区域范围的划定，可根据预设区域划定规则在视频图像中划分区域，例如可以根据业务需求划分区域，举例来讲，如果仅关注司机是否在订单行程中擅离岗位，则可仅划定司机位置允许的图像区域范围；若关注乘客是否在订单行程中下车，则可仅划定乘客位置允许的图像区域范围；若关注订单行程中是否出现上下车，可以将整个车内范围划为一个图像区域范围。还可采用其他的图像区域范围的划定策略，此处不再一一赘述。
此外，也可通过预定的识别算法，例如人工智能算法等，识别出车内人员的预定身体部位在视频图像中的位置，如手臂、手部、敏感部位如胸部的位置等，也可识别手中物体，然后基于识别结果以及图像区域范围，判断车内人员的预定身体部位或手中物体是否出现越界，例如司机的手部或手中物体是否离开了司机位置允许的图像区域范围、进入乘客位置允许的图像区域范围，若是，则可认定司机与乘客可能出现打架斗殴或性骚扰的异常行为。此外，在识别到车内人员手中物体为棍棒、刀具等危险物品，也可认定出现打架斗殴等异常行为。可选的，可以针对不同图像区域范围进行不同侧重点的识别，例如对于后排乘客的图像区域范围，可重点识别乘客手中物品是否为危险物品等。
在上述任一实施例的基础上，可选的，S302所述的根据所述视频图像对车内人员进行识别处理，还可包括：
在所述视频图像中识别车内的司机和乘客的预定身体部位，并在所述视频图像中以标识点分别标记所述司机和所述乘客的预定身体部位。
在本实施例中，可以通过预定的识别算法，例如人工智能算法等，识别出车内人员的预定身体部位在视频图像中的位置，如头部、手臂、手部的位置，更具体的，也可以识别眼睛、鼻子、嘴等部位的位置，具体的，可识别出车内的司机的预定身体部位在视频图像中的位置，也可识别出乘客的预定身体部位在视频图像中的位置；进一步的，在识别到司机和乘客的预定身体部位在视频图像中的位置后，可在视频图像中以标识点分别标记司机和乘客的预定身体部位。
进一步的，可将标记司机和乘客的预定身体部位的视频图像输入到流式处理引擎中
相应的，如图6所示，S303所述通过所述流式处理引擎以及预设判断策略，判断所述车内人员是否出现异常行为，还可包括：
S501、通过所述流式处理引擎判断所述司机的预定身体部位的标识点是否与所述乘客的预定身体部位的标识点存在重合或交叉的标识点；
S502、若确定存在重合或交叉的标识点，则确定所述车内人员出现打架斗殴或性骚扰的异常行为。
在本实施例中，考虑到司机与乘客之间出现打架斗殴或性骚扰的异常行为时，会存在身体部位的接触或碰撞，因此，通过流式处理引擎判断视频图像中司机的预定身体部位的标识点是否与乘客的预定身体部位的标识点存在重合或交叉的标识点，若存在，则说明司机与乘客在身体部位的接触或碰撞，进而可认定司机与乘客可能出现打架斗殴或性骚扰的异常行为。
在上述任一实施例的基础上，可选的，所述方法还包括：
若无法正常获取到所述图像采集设备在订单行程中采集的车辆内部的视频图像、或者根据所述视频图像确定所述图像采集设备发生遮挡，则确定所述车内人员出现异常行为。
在本实施例中，为了保证能够获取到车辆内部的视频图像，以进行后续的图像识别和异常行为判断，因此需要图像采集设备持续采集车辆内部的视频图像，如果无法正常获取到图像采集设备采集的车辆内部的视频图像，则说明图像采集设备可能被关闭，当然也可能是出现故障或没电了，为了避免图像采集设备被车内人员恶意关闭而实施某些异常行为，本实施例中将此种情况也视为车内人员出现异常行为，并向目标终端设备发送告警信息，以使客服人员或管理人员在接收到告警信息后与司机联系，确定图像采集设备无法采集视频图像的原因，告知司机开启图像采集设备或对图像采集设备充电；同理，对于图像采集设备发生遮挡的情况可视为车内人员出现异常行为，并向目标终端设备发送告警信息，以使客服人员或管理人员在接收到告警信息后与司机联系，确定图像采集设备被遮挡的原因，告知司机清理遮挡图像采集设备的物品。
在上述任一实施例的基础上，在通过所述流式处理引擎以及预设判断策略，判断所述车内人员是否出现异常行为时，为了控制告警频率，避免误告警，可以预先设定告警规则。
例如，若在预定时间内所述车内人员连续出现异常行为，或者在预定时间内所述车内人员出现异常行为的次数超过预定阈值，才向目标终端设备发送告警信息；而预定时间内车内人员不是连续出现异常行为，或者在预定时间内车内人员出现异常行为的次数未超过预定阈值，则认为该异常行为是个偶然事件，不触发告警。当然也可采用其他的告警规则，此处不再赘述。需要说明的是，本实施例中的告警规则可作为预设判断策略的一部分，也即满足告警规则时才最终确认车内人员真实出现异常行为，进而触发告警。
在上述实施例的基础上，在所述确定所述车内人员出现异常行为之后，在所述向目标终端设备发送告警信息之前，还包括：
获取车内人员出现异常行为的类型、所述车辆当前位置、订单状态中的至少一项；根据所述异常行为的类型、所述车辆当前位置、所述订单状态中的至少一项，生成所述告警信息。
在本实施例中，在确定车内人员出现异常行为之后，可判断异常行为是打架斗殴、性骚扰、订单行程中司机擅离岗位、乘客上下车等；此外也可获取车辆当前位置，例如定位司机或乘客终端设备的位置，或者接收司机或乘客终端设备发送的位置，作为车辆当前位置，也可通过其他手段获取车辆当前位置；可从订单系统查询该订单状态，例如订单是否完成、是否提前完成等；进而可根据上述各种信息中的任一项，生成告警信息，也即告警信息中可携带异常行为的类型、车辆当前位置、订单状态中的至少一项，以便于客服人员或管理人员在接收到告警信息后快速了解到当前情况。
在上述任一实施例的基础上，在订单行程开始前，对车内的司机进行人脸识别，根据人脸识别结果以及预存的接单司机信息，判断车内的司机是否与所述接单司机信息匹配；若不匹配，则向所述目标终端设备发送第二告警信息。
在本实施例中，可以在订单形成开始前，采集司机的图像或车内的图像，并基于图像对司机进行人脸识别，从而根据人脸识别结果以及预存的接单司机信息，判断车内的司机是否与接单司机信息匹配，避免其他人员顶替接单司机进行代驾或网约车服务，以确保乘客的安全。
本公开一实施例提供一种车辆行程中的安全监测设备，图7为本发明实施例提供的车辆行程中的安全监测设备的结构图。如图7所示，所述车辆行程中的安全监测设备70具体包括：获取模块71、识别模块72、处理模块73以及告警模块74。
获取模块71，用于获取图像采集设备在订单行程中采集的车辆内部的视频图像；其中所述图像采集设备安装在所述车辆内部，所述订单为代驾订单或网约车订单；
识别模块72，用于根据所述视频图像对车内人员进行识别处理，并将识别结果输入到流式处理引擎中；
处理模块73，用于通过所述流式处理引擎以及预设判断策略，判断所述车内人员是否出现异常行为；
告警模块74，用于若确定所述车内人员出现异常行为，则向目标终端设备发送告警信息。
在上述实施例的基础上，所述识别模块72在根据所述视频图像对车内人员进行识别处理时，用于：
根据所述视频图像识别车内的司机和/或乘客在所述视频图像中的位置；
相应的，所述处理模块73在通过所述流式处理引擎以及预设判断策略，判断所述车内人员是否出现异常行为时，用于：
通过所述流式处理引擎判断所述司机和/或乘客在所述视频图像中的位置是否离开对应的预设图像区域范围，或者是否存在除原有的司机和乘客外的其他人员进入所述预设图像区域范围内；
若是，则确定在订单行程中所述车内人员出现上车或下车的异常行为。
在上述实施例的基础上，所述处理模块73还用于：
根据预设区域划定规则，在所述视频图像中划分区域，得到所述预设图像区域范围。
在上述任一实施例的基础上，所述识别模块72在根据所述视频图像对车内人员进行识别处理时，用于：
在所述视频图像中识别车内的司机和乘客的预定身体部位，并在所述视频图像中以标识点分别标记所述司机和所述乘客的预定身体部位；
相应的，所述处理模块73在通过所述流式处理引擎以及预设判断策略，判断所述车内人员是否出现异常行为时，用于：
通过所述流式处理引擎判断所述司机的预定身体部位的标识点是否与所述乘客的预定身体部位的标识点存在重合或交叉的标识点；
若确定存在重合或交叉的标识点，则确定所述车内人员出现打架斗殴或性骚扰的异常行为。
在上述任一实施例的基础上，所述识别模块72还用于：
若无法正常获取到所述图像采集设备在订单行程中采集的车辆内部的视频图像、或者根据所述视频图像确定所述图像采集设备发生遮挡，则确定所述车内人员出现异常行为。
在上述任一实施例的基础上，所述处理模块73在确定所述车内人员出现异常行为后，还用于：
判断在预定时间内所述车内人员是否连续出现异常行为，或者在预定时间内所述车内人员出现异常行为的次数是否超过预定阈值；
相应的，则所述告警模块74在向目标终端设备发送告警信息时，用于：
若在预定时间内所述车内人员连续出现异常行为，或者在预定时间内所述车内人员出现异常行为的次数超过预定阈值，则向目标终端设备发送告警信息。
在上述任一实施例的基础上，在所述确定所述车内人员出现异常行为之后，在所述向目标终端设备发送告警信息之前，所述告警模块74还用于：
获取车内人员出现异常行为的类型、所述车辆当前位置、订单状态中的至少一项；
根据所述异常行为的类型、所述车辆当前位置、所述订单状态中的至少一项，生成所述告警信息。
在上述任一实施例的基础上，所述识别模块72还用于，在订单行程开始前，对车内的司机进行人脸识别；
所述处理模块73还用于根据人脸识别结果以及预存的接单司机信息，判断车内的司机是否与所述接单司机信息匹配；
所述告警模块74还用于，若确定车内的司机是否与所述接单司机信息不匹配，则向所述目标终端设备发送第二告警信息。
本实施例提供的车辆行程中的安全监测设备可以具体用于执行上述图所提供的方法实施例，具体功能此处不再提供的赘述。
本实施例提供的车辆行程中的安全监测设备，通过获取图像采集设备在订单行程中采集的车辆内部的视频图像；其中图像采集设备安装在车辆内部，订单为代驾订单或网约车订单；根据视频图像对车内人员进行识别处理，并将识别结果输入到流式处理引擎中；通过流式处理引擎以及预设判断策略，判断车内人员是否出现异常行为；若确定车内人员出现异常行为，则向目标终端设备发送告警信息。本实施例通过在订单行程中采集的车辆内部的视频图像，并对视频图像进行识别，基于识别结果和预设判断策略进行流处理，从而可以实时判断车内人员是否出现异常行为，可以及时告警，以便及时制止异常行为的继续，有效的确保司机和乘客的安全，降低出行安全风险。
图8为本发明实施例提供的车辆行程中的安全监测设备的结构示意图。本发明实施例提供的车辆行程中的安全监测设备可以执行车辆行程中的安全监测方法实施例提供的处理流程，如图8所示，车辆行程中的安全监测设备80包括存储器81、处理器82、计算机程序和通讯接口83；其中，计算机程序存储在存储器81中，并被配置为由处理器82执行以上实施例所述的车辆行程中的安全监测方法。
图8所示实施例的车辆行程中的安全监测设备可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
另外，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的车辆行程中的安全监测方法。
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明实施例各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开的实施例旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (18)
1.一种车辆行程中的安全监测方法，其特征在于，包括：
获取图像采集设备在订单行程中采集的车辆内部的视频图像；其中所述图像采集设备安装在所述车辆内部，所述订单为代驾订单或网约车订单；
根据所述视频图像对车内人员进行识别处理，并将识别结果输入到流式处理引擎中；
通过所述流式处理引擎以及预设判断策略，判断所述车内人员是否出现异常行为；
若确定所述车内人员出现异常行为，则向目标终端设备发送告警信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述视频图像对车内人员进行识别处理，包括：
根据所述视频图像识别车内的司机和/或乘客在所述视频图像中的位置；
相应的，所述通过所述流式处理引擎以及预设判断策略，判断所述车内人员是否出现异常行为，包括：
通过所述流式处理引擎判断所述司机和/或乘客在所述视频图像中的位置是否离开对应的预设图像区域范围，或者是否存在除原有的司机和乘客外的其他人员进入所述预设图像区域范围内；
若是，则确定在订单行程中所述车内人员出现上车或下车的异常行为。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据预设区域划定规则，在所述视频图像中划分区域，得到所述预设图像区域范围。
4.根据权利要求1所述的方法，其特征在于，所述根据所述视频图像对车内人员进行识别处理，包括：
在所述视频图像中识别车内的司机和乘客的预定身体部位，并在所述视频图像中以标识点分别标记所述司机和所述乘客的预定身体部位；
相应的，所述通过所述流式处理引擎以及预设判断策略，判断所述车内人员是否出现异常行为，包括：
通过所述流式处理引擎判断所述司机的预定身体部位的标识点是否与所述乘客的预定身体部位的标识点存在重合或交叉的标识点；
若确定存在重合或交叉的标识点，则确定所述车内人员出现打架斗殴或性骚扰的异常行为。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若无法正常获取到所述图像采集设备在订单行程中采集的车辆内部的视频图像、或者根据所述视频图像确定所述图像采集设备发生遮挡，则确定所述车内人员出现异常行为。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述若确定所述车内人员出现异常行为，则向目标终端设备发送告警信息，包括：
若在预定时间内所述车内人员连续出现异常行为，或者在预定时间内所述车内人员出现异常行为的次数超过预定阈值，则向目标终端设备发送告警信息。
7.根据权利要求1-5任一项所述的方法，其特征在于，在所述确定所述车内人员出现异常行为之后，在所述向目标终端设备发送告警信息之前，还包括：
获取车内人员出现异常行为的类型、所述车辆当前位置、订单状态中的至少一项；
根据所述异常行为的类型、所述车辆当前位置、所述订单状态中的至少一项，生成所述告警信息。
8.根据权利要求1所述的方法，其特征在于，所述方法包括：
在订单行程开始前，对车内的司机进行人脸识别，根据人脸识别结果以及预存的接单司机信息，判断车内的司机是否与所述接单司机信息匹配；
若不匹配，则向所述目标终端设备发送第二告警信息。
9.一种车辆行程中的安全监测设备，其特征在于，包括：
获取模块，用于获取图像采集设备在订单行程中采集的车辆内部的视频图像；其中所述图像采集设备安装在所述车辆内部，所述订单为代驾订单或网约车订单；
识别模块，用于根据所述视频图像对车内人员进行识别处理，并将识别结果输入到流式处理引擎中；
处理模块，用于通过所述流式处理引擎以及预设判断策略，判断所述车内人员是否出现异常行为；
告警模块，用于若确定所述车内人员出现异常行为，则向目标终端设备发送告警信息。
10.根据权利要求9所述的设备，其特征在于，所述识别模块在根据所述视频图像对车内人员进行识别处理时，用于：
根据所述视频图像识别车内的司机和/或乘客在所述视频图像中的位置；
相应的，所述处理模块在通过所述流式处理引擎以及预设判断策略，判断所述车内人员是否出现异常行为时，用于：
通过所述流式处理引擎判断所述司机和/或乘客在所述视频图像中的位置是否离开对应的预设图像区域范围，或者是否存在除原有的司机和乘客外的其他人员进入所述预设图像区域范围内；
若是，则确定在订单行程中所述车内人员出现上车或下车的异常行为。
11.根据权利要求10所述的设备，其特征在于，所述处理模块还用于：
根据预设区域划定规则，在所述视频图像中划分区域，得到所述预设图像区域范围。
12.根据权利要求9所述的设备，其特征在于，所述识别模块在根据所述视频图像对车内人员进行识别处理时，用于：
在所述视频图像中识别车内的司机和乘客的预定身体部位，并在所述视频图像中以标识点分别标记所述司机和所述乘客的预定身体部位；
相应的，所述处理模块在通过所述流式处理引擎以及预设判断策略，判断所述车内人员是否出现异常行为时，用于：
通过所述流式处理引擎判断所述司机的预定身体部位的标识点是否与所述乘客的预定身体部位的标识点存在重合或交叉的标识点；
若确定存在重合或交叉的标识点，则确定所述车内人员出现打架斗殴或性骚扰的异常行为。
13.根据权利要求9所述的设备，其特征在于，所述识别模块还用于：
若无法正常获取到所述图像采集设备在订单行程中采集的车辆内部的视频图像、或者根据所述视频图像确定所述图像采集设备发生遮挡，则确定所述车内人员出现异常行为。
14.根据权利要求9-13任一项所述的设备，其特征在于，所述处理模块在确定所述车内人员出现异常行为后，还用于：
判断在预定时间内所述车内人员是否连续出现异常行为，或者在预定时间内所述车内人员出现异常行为的次数是否超过预定阈值；
相应的，所述告警模块在向目标终端设备发送告警信息时，用于：
若在预定时间内所述车内人员连续出现异常行为，或者在预定时间内所述车内人员出现异常行为的次数超过预定阈值，则向目标终端设备发送告警信息。
15.根据权利要求9-13任一项所述的设备，其特征在于，在确定所述车内人员出现异常行为之后，在向目标终端设备发送告警信息之前，所述告警模块还用于：
获取车内人员出现异常行为的类型、所述车辆当前位置、订单状态中的至少一项；
根据所述异常行为的类型、所述车辆当前位置、所述订单状态中的至少一项，生成所述告警信息。
16.根据权利要求9所述的设备，其特征在于，
所述识别模块还用于，在订单行程开始前，对车内的司机进行人脸识别；
所述处理模块还用于，根据人脸识别结果以及预存的接单司机信息，判断车内的司机是否与所述接单司机信息匹配；
所述告警模块还用于，若确定车内的司机是否与所述接单司机信息不匹配，则向所述目标终端设备发送第二告警信息。
17.一种车辆行程中的安全监测设备，其特征在于，包括：存储器和处理器；
所述存储器用于存储程序指令；
所述处理器用于调用所述存储器中的程序指令执行如权利要求1-8任一项所述的方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序；所述计算机程序被执行时，实现如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010485448.2A CN111860111A (zh) | 2020-06-01 | 2020-06-01 | 车辆行程中的安全监测方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010485448.2A CN111860111A (zh) | 2020-06-01 | 2020-06-01 | 车辆行程中的安全监测方法、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111860111A true CN111860111A (zh) | 2020-10-30 |
Family
ID=72985326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010485448.2A Pending CN111860111A (zh) | 2020-06-01 | 2020-06-01 | 车辆行程中的安全监测方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860111A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205392A (zh) * | 2021-05-25 | 2021-08-03 | 上海钧正网络科技有限公司 | 网约车判责方法、装置及计算机存储介质 |
| CN114475623A (zh) * | 2021-12-28 | 2022-05-13 | 阿波罗智联(北京)科技有限公司 | 车辆的控制方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080048886A1 (en) * | 2006-06-28 | 2008-02-28 | Brown Mark R | Passenger vehicle safety and monitoring system and method |
| CN106056839A (zh) * | 2016-06-30 | 2016-10-26 | 武汉斑马快跑科技有限公司 | 网约车安全监测系统及方法 |
| CN107729870A (zh) * | 2017-01-24 | 2018-02-23 | 问众智能信息科技（北京）有限公司 | 基于计算机视觉的车内安全监测的方法和装置 |
| CN109389107A (zh) * | 2019-01-15 | 2019-02-26 | 深兰人工智能芯片研究院（江苏）有限公司 | 车辆安全处理方法、装置及计算机可读存储介质 |
| CN110213516A (zh) * | 2019-05-22 | 2019-09-06 | 未来（北京）黑科技有限公司 | 车载视频录制处理方法、装置、存储介质及电子装置 |
-
2020
- 2020-06-01 CN CN202010485448.2A patent/CN111860111A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080048886A1 (en) * | 2006-06-28 | 2008-02-28 | Brown Mark R | Passenger vehicle safety and monitoring system and method |
| CN106056839A (zh) * | 2016-06-30 | 2016-10-26 | 武汉斑马快跑科技有限公司 | 网约车安全监测系统及方法 |
| CN107729870A (zh) * | 2017-01-24 | 2018-02-23 | 问众智能信息科技（北京）有限公司 | 基于计算机视觉的车内安全监测的方法和装置 |
| CN109389107A (zh) * | 2019-01-15 | 2019-02-26 | 深兰人工智能芯片研究院（江苏）有限公司 | 车辆安全处理方法、装置及计算机可读存储介质 |
| CN110213516A (zh) * | 2019-05-22 | 2019-09-06 | 未来（北京）黑科技有限公司 | 车载视频录制处理方法、装置、存储介质及电子装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205392A (zh) * | 2021-05-25 | 2021-08-03 | 上海钧正网络科技有限公司 | 网约车判责方法、装置及计算机存储介质 |
| CN113205392B (zh) * | 2021-05-25 | 2022-11-18 | 上海钧正网络科技有限公司 | 网约车判责方法、装置及计算机存储介质 |
| CN114475623A (zh) * | 2021-12-28 | 2022-05-13 | 阿波罗智联(北京)科技有限公司 | 车辆的控制方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240109514A1 (en) | Recording video of an operator and a surrounding visual field | |
| EP3965082B1 (en) | Vehicle monitoring system and vehicle monitoring method | |
| US9679210B2 (en) | Using passive driver identification and other input for providing real-time alerts or actions | |
| CN108540579B (zh) | 驾驶员身份在线监测方法、装置和存储介质 | |
| CN108304830A (zh) | 车辆内人员身份在线监测方法、装置和存储介质 | |
| US12090955B2 (en) | Vehicle intelligent assistant using contextual data | |
| CN110213516A (zh) | 车载视频录制处理方法、装置、存储介质及电子装置 | |
| CN103213502A (zh) | 基于生物识别技术的校车安全管理方法 | |
| CN109359755A (zh) | 事件监测方法、装置、设备和存储介质 | |
| CN111860111A (zh) | 车辆行程中的安全监测方法、设备及存储介质 | |
| JP2021182131A (ja) | 情報を出力するための方法、装置及びシステム、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム | |
| CN106448063A (zh) | 交通安全监管方法、装置以及系统 | |
| CN111016846A (zh) | 一种安全驾驶主动防范管理方法及系统 | |
| CN109726701A (zh) | 车辆识别方法及系统 | |
| CN118004091A (zh) | 车辆的监控方法、车辆的监控装置、车辆和存储介质 | |
| CN113920310A (zh) | 方向盘脱手检测方法及装置 | |
| CN109815820A (zh) | 目标定位方法及相关装置 | |
| CN116797993B (zh) | 一种基于智慧社区场景的监控方法、系统、介质及设备 | |
| CN111862529A (zh) | 报警方法及设备 | |
| CN111368626A (zh) | 车辆识别方法、装置、电子设备和存储介质 | |
| CN106919123A (zh) | 一种公交车紧急制动的方法及系统 | |
| CN112883927A (zh) | 司乘状态检测方法、装置及计算机可读存储介质 | |
| CN113128294A (zh) | 一种道路事件取证方法、装置、电子设备及存储介质 | |
| CN112839064A (zh) | 车辆的智能控制方法及装置 | |
| CN106919079A (zh) | 一种公交车紧急制动的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |