CN117876200A - 基于多源数据的巡游出租车异常行为告警方法及智能设备 - Google Patents

基于多源数据的巡游出租车异常行为告警方法及智能设备 Download PDF

Info

Publication number
CN117876200A
CN117876200A CN202311829646.6A CN202311829646A CN117876200A CN 117876200 A CN117876200 A CN 117876200A CN 202311829646 A CN202311829646 A CN 202311829646A CN 117876200 A CN117876200 A CN 117876200A
Authority
CN
China
Prior art keywords
data
feature
monitoring
route
abnormal driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311829646.6A
Other languages
English (en)
Inventor
宋禹辰
宋延
胡清波
魏昕
张祥来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hualu Gaocheng Technology Co ltd
Original Assignee
Beijing Hualu Gaocheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hualu Gaocheng Technology Co ltd filed Critical Beijing Hualu Gaocheng Technology Co ltd
Priority to CN202311829646.6A priority Critical patent/CN117876200A/zh
Publication of CN117876200A publication Critical patent/CN117876200A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/0875—Registering performance data using magnetic data carriers
    • G07C5/0891—Video recorder in combination with video camera
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了基于多源数据的巡游出租车异常行为告警方法即智能设备，通过里程差异率判定潜在绕路行为，同时通过语音识别对潜在绕路行为进行最终判定，摆脱了对GPS数据的依赖，同时考虑到了在实际的时间、道路拥堵以及乘客需求等情况下对行驶路径的选择，绕路判定的准确性更高，提高异常行驶行为判断准确率；并且通过多个监控角度对车内状态进行监控可以减少摄像头的盲区，实现对网约车的驾驶员进行大角度的行为检测，且更有助于对异常驾车行为进行判断。

Description

基于多源数据的巡游出租车异常行为告警方法及智能设备
技术领域
本发明属于智能交通技术领域，具体涉及基于多源数据的巡游出租车异常行为告警方法及智能设备。
背景技术
随着城市的不断发展，城市交通的短板也逐步浮现，城市交通中公路客运对于乘客来说没有足够的自主性以及个性化，已有的城市交通已经无法很好的满足人们的需求，目前的城市交通还是无法满足人们定制化、个性化出行方面的需求；
所以，具备定制化和个性化的网络约车服务(简称网约车)成为了用户出行的一个重要方式。网约车/出租车可满足用户在不同出行场景中的使用需求，在短时间内迅速占据了大量的用户市场，也为用户出行带来了极大的便利，网约车平台将人、出租车和私家车连接起来，形成一个“人-车”自主连接的服务网，满足了人们的需求并且极大的填补了城市交通的短板，随着网约车逐渐被广大群众认可，乘坐网约车/出租车的消费者越来越多。
但是，网约车平台对网约车/出租车的监管力度不够在网约车/出租车的运行过程中，不少网约车/出租车驾驶员异常状态也时有发生，例如：乘客在打车的时候，网约车/出租车驾驶员没有按照推荐的行驶路线行驶，造成乘客行程时间紧张，乘客体验乘车体验较差；或者网约车驾驶员抽烟、打电话、未系安全带、打哈欠等异常状态，不但会降低乘客的出行体验，而且会侵犯乘客的人身安全，亦或者网约车/出租车驾驶员为了时长费或者为了躲避新订单故意开慢车，造成乘客行程时间紧张甚至行程延误；
对此，现有技术中对网约车/出租车中乘客的保护告警措施一般为：根据网约车/出租车所行驶的路线的历史行驶时长数据，或历史路况数据预估网约车/出租车的当前行驶时长，并根据预估的行驶时长和实际行驶时长的比较结果，确定网约车/出租车辆是否存在拖沓行驶、绕路等异常行驶行为，然而，同一段路在每天的路况都可能是变化的，根据历史路况数据预估的行驶时间不够准确，无法预防和预测违规行为发生，所以，现有技术难以对网约车/出租车在服务过程中存在的异常行为进行检测和告警。
发明内容
针对上述现有技术的不足，本申请提供基于多源数据的巡游出租车异常行为告警方法及智能设备。
第一方面本申请提出了基于多源数据的巡游出租车异常行为告警方法，包括以下步骤：
通过车辆监管平台获取目标巡游出租车的车辆运营数据；
将所述车辆运营数据按照不同的数据来源划分为视频监控数据、载客订单数据和订单时间内的车内录音数据；
对所述视频监控数据中不同的监控区域进行特征提取得到对应监控区域的监控特征数据，对所述监控特征数据进行特征融合得到特征融合数据，对所述特征融合数据进行特征分析，根据特征分析结果判断异常驾车行为；
通过所述载客订单数据获取实际订单路线信息和推荐路线信息，根据所述实际订单路线信息和推荐路线信息计算得到里程差异率，将所述里程差异率与预设阈值进行判断，如果超过预设阈值，则通过所述车内录音数据进行分析，根据分析结果判断异常行驶行为；
根据判断出的异常驾车行为/异常行驶行为发出告警信息。
在一些实施例中，所述对所述视频监控数据中不同的监控区域进行特征提取得到对应监控区域的监控特征数据，对所述监控特征数据进行特征融合得到特征融合数据，包括：
所述视频监控数据包括至少两个监控视角的视频监控数据，将所述视频监控数据的按照不同监控视角划分为第一视角数据和第二视角数据；
分别对所述第一视角数据和所述第二视角数据中的重叠监控区域的数据进行数据标注；
对所述第一视角数据进行特征提取，获得所述第一视角数据中未标注数据对应的第一非重叠监控特征数据和已标注数据对应的第一重叠监控特征数据，对所述第二视角数据进行特征提取，获得所述第二视角数据中未标注数据对应的第二非重叠监控特征数据和已标注数据对应的第二重叠监控特征数据；
对所述第一非重叠监控特征数据和第二非重叠监控特征数据进行多通道特征融合，得到第一特征融合数据，对所述第一重叠监控特征数据和第二重叠监控特征数据进行空间域特征融合，得到第二特征融合数据。
在一些实施例中，对所述特征融合数据进行特征分析，根据特征分析结果判断异常驾车行为，包括：
对所述第一特征融合数据和第二特征融合数据进行权重特征融合，得到特征表达，根据所述特征表达，确定异常驾车行为。
在一些实施例中，所述通过所述载客订单数据获取实际订单路线信息和推荐路线信息，根据所述实际订单路线信息和推荐路线信息计算得到里程差异率，包括：
从所述实际订单路线信息中获取实际行驶路线，从所述推荐路线信息中获取最短时间路线和最短路径路线，所述最短时间路线为乘客上车点与订单终点之间交通拥堵指数最小的路线，所述最短路径路线为乘客上车点与订单终点之间里程最少的路线；
通过所述实际行驶路线除以所述最短时间路线得到最短时间里程差异率，通过所述实际行驶路线除以所述最短路径路线得到最短路径里程差异率。
在一些实施例中，将所述里程差异率与预设阈值进行判断，如果超过预设阈值，则通过所述车内录音数据进行分析，根据分析结果判断异常行驶行为，包括：
将所述最短时间里程差异率和最短路径里程差异率分别与所述预设阈值进行对比，若所述最短时间里程差异率和最短路径里程差异率均超过所述预设阈值，则筛选出所述实际订单路线信息对应的载客订单；
调取所述载客订单对应的车内录音数据，对所述车内录音数据进行语音识别，若识别结果中包括预设关键词，则不存在异常行驶行为，若识别结果中不包括预设关键词，则存在异常行驶行为。
在一些实施例中，所述调取所述载客订单对应的车内录音数据，对所述车内录音数据进行语音识别，若识别结果中包括预设关键词，则不存在异常行驶行为，若识别结果中不包括预设关键词，则存在异常行驶行为，包括：
根据预设的语音识别方式，对所述车内录音数据中的语音信息间语音识别；
判断车内录音数据中是否包括乘客指引路线的预设关键词，所述预设关键词包括乘客指引路线/乘客指示变更路线的关键词；若包括所述预设关键词，则认为当前场景为乘客指路，不存在异常行驶行为；若识别结果中不包括所述预设关键词，则判断存在异常行驶行为。
在一些实施例中，所述根据判断出的异常驾车行为/异常行驶行为发出告警信息，包括：
对发出告警信息的车辆进行定位，启动距离该车辆所在位置最近的监控摄像装置进行跟踪拍摄及定位，绘制该车辆的行驶路线，并将该车辆的车辆信息、所在位置、跟踪拍摄图片以及行驶路线作为告警信息；
将所述告警信息同时发送给所述车辆监管平台以及乘客。
第二方面本申请提出基于多源数据的巡游出租车异常行为告警智能设备，包括数据获取模块、数据分类模块、异常驾车行为识别模块、异常行驶行为识别模块和告警模块；
所述数据获取模块，用于通过车辆监管平台获取目标巡游出租车的车辆运营数据；
所述数据分类模块，用于将所述车辆运营数据按照不同的数据来源划分为视频监控数据、载客订单数据和订单时间内的车内录音数据；
所述异常驾车行为识别模块，用于对所述视频监控数据中不同的监控区域进行特征提取得到对应监控区域的监控特征数据，对所述监控特征数据进行特征融合得到特征融合数据，对所述特征融合数据进行特征分析，根据特征分析结果判断异常驾车行为；
所述异常行驶行为识别模块，用于通过所述载客订单数据获取实际订单路线信息和推荐路线信息，根据所述实际订单路线信息和推荐路线信息计算得到里程差异率，将所述里程差异率与预设阈值进行判断，如果超过预设阈值，则通过所述车内录音数据进行分析，根据分析结果判断异常行驶行为；
所述告警模块，用于根据判断出的异常驾车行为/异常行驶行为发出告警信息。
第三方面本申请提出一种电子装置，包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面本申请提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法步骤。
本发明的有益效果：
通过里程差异率判定潜在绕路行为，同时通过语音识别对潜在绕路行为进行最终判定，摆脱了对GPS数据的依赖，同时考虑到了在实际的时间、道路拥堵以及乘客需求等情况下对行驶路径的选择，绕路判定的准确性更高，提高异常行驶行为判断准确率；并且通过多个监控角度对车内状态进行监控可以减少摄像头的盲区，实现对网约车的驾驶员进行大角度的行为检测，且更有助于对异常驾车行为进行判断。
附图说明
图1为本发明的总体流程图。
图2为本发明的智能设备原理框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制；相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
第一方面本申请提出了基于多源数据的巡游出租车异常行为告警方法，如图1所示，包括以下步骤：
S100：通过车辆监管平台获取目标巡游出租车的车辆运营数据；
S200：将所述车辆运营数据按照不同的数据来源划分为视频监控数据、载客订单数据和订单时间内的车内录音数据；
S300：对所述视频监控数据中不同的监控区域进行特征提取得到对应监控区域的监控特征数据，对所述监控特征数据进行特征融合得到特征融合数据，对所述特征融合数据进行特征分析，根据特征分析结果判断异常驾车行为；
在一些实施例中，所述对所述视频监控数据中不同的监控区域进行特征提取得到对应监控区域的监控特征数据，对所述监控特征数据进行特征融合得到特征融合数据，包括：
所述视频监控数据包括至少两个监控视角的视频监控数据，将所述视频监控数据的按照不同监控视角划分为第一视角数据和第二视角数据；
分别对所述第一视角数据和所述第二视角数据中的重叠监控区域的数据进行数据标注；
对所述第一视角数据进行特征提取，获得所述第一视角数据中未标注数据对应的第一非重叠监控特征数据和已标注数据对应的第一重叠监控特征数据，对所述第二视角数据进行特征提取，获得所述第二视角数据中未标注数据对应的第二非重叠监控特征数据和已标注数据对应的第二重叠监控特征数据；
对所述第一非重叠监控特征数据和第二非重叠监控特征数据进行多通道特征融合，得到第一特征融合数据，对所述第一重叠监控特征数据和第二重叠监控特征数据进行空间域特征融合，得到第二特征融合数据。
其中，视频监控数据可以是视频监控系统和驾驶员监测系统的视频监控数据，两种监控系统均可以利用计算机、网络及视频采集工具进行图像存储处理，对车内环境进行感知，具有对图像及语音进行长时间录制、远程监视和控制的功能，需要说明的是，第一视角数据和第二视角数据中的第一和第二仅是用于对视频监控系统和驾驶员监测系统采集到的数据进行区分，
进一步的，对所述第一视角数据进行特征提取，获得所述第一视角数据中未标注数据对应的第一非重叠监控特征数据和已标注数据对应的第一重叠监控特征数据，包括：对所述第一监测数据进行人脸识别，获得人脸数据，将所述人脸数据的范围扩大预设比例，获得第一中间数据；在空间域上，将所述第一中间数据调整为预设大小，得到第一数据块；通过以resnet为基础网络组建的第一卷积神经网络，提取所述第一数据块的低层次特征，获得所述第一非重叠监控特征数据和已标注数据对应的第一重叠监控特征数据，其中，在司机的人脸附近，针对实时数据进行特征提取，获取第一非重叠监控特征数据和已标注数据对应的第一重叠监控特征数据FeatA，上述第一中间数据Da包括重叠区域的数据和与重叠区域的数据同步映射的非重叠区域的数据，同样的，对所述第二视角数据进行特征提取，得到对应的特征数据FeatB；
进一步的，对所述第一非重叠监控特征数据和第二非重叠监控特征数据进行多通道特征融合，得到第一特征融合数据，包括：
其中，将上述特征数据FeatA与FeatB中各自特有的特征数据，进行多通道特征融合得到FeatAB,包括：
其中，为所述第一非重叠监控特征数据和第二非重叠监控特征数据进行多通道特征融合得到的第一特征融合数据的第ck通道i行j列的数据，/>为第ck通道i行j列的第一非重叠监控特征数据， />为第ck通道i行j列的第二非重叠监控特征数据，/>为固定值，Ch为通道数；
对所述第一重叠监控特征数据和第二重叠监控特征数据进行空间域特征融合，得到第二特征融合数据，包括：
在所述第一重叠监控特征数据中的属于所述重叠区域的数据中，标注任意四个点，并确定所述标注的四个点的坐标；在所述二重叠监控特征数据中的属于所述重叠区域的数据中，确定所述标注的四个点对应的四个重合点，并确定所述四个重合点的坐标；
根据所述标注的四个点的坐标和对应的四个重合点的坐标，计算反应所述第一重叠监控特征数据和第二重叠监控特征数据的映射关系的单应性矩阵H，根据所述单应性矩阵H，对所述第一重叠监控特征数据和第二重叠监控特征数据进行空间域的特征融合，具体为：
其中，(DCx，DCy)为所述标注的点的坐标，(DDx，DDy)对应的重合点的坐标;
根据公式FeatCD(ck,i,j)＝α*FeatC(ck,i,j)+β*FeatD(ck,m,n)，对所述第一重叠监控特征数据和第二重叠监控特征数据进行空间域的特征融合；
α＝|FeatC(ck,i,j)|/(λ+|FeatC(ck,i,j)|+|FeatD(ck,m,n)|)；
β＝|FeatC(ck,i,j)|/(λ+|FeatC(ck,i,j)|+|FeatD(ck,m,n)|)；
其中，FeatCD为所述第一重叠监控特征数据和第二重叠监控特征数据进行空间域的特征融合得到的第二特征融合数据，α为所述第一重叠监控特征数据的特征权重值，β为所述第二重叠监控特征数据的特征权重值，坐标 (m，n)为根据所述单应性矩阵H计算的所述第一重叠监控特征数据FeatC上坐标为(i,j)的点在所述第二重叠监控特征数据FeatD上对应的点的坐标，λ为固定值，注：上述各类特征数据中的通道数ck，行数i和列数j均各不相同。
在一些实施例中，对所述特征融合数据进行特征分析，根据特征分析结果判断异常驾车行为，包括：
对所述第一特征融合数据和第二特征融合数据进行权重特征融合，得到特征表达，根据所述特征表达，确定异常驾车行为。
其中，针对获取的第一特征融合数据FeatAB，第二特征融合数据FeatCD，根据重要性程度，对应设置权重系数w1和w2进行contact操作，得到最终的特征表达：
Final=contact(w1*FeatAB)+contact(w2*FeatCD)；
其中，采用concat来融合特征，进行concat操作是通道数的合并，即描述图像本身的特征数，也就是通道数增加了，而每一特征下的信息没有增加。
进一步的，在所述特征表达后添加全连接层，构建异常行为检测模型，以所述第一视角数据和第二视角数据为输入，以驾驶员是否处于异常行为状态为输出，利用损失函数，对异常行为检测模型进行模型训练，根据异常行为检测模型识别出异常驾车行为。
S400：通过所述载客订单数据获取实际订单路线信息和推荐路线信息，根据所述实际订单路线信息和推荐路线信息计算得到里程差异率，将所述里程差异率与预设阈值进行判断，如果超过预设阈值，则通过所述车内录音数据进行分析，根据分析结果判断异常行驶行为；
在一些实施例中，所述通过所述载客订单数据获取实际订单路线信息和推荐路线信息，根据所述实际订单路线信息和推荐路线信息计算得到里程差异率，包括：
从所述实际订单路线信息中获取实际行驶路线，从所述推荐路线信息中获取最短时间路线和最短路径路线，所述最短时间路线为乘客上车点与订单终点之间交通拥堵指数最小的路线，所述最短路径路线为乘客上车点与订单终点之间里程最少的路线；
通过所述实际行驶路线除以所述最短时间路线得到最短时间里程差异率，通过所述实际行驶路线除以所述最短路径路线得到最短路径里程差异率。
其中，推荐路线信息为百度推荐路线，利用百度地图API获取该订单起、终点以及时间下推荐的路线（最短路径、最短时间等），包括推荐路线的距离信息和预计行车时间；
首先对比实际订单路线与百度推荐的最短时间路线之间的里程差异率X最短（最短时间里程差异率=实际行驶路线/最短时间路线），若超过里程差异率阈值则对比实际订单路线与百度推荐的最短路径路线之间的里程差异率X最快（最短路径里程差异率=实际行驶路线/最短路径路线），其中，里程差异率阈值需要调取历史订单数据及相应的百度API数据，通过算法训练确定。
在一些实施例中，将所述里程差异率与预设阈值进行判断，如果超过预设阈值，则通过所述车内录音数据进行分析，根据分析结果判断异常行驶行为，包括：
将所述最短时间里程差异率和最短路径里程差异率分别与所述预设阈值进行对比，若所述最短时间里程差异率和最短路径里程差异率均超过所述预设阈值，则筛选出所述实际订单路线信息对应的载客订单；
调取所述载客订单对应的车内录音数据，对所述车内录音数据进行语音识别，若识别结果中包括预设关键词，则不存在异常行驶行为，若识别结果中不包括预设关键词，则存在异常行驶行为。
其中，将X最短和X最快均超过阈值的订单筛选出来，调取订单时间段内的车内录音。
在一些实施例中，所述调取所述载客订单对应的车内录音数据，对所述车内录音数据进行语音识别，若识别结果中包括预设关键词，则不存在异常行驶行为，若识别结果中不包括预设关键词，则存在异常行驶行为，包括：
根据预设的语音识别方式，对所述车内录音数据中的语音信息间语音识别；
判断车内录音数据中是否包括乘客指引路线的预设关键词，所述预设关键词包括乘客指引路线/乘客指示变更路线的关键词；若包括所述预设关键词，则认为当前场景为乘客指路，不存在异常行驶行为；若识别结果中不包括所述预设关键词，则判断存在异常行驶行为。
其中，预设关键词包括乘客指引路线，或乘客指示变更路线的关键词；若包括预设关键词，则认为当前场景为乘客指路，不存在异常行驶行为；若识别结果中不包括预设关键词，则判断车辆的实际行驶里程是否满足里程要求，如实际行驶里程超过预估里程，里程要求包括实际行驶里程超出预估里程的数值，达到预设里程数值，预设里程数值例如为1公里，对于预估里程较长的订单，可采用此种方式；或者超过预估里程的数值与预估里程的比值达到预设百分数值，例如超过预设里程的数值达到10％，确认发生绕路事件，则确定存在异常行驶行为；
后续对当前订单执行与绕路事件对应的相关处理操作，例如：在行程结束后，且费用结算前，及时向驾驶员使用的终端发送目标提示信息，提示本次行程存在绕路事件，并询问是否还原行程费用；可选地，所还原的行程费用可以为所述目标订单的预估里程的费用，即预估费用，以避免因绕路对乘客造成损失，比如，司机认可本次绕路事件，则可向车辆监管平台发送确认信息，则车辆监管平台将所述行程费用还原为预估费用；若司机非恶意绕路，而是其他原因导致的绕路，例如车辆监管平台未检测到的路况原因，或者乘客主动要求，则可由司机提交相关证明并拒绝发送所述确认信息，以保障司机的权益。
S500：根据判断出的异常驾车行为/异常行驶行为发出告警信息。
在一些实施例中，所述根据判断出的异常驾车行为/异常行驶行为发出告警信息，包括：
对发出告警信息的车辆进行定位，启动距离该车辆所在位置最近的监控摄像装置进行跟踪拍摄及定位，绘制该车辆的行驶路线，并将该车辆的车辆信息、所在位置、跟踪拍摄图片以及行驶路线作为告警信息；
将所述告警信息同时发送给所述车辆监管平台以及乘客。
第二方面本申请提出基于多源数据的巡游出租车异常行为告警智能设备，如图2所示，包括数据获取模块、数据分类模块、异常驾车行为识别模块、异常行驶行为识别模块和告警模块；
所述数据获取模块，用于通过车辆监管平台获取目标巡游出租车的车辆运营数据；
所述数据分类模块，用于将所述车辆运营数据按照不同的数据来源划分为视频监控数据、载客订单数据和订单时间内的车内录音数据；
所述异常驾车行为识别模块，用于对所述视频监控数据中不同的监控区域进行特征提取得到对应监控区域的监控特征数据，对所述监控特征数据进行特征融合得到特征融合数据，对所述特征融合数据进行特征分析，根据特征分析结果判断异常驾车行为；
所述异常行驶行为识别模块，用于通过所述载客订单数据获取实际订单路线信息和推荐路线信息，根据所述实际订单路线信息和推荐路线信息计算得到里程差异率，将所述里程差异率与预设阈值进行判断，如果超过预设阈值，则通过所述车内录音数据进行分析，根据分析结果判断异常行驶行为；
所述告警模块，用于根据判断出的异常驾车行为/异常行驶行为发出告警信息。
第三方面本申请提出一种电子装置，包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面本申请提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法步骤。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
在本公开所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上仅是本发明优选的实施方式，需指出的是，对于本领域技术人员在不脱离本技术方案的前提下，作出的若干变形和改进的技术方案应同样视为落入本权利要求书要求保护的范围。

Claims (10)

1.基于多源数据的巡游出租车异常行为告警方法，其特征在于：包括以下步骤：
通过车辆监管平台获取目标巡游出租车的车辆运营数据；
将所述车辆运营数据按照不同的数据来源划分为视频监控数据、载客订单数据和订单时间内的车内录音数据；
对所述视频监控数据中不同的监控区域进行特征提取得到对应监控区域的监控特征数据，对所述监控特征数据进行特征融合得到特征融合数据，对所述特征融合数据进行特征分析，根据特征分析结果判断异常驾车行为；
通过所述载客订单数据获取实际订单路线信息和推荐路线信息，根据所述实际订单路线信息和推荐路线信息计算得到里程差异率，将所述里程差异率与预设阈值进行判断，如果超过预设阈值，则通过所述车内录音数据进行分析，根据分析结果判断异常行驶行为；
根据判断出的异常驾车行为/异常行驶行为发出告警信息。
2.根据权利要求1所述的方法，其特征在于：所述对所述视频监控数据中不同的监控区域进行特征提取得到对应监控区域的监控特征数据，对所述监控特征数据进行特征融合得到特征融合数据，包括：
所述视频监控数据包括至少两个监控视角的视频监控数据，将所述视频监控数据的按照不同监控视角划分为第一视角数据和第二视角数据；
分别对所述第一视角数据和所述第二视角数据中的重叠监控区域的数据进行数据标注；
对所述第一视角数据进行特征提取，获得所述第一视角数据中未标注数据对应的第一非重叠监控特征数据和已标注数据对应的第一重叠监控特征数据，对所述第二视角数据进行特征提取，获得所述第二视角数据中未标注数据对应的第二非重叠监控特征数据和已标注数据对应的第二重叠监控特征数据；
对所述第一非重叠监控特征数据和第二非重叠监控特征数据进行多通道特征融合，得到第一特征融合数据，对所述第一重叠监控特征数据和第二重叠监控特征数据进行空间域特征融合，得到第二特征融合数据。
3.根据权利要求2所述的方法，其特征在于：对所述特征融合数据进行特征分析，根据特征分析结果判断异常驾车行为，包括：
对所述第一特征融合数据和第二特征融合数据进行权重特征融合，得到特征表达，根据所述特征表达，确定异常驾车行为。
4.根据权利要求1所述的方法，其特征在于：所述通过所述载客订单数据获取实际订单路线信息和推荐路线信息，根据所述实际订单路线信息和推荐路线信息计算得到里程差异率，包括：
从所述实际订单路线信息中获取实际行驶路线，从所述推荐路线信息中获取最短时间路线和最短路径路线，所述最短时间路线为乘客上车点与订单终点之间交通拥堵指数最小的路线，所述最短路径路线为乘客上车点与订单终点之间里程最少的路线；
通过所述实际行驶路线除以所述最短时间路线得到最短时间里程差异率，通过所述实际行驶路线除以所述最短路径路线得到最短路径里程差异率。
5.根据权利要求4所述的方法，其特征在于：将所述里程差异率与预设阈值进行判断，如果超过预设阈值，则通过所述车内录音数据进行分析，根据分析结果判断异常行驶行为，包括：
将所述最短时间里程差异率和最短路径里程差异率分别与所述预设阈值进行对比，若所述最短时间里程差异率和最短路径里程差异率均超过所述预设阈值，则筛选出所述实际订单路线信息对应的载客订单；
调取所述载客订单对应的车内录音数据，对所述车内录音数据进行语音识别，若识别结果中包括预设关键词，则不存在异常行驶行为，若识别结果中不包括预设关键词，则存在异常行驶行为。
6.根据权利要求5所述的方法，其特征在于：所述调取所述载客订单对应的车内录音数据，对所述车内录音数据进行语音识别，若识别结果中包括预设关键词，则不存在异常行驶行为，若识别结果中不包括预设关键词，则存在异常行驶行为，包括：
根据预设的语音识别方式，对所述车内录音数据中的语音信息间语音识别；
判断车内录音数据中是否包括乘客指引路线的预设关键词，所述预设关键词包括乘客指引路线/乘客指示变更路线的关键词；若包括所述预设关键词，则认为当前场景为乘客指路，不存在异常行驶行为；若识别结果中不包括所述预设关键词，则判断存在异常行驶行为。
7.根据权利要求6所述的方法，其特征在于：所述根据判断出的异常驾车行为/异常行驶行为发出告警信息，包括：
对发出告警信息的车辆进行定位，启动距离该车辆所在位置最近的监控摄像装置进行跟踪拍摄及定位，绘制该车辆的行驶路线，并将该车辆的车辆信息、所在位置、跟踪拍摄图片以及行驶路线作为告警信息；
将所述告警信息同时发送给所述车辆监管平台以及乘客。
8.基于多源数据的巡游出租车异常行为告警智能设备，其特征在于：包括数据获取模块、数据分类模块、异常驾车行为识别模块、异常行驶行为识别模块和告警模块；
所述数据获取模块，用于通过车辆监管平台获取目标巡游出租车的车辆运营数据；
所述数据分类模块，用于将所述车辆运营数据按照不同的数据来源划分为视频监控数据、载客订单数据和订单时间内的车内录音数据；
所述异常驾车行为识别模块，用于对所述视频监控数据中不同的监控区域进行特征提取得到对应监控区域的监控特征数据，对所述监控特征数据进行特征融合得到特征融合数据，对所述特征融合数据进行特征分析，根据特征分析结果判断异常驾车行为；
所述异常行驶行为识别模块，用于通过所述载客订单数据获取实际订单路线信息和推荐路线信息，根据所述实际订单路线信息和推荐路线信息计算得到里程差异率，将所述里程差异率与预设阈值进行判断，如果超过预设阈值，则通过所述车内录音数据进行分析，根据分析结果判断异常行驶行为；
所述告警模块，用于根据判断出的异常驾车行为/异常行驶行为发出告警信息。
9.一种电子装置，包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。
CN202311829646.6A 2023-12-28 2023-12-28 基于多源数据的巡游出租车异常行为告警方法及智能设备 Pending CN117876200A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311829646.6A CN117876200A (zh) 2023-12-28 2023-12-28 基于多源数据的巡游出租车异常行为告警方法及智能设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311829646.6A CN117876200A (zh) 2023-12-28 2023-12-28 基于多源数据的巡游出租车异常行为告警方法及智能设备

Publications (1)

Publication Number Publication Date
CN117876200A true CN117876200A (zh) 2024-04-12

Family

ID=90584073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311829646.6A Pending CN117876200A (zh) 2023-12-28 2023-12-28 基于多源数据的巡游出租车异常行为告警方法及智能设备

Country Status (1)

Country Link
CN (1) CN117876200A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700646A (zh) * 2015-03-31 2015-06-10 南京大学 一种基于在线gps数据的出租车异常轨迹实时检测方法
US20160373473A1 (en) * 2015-06-17 2016-12-22 Uber Technologies, Inc. Trip anomaly detection system
CN112232259A (zh) * 2020-10-27 2021-01-15 南京领行科技股份有限公司 一种网约车驾驶员行为监测的方法和装置及设备
CN112418471A (zh) * 2021-01-25 2021-02-26 南京领行科技股份有限公司 网约车的行驶监测方法、装置、电子设备及存储介质
CN113592262A (zh) * 2021-07-16 2021-11-02 深圳昌恩智能股份有限公司 一种用于网约车的安全监控方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700646A (zh) * 2015-03-31 2015-06-10 南京大学 一种基于在线gps数据的出租车异常轨迹实时检测方法
US20160373473A1 (en) * 2015-06-17 2016-12-22 Uber Technologies, Inc. Trip anomaly detection system
CN112232259A (zh) * 2020-10-27 2021-01-15 南京领行科技股份有限公司 一种网约车驾驶员行为监测的方法和装置及设备
CN112418471A (zh) * 2021-01-25 2021-02-26 南京领行科技股份有限公司 网约车的行驶监测方法、装置、电子设备及存储介质
CN113592262A (zh) * 2021-07-16 2021-11-02 深圳昌恩智能股份有限公司 一种用于网约车的安全监控方法及系统

Similar Documents

Publication Publication Date Title
US10933881B1 (en) System for adjusting autonomous vehicle driving behavior to mimic that of neighboring/surrounding vehicles
CN106846863B (zh) 基于增强现实和云端智能决策的事故黑点警告系统及方法
US20220270376A1 (en) Deterioration diagnosis device, deterioration diagnosis system, deterioration diagnosis method, and storage medium for storing program
CN113194138B (zh) 基于ai深度学习的出行管理方法和系统
CN108860166A (zh) 无人驾驶汽车事故发生处理系统及处理方法
CN108460968A (zh) 一种基于车联网获取交通路况信息的方法及装置
US20070282519A1 (en) System and method for analyzing traffic disturbances reported by vehicles
CN107886595A (zh) 基于行车记录仪的违章识别方法、行车记录仪和存储介质
CN111325978A (zh) 一种高速公路车辆异常行为的全程监测警示系统和方法
CN109493606B (zh) 一种高速公路上违停车辆的识别方法及系统
KR20230002887A (ko) 도로 혼잡 원인을 제공하기 위한 방법 및 장치
CN115035491A (zh) 一种基于联邦学习的驾驶行为路况预警方法
CN112802344A (zh) 一种车载式智能联网实时交通违章监控装置及系统
KR101498582B1 (ko) 교통사고 데이터 제공 시스템 및 방법
CN108734960A (zh) 道路堵塞预测方法及其装置
CN117558129A (zh) 一种用于高速公路建设用的智能定位系统及方法
CN111127882A (zh) 一种基于大数据的旅游景区停车场来车数量预测方法
CN110271554A (zh) 用于车辆的驾驶辅助系统和方法
CN112907979A (zh) 一种基于多摄像头的机动车违法行驶轨迹跟踪系统及方法
CN116665445A (zh) 一种基于大数据互联的智慧交通管理平台
CN117876200A (zh) 基于多源数据的巡游出租车异常行为告警方法及智能设备
CN111383437A (zh) 一种智慧车辆管理服务平台
US11590982B1 (en) Trip based characterization using micro prediction determinations
CN115019532A (zh) 一种基于客运数据的公路安全隐患自动识别与预警系统
CN113689589B (zh) 一种基于无人机的电缆线路巡视方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination