CN111619584A - 一种无人驾驶汽车的状态监管方法及装置 - Google Patents
一种无人驾驶汽车的状态监管方法及装置 Download PDFInfo
- Publication number
- CN111619584A CN111619584A CN202010461625.3A CN202010461625A CN111619584A CN 111619584 A CN111619584 A CN 111619584A CN 202010461625 A CN202010461625 A CN 202010461625A CN 111619584 A CN111619584 A CN 111619584A
- Authority
- CN
- China
- Prior art keywords
- automobile
- target
- coordinate
- target automobile
- world coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012423 maintenance Methods 0.000 claims abstract description 73
- 238000012544 monitoring process Methods 0.000 claims abstract description 49
- 238000001514 detection method Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 18
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 230000008030 elimination Effects 0.000 claims description 7
- 238000003379 elimination reaction Methods 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/038—Limiting the input power, torque or speed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了一种无人驾驶汽车的状态监管方法及装置,方法包括:获取目标汽车的视频数据和运维数据;基于视频数据和运维数据确定目标汽车的世界坐标;基于运维数据中的全局路径信息确定目标汽车的理论运行范围;在世界坐标没有位于理论运行范围内的情况下,发出指示控制目标汽车停车熄火的监管控制命令。上述方法及装置中,对无人驾驶汽车进行状态监管的工作由独立运行的处理器完成,过程中依据无人驾驶汽车的运维后台信息和第三方的监控视频实现对无人驾驶汽车运行状态的监管,避免了车辆监管和自动驾驶控制工作都采用自动驾驶控制器,自动驾驶控制器故障时状态监管工作无法正常进行而可能造成的安全事故,大大提升了无人驾驶汽车的运行安全性。
Description
技术领域
本发明涉及信息技术领域,更具体的说,是涉及一种无人驾驶汽车的状态监管方法及装置。
背景技术
无人驾驶技术在研发及应用过程中,首先需要考虑的问题就是安全问题。无人驾驶汽车的安全运行,不仅需要依靠车辆自身的各功能器件,而且在车辆运行过程中,也需要对车辆的运行状态进行实时的监管,避免车辆失控危及生命财产安全。
当前一种无人驾驶汽车运行状态的自动监管的实现,是车辆的自动行驶控制和运行状态监管都由车载的自动驾驶控制器来完成。但采用这种方式,如果自动驾驶控制器本身发生故障和意外,则会导致车辆运行失控并发生安全事故,对生命财产造成威胁。
发明内容
有鉴于此,本发明提供了一种无人驾驶汽车的状态监管方法及装置,以克服现有技术中由于车辆的自动行驶控制和运行状态监管都由车载的自动驾驶控制器完成而导致的安全性差的问题。
为实现上述目的,本发明提供如下技术方案:
一种无人驾驶汽车的状态监管方法,包括:
获取目标汽车的视频数据和运维数据;
基于所述视频数据和所述运维数据确定所述目标汽车的世界坐标;
基于所述运维数据中的全局路径信息确定所述目标汽车的理论运行范围;
在所述世界坐标位于所述理论运行范围内的情况下,继续监控所述目标汽车的运行状态;
在所述世界坐标没有位于所述理论运行范围内的情况下,发出监管控制命令,所述监管控制命令用于指示控制所述目标汽车停车熄火。
可选的,所述基于所述视频数据和所述运维数据确定所述目标汽车的世界坐标,包括:
对所述目标汽车的所述视频数据进行处理,得到所述目标汽车的第一世界坐标;
基于所述运维数据中的车辆定位信息确定所述目标汽车的第二世界坐标;
对所述第一世界坐标和所述第二世界坐标进行融合处理,得到所述目标汽车的世界坐标。
可选的,所述对所述目标汽车的所述视频数据进行处理,得到所述目标汽车的第一世界坐标,包括:
基于所述目标汽车的视频图像进行目标检测和轨迹追踪,得到所述目标汽车的范围框;
基于所述范围框确定所述目标汽车的中心点在所述视频图像中的像素坐标;
基于所述像素坐标,通过坐标转换得到所述目标汽车的第一世界坐标。
可选的,所述对所述第一世界坐标和所述第二世界坐标进行融合处理,得到所述目标汽车的世界坐标包括:
对所述第一世界坐标和所述第二世界坐标在时间维度上进行差异比较、异常点剔除和平滑处理,得到所述目标汽车的世界坐标。
可选的,还包括:
在所述世界坐标没有位于所述理论运行范围内的情况下,发出报警信号。
一种无人驾驶汽车的状态监管装置,包括:
数据获取模块,用于获取目标汽车的视频数据和运维数据;
坐标确定模块,用于基于所述视频数据和所述运维数据确定所述目标汽车的世界坐标;
范围确定模块,用于基于所述运维数据中的全局路径信息确定所述目标汽车的理论运行范围;
监管控制模块,用于在所述世界坐标没有位于所述理论运行范围内的情况下,发出监管控制命令,所述监管控制命令用于指示控制所述目标汽车停车熄火。
可选的,所述坐标确定模块包括:
第一坐标模块,用于对所述目标汽车的所述视频数据进行处理,得到所述目标汽车的第一世界坐标;
第二坐标模块,用于基于所述运维数据中的车辆定位信息确定所述目标汽车的第二世界坐标;
坐标融合模块,用于对所述第一世界坐标和所述第二世界坐标融合处理,得到所述目标汽车的世界坐标。
可选的,所述第一坐标模块包括:
范围框确定模块,用于基于所述目标汽车的视频图像进行目标检测和轨迹追踪,得到所述目标汽车的范围框;
像素坐标确定模块,用于基于所述范围框确定所述目标汽车的中心点在所述视频图像中的像素坐标;
坐标确定模块,用于基于所述像素坐标,通过坐标转换得到所述目标汽车的第一世界坐标。
可选的,所述坐标融合模块具体用于:对所述第一世界坐标和所述第二世界坐标在时间维度上进行差异比较、异常点剔除和平滑处理,得到所述目标汽车的世界坐标。
可选的,还包括:
报警模块,用于在所述世界坐标没有位于所述理论运行范围内的情况下,发出报警信号。
经由上述的技术方案可知,与现有技术相比,本发明实施例公开了一种无人驾驶汽车的状态监管方法及装置,方法包括:获取目标汽车的视频数据和运维数据;基于视频数据和运维数据确定目标汽车的世界坐标;基于运维数据中的全局路径信息确定目标汽车的理论运行范围;在世界坐标位于理论运行范围内的情况下,继续监控目标汽车的运行状态;在世界坐标没有位于理论运行范围内的情况下,发出指示控制目标汽车停车熄火的监管控制命令。上述方法及装置中,对无人驾驶汽车进行状态监管的工作由独立运行的处理器完成,过程中依据无人驾驶汽车的运维后台信息和第三方的监控视频实现对无人驾驶汽车的运行状态的监管,避免了车辆监管和自动驾驶控制工作都采用自动驾驶控制器,自动驾驶控制器故障时状态监管工作无法正常进行而可能造成的安全事故,大大提升了无人驾驶汽车的运行安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种无人驾驶汽车的状态监管方法流程图;
图2为本发明实施例公开的确定目标汽车的世界坐标的流程图;
图3为本发明实施例公开的得到第一世界坐标的流程图;
图4为本发明实施例公开的另一种无人驾驶汽车的状态监管方法流程图;
图5为本发明实施例公开的一种无人驾驶汽车运行状态自动监管系统的功能架构图;
图6为本发明实施例公开的无人驾驶汽车运行状态自动监管的流程图;
图7为本发明实施例公开的一种无人驾驶汽车的状态监管装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例公开的一种无人驾驶汽车的状态监管方法流程图,参见图1所示,无人驾驶汽车的状态监管方法可以包括:
步骤101:获取目标汽车的视频数据和运维数据。
其中,目标汽车的视频数据可以是已有的或未来可能布置的封闭园区或道路上的摄像头实时采集的监控视频,这些监控视频可由第三方系统提供。其中的封闭园区例如可以为港口码头、科技园区、学校等区域。本申请实施例中,获取的视频数据可以包含所有公共场所监控视频覆盖区域的视频数据,只不过在具体应用中,会只选取包含目标汽车的视频数据进行处理应用。
无人驾驶汽车在运行过程中,会有运维后台与无人驾驶汽车保持实时的数据通信,上述内容中提及的运维数据即可从运维后台获取,运维数据可以但不限制为包括目标汽车的实时定位信息和全局路径信息。其中全局路径信息可以理解为目标汽车的无人驾驶任务确定的路径;无人驾驶汽车运行之前,运维后台会给无人驾驶汽车发送全局路径信息,就是从当前地点前往目的地需要经过哪些路段和路口。
步骤102:基于所述视频数据和所述运维数据确定所述目标汽车的世界坐标。
由于视频数据针对的采集范围是固定的,视频数据的采集地点也是固定的,因此能够确定视频数据中目标汽车的位置信息;而运维数据中也包含目标汽车的定位信息,因此基于视频数据和运维数据可以综合确定目标汽车的世界坐标。
步骤103:基于所述运维数据中的全局路径信息确定所述目标汽车的理论运行范围。
由于全局路径信息是依据目标汽车的无人驾驶任务确定的,在目标汽车的行驶路径确定的情况下,也能够确定目标汽车的理论运行范围。如全局路径信息仅包含唯一的一条线路,则目标汽车的理论运行范围也在这条唯一的线路上;若全局路径信息包含多个可选线路,则目标汽车的理论运行范围也可以对应的在前述多个可选线路上。当然,具体实现中,目标汽车的理论运行范围还可以根据实际情况限制的更为精确,例如,在双向车道上,根据交通行驶规则,还可以将目标汽车的理论运行范围确定在车辆行驶方向上的左半边车道或右半边车道。
步骤104:在所述世界坐标位于所述理论运行范围内的情况下,继续监控所述目标汽车的运行状态。
如果目标汽车的世界坐标位于前述确定的理论运行范围内,说明目标汽车在按照全局路径信息进行计划内的运行,这种情况下不会做额外的处理,保持对目标汽车的持续的状态监控即可。
步骤105:在所述世界坐标没有位于所述理论运行范围内的情况下,发出监管控制命令,所述监管控制命令用于指示控制所述目标汽车停车熄火。
如果目标汽车的世界坐标超出前述确定的理论运行范围内,说明目标汽车已脱离任务计划,行驶到理论运行范围外,这种情况下目标汽车可能出现故障或已经失控,具有很大的安全隐患,此时需要立即发出监管控制命令,控制目标汽车停车熄火,以避免一些安全事故的发生。
本实施例所述无人驾驶汽车的状态监管方法,对无人驾驶汽车进行状态监管的工作由独立运行的处理器完成,过程中依据无人驾驶汽车的运维后台信息和第三方的监控视频实现对无人驾驶汽车的运行状态的监管,避免了车辆监管和自动驾驶控制工作都采用自动驾驶控制器,自动驾驶控制器故障时状态监管工作无法正常进行而可能造成的安全事故,大大提升了无人驾驶汽车的运行安安性。
图2为本发明实施例公开的确定目标汽车的世界坐标的流程图,参见图2所示,确定目标汽车的世界坐标可以包括:
步骤201:对所述目标汽车的所述视频数据进行处理,得到所述目标汽车的第一世界坐标。
对视频数据的处理,本质上是对视频的每帧图像的处理,通过图像识别、目标检测、数据分析等技术,可以确定视频图像中目标汽车的世界坐标,本实施例中记为第一世界坐标。需要说明的是,为了保证坐标数据的准确度,实现中可以将具有一定体积的目标汽车的中心点的坐标作为目标汽车的第一世界坐标。
步骤202:基于所述运维数据中的车辆定位信息确定所述目标汽车的第二世界坐标。
即,将车辆定位信息确定为目标汽车的第二世界坐标。车辆定位信息可以是安装在目标汽车上的定位应用确定的位置信息,目标汽车在运行过程中,可实时的将自身的定位信息发送给运维后台,运维后台再将其发送给本申请实施例公开的无人驾驶汽车的状态监管方法的执行主体。
步骤203:对所述第一世界坐标和所述第二世界坐标进行融合处理,得到所述目标汽车的世界坐标。
具体的,融合处理可以包括:对所述第一世界坐标和所述第二世界坐标在时间维度上进行差异比较、异常点剔除和平滑处理,得到所述目标汽车的世界坐标。考虑结合第一世界坐标和第二世界坐标确定目标汽车最终的世界坐标,将使得目标汽车的世界坐标更加全面准确。
图3为本发明实施例公开的得到第一世界坐标的流程图,结合图3所示,上述实施例中,对所述目标汽车的所述视频数据进行处理,得到所述目标汽车的第一世界坐标,可以包括:
步骤301:基于所述目标汽车的视频图像进行目标检测和轨迹追踪,得到所述目标汽车的范围框。
采用已有的或未来出现的目标检测和轨迹追踪技术,可以识别确定视频图像中目标汽车的范围框。
步骤302:基于所述范围框确定所述目标汽车的中心点在所述视频图像中的像素坐标。
由于分析对象为视频图像,因此若要确定目标汽车的第一世界坐标,必须先要确定目标汽车在视频图像中的像素坐标,后续经过像素坐标到世界坐标的转换,得到目标汽车的第一世界坐标。
步骤303:基于所述像素坐标,通过坐标转换得到所述目标汽车的第一世界坐标。
图4为本发明实施例公开的另一种无人驾驶汽车的状态监管方法流程图,如图4所示,无人驾驶汽车的状态监管方法可以包括:
步骤401:获取目标汽车的视频数据和运维数据。
步骤402:基于所述视频数据和所述运维数据确定所述目标汽车的世界坐标。
步骤403:基于所述运维数据中的全局路径信息确定所述目标汽车的理论运行范围,进入步骤404或步骤405。
步骤404:在所述世界坐标位于所述理论运行范围内的情况下,继续监控所述目标汽车的运行状态。
步骤405:在所述世界坐标没有位于所述理论运行范围内的情况下,发出监管控制命令,所述监管控制命令用于指示控制所述目标汽车停车熄火,进入步骤406。
步骤406:在所述世界坐标没有位于所述理论运行范围内的情况下,发出报警信号。
在世界坐标没有位于理论运行范围内的情况下,可以发出报警信息,如发出蜂鸣器声音、警铃声音、点亮故障信号灯等,以提示相关运维工作人员目标汽车出现故障,需要及时做故障处理。
需要说明的是,本实施例中发出报警信号的步骤406排在发送监管控制命令的步骤405排在之后,但实际应用中,并不对发送监管控制命令和发出报警信号的先后顺序做固定限制,步骤405和步骤406也可以同时进行。
图5为本发明实施例公开的一种无人驾驶汽车运行状态自动监管系统的功能架构图,图6为本发明实施例公开的无人驾驶汽车运行状态自动监管的流程图,结合图5和图6,在一个具体的实现中,无人驾驶汽车运行状态自动监管系统包括:
监管中心(即上述无人驾驶汽车的状态监管方法的执行侧):实现自动监管功能的服务器,是本系统的功能核心。监管中心从运维后台和视频监控系统获取数据,数据传输方式可以但不限制为以太网,通过数据处理和逻辑控制,判断无人驾驶汽车是否超出全局路径规定的运行范围,在超出时对行驶异常的车辆下发监管控制指令使其停车熄火,并通知运维人员。
视频监控系统:布置于封闭园区内或公共道路上的获取实时监控视频图像的已有第三方系统,在本实施例中的作用主要为监管中心提供监控视频数据输入。
运维后台:实现无人驾驶汽车运维管理功能的已有服务器。在本实施例中,运维后台接收无人驾驶汽车发送的车辆定位信息,并给无人驾驶汽车发送全局路径信息,信息传输方式可以但不限制为为4G/5G等无线通信,之后运维后台将车辆定位信息、全局路径信息发送给监管中心,并接收监管中心发送的监管控制指令,下发给指定的无人驾驶汽车实施制动停车、熄火。
与无人驾驶汽车运行状态自动监管系统进行交互的外部实体主要包括:
(1)运维人员:依托于无人驾驶汽车运行状态自动监管系统的运营维护部门和人员,是无人驾驶汽车运行状态自动监管系统的通知对象。运维人员接收无人驾驶汽车运行状态自动监管系统的报警通知,响应并进行无人驾驶汽车的故障检修,使发生故障的无人驾驶汽车重新恢复正常的运行状态。
(2)无人驾驶汽车:不需要人类驾驶员能够自动行驶的汽车,是无人驾驶汽车运行状态自动监管系统的监管对象。无人驾驶汽车响应无人驾驶汽车运行状态自动监管系统的停车熄火指令,实施车辆的制动停车、熄火,等待运维人员的检修。
基于上述无人驾驶汽车运行状态自动监管系统,具体实现中,对于视频监控系统的数据输入:本实施例可使用基于视频图像的目标检测和轨迹追踪方法,找到无人驾驶汽车(目标汽车)在视频图像中的位置。其中,目标检测可使用不依赖区域建议的深度学习卷积神经网络,以提高目标检测速度。
无人驾驶汽车运行状态自动监管系统可使用兼顾检测速度与检测精度的YOLOv3目标检测模型。轨迹追踪根据目标检测的结果,追踪检测目标(目标汽车)在视频多帧中的位置,支持多目标的轨迹追踪。本实现中可使用与YOLOv3匹配的Deep Sort轨迹追踪模型。通过目标检测和轨迹追踪得到无人驾驶汽车的范围框BoundingBox(xmin,xmax,ymin,ymax),本实施例可通过如下公式计算无人驾驶汽车中心点在监控视频图像中的像素坐标(u,v):
u=(xmin+xmax)/2
v=(ymin+ymax)/2
然后,通过坐标转换得到无人驾驶汽车在场地中的世界坐标1(X1,Y1,Z1)。坐标转换需使用监控相机的内部参数和外部参数,经过像素坐标-图像坐标-相机坐标-世界坐标的计算,计算公式如下:
其中,X1、Y1、Z1为世界坐标,u、v为像素坐标,f、fx、fy、cx、cy为相机的内部参数,R、t为相机的外部参数,x、y为中间值图像坐标,Xc、Yc、Zc为中间值相机坐标。
对于运维后台的车辆定位信息输入:监管中心接收运维后台发送的车辆定位信息,解析信号得到无人驾驶汽车的世界坐标2(X2,Y2,Z2)。
对于运维后台的车辆路径信息输入:监管中心接收运维后台发送的全局路径信息,解析信号得到路径点坐标(x0,y0)、(x1,y1)、(x2,y2)...,通过数学计算拟合出描述路径点的一条样条线,描述公式如下:
y=c1x2+c2x+c3
然后,结合实际道路的宽度信息,使用行驶车道总宽度的1/2将样条线进行横向拓展,得到无人驾驶汽车的运行范围:R=f(x)∈[ymin,ymax]或R=f(y)∈[xmin,xmax]。
根据数据处理模块得到的无人驾驶汽车世界坐标1(X1、Y1、Z1)和世界坐标2(X2,Y2,Z2),数据融合模块进行两者的差异比较-异常点剔除-平滑处理三步操作,以消除GPS信号丢失、监控视频中车辆被遮挡、单一坐标位置突变等异常情况对无人驾驶汽车世界坐标的影响,得到高鲁棒性的无人驾驶汽车世界坐标(X,Y,Z)。
监管控制模块将数据融合模块得到的无人驾驶汽车世界坐标(X,Y,Z)与数据处理模块得到的无人驾驶汽车运行范围R进行比较,判断(X,Y,Z)是否在R范围内,确定目标车辆是否超出了运行范围。若没有超出运行范围,则系统继续监控;若超出了运行范围,监管中心将发送监管控制指令给运维后台,运维后台下发停车熄火指令给指定的无人驾驶汽车,车辆实施制动停车、熄火,防止无人驾驶汽车的运行失控造成安全事故。
若监管控制模块确定车辆超出运行范围,通知报警模块会通过监管中心连接的显示器和扬声器进行文字声音报警并通知相关的运维人员,由运维人员进行无人驾驶汽车的故障处理。车辆停车熄火后,运维人员就开始进行无人驾驶汽车的故障恢复和检修工作。
上述无人驾驶汽车的状态监管方法对无人驾驶汽车进行状态监管,采用独立运行的处理器进行,依据无人驾驶汽车的运维后台信息和第三方的监控视频实现对无人驾驶汽车的运行状态的监管,避免了车辆监管和自动驾驶控制工作都采用自动驾驶控制器,而自动驾驶控制器故障时而可能造成的安全事故,大大提升了无人驾驶汽车的运行安全性。
需要说明的是,在具体实现中,可以采用合适的处理方法或方式使得无人驾驶汽车的状态监管方法的实施具有高实时性的特点,以最小化数据输入与输出的延时。例如,目标检测使用兼顾检测速度与检测精度的YOLOv3模型;轨迹追踪使用的Deep Sort模型参数配置匹配较少帧数的视频图像;监管中心的服务器采用串行和并行加速的硬件配置,以上三点能够极大的提高数据处理分析的速度。此外,数据传输链路采用4G/5G等高速移动通信技术,可降低传输延时。一旦车辆运行超出路径范围,高实时性的处理系统能快速反应并实施相应的停车熄火措施,避免发生安全事故。
此外,本发明方案涉及无人驾驶汽车的远程监管和控制,若系统被非法侵入或通信数据被破解,会导致无人驾驶汽车无法正常运行,因此,安全性是本方案最重要的设计目标之一。为防止系统被非法侵入或通信数据被破解,监管中心与运维后台、运维后台与无人驾驶汽车之间的通信链路可使用TLS传输层安全性协议,采用主从式架构模型,用于在两个应用程序间透过网络创建起安全的连线,防止在交换数据时受到窃听及篡改。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
上述本发明公开的实施例中详细描述了方法,对于本发明的方法可采用多种形式的装置实现,因此本发明还公开了一种装置,下面给出具体的实施例进行详细说明。
图7为本发明实施例公开的一种无人驾驶汽车的状态监管装置的结构示意图,参见图7所示,无人驾驶汽车的状态监管装置70可以包括:
数据获取模块701,用于获取目标汽车的视频数据和运维数据。
坐标确定模块702,用于基于所述视频数据和所述运维数据确定所述目标汽车的世界坐标。
范围确定模块703,用于基于所述运维数据中的全局路径信息确定所述目标汽车的理论运行范围。
监管控制模块704,用于在所述世界坐标没有位于所述理论运行范围内的情况下,发出监管控制命令,所述监管控制命令用于指示控制所述目标汽车停车熄火。
本实施例所述无人驾驶汽车的状态监管装置,对无人驾驶汽车进行状态监管的工作由独立运行的处理器完成,过程中依据无人驾驶汽车的运维后台信息和第三方的监控视频实现对无人驾驶汽车的运行状态的监管,避免了车辆监管和自动驾驶控制工作都采用自动驾驶控制器,自动驾驶控制器故障时状态监管工作无法正常进行而可能造成的安全事故,大大提升了无人驾驶汽车的运行安安性。
其中,坐标确定模块可以包括:
第一坐标模块,用于对所述目标汽车的所述视频数据进行处理,得到所述目标汽车的第一世界坐标;
第二坐标模块,用于基于所述运维数据中的车辆定位信息确定所述目标汽车的第二世界坐标;
坐标融合模块,用于对所述第一世界坐标和所述第二世界坐标进行融合处理,得到所述目标汽车的世界坐标。
其中,第一坐标模块可以包括:
范围框确定模块,用于基于所述目标汽车的视频图像进行目标检测和轨迹追踪,得到所述目标汽车的范围框;
像素坐标确定模块,用于基于所述范围框确定所述目标汽车的中心点在所述视频图像中的像素坐标;
坐标确定模块,用于基于所述像素坐标,通过坐标转换得到所述目标汽车的第一世界坐标。
其中,坐标融合模块具体可用于:对所述第一世界坐标和所述第二世界坐标在时间维度上进行差异比较、异常点剔除和平滑处理,得到所述目标汽车的世界坐标。
在其他实现中,无人驾驶汽车的状态监管装置还可以包括:报警模块,用于在所述世界坐标没有位于所述理论运行范围内的情况下,发出报警信号。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种无人驾驶汽车的状态监管方法,其特征在于,包括:
获取目标汽车的视频数据和运维数据;
基于所述视频数据和所述运维数据确定所述目标汽车的世界坐标;
基于所述运维数据中的全局路径信息确定所述目标汽车的理论运行范围;
在所述世界坐标位于所述理论运行范围内的情况下,继续监控所述目标汽车的运行状态;
在所述世界坐标没有位于所述理论运行范围内的情况下,发出监管控制命令,所述监管控制命令用于指示控制所述目标汽车停车熄火。
2.根据权利要求1所述的无人驾驶汽车的状态监管方法,其特征在于,所述基于所述视频数据和所述运维数据确定所述目标汽车的世界坐标,包括:
对所述目标汽车的所述视频数据进行处理,得到所述目标汽车的第一世界坐标;
基于所述运维数据中的车辆定位信息确定所述目标汽车的第二世界坐标;
对所述第一世界坐标和所述第二世界坐标进行融合处理,得到所述目标汽车的世界坐标。
3.根据权利要求2所述的无人驾驶汽车的状态监管方法,其特征在于,所述对所述目标汽车的所述视频数据进行处理,得到所述目标汽车的第一世界坐标,包括:
基于所述目标汽车的视频图像进行目标检测和轨迹追踪,得到所述目标汽车的范围框;
基于所述范围框确定所述目标汽车的中心点在所述视频图像中的像素坐标;
基于所述像素坐标,通过坐标转换得到所述目标汽车的第一世界坐标。
4.根据权利要求2所述的无人驾驶汽车的状态监管方法,其特征在于,所述对所述第一世界坐标和所述第二世界坐标进行融合处理,得到所述目标汽车的世界坐标包括:
对所述第一世界坐标和所述第二世界坐标在时间维度上进行差异比较、异常点剔除和平滑处理,得到所述目标汽车的世界坐标。
5.根据权利要求1-4任一项所述的无人驾驶汽车的状态监管方法,其特征在于,还包括:
在所述世界坐标没有位于所述理论运行范围内的情况下,发出报警信号。
6.一种无人驾驶汽车的状态监管装置,其特征在于,包括:
数据获取模块,用于获取目标汽车的视频数据和运维数据;
坐标确定模块,用于基于所述视频数据和所述运维数据确定所述目标汽车的世界坐标;
范围确定模块,用于基于所述运维数据中的全局路径信息确定所述目标汽车的理论运行范围;
监管控制模块,用于在所述世界坐标没有位于所述理论运行范围内的情况下,发出监管控制命令,所述监管控制命令用于指示控制所述目标汽车停车熄火。
7.根据权利要求6所述的无人驾驶汽车的状态监管装置,其特征在于,所述坐标确定模块包括:
第一坐标模块,用于对所述目标汽车的所述视频数据进行处理,得到所述目标汽车的第一世界坐标;
第二坐标模块,用于基于所述运维数据中的车辆定位信息确定所述目标汽车的第二世界坐标;
坐标融合模块,用于对所述第一世界坐标和所述第二世界坐标融合处理,得到所述目标汽车的世界坐标。
8.根据权利要求7所述的无人驾驶汽车的状态监管装置,其特征在于,所述第一坐标模块包括:
范围框确定模块,用于基于所述目标汽车的视频图像进行目标检测和轨迹追踪,得到所述目标汽车的范围框;
像素坐标确定模块,用于基于所述范围框确定所述目标汽车的中心点在所述视频图像中的像素坐标;
坐标确定模块,用于基于所述像素坐标,通过坐标转换得到所述目标汽车的第一世界坐标。
9.根据权利要求7所述的无人驾驶汽车的状态监管装置,其特征在于,所述坐标融合模块具体用于:对所述第一世界坐标和所述第二世界坐标在时间维度上进行差异比较、异常点剔除和平滑处理,得到所述目标汽车的世界坐标。
10.根据权利要求6-9任一项所述的无人驾驶汽车的状态监管装置,其特征在于,还包括:
报警模块,用于在所述世界坐标没有位于所述理论运行范围内的情况下,发出报警信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010461625.3A CN111619584B (zh) | 2020-05-27 | 2020-05-27 | 一种无人驾驶汽车的状态监管方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010461625.3A CN111619584B (zh) | 2020-05-27 | 2020-05-27 | 一种无人驾驶汽车的状态监管方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111619584A true CN111619584A (zh) | 2020-09-04 |
CN111619584B CN111619584B (zh) | 2021-09-21 |
Family
ID=72257158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010461625.3A Active CN111619584B (zh) | 2020-05-27 | 2020-05-27 | 一种无人驾驶汽车的状态监管方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111619584B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101894271A (zh) * | 2010-07-28 | 2010-11-24 | 重庆大学 | 汽车偏离车道线角度和距离的视觉计算及预警方法 |
CN104978390A (zh) * | 2014-04-08 | 2015-10-14 | 波音公司 | 使用出行路径元数据进行情景感知目标检测 |
CN108646764A (zh) * | 2018-07-25 | 2018-10-12 | 吉林大学 | 基于规定路线的无人驾驶车辆及控制方法、装置和系统 |
CN109085620A (zh) * | 2017-06-13 | 2018-12-25 | 百度在线网络技术(北京)有限公司 | 无人驾驶车辆定位异常校准方法、装置、设备及存储介质 |
CN109435951A (zh) * | 2018-09-14 | 2019-03-08 | 纵目科技(上海)股份有限公司 | 一种无人驾驶车辆的远程监控方法、系统、终端和存储介质 |
EP3470789A1 (en) * | 2017-10-16 | 2019-04-17 | Mando Corporation | Autonomous driving support apparatus and method |
US20190147260A1 (en) * | 2017-11-14 | 2019-05-16 | AWARE Technologies | Systems and Methods for Moving Object Predictive Locating, Reporting, and Alerting |
CN110187334A (zh) * | 2019-05-28 | 2019-08-30 | 深圳大学 | 一种目标监控方法、装置及计算机可读存储介质 |
CN110203193A (zh) * | 2019-06-13 | 2019-09-06 | 智邮开源通信研究院(北京)有限公司 | 车辆控制方法、装置、汽车及存储介质 |
CN110667598A (zh) * | 2018-06-18 | 2020-01-10 | 百度(美国)有限责任公司 | 用于处理自动驾驶车辆中的传感器故障的方法 |
CN111086521A (zh) * | 2018-10-23 | 2020-05-01 | 三星电子株式会社 | 校准方法、校准装置以及非暂时性计算机记录媒体 |
-
2020
- 2020-05-27 CN CN202010461625.3A patent/CN111619584B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101894271A (zh) * | 2010-07-28 | 2010-11-24 | 重庆大学 | 汽车偏离车道线角度和距离的视觉计算及预警方法 |
CN104978390A (zh) * | 2014-04-08 | 2015-10-14 | 波音公司 | 使用出行路径元数据进行情景感知目标检测 |
CN109085620A (zh) * | 2017-06-13 | 2018-12-25 | 百度在线网络技术(北京)有限公司 | 无人驾驶车辆定位异常校准方法、装置、设备及存储介质 |
EP3470789A1 (en) * | 2017-10-16 | 2019-04-17 | Mando Corporation | Autonomous driving support apparatus and method |
US20190147260A1 (en) * | 2017-11-14 | 2019-05-16 | AWARE Technologies | Systems and Methods for Moving Object Predictive Locating, Reporting, and Alerting |
CN110667598A (zh) * | 2018-06-18 | 2020-01-10 | 百度(美国)有限责任公司 | 用于处理自动驾驶车辆中的传感器故障的方法 |
CN108646764A (zh) * | 2018-07-25 | 2018-10-12 | 吉林大学 | 基于规定路线的无人驾驶车辆及控制方法、装置和系统 |
CN109435951A (zh) * | 2018-09-14 | 2019-03-08 | 纵目科技(上海)股份有限公司 | 一种无人驾驶车辆的远程监控方法、系统、终端和存储介质 |
CN111086521A (zh) * | 2018-10-23 | 2020-05-01 | 三星电子株式会社 | 校准方法、校准装置以及非暂时性计算机记录媒体 |
CN110187334A (zh) * | 2019-05-28 | 2019-08-30 | 深圳大学 | 一种目标监控方法、装置及计算机可读存储介质 |
CN110203193A (zh) * | 2019-06-13 | 2019-09-06 | 智邮开源通信研究院(北京)有限公司 | 车辆控制方法、装置、汽车及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111619584B (zh) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7541496B2 (ja) | 車両、ロボットまたはドローンを遠隔監視するシステムおよび方法 | |
JP7530989B2 (ja) | 自律車両の遠隔監視および制御のための人工知能方法およびシステム | |
US9836661B2 (en) | System and method for collision avoidance | |
CN109345829A (zh) | 无人车的监控方法、装置、设备及存储介质 | |
CN111984015B (zh) | 一种基于混合增强智能的自动驾驶车辆实现方法 | |
CN113895450A (zh) | 一种无人驾驶车辆感知系统安全冗余系统及控制方法 | |
US20160163209A1 (en) | System and method for aircraft fleet management | |
KR102456869B1 (ko) | 스마트 교통관제 시스템 | |
CN115465293B (zh) | 一种多传感器安全自认知及安全处理装置及方法 | |
CN115909740A (zh) | 车路协同实现方法、装置、计算机设备及存储介质 | |
CN114187676A (zh) | 一种巡检方法、装置、设备、系统和存储介质 | |
CN111619584B (zh) | 一种无人驾驶汽车的状态监管方法及装置 | |
US20240029480A1 (en) | Vehicle fault processing method and apparatus, server, device, and medium | |
KR102551566B1 (ko) | 교통사고 검지 시스템 및 그 방법 | |
CN114572279A (zh) | 一种轨道交通远程驾驶智能防护系统 | |
CN109017787B (zh) | 一种行驶控制方法 | |
CN111252063A (zh) | 一种新型汽车主动安全控制系统及方法 | |
US12033399B1 (en) | Turn and brake action prediction using vehicle light detection | |
KR102592142B1 (ko) | 가변 속도 제한 구간 무인 과속 단속 시스템 | |
KR102592141B1 (ko) | 기후 변화 대응형 교차로 교통 신호 제어 시스템 | |
Rahimunnisa | Implementation of Distributed AI in an Autonomous Driving Application | |
Kulkarni et al. | Automated Gate control with backup systems at Level Crossing | |
CN118618436A (zh) | 自动驾驶数据处理系统、方法、车辆及存储介质 | |
CN118192686A (zh) | 一种无人驾驶汽车的车速调控方法 | |
Bandi et al. | Real Time Vehicle Collision Using Bounding Box Methodology with Alert System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 4 / F, building 1, No.14 Jiuxianqiao Road, Chaoyang District, Beijing 100020 Applicant after: Beijing Jingwei Hirain Technologies Co.,Inc. Address before: 8 / F, block B, No. 11, Anxiang Beili, Chaoyang District, Beijing 100101 Applicant before: Beijing Jingwei HiRain Technologies Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |