CN114394100B - 一种无人巡逻车控制系统及无人车 - Google Patents
一种无人巡逻车控制系统及无人车 Download PDFInfo
- Publication number
- CN114394100B CN114394100B CN202210031544.9A CN202210031544A CN114394100B CN 114394100 B CN114394100 B CN 114394100B CN 202210031544 A CN202210031544 A CN 202210031544A CN 114394100 B CN114394100 B CN 114394100B
- Authority
- CN
- China
- Prior art keywords
- subsystem
- static image
- target picture
- unmanned
- judging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 claims abstract description 19
- 230000003068 static effect Effects 0.000 claims description 62
- 238000002372 labelling Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 18
- 238000011160 research Methods 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000004297 night vision Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000004438 eyesight Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 238000000227 grinding Methods 0.000 abstract description 7
- 230000000875 corresponding effect Effects 0.000 description 28
- 238000000034 method Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004659 sterilization and disinfection Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003345 natural gas Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
Abstract
本发明涉及无人车控制技术领域,具体涉及一种无人巡逻车控制系统及无人车。控制系统包括:监控子系统、智能分析子系统、研判子系统、执行子系统。设置在无车驾驶车辆上的监控子系统用于获取无人车当前行驶环境的视频流;智能分析子系统用于对视频流进行解码以及分析,得到分析结果;研判子系统用于对分析结果进行判断以得到相应的控制指令;执行子系统用于执行控制指令以控制无人巡逻车工作,例如控制无人巡逻车设法逼停或跟踪在逃嫌疑人员驾驶的车辆等。因此采用本申请的无人巡逻车控制系统,可以实现无人巡逻,节约了人力资源成本。
Description
技术领域
本发明涉及无人车控制技术领域,具体涉及一种无人巡逻车控制系统及无人车。
背景技术
目前无人驾驶技术尚未完全成熟,偶有发生无人驾驶车引发事故等情况,说明行车期间需要通过安装激光雷达等辅助驾驶。部分传统汽车安装了行车记录仪,通常却只能作为交通事故等视频取证之用。更重要的是因缺少技术方案的引导和与现有成熟产品的融合,无人驾驶车的用途和价值并未被明显发掘和广泛应用。
目前为了城市的安全,城市都会有城管或者协警驾驶巡逻车在城市各处巡逻,以便及时发现城市存在安全隐患的问题,并且现场解决以保障城市的安全,这种人工驾驶巡逻车巡查的方式需要耗费巨大的人力资源成本。
因此目前虽然无人驾驶技术逐步成熟,但是无人驾驶技术还仅限于车辆的无人化驾驶,还并未应用到城市安全管理上。
发明内容
本发明主要解决的技术问题是现有的人工驾驶巡逻车巡查的方式需要耗费巨大的人力资源成本。
一种无人巡逻车控制系统,包括:监控子系统、智能分析子系统、研判子系统、执行子系统;
所述监控子系统用于获取无人巡逻车当前行驶环境的视频流;所述智能分析子系统用于对所述视频流进行解码以及分析,得到分析结果;所述研判子系统用于对所述分析结果进行判断以得到相应的控制指令;所述执行子系统用于执行所述控制指令以控制无人巡逻车工作。
在一种实施例中,所述智能分析子系统包括抽帧模块和识别标注模块;
所述抽帧模块用于对所述视频流进行抽帧操作,以将所述视频流转换成目标图片;
所述识别标注模块用于对所述目标图片进行实时识别和分析,得到分析结果,并根据所述分析结果对对应的目标图片进行标注,得到已标注的静态图像;
所述研判子系统用于对所述已标注的静态图像进行判断得到判断结果,然后根据所述判断结果生成对应的控制指令。
在一种实施例中,所述智能分析子系统还包括转码模块,所述转码模块用于在对所述视频流进行抽帧操作之前,对所述视频流进行转码操作,使得转码后的视频流的协议满足预设的要求。
在一种实施例中,所述对所述目标图片进行实时识别和分析,得到分析结果,并根据所述分析结果对对应的目标图片进行标注,得到已标注的静态图像包括:
将目标图片输入到已训练好的识别标注模型中,所述识别标注模型用于对所述目标图片进行特征提取以得到特征信息,然后根据所述特征信息判断当前目标图片是否满足目标特征,若满足则将当前目标图片标注为正样本静态图像;否则标注为负样本静态图像;
所述已标注的静态图像包括所述正样本静态图像和负样本静态图像。
在一种实施例中,在对所述视频流进行抽帧操作,以将所述视频流转换成目标图片时,还同步提取用于获取目标图片对应的设备ID以及获取时间,将所述设备ID和获取时间作为该目标图片对应的标签;
在输出所述已标注的静态图像之后还包括:
根据标注为正样本静态图像的当前目标图片对应的标签确定该正样本静态图像对应的目标图片;
在一个预设的视频合成周期内,采用所述正样本静态图像取代视频合成周期内所有目标图片中该正样本静态图像对应的未标注的目标图片;
并将所述正样本静态图像和未被取代的目标图片进行合成,得到标注视频流。
在一种实施例中,所述研判子系统还用于对所述标注视频流进行判断得到判断结果,然后根据所述判断结果生成对应的控制指令。
在一种实施例中,还包括视觉机器学习平台;
所述视觉机器学习平台用于根据所述正样本静态图像和/或负样本静态图像进一步训练所述识别标注模型,以完成对该识别标注模型的升级。
在一种实施例中,所述监控子系统包括深度相机、短基线立体相机、红外相机、车载摄像机、手机、带摄像头的平板电脑、具有夜视功能的网络摄像机中的一种或多种。
在一种实施例中,所述研判子系统中预设有判断策略;
所述研判子系统根据预设的判断策略对所述静态图像和/或标注视频进行判断从而得到所述判断结果;
所述研判子系统还用于,在根据预设的判断策略对所述静态图像和/或标注视频进行判断未得到判断结果时,将所述静态图像和/或标注视频发送给人工判断模块,以使得工作人员及时进行人工判断而得到所述控制指令。
一种无人巡逻车,包括如上所述的控制系统。
依据上述实施例的无人巡逻车控制系统,其包括:监控子系统、智能分析子系统、研判子系统、执行子系统。设置在无车驾驶车辆上的监控子系统用于获取无人车当前行驶环境的视频流;智能分析子系统用于对视频流进行解码以及分析,得到分析结果;研判子系统用于对分析结果进行判断以得到相应的控制指令;执行子系统用于执行控制指令以控制无人巡逻车工作,例如控制无人巡逻车设法逼停或跟踪在逃嫌疑人员驾驶的车辆等。因此采用本申请的无人巡逻车控制系统,可以实现无人巡逻,节约了人力资源成本。
附图说明
图1为本申请实施例的控制系统结构框图;
图2为本申请实施例的智能分析子系统结构框图;
图3为本申请实施例的执行子系统结构框图;
图4为本申请实施例的控制系统组网示意图;
图5为本申请另一个实施例的控制系统组网示意图;
图6为本申请另一个实施例的控制系统组网示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
本申请将无人驾驶技术和深度学习技术相结合,提出一种无人巡逻车的控制系统,基于深度学习技术实时获取环境信息,然后通过智能研判技术来对环境信息进行实时判断以做出对应的控制指令,然后通过该控制指令来控制无人车的执行子系统工作,以完成相应的动作。这样可以实现无人化巡逻,节约了人力成本。
另外,现有技术中对视频流进行目标检测由于容易漏检而导致检测精度不高,为了解决现有技术中检测精度不高的技术问题,本申请中在对环境信息进行智能识别分析时,将动态的视频流转换成静态的图片,然后对静态图片进行识别和分析,得到分析结果后对目标图片进行标注,最后输出已标注的静态图像,这样在保证检测的实时性的同时,降低漏检率,使得检测结果更加精确。另外,由于视频流一般占用带宽较大且视频流的URL(统一资源定位器)经常变化,这样导致对视频流的解析经常失败,也会导致通过视频流进行解析检测失败而影响检测精度,本申请将视频流转换成图片后,传输和解析更加稳定,也避免了解析失败的情况。
实施例一:
请参考图1,本实施例提供一种无人巡逻车控制系统,其包括:监控子系统101、智能分析子系统102、研判子系统103、执行子系统104。
其中,监控子系统101用于获取无人车当前行驶环境的视频流。智能分析子系统102用于对视频流进行解码以及分析,得到分析结果。研判子系统103用于对分析结果进行判断以得到相应的控制指令;执行子系统104用于执行控制指令以控制无人巡逻车工作。
其中,本实施例的监控子系统101包括至少1个监控装置(即视频获取装置),例如包括深度相机、短基线立体相机、红外相机、车载摄像机、手机、带摄像头的平板电脑等和夜视功能的网络摄像机中的一种或者多种。一般的,在无人驾驶车辆上设有多个高精度的视频获取装置,用来实时地获取车辆周围环境的视频流。
其中,智能分析子系统102可以设置在无人驾驶车内,也可以设置在远程的监控中心内,主要用于对视频流进行解析和分析,得到视频流中的特征信息。如图2,本实施例的智能分析子系统102包括抽帧模块1021和识别标注模块1022。抽帧模块1021用于对视频流进行抽帧操作,以将视频流转换成目标图片;其中,抽帧的频率可以根据不同的应用场景需求来设置,例如抽帧频率为:1帧/秒、25帧/秒、1帧/20秒中的一种。
识别标注模块1022用于对目标图片进行实时识别和分析,得到分析结果,并根据分析结果对对应的目标图片进行标注,得到已标注的静态图像;研判子系统103用于对已标注的静态图像进行判断得到判断结果,然后根据所述判断结果生成对应的控制指令。
在另一种实施例中,智能分析子系统102还包括转码模块1020,转码模块1020用于在对视频流进行抽帧操作之前,对视频流进行转码操作,使得转码后的视频流的协议满足预设的要求。
本实施例中,对目标图片进行实时识别和分析,得到分析结果,并根据分析结果对对应的目标图片进行标注,得到已标注的静态图像包括:将目标图片输入到已训练好的识别标注模型中,识别标注模型用于对目标图片进行特征提取以得到特征信息,然后根据特征信息判断当前目标图片是否满足目标特征,若满足则将当前目标图片标注为正样本静态图像;否则标注为负样本静态图像。需要说明的是,本实施例的正样本和负样本是根据目标的特征信息而人为设定的,没有具体的限制作用。识别标注模型用于对目标图片进行特征提取以得到特征信息,然后根据特征信息判断当前目标图片是否满足目标特征,若满足则将当前目标图片标注为正样本静态图像;否则标注为负样本静态图像;本实施例中的已标注的静态图像包括正样本静态图像和负样本静态图像。具体实现时,例如拉取1路视频流做轮巡分析:智能分析子系统102上部署多个容器,将接入、解码、管理、算法、接出、数据库等服务部署到容器中。视频流方式接入设备后,绑定能力集(即识别标注模型)、绑定静态库、上传照片到静态库、调整告警阈值、设置输出结果格式。例如绑定用于辅助驾驶的能力集为最佳车辆行人避让检测、车辆行人重识别、跟踪比对、虚化其它车道来往车辆、重点关注当前车道(路标、红绿灯、交警指挥手势、实线、人行道、行人、大型动物、较大障碍物)和前方车辆(与前方车辆车轮或车牌的距离、速度);绑定用于街道违规识别的能力集为行人倒地、路面积水、烟雾识别、明火识别等。例如绑定的能力集为车辆入侵、行人入侵检测、去重识别、前后帧比对,检测所有车辆、人员目标,减少动态分析中可能漏检或漏报的目标,从而提高召回率。基于相同的硬件设备,采用本实施例的将动态视频流转换为静态的图像进行分析时,可以同时接入和分析更多路的视频流。同理的,对于现在需要性能不是很高的老旧设备,采用本申请的方法,可以使得其的性能发挥出和现有的高性能同样的技术效果,即检测识别速度跟的上现有配置较高的设备。另外,对于一些需要同时进行数据传输和存储的设备来说,采用本实施例的转换方法后得到的正样本静态图像,其存储时占用空间比视频流小的多,因此同样的存储容量的硬件设备可以存储更长时间的采集信息。如果需要将检测到的信息发送给远程平台时,本实施例的正样本静态图像占用的带宽资源更小,传播速度更快,且传输更加稳定。
在一种实施例中,对视频流进行抽帧操作,以将视频流转换成目标图片时,还同步提取用于获取目标图片对应的设备ID以及获取时间,例如,本实施例中抽帧频率的频率配置为25帧/秒,通过视频流抽帧或截图方式采集原始图片,原始图片命名中含有设备ID、抽帧(截图)时间。将设备ID和获取时间作为该目标图片对应的标签;在输出已标注的静态图像之后还包括:根据标注为正样本静态图像的当前目标图片对应的标签确定该正样本静态图像对应的目标图片;在一个预设的视频合成周期内,采用正样本静态图像取代视频合成周期内所有目标图片中该正样本静态图像对应的未标注的目标图片;并将正样本静态图像和未被取代的目标图片进行合成,得到标注视频流。由于标签在图像处理过程中的不变性,因此正样本静态图像对应的标签就是其对应的目标图片对应的标签。每个目标图片对应的标签在图像处理过程中不会变化,基于此可以找到对应的一组目标图片和正样本静态图像。例如,输出一段时间内连续3~5张违规结果图片(即正样本静态图像)和带标注视频流,为执法提供证据支撑。本实施例进行轮巡分析,每个接入线程分为打开视频流、抽帧解析视频流、关闭视频流三个步骤,默认5min轮巡周期内只解析1张,可以极大降低了存储空间、网络流量和传输延时。
在一种实施例中,研判子系统还103用于对标注视频流进行判断得到判断结果,然后根据判断结果生成对应的控制指令。可以理解的是,智能分析子系统102输出的可以为已标注的静态图像或标注视频流,最优选择的是智能分析子系统102可以同时输出静态图像和标注视频流,研判子系统还103可以根据静态图像和标注视频流的标注信息(即标注的特征信息)来判断需要进行那种控制指令。
在一种实施例中,本实施例的系统还包括视觉机器学习平台105;视觉机器学习平台105用于根据正样本静态图像进一步训练识别标注模型,以完成对该识别标注模型的升级。例如,视觉机器学习平台105周期性的对识别标注模型进行训练,然后采用远程技术将识别标注模型的升级版本包下发给智能分析子系统102,以完成对识别标注模型的升级,使得识别标注模型使得的精度更高,同时可识别的场景也更多。例如,远程技术中心人员,通过登录跳板机上传升级版本包和一键升级脚本,连接智能分析子系统102(也可以理解为智能发现分析一体机)拷贝版本包和脚本,并执行脚本,将最新训练的算法模型部署到智能发现分析一体机上。或者每次开发人员提交新代码,触发自动打包,并将版本包和脚本自动上传跳板机和执行一键部署脚本。
其中,本实施例的研判子系统103中预设有判断策略(即判断方法),研判子系统103根据预设的判断策略对静态图像和标注视频进行判断从而得到判断结果。其中,判断结果包括车辆是否发生异常、是否有行人入侵、是否发生火灾、是否发生水灾等,例如若检测到有行人入侵,则发送控制指令为减速或者停车。无人驾驶过程中提前发现红灯(或黄灯)、有人行道、行人、动物、与前方车辆车距过小或道路拥堵时进行提前减速或停车避让。
研判子系统103还用于在根据预设的判断策略对静态图像和标注视频进行判断未得到判断结果时,将静态图像和标注视频发送给人工判断模块或者监控中心的用户端,以使得工作人员及时进行人工判断而得到控制指令。超出智能无人巡逻车预设的自控场景的情况,监控中心人员可以通过标注视频流或接收研判子系统103推送的告警后远程操纵或指令控制控制巡逻车的操控动作,例如通过回传视频数据监控到需帮人员情况,给予帮助人员对应的救援服务,例如检测到街头倒地醉酒人员或流浪时汉呼叫救护中心或红十字会等慈善机构,搭载行动不便、生病受伤的人员、健康码为黄码及红码人员,并远程设置线路图护送至指定医院等地点、为暴雨涉水熄火车辆提供牵引或者救援工具、救生衣、游泳圈等、发生自燃车辆及人员提供灭火器、呼叫消防中心支援等。
其中,执行子系统104根据无人巡逻车的实际需求设置,其至少包括无人驾驶辅助系统和救援救灾装置,另外还包括巡逻常用的辅助装置。例如包括用于火灾救援的自动灭火装置、用于涉水牵引车辆的牵引装置、自动开关车门装置等。请参考图3,例如执行子系统104包括拨号呼叫装置、车载硬盘录像机、灯光/防撞装置、警报/喇叭装置、防雨/防雾装置、发动机装置、自动牵引装置、自动门装置、充电供电装置、救援救灾工具、供暖散热装置、消毒杀菌装置、无人驾驶系统模块、辅助驾驶系统模块。
在一种实施例中,如图4,监控子系统101和执行子系统104设置在无人巡逻车端,而将智能分析子系统102和研判子系统103设置在远程监控中心,监控子系统101和执行子系统104通过无线通信技术与智能分析子系统102通信连接以传输信息。
在另一种实施例中,如图5,监控子系统101、智能分析子系统102、执行子系统104均设置在无人巡逻车端,而将研判子系统103设置在远程监控中心,监控子系统101、智能分析子系统102、执行子系统104通过无线通信技术与研判子系统103通信连接以传输信息。
在另一种实施例中,将监控子系统101、智能分析子系统102、研判子系统103、执行子系统104均设置在无人巡逻车端。
在一种实施例中,本实施的智能分析子系统102集成在智能分析一体机内,本实施例以配置RTX2080 GPU显卡的一体机为例进行说明,经过多次实验本实施的一体机的最大负载为32路视频流实时解析(不会超过36路)或者5min周期静态巡检300路;而一体机处理静态图片的性能测试结果为TPS(并发量)=40张/秒,意味着一体机每秒最大可以吞吐和处理图片40张。如果能够将动态视频流全部转为静态图片接入方式处理,按照5min巡检周期计算,一体机理论上可以最大处理40张/秒*300秒=12000张。一体机性能也受网口和带宽限制,1路1980*1080像素的视频流接入占用带宽约1~2MB,标配一体机默认是千兆网口,理论上至少可以支持1000MB/2MB/路=500路视频流。即使按每秒抽1帧的方式进行处理,5min周期也可以并发40路(大于32路)视频流接入,从而实现将静态分析引擎作为动态分析引擎使用的方法。如图6为本实施例的系统工作时的组网示意图,无人驾驶控制系统以及网络摄像机通过无线网络与管理服务器和智能发现分析一体机通信连接,管理服务器用于对网络摄像机采集的视频流进行储存,智能发现分析一体机用于对视频流进行实时分析,用户可以通过监控显示器查看分析结果。
以下结合具体的场景对本申请的控制系统工作流程进行说明。
S1、将远程监控中心中的智能分析子系统102和无人驾驶车完成远程对接,将无人驾驶中车中的视频监控装置(夜视网络摄像机)以图片接入方式接入智能分析子系统102,并设定智能分析子系统102的抽帧频率为1帧/秒,绑定路面积水、内涝识别、行人倒地、人员入侵、最佳车辆入侵、压实线检测等能力集。
S2、白天,无人巡逻车在充电桩自动充满电后,由监控中心发送远程指令,自动完成胎压、电量、灯光、刹车自检,检查车门是否自动关闭,自动开锁并启动发动机。
S3、根据设定的巡逻路线(或者固定轨道)进行行驶,行驶过程中实时采集当前行驶环境视频流,视频流通过无线网络传输至监控中心进行分析和监控。
S4、可选的,根据雷达传感器装置和智能发现分析子系统的准实时分析结果,进行避障、避免压实线。
S5、中途监测到车辆的电量快要超过可以返回(已设定的)指定地点的所需的耗电量时,则提醒监控中心是否返航。否则,直至电量不足,寻找最近的充电桩或加油(或天然气)站,然后自动泊车,进行续航充电。
S6、到了晚上,检测到光线较暗时候,自动开启灯光装置,根据照明情况自动选择远光灯还是近光灯,远光灯如遇到对面来车等情况则切换到近光灯。
S7、夜间,无人巡逻车,通过上传视频流并接收智能分析子系统102分析的返回结果,及时发现路面积水等情况。如果遇到桥下或隧道中已经形成内涝,则自动减速慢行并开启巡逻警报灯和报警器,并通过监控中心及时发布暴雨警报,通知来往车辆和行人注意安全和选择其他路线;遇到涉水停下的车辆,减速靠近,并自动伸出牵引杆,通过吸盘(逐渐靠近另一辆车,排空气体,牢牢吸住)或挂钩(牵引杆的前端钩锁自动闭合)等方式完成与涉水车辆的牵引。如果遇到人员倒地或者老弱病残孕需要送往医院或隔离场所等情况,自动停车后、自动开启车门,待人员确认入座后,自动系上安全带,并开启救护车警报、喇叭开道,待到达目的地后自动停车、泊车、松开安全带与开门,待人员离开后关门,继续巡逻、并进行自动杀菌、消毒。
S9、另外,升级维护或维修期间,对智能分析子系统102中的识别标注模型在线自动升级。
采用本实施例的无人巡逻车控制系统,将无人驾驶和智能识别分析技术相结合,可以实现智能巡逻,及时发现环境中的信息,给需要提供帮助的场景或者人提供帮助,节约了人力成本。
实施例二:
本实施例提供一种无人巡逻车,其包括如上实施例一提供的控制系统。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。
Claims (9)
1.一种无人巡逻车控制系统,其特征在于,包括:监控子系统、智能分析子系统、研判子系统、执行子系统;
所述监控子系统用于获取无人巡逻车当前行驶环境的视频流;
所述智能分析子系统用于对所述视频流进行解码以及分析,得到分析结果;其中,所述智能分析子系统包括抽帧模块和识别标注模块;所述抽帧模块用于对所述视频流进行抽帧操作,以将所述视频流转换成目标图片,并同步提取用于获取目标图片对应的设备ID以及获取时间,将所述设备ID和获取时间作为该目标图片对应的标签;
所述识别标注模块用于对所述目标图片进行实时识别和分析,得到分析结果,并根据所述分析结果对对应的目标图片进行标注,得到已标注的静态图像,所述已标注的静态图像包括正样本静态图像和负样本静态图像;
根据标注为正样本静态图像的当前目标图片对应的标签确定该正样本静态图像对应的目标图片;
在一个预设的视频合成周期内,采用所述正样本静态图像取代视频合成周期内所有目标图片中该正样本静态图像对应的未标注的目标图片;
并将所述正样本静态图像和未被取代的目标图片进行合成,得到标注视频流;
所述研判子系统用于对所述分析结果进行判断以得到相应的控制指令;所述执行子系统用于执行所述控制指令以控制无人巡逻车工作。
2.如权利要求1所述的无人巡逻车控制系统,其特征在于,所述
研判子系统用于对所述已标注的静态图像进行判断得到判断结果,然后根据所述判断结果生成对应的控制指令。
3.如权利要求1所述的无人巡逻车控制系统,其特征在于,所述智能分析子系统还包括转码模块,所述转码模块用于在对所述视频流进行抽帧操作之前,对所述视频流进行转码操作,使得转码后的视频流的协议满足预设的要求。
4.如权利要求1所述的无人巡逻车控制系统,其特征在于,所述对所述目标图片进行实时识别和分析,得到分析结果,并根据所述分析结果对对应的目标图片进行标注,得到已标注的静态图像包括:
将目标图片输入到已训练好的识别标注模型中,所述识别标注模型用于对所述目标图片进行特征提取以得到特征信息,然后根据所述特征信息判断当前目标图片是否满足目标特征,若满足则将当前目标图片标注为正样本静态图像;否则标注为负样本静态图像。
5.如权利要求1所述的无人巡逻车控制系统,其特征在于,所述研判子系统还用于对所述标注视频流进行判断得到判断结果,然后根据所述判断结果生成对应的控制指令。
6.如权利要求4所述的无人巡逻车控制系统,其特征在于,还包括视觉机器学习平台;
所述视觉机器学习平台用于根据所述正样本静态图像和/或负样本静态图像进一步训练所述识别标注模型,以完成对该识别标注模型的升级。
7.如权利要求1所述的无人巡逻车控制系统,其特征在于,所述监控子系统包括深度相机、短基线立体相机、红外相机、车载摄像机、手机、带摄像头的平板电脑、具有夜视功能的网络摄像机中的一种或多种。
8.如权利要求1所述的无人巡逻车控制系统,其特征在于,所述研判子系统中预设有判断策略;
所述研判子系统根据预设的判断策略对所述静态图像和/或标注视频进行判断从而得到所述判断结果;
所述研判子系统还用于,在根据预设的判断策略对所述静态图像和/或标注视频进行判断未得到判断结果时,将所述静态图像和/或标注视频发送给人工判断模块,以使得工作人员及时进行人工判断而得到所述控制指令。
9.一种无人巡逻车,其特征在于,包括如权利要求1-8任一项所述的控制系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210031544.9A CN114394100B (zh) | 2022-01-12 | 2022-01-12 | 一种无人巡逻车控制系统及无人车 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210031544.9A CN114394100B (zh) | 2022-01-12 | 2022-01-12 | 一种无人巡逻车控制系统及无人车 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114394100A CN114394100A (zh) | 2022-04-26 |
CN114394100B true CN114394100B (zh) | 2024-04-05 |
Family
ID=81230277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210031544.9A Active CN114394100B (zh) | 2022-01-12 | 2022-01-12 | 一种无人巡逻车控制系统及无人车 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114394100B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115273459A (zh) * | 2022-06-25 | 2022-11-01 | 河南机电职业学院 | 一种无人驾驶的安全巡逻车 |
CN114913323B (zh) * | 2022-07-15 | 2022-11-15 | 东莞先知大数据有限公司 | 一种充电桩区域夜间明火检测方法 |
Citations (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2006277225A1 (en) * | 2005-08-09 | 2007-02-15 | Panasonic Corporation | Recording medium, playback apparatus, method and program |
WO2012111320A1 (ja) * | 2011-02-16 | 2012-08-23 | パナソニック株式会社 | 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム |
CN103455032A (zh) * | 2012-05-28 | 2013-12-18 | 李寅雪 | 环卫智能小车及其控制系统 |
CN105511469A (zh) * | 2015-12-18 | 2016-04-20 | 北京联合大学 | 一种无人智能巡逻电动车及巡逻系统 |
CN106341661A (zh) * | 2016-09-13 | 2017-01-18 | 深圳市大道智创科技有限公司 | 巡逻机器人 |
CN107590834A (zh) * | 2017-08-10 | 2018-01-16 | 北京博思廷科技有限公司 | 一种道路交通事件视频检测方法及系统 |
JP2018032282A (ja) * | 2016-08-26 | 2018-03-01 | シャープ株式会社 | 自律走行車両制御装置、自律走行車両制御システム及び自律走行車両制御方法 |
CN108961768A (zh) * | 2018-07-30 | 2018-12-07 | 鄂尔多斯市普渡科技有限公司 | 一种无人驾驶警用巡逻车以及巡逻方法 |
CN109398365A (zh) * | 2018-12-05 | 2019-03-01 | 苏州博众机器人有限公司 | 一种巡逻车检测系统及巡逻车 |
WO2020038243A1 (zh) * | 2018-08-21 | 2020-02-27 | 腾讯科技(深圳)有限公司 | 一种视频摘要生成方法、装置、计算设备和存储介质 |
KR20200086469A (ko) * | 2019-01-09 | 2020-07-17 | 주식회사 바이오큐브 | 순찰차량용 얼굴인식 시스템 |
CN111459172A (zh) * | 2020-05-20 | 2020-07-28 | 中国北方车辆研究所 | 围界安防无人巡逻车自主导航系统 |
CN111582166A (zh) * | 2020-05-07 | 2020-08-25 | 深圳市瑞驰信息技术有限公司 | 基于高斯建模和YoLo V3目标检测的遗留物检测方法 |
CN111626922A (zh) * | 2020-05-11 | 2020-09-04 | 北京字节跳动网络技术有限公司 | 图片生成方法、装置、电子设备及计算机可读存储介质 |
CN111881776A (zh) * | 2020-07-07 | 2020-11-03 | 腾讯科技(深圳)有限公司 | 动态表情获取方法、装置、存储介质和电子设备 |
CN111881720A (zh) * | 2020-06-09 | 2020-11-03 | 山东大学 | 用于深度学习的数据自动增强扩充方法、识别方法及系统 |
CN111931678A (zh) * | 2020-08-21 | 2020-11-13 | 腾讯科技(深圳)有限公司 | 一种视频信息处理方法、装置、电子设备及存储介质 |
CN112163543A (zh) * | 2020-10-12 | 2021-01-01 | 北京易华录信息技术股份有限公司 | 一种车辆违法占道的检测方法及系统 |
CN112395961A (zh) * | 2020-10-31 | 2021-02-23 | 太原理工大学 | 一种洒水车的视觉主动行人避让及水压自适应控制方法 |
CN112668411A (zh) * | 2020-12-15 | 2021-04-16 | 南京中兴力维软件有限公司 | 基于sgan的视频流标记方法、装置、系统及存储介质 |
CN113095161A (zh) * | 2021-03-23 | 2021-07-09 | 深圳力维智联技术有限公司 | 危险行为的识别方法、装置、终端设备及计算机存储介质 |
CN113221800A (zh) * | 2021-05-24 | 2021-08-06 | 珠海大横琴科技发展有限公司 | 一种待检测目标的监控判断方法及系统 |
CN113255481A (zh) * | 2021-05-11 | 2021-08-13 | 北方工业大学 | 一种基于无人巡逻车的人群状态检测方法 |
WO2021169501A1 (zh) * | 2020-02-26 | 2021-09-02 | 平安科技(深圳)有限公司 | 活体视频图片处理方法、装置、计算机设备和存储介质 |
WO2021202096A1 (en) * | 2020-03-30 | 2021-10-07 | Alibaba Group Holding Limited | Data processing method and system, storage medium, and computing device |
CN113534829A (zh) * | 2021-06-11 | 2021-10-22 | 南京邮电大学 | 一种基于边缘计算的无人机日常巡逻检测系统 |
CN114419502A (zh) * | 2022-01-12 | 2022-04-29 | 深圳力维智联技术有限公司 | 一种数据分析方法、装置及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170111532A1 (en) * | 2012-01-12 | 2017-04-20 | Kofax, Inc. | Real-time processing of video streams captured using mobile devices |
US10810872B2 (en) * | 2018-07-31 | 2020-10-20 | Baidu Usa Llc | Use sub-system of autonomous driving vehicles (ADV) for police car patrol |
US11320829B2 (en) * | 2020-01-31 | 2022-05-03 | Ekin Teknoloj: Sanayi Ve Ticaret Anonim Sirketi | Battery powered artificial intelligence autonomous patrol vehicle |
-
2022
- 2022-01-12 CN CN202210031544.9A patent/CN114394100B/zh active Active
Patent Citations (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2006277225A1 (en) * | 2005-08-09 | 2007-02-15 | Panasonic Corporation | Recording medium, playback apparatus, method and program |
WO2012111320A1 (ja) * | 2011-02-16 | 2012-08-23 | パナソニック株式会社 | 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム |
CN103455032A (zh) * | 2012-05-28 | 2013-12-18 | 李寅雪 | 环卫智能小车及其控制系统 |
CN105511469A (zh) * | 2015-12-18 | 2016-04-20 | 北京联合大学 | 一种无人智能巡逻电动车及巡逻系统 |
JP2018032282A (ja) * | 2016-08-26 | 2018-03-01 | シャープ株式会社 | 自律走行車両制御装置、自律走行車両制御システム及び自律走行車両制御方法 |
CN106341661A (zh) * | 2016-09-13 | 2017-01-18 | 深圳市大道智创科技有限公司 | 巡逻机器人 |
CN107590834A (zh) * | 2017-08-10 | 2018-01-16 | 北京博思廷科技有限公司 | 一种道路交通事件视频检测方法及系统 |
CN108961768A (zh) * | 2018-07-30 | 2018-12-07 | 鄂尔多斯市普渡科技有限公司 | 一种无人驾驶警用巡逻车以及巡逻方法 |
WO2020038243A1 (zh) * | 2018-08-21 | 2020-02-27 | 腾讯科技(深圳)有限公司 | 一种视频摘要生成方法、装置、计算设备和存储介质 |
CN109398365A (zh) * | 2018-12-05 | 2019-03-01 | 苏州博众机器人有限公司 | 一种巡逻车检测系统及巡逻车 |
KR20200086469A (ko) * | 2019-01-09 | 2020-07-17 | 주식회사 바이오큐브 | 순찰차량용 얼굴인식 시스템 |
WO2021169501A1 (zh) * | 2020-02-26 | 2021-09-02 | 平安科技(深圳)有限公司 | 活体视频图片处理方法、装置、计算机设备和存储介质 |
WO2021202096A1 (en) * | 2020-03-30 | 2021-10-07 | Alibaba Group Holding Limited | Data processing method and system, storage medium, and computing device |
CN111582166A (zh) * | 2020-05-07 | 2020-08-25 | 深圳市瑞驰信息技术有限公司 | 基于高斯建模和YoLo V3目标检测的遗留物检测方法 |
CN111626922A (zh) * | 2020-05-11 | 2020-09-04 | 北京字节跳动网络技术有限公司 | 图片生成方法、装置、电子设备及计算机可读存储介质 |
CN111459172A (zh) * | 2020-05-20 | 2020-07-28 | 中国北方车辆研究所 | 围界安防无人巡逻车自主导航系统 |
CN111881720A (zh) * | 2020-06-09 | 2020-11-03 | 山东大学 | 用于深度学习的数据自动增强扩充方法、识别方法及系统 |
CN111881776A (zh) * | 2020-07-07 | 2020-11-03 | 腾讯科技(深圳)有限公司 | 动态表情获取方法、装置、存储介质和电子设备 |
CN111931678A (zh) * | 2020-08-21 | 2020-11-13 | 腾讯科技(深圳)有限公司 | 一种视频信息处理方法、装置、电子设备及存储介质 |
CN112163543A (zh) * | 2020-10-12 | 2021-01-01 | 北京易华录信息技术股份有限公司 | 一种车辆违法占道的检测方法及系统 |
CN112395961A (zh) * | 2020-10-31 | 2021-02-23 | 太原理工大学 | 一种洒水车的视觉主动行人避让及水压自适应控制方法 |
CN112668411A (zh) * | 2020-12-15 | 2021-04-16 | 南京中兴力维软件有限公司 | 基于sgan的视频流标记方法、装置、系统及存储介质 |
CN113095161A (zh) * | 2021-03-23 | 2021-07-09 | 深圳力维智联技术有限公司 | 危险行为的识别方法、装置、终端设备及计算机存储介质 |
CN113255481A (zh) * | 2021-05-11 | 2021-08-13 | 北方工业大学 | 一种基于无人巡逻车的人群状态检测方法 |
CN113221800A (zh) * | 2021-05-24 | 2021-08-06 | 珠海大横琴科技发展有限公司 | 一种待检测目标的监控判断方法及系统 |
CN113534829A (zh) * | 2021-06-11 | 2021-10-22 | 南京邮电大学 | 一种基于边缘计算的无人机日常巡逻检测系统 |
CN114419502A (zh) * | 2022-01-12 | 2022-04-29 | 深圳力维智联技术有限公司 | 一种数据分析方法、装置及存储介质 |
Non-Patent Citations (1)
Title |
---|
融合多尺度特征的前景分割方法在高压开关柜异物遮挡检测中的应用;姜鸿飞等;现代计算机;20210615(第16期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114394100A (zh) | 2022-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101942491B1 (ko) | 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 cctv통합관제중개제어모듈을 갖는 cctv통합관제센터시스템 | |
CN114394100B (zh) | 一种无人巡逻车控制系统及无人车 | |
JP7040936B2 (ja) | 情報収集システムおよび情報収集装置 | |
CN108154686A (zh) | 一种车载违章行为抓拍系统 | |
CN102521983A (zh) | 一种基于高清视频技术的车辆违章检测系统及方法 | |
KR102007140B1 (ko) | 스마트 시티를 구현하기 위한 통합 교통 정보 관리 시스템 | |
CN103824455A (zh) | 道路巡逻系统及控制方法 | |
US10438071B2 (en) | Distributed system for mining, correlating, and analyzing locally obtained traffic data including video | |
JP7047374B2 (ja) | 情報収集システム | |
CN204990721U (zh) | 一种可自动制动汽车的智能交通监控系统 | |
CN202472943U (zh) | 一种基于高清视频技术的车辆违章检测系统 | |
CN102542806A (zh) | 高速公路行驶车辆遮挡号牌实时监测系统及其控制方法 | |
CN202422425U (zh) | 基于视频检测的路口智能信号控制系统 | |
CN201397576Y (zh) | 车辆路口违法变向自动捕捉装置 | |
CN110648528A (zh) | 一种智慧公路管理系统 | |
CN102142193A (zh) | 交通违规行为自动侦测系统与方法 | |
CN104680794A (zh) | 车载监控终端及基于该终端的公交专用道监控方法及系统 | |
KR101626377B1 (ko) | Cctv와 차량내 블랙박스를 활용한 빅데이터 기반의 불법 주정차 단속 시스템 | |
CN109348179A (zh) | 一种基于人工智能的道路监控检测系统及方法 | |
CN105096602A (zh) | 一种智能交通监控系统 | |
CN202584429U (zh) | 一种交通违法监控和处理系统 | |
CN204990699U (zh) | 一种智能交通监控系统 | |
CN205584337U (zh) | 一种行车记录仪智能视频识别系统 | |
CN207938184U (zh) | 一种车载违章行为抓拍系统 | |
CN109086732A (zh) | 一种智能眼镜侦察终端系统及控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |