发明内容
本发明之目的是提供一种基于人工智能算法的道路设施数据采集系统,能够解决现有道路巡检主要通过人工训练以识别制定目标,该方法存在成本高、实时性差与规范性差的技术问题。
本发明提供一种基于人工智能算法的道路设施数据采集系统,包括AI采集设备、移动终端、北斗定位模块与后台服务器,所述AI采集设备、北斗定位模块均与所移动终端无线连接,所述移动终端将接收的数据上传至所述后台服务器中;
其中,所述AI采集设备包括视觉传感器、ISP处理模块、NPU处理模块、CPU处理模块与数据传输模块;
所述视觉传感器用于获取原始视频流数据;
所述ISP处理模块用于对所述视觉传感器获取的视频流中图像进行预处理,获取标准视频流数据,并将标准视频流数据传输至所述NPU处理模块;
所述NPU处理模块用于通过运行不同的神经网络对所述标准视频流数据进行处理,以实现视觉中空间数据信息的识别提取,并将识别后的空间数据信息传输给CPU处理模块;
所述CPU处理模块用于实时接收所述北斗定位模块传输的空间位置信息,并将空间数据信息与经过线性差值算法处理后的空间位置信息相匹配,形成实时规格化空间数据信息;
所述数据传输模块用于将所述CPU处理模块中的规格化空间数据信息通过移动终端传输至后台服务器中。
优选地,所述AI采集设备与北斗定位模块以众包方式部署在所述移动终端中。
优选地,还包括电源装置,所述电源装置用于为所述AI采集设备与北斗定位模块提供电源。
优选地,还包括数据存储模块,用于存储目标区域的高精地图;
所述数据存储模块与所述CPU处理模块无线连接;
所述CPU处理模块用于实时接收所述后台服务器的采集数据指令,并控制所述视觉传感器实时获取目标区域的原始视频流数据。
优选地,所述AI采集设备与后台服务器采用基于心跳保活机制实现的TCP长连接方式进行数据传输,所述AI采集设备还用于实时获取心跳包数据。
优选地,所述AI采集设备与后台服务器之间采用数据脱敏机制。
优选地,所述AI采集设备与后台服务器之间基于地理围栏技术采用数据脱敏机制;
所述地理围栏技术采用空间多边形为基础,并且所述地理围栏技术基于空间网格索引管理。
优选地,所述NPU处理模块通过运行不同的神经网络对所述标准视频流数据进行处理,以实现视觉中空间数据信息的识别提取,并将识别后的空间数据信息传给CPU处理模块包括:
获取实时标准视频流数据信息;
通过运行不同的神经网络对所述标准视频流数据进行识别与跟踪,实现对空间数据信息的识别过程中对巡检设施的逐帧持续跟踪;
获取空间数据信息;
将空间数据信息传输给CPU处理模块。
优选地,所述AI采集设备设置有HTTP请求接口,用于实现基于人工智能算法的道路设施数据采集系统采集设备功能机制解耦。
优选地,所述NPU处理模块采用yolo V3神经网络进行识别,采用孪生神经网络进行跟踪,两个神经网络同时运行以实现识别过程中对识别物的逐帧持续跟踪。
本发明的基于人工智能算法的道路设施数据采集系统相比现有技术具有如下有益效果:
本发明通过北斗定位和地理围栏技术,低成本高效地提取道路巡检中需要重点确认的巡检点的图像,图像实时上传到后台通过AI图像识别技术进行远程道路巡检识别。
本发明通过边缘计算方法与北斗定位于外业生产侧现场实时识别,将识别成果文本化、规格化,处理后成果数据尺寸小、对移动数字网络带宽依赖低,可实时自动上传到后台服务器。
本发明通过使用北斗高精定位、人工智能、5G通信等新基建技术,替换传统空间数据采集中人工部分,使空间数据采集彻底自动化,AI化,使大量非专业人员无需培训即可以众包的形式完成专业空间数据采集,进而系统地提出一种低成本高质量规模化实现全国道路设施数字化的方式。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
如图1所示,本发明提供的一种基于人工智能算法的道路设施数据采集系统,包括AI采集设备1、移动终端2、北斗定位模块3与后台服务器4,AI采集设备1、北斗定位模块3均与所移动终端2无线连接,移动终端2将接收的数据上传至后台服务器4中。
如图2所示,AI采集设备1包括视觉传感器11、ISP处理模块12、NPU处理模块13、CPU处理模块14与数据传输模块15;
视觉传感器11用于获取原始视频流数据;
ISP处理模块12用于对视觉传感器11获取的视频流中图像进行预处理,获取标准视频流数据,并将标准视频流数据传输至NPU处理模块13;
NPU处理模块13用于通过运行不同的神经网络对标准视频流数据进行处理,以实现视觉中空间数据信息的识别提取,并将识别后的空间数据信息传输给CPU处理模块14;
CPU处理模块14用于实时接收北斗定位模块3传输的空间位置信息,并将空间数据信息与经过线性差值算法处理后的空间位置信息相匹配,形成实时规格化空间数据信息;
数据传输模块15用于将CPU处理模块14中的规格化空间数据信息通过移动终端2传输至后台服务器4中。
本发明的基于人工智能算法的道路设施数据采集系统还可以包括电源装置6,该电源装置6用于为AI采集设备1与北斗定位模块3提供电源。其中,电源装置6可以是车辆中的点烟器或者充电宝等装置。
本发明的基于人工智能算法的道路设施数据采集系统还可以包括数据存储模块5,用于存储目标区域的高精地图。数据存储模块5与CPU处理模块14无线连接;CPU处理模块14用于实时接收后台服务器4的采集数据指令,并控制视觉传感器11实时获取目标区域的原始视频流数据。这样设置可以实现空间数据采集预判功能,通过在数据存储模块5中预存储有目标区域的高精地图来增大空间数据采集的准确度。
由于空间数据采集具有一定的敏感性,系统必须做到对所有的众包AI采集设备1位置可知、功能可控,这就需要后台服务器4与每一个北斗众包AI采集设备1实时维护TCP长连接,以便指令的实时传达。即本发明的AI采集设备1与后台服务器4采用基于心跳保活机制实现的TCP长连接方式进行数据传输,AI采集设备1可以用于实时获取心跳包数据,这样设置可以保证AI采集设备1与后台服务器4之间保持有效通信,可以在接收到后台服务器4发布的指令后在指定的时间内关闭一个或多个对应的AI采集设备1。CPU处理模块14在接收到关闭采集指令后,依旧保持与后台服务器4的长连接通行,而AI采集设备1传输的采集结果直接丢弃,不进行处理和回传。
其中,AI采集设备1上传的心跳包中会将空间数据信息和设备唯一ID打包,空间数据信息包括空间位置、方向、速度与图像等信息,为了同时兼顾保持连接双向有效性和上传数据空间连续性,可与地图路网拟合成有效路径,心跳包发送间隔一般设置为10秒。
为了实现在敏感区域不可进行数据采集,为此AI采集设备1与后台服务器4之间采用数据脱敏机制。优选地,AI采集设备1与后台服务器4之间主要基于地理围栏技术采用数据脱敏机制。地理围栏技术采用空间多边形为基础,空间多边形中每个店对应一个经纬度,并且地理围栏技术基于空间网格索引管理。
通过地理围栏技术采用数据脱敏机制具体判断步骤如下:
1)、使用空间网格索引,获取附近的地理围栏;
2)、使用奇偶规则算法判别点是否在多边形地理围栏内;
3)、基于规则开启或关闭采集功能。
例如,桥梁高度、隧道高度等涉及国家机密、人脸、车牌等涉及个人隐私的内容,不应该被采集。由此可以使得涉及到国家机密、用户隐私等视频、图片信息不回回传至后台服务器4,实现不传播不泄密,同时保证了采集空间数据内容信息的安全性。
本发明基于心跳保活长连接技术,保证了AI采集设备1和后台服务器4的有效数据信道。后台服务器4可收到AI采集设备1有效的位置和数据,并可根据需求下发指令,配合脱敏地理围栏数据,实现设备采集的数据脱敏。
在本发明的进一步实施例中,NPU处理模块13通过运行不同的神经网络对标准视频流数据进行处理,以实现视觉中空间数据信息的识别提取,并将识别后的空间数据信息传给CPU处理模块14包括:
获取实时标准视频流数据信息;
通过运行不同的神经网络对标准视频流数据进行识别与跟踪,实现对空间数据信息的识别过程中对巡检设施的逐帧持续跟踪;
获取空间数据信息;
将空间数据信息传输给CPU处理模块14。
考虑到AI采集设备1获取的视频流为持续输入,基于人工智能算法的道路设施数据采集系统上装载的NPU处理模块13需要同时兼顾“识别”和“跟踪”两个功能。其中识别功能使用yolo V3神经网络,跟踪功能使用孪生神经网络,两个神经网络同时运行以实现识别过程中对识别物的逐帧持续跟踪。
上述AI采集设备1设置有HTTP请求接口,用于实现基于人工智能算法的道路设施数据采集系统采集设备功能机制解耦。这样设置可以最大程度减少AI采集设备1对其他硬件模块的依赖,从而可以专注于实现视觉算法。
上述CPU处理模块14经过线性差值算法获取空间位置信息,定位每帧空间数据图像中巡检设施的空间位置,将经过线性差值算法处理后的空间位置信息与空间数据信息相匹配,形成实时规格化空间数据信息。
具体地,CPU处理模块14可以采用2TOPS算力AI芯片模组,其中2TOPS是目前主流单芯片可达到的最高算力,已经可以产品化运行经过裁剪的主流视觉相关神经网络。
由于视频流的跟踪算法的实现,基于人工智能算法的道路设施数据采集系统可以持续跟踪识别物(巡检设施)。可通过识别物消失的时间,推导出车辆经过识别物的时间。同时,可以调整设备,保证设备是视觉输入帧数稳定,在连续获得北斗信号的前提下通过线性插值的方式,获得每帧空间数据图像时设备的空间位置,进而获得人工智能识别成果的对应的空间位置。由于分米级北斗信号逐秒产生,大部分情况下线性差值后的视觉采集帧位置也可以达到分米级精度。此方式的优势在于在低成本的基础上,满足业务需求,而不需要依赖成本高昂的激光雷达等。
本发明通过将人工智能、边缘计算、北斗定位在硬件层进行整合和集成,生产下一代空间数据采集的通用平台。在相同的硬件架构下,通过算法的持续迭代,覆盖高精地图、道路巡检、网格员巡查、交警执法、城管执法等广义的空间信息自动化采集领域。通过AI识别技术与北斗高精度定位相结合,将识别成果文本化、规格化,处理后成果数据尺寸小、对移动数字网络带宽依赖低,可实时自动上传到后台服务器4,以此实现远程道路巡检设施识别。
本发明的基于人工智能算法的道路设施数据采集系统可以适用不同的采集平台中,即可以根据实际情况进行简便安装与使用。上述AI采集设备1与北斗定位模块3采用分体设计,这样设置是为了可以针对不同的采集平台实现不同的采集方案,并且分体的设计可以让AI采集设备1可适配中台、手机等设备,通过软件的方式与北斗定位信号、GPS信号匹配,最大限度地适配不同的采集平台。优选地,AI采集设备1与北斗定位模块3以众包方式部署在移动终端2中,例如可以以众包的方式将AI采集设备1充分部署到全社会车辆中,出租车、公交车、私家车、外卖骑手均可以为空间数据采集车。让这些空间数据采集车可以抽象为基于算法搭配的空间算力,让每台空间数据采集车按需更新对应的算法,动态的调整空间算力的应用。以最终让包括道路巡检在内的空间采集业务实现采集标准化、众包化、算力抽象化,进而可以实现城市级乃至国家级空间算力自动调度,从本质上一次性地解决上一代技术革命中空间信息相关的遗留问题,实现数据的全面信息化,以迎来万物互联的到来。
上述北斗定位模块3可以集成在AI采集设备1中,也可以独立设置。
例如可以是车载方案或者电动车/摩托车方案。在车载方案中,可以仅采用AI采集设备1、Android中控与与北斗天线组合进行视频流数据采集。由于车辆封闭安全的特性,车载方案可支持复杂的硬件中台方案,在功能上增加后台长连接,北斗分米级定位。运营方式上,完全独立运营,驾驶员使用无感。安装方式上,AI采集设备1挂到后视镜上,Android中控和北斗天线安放在中台上方,整个过程无需布线,无需打开中控面板,仅需要连接点烟器即可实现所有设备供电。
如果是电动车/摩托车方案,则在该方案中选用AI采集设备1与手机组合进行视频流数据采集。相对于车辆电动车/摩托车采集有几大区别:1、无安全密闭空间,行驶结束后要便捷回收设备;2、驾驶中手机处于无法使用状态,采集过程中设备可以复用手机系统;3、固定电源,需要解决移动充电问题。基于以上区别,电动车/摩托车采用AI采集设备1与手机组合,这样仅需开发手机APP来复用手机的系统和定位,或外接北斗定位模块3。AI采集设备1由充电宝供电,单个充电宝可供应AI采集设备1工作约7个小时左右。
本发明通过边缘计算方法、AI图像识别技术与北斗定位于外业生产侧现场实时识别,将识别成果文本化、规格化,处理后成果数据尺寸小、对移动数字网络带宽依赖低,可实时自动上传到后台服务器,以此实现远程道路巡检设施识别,进而系统地提出一种低成本高质量规模化实现全国道路设施数字化的方式。
应当理解的是,本发明的上述具体实施方式仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。