CN117809275A - 一种基于民航车辆360度环视系统的环境感知方法及系统 - Google Patents

一种基于民航车辆360度环视系统的环境感知方法及系统 Download PDF

Info

Publication number
CN117809275A
CN117809275A CN202410219822.2A CN202410219822A CN117809275A CN 117809275 A CN117809275 A CN 117809275A CN 202410219822 A CN202410219822 A CN 202410219822A CN 117809275 A CN117809275 A CN 117809275A
Authority
CN
China
Prior art keywords
risk
vehicle
image
degree
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410219822.2A
Other languages
English (en)
Inventor
单萍
马列
马琼琼
沈亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Tianyi Aviation Industry Co Ltd
Original Assignee
Jiangsu Tianyi Aviation Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Tianyi Aviation Industry Co Ltd filed Critical Jiangsu Tianyi Aviation Industry Co Ltd
Priority to CN202410219822.2A priority Critical patent/CN117809275A/zh
Publication of CN117809275A publication Critical patent/CN117809275A/zh
Pending legal-status Critical Current

Links

Abstract

本发明公开了一种基于民航车辆360度环视系统的环境感知方法及系统,涉及民航车辆控制技术领域,包括:捕捉车辆周围的360度环境,构建360度环视系统;自动识别亮度区域并进行动态曝光调节,调整每个摄像头的曝光设置,适应不同光照条件,对捕获的图像进行预处理,形成360度全景图;通过深度学习模型对360度全景图进行分析,识别和分类环境中的物体,实现环境感知;根据环境感知结果,自动进行风险评估,制定相应的安全措施,自动控制车辆的行驶。本发明提供的基于民航车辆360度环视系统的环境感知方法大幅提高机场车辆和飞机的安全性。实现对突发事件的快速响应。优化资源分配,提高应急响应速度,为机场交通管理提供全面的解决方案。

Description

一种基于民航车辆360度环视系统的环境感知方法及系统
技术领域
本发明涉及民航车辆控制技术领域,具体为一种基于民航车辆360度环视系统的环境感知方法及系统。
背景技术
在民航机场环境下,保证交通安全、效率和流畅是至关重要的。传统的交通控制系统依赖于人工监控和静态规则,导致反应速度慢、适应性差,并且难以处理复杂、动态的交通场景。随着机场交通量的增加,需要更智能、自动化的解决方案以实时感知环境、预测潜在风险并快速响应。此外,现有系统往往缺乏整合多种传感器数据来进行全面的风险评估和决策支持,限制了安全管理的效能。
传统方法通过人工监控和决策无法即时处理快速变化的场景和复杂数据,静态规则难以适应不断变化的交通环境和突发事件,缺乏有效的手段整合和分析多源传感器数据,导致风险评估不全面。
因此亟需一种基于民航车辆360度环视系统的环境感知方法提高对机场环境动态变化的感知能力,快速、智能地调整车辆路线和交通流量,维持效率和安全。减少对人工监控的依赖,通过自动化技术进行快速决策和执行安全措施,提高响应速度和准确性。
发明内容
鉴于上述存在的问题,提出了本发明。
因此,本发明解决的技术问题是:现有的人工监控和静态规则方法存在反应速度慢、适应性差、信息整合不足,以及如何实时感知环境、精确风险评估和快速自动响应的优化问题。
为解决上述技术问题,本发明提供如下技术方案:一种基于民航车辆360度环视系统的环境感知方法,包括:
布置传感器,捕捉车辆周围的360度环境,传感器数据实时传输到车辆的中央控制单元,并进行数据处理,构建360度环视系统;利用HDR技术,自动识别亮度区域并进行动态曝光调节,调整每个摄像头的曝光设置,适应不同光照条件,对捕获的图像进行预处理,形成360度全景图;通过深度学习模型对360度全景图进行分析,识别和分类环境中的物体,理解场景的上下文,实现环境感知;根据环境感知结果,自动进行风险评估,制定相应的安全措施,并准备执行;中央控制单元根据风险评估和安全措施,自动控制车辆的行驶。
作为本发明所述的基于民航车辆360度环视系统的环境感知方法的一种优选方案,其中:所述构建360度环视系统包括确定传感器数量和类型,将传感器布置于民航机场交通系统及民航车辆上,调整传感器角度,将传感器连接到车辆的中央控制单元,进行数据传输和处理;所述自动识别亮度区域包括使用光照检测算法,获取图像的整体或局部亮度统计数据,识别亮度区域,进行分类输出,判断摄像头所对应的场景区域;
所述光照检测算法表示为,
其中,表示在位置 (x, y) 的图像的灰度值,/>、/>以及/>分别表示在位置 (x, y) 的原始彩色图像的红色、绿色、蓝色通道的像素值,/>表示经过高斯模糊处理后,在位置(x, y)的图像的亮度值,/>表示在图像的位置 (x, y) 上应用的高斯模糊的标准差,/>表示高斯模糊的中心位置,/>表示卷积操作;
所述判断摄像头所对应的场景区域包括若小于第一亮度阈值,判断为暗度区域,若/>大于第二亮度阈值,判断为极端亮度区域,若/>大于等于第一亮度阈值且小于第二亮度阈值,判断为正常亮度区域;基于实时场景分析的结果进行动态曝光调节,调整每个摄像头的曝光参数,根据动态曝光调节的结果,为摄像头设置曝光时间和光圈设置,摄像头根据设置捕捉多重曝光图像,所述多重曝光图像包括低、中、高曝光级别的图像。
作为本发明所述的基于民航车辆360度环视系统的环境感知方法的一种优选方案,其中:所述动态曝光调节包括当判断为极端亮度区域时,执行第一调整策略降低曝光时间和ISO值的新参数设置,调整光圈大小,限制过多光线进入,减少过曝,实施局部细节增强算法,调节亮部细节丢失区域;当判断为正常亮度区域时,执行第二调整策略,根据实时图像分析结果,维持或轻微调整当前的曝光时间、ISO值和光圈大小,对图像中的局部区域进行对比度和亮度的微调,监控环境变化,调整曝光参数;当判断为暗度区域时,执行第三调整策略,增加曝光时间和ISO值的新参数设置,调整光圈大小,允许更多光线进入,增强图像亮度,应用降噪算法和细节增强技术,调节暗部区域;所述预处理包括应用曝光融合算法,将捕捉到的多重曝光图像合成为HDR图像,对合成的HDR图像进行降噪处理,进行色彩校正,调整图像色彩;所述形成360度全景图包括对每个摄像头捕获的图像执行特征点检测,识别图像中的关键点,通过特征点匹配算法,找到不同图像之间的相应特征点,进行图像对齐,计算几何变换参数,当图像正确对齐时,控制系统执行图像融合算法,控制系统利用内容感知技术,识别和处理拼接处的深度不连续或视觉不一致问题,形成360度全景图。
作为本发明所述的基于民航车辆360度环视系统的环境感知方法的一种优选方案,其中:所述环境感知包括初始化深度学习模型,训练识别车辆、飞机、地面服务设备、标志和信号,调整和优化模型参数适应机场特有的环境条件,分析360度全景图,实时检测机场动态物体和静态物体;对检测到的物体进行分类,并分析位置、移动方向和速度,提供动态信息,综合考虑机场运行模式,分析机场内的车辆流和飞机运动,监测并分析飞机滑行、起降和停机过程中的潜在风险点,评估民航车辆与潜在风险点的相关性;所述潜在风险点包括分析飞机与民航车辆预计的滑行路径,结合实时位置数据,使用预测模型识别潜在的路径交叉点和冲突时间,将路径冲突数据与周围车辆的行为数据结合,预测冲突可能性,将滑行路径冲突分析评估为低风险级别i1、中风险级别i2以及高风险级别i3;实时监控服务区域边界,使用传感器检测任何越界行为,根据车辆在服务区域内的位置、速度和行驶方向评估风险级别,分析服务区域内的活动与周边飞行或停机飞机的潜在风险,将服务区域安全监控评估为安全级别j1、观察级别j2以及危险级别j3;监测飞行区域,识别未授权侵入,分析侵入者的行为模式,预测移动轨迹及对飞行操作的潜在影响,评估侵入事件与周围飞行活动的关联,预测对机场运行的影响,将飞行区域侵入监测划分为一般注意级别k1、优先监控级别k2以及立即行动级别k3;计算停机区域内的车辆密度,分析拥堵趋势,预测短期内的车辆流变化,提出调节建议,将拥堵信息与飞机起降计划相结合,优化地面车辆调度,将停机区拥堵管理划分为正常流动级别l1、轻度拥堵级别l2以及严重拥堵级别l3。
作为本发明所述的基于民航车辆360度环视系统的环境感知方法的一种优选方案,其中:所述风险评估包括设定四维矩阵M,其各维度分别代表四个风险点A、B、C和D的风险等级,每个风险点有三个等级,矩阵形状为3×3×3×3,构建多维度风险评估模型;
所述多维度风险评估模型表示为,
其中,表示在时间/>的总风险评分,/>表示原始权重,/>表示动态权重调整系数,/>表示风险矩阵的元素,在时间/>四个风险点特定等级组合的状态,1表示基础风险评分,/>表示交互作用参数,代表不同风险点之间的交互影响,/>表示预测模型参数。
作为本发明所述的基于民航车辆360度环视系统的环境感知方法的一种优选方案,其中:所述制定相应的安全措施包括当T1≤T(t)<T2时,判断为第一风险等级,执行第一安全措施;当T2≤T(t)<T3时,判断为第二风险等级,执行第二安全措施;当T3≤T(t)<T4时,判断为第三风险等级,执行第三安全措施;当T4≤T(t)≤T5时,判断为第四风险等级,执行第四安全措施;其中,T1、T2、T3、T4以及T5分别为预设风险等级阈值。
作为本发明所述的基于民航车辆360度环视系统的环境感知方法的一种优选方案,其中:所述第一安全措施包括实时监控车辆及周围环境,分析历史交通数据和当前的交通模式,预测轻微交通拥堵或事故频发地段,判断为低风险区域,根据监测数据,识别沿途低风险区域,并标记出需要避免的路段,使用A*算法考虑实时交通状况和预期目的地,计算出绕开低风险区域的最优路径,在计算出最优路径后,对比原计划路径的总风险评分和新路径的总风险评分,将路线更新为总风险评分更低的路线,实时更新导航系统,引导车辆沿着更新后的路线行驶,启动车辆的预警系统,所述预警系统包括轻微的偏离预警、风险区域预警;所述第二安全措施包括集成机场传感器数据,实时收集传感器数据,启动RRT*算法为车辆规划出避开第二风险等级的路径,评估原路径和RRT*算法规划的新路径,选择最优路径,通过车辆的通信接口,向驾驶员发送路径更新通知,并提供风险的详细预警,若监测风险级别升高至第三风险等级或出现新的潜在风险点,实施紧急交通管制措施,路线封闭、限速、导流;所述第三安全措施包括使用RRT*算法,立即为所有受影响的车辆重新规划路线,驶离第三风险等级区域,启动紧急响应模式,封闭进入第三风险等级区域的所有路线,启动限速措施,根据实时风险评估调整交通信号;所述第四安全措施包括启动全面紧急预案,全面路线封锁、进行紧急疏散,立即进行安全警告广播,调动所有安全资源和应急响应队伍,中央控制单元采取紧急指挥模式,降低风险和损失。
本发明的另外一个目的是提供一种基于民航车辆360度环视系统的环境感知系统,其能通过集成高级数据处理和自动决策算法,解决了安全监控不全面、响应不及时和资源分配不优化问题。
为解决上述技术问题,本发明提供如下技术方案:一种基于民航车辆360度环视系统的环境感知系统,包括:传感捕获模块、图像融合模块、场景分析模块、风险决策模块以及自控辅助模块;所述传感捕获模块用于构建360度环视系统,使用HDR捕捉在不同光照条件下的图像,对捕获的图像进行预处理步骤;所述图像融合模块用于将多个摄像头捕获的图像运用图像融合技术进行拼接和融合,形成360度全景图;所述场景分析模块用于运用深度学习模型对环境中的物体进行检测和分类,对捕获的场景进行分析,理解场景的上下文,识别场景信息;所述风险决策模块用于根据检测到的物体和场景,进行风险评估,制定安全措施;所述自控辅助模块用于自动控制车辆进行避障、速度调整和路径规划,提供给驾驶员实时显示界面,所述实时显示界面包括环境图像、预警信息和推荐操作。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上所述基于民航车辆360度环视系统的环境感知方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上所述基于民航车辆360度环视系统的环境感知方法的步骤。
本发明的有益效果:本发明提供的基于民航车辆360度环视系统的环境感知方法通过整合HDR成像和深度学习技术,更准确地预测和响应潜在风险,大幅提高机场车辆和飞机的安全性。利用自适应路径规划和智能交通控制系统,实现对突发事件的快速响应,有效减少交通拥堵,提高整体流量效率。通过自动化控制和智能决策,减少人力依赖,降低操作复杂性,提升管理效率和准确性。结合多源数据和先进的风险评估模型,优化资源分配,提高应急响应速度,为机场交通管理提供全面的解决方案。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明一个实施例提供的一种基于民航车辆360度环视系统的环境感知方法的整体流程图。
图2为本发明第二个实施例提供的一种基于民航车辆360度环视系统的环境感知系统的整体结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明,显然所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
实施例1
参照图1,为本发明的一个实施例,提供了一种基于民航车辆360度环视系统的环境感知方法,包括:
布置传感器,捕捉车辆周围的360度环境,传感器数据实时传输到车辆的中央控制单元,并进行数据处理,构建360度环视系统。
利用HDR技术,自动识别亮度区域并进行动态曝光调节,调整每个摄像头的曝光设置,适应不同光照条件,对捕获的图像进行预处理,包括图像的拼接、对齐、融合及优化,形成360度全景图,在此过程中实施智能算法以自动调整和优化图像质量。
通过深度学习模型对360度全景图进行分析,识别和分类环境中的物体,理解场景的上下文,实现环境感知。
根据环境感知结果,自动进行风险评估,制定相应的安全措施,并准备执行。
中央控制单元根据风险评估和安全措施,自动控制车辆的行驶,提供实时显示界面,展示环境图像、预警信息和推荐操作,保持界面与车辆实际控制系统的同步。
布置传感器包括考虑到民航特种车辆的大小、形状和作业环境的复杂性,使用6至8个广角摄像头。确保车辆的每个方向都被覆盖,包括前、后、左、右、上和车辆特殊角度的视野。选择高分辨率、宽动态范围(HDR)的广角摄像头,确保在不同光照条件下都能捕捉清晰图像。考虑耐用性和环境适应性,摄像头应能抵御风吹、雨打、尘土和其他机场环境中可能遇到的挑战。前方和后方摄像头:分别在车辆的前保险杠和后保险杠安装摄像头,覆盖车辆的前进和后退视线。侧面摄像头:在车辆的左右两侧安装摄像头,位置可选择在侧面上方或接近后视镜位置,提供广角的侧视覆盖。特殊角度摄像头:根据车辆的特殊结构,在车顶或车辆特定角落安装额外的摄像头,以覆盖因车辆异型结构造成的盲区。确保所有摄像头能通过同步信号同时运行,以保证捕获的图像在时间上一致,为图像融合提供准确的基础。鉴于机场特种车辆会在不同地形和速度下运行,摄像头和传感器应具有良好的抗震动和抗电磁干扰性能。选择能够适应极端天气、温度变化和机场特有环境的摄像头,确保在雨、雪、雾等天气下都能稳定工作。角度调整:精确调整每个摄像头的角度,确保它们的视野有适当的重叠,并能覆盖车辆的所有重要方向。选择能够保护摄像头免受意外撞击和污染的位置,同时考虑到操作和维护的便利性。完成安装后,进行系统测试,验证摄像头覆盖范围是否全面,图像是否清晰连续,并根据测试结果调整摄像头位置或角度。
构建360度环视系统包括确定传感器数量和类型,将传感器布置于民航机场交通系统及民航车辆上,调整传感器角度,将传感器连接到车辆的中央控制单元,进行数据传输和处理。
自动识别亮度区域包括使用光照检测算法,获取图像的整体或局部亮度统计数据,识别亮度区域,进行分类输出,判断摄像头所对应的场景区域;
光照检测算法表示为,
其中,表示在位置(x,y)的图像的灰度值,/>、/>以及/>分别表示在位置(x,y)的原始彩色图像的红色、绿色、蓝色通道的像素值,/>表示经过高斯模糊处理后,在位置(x,y)的图像的亮度值,/>表示在图像的位置(x,y)上应用的高斯模糊的标准差,/>表示高斯模糊的中心位置,/>表示卷积操作。
使用动态标准差 在图像的平滑区域进行更强的模糊处理,而在边缘或细节丰富区域减少模糊程度。这有助于在保持图像重要特征的同时去除噪声或不必要的细节。根据图像内容自适应调整模糊程度,特别是在不同的噪声水平或纹理复杂度下,能够有效地去除噪声,同时保持图像质量。
判断摄像头所对应的场景区域包括若小于第一亮度阈值,判断为暗度区域,若/>大于第二亮度阈值,判断为极端亮度区域,若/>大于等于第一亮度阈值且小于第二亮度阈值,判断为正常亮度区域。
基于实时场景分析的结果进行动态曝光调节,调整每个摄像头的曝光参数,根据动态曝光调节的结果,为摄像头设置曝光时间和光圈设置,摄像头根据设置捕捉多重曝光图像,多重曝光图像包括低、中、高曝光级别的图像。
动态曝光调节包括当判断为极端亮度区域时,执行第一调整策略降低曝光时间和ISO值的新参数设置,调整光圈大小,限制过多光线进入,减少过曝,实施局部细节增强算法,调节亮部细节丢失区域。
当判断为正常亮度区域时,执行第二调整策略,根据实时图像分析结果,维持或轻微调整当前的曝光时间、ISO值和光圈大小,对图像中的局部区域进行对比度和亮度的微调,监控环境变化,调整曝光参数。
当判断为暗度区域时,执行第三调整策略,增加曝光时间和ISO值的新参数设置,调整光圈大小,允许更多光线进入,增强图像亮度,应用降噪算法和细节增强技术,调节暗部区域。
预处理包括应用曝光融合算法,将捕捉到的多重曝光图像合成为HDR图像,确保合成过程中细节保留最优,特别是在高亮和阴影区域,对合成的HDR图像进行降噪处理,特别是在低光环境下捕获的图像,进行色彩校正,调整图像色彩。
形成360度全景图包括对每个摄像头捕获的图像执行特征点检测,识别图像中的关键点,如角点、边缘等,通过特征点匹配算法,找到不同图像之间的相应特征点,进行图像对齐,计算几何变换参数,如旋转、缩放和平移等,以确保图像的正确对接。这通常涉及计算单应性矩阵或仿射变换,当图像正确对齐时,控制系统执行图像融合算法,如多频段混合、泊松融合等,以消除拼接线和不连贯区域,实现自然的过渡,控制系统利用内容感知技术,识别和处理拼接处的深度不连续或视觉不一致问题,针对重要内容区域,如标志、车辆或其他关键对象,执行更细致的融合处理。这可能涉及局部对比度和亮度的调整,以确保这些区域在全景图中的视觉优先级和清晰度。进行微调操作,调整拼接区域的细节,确保色彩一致性和视觉协调,从而实现真正的无缝全景效果,形成360度全景图。
环境感知包括初始化深度学习模型,训练识别车辆、飞机、地面服务设备、标志和信号,调整和优化模型参数适应机场特有的环境条件,如滑行道特定的标志、不同类型的地面车辆以及飞机的尺寸和形态,分析360度全景图,实时检测机场动态物体和静态物体。
对检测到的物体进行分类,并分析位置、移动方向和速度,提供动态信息,综合考虑机场运行模式,分析机场内的车辆流和飞机运动,理解特定场景下的交通状况,包括滑行道占用、服务车辆集结区域以及紧急通道等,监测并分析飞机滑行、起降和停机过程中的潜在风险点,评估民航车辆与潜在风险点的相关性。
潜在风险点包括分析飞机与民航车辆预计的滑行路径,结合实时位置数据,使用预测模型识别潜在的路径交叉点和冲突时间,将路径冲突数据与周围车辆的行为数据结合,预测冲突可能性,将滑行路径冲突分析评估为低风险级别i1、中风险级别i2以及高风险级别i3。
实时监控服务区域边界,使用传感器检测任何越界行为,根据车辆在服务区域内的位置、速度和行驶方向评估风险级别,分析服务区域内的活动与周边飞行或停机飞机的潜在风险,将服务区域安全监控评估为安全级别j1、观察级别j2以及危险级别j3。
监测飞行区域,识别未授权侵入,分析侵入者的行为模式,预测移动轨迹及对飞行操作的潜在影响,评估侵入事件与周围飞行活动的关联,预测对机场运行的影响,将飞行区域侵入监测划分为一般注意级别k1、优先监控级别k2以及立即行动级别k3。
计算停机区域内的车辆密度,分析拥堵趋势,预测短期内的车辆流变化,提出调节建议,将拥堵信息与飞机起降计划相结合,优化地面车辆调度,将停机区拥堵管理划分为正常流动级别l1、轻度拥堵级别l2以及严重拥堵级别l3。
风险评估包括设定四维矩阵M,其各维度分别代表四个风险点A、B、C和D的风险等级,每个风险点有三个等级,矩阵形状为3×3×3×3,构建多维度风险评估模型;
多维度风险评估模型表示为,
其中,表示在时间/>的总风险评分,/>表示原始权重,/>表示动态权重调整系数,/>表示风险矩阵的元素,在时间/>四个风险点特定等级组合的状态,1表示基础风险评分,/>表示交互作用参数,代表不同风险点之间的交互影响,/>表示预测模型参数,基于历史数据和当前趋势对风险发展进行预测,影响最终的风险评分。
符号代表求和,用来表示将一系列数值加在一起。在这个特定的为设定每个风险点有三个等级,所以每个求和符号都从1到3。这四个求和符号一起工作,遍历矩阵/>的所有可能的组合(即所有可能的风险等级组合),共同为每种可能的风险场景组合提供了一个总的风险评估值/>。/>是对所有i风险等级的遍历。/>是对所有j风险等级的遍历。/>是对所有k风险等级的遍历。/>是对所有l风险等级的遍历。每个求和符号都确保了对应风险点的每个等级都被考虑在内,允许模型评估所有可能的风险组合,从而给出一个综合的风险评估结果。
当潜在风险点判断等级为i1、j1、k1、l1时分数为第一阈值区间、i2、j2、k2、l2时分数为第二阈值区间、i3、j3、k3、l3时分数为第三阈值区间,按照四个风险点状态等级进行组合。
当i级别为1时,若交互组合为i1-j1,i1-k1,i1-l1,交互参数设置为最低,表示风险点之间几乎没有或仅有非常轻微的相互影响。若交互组合为i1-j2/k2/l2,交互参数设置为中等偏低,表示存在一定的关联性,但影响不大。若交互组合为i1-j3/k3/l3,交互参数设置为中等,设置表示低风险点与高风险点之间可能有一定的相互影响。
当i级别为2时,若交互组合为i2-j1/k1/l1,交互参数设置为中等偏低,表示中风险与低风险的组合对总体风险影响较小。若交互组合为i2-j2/k2/l2,交互参数设置为中等,表示风险点之间有明显的相互影响。若交互组合为i2-j3/k3/l3交互参数设置为中等偏高,表示中风险与高风险的组合可能会导致相对较大的风险影响。
当i级别为3时,若交互组合为i3-j1/k1/l1交互参数设置为中等,因为单个高风险点可能对整体风险构成较大影响。若交互组合为i3-j2/k2/l2交互参数设置为较高,因为高风险与中风险的组合可能会导致更复杂的风险情况。若交互组合为i3-j3/k3/l3交互参数设置为最高,表示风险点之间有强烈的相互作用,且总体风险水平非常高。
原始权重基于历史数据和统计分析确定,通过分析历史事故报告中不同风险组合的出现频率和造成的影响,来赋予每种风险组合一个初始重要性评分。从机场的安全管理系统、事故数据库或公开的安全报告中获取。
动态权重调整系数为了使风险评分能够反映最近的变化或特定情境的影响,基于近期的数据变动来设定,包括特定时间段内的事故率变化、特定区域的风险报告增加等。动态权重通过分析近期的风险数据与长期趋势的偏差来确定。动态权重调整系数需要频繁更新以保持其时效性,特别是在发生重要事件或监测到显著的风险趋势变化时。
预测模型参数涉及到对未来风险趋势的预测,需要基于历史风险数据构建时间序列模型,采用机器学习算法进行趋势预测。参数/>可以通过统计分析、机器学习训练获得,旨在捕捉风险发展的动态模式并据此预测未来的趋势。预测模型参数根据新的数据和信息进行定期更新。包括重新训练预测模型以包含最新的风险事件数据,或调整模型的超参数以优化其预测性能。
制定相应的安全措施包括当T1≤T(t)<T2时,判断为第一风险等级,执行第一安全措施;当T2≤T(t)<T3时,判断为第二风险等级,执行第二安全措施;当T3≤T(t)<T4时,判断为第三风险等级,执行第三安全措施;当T4≤T(t)≤T5时,判断为第四风险等级,执行第四安全措施;其中,T1、T2、T3、T4以及T5分别为预设风险等级阈值。
第一安全措施包括实时监控车辆及周围环境,包括实时交通状况、车辆的位置、速度等关键信息,分析历史交通数据和当前的交通模式,预测轻微交通拥堵或事故频发地段,判断为低风险区域,根据监测数据,识别沿途低风险区域,并标记出需要避免的路段,使用A*算法考虑实时交通状况和预期目的地,计算出绕开低风险区域的最优路径,在计算出最优路径后,对比原计划路径的总风险评分和新路径的总风险评分,将路线更新为总风险评分更低的路线,实时更新导航系统,引导车辆沿着更新后的路线行驶,启动车辆的预警系统,预警系统包括轻微的偏离预警、风险区域预警;第二安全措施包括集成机场传感器数据,实时收集传感器数据,启动RRT*算法为车辆规划出避开第二风险等级的路径,评估原路径和RRT*算法规划的新路径,选择最优路径,通过车辆的通信接口,向驾驶员发送路径更新通知,并提供风险的详细预警,若监测风险级别升高至第三风险等级或出现新的潜在风险点,实施紧急交通管制措施,路线封闭、限速、导流;第三安全措施包括使用RRT*算法,立即为所有受影响的车辆重新规划路线,驶离第三风险等级区域,启动紧急响应模式,封闭进入第三风险等级区域的所有路线,启动限速措施,根据实时风险评估调整交通信号;第四安全措施包括启动全面紧急预案,全面路线封锁、进行紧急疏散,立即进行安全警告广播,调动所有安全资源和应急响应队伍,中央控制单元采取紧急指挥模式,降低风险和损失。
实施例2
参照图2,为本发明的一个实施例,提供了一种基于民航车辆360度环视系统的环境感知系统,包括:传感捕获模块、图像融合模块、场景分析模块、风险决策模块以及自控辅助模块。
传感捕获模块用于构建360度环视系统,使用HDR捕捉在不同光照条件下的图像,对捕获的图像进行预处理步骤。
图像融合模块用于将多个摄像头捕获的图像运用图像融合技术进行拼接和融合,形成360度全景图。
场景分析模块用于运用深度学习模型对环境中的物体进行检测和分类,对捕获的场景进行分析,理解场景的上下文,识别场景信息。
风险决策模块用于根据检测到的物体和场景,进行风险评估,制定安全措施。
自控辅助模块用于自动控制车辆进行避障、速度调整和路径规划,提供给驾驶员实时显示界面,实时显示界面包括环境图像、预警信息和推荐操作。
实施例3
本发明的一个实施例,其不同于前两个实施例的是:
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪速存储器)、光纤装置以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
实施例4
为本发明的一个实施例,提供了一种基于民航车辆360度环视系统的环境感知方法,为了验证本发明的有益效果,通过经济效益计算和仿真实验进行科学论证。
机场车辆包括引导车、摆渡车、装卸行李的车辆等,而环境包括滑行道、停机坪、服务区等。模拟真实环境,进行试验。安装了高性能的HDR摄像头、雷达、激光雷达等多种传感器于各类机场车辆上,并确保这些设备能够收集到全方位的数据。准备了中央控制单元,用于接收和处理数据。
设计了两个系统:一个是现有的环境感知系统作为对照组,另一个是本发明提出的基于民航车辆360度环视系统的环境感知方法作为实验组。
所有传感器实时收集数据,包括车辆位置、速度、周围环境等。数据被传输至中央控制单元,其中对照组使用传统的数据处理和路径规划算法,而实验组则应用本发明提出的HDR技术、深度学习模型及RRT*路径规划算法。
实验组中,关注四个方面的风险点:滑行路径冲突、服务区域安全、飞行区域侵入及停机区拥堵。每当检测到潜在风险时,系统将自动进行风险评估,并根据评估结果调整车辆的行驶路径,同时给出相应的安全措施建议。
此外,实验组的中央控制单元还会根据实时数据更新风险评分,并动态调整资源分配。例如,在检测到某个区域风险升高时,系统会优先调度救援资源前往该区域,并通过调整交通信号来控制车流,以避免进一步的拥堵或事故,实验结果如表1所示。
表1 实验结果对比表
通过对比表格中的数据,可以看到本发明方法在各项参数上都有显著的改进。在滑行路径冲突次数上,传统方法1和2分别有10次和9次冲突,而本发明方法1和2仅有3次和2次,显著降低了冲突发生的频率。越界事件和事故次数也有类似的显著下降。平均响应时间也从4.5秒和4秒降低到2秒和1.5秒,提高了反应速度和效率。
数据显示本发明方法在减少冲突和事故方面具有显著优势。这直接提高了机场车辆的安全性,减少了潜在的人身伤害和财产损失。能够更快地响应环境变化,动态调整路径和资源分配,有效减少交通拥堵,提高了整体交通流量的效率。通过应用先进的算法和自动化控制,减少了对人工干预的需求,提高了操作效率和准确性。通过综合多源数据和风险评估模型,更有效地分配了安全资源,确保了快速和有效的应急响应。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于民航车辆360度环视系统的环境感知方法,其特征在于,包括:
布置传感器,捕捉车辆周围的360度环境,传感器数据实时传输到车辆的中央控制单元,并进行数据处理,构建360度环视系统;
利用HDR技术,自动识别亮度区域并进行动态曝光调节,调整每个摄像头的曝光设置,适应不同光照条件,对捕获的图像进行预处理,形成360度全景图;
通过深度学习模型对360度全景图进行分析,识别和分类环境中的物体,理解场景的上下文,实现环境感知;
根据环境感知结果,自动进行风险评估,制定相应的安全措施,并准备执行;
中央控制单元根据风险评估和安全措施,自动控制车辆的行驶。
2.如权利要求1所述的基于民航车辆360度环视系统的环境感知方法,其特征在于:所述构建360度环视系统包括确定传感器数量和类型,将传感器布置于民航机场交通系统及民航车辆上,调整传感器角度,将传感器连接到车辆的中央控制单元,进行数据传输和处理;
所述自动识别亮度区域包括使用光照检测算法,获取图像的整体或局部亮度统计数据,识别亮度区域,进行分类输出,判断摄像头所对应的场景区域;
所述光照检测算法表示为,
其中,表示在位置 (x, y) 的图像的灰度值,/>、/>以及/>分别表示在位置 (x, y) 的原始彩色图像的红色、绿色、蓝色通道的像素值,/>表示经过高斯模糊处理后,在位置(x, y)的图像的亮度值,/>表示在图像的位置 (x, y) 上应用的高斯模糊的标准差,/>表示高斯模糊的中心位置,/>表示卷积操作;
所述判断摄像头所对应的场景区域包括若小于第一亮度阈值,判断为暗度区域,若/>大于第二亮度阈值,判断为极端亮度区域,若/>大于等于第一亮度阈值且小于第二亮度阈值,判断为正常亮度区域;
基于实时场景分析的结果进行动态曝光调节,调整每个摄像头的曝光参数,根据动态曝光调节的结果,为摄像头设置曝光时间和光圈设置,摄像头根据设置捕捉多重曝光图像,所述多重曝光图像包括低、中、高曝光级别的图像。
3.如权利要求2所述的基于民航车辆360度环视系统的环境感知方法,其特征在于:所述动态曝光调节包括当判断为极端亮度区域时,执行第一调整策略降低曝光时间和ISO值的新参数设置,调整光圈大小,限制过多光线进入,减少过曝,实施局部细节增强算法,调节亮部细节丢失区域;
当判断为正常亮度区域时,执行第二调整策略,根据实时图像分析结果,维持或轻微调整当前的曝光时间、ISO值和光圈大小,对图像中的局部区域进行对比度和亮度的微调,监控环境变化,调整曝光参数;
当判断为暗度区域时,执行第三调整策略,增加曝光时间和ISO值的新参数设置,调整光圈大小,允许更多光线进入,增强图像亮度,应用降噪算法和细节增强技术,调节暗部区域;
所述预处理包括应用曝光融合算法,将捕捉到的多重曝光图像合成为HDR图像,对合成的HDR图像进行降噪处理,进行色彩校正,调整图像色彩;
所述形成360度全景图包括对每个摄像头捕获的图像执行特征点检测,识别图像中的关键点,通过特征点匹配算法,找到不同图像之间的相应特征点,进行图像对齐,计算几何变换参数,当图像正确对齐时,控制系统执行图像融合算法,控制系统利用内容感知技术,识别和处理拼接处的深度不连续或视觉不一致问题,形成360度全景图。
4.如权利要求3所述的基于民航车辆360度环视系统的环境感知方法,其特征在于:所述环境感知包括初始化深度学习模型,训练识别车辆、飞机、地面服务设备、标志和信号,调整和优化模型参数适应机场特有的环境条件,分析360度全景图,实时检测机场动态物体和静态物体;
对检测到的物体进行分类,并分析位置、移动方向和速度,提供动态信息,综合考虑机场运行模式,分析机场内的车辆流和飞机运动,监测并分析飞机滑行、起降和停机过程中的潜在风险点,评估民航车辆与潜在风险点的相关性;
所述潜在风险点包括分析飞机与民航车辆预计的滑行路径,结合实时位置数据,使用预测模型识别潜在的路径交叉点和冲突时间,将路径冲突数据与周围车辆的行为数据结合,预测冲突可能性,将滑行路径冲突分析评估为低风险级别i1、中风险级别i2以及高风险级别i3;
实时监控服务区域边界,使用传感器检测任何越界行为,根据车辆在服务区域内的位置、速度和行驶方向评估风险级别,分析服务区域内的活动与周边飞行或停机飞机的潜在风险,将服务区域安全监控评估为安全级别j1、观察级别j2以及危险级别j3;
监测飞行区域,识别未授权侵入,分析侵入者的行为模式,预测移动轨迹及对飞行操作的潜在影响,评估侵入事件与周围飞行活动的关联,预测对机场运行的影响,将飞行区域侵入监测划分为一般注意级别k1、优先监控级别k2以及立即行动级别k3;
计算停机区域内的车辆密度,分析拥堵趋势,预测短期内的车辆流变化,提出调节建议,将拥堵信息与飞机起降计划相结合,优化地面车辆调度,将停机区拥堵管理划分为正常流动级别l1、轻度拥堵级别l2以及严重拥堵级别l3。
5.如权利要求4所述的基于民航车辆360度环视系统的环境感知方法,其特征在于:所述风险评估包括设定四维矩阵M,其各维度分别代表四个风险点A、B、C和D的风险等级,每个风险点有三个等级,矩阵形状为3×3×3×3,构建多维度风险评估模型;
所述多维度风险评估模型表示为,
其中,表示在时间/>的总风险评分,/>表示原始权重,/>表示动态权重调整系数,表示风险矩阵的元素,在时间/>四个风险点特定等级组合的状态,1表示基础风险评分,/>表示交互作用参数,代表不同风险点之间的交互影响,/>表示预测模型参数。
6.如权利要求5所述的基于民航车辆360度环视系统的环境感知方法,其特征在于:所述制定相应的安全措施包括当T1≤T(t)<T2时,判断为第一风险等级,执行第一安全措施;
当T2≤T(t)<T3时,判断为第二风险等级,执行第二安全措施;
当T3≤T(t)<T4时,判断为第三风险等级,执行第三安全措施;
当T4≤T(t)≤T5时,判断为第四风险等级,执行第四安全措施;
其中,T1、T2、T3、T4以及T5分别为预设风险等级阈值。
7.如权利要求6所述的基于民航车辆360度环视系统的环境感知方法,其特征在于:所述第一安全措施包括实时监控车辆及周围环境,分析历史交通数据和当前的交通模式,预测轻微交通拥堵或事故频发地段,判断为低风险区域,根据监测数据,识别沿途低风险区域,并标记出需要避免的路段,使用A*算法考虑实时交通状况和预期目的地,计算出绕开低风险区域的最优路径,在计算出最优路径后,对比原计划路径的总风险评分和新路径的总风险评分,将路线更新为总风险评分更低的路线,实时更新导航系统,引导车辆沿着更新后的路线行驶,启动车辆的预警系统,所述预警系统包括轻微的偏离预警、风险区域预警;
所述第二安全措施包括集成机场传感器数据,实时收集传感器数据,启动RRT*算法为车辆规划出避开第二风险等级的路径,评估原路径和RRT*算法规划的新路径,选择最优路径,通过车辆的通信接口,向驾驶员发送路径更新通知,并提供风险的详细预警,若监测风险级别升高至第三风险等级或出现新的潜在风险点,实施紧急交通管制措施,路线封闭、限速、导流;
所述第三安全措施包括使用RRT*算法,立即为所有受影响的车辆重新规划路线,驶离第三风险等级区域,启动紧急响应模式,封闭进入第三风险等级区域的所有路线,启动限速措施,根据实时风险评估调整交通信号;
所述第四安全措施包括启动全面紧急预案,全面路线封锁、进行紧急疏散,立即进行安全警告广播,调动所有安全资源和应急响应队伍,中央控制单元采取紧急指挥模式,降低风险和损失。
8.一种采用如权利要求1~7任一所述的基于民航车辆360度环视系统的环境感知方法的系统,其特征在于,包括:传感捕获模块、图像融合模块、场景分析模块、风险决策模块以及自控辅助模块;
所述传感捕获模块用于构建360度环视系统,使用HDR捕捉在不同光照条件下的图像,对捕获的图像进行预处理步骤;
所述图像融合模块用于将多个摄像头捕获的图像运用图像融合技术进行拼接和融合,形成360度全景图;
所述场景分析模块用于运用深度学习模型对环境中的物体进行检测和分类,对捕获的场景进行分析,理解场景的上下文,识别场景信息;
所述风险决策模块用于根据检测到的物体和场景,进行风险评估,制定安全措施;
所述自控辅助模块用于自动控制车辆进行避障、速度调整和路径规划,提供给驾驶员实时显示界面,所述实时显示界面包括环境图像、预警信息和推荐操作。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的基于民航车辆360度环视系统的环境感知方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于民航车辆360度环视系统的环境感知方法的步骤。
CN202410219822.2A 2024-02-28 2024-02-28 一种基于民航车辆360度环视系统的环境感知方法及系统 Pending CN117809275A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410219822.2A CN117809275A (zh) 2024-02-28 2024-02-28 一种基于民航车辆360度环视系统的环境感知方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410219822.2A CN117809275A (zh) 2024-02-28 2024-02-28 一种基于民航车辆360度环视系统的环境感知方法及系统

Publications (1)

Publication Number Publication Date
CN117809275A true CN117809275A (zh) 2024-04-02

Family

ID=90432205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410219822.2A Pending CN117809275A (zh) 2024-02-28 2024-02-28 一种基于民航车辆360度环视系统的环境感知方法及系统

Country Status (1)

Country Link
CN (1) CN117809275A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院(吴江) 基于增强学习和多传感器融合的自动驾驶系统
CN117141519A (zh) * 2023-10-18 2023-12-01 柳州工学院 一种基于图像处理的无人驾驶系统及方法
CN117275235A (zh) * 2023-10-09 2023-12-22 广州吉码电子科技股份有限公司 一种车辆监控方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院(吴江) 基于增强学习和多传感器融合的自动驾驶系统
CN117275235A (zh) * 2023-10-09 2023-12-22 广州吉码电子科技股份有限公司 一种车辆监控方法及系统
CN117141519A (zh) * 2023-10-18 2023-12-01 柳州工学院 一种基于图像处理的无人驾驶系统及方法

Similar Documents

Publication Publication Date Title
CN110178167B (zh) 基于摄像机协同接力的路口违章视频识别方法
JP6180482B2 (ja) マルチキュー・オブジェクトの検出および分析のための方法、システム、製品、およびコンピュータ・プログラム(マルチキュー・オブジェクトの検出および分析)
CN110197589B (zh) 一种基于深度学习的闯红灯违法检测方法
CN103824452B (zh) 一种轻量级的基于全景视觉的违章停车检测装置
Wu et al. Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement
US11380105B2 (en) Identification and classification of traffic conflicts
CN109448365B (zh) 一种跨尺度空基平台区域道路交通系统综合监视方法
CN104981818A (zh) 将机场中的移动的飞机分类的系统和方法
CN113593250A (zh) 一种基于视觉识别的违章停车检测系统
CN114781479A (zh) 交通事件检测方法及装置
DE102021124913A1 (de) Metrik-backpropagation für die beurteilung der leistung von untersystemen
Ismail Application of computer vision techniques for automated road safety analysis and traffic data collection
CN113450573A (zh) 基于无人机图像识别的交通监测方法和交通监测系统
CN114841910A (zh) 车载镜头遮挡识别方法及装置
CN115049948A (zh) 基于神经网络模型的无人机巡检方法、装置及相关设备
Dinh et al. Development of a tracking-based system for automated traffic data collection for roundabouts
Munasinghe et al. Smart Traffic Light Control System Based on Traffic Density and Emergency Vehicle Detection
CN117809275A (zh) 一种基于民航车辆360度环视系统的环境感知方法及系统
CN115775463A (zh) 一种自动驾驶汽车的导航方法
CN116453205A (zh) 一种营运车辆滞站揽客行为识别方法、装置及系统
CN111027365B (zh) 基于人脸对象位置分析的定位方法
Memon et al. Self-driving car using lidar sensing and image processing
CN113744304A (zh) 一种目标检测跟踪的方法和装置
Mo et al. Research on expressway traffic event detection at night based on Mask-SpyNet
Sahu Automated vehicle detection and tracking using Raspberry-Pi

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination