发明内容
本发明提供一种辅助驾驶的视角补偿系统,用以解决驾驶员视角只能是前视方向的情况。
一种辅助驾驶的视角补偿系统,其特征在于,包括:
数据采集模块:通过安装在轨道车辆侧面的捕捉摄像机和实时录像机,实时采集轨道车辆侧面的实时视频和高清图片;
视频检测模块:用于根据所述实时视频和高清图片,获取轨道车辆两侧的实时场景和异常图片,并根据所述实时场景和异常图片生成侧视全方位虚拟场景;
视角补偿模块:用于将所述侧视全方位虚拟场景通过预设链路传输至驾驶员的AR眼镜上,并基于异常识别的智能识别算法对所述侧视全方位虚拟场景进行处理,判断是否具有异常,并在具有异常时,通过轮换推送的方式推送所述异常的视角至所述AR眼镜中。
作为本发明的一种实施例:所述数据采集模块包括:
录像单元:用于通过设置于轨道车辆顶部的实时录像机获取两侧的实时视频,并基于时间轴对所述实时视频的进行时间定格,确定每一时刻的实时图像;
数据捕捉单元:用于通过捕捉摄影机和所述实时图像,判断是否存在异常,并基于所述异常,抓取所述异常对应的高清图片;
分帧单元:用于将所述实时图像划分为帧图像,并根据所述帧图像,判断每帧图像上的像素的变化情况,并将变化的像素进行统计,生成对应的像素集合,并根据所述捕捉摄影机实时捕捉的图像,对所述像素集合中的像素进行二次判断,确定变化的像素,并根据所述变化的像素,在捕捉的图像中,确定对应的高清图片。
作为本发明的一种实施例:所述录像单元包括:
第一侧视子单元:用于获取轨道车辆左侧的实时视频,并对所述实时视频的方位进行计算和分帧,提取方位要素和帧图片,并基于方位要素和帧图片的对应关系,生成第一定格实时图像;
第二侧视子单元:用于获取轨道车辆右侧的实时视频,并对所述实时视频的方位进行计算和分帧,提取方位要素和帧图片,并基于方位要素和帧图片的对应关系,生成第二定格实时图像;
合成单元:用于将所述第一定格实时图像和第二定格实时图像通过图像贴合,生成一个定格实时图像。
作为本发明的一种实施例:所述视频检测模块包括:
信息提取模块:用于获取实时视频和高清图片,确定实时图像,提取所述实时图像和高清图片的第一特征点信息和第一描述子信息;利用图像的第一特征点信息和第一描述子信息,确定中间图像信息;其中,
所述中间图像信息包含图像的特征点的几何拓扑信息;基于所述中间图像信息,提取图像的第二特征点信息和第二描述子信息;
神经网络单元:用于构建神经网络模型,并通过所述神经网络模型对所述实时图像和高清图片进行处理,确定特征点信息和描述子信息;
信息生成单元:用于建立事件时间轴,获取所述特征点信息和描述子信息在所述事件时间轴的时间节点上的位置特征,并根据所述位置特征值,确定固定时间点的特征点信息和描述子信息,并判断相邻时间点产生异常的特征点信息和描述子信息;其中,
所述固定时间点的特征点信息和描述子信息生成实时信息;
所述相邻时间点发生变化的特征点信息和描述子信息生成变化信息;
虚拟场景生成单元:用于根据所述实时场景和异常图片,通过AR技术进行多参数分析,确定异常参数,将所述异常参数通过多目标多约束公式计算,将计算后的异常参数通过虚拟资源组合及优化调度模型处理,生成全方位虚拟场景。
作为本发明的一种实施例:所述虚拟资源组合及优化调度模型处理,包括:
所述虚拟资源组合包括:
计算不同特征点信息和描述子信息之间的关联关系,根据所述关联关系,将所述关联关系的值相近的特征点信息和描述子信息进行归类,生成多个虚拟资源组,将所述虚拟资源组进行资源组合,生成全方位的虚拟场景;
所述的优化调度模型处理包括,用于根据仿真环境内不同模型在空间维度上的位置分布,以特定场景内某一模型质点A为原点建立三维坐标系;在所述三维坐标系下,确定构成该特定场景所必须的其他附属模型质点的三维角度偏移大小和模型质点间距离大小,从而构建起以模型质点A为中心支点的场景多模型拓扑网络,再确定所述场景多模型拓扑网络内各模型自身的偏航角、俯仰角和滚转角大小,最终形成特定仿真场景的模型空间关系数学;根据所述空间关系数学优化所述虚拟资源组。
作为本发明的一种实施例:所述视频检测模块还包括:
属性检测单元:获取所述实时视频和变化图像的视频生成时间段作为相应的视频属性信息;
时间确定单元:用于根据所述视频属性信息,从预设的轨道车辆的属性表查找所述视频时间属性,以及在所述视频时间属性下查找所述视频生成时间段,根据所述视频生成时间段对应的截取间隔时间生成对应的事件时间轴。
作为本发明的一种实施例:所述视角补偿模块包括:
虚拟场景接收单元:用于接收所述侧视全方位虚拟场景,并对所述侧视全方位虚拟场景的方位进行标记;
异常判断单元:用于通过判断异常的智能识别算法对所述侧视全方位虚拟场景进行处理,判断是否具有异常,并在具有异常时,确定异常对应的视角方位;
用户视角检测单元:用于根据所述AR眼镜获取用户的直射视角,并确定用户的实时视角方位;
视角补偿单元:用于将用户的实时视角方位通过轮换推送,推送至AR眼镜的用户实时视角方位。
作为本发明的一种实施例:所述系统还包括:
视角自动式切换模块:用于通过AR眼镜获取用户的虹膜角度变化信息,发并根据所述虹膜角度变化将所述虹膜视角方向的图像通过虚拟现实算法计算,进行影像清晰度增强。
作为本发明的一种实施例:所述根据所述虹膜角度变化将所述虹膜视角方向的图像通过虚拟现实算法计算,进行影像清晰度增强包括:
步骤1:检测所述虹膜角度变化,确定虹膜角度变化模型
:
其中,
表示虹膜的变化角度的数量;
表示第
个虹膜角度的角度特征;
表示角
度偏向值;
表示视觉面积;
表示视角变化次数;
步骤2:通过虚拟现实算法计算,图像计算清晰化处理模型
:
其中,所述
表示的预期清晰度值;所述
表示第
个虹膜角度对应的图像像素
点;所述
表示第
个虹膜角度对应的图像可优化值;所述
表示第
个虹膜角度对应的图
像像素点的与标准清晰度的偏差值;所述
表示第
个虹膜角度对应的图像像素点的偏差
补偿值;
;
表示虹膜角度对应的图像像素点的数量;
步骤3:根据虹膜角度变化模型和图像计算清晰化处理模型,增强图像清晰度
:
当
时,所述虹膜角度对应的图像像素点清晰度增强未完成;
当
时,所述虹膜角度对应的图像像素点清晰度增强成功。
作为本发明的一种实施例:所述视角补偿模块判断是否存在异常,包括如下步骤:
步骤S1:根据所述侧视全方位虚拟场景,构建场景矩阵模型:
其中,
表示侧视全方位虚拟场景第
个坐标点的位置参数;
表示侧视全方位虚
拟场景第
个元素的方位参数;
表示侧视全方位虚拟场景第
个元素的特征参数;
表
示侧视全方位虚拟场景的中心方位参数;
表示侧视全方位虚拟场景的最左方位参数;
表示侧视全方位虚拟场景的最右方位参数;
表示侧视全方位虚拟场景最高坐标点的
位置参数;
表示侧视全方位虚拟场景最低坐标点的位置参数;
步骤2:通过预设的智能识别算法对所述场景矩阵模型进行识别处理,判断是否存在异常:
其中,
表示第
个元素的异常识别函数;
表示智能识别算法的第
个
识别元素的识别算法;
表示识别出场景矩阵模型存在异常的概率;当
时,表示侧视全方位虚拟场景中第
个元素为异常元素。
本发明有益效果在于:本发明主要是用于获取轨道车辆侧面的视野,在轨道车辆侧面如果发生异常,例如泥石流或者山体落石,可能倒塌等异常时,通过视角补偿及时发现异常,进而提高车速,或者,在车辆已经遭受异常时,停车,防止车辆在小型被山体落石或者泥石流冲击时,不存在人体受伤的情况下,因为车辆还处于高速状态,导致脱轨发生异常。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1:
如附图1所示,本发明为一种辅助驾驶的视角补偿系统,包括:
数据采集模块:通过安装在轨道车辆侧面的捕捉摄像机和实时录像机,实时采集轨道车辆侧面的实时视频和高清图片;
捕捉摄像机为具有数据库的定点捕捉的摄像机,其捕捉的数据是预先存储在数据库中的对象目标-即异常和不安全事故,例如:泥石流、山洪、塌方、大水等情况。而实时录像机录像的是完整的轨道车辆两侧的轨道场景。实时视频表示实时拍摄的轨道车辆两侧的以录像形式呈现的视频。高清图片表示,在向邻近的时间内,同一地点发生剧烈变化的图像,也是捕捉摄像机需要对应捕捉的图像,例如:山体滚石,在前一刻没有滚石,下一刻发现相同的地点具有滚石,会获取具有滚石的图像作为变化图像。
视视频检测模块:用于根据所述实时视频和高清图片,获取轨道车辆两侧的实时场景和异常图片,并根据所述实时场景和异常图片生成侧视全方位虚拟场景;侧视全方位虚拟场景,即,将侧面的现实场景转换为了侧视的虚拟场景,全方位主要体现在具有激烈变化的方位的场景图像。
视角补偿模块:用于将所述侧视全方位虚拟场景通过预设链路传输至驾驶员的AR眼镜上,并基于异常识别的智能识别算法对所述侧视全方位虚拟场景进行处理,判断是否具有异常,并在具有异常时,通过轮换推送的方式推送具有异常的视角至所述AR眼镜中。
在本发明中,驾驶员观察的方向全是前方,而在侧面,驾驶员的视角是具有限制的,本发明通过视角补偿,将具有异常的场景显示在驾驶员的视角方向,进而使得驾驶员能有清楚的观察到异常。
上述技术方案的原理在于:本发明通过在轨道车辆的侧面设置捕捉摄影机和实施录像机获取车辆在行驶时的实时视频,实时视频表示车辆正在行驶时的视频,而高清图片,表示很短的时间内,相邻时刻异常的图像。视频检测模块通过对实时图像和高清图片进行处理,通过虚拟现实技术,生成侧视方位的全方位虚拟场景。
上述技术方案的有益效果在于:本发明主要是用于获取轨道车辆侧面的视野,在轨道车辆侧面如果发生异常,例如泥石流或者山体落石,可能倒塌等异常时,通过视角补偿及时发现异常,进而提高车速,或者,在车辆已经遭受异常时,停车,防止车辆在小型被山体落石或者泥石流冲击时,不存在人体受伤的情况下,因为车辆还处于高速状态,导致脱轨发生异常。
实施例2:
作为本发明的一种实施例:所述数据采集模块包括:
录像单元:用于通过设置于轨道车辆顶部的实时录像机获取两侧的实时视频,并基于时间轴对所述实时视频的进行时间定格,确定每一时刻的实时图像;
数据捕捉单元:用于通过捕捉摄影机和所述实时图像,判断是否存在异常,并基于所述异常,抓取所述异常对应的高清图片;
分帧单元:用于将所述实时图像划分为帧图像,并根据所述帧图像,判断每帧图像上的像素的变化情况,并将变化的像素进行统计,生成对应的像素集合,并根据所述捕捉摄影机实时捕捉的图像,对所述像素集合中的像素进行二次判断,确定变化的像素,并根据所述变化的像素,在捕捉的图像中,确定对应的高清图片。
帧图像上像素的变化就表示异常的出现和异常的变化,例如出现滚石,滚石越来越多对应的图像。
上述技术方案的有益效果在于:本发明通过实时录像机采集轨道车辆两侧的实时视频,定格实时视频表示在发生变化时,实时视频中变化时间点对应的定格实时图像。通过对定格实时图像可以确定实时视频中的动态图像,而通过捕捉摄影机对动态图像继续处理,判断得到动态变量对应的变化图像。
上述技术方案的原理和有益效果在于:本发明通过实时录像,对轨道车辆两侧的场景视频进行抓取,然后在数据捕捉时,基于动态变量的动态变化,进而区分出具有异常的图像和其他图像,在分帧过程中,帧图像是对像素变化情况的判定和对像素的统计,基于二次判定,更加清楚像素的变化。
实施例3:
作为本发明的一种实施例:所述录像单元包括:
第一侧视子单元:用于获取轨道车辆左侧的实时视频,并对所述实时视频的方位进行计算和分帧,提取方位要素和帧图片,并基于方位要素和帧图片的对应关系,生成第一方位实时图像;方位要素表示图片中各个对象对应的位置方向(例如:滚石在车辆左侧距离车头50米处)。
第二侧视子单元:用于获取轨道车辆右侧的实时视频,并对所述实时视频的方位进行计算和分帧,提取方位要素和帧图片,并基于方位要素和帧图片的对应关系,生成第二方位实时图像;
合成单元:用于将所述第一方位实时图像和第二方位实时图像通过图像贴合,生成一个实时图像,图像贴合也叫图像拼接技术,通过图像拼接实现图像之间的合并,例如:左侧异常的虚拟场景和右侧虚拟异常的场景贴合在一块,通过一个场景分界线进行区分,就可以同时观察左侧和右侧的异常。
上述技术方案的原理和有益效果在于:本发明通过对轨道左侧和右侧的实时视频分别获取,并通过对视频中异常的方位和分帧图片的像素进行计算,实现对图像的实时定格,实时定格表示某一瞬间的图像。两个瞬间的图像通过两个图像的贴合,融合成为一个定格图像。
实施例4:
作为本发明的一种实施例:所述视频检测模块包括:
信息提取模块:用于获取实时视频和高清图片,确定实时图像,提取所述实时图像和高清图片的第一特征点信息和第一描述子信息;利用图像的第一特征点信息和第一描述子信息,确定中间图像信息;其中,
所述中间图像信息包含图像的特征点的几何拓扑信息;基于所述中间图像信息,提取图像的第二特征点信息和第二描述子信息;
特征点信息和描述子信息对应,都表示实时图像和变化图像中某一区域的状况,例如:实时图像和变化图像的某一点的颜色作为特征点,而对于颜色的叙述就是描述子信息的一部分。
神经网络单元:用于构建神经网络模型,并通过所述神经网络模型对所述实时图像和高清图片进行处理,确定特征点信息和描述子信息;
信息生成单元:用于建立事件时间轴,获取所述特征点信息和描述子信息在所述事件时间轴的时间节点上的位置特征,并根据所述位置特征值,确定固定时间点的特征点信息和描述子信息,并判断相邻时间点产生异常的特征点信息和描述子信息;其中,
所述固定时间点的特征点信息和描述子信息生成实时信息;
所述相邻时间点发生变化的特征点信息和描述子信息生成异常信息;
虚拟场景生成单元:用于根据所述实时信息和变化信息,通过AR技术进行多参数分析,确定可分析的参数,将所述可分析的参数通过所述多目标多约束公式计算,并将计算后的分析参数通过虚拟资源组合及优化调度模型处理,生成全方位虚拟场景。
上述技术方案的原理和有益效果在于:本发明基于图像的特征的信息和描述子信息之间的关系,实现对图像的几何拓扑处理,然后通过神经网络单元通过网络模型对图像进行处理,最后基于事件时间轴实现对虚拟场景中实时信息和即便新的确定,然后通过虚拟资源组合及优化调度模型的计算处理得到全方位的虚拟场景。
实施例5:
作为本发明的一种实施例:所述虚拟资源组合及优化调度模型处理,包括:
所述虚拟资源组合包括:
计算不同特征点信息和描述子信息之间的关联关系,根据所述关联关系,将所述关联关系的值相近的特征点信息和描述子信息进行归类,生成多个虚拟资源组,将所述虚拟资源组进行资源组合,生成全方位的虚拟场景;
所述的优化调度模型处理包括,用于根据仿真环境内不同模型在空间维度上的位置分布,以特定场景内某一模型质点A为原点建立三维坐标系;在所述三维坐标系下,确定构成该特定场景所必须的其他附属模型质点的三维角度偏移大小和模型质点间距离大小,从而构建起以模型质点A为中心支点的场景多模型拓扑网络,再确定所述场景多模型拓扑网络内各模型自身的偏航角、俯仰角和滚转角大小,最终形成特定仿真场景的模型空间关系数学;根据所述空间关系数学优化所述虚拟资源组。
实施例6:
作为本发明的一种实施例:所述视频检测模块还包括:
属性检测单元:获取所述实时视频和高清图片的生成时间,并作为相应的属性信息;
时间确定单元:用于根据所述属性信息,从预设的轨道车辆的属性表查找所述时间属性,以及在所述时间属性下查找所述生成时间段,根据所述视频生成时间段对应的截取间隔时间生成对应的事件时间轴。
上述技术方案的原理和有益效果在于:本发明基于对图像视频的属性信息的监测实现,对轨道车辆的时间属性的评定,通过时间属性对视频的生成时间进行溯源进而实现时间对应的事件时间轴。
实施例7:
作为本发明的一种实施例:所述视角补偿模块包括:
虚拟场景接收单元:用于接收所述侧视全方位虚拟场景,并对所述侧视全方位虚拟场景的方位进行标记;
异常判断单元:用于通过判断异常的智能识别算法对所述侧视全方位虚拟场景进行处理,判断是否具有异常,并在具有异常时,确定异常对应的视角方位;
用户视角检测单元:用于根据所述AR眼镜获取用户的直射视角,并确定用户的实时视角方位;
视角补偿单元:用于将用户的实时视角方位通过轮换推送,推送至AR眼镜的用户实时视角方位。
上述技术方案的原理和有益效果在于:本发明在虚拟场景中,通过对侧视的虚拟产加工进行全方位的标记,并给予异常的智能识别算法对虚拟场景进行计算处理,最后根据视角方位确定异常,有效的保证了异常的精确性。然后通过确定用户视角方向,根据用户视角方向,实现对视角的多方位补偿。
实施例8:
作为本发明的一种实施例:所述系统还包括:
视角自动式切换模块:用于通过AR眼镜获取用户的虹膜角度变化信息,发并根据所述虹膜角度变化将所述虹膜视角方向的图像通过虚拟现实算法计算,进行影像清晰度增强。
上述技术方案的原理和有益效果在于:本发明在进行视角切换时,基于虹膜角度的变化,使得图像可以增强,提高图像清晰度。
实施例9:
作为本发明的一种实施例:所述根据所述虹膜角度变化将所述虹膜视角方向的图像通过虚拟现实算法计算,进行影像清晰度增强包括:
步骤1:检测所述虹膜角度变化,确定虹膜角度变化模型
:
其中,
表示虹膜的变化角度的数量;
表示第
个虹膜角度的角度特征;
表示角
度偏向值;
表示视觉面积;
表示视角变化次数;
步骤2:通过虚拟现实算法计算,图像计算清晰化处理模型
:
其中,所述
表示的预期清晰度值;所述
表示第
个虹膜角度对应的图像像素
点;所述
表示第
个虹膜角度对应的图像可优化值;所述
表示第
个虹膜角度对应的图
像像素点的与标准清晰度的偏差值;所述
表示第
个虹膜角度对应的图像像素点的偏差
补偿值;
;
表示虹膜角度对应的图像像素点的数量
步骤3:根据虹膜角度变化模型和图像计算清晰化处理模型,增强图像清晰度
:
当
时,所述虹膜角度对应的图像像素点清晰度增强未完成;
当
时,所述虹膜角度对应的图像像素点清晰度增强成功。
上述技术放那的原理和有益效果在于:本发明基于虹膜角度变化模型的变化生成虹膜角度变化模型的最终角度参数,然后又通过图像的清晰化处理,实现对图像的精确计算,最后根据虹膜角度变化模型和像计算清晰化处理模型,最后根据虹膜角度变化模型和像计算清晰化处理模型,增强图像清晰度,相对于现有技术,在虚拟化视角补偿时,使得驾驶员看的更加清晰。
实施例10:
作为本发明的一种实施例:所述视角补偿模块判断是否存在异常,包括如下步骤:
步骤S1:根据所述侧视全方位虚拟场景,构建场景矩阵模型:
其中,
表示侧视全方位虚拟场景第
个坐标点的位置参数;
表示侧视全方位虚
拟场景第
个元素的方位参数;
表示侧视全方位虚拟场景第
个元素的特征参数;
表
示侧视全方位虚拟场景的中心方位参数;
表示侧视全方位虚拟场景的最左方位参数;
表示侧视全方位虚拟场景的最右方位参数;
表示侧视全方位虚拟场景最高坐标点的
位置参数;
表示侧视全方位虚拟场景最低坐标点的位置参数;
在步骤S1中,本发明搭建的时场景矩阵模型,在这个场景矩阵模型中,本发明通过引入方位参数、场景中的元素(例如:花、树木、石头等)和场景中元素的具体位置,实现场景矩阵的构建,确定了整个虚拟场景。
步骤S2:通过预设的智能识别算法对所述场景矩阵模型进行识别处理,判断是否存在异常:
其中,
表示第
个元素的异常识别函数;
表示智能识别算法的第
个
识别元素的识别算法;
表示识别出场景矩阵模型存在异常的概率;当
时,表示侧视全方位虚拟场景中第
个元素为异常元素。
在步骤S2中,本发明通过智能识别算法对场景矩阵模型进行识别处理,最后判断出哪些元素是异常的,在这个识别的过程中,本发明采用的是智能识别算法中的识别元素进行一一识别的方式,智能识别算法中的识别元素是预先设置的,便于精确的识别出是否存在异常。显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。