CN113569826B - 一种辅助驾驶的视角补偿系统 - Google Patents

一种辅助驾驶的视角补偿系统 Download PDF

Info

Publication number
CN113569826B
CN113569826B CN202111132103.XA CN202111132103A CN113569826B CN 113569826 B CN113569826 B CN 113569826B CN 202111132103 A CN202111132103 A CN 202111132103A CN 113569826 B CN113569826 B CN 113569826B
Authority
CN
China
Prior art keywords
time
real
image
looking
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111132103.XA
Other languages
English (en)
Other versions
CN113569826A (zh
Inventor
蒋勇
戴相龙
李学钧
王晓鹏
何成虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Haohan Information Technology Co ltd
Original Assignee
Jiangsu Haohan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Haohan Information Technology Co ltd filed Critical Jiangsu Haohan Information Technology Co ltd
Priority to CN202111132103.XA priority Critical patent/CN113569826B/zh
Publication of CN113569826A publication Critical patent/CN113569826A/zh
Application granted granted Critical
Publication of CN113569826B publication Critical patent/CN113569826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种辅助驾驶的视角补偿系统，包括数据采集模块：通过安装在轨道车辆侧面的捕捉摄像机和实时录像机，实时采集轨道车辆侧面的实时视频和变化图像；视频检测模块：用于根据所述实时图像和变化图像，获取轨道车辆两侧的实时信息和变化信息，并根据所述实时信息和变化信息生成侧视全方位虚拟场景视角补偿模块：用于将所述侧视全方位虚拟场景传输至AR眼镜上，并通过异常的智能识别算法对所述侧视全方位虚拟场景进行处理，判断是否具有异常，并在具有异常时，通过轮换推送的方式推送所述异常的视角至所述AR眼镜中。

Description

一种辅助驾驶的视角补偿系统
技术领域
本发明涉及轨道车辆驾驶技术领域，特别涉及一种辅助驾驶的视角补偿系统。
背景技术
目前，在轨道交通领域，特别是火车和高铁领域，驾驶员都是在驾驶室通过正方向上观察窗，观察运行轨道的行驶方向上的环境；而在轨道车辆的侧面，因为正方向上观察窗的限制，无法进行观察，导致在这种环境下，容易发生驾驶安全事故。例如：在行驶过程中，车辆发生火灾，产生巨大烟雾；火车侧面有电线杆倒塌；火车侧面山体有落石落下；火车侧面有动物或人在接近；火车在转弯时，部分车厢侧偏幅度过大等异常状况时，驾驶员无法及时、准确的看到这些场景状况。容易导致发生不安全事故，因此需要增大驾驶员的视角，进行视角补偿。
发明内容
本发明提供一种辅助驾驶的视角补偿系统，用以解决驾驶员视角只能是前视方向的情况。
一种辅助驾驶的视角补偿系统，其特征在于，包括：
数据采集模块：通过安装在轨道车辆侧面的捕捉摄像机和实时录像机，实时采集轨道车辆侧面的实时视频和高清图片；
视频检测模块：用于根据所述实时视频和高清图片，获取轨道车辆两侧的实时场景和异常图片，并根据所述实时场景和异常图片生成侧视全方位虚拟场景；
视角补偿模块：用于将所述侧视全方位虚拟场景通过预设链路传输至驾驶员的AR眼镜上，并基于异常识别的智能识别算法对所述侧视全方位虚拟场景进行处理，判断是否具有异常，并在具有异常时，通过轮换推送的方式推送所述异常的视角至所述AR眼镜中。
作为本发明的一种实施例：所述数据采集模块包括：
录像单元：用于通过设置于轨道车辆顶部的实时录像机获取两侧的实时视频，并基于时间轴对所述实时视频的进行时间定格，确定每一时刻的实时图像；
数据捕捉单元：用于通过捕捉摄影机和所述实时图像，判断是否存在异常，并基于所述异常，抓取所述异常对应的高清图片；
分帧单元：用于将所述实时图像划分为帧图像，并根据所述帧图像，判断每帧图像上的像素的变化情况，并将变化的像素进行统计，生成对应的像素集合，并根据所述捕捉摄影机实时捕捉的图像，对所述像素集合中的像素进行二次判断，确定变化的像素，并根据所述变化的像素，在捕捉的图像中，确定对应的高清图片。
作为本发明的一种实施例：所述录像单元包括：
第一侧视子单元：用于获取轨道车辆左侧的实时视频，并对所述实时视频的方位进行计算和分帧，提取方位要素和帧图片，并基于方位要素和帧图片的对应关系，生成第一定格实时图像；
第二侧视子单元：用于获取轨道车辆右侧的实时视频，并对所述实时视频的方位进行计算和分帧，提取方位要素和帧图片，并基于方位要素和帧图片的对应关系，生成第二定格实时图像；
合成单元：用于将所述第一定格实时图像和第二定格实时图像通过图像贴合，生成一个定格实时图像。
作为本发明的一种实施例：所述视频检测模块包括：
信息提取模块：用于获取实时视频和高清图片，确定实时图像，提取所述实时图像和高清图片的第一特征点信息和第一描述子信息；利用图像的第一特征点信息和第一描述子信息，确定中间图像信息；其中，
所述中间图像信息包含图像的特征点的几何拓扑信息；基于所述中间图像信息，提取图像的第二特征点信息和第二描述子信息；
神经网络单元：用于构建神经网络模型，并通过所述神经网络模型对所述实时图像和高清图片进行处理，确定特征点信息和描述子信息；
信息生成单元：用于建立事件时间轴，获取所述特征点信息和描述子信息在所述事件时间轴的时间节点上的位置特征，并根据所述位置特征值，确定固定时间点的特征点信息和描述子信息，并判断相邻时间点产生异常的特征点信息和描述子信息；其中，
所述固定时间点的特征点信息和描述子信息生成实时信息；
所述相邻时间点发生变化的特征点信息和描述子信息生成变化信息；
虚拟场景生成单元：用于根据所述实时场景和异常图片，通过AR技术进行多参数分析，确定异常参数，将所述异常参数通过多目标多约束公式计算，将计算后的异常参数通过虚拟资源组合及优化调度模型处理，生成全方位虚拟场景。
作为本发明的一种实施例：所述虚拟资源组合及优化调度模型处理，包括：
所述虚拟资源组合包括：
计算不同特征点信息和描述子信息之间的关联关系，根据所述关联关系，将所述关联关系的值相近的特征点信息和描述子信息进行归类，生成多个虚拟资源组，将所述虚拟资源组进行资源组合，生成全方位的虚拟场景；
所述的优化调度模型处理包括，用于根据仿真环境内不同模型在空间维度上的位置分布，以特定场景内某一模型质点A为原点建立三维坐标系；在所述三维坐标系下，确定构成该特定场景所必须的其他附属模型质点的三维角度偏移大小和模型质点间距离大小，从而构建起以模型质点A为中心支点的场景多模型拓扑网络，再确定所述场景多模型拓扑网络内各模型自身的偏航角、俯仰角和滚转角大小，最终形成特定仿真场景的模型空间关系数学；根据所述空间关系数学优化所述虚拟资源组。
作为本发明的一种实施例：所述视频检测模块还包括：
属性检测单元：获取所述实时视频和变化图像的视频生成时间段作为相应的视频属性信息；
时间确定单元:用于根据所述视频属性信息，从预设的轨道车辆的属性表查找所述视频时间属性，以及在所述视频时间属性下查找所述视频生成时间段，根据所述视频生成时间段对应的截取间隔时间生成对应的事件时间轴。
作为本发明的一种实施例：所述视角补偿模块包括：
虚拟场景接收单元：用于接收所述侧视全方位虚拟场景，并对所述侧视全方位虚拟场景的方位进行标记；
异常判断单元：用于通过判断异常的智能识别算法对所述侧视全方位虚拟场景进行处理，判断是否具有异常，并在具有异常时，确定异常对应的视角方位；
用户视角检测单元：用于根据所述AR眼镜获取用户的直射视角，并确定用户的实时视角方位；
视角补偿单元：用于将用户的实时视角方位通过轮换推送，推送至AR眼镜的用户实时视角方位。
作为本发明的一种实施例：所述系统还包括：
视角自动式切换模块：用于通过AR眼镜获取用户的虹膜角度变化信息，发并根据所述虹膜角度变化将所述虹膜视角方向的图像通过虚拟现实算法计算，进行影像清晰度增强。
作为本发明的一种实施例：所述根据所述虹膜角度变化将所述虹膜视角方向的图像通过虚拟现实算法计算，进行影像清晰度增强包括：
步骤1：检测所述虹膜角度变化，确定虹膜角度变化模型
Figure 247352DEST_PATH_IMAGE001
：
Figure 34917DEST_PATH_IMAGE002
其中，
Figure 184139DEST_PATH_IMAGE003
表示虹膜的变化角度的数量；
Figure 939736DEST_PATH_IMAGE004
表示第
Figure 705567DEST_PATH_IMAGE005
个虹膜角度的角度特征；
Figure 595026DEST_PATH_IMAGE006
表示角 度偏向值；
Figure 647689DEST_PATH_IMAGE007
表示视觉面积；
Figure 89034DEST_PATH_IMAGE008
表示视角变化次数；
步骤2：通过虚拟现实算法计算，图像计算清晰化处理模型
Figure 217527DEST_PATH_IMAGE009
：
Figure 786043DEST_PATH_IMAGE010
其中，所述
Figure 175436DEST_PATH_IMAGE011
表示的预期清晰度值；所述
Figure 928629DEST_PATH_IMAGE012
表示第
Figure 183898DEST_PATH_IMAGE005
个虹膜角度对应的图像像素 点；所述
Figure 680739DEST_PATH_IMAGE013
表示第
Figure 190217DEST_PATH_IMAGE005
个虹膜角度对应的图像可优化值；所述
Figure 848732DEST_PATH_IMAGE014
表示第
Figure 827183DEST_PATH_IMAGE005
个虹膜角度对应的图像 像素点的与标准清晰度的偏差值；所述
Figure 986769DEST_PATH_IMAGE015
表示第
Figure 757279DEST_PATH_IMAGE005
个虹膜角度对应的图像像素点的偏差补 偿值；
Figure 697947DEST_PATH_IMAGE016
；
Figure 553907DEST_PATH_IMAGE017
表示虹膜角度对应的图像像素点的数量；
步骤3：根据虹膜角度变化模型和图像计算清晰化处理模型，增强图像清晰度
Figure 251605DEST_PATH_IMAGE018
：
Figure 486408DEST_PATH_IMAGE019
当
Figure 345780DEST_PATH_IMAGE020
时，所述虹膜角度对应的图像像素点清晰度增强未完成；
当
Figure 157878DEST_PATH_IMAGE021
时，所述虹膜角度对应的图像像素点清晰度增强成功。
作为本发明的一种实施例：所述视角补偿模块判断是否存在异常，包括如下步骤：
步骤S1：根据所述侧视全方位虚拟场景，构建场景矩阵模型：
Figure 174113DEST_PATH_IMAGE022
其中，
Figure 512691DEST_PATH_IMAGE023
表示侧视全方位虚拟场景第
Figure 293696DEST_PATH_IMAGE024
个坐标点的位置参数；
Figure 593090DEST_PATH_IMAGE025
表示侧视全方位虚 拟场景第
Figure 898170DEST_PATH_IMAGE026
个元素的方位参数；
Figure 343451DEST_PATH_IMAGE027
表示侧视全方位虚拟场景第
Figure 685571DEST_PATH_IMAGE026
个元素的特征参数；
Figure 862474DEST_PATH_IMAGE028
表示 侧视全方位虚拟场景的中心方位参数；
Figure 190818DEST_PATH_IMAGE029
表示侧视全方位虚拟场景的最左方位参数；
Figure 644933DEST_PATH_IMAGE030
表 示侧视全方位虚拟场景的最右方位参数；
Figure 282588DEST_PATH_IMAGE031
表示侧视全方位虚拟场景最高坐标点的位置 参数；
Figure 822154DEST_PATH_IMAGE032
表示侧视全方位虚拟场景最低坐标点的位置参数；
步骤2：通过预设的智能识别算法对所述场景矩阵模型进行识别处理，判断是否存在异常：
Figure 452724DEST_PATH_IMAGE033
其中，
Figure 885980DEST_PATH_IMAGE034
表示第
Figure 569902DEST_PATH_IMAGE035
个元素的异常识别函数；
Figure 206551DEST_PATH_IMAGE036
表示智能识别算法的第
Figure 391544DEST_PATH_IMAGE037
个识 别元素的识别算法；
Figure 554672DEST_PATH_IMAGE038
表示识别出场景矩阵模型存在异常的概率；当
Figure 786327DEST_PATH_IMAGE039
时，表 示侧视全方位虚拟场景中第
Figure 300485DEST_PATH_IMAGE026
个元素为异常元素。
本发明有益效果在于：本发明主要是用于获取轨道车辆侧面的视野，在轨道车辆侧面如果发生异常，例如泥石流或者山体落石，可能倒塌等异常时，通过视角补偿及时发现异常，进而提高车速，或者，在车辆已经遭受异常时，停车，防止车辆在小型被山体落石或者泥石流冲击时，不存在人体受伤的情况下，因为车辆还处于高速状态，导致脱轨发生异常。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种辅助驾驶的视角补偿系统的系统组成图；
图2为本发明实施例中数据采集模块的模块组成图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1：
如附图1所示，本发明为一种辅助驾驶的视角补偿系统，包括：
数据采集模块：通过安装在轨道车辆侧面的捕捉摄像机和实时录像机，实时采集轨道车辆侧面的实时视频和高清图片；
捕捉摄像机为具有数据库的定点捕捉的摄像机，其捕捉的数据是预先存储在数据库中的对象目标-即异常和不安全事故，例如：泥石流、山洪、塌方、大水等情况。而实时录像机录像的是完整的轨道车辆两侧的轨道场景。实时视频表示实时拍摄的轨道车辆两侧的以录像形式呈现的视频。高清图片表示，在向邻近的时间内，同一地点发生剧烈变化的图像，也是捕捉摄像机需要对应捕捉的图像，例如：山体滚石，在前一刻没有滚石，下一刻发现相同的地点具有滚石，会获取具有滚石的图像作为变化图像。
视频检测模块：用于根据所述实时视频和高清图片，获取轨道车辆两侧的实时场景和异常图片，并根据所述实时场景和异常图片生成侧视全方位虚拟场景；侧视全方位虚拟场景，即，将侧面的现实场景转换为了侧视的虚拟场景，全方位主要体现在具有激烈变化的方位的场景图像。
视角补偿模块：用于将所述侧视全方位虚拟场景通过预设链路传输至驾驶员的AR眼镜上，并基于异常识别的智能识别算法对所述侧视全方位虚拟场景进行处理，判断是否具有异常，并在具有异常时，通过轮换推送的方式推送具有异常的视角至所述AR眼镜中。
在本发明中，驾驶员观察的方向全是前方，而在侧面，驾驶员的视角是具有限制的，本发明通过视角补偿，将具有异常的场景显示在驾驶员的视角方向，进而使得驾驶员能有清楚的观察到异常。
上述技术方案的原理在于：本发明通过在轨道车辆的侧面设置捕捉摄影机和实施录像机获取车辆在行驶时的实时视频，实时视频表示车辆正在行驶时的视频，而高清图片，表示很短的时间内，相邻时刻异常的图像。视频检测模块通过对实时图像和高清图片进行处理，通过虚拟现实技术，生成侧视方位的全方位虚拟场景。
上述技术方案的有益效果在于：本发明主要是用于获取轨道车辆侧面的视野，在轨道车辆侧面如果发生异常，例如泥石流或者山体落石，可能倒塌等异常时，通过视角补偿及时发现异常，进而提高车速，或者，在车辆已经遭受异常时，停车，防止车辆在小型被山体落石或者泥石流冲击时，不存在人体受伤的情况下，因为车辆还处于高速状态，导致脱轨发生异常。
实施例2：
作为本发明的一种实施例：所述数据采集模块包括：
录像单元：用于通过设置于轨道车辆顶部的实时录像机获取两侧的实时视频，并基于时间轴对所述实时视频的进行时间定格，确定每一时刻的实时图像；
数据捕捉单元：用于通过捕捉摄影机和所述实时图像，判断是否存在异常，并基于所述异常，抓取所述异常对应的高清图片；
分帧单元：用于将所述实时图像划分为帧图像，并根据所述帧图像，判断每帧图像上的像素的变化情况，并将变化的像素进行统计，生成对应的像素集合，并根据所述捕捉摄影机实时捕捉的图像，对所述像素集合中的像素进行二次判断，确定变化的像素，并根据所述变化的像素，在捕捉的图像中，确定对应的高清图片。
帧图像上像素的变化就表示异常的出现和异常的变化，例如出现滚石，滚石越来越多对应的图像。
上述技术方案的有益效果在于：本发明通过实时录像机采集轨道车辆两侧的实时视频，定格实时视频表示在发生变化时，实时视频中变化时间点对应的定格实时图像。通过对定格实时图像可以确定实时视频中的动态图像，而通过捕捉摄影机对动态图像继续处理，判断得到动态变量对应的变化图像。
上述技术方案的原理和有益效果在于：本发明通过实时录像，对轨道车辆两侧的场景视频进行抓取，然后在数据捕捉时，基于动态变量的动态变化，进而区分出具有异常的图像和其他图像，在分帧过程中，帧图像是对像素变化情况的判定和对像素的统计，基于二次判定，更加清楚像素的变化。
实施例3：
作为本发明的一种实施例：所述录像单元包括：
第一侧视子单元：用于获取轨道车辆左侧的实时视频，并对所述实时视频的方位进行计算和分帧，提取方位要素和帧图片，并基于方位要素和帧图片的对应关系，生成第一方位实时图像；方位要素表示图片中各个对象对应的位置方向（例如：滚石在车辆左侧距离车头50米处）。
第二侧视子单元：用于获取轨道车辆右侧的实时视频，并对所述实时视频的方位进行计算和分帧，提取方位要素和帧图片，并基于方位要素和帧图片的对应关系，生成第二方位实时图像；
合成单元：用于将所述第一方位实时图像和第二方位实时图像通过图像贴合，生成一个实时图像，图像贴合也叫图像拼接技术，通过图像拼接实现图像之间的合并，例如：左侧异常的虚拟场景和右侧虚拟异常的场景贴合在一块，通过一个场景分界线进行区分，就可以同时观察左侧和右侧的异常。
上述技术方案的原理和有益效果在于：本发明通过对轨道左侧和右侧的实时视频分别获取，并通过对视频中异常的方位和分帧图片的像素进行计算，实现对图像的实时定格，实时定格表示某一瞬间的图像。两个瞬间的图像通过两个图像的贴合，融合成为一个定格图像。
实施例4：
作为本发明的一种实施例：所述视频检测模块包括：
信息提取模块：用于获取实时视频和高清图片，确定实时图像，提取所述实时图像和高清图片的第一特征点信息和第一描述子信息；利用图像的第一特征点信息和第一描述子信息，确定中间图像信息；其中，
所述中间图像信息包含图像的特征点的几何拓扑信息；基于所述中间图像信息，提取图像的第二特征点信息和第二描述子信息；
特征点信息和描述子信息对应，都表示实时图像和变化图像中某一区域的状况，例如：实时图像和变化图像的某一点的颜色作为特征点，而对于颜色的叙述就是描述子信息的一部分。
神经网络单元：用于构建神经网络模型，并通过所述神经网络模型对所述实时图像和高清图片进行处理，确定特征点信息和描述子信息；
信息生成单元：用于建立事件时间轴，获取所述特征点信息和描述子信息在所述事件时间轴的时间节点上的位置特征，并根据所述位置特征值，确定固定时间点的特征点信息和描述子信息，并判断相邻时间点产生异常的特征点信息和描述子信息；其中，
所述固定时间点的特征点信息和描述子信息生成实时信息；
所述相邻时间点发生变化的特征点信息和描述子信息生成异常信息；
虚拟场景生成单元：用于根据所述实时信息和变化信息，通过AR技术进行多参数分析，确定可分析的参数，将所述可分析的参数通过所述多目标多约束公式计算，并将计算后的分析参数通过虚拟资源组合及优化调度模型处理，生成全方位虚拟场景。
上述技术方案的原理和有益效果在于：本发明基于图像的特征的信息和描述子信息之间的关系，实现对图像的几何拓扑处理，然后通过神经网络单元通过网络模型对图像进行处理，最后基于事件时间轴实现对虚拟场景中实时信息和即便新的确定，然后通过虚拟资源组合及优化调度模型的计算处理得到全方位的虚拟场景。
实施例5：
作为本发明的一种实施例：所述虚拟资源组合及优化调度模型处理，包括：
所述虚拟资源组合包括：
计算不同特征点信息和描述子信息之间的关联关系，根据所述关联关系，将所述关联关系的值相近的特征点信息和描述子信息进行归类，生成多个虚拟资源组，将所述虚拟资源组进行资源组合，生成全方位的虚拟场景；
所述的优化调度模型处理包括，用于根据仿真环境内不同模型在空间维度上的位置分布，以特定场景内某一模型质点A为原点建立三维坐标系；在所述三维坐标系下，确定构成该特定场景所必须的其他附属模型质点的三维角度偏移大小和模型质点间距离大小，从而构建起以模型质点A为中心支点的场景多模型拓扑网络，再确定所述场景多模型拓扑网络内各模型自身的偏航角、俯仰角和滚转角大小，最终形成特定仿真场景的模型空间关系数学；根据所述空间关系数学优化所述虚拟资源组。
实施例6：
作为本发明的一种实施例：所述视频检测模块还包括：
属性检测单元：获取所述实时视频和高清图片的生成时间，并作为相应的属性信息；
时间确定单元:用于根据所述属性信息，从预设的轨道车辆的属性表查找所述时间属性，以及在所述时间属性下查找所述生成时间段，根据所述视频生成时间段对应的截取间隔时间生成对应的事件时间轴。
上述技术方案的原理和有益效果在于：本发明基于对图像视频的属性信息的监测实现，对轨道车辆的时间属性的评定，通过时间属性对视频的生成时间进行溯源进而实现时间对应的事件时间轴。
实施例7：
作为本发明的一种实施例：所述视角补偿模块包括：
虚拟场景接收单元：用于接收所述侧视全方位虚拟场景，并对所述侧视全方位虚拟场景的方位进行标记；
异常判断单元：用于通过判断异常的智能识别算法对所述侧视全方位虚拟场景进行处理，判断是否具有异常，并在具有异常时，确定异常对应的视角方位；
用户视角检测单元：用于根据所述AR眼镜获取用户的直射视角，并确定用户的实时视角方位；
视角补偿单元：用于将用户的实时视角方位通过轮换推送，推送至AR眼镜的用户实时视角方位。
上述技术方案的原理和有益效果在于：本发明在虚拟场景中，通过对侧视的虚拟产加工进行全方位的标记，并给予异常的智能识别算法对虚拟场景进行计算处理，最后根据视角方位确定异常，有效的保证了异常的精确性。然后通过确定用户视角方向，根据用户视角方向，实现对视角的多方位补偿。
实施例8：
作为本发明的一种实施例：所述系统还包括：
视角自动式切换模块：用于通过AR眼镜获取用户的虹膜角度变化信息，发并根据所述虹膜角度变化将所述虹膜视角方向的图像通过虚拟现实算法计算，进行影像清晰度增强。
上述技术方案的原理和有益效果在于：本发明在进行视角切换时，基于虹膜角度的变化，使得图像可以增强，提高图像清晰度。
实施例9：
作为本发明的一种实施例：所述根据所述虹膜角度变化将所述虹膜视角方向的图像通过虚拟现实算法计算，进行影像清晰度增强包括：
步骤1：检测所述虹膜角度变化，确定虹膜角度变化模型
Figure 23590DEST_PATH_IMAGE040
：
Figure 916591DEST_PATH_IMAGE041
其中，
Figure 207895DEST_PATH_IMAGE003
表示虹膜的变化角度的数量；
Figure 802825DEST_PATH_IMAGE004
表示第
Figure 844468DEST_PATH_IMAGE005
个虹膜角度的角度特征；
Figure 451029DEST_PATH_IMAGE006
表示角 度偏向值；
Figure 303448DEST_PATH_IMAGE007
表示视觉面积；
Figure 136406DEST_PATH_IMAGE008
表示视角变化次数；
步骤2：通过虚拟现实算法计算，图像计算清晰化处理模型
Figure 76680DEST_PATH_IMAGE009
：
Figure 927961DEST_PATH_IMAGE010
其中，所述
Figure 914461DEST_PATH_IMAGE011
表示的预期清晰度值；所述
Figure 359349DEST_PATH_IMAGE012
表示第
Figure 227948DEST_PATH_IMAGE005
个虹膜角度对应的图像像素 点；所述
Figure 215627DEST_PATH_IMAGE013
表示第
Figure 754056DEST_PATH_IMAGE005
个虹膜角度对应的图像可优化值；所述
Figure 76453DEST_PATH_IMAGE014
表示第
Figure 624109DEST_PATH_IMAGE005
个虹膜角度对应的图像 像素点的与标准清晰度的偏差值；所述
Figure 699250DEST_PATH_IMAGE015
表示第
Figure 798793DEST_PATH_IMAGE005
个虹膜角度对应的图像像素点的偏差补 偿值；
Figure 218273DEST_PATH_IMAGE016
；
Figure 179407DEST_PATH_IMAGE017
表示虹膜角度对应的图像像素点的数量
步骤3：根据虹膜角度变化模型和图像计算清晰化处理模型，增强图像清晰度
Figure 125366DEST_PATH_IMAGE018
：
Figure 271176DEST_PATH_IMAGE042
当
Figure 554784DEST_PATH_IMAGE020
时，所述虹膜角度对应的图像像素点清晰度增强未完成；
当
Figure 444242DEST_PATH_IMAGE021
时，所述虹膜角度对应的图像像素点清晰度增强成功。
上述技术放那的原理和有益效果在于：本发明基于虹膜角度变化模型的变化生成虹膜角度变化模型的最终角度参数，然后又通过图像的清晰化处理，实现对图像的精确计算，最后根据虹膜角度变化模型和像计算清晰化处理模型，最后根据虹膜角度变化模型和像计算清晰化处理模型，增强图像清晰度，相对于现有技术，在虚拟化视角补偿时，使得驾驶员看的更加清晰。
实施例10：
作为本发明的一种实施例：所述视角补偿模块判断是否存在异常，包括如下步骤：
步骤S1：根据所述侧视全方位虚拟场景，构建场景矩阵模型：
Figure 244708DEST_PATH_IMAGE022
其中，
Figure 436786DEST_PATH_IMAGE023
表示侧视全方位虚拟场景第
Figure 830858DEST_PATH_IMAGE024
个坐标点的位置参数；
Figure 383062DEST_PATH_IMAGE043
表示侧视全方位虚 拟场景第
Figure 178980DEST_PATH_IMAGE026
个元素的方位参数；
Figure 40495DEST_PATH_IMAGE027
表示侧视全方位虚拟场景第
Figure 46497DEST_PATH_IMAGE026
个元素的特征参数；
Figure 277758DEST_PATH_IMAGE028
表示 侧视全方位虚拟场景的中心方位参数；
Figure 803548DEST_PATH_IMAGE029
表示侧视全方位虚拟场景的最左方位参数；
Figure 462063DEST_PATH_IMAGE030
表 示侧视全方位虚拟场景的最右方位参数；
Figure 955361DEST_PATH_IMAGE031
表示侧视全方位虚拟场景最高坐标点的位置 参数；
Figure 990313DEST_PATH_IMAGE032
表示侧视全方位虚拟场景最低坐标点的位置参数；
在步骤S1中，本发明搭建的时场景矩阵模型，在这个场景矩阵模型中，本发明通过引入方位参数、场景中的元素（例如：花、树木、石头等）和场景中元素的具体位置，实现场景矩阵的构建，确定了整个虚拟场景。
步骤S2：通过预设的智能识别算法对所述场景矩阵模型进行识别处理，判断是否存在异常：
Figure 606496DEST_PATH_IMAGE033
其中，
Figure 560545DEST_PATH_IMAGE034
表示第
Figure 416506DEST_PATH_IMAGE026
个元素的异常识别函数；
Figure 599356DEST_PATH_IMAGE036
表示智能识别算法的第
Figure 349007DEST_PATH_IMAGE037
个识 别元素的识别算法；
Figure 614903DEST_PATH_IMAGE038
表示识别出场景矩阵模型存在异常的概率；当
Figure 66482DEST_PATH_IMAGE039
时，表 示侧视全方位虚拟场景中第
Figure 443236DEST_PATH_IMAGE026
个元素为异常元素。
在步骤S2中，本发明通过智能识别算法对场景矩阵模型进行识别处理，最后判断出哪些元素是异常的，在这个识别的过程中，本发明采用的是智能识别算法中的识别元素进行一一识别的方式，智能识别算法中的识别元素是预先设置的，便于精确的识别出是否存在异常。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种辅助驾驶的视角补偿系统，其特征在于，包括：
数据采集模块：通过安装在轨道车辆侧面的捕捉摄像机和实时录像机，实时采集轨道车辆侧面的实时视频和高清图片；
视频检测模块：用于根据所述实时视频和高清图片，获取轨道车辆两侧的实时场景和异常图片，并根据所述实时场景和异常图片生成侧视全方位虚拟场景；
视角补偿模块：用于将所述侧视全方位虚拟场景通过预设链路传输至驾驶员的AR眼镜上，并基于异常识别的智能识别算法对所述侧视全方位虚拟场景进行处理，判断是否具有异常，并在具有异常时，通过轮换推送的方式推送具有异常的视角至所述AR眼镜中；
视角自动式切换模块：用于通过AR眼镜获取用户的虹膜角度变化信息，并根据所述虹膜角度变化将所述虹膜视角方向的图像通过虚拟现实算法计算，进行影像清晰度增强；
所述视频检测模块还包括：
属性检测单元：获取所述实时视频和高清图片的生成时间，并作为相应的属性信息；
时间确定单元:用于根据所述属性信息，从预设的轨道车辆的属性表查找时间属性，以及在所述时间属性下查找所述生成时间，根据视频生成时间对应的截取间隔时间生成对应的事件时间轴。
2.如权利要求1所述的一种辅助驾驶的视角补偿系统，其特征在于，所述数据采集模块包括：
录像单元：用于通过设置于轨道车辆顶部的实时录像机获取两侧的实时视频，并基于时间轴对所述实时视频的进行时间定格，确定每一时刻的实时图像；
数据捕捉单元：用于通过捕捉摄影机和所述实时图像，判断是否存在异常，并基于所述异常，抓取所述异常对应的高清图片；
分帧单元：用于将所述实时图像划分为帧图像，并根据所述帧图像，判断每帧图像上的像素的变化情况，并将变化的像素进行统计，生成对应的像素集合，并根据所述捕捉摄影机实时捕捉的图像，对所述像素集合中的像素进行二次判断，确定变化的像素，并根据所述变化的像素，在捕捉的图像中，确定对应的高清图片。
3.如权利要求2所述的一种辅助驾驶的视角补偿系统，其特征在于，所述录像单元包括：
第一侧视子单元：用于获取轨道车辆左侧的实时视频，并对所述实时视频的方位进行计算和分帧，提取方位要素和帧图片，并基于方位要素和帧图片的对应关系，生成第一方位实时图像；
第二侧视子单元：用于获取轨道车辆右侧的实时视频，并对所述实时视频的方位进行计算和分帧，提取方位要素和帧图片，并基于方位要素和帧图片的对应关系，生成第二方位实时图像；
合成单元：用于将所述第一方位实时图像和第二方位实时图像通过图像贴合，生成一个实时图像。
4.如权利要求1所述的一种辅助驾驶的视角补偿系统，其特征在于，所述视频检测模块包括：
信息提取模块：用于获取实时视频和高清图片，确定实时图像，提取所述实时图像和高清图片的第一特征点信息和第一描述子信息；
利用图像的第一特征点信息和第一描述子信息，确定中间图像信息；其中，
所述中间图像信息包含图像的特征点的几何拓扑信息；基于所述中间图像信息，提取图像的第二特征点信息和第二描述子信息；
神经网络单元：用于构建神经网络模型，并通过所述神经网络模型对所述实时图像和高清图片进行处理，确定特征点信息和描述子信息；
信息生成单元：用于建立事件时间轴，获取所述特征点信息和描述子信息在所述事件时间轴的时间节点上的位置特征，并根据所述位置特征值，确定固定时间点的特征点信息和描述子信息，并判断相邻时间点产生异常的特征点信息和描述子信息；其中，
所述固定时间点的特征点信息和描述子信息生成实时信息；
所述相邻时间点发生变化的特征点信息和描述子信息生成异常信息；
虚拟场景生成单元：用于根据所述实时场景和异常图片，通过AR技术进行多参数分析，确定异常参数，将所述异常参数通过多目标多约束公式计算，将计算后的异常参数通过虚拟资源组合及优化调度模型处理，生成全方位虚拟场景。
5.如权利要求4所述的一种辅助驾驶的视角补偿系统，其特征在于，所述虚拟资源组合及优化调度模型处理，包括：
所述虚拟资源组合包括：
计算不同特征点信息和描述子信息之间的关联关系，根据所述关联关系，将所述关联关系的值相近的特征点信息和描述子信息进行归类，生成多个虚拟资源组，将所述虚拟资源组进行资源组合，生成全方位的虚拟场景；
所述的优化调度模型处理包括，用于根据仿真环境内不同模型在空间维度上的位置分布，以特定场景内某一模型质点A为原点建立三维坐标系；在所述三维坐标系下，确定构成该特定场景所必须的其他附属模型质点的三维角度偏移大小和模型质点间距离大小，从而构建起以模型质点A为中心支点的场景多模型拓扑网络，再确定所述场景多模型拓扑网络内各模型自身的偏航角、俯仰角和滚转角大小，最终形成特定仿真场景的模型空间关系数学；根据所述空间关系数学优化所述虚拟资源组；
所述视频检测模块还包括：
属性检测单元：获取所述实时视频和高清图片的生成时间，并作为相应的属性信息；
时间确定单元:用于根据所述属性信息，从预设的轨道车辆的属性表查找时间属性，以及在所述时间属性下查找所述生成时间，根据视频生成时间对应的截取间隔时间生成对应的事件时间轴。
6.如权利要求1所述的一种辅助驾驶的视角补偿系统，其特征在于，所述视角补偿模块包括：
虚拟场景接收单元：用于接收所述侧视全方位虚拟场景，并对所述侧视全方位虚拟场景的方位进行标记；
异常判断单元：用于通过判断异常的智能识别算法对所述侧视全方位虚拟场景进行处理，判断是否具有异常，并在具有异常时，确定异常对应的视角方位；
用户视角检测单元：用于根据所述AR眼镜获取用户的直射视角，并确定用户的实时视角方位；
视角补偿单元：用于将用户的实时视角方位通过轮换推送，推送至AR眼镜的用户实时视角方位。
7.如权利要求1所述的一种辅助驾驶的视角补偿系统，其特征在于，所述视角补偿模块判断是否存在异常，包括如下步骤：
步骤S1：根据所述侧视全方位虚拟场景，构建场景矩阵模型：
Figure 404720DEST_PATH_IMAGE001
其中，
Figure 915336DEST_PATH_IMAGE002
表示场景矩阵模型；
Figure 163915DEST_PATH_IMAGE003
表示侧视全方位虚拟场景第
Figure 152600DEST_PATH_IMAGE004
个坐标点的位置参数；
Figure 170234DEST_PATH_IMAGE005
表 示侧视全方位虚拟场景第
Figure 586172DEST_PATH_IMAGE006
个元素的方位参数；
Figure 322047DEST_PATH_IMAGE007
表示侧视全方位虚拟场景第
Figure 114422DEST_PATH_IMAGE006
个元素的特 征参数；
Figure 252143DEST_PATH_IMAGE008
表示侧视全方位虚拟场景的中心方位参数；
Figure 838982DEST_PATH_IMAGE009
表示侧视全方位虚拟场景的最左 方位参数；
Figure 921207DEST_PATH_IMAGE010
表示侧视全方位虚拟场景的最右方位参数；
Figure 127061DEST_PATH_IMAGE011
表示侧视全方位虚拟场景最 高坐标点的位置参数；
Figure 243921DEST_PATH_IMAGE012
表示侧视全方位虚拟场景最低坐标点的位置参数；
步骤2：通过预设的智能识别算法对所述场景矩阵模型进行识别处理，判断是否存在异常：
Figure DEST_PATH_IMAGE013
其中，
Figure 736082DEST_PATH_IMAGE014
表示第
Figure 446549DEST_PATH_IMAGE006
个元素的异常识别函数；
Figure 315148DEST_PATH_IMAGE015
表示智能识别算法的第
Figure 427461DEST_PATH_IMAGE016
个识别元 素的识别算法；
Figure 356103DEST_PATH_IMAGE017
表示识别出场景矩阵模型存在异常的概率；当
Figure 553866DEST_PATH_IMAGE018
时，表示侧 视全方位虚拟场景中第
Figure 960576DEST_PATH_IMAGE006
个元素为异常元素。
CN202111132103.XA 2021-09-27 2021-09-27 一种辅助驾驶的视角补偿系统 Active CN113569826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111132103.XA CN113569826B (zh) 2021-09-27 2021-09-27 一种辅助驾驶的视角补偿系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111132103.XA CN113569826B (zh) 2021-09-27 2021-09-27 一种辅助驾驶的视角补偿系统

Publications (2)

Publication Number Publication Date
CN113569826A CN113569826A (zh) 2021-10-29
CN113569826B true CN113569826B (zh) 2021-12-28

Family

ID=78174697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111132103.XA Active CN113569826B (zh) 2021-09-27 2021-09-27 一种辅助驾驶的视角补偿系统

Country Status (1)

Country Link
CN (1) CN113569826B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116679172B (zh) * 2023-05-18 2023-11-07 江苏濠汉信息技术有限公司 一种电力现场局部放电源可视化检测系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180192033A1 (en) * 2016-12-30 2018-07-05 Google Inc. Multi-view scene flow stitching
CN110569849B (zh) * 2019-08-19 2022-04-12 北京猫眼视觉科技有限公司 一种基于ar眼镜的多仪表同时识别及空间定位方法及系统
CN112180605B (zh) * 2020-10-20 2021-06-15 江苏濠汉信息技术有限公司 一种基于增强现实的辅助驾驶系统

Also Published As

Publication number Publication date
CN113569826A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
US10423856B2 (en) Vector engine and methodologies using digital neuromorphic (NM) data
KR101647370B1 (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
EP2798611B1 (en) Camera calibration using feature identification
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN104464290B (zh) 一种基于嵌入式双核芯片的道路交通参数采集及违章抓拍系统
CN111461088B (zh) 一种基于图像处理与目标识别的轨道交通避障系统
CN109341580A (zh) 钢轨廓形的追踪方法、系统及装置
CN107845264A (zh) 一种基于视频监控的交通量采集系统及方法
CN112084963B (zh) 一种监控预警方法、系统及存储介质
TW201411559A (zh) 以分層掃描法實現即時人數計數
CN104506800A (zh) 一种多方向电警摄像机场景合成及综合监控方法和装置
CN103729620B (zh) 一种基于多视角贝叶斯网络的多视角行人检测方法
CN106846375A (zh) 一种应用于自主灭火机器人的火焰检测方法
CN103595992B (zh) 一种球场led显示屏系统及其实现广告精准投放的插播方法
CN113569826B (zh) 一种辅助驾驶的视角补偿系统
CN115601558A (zh) 单开道岔状态检测系统及检测方法、半自动数据标注方法
Fathy et al. Design and implementation of self-driving car
CN115546738A (zh) 一种铁轨异物检测方法
LU500512B1 (en) Crowd distribution form detection method based on unmanned aerial vehicle and artificial intelligence
CN115909223A (zh) 一种wim系统信息与监控视频数据匹配的方法和系统
CN111465937B (zh) 采用光场相机系统的脸部检测和识别方法
CN106340031A (zh) 一种检测运动物体的方法和装置
CN112508893A (zh) 基于机器视觉的铁路双轨间微小异物检测方法及系统
CN115100618B (zh) 一种多源异构感知信息多层级融合表征与目标识别方法
CN113553958B (zh) 一种高速公路绿化带检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An Angle Compensation System for Assisted Driving

Effective date of registration: 20221010

Granted publication date: 20211228

Pledgee: Nantong CIC Financing Guarantee Co.,Ltd.

Pledgor: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2022980017811

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20231110

Granted publication date: 20211228

Pledgee: Nantong CIC Financing Guarantee Co.,Ltd.

Pledgor: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2022980017811