CN116126150B - 一种基于实景交互的模拟驾驶系统及方法 - Google Patents

一种基于实景交互的模拟驾驶系统及方法 Download PDF

Info

Publication number
CN116126150B
CN116126150B CN202310389601.5A CN202310389601A CN116126150B CN 116126150 B CN116126150 B CN 116126150B CN 202310389601 A CN202310389601 A CN 202310389601A CN 116126150 B CN116126150 B CN 116126150B
Authority
CN
China
Prior art keywords
live
video
action
virtual environment
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310389601.5A
Other languages
English (en)
Other versions
CN116126150A (zh
Inventor
李迪
杨宝华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qianzhong Huanying Technology Co ltd
Original Assignee
Beijing Qianzhong Huanying Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qianzhong Huanying Technology Co ltd filed Critical Beijing Qianzhong Huanying Technology Co ltd
Priority to CN202310389601.5A priority Critical patent/CN116126150B/zh
Publication of CN116126150A publication Critical patent/CN116126150A/zh
Application granted granted Critical
Publication of CN116126150B publication Critical patent/CN116126150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种基于实景交互的模拟驾驶系统及方法，其系统包括：视频采集分析模块，采集实景视频并传输至第一分析终端进行分析，确定实景视频的特征信息；虚拟场景搭建模块，将实景视频的特征信息传输至第二分析终端进行虚拟场景搭建，获得实景视频的虚拟环境；融合处理模块，将实景视频的虚拟环境传输至用户端，并获取用户端中提前设定的模拟驾驶舱，将模拟驾驶舱与虚拟环境进行融合处理；交互模块，基于融合处理结果在显示端进行第一显示，实时采集用户在模拟驾驶舱的操作姿态，并将操作姿态与虚拟环境进行交互，将交互数据反馈至显示端进行第二显示。保障了实景交互的模拟驾驶的准确率和同步性，提高了模拟驾驶体验感。

Description

一种基于实景交互的模拟驾驶系统及方法
技术领域
本发明涉及数据传输交互技术领域，特别涉及一种基于实景交互的模拟驾驶系统及方法。
背景技术
目前，通过实景交互从而完成对驾驶系统的模拟可以让体验者在虚拟的驾驶环境中实现对驾驶操作的仿真模拟，可以形象逼真的通过虚拟场景实现对仿真驾驶的操纵以及显示，从而使得用户在进行模拟驾驶体验过程中可以感受到接近真是效果的视觉体验；
然而，在进行实景交互过程中，现有技术中往往通过采集实景并根据计算机实现对实景视频的模拟，然而，在注重便捷性的过程中忽略了实景交互的准确率以及同步性，从而使得用户体验感降低；
因此，本发明提供了一种基于实景交互的模拟驾驶系统及方法。
发明内容
本发明提供一种基于实景交互的模拟驾驶系统及方法，用以通过采集实景视频，并对实景视频进行分析和处理，实现对实景视频对应的虚拟环境进行准确可靠的构建，其次，将虚拟环境和模拟驾驶舱进行融合后进行在显示端进行显示，并实时根据用户的操作姿态对显示画面进行同步更新，从而保障了实景交互的模拟驾驶的准确率和同步性，提高了模拟驾驶体验感。
本发明提供了一种基于实景交互的模拟驾驶系统，包括：
视频采集分析模块，用于采集实景视频，并将实景视频传输至第一分析终端，同时，基于第一分析终端对实景视频进行分析，确定实景视频的特征信息；
虚拟场景搭建模块，用于将实景视频的特征信息传输至第二分析终端，并基于第二分析终端进行虚拟场景搭建，获得实景视频的虚拟环境；
融合处理模块，用于将实景视频的虚拟环境传输至用户端，并获取用户端中提前设定的模拟驾驶舱，同时，将模拟驾驶舱与虚拟环境进行融合处理；
交互模块，用于基于融合处理结果在显示端进行第一显示，同时，实时采集用户在模拟驾驶舱的操作姿态，并将操作姿态与虚拟环境进行交互，同时，将交互数据反馈至显示端进行第二显示。
优选的，一种基于实景交互的模拟驾驶系统，视频采集分析模块，包括：
任务确定单元，用于获取实景采集任务，并对实景采集任务进行第一解析，确定待采集实景的目标数量以及待采集实景的目标路段；
装置配置单元，用于对实景采集任务进行第二解析，确定对待采集实景视频的目标需求，并基于目标需求对待采集实景的视频分辨率以及视频采集范围角度，且基于视频分辨率以及视频采集范围角度对预设视频采集装置进行配置；
实景视频采集单元，用于确定对待采集实景的目标路段的采集顺序以及各目标路段的起点和终点，并基于配置好的预设视频采集装置根据采集顺序以及各目标路段的起点和终点进行实景视频采集，且将采集到的实景视频进行汇总，得到最终需要的实景视频。
优选的，一种基于实景交互的模拟驾驶系统，视频采集分析模块，包括：
视频获取单元，用于获取采集到的实景视频以及视频采集设备与第一分析终端之间数据传输链路的配置参数，并基于配置参数确定数据传输链路的可用带宽以及可用帧率；
视频拆分单元，用于基于可用带宽将实景视频根据视频画面拆分为N个视频块，并基于可用帧率分别对N个视频块进行丢帧处理，同时，基于预设编码器分别对丢帧处理后的N个视频块进行编码，得到N个视频块码流，并基于数据传输链路的传输周期将N个视频块码流进行分组，且对每组视频块码流添加包头标识；
视频传输单元，用于基于传输周期开始时刻，根据包头标识确定目标传输组，并将目标传输组中包含的视频块码流基于数据传输链路传输至第一分析终端，且基于第一分析终端中的预设解码器对接收到的视频块码流进行解码；
视频处理单元，用于：
基于包头标识将解码后得到的视频解码数据进行拼接，并对拼接结果进行数模转换得到原始实景视频，同时，对原始实景视频进行色彩分析，确定原始实景视频中超出预设色域的异常视频区域，并基于预设补充数据对异常视频区域进行修正，得到待处理实景视频；
将待处理实景视频划分为M个时空立方体序列，并确定对时空立方体序列的矢量扫描策略，且基于矢量扫描策略分别对M个时空立方体序列进行矢量扫描，确定待处理实景视频中候选关键帧集合；
提取各候选关键帧中局部描述因子，并基于局部描述因子确定各候选关键帧中的时域相关性特征集合，且对各候选关键帧中的时域相关性特征集合进行关联重构，得到实景视频的特征信息。
优选的，一种基于实景交互的模拟驾驶系统，虚拟场景搭建模块，包括：
任务读取单元，用于基于第二分析终端读取数据接收任务；
其中，数据接收任务包括实景视频的第一目标视频标签以及实景视频中特征信息的记录模板；
判断单元，用于：
当当前实景视频的特征信息传输至第二分析终端时，获取当前实景视频的第二目标视频标签；
将第一目标视频标签与第二目标视频标签进行匹配，判断是否可以将实景视频的特征信息记录至记录模板中；
当第一目标视频标签与第二目标视频标签相匹配，则判定可以将实景视频的特征信息记录至记录模板中，并当特征信息完整记录至记录模板中时，结束对实景视频中特征信息的接收；
否则，则判定不可以将实景视频的特征信息记录至记录模板中，并进行报警操作。
优选的，一种基于实景交互的模拟驾驶系统，虚拟场景搭建模块，包括：
特征信息读取单元，用于对实景视频的特征信息进行读取，确定实景视频中多个驾驶关键点以及实景视频中空间参照对象，同时，分别确定实景视频中每个驾驶关键点的点位置以及实景视频中空间参照对象的平面位置；
分析单元，用于：
基于点位置确定在实景视频中每个驾驶关键点之间的第一关联关系；
基于每个驾驶关键点的点位置以及实景视频中空间参照对象的平面位置确定每个驾驶关键点与实景视频中空间参照对象之间的第二关联关系；
场景搭建单元，用于：
基于第一关联关系与第二关联关系搭建二维虚拟场景；
在实景视频中截取空间参照对象的三维视图，同时，将三维视图在二维虚拟场景中进行叠加，并基于叠加结果搭建三维虚拟场景；
基于三维虚拟场景获取实景视频的虚拟环境。
优选的，一种基于实景交互的模拟驾驶系统，融合处理模块，包括：
虚拟环境读取单元，用于基于用户端对实景视频的虚拟环境进行读取，确定虚拟环境的第一环境亮度，同时，获得模拟驾驶舱的第二环境亮度；
融合处理单元，用于计算第一环境亮度与第二环境亮度的亮度均值，并基于亮度均值调节虚拟环境的第一环境亮度与模拟驾驶舱的第二环境亮度，同时，根据调节结果将模拟驾驶舱在虚拟环境中进行叠加，完成对模拟驾驶舱与虚拟环境的融合处理。
优选的，一种基于实景交互的模拟驾驶系统，交互模块，包括：
融合结果获取单元，用于获取对模拟驾驶舱与虚拟环境的融合处理结果，并基于融合处理结果确定模拟驾驶舱与虚拟环境的关联特征点；
第一显示单元，用于：
基于关联特征点确定模拟驾驶舱在虚拟环境中的目标显示位置，同时，确定用户当前进行实景交互的目标路段的道路参数以及道路环境参数，并基于道路参数以及道路环境参数生成第一模拟显示画面，且将第一模拟显示画面在显示端进行初步显示；
获取用户对当前进行实景交互的目标路段的驾驶模式，并基于驾驶模式确定模拟驾驶舱内的待显示面板信息，且基于模拟驾驶舱在虚拟环境中的目标显示位置将待显示面板信息在初步显示的第一模拟显示画面上进行叠加显示，得到第二模拟显示画面，同时，确定用户在模拟驾驶舱内对目标路段的视线要求，并基于视线要求对第二模拟显示画面中的模拟驾驶舱的显示角度进行修正，且将修正后的第二模拟显示画面在显示端进行第一显示；
交互单元，用于基于第一显示结果实时监测用户的行车触发信号，并当监测到行车触发信号后对行车触发信号进行解析，确定用户在模拟驾驶舱内执行的驾驶行为以及行车速度，且基于驾驶行为以及行车速度生成操作指令流；
第二显示单元，用于：
将操作指令流同步传输至预设控制器，并基于预设控制器控制模拟驾驶舱在显示端进行画面追踪，同时，基于追踪结果实时动态调整模拟驾驶舱在当前实景交互路段中的目标位置以及当前实景交互路段对应的显示特征，并将目标位置以及当前实景交互路段对应的显示特征在显示端进行第二显示；
基于第二显示结果提取当前实景交互路段的路段起伏特征，并将路段起伏特征同步反馈至预设动感平台，且控制预设动感平台基于路段起伏特征进行摆动操作，完成实景交互的模拟驾驶操作。
优选的，一种基于实景交互的模拟驾驶系统，第二显示单元，包括：
图像采集子单元，用于基于第二显示结果的同时，基于预设摄像头采集用户在进行实景交互模拟驾驶时的面部图像，并对面部图像进行解析，提取用户的面部表情特征；
状态分析子单元，用于将面部表情特征与预设基准驾驶状态表情特征进行匹配，并基于匹配结果确定用户当前的模拟驾驶状态，其中，模拟驾驶状态包括疲劳驾驶和正常驾驶；
第二显示子单元，用于当用户当前的模式驾驶状态为疲劳驾驶时，基于显示端向用户显示疲劳驾驶画面提醒。
优选的，一种基于实景交互的模拟驾驶系统，虚拟场景搭建模块，包括：
像素点确定单元，用于当获取到实景视频的虚拟环境后，获取虚拟环境中的像素点表达，同时，基于虚拟环境中的像素点表达分别获取虚拟环境中每个像素点的第一颜色通道值、第二颜色通道值以及第三颜色通道值；
均值化处理单元，用于基于虚拟环境中每个像素点的第一颜色通道值、第二颜色通道值以及第三颜色通道值对虚拟环境进行均值化处理，获得目标虚拟环境；
计算单元，用于获取虚拟环境的基准环境，并将均值化处理后的目标虚拟环境与基准环境进行比较，计算目标虚拟环境与基准环境的相似性系数；
合格判定单元，用于：
获取相似性系数阈值，并将相似性系数与相似性系数阈值进行比较，判断目标虚拟场景是否合格；
当相似性系数小于或等于相似性阈值时，则判定目标虚拟场景合格；
否则，则判定目标虚拟场景不合格，并基于相似性系数阈值与相似性系数之间的差值对目标虚拟场景进行修正，直至目标虚拟场景合格。
本发明提供了一种基于实景交互的模拟驾驶方法，包括：
步骤1：采集实景视频，并将实景视频传输至第一分析终端，同时，基于第一分析终端对实景视频进行分析，确定实景视频的特征信息；
步骤2：将实景视频的特征信息传输至第二分析终端，并基于第二分析终端进行虚拟场景搭建，获得实景视频的虚拟环境；
步骤3：将实景视频的虚拟环境传输至用户端，并获取用户端中提前设定的模拟驾驶舱，同时，将模拟驾驶舱与虚拟环境进行融合处理；
步骤4：基于融合处理结果在显示端进行第一显示，同时，实时采集用户在模拟驾驶舱的操作姿态，并将操作姿态与虚拟环境进行交互，同时，将交互数据反馈至显示端进行第二显示。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
与现有技术相比，本发明具有如下有益效果：
1、通过采集实景视频，并对实景视频进行分析和处理，实现对实景视频对应的虚拟环境进行准确可靠的构建，其次，将虚拟环境和模拟驾驶舱进行融合后进行在显示端进行显示，并实时根据用户的操作姿态对显示画面进行同步更新，从而保障了实景交互的模拟驾驶的准确率和同步性，提高了模拟驾驶体验感。
2、通过确定视频采集设备与第一分析终端之间的数据传输链路的配置参数，实现根据配置参数对采集到的实景视频进行拆分，其次对拆分后得到的视频块进行编码，从而实现将得到的实景视频有效传输至第一分析终端，最后，通过第一分析终端对接收到的实景视频进行处理，实现对实景视频中的特征信息进行准确有效的确定，为准确进行实景交互提供了便利与保障，从而确保提高用户的驾驶体验感。
3、通过对得到的融合处理结果进行分析，实现将虚拟环境和模拟驾驶舱在显示端上进行准确有效的显示，其次，在成功显示后实时监测用户在模拟驾驶舱中执行的驾驶操作，并根据驾驶操作在显示端上对显示画面进行实时交互，最后，根据实景视频中记载的道路的起伏特征控制预设动感平台进行摆动操作，提高了用户实景交互的模拟驾驶体验感，也保障了实景交互的模拟驾驶的准确率和同步性。
4、通过确定虚拟环境中每个像素点的第一颜色通道值、第二颜色通道值以及第三颜色通道值，进而实现对虚拟环境的均值化处理（即实现将虚拟环境的色彩画面转换为灰度画面），从而避免在衡量目标虚拟场景是否合格的过程中的色差影响，进而提高了对虚拟场景进行合格性判断的准确性，通过计算目标虚拟环境与基准环境的相似性系数，进而有效衡量目标虚拟场景是否合格，提高了对虚拟场景搭建验证的有效性与准确性，从而提高模拟驾驶的体验质量。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于实景交互的模拟驾驶系统的结构图；
图2为本发明实施例中一种基于实景交互的模拟驾驶系统中视频采集分析模块的结构图；
图3为本发明实施例中一种基于实景交互的模拟驾驶方法的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1：
本实施例提供了一种基于实景交互的模拟驾驶系统，如图1所示，包括：
视频采集分析模块，用于采集实景视频，并将实景视频传输至第一分析终端，同时，基于第一分析终端对实景视频进行分析，确定实景视频的特征信息；
虚拟场景搭建模块，用于将实景视频的特征信息传输至第二分析终端，并基于第二分析终端进行虚拟场景搭建，获得实景视频的虚拟环境；
融合处理模块，用于将实景视频的虚拟环境传输至用户端，并获取用户端中提前设定的模拟驾驶舱，同时，将模拟驾驶舱与虚拟环境进行融合处理；
交互模块，用于基于融合处理结果在显示端进行第一显示，同时，实时采集用户在模拟驾驶舱的操作姿态，并将操作姿态与虚拟环境进行交互，同时，将交互数据反馈至显示端进行第二显示。
该实施例中，实景视频可以是对现实中的道路进行视频拍摄后，得到视频，用于记录显示道路中的道路特征等信息。
该实施例中，第一分析终端是对实景视频进行分析，确定实景视频中包含的路段的路段特征，具体可以是路段的坡度以及凹凸不平程度等。
该实施例中，特征信息可以是实景视频对应的道路对应的具体道路情况，包括路段的坡度等。
该实施例中，第二分析终端可以是对实景视频对应的道路的特征信息进行分析，从而便于根据道路特征信息进行虚拟场景搭建，便于进行实景交互。
该实施例中，实景视频的虚拟环境可以是根据实景视频复刻得到的虚拟环境，便于向用户进行展示，从而达到实景交互的模拟驾驶。
该实施例中，模拟驾驶舱是提前设定好的，用于向用户在显示端上展示当前驾驶位置与实景的位置关系，便于提升用户的驾驶体验感。
该实施例中，融合处理可以是将模拟驾驶舱与虚拟环境进行叠加，从而便于在显示端将实景视频对应的道路和模拟驾驶舱进行同步显示。
该实施例中，第一显示可以是将模拟驾驶舱与虚拟环境的融合结果在显示端进行显示。
该实施例中，操作姿态可以是用户在模拟驾驶舱中的操作数据，具体可以是踩油门的力度、踩刹车的力度或对方向盘的转向程度等。
该实施例中，将操作姿态与虚拟环境进行交互可以是根据操作姿态在显示端上对当前显示的模拟驾驶画面进行更新，从而便于达到模拟驾驶的目的。
该实施例中，第二显示可以是将操作姿态与虚拟环境的实时交互画面在显示端上进行显示。
上述技术方案的有益效果是：通过采集实景视频，并对实景视频进行分析和处理，实现对实景视频对应的虚拟环境进行准确可靠的构建，其次，将虚拟环境和模拟驾驶舱进行融合后进行在显示端进行显示，并实时根据用户的操作姿态对显示画面进行同步更新，从而保障了实景交互的模拟驾驶的准确率和同步性，提高了模拟驾驶体验感。
实施例2：
在实施例1的基础上，本实施例提供了一种基于实景交互的模拟驾驶系统，如图2所示，视频采集分析模块，包括：
任务确定单元，用于获取实景采集任务，并对实景采集任务进行第一解析，确定待采集实景的目标数量以及待采集实景的目标路段；
装置配置单元，用于对实景采集任务进行第二解析，确定对待采集实景视频的目标需求，并基于目标需求对待采集实景的视频分辨率以及视频采集范围角度，且基于视频分辨率以及视频采集范围角度对预设视频采集装置进行配置；
实景视频采集单元，用于确定对待采集实景的目标路段的采集顺序以及各目标路段的起点和终点，并基于配置好的预设视频采集装置根据采集顺序以及各目标路段的起点和终点进行实景视频采集，且将采集到的实景视频进行汇总，得到最终需要的实景视频。
该实施例中，实景采集任务是提前已知的，用于表征对实际道路的采集要求，具体可以是采集的道路数量以及采集的精细程度等。
该实施例中，第一解析可以是从实景采集任务中确定出需要采集的实景的数量以及需要采集的具体路段等。
该实施例中，待采集实景可以是需要进行实景采集的道路以及道路周围的环境等。
该实施例中，目标路段可以是需要进行模拟驾驶的实际道路。
该实施例中，第二解析可以是根据实景采集任务确定需要进行实景采集的具体要求，包括视频采集的分辨率等。
该实施例中，目标需求可以是表征需要达到的实景视频的标准，包括分辨率以及视频采集范围角度等。
该实施例中，视频采集范围是用于表征在对目标路段进行视频采集时的视角范围，例如可以是以180度广角沿某一方向进行视频采集等。
该实施例中，预设视频采集装置是提前设定好的，用于采集实景视频。
上述技术方案的有益效果是：通过对实景采集任务进行分析，确定待采集实景的数量以及具体的目标路段，其次，根据实景采集任务对实景频频的采集要求进行有效确定，从而便于根据采集要求对预设视频采集装置进行配置，并通过配置后的预设视频采集装置进行实景视频采集，保障了采集到的实景视频的可靠性，为准确进行实景交互的模拟驾驶提供了便利与保障。
实施例3：
在实施例1的基础上，本实施例提供了一种基于实景交互的模拟驾驶系统，视频采集分析模块，包括：
视频获取单元，用于获取采集到的实景视频以及视频采集设备与第一分析终端之间数据传输链路的配置参数，并基于配置参数确定数据传输链路的可用带宽以及可用帧率；
视频拆分单元，用于基于可用带宽将实景视频根据视频画面拆分为N个视频块，并基于可用帧率分别对N个视频块进行丢帧处理，同时，基于预设编码器分别对丢帧处理后的N个视频块进行编码，得到N个视频块码流，并基于数据传输链路的传输周期将N个视频块码流进行分组，且对每组视频块码流添加包头标识；
视频传输单元，用于基于传输周期开始时刻，根据包头标识确定目标传输组，并将目标传输组中包含的视频块码流基于数据传输链路传输至第一分析终端，且基于第一分析终端中的预设解码器对接收到的视频块码流进行解码；
视频处理单元，用于：
基于包头标识将解码后得到的视频解码数据进行拼接，并对拼接结果进行数模转换得到原始实景视频，同时，对原始实景视频进行色彩分析，确定原始实景视频中超出预设色域的异常视频区域，并基于预设补充数据对异常视频区域进行修正，得到待处理实景视频；
将待处理实景视频划分为M个时空立方体序列，并确定对时空立方体序列的矢量扫描策略，且基于矢量扫描策略分别对M个时空立方体序列进行矢量扫描，确定待处理实景视频中候选关键帧集合；
提取各候选关键帧中局部描述因子，并基于局部描述因子确定各候选关键帧中的时域相关性特征集合，且对各候选关键帧中的时域相关性特征集合进行关联重构，得到实景视频的特征信息。
该实施例中，配置参数是用于表征视频采集设备与第一分析终端之间的数据传输链路对数据的传输速率或者传输带宽等参数。
该实施例中，可用带宽是用于表征数据传输链路在数据传输时能够提供的有效传输带宽。
该实施例中，可用帧率是用于表征数据传输链路能够对视频的视频帧进行有效传输的程度。
该实施例中，视频块可以是根据可用带宽将实景视频进行拆分为不同的视频段，从而便于通过数据传输链路对得到的实景视频进行有效传输。
该实施例中，丢帧处理可以是去除每一视频块中对视频内容造成影响或是无效视频对应的视频帧，从而提高传输效率和传输可靠性。
该实施例中，预设编码器是提前设定好的，用于对视频块进行编码处理，从而实现将视频转换为对应的编码形式，便于进行相应的传输。
该实施例中，视频块码流可以是对视频块进行编码后得到的编码形式。
该实施例中，传输周期可以是用于表征数据传输链路在进行数据传输时单次需要的时间长度。
该实施例中，包头标识是用于标记不同组的视频快码流的标记标签，从而便于根据包头标识对不同的组进行快速区分。
该实施例中，目标传输组可以是根据包头标识确定的传输周期开始时刻需要进行传输的视频块码流的组。
该实施例中，预设解码器是提前设定好的，用于对接收到的视频块码流进行解码，从而便于在第一分析终端得到对应的实景视频。
该实施例中，原始实景视频可以是通过第一分析终端对接收到的视频块码流进行解码后且拼接后，得到的与传输前的实景视频一致的视频。
该实施例中，预设色域是提前设定好的，用于表征采集到的实景视频所允许的最大色彩取值。
该实施例中，异常视频区域可以是色彩值超过预设色域的视频区域，是原实景视频中的一部分。
该实施例中，预设补充数据是提前设定好的，用于对异常视频区域的色彩值进行修正。
该实施例中，待处理实景视频可以是通过预设补充数据对异常视频区域进行修正后的打破的实景视频。
该实施例中，时空立方体序列可以是对待处理实景视频进行拆分，确定实景视频中包含的立体建筑或是参考物对应的集合。
该实施例中，矢量扫描策略可以是表征对时空立方体序列进行扫描的方式方式，从而便于确定实景视频包含的对象的特征信息。
该实施例中，候选关键帧集合可以是实景视频中包含关键对象或是能够表征道路特征的视频帧。
该实施例中，局部描述因子是用于表征候选关键帧包含的图像的关键特征的图像元素。
该实施例中，时域相关性特征集合可以是各候选关键帧中包含的多个图像特征。
上述技术方案的有益效果是：通过确定视频采集设备与第一分析终端之间的数据传输链路的配置参数，实现根据配置参数对采集到的实景视频进行拆分，其次对拆分后得到的视频块进行编码，从而实现将得到的实景视频有效传输至第一分析终端，最后，通过第一分析终端对接收到的实景视频进行处理，实现对实景视频中的特征信息进行准确有效的确定，为准确进行实景交互提供了便利与保障，从而确保提高用户的驾驶体验感。
实施例4：
在实施例1的基础上，本实施例提供了一种基于实景交互的模拟驾驶系统，虚拟场景搭建模块，包括：
任务读取单元，用于基于第二分析终端读取数据接收任务；
其中，数据接收任务包括实景视频的第一目标视频标签以及实景视频中特征信息的记录模板；
判断单元，用于：
当当前实景视频的特征信息传输至第二分析终端时，获取当前实景视频的第二目标视频标签；
将第一目标视频标签与第二目标视频标签进行匹配，判断是否可以将实景视频的特征信息记录至记录模板中；
当第一目标视频标签与第二目标视频标签相匹配，则判定可以将实景视频的特征信息记录至记录模板中，并当特征信息完整记录至记录模板中时，结束对实景视频中特征信息的接收；
否则，则判定不可以将实景视频的特征信息记录至记录模板中，并进行报警操作。
该实施例中，数据接收任务包含实景视频的第一目标视频标签以及实景视频中特征信息的记录模板，其中，第一目标视频标签是用于标记记录模板能对实景视频进行记录的视频类型的标记符号。
该实施例中，第二目标视频标签是用于表征当前实景视频对应的视频类型的标记符号。
上述技术方案的有益效果是：通过第二分析终端对实景视频以及实景视频对应的特征信息进行接收，并将接收到的特征信息进行记录，为进行实景视频对应的虚拟环境进行搭建提供了可靠依据，从而便于提高实景交互的模拟驾驶的真实性，也便于提高用户的驾驶体验感。
实施例5：
在实施例1的基础上，本实施例提供了一种基于实景交互的模拟驾驶系统，虚拟场景搭建模块，包括：
特征信息读取单元，用于对实景视频的特征信息进行读取，确定实景视频中多个驾驶关键点以及实景视频中空间参照对象，同时，分别确定实景视频中每个驾驶关键点的点位置以及实景视频中空间参照对象的平面位置；
分析单元，用于：
基于点位置确定在实景视频中每个驾驶关键点之间的第一关联关系；
基于每个驾驶关键点的点位置以及实景视频中空间参照对象的平面位置确定每个驾驶关键点与实景视频中空间参照对象之间的第二关联关系；
场景搭建单元，用于：
基于第一关联关系与第二关联关系搭建二维虚拟场景；
在实景视频中截取空间参照对象的三维视图，同时，将三维视图在二维虚拟场景中进行叠加，并基于叠加结果搭建三维虚拟场景；
基于三维虚拟场景获取实景视频的虚拟环境。
该实施例中，驾驶关键点可以是能够表征驾驶位置的图像点或者参考点。
该实施例中，实景视频中空间参照对象可以是实景视频中出现的建筑物等立体对象。
该实施例中，点位置是用于表征驾驶关键点在实景视频中对应的具体位置情况。
该实施例中，第一关联关系是用于表征每个驾驶关键点之间的对位位置关系。
该实施例中，第二关联关系是用于表征每个关键点与实景视频中空间参照对象之间的相对位置关系。
上述技术方案的有益效果是：通过对实景视频的特征信息进行分析，实现对实景视频中的多个驾驶关键点以及实景视频中空间参照对象进行准确有效的确定，其次，分别确定驾驶关键点之间的第一关联关系和驾驶关键点与空间参照对象之间的第二关联关系，实现根据第一关联关系和第二关联关系对实景视频的虚拟环境进行准确有效的搭建，为提高用户的驾驶体验感提供了便利与保障，也便于根据虚拟环境进行准确的交互操作，提高模拟驾驶的准确性以及可靠性。
实施例6：
在实施例1的基础上，本实施例提供了一种基于实景交互的模拟驾驶系统，融合处理模块，包括：
虚拟环境读取单元，用于基于用户端对实景视频的虚拟环境进行读取，确定虚拟环境的第一环境亮度，同时，获得模拟驾驶舱的第二环境亮度；
融合处理单元，用于计算第一环境亮度与第二环境亮度的亮度均值，并基于亮度均值调节虚拟环境的第一环境亮度与模拟驾驶舱的第二环境亮度，同时，根据调节结果将模拟驾驶舱在虚拟环境中进行叠加，完成对模拟驾驶舱与虚拟环境的融合处理。
上述技术方案的有益效果是：通过确定亮度均值，实现对模拟驾驶舱与虚拟环境的融合，有效避免色温干扰，从而使得融合处理更加精准清晰。
实施例7：
在实施例1的基础上，本实施例提供了一种基于实景交互的模拟驾驶系统，交互模块，包括：
融合结果获取单元，用于获取对模拟驾驶舱与虚拟环境的融合处理结果，并基于融合处理结果确定模拟驾驶舱与虚拟环境的关联特征点；
第一显示单元，用于：
基于关联特征点确定模拟驾驶舱在虚拟环境中的目标显示位置，同时，确定用户当前进行实景交互的目标路段的道路参数以及道路环境参数，并基于道路参数以及道路环境参数生成第一模拟显示画面，且将第一模拟显示画面在显示端进行初步显示；
获取用户对当前进行实景交互的目标路段的驾驶模式，并基于驾驶模式确定模拟驾驶舱内的待显示面板信息，且基于模拟驾驶舱在虚拟环境中的目标显示位置将待显示面板信息在初步显示的第一模拟显示画面上进行叠加显示，得到第二模拟显示画面，同时，确定用户在模拟驾驶舱内对目标路段的视线要求，并基于视线要求对第二模拟显示画面中的模拟驾驶舱的显示角度进行修正，且将修正后的第二模拟显示画面在显示端进行第一显示；
交互单元，用于基于第一显示结果实时监测用户的行车触发信号，并当监测到行车触发信号后对行车触发信号进行解析，确定用户在模拟驾驶舱内执行的驾驶行为以及行车速度，且基于驾驶行为以及行车速度生成操作指令流；
第二显示单元，用于：
将操作指令流同步传输至预设控制器，并基于预设控制器控制模拟驾驶舱在显示端进行画面追踪，同时，基于追踪结果实时动态调整模拟驾驶舱在当前实景交互路段中的目标位置以及当前实景交互路段对应的显示特征，并将目标位置以及当前实景交互路段对应的显示特征在显示端进行第二显示；
基于第二显示结果提取当前实景交互路段的路段起伏特征，并将路段起伏特征同步反馈至预设动感平台，且控制预设动感平台基于路段起伏特征进行摆动操作，完成实景交互的模拟驾驶操作。
该实施例中，关联特征点可以是表征模拟驾驶舱与虚拟环境在融合时，二者之间相同的位置点或是重合的位置点等，从而便于在显示端上确定二者对应的具体显示位置。
该实施例中，目标显示位置可以是表征模拟驾驶舱在实景视频对应的虚拟环境中进行显示的具体位置。
该实施例中，道路参数可以是当前进行实景交互的目标路段的类型、道路的长度以及宽度等。
该实施例中，道路环境参数可以是当前进行实景交互的目标路段周围建筑的分布情况等信息。
该实施例中，第一模拟显示画面可以是根据道路参数和道路环境参数生成的画面，用于在显示端上显示道路和周围环境对应的图像。
该实施例中，初步显示可以是先将第一模拟显示画面在显示端进行显示。
该实施例中，驾驶模式可以是表征用户当前需要进行模拟驾驶体验的类型，例如可以是运动型或是舒适型等。
该实施例中，待显示面板信息可以是根据驾驶模式确定的，不同驾驶模式对应的待显示面板信息不同。
该实施例中，第二模拟显示画面可以是将待显示面板信息在显示端上显示的第一模拟显示画面上进行叠加显示后得到的图像。
该实施例中，视线要求可以是表征用户在模拟驾驶舱内看道路的视线范围。
该实施例中，行车触发信号是由用户在迷你驾驶舱内进行的操作产生的，即当用户踩油门或者挂挡时，即会产生行车触发信号。
该实施例中，驾驶行为包括踩油门、踩刹车、挂挡、打转向以及对方向盘的旋转角度等。
该实施例中，操作指令流是根据驾驶行为和行车数据产生的，用于控制显示端中当前显示的画面进行更新，从而达到交互的目的。
该实施例中，预设控制器是提前设定好的，用于对操作指令流进行分析，从而实现对显示端上的显示画面进行及时同步更新。
该实施例中，画面追踪可以是根据行车速度以及驾驶行为对显示端上显示的画面进行实时动态变化，从而达到实景交互的模拟驾驶效果。
该实施例中，显示特征可以是根据行车速度将实景视频中涉及到的道路特征依次在显示端上进行显示，达到与实景交互的目的。
该实施例中，路段起伏特征可以是表征实景视频对应的实际道路的道路情况，即凹凸不平的程度。
该实施例中，预设动感平台是提前设定好的，用于对路段起伏特征进行展示，从而让用户感受亲身驾驶的效果。
上述技术方案的有益效果是：通过对得到的融合处理结果进行分析，实现将虚拟环境和模拟驾驶舱在显示端上进行准确有效的显示，其次，在成功显示后实时监测用户在模拟驾驶舱中执行的驾驶操作，并根据驾驶操作在显示端上对显示画面进行实时交互，最后，根据实景视频中记载的道路的起伏特征控制预设动感平台进行摆动操作，提高了用户实景交互的模拟驾驶体验感，也保障了实景交互的模拟驾驶的准确率和同步性。
实施例8：
在实施例7的基础上，本实施例提供了一种基于实景交互的模拟驾驶系统，第二显示单元，包括：
图像采集子单元，用于基于第二显示结果的同时，基于预设摄像头采集用户在进行实景交互模拟驾驶时的面部图像，并对面部图像进行解析，提取用户的面部表情特征；
状态分析子单元，用于将面部表情特征与预设基准驾驶状态表情特征进行匹配，并基于匹配结果确定用户当前的模拟驾驶状态，其中，模拟驾驶状态包括疲劳驾驶和正常驾驶；
第二显示子单元，用于当用户当前的模式驾驶状态为疲劳驾驶时，基于显示端向用户显示疲劳驾驶画面提醒。
该实施例中，预设摄像头是提前设定好的，用于采集用户的面部图像。
该实施例中，面部表情特征是对采集到的面部图像进行分析后的得到，用于表征用户当前的驾驶形态，例如是否存在打哈欠或是闭眼行为等。
该实施例中，预设基准驾驶状态表情特征是提前设定好的，用于为确定用户的模拟驾驶状态提供参考依据，具体可以是打哈欠等特征。
上述技术方案的有益效果是：通过预设摄像头对实景交互模拟驾驶的过程中用户的面部表情进行图像采集，并对采集到的面部图像进行分析，实现对用户的面部表情特征进行准确有效的确定，最后根据目标表情特征和预设基准驾驶状态表情特征的匹配情况对用户的模拟驾驶状态进行准确有效的分析，并当用户存在疲劳驾驶时对用户进行提醒，提高了模拟驾驶的真实性，也提高了模拟驾驶的体验感。
实施例9：
在实施例1的基础上，本实施例提供了一种基于实景交互的模拟驾驶系统，虚拟场景搭建模块，包括：
像素点确定单元，用于当获取到实景视频的虚拟环境后，获取虚拟环境中的像素点表达，同时，基于虚拟环境中的像素点表达分别获取虚拟环境中每个像素点的第一颜色通道值、第二颜色通道值以及第三颜色通道值；
均值化处理单元，用于基于虚拟环境中每个像素点的第一颜色通道值、第二颜色通道值以及第三颜色通道值对虚拟环境进行均值化处理，获得目标虚拟环境；
Figure SMS_1
；
其中，
Figure SMS_2
表示虚拟环境进行均值化后目标虚拟环境中像素点的灰度值；/>
Figure SMS_3
表示虚拟环境中像素点的横坐标值；/>
Figure SMS_4
表示虚拟环境中像素点的纵坐标值；/>
Figure SMS_5
表示虚拟环境中像素点的第一颜色通道值；/>
Figure SMS_6
表示虚拟环境中像素点的第二颜色通道值；
Figure SMS_7
表示虚拟环境中像素点的第三颜色通道值；
计算单元，用于获取虚拟环境的基准环境，并将均值化处理后的目标虚拟环境与基准环境进行比较，计算目标虚拟环境与基准环境的相似性系数；
Figure SMS_8
；
其中，
Figure SMS_9
表示目标虚拟环境与基准环境的相似度系数；/>
Figure SMS_10
表示基准环境中像素点的像素值；/>
Figure SMS_11
表示目标虚拟环境中像素点的像素值；/>
Figure SMS_12
表示基准环境包含的像素点总数，且基准环境中包含的像素点总数与目标虚拟环境中包含的像素点总数一致；
合格判定单元，用于：
获取相似性系数阈值，并将相似性系数与相似性系数阈值进行比较，判断目标虚拟场景是否合格；
当相似性系数小于或等于相似性阈值时，则判定目标虚拟场景合格；
否则，则判定目标虚拟场景不合格，并基于相似性系数阈值与相似性系数之间的差值对目标虚拟场景进行修正，直至目标虚拟场景合格。
该实施例中，第一颜色通道值可以是RGB色彩模式中红色颜色通道值。
该实施例中，第二颜色通道值可以是RGB色彩模式中绿色颜色通道值。
该实施例中，第三颜色通道值可以是RGB色彩模式中蓝色颜色通道值。
该实施例中，基于虚拟环境中每个像素点的第一颜色通道值、第二颜色通道值以及第三颜色通道值对虚拟环境进行均值化处理其目的是为了消除虚拟环境的色差影响，将虚拟环境的色彩画面转换为灰度画面。
该实施例中，相似性系数越大，则意味着目标基准环境与目标虚拟环境的差异越大。
该实施例中，相似性系数阈值可以是提前设定好的，用来衡量目标虚拟场景是否合格的标准。
该实施例中，基于相似性系数阈值与相似性系数之间的差值可以确定相似性系数的调整幅度，并基于调整幅度，将相似性系数+调整幅度=相似性系数阈值，进而当基准环境中相似性系数阈值与像素点的像素值
Figure SMS_13
不变的情况下，可以计算得出/>
Figure SMS_14
，进而实现对目标虚拟环境的修正。
该实施例中，虚拟环境中的像素点表达可以是虚拟环境中像素点的横纵坐标值。
上述技术方案的有益效果是：通过确定虚拟环境中每个像素点的第一颜色通道值、第二颜色通道值以及第三颜色通道值，进而实现对虚拟环境的均值化处理（即实现将虚拟环境的色彩画面转换为灰度画面），从而避免在衡量目标虚拟场景是否合格的过程中的色差影响，进而提高了对虚拟场景进行合格性判断的准确性，通过计算目标虚拟环境与基准环境的相似性系数，进而有效衡量目标虚拟场景是否合格，提高了对虚拟场景搭建验证的有效性与准确性，从而提高模拟驾驶的体验质量。
实施例10：
本实施例提供了一种基于实景交互的模拟驾驶方法，如图3所示，包括：
步骤1：采集实景视频，并将实景视频传输至第一分析终端，同时，基于第一分析终端对实景视频进行分析，确定实景视频的特征信息；
步骤2：将实景视频的特征信息传输至第二分析终端，并基于第二分析终端进行虚拟场景搭建，获得实景视频的虚拟环境；
步骤3：将实景视频的虚拟环境传输至用户端，并获取用户端中提前设定的模拟驾驶舱，同时，将模拟驾驶舱与虚拟环境进行融合处理；
步骤4：基于融合处理结果在显示端进行第一显示，同时，实时采集用户在模拟驾驶舱的操作姿态，并将操作姿态与虚拟环境进行交互，同时，将交互数据反馈至显示端进行第二显示。
上述技术方案的有益效果是：通过采集实景视频，并对实景视频进行分析和处理，实现对实景视频对应的虚拟环境进行准确可靠的构建，其次，将虚拟环境和模拟驾驶舱进行融合后进行在显示端进行显示，并实时根据用户的操作姿态对显示画面进行同步更新，从而保障了实景交互的模拟驾驶的准确率和同步性，提高了模拟驾驶体验感。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于实景交互的模拟驾驶系统，其特征在于，包括：
视频采集分析模块，用于采集实景视频，并将实景视频传输至第一分析终端，同时，基于第一分析终端对实景视频进行分析，确定实景视频的特征信息；
虚拟场景搭建模块，用于将实景视频的特征信息传输至第二分析终端，并基于第二分析终端进行虚拟场景搭建，获得实景视频的虚拟环境；
融合处理模块，用于将实景视频的虚拟环境传输至用户端，并获取用户端中提前设定的模拟驾驶舱，同时，将模拟驾驶舱与虚拟环境进行融合处理；
交互模块，用于基于融合处理结果在显示端进行第一显示，同时，实时采集用户在模拟驾驶舱的操作姿态，并将操作姿态与虚拟环境进行交互，同时，将交互数据反馈至显示端进行第二显示；
视频采集分析模块，包括：
视频获取单元，用于获取采集到的实景视频以及视频采集设备与第一分析终端之间数据传输链路的配置参数，并基于配置参数确定数据传输链路的可用带宽以及可用帧率；
视频拆分单元，用于基于可用带宽将实景视频根据视频画面拆分为N个视频块，并基于可用帧率分别对N个视频块进行丢帧处理，同时，基于预设编码器分别对丢帧处理后的N个视频块进行编码，得到N个视频块码流，并基于数据传输链路的传输周期将N个视频块码流进行分组，且对每组视频块码流添加包头标识；
视频传输单元，用于基于传输周期开始时刻，根据包头标识确定目标传输组，并将目标传输组中包含的视频块码流基于数据传输链路传输至第一分析终端，且基于第一分析终端中的预设解码器对接收到的视频块码流进行解码；
视频处理单元，用于：
基于包头标识将解码后得到的视频解码数据进行拼接，并对拼接结果进行数模转换得到原始实景视频，同时，对原始实景视频进行色彩分析，确定原始实景视频中超出预设色域的异常视频区域，并基于预设补充数据对异常视频区域进行修正，得到待处理实景视频；
将待处理实景视频划分为M个时空立方体序列，并确定对时空立方体序列的矢量扫描策略，且基于矢量扫描策略分别对M个时空立方体序列进行矢量扫描，确定待处理实景视频中候选关键帧集合；
提取各候选关键帧中局部描述因子，并基于局部描述因子确定各候选关键帧中的时域相关性特征集合，且对各候选关键帧中的时域相关性特征集合进行关联重构，得到实景视频的特征信息。
2.根据权利要求1所述的一种基于实景交互的模拟驾驶系统，其特征在于，视频采集分析模块，包括：
任务确定单元，用于获取实景采集任务，并对实景采集任务进行第一解析，确定待采集实景的目标数量以及待采集实景的目标路段；
装置配置单元，用于对实景采集任务进行第二解析，确定对待采集实景视频的目标需求，并基于目标需求对待采集实景的视频分辨率以及视频采集范围角度，且基于视频分辨率以及视频采集范围角度对预设视频采集装置进行配置；
实景视频采集单元，用于确定对待采集实景的目标路段的采集顺序以及各目标路段的起点和终点，并基于配置好的预设视频采集装置根据采集顺序以及各目标路段的起点和终点进行实景视频采集，且将采集到的实景视频进行汇总，得到最终需要的实景视频。
3.根据权利要求1所述的一种基于实景交互的模拟驾驶系统，其特征在于，虚拟场景搭建模块，包括：
任务读取单元，用于基于第二分析终端读取数据接收任务；
其中，数据接收任务包括实景视频的第一目标视频标签以及实景视频中特征信息的记录模板；
判断单元，用于：
当当前实景视频的特征信息传输至第二分析终端时，获取当前实景视频的第二目标视频标签；
将第一目标视频标签与第二目标视频标签进行匹配，判断是否可以将实景视频的特征信息记录至记录模板中；
当第一目标视频标签与第二目标视频标签相匹配，则判定可以将实景视频的特征信息记录至记录模板中，并当特征信息完整记录至记录模板中时，结束对实景视频中特征信息的接收；
否则，则判定不可以将实景视频的特征信息记录至记录模板中，并进行报警操作。
4.根据权利要求1所述的一种基于实景交互的模拟驾驶系统，其特征在于，虚拟场景搭建模块，包括：
特征信息读取单元，用于对实景视频的特征信息进行读取，确定实景视频中多个驾驶关键点以及实景视频中空间参照对象，同时，分别确定实景视频中每个驾驶关键点的点位置以及实景视频中空间参照对象的平面位置；
分析单元，用于：
基于点位置确定在实景视频中每个驾驶关键点之间的第一关联关系；
基于每个驾驶关键点的点位置以及实景视频中空间参照对象的平面位置确定每个驾驶关键点与实景视频中空间参照对象之间的第二关联关系；
场景搭建单元，用于：
基于第一关联关系与第二关联关系搭建二维虚拟场景；
在实景视频中截取空间参照对象的三维视图，同时，将三维视图在二维虚拟场景中进行叠加，并基于叠加结果搭建三维虚拟场景；
基于三维虚拟场景获取实景视频的虚拟环境。
5.根据权利要求1所述的一种基于实景交互的模拟驾驶系统，其特征在于，融合处理模块，包括：
虚拟环境读取单元，用于基于用户端对实景视频的虚拟环境进行读取，确定虚拟环境的第一环境亮度，同时，获得模拟驾驶舱的第二环境亮度；
融合处理单元，用于计算第一环境亮度与第二环境亮度的亮度均值，并基于亮度均值调节虚拟环境的第一环境亮度与模拟驾驶舱的第二环境亮度，同时，根据调节结果将模拟驾驶舱在虚拟环境中进行叠加，完成对模拟驾驶舱与虚拟环境的融合处理。
6.根据权利要求1所述的一种基于实景交互的模拟驾驶系统，其特征在于，交互模块，包括：
融合结果获取单元，用于获取对模拟驾驶舱与虚拟环境的融合处理结果，并基于融合处理结果确定模拟驾驶舱与虚拟环境的关联特征点；
第一显示单元，用于：
基于关联特征点确定模拟驾驶舱在虚拟环境中的目标显示位置，同时，确定用户当前进行实景交互的目标路段的道路参数以及道路环境参数，并基于道路参数以及道路环境参数生成第一模拟显示画面，且将第一模拟显示画面在显示端进行初步显示；
获取用户对当前进行实景交互的目标路段的驾驶模式，并基于驾驶模式确定模拟驾驶舱内的待显示面板信息，且基于模拟驾驶舱在虚拟环境中的目标显示位置将待显示面板信息在初步显示的第一模拟显示画面上进行叠加显示，得到第二模拟显示画面，同时，确定用户在模拟驾驶舱内对目标路段的视线要求，并基于视线要求对第二模拟显示画面中的模拟驾驶舱的显示角度进行修正，且将修正后的第二模拟显示画面在显示端进行第一显示；
交互单元，用于基于第一显示结果实时监测用户的行车触发信号，并当监测到行车触发信号后对行车触发信号进行解析，确定用户在模拟驾驶舱内执行的驾驶行为以及行车速度，且基于驾驶行为以及行车速度生成操作指令流；
第二显示单元，用于：
将操作指令流同步传输至预设控制器，并基于预设控制器控制模拟驾驶舱在显示端进行画面追踪，同时，基于追踪结果实时动态调整模拟驾驶舱在当前实景交互路段中的目标位置以及当前实景交互路段对应的显示特征，并将目标位置以及当前实景交互路段对应的显示特征在显示端进行第二显示；
基于第二显示结果提取当前实景交互路段的路段起伏特征，并将路段起伏特征同步反馈至预设动感平台，且控制预设动感平台基于路段起伏特征进行摆动操作，完成实景交互的模拟驾驶操作。
7.根据权利要求6所述的一种基于实景交互的模拟驾驶系统，其特征在于，第二显示单元，包括：
图像采集子单元，用于基于第二显示结果的同时，基于预设摄像头采集用户在进行实景交互模拟驾驶时的面部图像，并对面部图像进行解析，提取用户的面部表情特征；
状态分析子单元，用于将面部表情特征与预设基准驾驶状态表情特征进行匹配，并基于匹配结果确定用户当前的模拟驾驶状态，其中，模拟驾驶状态包括疲劳驾驶和正常驾驶；
第二显示子单元，用于当用户当前的模式驾驶状态为疲劳驾驶时，基于显示端向用户显示疲劳驾驶画面提醒。
8.根据权利要求1所述的一种基于实景交互的模拟驾驶系统，其特征在于，虚拟场景搭建模块，包括：
像素点确定单元，用于当获取到实景视频的虚拟环境后，获取虚拟环境中的像素点表达，同时，基于虚拟环境中的像素点表达分别获取虚拟环境中每个像素点的第一颜色通道值、第二颜色通道值以及第三颜色通道值；
均值化处理单元，用于基于虚拟环境中每个像素点的第一颜色通道值、第二颜色通道值以及第三颜色通道值对虚拟环境进行均值化处理，获得目标虚拟环境；
计算单元，用于获取虚拟环境的基准环境，并将均值化处理后的目标虚拟环境与基准环境进行比较，计算目标虚拟环境与基准环境的相似性系数；
合格判定单元，用于：
获取相似性系数阈值，并将相似性系数与相似性系数阈值进行比较，判断目标虚拟场景是否合格；
当相似性系数小于或等于相似性阈值时，则判定目标虚拟场景合格；
否则，则判定目标虚拟场景不合格，并基于相似性系数阈值与相似性系数之间的差值对目标虚拟场景进行修正，直至目标虚拟场景合格。
9.一种基于实景交互的模拟驾驶方法，其特征在于，包括：
步骤1：采集实景视频，并将实景视频传输至第一分析终端，同时，基于第一分析终端对实景视频进行分析，确定实景视频的特征信息；
步骤2：将实景视频的特征信息传输至第二分析终端，并基于第二分析终端进行虚拟场景搭建，获得实景视频的虚拟环境；
步骤3：将实景视频的虚拟环境传输至用户端，并获取用户端中提前设定的模拟驾驶舱，同时，将模拟驾驶舱与虚拟环境进行融合处理；
步骤4：基于融合处理结果在显示端进行第一显示，同时，实时采集用户在模拟驾驶舱的操作姿态，并将操作姿态与虚拟环境进行交互，同时，将交互数据反馈至显示端进行第二显示；
步骤1包括：
获取采集到的实景视频以及视频采集设备与第一分析终端之间数据传输链路的配置参数，并基于配置参数确定数据传输链路的可用带宽以及可用帧率；
基于可用带宽将实景视频根据视频画面拆分为N个视频块，并基于可用帧率分别对N个视频块进行丢帧处理，同时，基于预设编码器分别对丢帧处理后的N个视频块进行编码，得到N个视频块码流，并基于数据传输链路的传输周期将N个视频块码流进行分组，且对每组视频块码流添加包头标识；
基于传输周期开始时刻，根据包头标识确定目标传输组，并将目标传输组中包含的视频块码流基于数据传输链路传输至第一分析终端，且基于第一分析终端中的预设解码器对接收到的视频块码流进行解码；
基于包头标识将解码后得到的视频解码数据进行拼接，并对拼接结果进行数模转换得到原始实景视频，同时，对原始实景视频进行色彩分析，确定原始实景视频中超出预设色域的异常视频区域，并基于预设补充数据对异常视频区域进行修正，得到待处理实景视频；
将待处理实景视频划分为M个时空立方体序列，并确定对时空立方体序列的矢量扫描策略，且基于矢量扫描策略分别对M个时空立方体序列进行矢量扫描，确定待处理实景视频中候选关键帧集合；
提取各候选关键帧中局部描述因子，并基于局部描述因子确定各候选关键帧中的时域相关性特征集合，且对各候选关键帧中的时域相关性特征集合进行关联重构，得到实景视频的特征信息。
CN202310389601.5A 2023-04-13 2023-04-13 一种基于实景交互的模拟驾驶系统及方法 Active CN116126150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310389601.5A CN116126150B (zh) 2023-04-13 2023-04-13 一种基于实景交互的模拟驾驶系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310389601.5A CN116126150B (zh) 2023-04-13 2023-04-13 一种基于实景交互的模拟驾驶系统及方法

Publications (2)

Publication Number Publication Date
CN116126150A CN116126150A (zh) 2023-05-16
CN116126150B true CN116126150B (zh) 2023-06-27

Family

ID=86297668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310389601.5A Active CN116126150B (zh) 2023-04-13 2023-04-13 一种基于实景交互的模拟驾驶系统及方法

Country Status (1)

Country Link
CN (1) CN116126150B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017173735A1 (zh) * 2016-04-07 2017-10-12 深圳市易瞳科技有限公司 一种基于视频透视的智能眼镜系统及其透视方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100589148C (zh) * 2007-07-06 2010-02-10 浙江大学 面向训练的汽车驾驶模拟机实现方法
CN110109552B (zh) * 2019-05-23 2020-06-05 重庆大学 基于真实环境的虚拟驾驶场景建模方法
CN113467600A (zh) * 2020-03-31 2021-10-01 深圳光峰科技股份有限公司 基于增强现实的信息显示方法、系统、装置及投影设备
CN112506351A (zh) * 2020-12-23 2021-03-16 武汉小绿人动力技术股份有限公司 一种室外赛车场内沉浸式赛车系统及控制方法
CN113920242B (zh) * 2021-09-13 2023-06-02 杭州大杰智能传动科技有限公司 基于驾驶场景虚拟现实的智能塔吊视频辅助教学方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017173735A1 (zh) * 2016-04-07 2017-10-12 深圳市易瞳科技有限公司 一种基于视频透视的智能眼镜系统及其透视方法

Also Published As

Publication number Publication date
CN116126150A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN114003190B (zh) 一种适应多场景和多设备的增强现实方法和装置
CN104885125A (zh) 信息处理设备、信息处理系统和信息处理方法
CN113206971B (zh) 一种图像处理方法及显示设备
CN114025219B (zh) 增强现实特效的渲染方法、装置、介质及设备
CN110827193A (zh) 基于多通道特征的全景视频显著性检测方法
CN111314702B (zh) 一种基于图像识别的车辆实时监控系统、方法及设备
EP1919219A1 (en) Video transmitting apparatus, video display apparatus, video transmitting method and video display method
WO2021068795A1 (zh) 图像显示方法、图像识别方法、装置、介质、设备及系统
CN111954032A (zh) 视频处理方法、装置、电子设备及存储介质
CN116126150B (zh) 一种基于实景交互的模拟驾驶系统及方法
US11216662B2 (en) Efficient transmission of video over low bandwidth channels
CN111310646B (zh) 一种基于实时检测远程影像提高航行安全的方法
CN113076953A (zh) 一种黑色车检测方法、系统、装置以及存储介质
CN112584093A (zh) 一种视频数据的处理方法、装置、终端设备和存储介质
KR101792250B1 (ko) 실제현실 적응형 증강현실 제공 방법
CN113792564B (zh) 基于不可见投影二维码的室内定位方法
CN116153061A (zh) 一种基于ar与物联网道路车辆可视化展示系统及方法
KR20110136035A (ko) 실제현실 적응형 증강현실 장치
US11734860B2 (en) Method and system for generating an augmented reality image
CN115063800A (zh) 文本识别方法和电子设备
CN115834952A (zh) 基于视觉感知的视频帧率检测方法及装置
CN109005443B (zh) Vr-ar一体机终端真人远程交互方法以及基于其的系统
CN109844861B (zh) 用于图像或/和图像序列中的前景和背景之间的动态对比度最大化的系统
CN111629194A (zh) 一种基于神经网络的全景视频转6dof视频的方法及系统
CN112712474B (zh) 一种视频流动态图像的透视矫正方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant