CN116205069A - 基于智能驾驶域控制器的场景注入方法、系统及装置 - Google Patents

基于智能驾驶域控制器的场景注入方法、系统及装置 Download PDF

Info

Publication number
CN116205069A
CN116205069A CN202310201994.2A CN202310201994A CN116205069A CN 116205069 A CN116205069 A CN 116205069A CN 202310201994 A CN202310201994 A CN 202310201994A CN 116205069 A CN116205069 A CN 116205069A
Authority
CN
China
Prior art keywords
image
format
scene
injection
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310201994.2A
Other languages
English (en)
Inventor
朱亚永
王康
姚若禹
陈婷婷
黄迎迎
李如冰
殷婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhiji Automobile Technology Co Ltd
Original Assignee
Zhiji Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhiji Automobile Technology Co Ltd filed Critical Zhiji Automobile Technology Co Ltd
Priority to CN202310201994.2A priority Critical patent/CN116205069A/zh
Publication of CN116205069A publication Critical patent/CN116205069A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/02—CAD in a network environment, e.g. collaborative CAD or distributed simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种基于智能驾驶域控制器的场景注入方法、系统及装置，应用于汽车在环仿真测试场景，所述场景注入方法包括利用场景软件生成多个场景图像，获取场景图像并渲染，渲染完成经视频端口输出标准图像，并向外共享所述标准图像；将所述标准图像转换为预设分辨率图像；将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，所述图像注入格式与相机类型和IPD相匹配。本发明可以实现中高阶自动驾驶仿真测试，也可以改变使用单一场景信息进行回注的弊端，提高了在环仿真测试的效率，也可以为汽车的场景仿真提供技术支持，保证汽车的仿真场景使用的真实性、实时性和稳定性。

Description

基于智能驾驶域控制器的场景注入方法、系统及装置
技术领域
本申请涉及一种场景注入领域，具体涉及一种基于智能驾驶域控制器的场景注入方法、系统及装置。
背景技术
汽车软件在环测试技术包括通过传感器建模、车辆动力学仿真建模、高级图形处理、交通流仿真、数字仿真以及道路建模等技术模拟车辆行驶环境，在虚拟环境中检测自动驾驶系统功能和性能有效性和可靠性，是真实路测的有效补充，大大提升自动驾驶测试速度，有效解决极端行驶条件下安全测试的实现问题。由于软件在环测试的测试效率高、测试速度快、测试安全性强以及测试覆盖场景丰富，因此，在智能化等级不断增强的智能网联汽车测试过程中发挥中越来越重要的作用，已成为验证智能网联汽车安全性不可或缺的手段。
自动驾驶是汽车智能化的重要一环，而基于场景注入的智能驾驶域控制器是实现高阶自动驾驶的基础，也是汽车在环仿真测试必不可少的一环。自动驾驶域控制器（Automated Driving Control Unit)作为智能驾驶的计算硬件平台，它能够将智能驾驶感知传感器数据处理和传感器融合工作与控制策略开发集成到一个硬件平台，实现自动驾驶感知融合、规划决策以及控制的全过程。
然而在汽车在环仿真测试现有技术中，通常使用相机暗箱方案将车辆感知场景回注至自动驾驶域控制器，因其只能将一路相机识别的场景进行回注，所以只能对低阶自动驾驶进行仿真，无法对中高阶自动驾驶进行仿真。
发明内容
为了提高对汽车中高阶自动驾驶的仿真测试能力，本申请提出一种基于智能驾驶域控制器的场景注入方法、系统及装置，辅助用户实现对中高阶自动驾驶的在环仿真测试，也解决了实际道路相机故障难以仿真的难题。
本申请的第一方面，提供一种基于智能驾驶域控制器的场景注入方法，应用于汽车在环仿真测试场景，包括：
利用场景软件生成多个场景图像，获取场景图像并渲染，渲染完成经视频端口输出标准图像，并向外共享所述标准图像；
将所述标准图像转换为预设分辨率图像；
将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，所述图像注入格式由相机类型与IPD处理格式相匹配。
可选的，该场景注入方法还包括：
构建分布式生成系统，所述分布式生成系统包括一台主机和多台从机；
所述主机配置用于基于相机需求实时生成场景图像并通过局域网向所述多台从机共享所述场景图像；
多个所述从机接收来自所述主机的至少一个场景图像。
可选的，多个所述从机接收来自所述主机的至少一个场景图像，包括：
所述从机通过局域网获取主机的至少一个场景图像，
将获取到的所述至少一个场景图像输入至GPU进行渲染，并生成标准图像通过HDMI/DP输出。
可选的，所述将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，包括：
所述相机类型包括鱼眼相机和周视相机；
根据相机的配置以及相机与智驾域控制器通讯协议将多路所述预设分辨率图像同步注入至智能驾驶域控制器。
可选的，所述将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，包括：
相机与智能驾驶域控制器建立通讯协议；
当所述预设分辨率图像的格式处理为图像注入格式注入至智能驾驶域控制器后，模拟相机在重新上电过程中与智能驾驶域控制器的握手通信，并自动识别智能驾驶域控制器的握手逻辑。
可选的，所述将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器包括：
若相机类型为周视相机且IPD处理格式处于周视匹配阈值，则所述预设分辨率图像处理的图像注入格式为周视相机图像格式RAW12；
若相机类型为鱼眼相机且IPD处理格式处于鱼眼匹配阈值，则所述预设分辨率图像处理的图像注入格式为鱼眼相机图像格式为YUV422。
本申请的第二方面，提供一种基于智能驾驶域控制器的场景注入系统，包括：
渲染单元，至少用于利用场景软件生成多个场景图像，获取场景图像并渲染，渲染完成经视频端口输出标准图像，并向外共享所述标准图像；
格式转换单元，至少用于将所述标准图像转换为预设分辨率图像；
场景注入单元，至少用于将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，所述图像注入格式与相机类型和IPD处理格式相匹配。
可选的，所述场景注入系统还包括分布式生成系统：
所述分布式生成系统包括一台主机和多台从机；
所述主机配置用于基于相机需求实时生成场景图像并通过局域网向所述多台从机共享场景图像；
多个所述从机接收来自所述主机的至少一个场景图像。
可选的，所述将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，包括：
所述相机类型包括鱼眼相机和周视相机；
根据相机的配置以及相机与智驾域控制器通讯协议将多路所述预设分辨率图像同步注入至智能驾驶域控制器。
可选的，所述场景注入单元包括：
通讯协议子单元，用于相机与智能驾驶域控制器建立通讯协议；当所述预设分辨率图像的格式处理为图像注入格式注入至智能驾驶域控制器后，模拟相机在重新上电过程中与智能驾驶域控制器的握手通信，并自动识别智能驾驶域控制器的握手逻辑。
可选的，所述场景注入单元还包括注入格式子单元：
所述注入格式子单元用于若相机类型为周视相机且IPD处理格式处于周视匹配阈值，则所述预设分辨率图像处理为图像注入格式为周视相机图像格式RAW12；和/或
若相机类型为鱼眼相机且IPD处理格式处于鱼眼匹配阈值，则所述预设分辨率图像处理为的图像注入格式为鱼眼相机图像格式为YUV422。
本申请的第三方面，提供一种基于智能驾驶域控制器的场景注入装置，包括：
相机图像渲染工作站，至少用于利用场景软件生成多个场景图像，获取场景图像并渲染，渲染完成经视频端口输出标准图像，并向外共享所述标准图像；
图像格式转换器，至少用于接收所述标准图像并将所述标准图像转换为预设分辨率图像；
图像处理器，至少用于将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，所述图像注入格式与相机类型和IPD相匹配。
可选的，所述图像处理器包括IO板卡、高性能控制器和故障注入单元，所述IO板卡用以模拟故障情形，所述故障注入单元用以设置预设分辨率图像的故障情形并发送给IO板卡，所述高性能控制器用以提高对所述预设分辨率图像的处理速度。
可选的，所述图像注入格式与相机类型和IPD相匹配，包括：
若相机类型为周视相机且IPD处理格式处于周视匹配阈值，则所述预设分辨率图像处理的图像注入格式为周视相机图像格式RAW12；
若相机类型为鱼眼相机且IPD处理格式处于鱼眼匹配阈值，则所述预设分辨率图像处理的图像注入格式为鱼眼相机图像格式为YUV422。
本申请的第四方面，提供一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行基于智能驾驶域控制器的场景注入方法。
本申请的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机运行时，执行基于智能驾驶域控制器的场景注入方法。
在此，通过本申请的分布式场景信息多个通道回注方案可以实现中高阶自动驾驶仿真测试，也可以改变使用单一场景信息进行回注的弊端，提高了在环仿真测试的效率，也可以为汽车的场景仿真提供技术支持，保证汽车的仿真场景使用的真实性、实时性和稳定性。
附图说明
图1示出了本申请一实施例中基于智能驾驶域控制器的场景注入方法的流程示意图；
图2示出了本申请一实施例中一种分布式显示系统的结构示意图；
图3示出了本申请一实施例中一种基于智能驾驶域控制器的场景注入系统的结构示意图；
图4示出了本申请一实施例中一种基于智能驾驶域控制器的场景注入装置的结构示意图；
图5示出了本申请一实施例中又一种基于智能驾驶域控制器的场景注入装置的结构示意图；
图6示出了本申请一实施例中又一种基于智能驾驶域控制器的场景注入装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本申请的第一方面，提供一种基于智能驾驶域控制器的场景注入方法，应用于汽车在环仿真测试场景，包括：
步骤S1：利用场景软件生成多个场景图像，获取场景图像并渲染，渲染完成经视频端口输出标准图像，并向外共享所述标准图像；
场景图像中蕴含着在环仿真测试需要的场景信息，在场景软件中实时生成多个相机所需要的场景，并通过局域网共享本地的图像只多个相机，多个相机获取所述标准图像后，通过仿真软件执行仿真。
在本申请一实施例中，所述场景注入方法还包括：
构建分布式生成系统，所述分布式生成系统包括一台主机和多台从机，主机安装有所述场景软件。
分布式图像生成技术依托分布式生成系统，主要应用于多路视频输出的场景仿真，可以对多路相机识别的图像进行模拟，因此，可以解决现有技术中只能将一路相机识别的场景进行仿真的弊端。
所述主机配置有用于基于相机需求实时生成场景图像的场景软件和/或基于局域网共享本地图像以获得场景图像的模块；多个所述从机通过局域网获取所述主机的至少一个场景图像。
具体的，请参阅图2，分布式显示系统包括一台主机Master和多台从机Slave，具体指一台主机Master安装了场景软件可以实时生成多个相机所需要的场景图像，主机Master就可以通过局域网共享本地的图像生成。从机Slave也可以通过访问局域网获取主机上的场景文件，从而实现分布式图像生成技术。
从机Slave通过局域网获取主机Master的至少一个场景图像，将获取到的所述至少一个场景图像输入至GPU进行渲染并通过HDMI/DP输出以生成标准图像。
在此，HDMI/DP可以理解为常用的视频端口，而GPU为从机内进行渲染的主要执行工具，除了使用GPU之外，还可以使用其他渲染工具以对场景图像进行渲染。
图像渲染中的工作包括但不限于通过几何变换，投影变换，透视变换和窗口剪裁，再通过获取的材质与光影信息，生成图像。图像渲染结束后，会把图像信息输出到图像文件或视频文件，或者是显示设备的帧缓存器中完成图形生成。在本申请中，即把渲染后的图像经过视频端口输出为标准图像，即适配于摄像头采集的图像。
步骤S2：将所述标准图像转换为预设分辨率图像，所述预设分辨率图像适配对应相机的不同分辨率要求；
一般来说，标准图像为通过视频端口输出的图像，例如标准图像为从机SlaveHDMI 1.4a标准图像，但是为了保证分辨率并且适配不同的分辨率要求的相机，需要将从机Slave HDMI 1.4a标准图像转换为预设分辨率图像，从而增强其普适性，预设分辨率图像的分辨率可以基于实际的相机类型等进行预设。例如预设分辨率可以设置为4K。
步骤S3：将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，所述图像注入格式与相机类型和IPD处理格式相匹配。
为了提高对中高阶自动驾驶场景的注入效果，需要对预设分辨率图像进行处理，即通过对多路相机所需的场景图像进行模拟，使得预设分辨率图像可以适配智能驾驶域控制器的格式以完成场景注入。
在本申请一实施例中，所述相机类型包括鱼眼相机和周视相机。
所述将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，包括：
根据相机的配置以及相机与智驾域控制器通讯协议将多路所述预设分辨率图像同步注入至智能驾驶域控制器。
在本申请一实施例中，所述将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，包括：
相机与智能驾驶域控制器建立通讯协议；
当所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器后，模拟相机在重新上电过程中与智能驾驶域控制器的握手通信，并自动识别智能驾驶域控制器的握手逻辑。
在此，通过增加通讯校验的步骤可以提高本申请中的场景注入的安全性。
在本申请一实施例中，所述将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，包括：
若相机类型为周视相机且IPD处理格式处于周视匹配阈值，则所述预设分辨率图像处理的图像注入格式为周视相机图像格式RAW12；
若相机类型为鱼眼相机且IPD处理格式处于鱼眼匹配阈值，则所述预设分辨率图像处理的图像注入格式为鱼眼相机图像格式为YUV422。
具体的，周视相机和鱼眼相机是汽车视觉传感器的主要组成部分，周视相机视角较小，一般为60°或120°，主要用来感知距离较远的场景；环视鱼眼相机视角较大，可以达到180°以上，对近距离的感知较好。
周视匹配阈值和鱼眼匹配阈值是预设分辨率图像转换的图像注入格式的重要参考，只有当IPD处理格式处于周视匹配阈值的范围，转化或者处理的图像注入格式为周视相机图像格式的有效性才得以确认，同理，只有当IPD处理格式处于鱼眼匹配阈值的范围，转化或者处理的图像注入格式为鱼眼相机图像格式的有效性才得以确认。
在此，通过该方式可以解决实现中高阶自动驾驶仿真测试，也可以改变使用单一场景信息进行回注的弊端，提高了在环仿真测试的效率。
请参阅图3，本申请的第二方面，提供一种基于智能驾驶域控制器的场景注入系统，包括：
渲染单元21，至少用于利用场景软件生成多个场景图像，获取场景图像并渲染，渲染完成经视频端口输出标准图像，并向外共享所述标准图像；
格式转换单元22，至少用于将所述标准图像转换为预设分辨率图像；
场景注入单元23，至少用于将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，所述图像注入格式与相机类型和IPD相匹配。
在本申请一实施例中，所述场景注入系统还包括分布式生成系统；
所述分布式生成系统至少包括一台主机和多台从机，为了增加算力等，也可以选择多台主机，以及与多台主机对应的更多台从机。
所述主机配置用于基于相机需求实时生成场景图像并通过局域网向所述多台从机共享所述场景图像；
多个所述从机接收来自所述主机的至少一个场景图像。
在本申请一实施例中，所述将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，包括：
所述相机类型包括鱼眼相机和周视相机；
根据相机的配置以及相机与智驾域控制器通讯协议将多路所述预设分辨率图像同步注入至智能驾驶域控制器。
在本申请一实施例中，所述场景注入单元包括：
通讯协议子单元231，用于相机与智能驾驶域控制器建立通讯协议；当所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器后，模拟相机在重新上电过程中与智能驾驶域控制器的握手通信，并自动识别智能驾驶域控制器的握手逻辑。
在本申请一实施例中，所述场景注入单元还包括注入格式子单元232，注入格式子单元232用于若相机类型为周视相机且IPD处理格式处于周视匹配阈值，则所述预设分辨率图像处理的图像注入格式为周视相机图像格式RAW12；和/或
若相机类型为鱼眼相机且IPD处理格式处于鱼眼匹配阈值，则所述预设分辨率图像处理的图像注入格式为鱼眼相机图像格式为YUV422。
请参阅图4-6，本申请的第三方面，提供一种基于智能驾驶域控制器的场景注入装置，包括：
相机图像渲染工作站31，至少用于利用场景软件生成多个场景图像，获取场景图像并渲染，渲染完成经视频端口输出标准图像，并向外共享所述标准图像；
在此，相机图像渲染工作站中可以配置分布式显示系统，分布式显示系统包括一台主机Master和多台从机Slave，具体指一台主机Master安装了场景软件实时生成相机所需要的场景，主机Master就可以通过局域网共享本地的图像生成。从机Slave也可以通过访问局域网获取主机上的场景文件，且从机上可以实时接收主机Master的图像生成模块，从而实现分布式图像生成技术。从机Slave通过局域网获取主机Master的至少一个场景图像，将获取到的所述至少一个场景图像输入至GPU进行渲染并通过HDMI/DP输出以生成标准图像。
图像格式转换器32，至少用于接收所述标准图像并将所述标准图像转换为预设分辨率图像，所述预设分辨率图像适配并对应不同分辨率要求的相机；具体的，可以通过修改图像格式转换器的相关程序和内存实现对不同分辨率要求的相机的适配。
图像处理器33，至少用于将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，所述图像注入格式与相机类型和IPD相匹配。
具体的，如图5所示，图像处理器33包括图像处理模块、数据同步模块、通讯校验模块以及FPGA模块，图像处理模块可以将所述预设分辨率图像的格式转化为图像注入格式，数据同步模块可以将所述预设分辨率图像按照相机的配置和时序产生以实现数据同步，通讯校验模块可以模拟相机在重新上电过程中与智能驾驶域控制器的握手通信，且可自动识别智能驾驶域控制器握手逻辑，FPGA模块可以使用户设计出不同的图像处理需求，如可以设计故障注入情形等。
如图6所示，在另一种图像处理器33的组成中，所述图像处理器包括IO板卡、高性能控制器和故障注入单元，所述IO板卡用以模拟故障情形，所述故障注入单元用以设置预设分辨率图像的故障情形并发送给IO板卡，所述高性能控制器至少用以提高所述预设分辨率图像的处理速度。
具体的，IO板卡可以基于接收到的故障注入单元的故障信号可以模拟相机遮挡和通讯超时等故障问题，而当存在相机遮挡和通讯超时等故障问题时，高性能控制器可以做出处理指令，其注入到智能驾驶域控制器的场景也会发生变化，例如原场景为100%内容场景，现场景为60%内容场景，而智能驾驶域控制器会基于预定百分比的内容场景如60%内容场景完成相机遮挡场景下的测试任务。
高性能控制器除了可以提高所述对所述预设分辨率图像的处理速度外，还可以及时实现控制器的常规功能以及及时清除图像处理器的无关内存，提高图像处理器的运行效率。
本申请一实施例中，所述图像注入格式与相机类型和IPD处理格式相匹配，包括：
若相机类型为周视相机且IPD处理格式处于周视匹配阈值，则所述预设分辨率图像处理的图像注入格式为周视相机图像格式RAW12；
若相机类型为鱼眼相机且IPD处理格式处于鱼眼匹配阈值，则所述预设分辨率图像处理的图像注入格式为鱼眼相机图像格式为YUV422。
具体的，无论是周视相机还是鱼眼相机的数量均不少于1个，其分辨率最高可支持4K高清视频源，帧率最高支持至60fps，实用性强。
通过本申请提供的方法，可对多路鱼眼及周视相机摄像头模组进行虚拟化，从而实现高阶自动驾驶功能。支持多路通道视频信号同步触发，基于准确的背板时钟可达到1ms的同步精度。通用性强，通过修改图像格式转换器和程序，即可适配各种相机。为了降低场景图像至智能驾驶域控制器的延迟性，在相机图像渲染工作站至图像格式转换器，图像格式转换器至图像处理器，以及图像处理器至智能驾驶域控制器之间，均设置同步触发模式，保证延迟不超过1帧。
在此，通过该方式，可以实现中高阶的自动驾驶测试在环仿真实验条件，也可以为汽车的场景仿真提供技术支持，保证汽车的仿真场景使用的真实性、实时性和稳定性。
本申请的第四方面，提供一种电子设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行基于智能驾驶域控制器的场景注入方法。
本申请的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机运行时，执行基于智能驾驶域控制器的场景注入方法。
可以理解，计算机可读存储介质可以包括：能够携带计算机程序的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器 (ROM ，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。计算机程序包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。
在本发明的某些实施方式中，装置可以包括控制器，控制器是一个单片机芯片，集成了处理器、存储器，通讯模块等。处理器可以是指控制器包含的处理器。处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (16)

1.一种基于智能驾驶域控制器的场景注入方法，应用于汽车在环仿真测试场景，其特征在于，包括：
利用场景软件生成多个场景图像，获取场景图像并渲染，渲染完成经视频端口输出标准图像，并向外共享所述标准图像；
将所述标准图像转换为预设分辨率图像；
将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，所述图像注入格式与相机类型和IPD处理格式相匹配。
2.如权利要求1所述的场景注入方法，其特征在于，还包括：
构建分布式生成系统，所述分布式生成系统包括一台主机和多台从机；
所述主机配置有用于基于相机需求实时生成场景图像，并通过局域网向所述多台从机共享所述场景图像；
多个所述从机接收来自所述主机的至少一个场景图像。
3.如权利要求2所述的场景注入方法，其特征在于，所述多个所述从机接收来自所述主机的至少一个场景图像，包括：
所述从机通过局域网获取主机的至少一个场景图像，将获取到的所述至少一个场景图像输入至GPU进行渲染，并生成标准图像通过HDMI/DP输出。
4.如权利要求1所述的场景注入方法，其特征在于，所述将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，包括：
根据相机的配置以及相机与智驾域控制器通讯协议将多路所述预设分辨率图像同步注入至智能驾驶域控制器；所述相机类型包括鱼眼相机和周视相机。
5.如权利要求4所述的场景注入方法，其特征在于，所述将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，包括：
相机与智能驾驶域控制器建立通讯协议；
当所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器后，模拟相机在重新上电过程中与智能驾驶域控制器的握手通信，并自动识别智能驾驶域控制器的握手逻辑。
6.如权利要求1所述的场景注入方法，其特征在于，所述将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，包括：
若相机类型为周视相机且IPD处理格式处于周视匹配阈值，则所述预设分辨率图像处理的图像注入格式为周视相机图像格式RAW12；
若相机类型为鱼眼相机且IPD处理格式处于鱼眼匹配阈值，则所述预设分辨率图像处理的图像注入格式为鱼眼相机图像格式为YUV422。
7.一种基于智能驾驶域控制器的场景注入系统，其特征在于，包括：
渲染单元，至少用于利用场景软件生成多个场景图像，获取场景图像并渲染，渲染完成经视频端口输出标准图像，并向外共享所述标准图像；
格式转换单元，至少用于将所述标准图像转换为预设分辨率图像；
场景注入单元，至少用于将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，所述图像注入格式与相机类型和IPD处理格式相匹配。
8.如权利要求7所述的场景注入系统，其特征在于，还包括分布式生成系统：
所述分布式生成系统包括一台主机和多台从机；
所述主机配置有用于基于相机需求实时生成场景图像，并通过局域网向所述多台从机共享所述场景图像；
多个所述从机接收来自所述主机的至少一个场景图像。
9.如权利要求7所述的场景注入系统，其特征在于，所述将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，包括：
所述相机类型包括鱼眼相机和周视相机；
根据相机的配置以及相机与智驾域控制器通讯协议将多路所述预设分辨率图像同步注入至智能驾驶域控制器。
10.如权利要求7所述的场景注入系统，其特征在于，所述场景注入单元包括：
通讯协议子单元，用于相机与智能驾驶域控制器建立通讯协议；当所述预设分辨率图像的格式处理为图像注入格式注入至智能驾驶域控制器后，模拟相机在重新上电过程中与智能驾驶域控制器的握手通信，并自动识别智能驾驶域控制器的握手逻辑。
11.如权利要求7所述的场景注入系统，其特征在于，所述场景注入单元还包括注入格式子单元：
所述注入格式子单元用于若相机类型为周视相机且IPD处理格式处于周视匹配阈值，则所述预设分辨率图像处理为图像注入格式为周视相机图像格式RAW12；和/或
若相机类型为鱼眼相机且IPD处理格式处于鱼眼匹配阈值，则所述预设分辨率图像处理为的图像注入格式为鱼眼相机图像格式为YUV422。
12.一种基于智能驾驶域控制器的场景注入装置，其特征在于，包括：
相机图像渲染工作站，至少用于利用场景软件生成多个场景图像，获取场景图像并渲染，渲染完成经视频端口输出标准图像，并向外共享所述标准图像；
图像格式转换器，至少用于接收所述标准图像并将所述标准图像转换为预设分辨率图像；
图像处理器，至少用于将所述预设分辨率图像的格式处理为图像注入格式并注入至智能驾驶域控制器，所述图像注入格式与相机类型和IPD相匹配性。
13.如权利要求12所述的场景注入装置，所述图像处理器包括IO板卡、高性能控制器和故障注入单元，所述IO板卡用以模拟故障情形，所述故障注入单元用以设置预设分辨率图像的故障情形并发送给IO板卡，所述高性能控制器用以提高对所述预设分辨率图像的处理速度。
14.如权利要求13所述的场景注入装置，所述图像注入格式与相机类型和IPD处理格式相匹配，包括：
若相机类型为周视相机且IPD处理格式处于周视匹配阈值，则所述预设分辨率图像处理的图像注入格式为周视相机图像格式RAW12；
若相机类型为鱼眼相机且IPD处理格式处于鱼眼匹配阈值，则所述预设分辨率图像处理的图像注入格式为鱼眼相机图像格式为YUV422。
15.一种电子设备，其特征在于，包括：
至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6中任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被计算机运行时，执行如权利要求1至6中任一项所述的方法。
CN202310201994.2A 2023-03-06 2023-03-06 基于智能驾驶域控制器的场景注入方法、系统及装置 Pending CN116205069A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310201994.2A CN116205069A (zh) 2023-03-06 2023-03-06 基于智能驾驶域控制器的场景注入方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310201994.2A CN116205069A (zh) 2023-03-06 2023-03-06 基于智能驾驶域控制器的场景注入方法、系统及装置

Publications (1)

Publication Number Publication Date
CN116205069A true CN116205069A (zh) 2023-06-02

Family

ID=86512610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310201994.2A Pending CN116205069A (zh) 2023-03-06 2023-03-06 基于智能驾驶域控制器的场景注入方法、系统及装置

Country Status (1)

Country Link
CN (1) CN116205069A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011787A (zh) * 2023-07-12 2023-11-07 中关村科学城城市大脑股份有限公司 应用于加油站的信息处理方法、装置和电子设备
CN117156075A (zh) * 2023-08-08 2023-12-01 昆易电子科技(上海)有限公司 视频采集注入装置、系统、汽车及回注设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011787A (zh) * 2023-07-12 2023-11-07 中关村科学城城市大脑股份有限公司 应用于加油站的信息处理方法、装置和电子设备
CN117011787B (zh) * 2023-07-12 2024-02-02 中关村科学城城市大脑股份有限公司 应用于加油站的信息处理方法、装置和电子设备
CN117156075A (zh) * 2023-08-08 2023-12-01 昆易电子科技(上海)有限公司 视频采集注入装置、系统、汽车及回注设备
CN117156075B (zh) * 2023-08-08 2024-04-12 昆易电子科技(上海)有限公司 视频采集注入装置、系统、汽车及回注设备

Similar Documents

Publication Publication Date Title
CN116205069A (zh) 基于智能驾驶域控制器的场景注入方法、系统及装置
CN104685868B (zh) 用于校准成像装置的方法及设备
US9699380B2 (en) Fusion of panoramic background images using color and depth data
US10679426B2 (en) Method and apparatus for processing display data
CN109413415A (zh) 一种摄像头控制器测试系统及测试方法
US10567739B2 (en) Synthesis of transformed image views
EP3448020B1 (en) Method and device for three-dimensional presentation of surveillance video
RU2729601C1 (ru) Способ и система для визуализации объекта на виртуальном виде
US20170186243A1 (en) Video Image Processing Method and Electronic Device Based on the Virtual Reality
CN112929627B (zh) 虚拟现实场景实现方法、装置、存储介质及电子设备
US20160255315A1 (en) Digital movie projection system and method
CN106507200A (zh) 视频播放内容插入方法和系统
CN112330709A (zh) 一种前景图像提取方法、装置、可读存储介质及终端设备
US10074205B2 (en) Machine creation of program with frame analysis method and apparatus
US20230224533A1 (en) Mapping architecture of immersive technologies media format (itmf) specification with rendering engines
CN113096003A (zh) 针对多视频帧的标注方法、装置、设备和存储介质
CN112698582A (zh) Adas ecu仿真测试方法和测试系统
CN109683491B (zh) 车载摄像头仿真系统
Schick et al. Evaluation of video-based driver assistance systems with sensor data fusion by using virtual test driving
CN113033412B (zh) 基于实景融合的交通态势监控方法、装置、设备及介质
CN113378605B (zh) 多源信息融合方法及装置、电子设备和存储介质
JP2010026845A (ja) 車載カメラ用電子ユニットの評価システム
CN116341648A (zh) 自动驾驶车辆环境感知能力训练方法、装置、设备及介质
JP2023124678A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7245318B2 (ja) カメラシステムの評価装置及び評価方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination