CN115460392A - 基于soc的全景3d视频拼接系统及系统载体 - Google Patents
基于soc的全景3d视频拼接系统及系统载体 Download PDFInfo
- Publication number
- CN115460392A CN115460392A CN202211004232.5A CN202211004232A CN115460392A CN 115460392 A CN115460392 A CN 115460392A CN 202211004232 A CN202211004232 A CN 202211004232A CN 115460392 A CN115460392 A CN 115460392A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- environment
- video
- soc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/024—Guidance services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
Abstract
本发明公开了基于SOC的全景3D视频拼接系统及系统载体，属于自动驾驶视频拼接技术领域，要解决的技术问题为如何在兼顾远景和近景的前提下，提高环境图像拼接的效率和真实度。包括：图像采集模块，用于采集系统载体的环境图像，得到至少一路环境图像，并以图像流的方式输出环境图像；图像处理模块，所述图像处理模块中配置有SOC系统级芯片，用于从图像采集模块获取图像流，并通过SOC系统级芯片对环境图像进行环形拼接，得到实时3D环境图像；视频处理模块，用于获取3D环境图像，并基于所述3D环境图像形成环境视频；数据传输模块，用于输出环境视频，将所述环境图像发送至系统载体的显示模块进行显示和/或发送至远端服务器。
Description
技术领域
本发明涉及自动驾驶视频拼接技术领域，具体地说是基于SOC的全景3D视频拼接系统及系统载体。
背景技术
随着人工智能技术的快速发展，特别是在智能自动驾驶技术领域取得了快速进步，为了满足人们生活的日常需求，特别是对自动驾驶技术的性能要求也越来越高，尤其是包括有多个传感器的3D视频融合导航系统领域。
现在市面上的自动驾驶图像处理主要依赖ARM系统或则GPU加速处理系统，拼接呈现的效果比较单一，无法还原时间环境真实度的要求，尤其是多摄像头传感器3D图像拼接出来的过度区域融合性比较差，3D图像融合区域断层比较明显，造成拼接效果较差，拼接质量不高，拼接速度慢等特点，给用户带来了极差的真实环境体验感，特别是3D摄像头拼接技术领域，远景的拼接和近景图像算法不一致，导致二者算法不能同时兼顾，如果远景点拼接比较好，近景点表现的会比较差，近景点比较好，远景点就会很差。传统的ARM处理器对多个摄像头进行3D图像预处理、融合等算法时，无法满足算法技术上的要求；使用比较昂贵的GPU等芯片进行处理也会带来图像融合过度明显的问题，并且CPU和GPU的功耗比较大，对于消费级的产品带来了弊端，以上诸多信息的差异，增加了软件矫正度的困难，给整个人工智能自动驾驶领域带来了很多问题，导致视觉产生软件算法的错误误差，使整个系统运行不稳定性增加。
如何在兼顾远景和近景的前提下，提高环境图像拼接的效率和真实度，是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足，提供基于SOC的全景3D视频拼接系统及系统载体，来解决如何在兼顾远景和近景的前提下，提高环境图像拼接的效率和真实度的技术问题。
第一方面，本发明的一种基于SOC的全景3D视频拼接系统，所述系统配置于系统载体，包括：
图像采集模块，所述图像采集模块用于采集系统载体的环境图像，得到至少一路环境图像，并以图像流的方式输出环境图像；
图像处理模块，所述图像处理模块中配置有SOC系统级芯片，用于从图像采集模块获取图像流，并通过SOC系统级芯片对环境图像进行环形拼接，得到实时3D环境图像；
视频处理模块，所述视频处理模块与所述图像处理模块连接，用于获取3D环境图像，并基于所述3D环境图像形成环境视频；
数据传输模块，所述数据传输模块与所述视频处理模块交互，用于输出环境视频，将所述环境图像发送至系统载体的显示模块进行显示和/或发送至远端服务器。
作为优选，所述图像处理模块还用于：
对环境图像进行分析，得到系统载体的位置信息和运动信息；
基于环境图像以及系统载体的位置信息和运动信息，生成至少一条导航路径，并通过数据传输模块输出所述至少一条导航路径，将所述至少一条导航路径发送至系统载体的显示模块进行显示和/或发送至远端服务器。
作为优选，所述系统还包括路径选择模块：
对于每一条初始导航路径，所述数据传输模块用于从远端服务器获取路况数据；
所述路径选择模块用于基于路况数据对所述至少一条初始导航路径进行分析选择，确定一个初始导航路径作为最优导航路径，并通过数据传输模块输出所述最优导航路径，将所述最优导航路径发送至系统载体的显示模块进行显示和/或发送至远端平台。
作为优选，所述路径选择模块用于根据每条初始导航路径的行驶距离以及路径拥堵情况，确定系统载体的最优导航路径。
作为优选，所述图像采集模块包括多个图像采集子模块，每个图像采集子模块均通过配置的摄像机拍摄系统载体的环境图像，并通过移动产业处理器接口与所述图像处理模块电连接。
作为优选，所述SOC系统级芯片包括：
可编程逻辑子模块，所述可编程逻辑子模块通过所述移动产业处理器接口与所述多个图像采集子模块连接，用于获取环境图像并对环境图像进行环形拼接，生成3D环境图像，用于对环境图像进行分析，得到运动载体的位置信息和运动信息，并用于基于环境图像以及系统载体的运动信息和位置信息生成至少一条导航路径；
可编程系统子模块，所述可编程系统子模块通过所述移动产业处理器接口与所述多个图像采集子模块连接，用于调控每个图像采集子模块中摄像机的拍摄参数，并用于通过握手连接协议实现每个图像采集子模块的同步采集。
作为优选，所述数据传输模块支持以太网传输方式，并通过以太网传输方式与远端服务器交互。
第二方面，本发明一种系统载体，包括系统载体本体，所述系统载体本体上配置有：
视频拼接系统，所述视频拼接系统为如第一方面任一项所述的基于SOC的全景3D视频拼接系统；
导航AI系统，所述导航AI系统与所述视频拼接系统中数据传输模块交互，用于基于视频拼接系统的输出进行导航。
作为优选，所述系统载体为机器人、无人飞行器或智能交通工具。
本发明的基于SOC的全景3D视频拼接系统及系统载体具有以下优点：
1、通过SOC芯片对获取的环境图像进行环形拼接，得到了实时3D环境图像，并对实时3D环境图像进行处理，形成环境图像，通过环境图像可还原真实的环境，可为系统载体的自动导航提供技术支持；
2、图像采集模块采集多路环境图像，通过SOC芯片中可编程系统子模块对多路环境图像进行同步采集以及处理，解决了信息不同步的问题；
3、通过SOC芯片对环境图像进行分析，得到系统载体的位置信息以及运动信息，并基于环境图像以及系统载体的运动信息和位置信息生成导航路径，进一步为系统载体的自动导航提供了技术支持；
4、基于获取的路况数据、通过路况选择模块对生成的导航路径进行选择，选择一个最优的导航路径作为最终的导航路径，便于导航。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
图1为实施例1基于SOC的全景3D视频拼接系统的结构框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
本发明实施例提供基于SOC的全景3D视频拼接系统及系统载体，用于解决如何在兼顾远景和近景的前提下，提高环境图像拼接的效率和真实度的技术问题。
实施例1：
本发明一种基于SOC的全景3D视频拼接系统，配置于系统载体，如图1所示包括图像采集模块、图像处理模块、视频处理模块以及数据传输模块。
图像采集模块用于采集系统载体的环境图像，得到至少一路环境图像，并以图像流的方式输出环境图像。
图像采集模块包括多个图像采集子模块，每个图像采集子模块中配置有摄像机，通过摄像机采集系统载体的环境视频，并将采集的多路环境图像以图像流的方式发送到图像处理模块。
具体的，每个图像采集子模块均通过移动产业((Mobile Industry ProcessorInterface，MIPI))处理器接口与所述图像处理模块电连接。
图像处理模块中配置有SOC系统级芯片，用于从图像采集模块获取图像流，并通过SOC系统级芯片对环境图像进行环形拼接，得到实时3D环境图像。
SOC系统级芯片包括可编程逻辑子模块和可编程系统子模块，可编程逻辑子模块通过所述移动产业处理器接口与所述多个图像采集子模块连接，用于获取环境图像并对环境图像进行环形拼接，生成3D环境图像；可编程系统子模块通过所述移动产业处理器接口与所述多个图像采集子模块连接，用于调控每个图像采集子模块中摄像机的拍摄参数，并用于通过握手连接协议实现每个图像采集子模块的同步采集。
视频处理模块与所述图像处理模块连接，用于获取3D环境图像，并基于所述3D环境图像形成环境视频。
数据传输模块与所述视频处理模块交互，用于输出环境视频，将所述环境图像发送至系统载体的显示模块进行显示和/或发送至远端服务器。
作为具体实施，数据传输模块支持以太网传输方式，并通过以太网传输方式与远端服务器交互。该数据传输模块传输环境视频时，对环境视频的视频信号进行压缩，然后通过以太网、通过TCP/IP协议发送至云端服务器。
系统载体可通过其配置的展示模块展示环境视频，从而为导航提供支持。
作为一个改进的实施，图像处理模块通过可编程逻辑子模块用于执行如下：对环境图像进行分析，得到运动载体的位置信息和运动信息，并基于环境图像以及系统载体的运动信息和位置信息生成至少一条导航路径。
进而通过数据传输模块可将所述至少一条导航路径发送至系统载体的显示模块进行显示和/或发送至远端服务器，进一步为载体系统的导航提供支持。
作为该改进的具体案例，图像处理模块采用对应点标定算法来获取图像的深度信息，同时不断地调整图像位置参数，利用几何关系推导出坐标点位置，得到运动载体的位置信息和运动信息；然后，基于环境图像以及系统载体的运动信息和位置信息，通过神经网络法和工程数学路径算法生成至少一条导航路径。
作为一个改进的实施，该系统还包括路径选择模块。
对于每一条初始导航路径，数据传输模块用于从远端服务器获取路况数据。路径选择模块用于基于路况数据对所述至少一条初始导航路径进行分析选择，确定一个初始导航路径作为最优导航路径，并通过数据传输模块输出所述最优导航路径，将所述最优导航路径发送至系统载体的显示模块进行显示和/或发送至远端平台。进一步为载体系统的导航提供支持。
本实施例中，路径选择模块用于根据每条初始导航路径的行驶距离以及路径拥堵情况，确定系统载体的最优导航路径。路径选择模块根据路况数据中包含的各个初始导航路径包含的行驶距离以及拥堵情况，来确定多条初始导航路径分别对应的选择参数，这里的选择参数与行驶距离的长度以及行驶时间的长度成负相关，并将选择参数最大的初始导航路径作为系统载体的导航路径。
实施例2：
本发明一种系统载体，包括系统载体本体以及配置于系统载体本体上的视频拼接系统和导航AI系统，视频拼接系统为实施例1公开的基于SOC的全景3D视频拼接系统，导航AI系统与所述视频拼接系统中数据传输模块交互，用于基于视频拼接系统的输出进行导航。
作为具体实施，系统载体为机器人、无人飞行器或智能交通工具等。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。
Claims (9)
1.一种基于SOC的全景3D视频拼接系统，其特征在于，包括：
图像采集模块，所述图像采集模块用于采集系统载体的环境图像，得到至少一路环境图像，并以图像流的方式输出环境图像；
图像处理模块，所述图像处理模块中配置有SOC系统级芯片，用于从图像采集模块获取图像流，并通过SOC系统级芯片对环境图像进行环形拼接，得到实时3D环境图像；
视频处理模块，所述视频处理模块与所述图像处理模块连接，用于获取3D环境图像，并基于所述3D环境图像形成环境视频；
数据传输模块，所述数据传输模块与所述视频处理模块交互，用于输出环境视频，将所述环境图像发送至系统载体的显示模块进行显示和/或发送至远端服务器。
2.根据权利要求1所述的基于SOC的全景3D视频拼接系统，其特征在于，所述图像处理模块还用于：
对环境图像进行分析，得到系统载体的位置信息和运动信息；
基于环境图像以及系统载体的位置信息和运动信息，生成至少一条导航路径，并通过数据传输模块输出所述至少一条导航路径，将所述至少一条导航路径发送至系统载体的显示模块进行显示和/或发送至远端服务器。
3.根据权利要求2所述的基于SOC的全景3D视频拼接系统，其特征在于，所述系统还包括路径选择模块：
对于每一条初始导航路径，所述数据传输模块用于从远端服务器获取路况数据；
所述路径选择模块用于基于路况数据对所述至少一条初始导航路径进行分析选择，确定一个初始导航路径作为最优导航路径，并通过数据传输模块输出所述最优导航路径，将所述最优导航路径发送至系统载体的显示模块进行显示和/或发送至远端平台。
4.根据权利要求3所述的基于SOC的全景3D视频拼接系统，其特征在于，所述路径选择模块用于根据每条初始导航路径的行驶距离以及路径拥堵情况，确定系统载体的最优导航路径。
5.根据权利要求1-4任一项所述的基于SOC的全景3D视频拼接系统，其特征在于，所述图像采集模块包括多个图像采集子模块，每个图像采集子模块均通过配置的摄像机拍摄系统载体的环境图像，并通过移动产业处理器接口与所述图像处理模块电连接。
6.根据权利要求5所述的基于SOC的全景3D视频拼接系统，其特征在于，所述SOC系统级芯片包括：
可编程逻辑子模块，所述可编程逻辑子模块通过所述移动产业处理器接口与所述多个图像采集子模块连接，用于获取环境图像并对环境图像进行环形拼接，生成3D环境图像，用于对环境图像进行分析，得到运动载体的位置信息和运动信息，并用于基于环境图像以及系统载体的运动信息和位置信息生成至少一条导航路径；
可编程系统子模块，所述可编程系统子模块通过所述移动产业处理器接口与所述多个图像采集子模块连接，用于调控每个图像采集子模块中摄像机的拍摄参数，并用于通过握手连接协议实现每个图像采集子模块的同步采集。
7.根据权利要求1所述的基于SOC的全景3D视频拼接系统，其特征在于，所述数据传输模块支持以太网传输方式，并通过以太网传输方式与远端服务器交互。
8.一种系统载体，包括系统载体本体，其特征在于，所述系统载体本体上配置有：
视频拼接系统，所述视频拼接系统为如权利要求1-7任一项所述的基于SOC的全景3D视频拼接系统；
导航AI系统，所述导航AI系统与所述视频拼接系统中数据传输模块交互，用于基于视频拼接系统的输出进行导航。
9.根据权利要求8所述的系统载体，其特征在于，所述系统载体为机器人、无人飞行器或智能交通工具。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211004232.5A CN115460392A (zh) | 2022-08-22 | 2022-08-22 | 基于soc的全景3d视频拼接系统及系统载体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211004232.5A CN115460392A (zh) | 2022-08-22 | 2022-08-22 | 基于soc的全景3d视频拼接系统及系统载体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115460392A true CN115460392A (zh) | 2022-12-09 |
Family
ID=84298087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211004232.5A Pending CN115460392A (zh) | 2022-08-22 | 2022-08-22 | 基于soc的全景3d视频拼接系统及系统载体 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115460392A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110386081A (zh) * | 2018-04-16 | 2019-10-29 | 比亚迪股份有限公司 | 车辆的多媒体娱乐系统、方法及车辆 |
| CN111044052A (zh) * | 2019-12-31 | 2020-04-21 | 西安交通大学 | 一种基于智能感知的无人机自适应导航系统及方法 |
| CN211209836U (zh) * | 2020-03-19 | 2020-08-07 | 重庆长安汽车股份有限公司 | 基于模拟信号传送的高清全景系统及车辆 |
| CN114526725A (zh) * | 2022-02-21 | 2022-05-24 | 山东新一代信息产业技术研究院有限公司 | 一种基于系统级芯片的超融合导航系统 |
| CN114633622A (zh) * | 2020-11-30 | 2022-06-17 | 宝能汽车集团有限公司 | 汽车数字仪表、全景影像系统及车辆 |
-
2022
- 2022-08-22 CN CN202211004232.5A patent/CN115460392A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110386081A (zh) * | 2018-04-16 | 2019-10-29 | 比亚迪股份有限公司 | 车辆的多媒体娱乐系统、方法及车辆 |
| CN111044052A (zh) * | 2019-12-31 | 2020-04-21 | 西安交通大学 | 一种基于智能感知的无人机自适应导航系统及方法 |
| CN211209836U (zh) * | 2020-03-19 | 2020-08-07 | 重庆长安汽车股份有限公司 | 基于模拟信号传送的高清全景系统及车辆 |
| CN114633622A (zh) * | 2020-11-30 | 2022-06-17 | 宝能汽车集团有限公司 | 汽车数字仪表、全景影像系统及车辆 |
| CN114526725A (zh) * | 2022-02-21 | 2022-05-24 | 山东新一代信息产业技术研究院有限公司 | 一种基于系统级芯片的超融合导航系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11711504B2 (en) | Enabling motion parallax with multilayer 360-degree video | |
| US20220174252A1 (en) | Selective culling of multi-dimensional data sets | |
| CN108876926B (zh) | 一种全景场景中的导航方法及系统、ar/vr客户端设备 | |
| EP3577631A1 (en) | System and method for augmented reality content delivery in pre-captured environments | |
| CN110728739B (zh) | 一种基于视频流的虚拟人控制与交互方法 | |
| KR20160149252A (ko) | 시선 위치에 기초한 안정 평면 결정 | |
| CN109126121B (zh) | Ar终端互联方法、系统、装置及计算机可读存储介质 | |
| CN107071389A (zh) | 航拍方法、装置和无人机 | |
| CN113223130B (zh) | 一种路径漫游方法、终端设备以及计算机存储介质 | |
| CN110275179A (zh) | 一种基于激光雷达以及视觉融合的构建地图方法 | |
| WO2023207963A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113873264A (zh) | 显示图像的方法、装置、电子设备及存储介质 | |
| WO2023207379A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN113281738A (zh) | 一种多传感器融合的目标检测系统及检测方法 | |
| US11967038B2 (en) | Systems and methods for image display | |
| CN114898061A (zh) | 一种基于飞走双模视觉信息的输电走廊快速重建方法 | |
| CN112862973A (zh) | 一种基于故障现场的实时远程培训方法及系统 | |
| CN115460392A (zh) | 基于soc的全景3d视频拼接系统及系统载体 | |
| CN113674354A (zh) | 一种三维重建方法及系统 | |
| CN113984037A (zh) | 一种基于任意方向目标候选框的语义地图构建方法 | |
| CN114363530B (zh) | 基于亿级像素设备的云端视频监控方法与监控平台 | |
| CN111417016A (zh) | 一种姿态估计方法、服务器和网络设备 | |
| CN115294207A (zh) | 智慧校园监控视频与三维gis模型的融合调度系统及方法 | |
| CN117392518B (zh) | 一种低功耗的视觉定位和建图芯片及其方法 | |
| CN113284184A (zh) | 面向机器人rgbd视觉感知的6d位姿估计方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |