CN110381260A - 一种基于硬件加速的全景图像生成方法及工具 - Google Patents

Abstract

本发明公开一种基于硬件加速的全景图像生成方法，涉及图像处理技术领域，该方法基于带有DSP的嵌入式平台和六路广角摄像头，通过嵌入式CPU调整六路广角摄像头工作过程的图像配置参数，进而控制图片拍摄的生成流程和输出结果，通过嵌入式CPU与DSP进行交互，以使用DSP对输出结果进行拼接工作，并最终完成全景图像的生成，该过程既保留了DSP高速图像处理能力，又具有了嵌入式CPU上能够实现的人机交互、软件配置功能，高效、快速的完成了拼接工作进而并生成全景图像。本发明还公开一种基于硬件加速的全景图像生成工具，其基于带有DSP的嵌入式平台和六路广角摄像模块，再加上人机交互模块、参数配置模块、图像处理模块，同样高效快速的生成全景图像。

Description

一种基于硬件加速的全景图像生成方法及工具

技术领域

本发明涉及图像处理技术领域，具体的说是一种基于硬件加速的全景图像生成方法及工具。

背景技术

当前全景图片生成，广泛采用的方法主要有两种，一是使用软件后期处理，将相机拍摄的多幅图像拼接；另一种是使用集成式设备，如全景摄像头设备，直接拍摄生成全景图片。前者主要依赖于后期图像处理软件，如Photoshop等，无法及时得到拍摄结果，必须拍摄完成后使用计算机处理完成；后者主要依赖于全景相机设备，能够及时获取拍摄结果。

但由于目前全景相机设备使用的硬件方案限制，使用DSP进行图像处理的产品，人机交互性能较差，拍摄和输出图像过程中可调整参数较少，无法满足对于拍摄、处理和拼接效果等的需求。基于通用CPU(包括桌面级、移动或嵌入式CPU)的全景相机设备，拍摄、处理拼接过程中可配置参数相对较多，功能更丰富，但受限于CPU处理能力，拼接效率较低，图片处理时间长，实时性能较差。

发明内容

本发明针对目前技术发展的需求和不足之处，提供一种基于硬件加速的全景图像生成方法及工具。

首先，本发明提供一种基于硬件加速的全景图像生成方法，其解决上述技术问题采用的技术方案如下：

一种基于硬件加速的全景图像生成方法，该方法基于带有DSP的嵌入式平台和六路广角摄像头，

首先，通过嵌入式CPU调整六路广角摄像头工作过程的图像配置参数，进而控制图片拍摄的生成流程和输出结果；

随后，通过嵌入式CPU与DSP进行交互，以使用DSP对输出结果进行拼接工作，并最终完成全景图像的生成。

具体的，所涉及六路广角摄像头的图像配置参数包括固定参数和可调参数；

六路广角摄像头的固定参数包括内参数据和位姿数据，其中，内参数据不可修改，位姿数据在六路广角摄像头调试过程中可以进行修改；

六路广角摄像头的可调参数可以在六路广角摄像头工作过程中进行修改，包括摄像头位姿校准数据和图像参数，其中，图像参数又包括分辨率、亮度、饱和度、图片类型。

具体的，通过嵌入式CPU与DSP进行交互时，

首先获取六路广角摄像头输出的原始数据；

随后使用DSP对输出的原始数据进行缩放和特征点匹配；

再随后，根据特征点匹配后的输出结果进行拼接工作；

最后，生成指定数据格式的全景图像。

具体的，使用DSP对输出的原始数据进行缩放时，以分辨率作为缩放标准；

使用DSP对输出的原始数据进行缩放后，接着对缩放后图像进行灰度处理，并得到便于后续进行特征点匹配的灰度图。

具体的，使用DSP对输出的原始数据进行特征点匹配时，需要识别灰度图中的特征点，并根据六路广角摄像头的位姿数据和摄像头位姿校准数据进行特征点匹配。

具体的，使用DSP对输出的原始数据进行缩放和特征点匹配后，

a)对特征点匹配后的结果进行拉伸、形变或投影至少一种变换操作，

或/和，

b)根据六路广角摄像头的曝光角度和图像参数，对输出图像进行调整；

随后，根据执行a)、b)、a)+b)后的输出结果进行拼接工作，生成指定数据格式的全景图像。

其次，本发明还提供一种基于硬件加速的全景图像生成工具，其结构包括：

带有DSP的嵌入式平台，

六路广角摄像模块，

还包括内置于嵌入式平台的：

人机交互模块，用于通过嵌入式CPU与DSP进行交互，并进行UI显示；

参数配置模块，用于通过人机交互模块调整六路广角摄像模块工作过程的图像配置参数，进而控制图片拍摄的生成流程和输出结果；

图像处理模块，用于通过人机交互模块使用DSP对输出结果进行拼接工作，并最终完成全景图像的生成。

具体的，参数配置模块包括摄像固定参数和摄像可调参数；

摄像固定参数包括六路广角摄像模块的内参数据和位姿数据，其中，内参数据不可修改，位姿数据在六路广角摄像模块调试过程中可以进行修改；

摄像可调参数可以在六路广角摄像模块工作过程中进行修改，包括摄像位姿校准数据和图像参数，其中，图像参数又包括分辨率、亮度、饱和度、图片类型。

具体的，图像处理模块包括：

图像数据获取子模块，用于获取六路广角摄像模块输出的原始数据；

图像缩放子模块，用于使用DSP对图像数据获取子模块输出的原始数据进行缩放，缩放过程中，以分辨率作为缩放标准；

灰度处理子模块，用于对缩放后图像进行灰度处理，并得到便于后续进行特征点匹配的灰度图；

特征点匹配子模块，用于识别灰度图中的特征点，并根据六路广角摄像模块的位姿数据和摄像位姿校准数据进行特征点匹配；

图像变换子模块，用于对特征点匹配后的结果进行拉伸、形变或投影至少一种变换操作；

图像调整子模块，用于根据六路广角摄像模块的曝光角度和图像参数，对变换后图像进行调整；

图像拼接子模块，用于对调整后的图像进行拼接工作，进而生成指定数据格式的全景图像。

本发明的一种基于硬件加速的全景图像生成方法及工具，与现有技术相比具有的有益效果是：

1)本发明的全景图像生成方法基于带有DSP的嵌入式平台和六路广角摄像头，通过嵌入式CPU调整六路广角摄像头工作过程的图像配置参数，进而控制图片拍摄的生成流程和输出结果，通过嵌入式CPU与DSP进行交互，以使用DSP对输出结果进行拼接工作，并最终完成全景图像的生成，该过程既保留了DSP高速图像处理能力，又具有了嵌入式CPU上能够实现的人机交互、软件配置功能，高效、快速的完成了拼接工作进而并生成全景图像；

2)本发明的全景图像生成工具与所述全景图像生成方法相结合，基于带有DSP的嵌入式平台和六路广角摄像模块，再加上人机交互模块、参数配置模块、图像处理模块，高效、快速的完成了拼接工作进而并生成全景图像。

附图说明

附图1是本发明实施例二的连接框图。

附图中各标号信息表示：

1、嵌入式平台，2、六路广角摄像模块，3、人机交互模块，

4、参数配置模块，5、图像处理模块；

51、图像数据获取子模块，52、图像缩放子模块，53、灰度处理子模块，

54、特征点匹配子模块，55、图像变换子模块，56、图像调整子模块，

57、图像拼接子模块。

具体实施方式

为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下获得的所有实施例,都在本发明的保护范围之内。

实施例一：

本实施例提出一种基于硬件加速的全景图像生成方法，该方法基于带有DSP的嵌入式平台和六路广角摄像头，

首先，通过嵌入式CPU调整六路广角摄像头工作过程的图像配置参数，进而控制图片拍摄的生成流程和输出结果；

随后，通过嵌入式CPU与DSP进行交互，以使用DSP对输出结果进行拼接工作，并最终完成全景图像的生成。

在本实施例中，所涉及六路广角摄像头的图像配置参数包括固定参数和可调参数；

六路广角摄像头的固定参数包括内参数据和位姿数据，其中，内参数据不可修改，位姿数据在六路广角摄像头调试过程中可以进行修改；

六路广角摄像头的可调参数可以在六路广角摄像头工作过程中进行修改，包括摄像头位姿校准数据和图像参数，其中，图像参数又包括分辨率、亮度、饱和度、图片类型。

在本实施例中，通过嵌入式CPU与DSP进行交互时，具体操作步骤包括：

首先获取六路广角摄像头输出的原始数据；

随后使用DSP对输出的原始数据进行缩放和特征点匹配；

再随后，根据特征点匹配后的输出结果进行拼接工作；

最后，生成指定数据格式的全景图像。

在本实施例中，使用DSP对输出的原始数据进行缩放时，以分辨率作为缩放标准；

使用DSP对输出的原始数据进行缩放后，接着对缩放后图像进行灰度处理，并得到便于后续进行特征点匹配的灰度图。

在本实施例中，使用DSP对输出的原始数据进行特征点匹配时，需要识别灰度图中的特征点，并根据六路广角摄像头的位姿数据和摄像头位姿校准数据进行特征点匹配。

在本实施例中，使用DSP对输出的原始数据进行缩放和特征点匹配后，

a)对特征点匹配后的结果进行拉伸、形变或投影至少一种变换操作，

或/和，

b)根据六路广角摄像头的曝光角度和图像参数，对输出图像进行调整；

随后，根据执行a)、b)、a)+b)后的输出结果进行拼接工作，生成指定数据格式的全景图像。

本实施例的全景图像生成方法既保留了DSP高速图像处理能力，又具有了嵌入式CPU上能够实现的人机交互、软件配置功能，高效、快速的完成了拼接工作进而并生成全景图像。

实施例二：

结合附图1，本实施例提出一种基于硬件加速的全景图像生成工具，其结构包括：

带有DSP的嵌入式平台1，

六路广角摄像模块2，

还包括内置于嵌入式平台1的：

人机交互模块3，用于通过嵌入式CPU与DSP进行交互，并进行UI显示；

参数配置模块4，用于通过人机交互模块3调整六路广角摄像模块2工作过程的图像配置参数，进而控制图片拍摄的生成流程和输出结果；

图像处理模块5，用于通过人机交互模块3使用DSP对输出结果进行拼接工作，并最终完成全景图像的生成。

在本实施例中，参数配置模块4包括摄像固定参数和摄像可调参数；

摄像固定参数包括六路广角摄像模块2的内参数据和位姿数据，其中，内参数据不可修改，位姿数据在六路广角摄像模块2调试过程中可以进行修改；

摄像可调参数可以在六路广角摄像模块2工作过程中进行修改，包括摄像位姿校准数据和图像参数，其中，图像参数又包括分辨率、亮度、饱和度、图片类型。

在本实施例中，图像处理模块5包括：

图像数据获取子模块51，用于获取六路广角摄像模块2输出的原始数据；

图像缩放子模块52，用于使用DSP对图像数据获取子模块51输出的原始数据进行缩放，缩放过程中，以分辨率作为缩放标准；

灰度处理子模块53，用于对缩放后图像进行灰度处理，并得到便于后续进行特征点匹配的灰度图；

特征点匹配子模块54，用于识别灰度图中的特征点，并根据六路广角摄像模块2的位姿数据和摄像位姿校准数据进行特征点匹配；

图像变换子模块55，用于对特征点匹配后的结果进行拉伸、形变或投影至少一种变换操作；

图像调整子模块56，用于根据六路广角摄像模块2的曝光角度和图像参数，对变换后图像进行调整；

图像拼接子模块57，用于对调整后的图像进行拼接工作，进而生成指定数据格式的全景图像。

本实施例的全景图像生成工具高效、快速的完成了图像拼接工作进而并生成全景图像。

以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容，并不用于限制本发明的保护范围，本发明的技术方案不限制于上述具体实施方式内。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。

Claims (9)

1.一种基于硬件加速的全景图像生成方法，其特征在于,该方法基于带有DSP的嵌入式平台和六路广角摄像头，

首先，通过嵌入式CPU调整六路广角摄像头工作过程的图像配置参数，进而控制图片拍摄的生成流程和输出结果；

随后，通过嵌入式CPU与DSP进行交互，以使用DSP对输出结果进行拼接工作，并最终完成全景图像的生成。

2.根据权利要求1所述的一种基于硬件加速的全景图像生成方法，其特征在于，所述六路广角摄像头的图像配置参数包括固定参数和可调参数；

所述六路广角摄像头的固定参数包括内参数据和位姿数据，所述内参数据不可修改，所述位姿数据在六路广角摄像头调试过程中可以进行修改；

所述六路广角摄像头的可调参数可以在六路广角摄像头工作过程中进行修改，包括摄像头位姿校准数据和图像参数，所述图像参数又包括分辨率、亮度、饱和度、图片类型。

3.根据权利要求2所述的一种基于硬件加速的全景图像生成方法，其特征在于，通过嵌入式CPU与DSP进行交互时，

首先获取六路广角摄像头输出的原始数据；

随后使用DSP对输出的原始数据进行缩放和特征点匹配；

再随后，根据特征点匹配后的输出结果进行拼接工作；

最后，生成指定数据格式的全景图像。

4.根据权利要求3所述的一种基于硬件加速的全景图像生成方法，其特征在于，使用DSP对输出的原始数据进行缩放时，以分辨率作为缩放标准；

使用DSP对输出的原始数据进行缩放后，接着对缩放后图像进行灰度处理，并得到便于后续进行特征点匹配的灰度图。

5.根据权利要求4所述的一种基于硬件加速的全景图像生成方法，其特征在于，使用DSP对输出的原始数据进行特征点匹配时，需要识别灰度图中的特征点，并根据六路广角摄像头的位姿数据和摄像头位姿校准数据进行特征点匹配。

6.根据权利要求3所述的一种基于硬件加速的全景图像生成方法，其特征在于，使用DSP对输出的原始数据进行缩放和特征点匹配后，

a)对特征点匹配后的结果进行拉伸、形变或投影至少一种变换操作，

或/和，

b)根据六路广角摄像头的曝光角度和图像参数，对输出图像进行调整；

随后，根据执行a)、b)、a)+b)后的输出结果进行拼接工作，生成指定数据格式的全景图像。

7.一种基于硬件加速的全景图像生成工具，其特征在于，其结构包括：

带有DSP的嵌入式平台，

六路广角摄像模块，

还包括内置于嵌入式平台的：

人机交互模块，用于通过嵌入式CPU与DSP进行交互，并进行UI显示；

参数配置模块，用于通过人机交互模块调整六路广角摄像模块工作过程的图像配置参数，进而控制图片拍摄的生成流程和输出结果；

图像处理模块，用于通过人机交互模块使用DSP对输出结果进行拼接工作，并最终完成全景图像的生成。

8.根据权利要求7所述的一种基于硬件加速的全景图像生成工具，其特征在于，所述参数配置模块包括摄像固定参数和摄像可调参数；

所述摄像固定参数包括六路广角摄像模块的内参数据和位姿数据，所述内参数据不可修改，所述位姿数据在六路广角摄像模块调试过程中可以进行修改；

所述摄像可调参数可以在六路广角摄像模块工作过程中进行修改，包括摄像位姿校准数据和图像参数，所述图像参数又包括分辨率、亮度、饱和度、图片类型。

9.根据权利要求7所述的一种基于硬件加速的全景图像生成工具，其特征在于，所述图像处理模块包括：

图像数据获取子模块，用于获取六路广角摄像模块输出的原始数据；

图像缩放子模块，用于使用DSP对图像数据获取子模块输出的原始数据进行缩放，缩放过程中，以分辨率作为缩放标准；

灰度处理子模块，用于对缩放后图像进行灰度处理，并得到便于后续进行特征点匹配的灰度图；

特征点匹配子模块，用于识别灰度图中的特征点，并根据六路广角摄像模块的位姿数据和摄像位姿校准数据进行特征点匹配；

图像变换子模块，用于对特征点匹配后的结果进行拉伸、形变或投影至少一种变换操作；

图像调整子模块，用于根据六路广角摄像模块的曝光角度和图像参数，对变换后图像进行调整；

图像拼接子模块，用于对调整后的图像进行拼接工作，进而生成指定数据格式的全景图像。