CN109309788A - 多镜头图像拼接装置及方法 - Google Patents

Abstract

本发明提供了一种多镜头图像拼接装置及方法，涉及集成电路芯片设计领域，包括：前置处理模块对多个原始图像执行多图像的ISP处理以及畸变矫正、几何映射变换，得到多个实景图像；多维视觉处理模块将实景图像进行物体检测与识别，得到多维度的结构化图像；多图像拼接模块采用多种组合方式将实景图像和多维度的结构化图像进行拼接组合，得到拼接组合图像和拼接组合参数；编码输出模块将拼接组合图像进行排列和编码，并将编码后图像和拼接组合参数输出。本发明通过在一个集成电路芯片中集成全部图像处理的逻辑模块，提高多图像拼接组合处理的效率和动态配置的灵活性，减轻后端多图像拼接展示的软件开发难度，降低开发成本、功耗和产品体积。

Description

多镜头图像拼接装置及方法

技术领域

本发明涉及集成电路芯片设计领域，尤其是涉及多镜头图像拼接装置及方法。

背景技术

摄像机多图像拼接与展示的应用已经非常普及，主流方法是利用专用的图像拼接芯片，采集多摄像机视频后排列组合后，通过HDMI等视频接口在屏幕上展现。

当前主要存在两种方案，一是ASIC/FPGA(Application Specific IntegratedCircuit，专用集成电路)/(Field－Programmable Gate Array，现场可编程门阵列)方案，通过外部通信接口接收多路视频信号，对视频信号进行解压或是AD采样后转换成数字信号，再由硬件进行视频合成，如市面上的视频分割器。二是软件合成方案，需要使用图像采集卡将多路信号汇总，通过接口发给计算机，计算机软件处理后再通过计算机的视频接口连接显示器展示。

但是，当前已存方案具有如下缺点：摄像机由于是单镜头装置，多架摄像机执行视频编码后，通过路由器集成，再由视频分割器或组合器执行大屏幕图像拼接展示。其缺点是不能实现多传感器图像采集拼接合一的操作，且需要多路摄像机图像集中采集，多路布线，整体成本高，功耗高。

软件合成方案，需要计算机和软件的配合，体积大，成本高，当需要处理的视频数量较多时，占用非常多的带宽和系统资源，实时性容易受CPU(Central Processing Unit，中央处理器)等因素影响。

现有的方案，如果是像素点层面的拼接组合，势必会涉及视频数据解压等，需要耗费很多的硬件资源，随着路数增加，所耗资源也会按倍数增加；如果是不解压，直接对压缩的数据流进行拼接，则无法对图像进行再缩放，有失灵活性。特别是家庭、小商铺、车载等封闭环境的多摄像头的信号采集与展示，均要采购集成整套连接分屏装置，极大增加安装成本和部署难度。

发明内容

有鉴于此，本发明的目的在于提供多镜头图像拼接装置及方法，通过在一个集成电路芯片中集成全部图像处理的逻辑模块，提高多图像拼接组合处理的效率和动态配置的灵活性，减轻后端多图像拼接展示的软件开发难度，降低开发成本、功耗和产品体积。

第一方面，本发明实施例提供了一种多镜头图像拼接装置，其中，包括多镜头模组，以及，采用集成电路技术将依次相连的前置处理模块、多维视觉处理模块、多图像拼接模块、编码输出模块集成于集成电路芯片内；

所述前置处理模块，用于对所述多镜头模组采集的多个原始图像，执行多图像的ISP处理以及畸变矫正、几何映射变换，得到多个实景图像；

所述多维视觉处理模块，用于将所述实景图像进行物体检测与识别，得到多维度的结构化图像；

所述多图像拼接模块，用于采用多种组合方式将所述实景图像和所述多维度的结构化图像进行拼接组合，得到多图多维度的拼接组合图像和拼接组合参数；

所述编码输出模块，用于将所述拼接组合图像进行排列和视频编码，并采用以太网、USB、ITU-R BT601/BT656/BT1120或MIPI接口将编码后图像和所述拼接组合参数输出。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述多镜头模组包括多个镜头/传感器和/或上一级集成电路芯片。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述组合方式包括矩阵式拼接组合和排列式组合，其中，所述排列式组合包括矩阵式排列和环绕式排列。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述多图像拼接模块还用于，在所述拼接组合图像中选择主展示图像，所述拼接组合图像中其他的所述实景图像和所述多维度的结构化图像，采用所述组合方式并以所述主展示图像为环绕参考点进行位置调整。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述集成电路芯片为多镜头多传感器MLMS芯片。

第二方面，本发明实施例提供了一种多镜头图像拼接方法，其中，所述方法包括：

前置处理步骤：对多镜头模组采集的多个原始图像，执行多图像的ISP处理以及畸变矫正、几何映射变换，得到多个实景图像；

多维视觉处理步骤：将所述实景图像进行物体检测与识别，得到多维度的结构化图像；

拼接步骤：采用多种组合方式将所述实景图像和所述多维度的结构化图像进行拼接组合，得到多图多维度的拼接组合图像和拼接组合参数；

编码输出步骤：将所述拼接组合图像进行排列和视频编码，并采用以太网、USB、ITU-R BT601/BT656/BT1120或MIPI接口将编码后图像和所述拼接组合参数输出。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述多镜头模组包括多个镜头/传感器和/或上一级集成电路芯片。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述组合方式包括矩阵式拼接组合和排列式组合，其中，所述排列式组合包括矩阵式排列和环绕式排列。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述方法还包括：

显示步骤：在所述拼接组合图像中选择主展示图像，所述拼接组合图像中其他的所述实景图像和所述多维度的结构化图像，采用所述组合方式并以所述主展示图像为环绕参考点进行位置调整。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第四种可能的实施方式，其中，所述集成电路芯片为多镜头多传感器MLMS集成电路芯片。

本发明实施例带来了以下有益效果：

本发明提供的多镜头图像拼接装置及方法，包括多镜头模组，以及，采用集成电路技术将依次相连的前置处理模块、多维视觉处理模块、多图像拼接模块、编码输出模块集成于集成电路芯片内；前置处理模块，用于对多镜头模组采集的多个原始图像，执行多图像的ISP处理以及畸变矫正、几何映射变换，得到多个实景图像；多维视觉处理模块，用于将实景图像进行物体检测与识别，得到多维度的结构化图像；多图像拼接模块，用于采用多种组合方式将实景图像和多维度的结构化图像进行拼接组合，得到多图多维度的拼接组合图像和拼接组合参数；编码输出模块，用于将拼接组合图像进行排列和视频编码，并采用以太网、USB、ITU-R BT601/BT656/BT1120或MIPI接口将编码后图像和拼接组合参数输出。本发明通过在一个集成电路芯片中集成全部图像处理的逻辑模块，提高多图像拼接组合处理的效率和动态配置的灵活性，减轻后端多图像拼接展示的软件开发难度，降低开发成本、功耗和产品体积。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的多镜头图像拼接装置示意图；

图2、图3为本发明实施例一提供的不同组合方式示意图；

图4为本发明实施例二提供的多镜头图像的拼接方法流程图。

图标：

100-多镜头模组；200-集成电路芯片；210-前置处理模块；220-多维视觉处理模块；230-多图像拼接模块；240-编码输出模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

摄像机多图像拼接与展示的应用已经非常普及，主流方法是利用专用的图像拼接芯片，采集多摄像机视频后排列组合后，通过HDMI等视频接口在屏幕上展现。当前主要存在两种方案，一是ASIC/FPGA方案，二是软件合成方案。但是，当前已存方案具有如下缺点：摄像机由于是单镜头装置，不存在多镜头多图像拼接功能；不能实现多传感器图像的直接拼接；ASIC/FPGA方案，除了芯片外，还需要另加外围DDR等芯片，整体成本高，功耗高。软件合成方案，需要计算机和软件的配合，体积大，成本高，当需要处理的视频数量较多时，占用非常多的带宽和系统资源，实时性容易受CPU等因素影响。

现有的方案，如果是像素点层面的拼接组合，势必会涉及视频数据解压等，需要耗费很多的硬件资源，随着路数增加，所耗资源也会按倍数增加；如果是不解压，直接对压缩的数据流进行拼接，则无法对图像进行再缩放，有失灵活性。特别是家庭、小商铺、车载等封闭环境的多摄像头的信号采集与展示，均要采购集成整套连接分屏装置，极大增加安装成本和部署难度。

基于此，本发明实施例提供的多镜头图像拼接装置及方法，通过在一个集成电路芯片中集成全部图像处理的逻辑模块，可以提高多图像组合处理的效率和动态配置的灵活性，减轻后端软件开发的难度，降低开发成本、功耗和产品体积。

为便于对本实施例进行理解，首先对本发明实施例所公开的多镜头图像拼接装置进行详细介绍。

实施例一：

图1为本发明实施例一提供的多镜头图像拼接装置示意图。

参照图1，多镜头图像拼接装置包括相互连接的多镜头模组100和集成电路芯片200；其中，采用多镜头多传感器集成电路芯片技术，在集成电路芯片200内集成有依次相连的前置处理模块210、多维视觉处理模块220、多图像拼接模块230和编码输出模块240。

多镜头模组100包括多个镜头/传感器和/或上一级集成电路芯片，这里的传感器为图像传感器。多镜头模组100与集成电路芯片200通过串口或并口连接。集成电路芯片200配有Ethernet、USB、SD、HDMI、I2C、I2S、UART、JTAG、ITU-R BT等接口，并具有CPU单元的MLMS(Multi Lens Multi Sensor，多镜头多传感器)芯片。

通过采用集成电路技术，将上述全部的逻辑模块集成在集成电路芯片200中，可以减少后端开发工作量，降低开发成本、功耗和产品的体积。

多镜头模组100，用于采集多个原始图像。

前置处理模块210，用于对多个原始图像执行多图像的ISP(Image SignalProcessing，图像信号处理)处理以及畸变矫正、几何映射变换，得到多个实景图像。

具体的，前置处理模块210配置有多种处理功能。比如：ISP用于对原始图像进行质量处理，主要功能有线性及非线性矫正、噪声去除、坏点去除、内插、白平衡、自动曝光控制、对比度、饱和度以及锐度等，在不同的光学条件下较好的还原现场细节；HDR(High-DynamicRange，高动态范围图像)可以提供更多的动态范围和图像细节；LLE(Low LightEnhancement，低亮度增强)用于对原始图像进行特征二次提取。

多维视觉处理模块220，用于将实景图像进行物体检测与识别，得到多维度的结构化图像。

具体的，多维视觉处理模块220对实景图像进行多维视觉图像的逻辑计算，得到结构化图像和计算参数。这里，结构化图像包括：多光谱频段融合图像、多级曝光结构化图像、多焦距互补图像、深度检测图像、物体检测与识别、目标跟踪和特征点匹配等可视化图像和参数。另外，多维视觉处理模块220的几何映射变换以光轴平行变换为主。

多图像拼接模块230，用于采用多种组合方式将实景图像和多维度的结构化图像进行拼接组合，得到多图多维度的拼接组合图像和拼接组合参数。

具体的，组合方式包括矩阵式拼接组合和排列式组合，其中，排列式组合包括矩阵式排列和环绕式排列。比如，矩阵式拼接组合如图2所示，左上环绕式排列组合如图3所示。

其中，拼接组合参数包括：实景图像以及拼接组合图像的坐标定位和宽高参数、各参与拼接图像的坐标定位和宽高参数，以及多为视觉逻辑计算得到的物体检测或识别的参数，如AI(Artificial intelligence，人工智能)识别物体得到的物体数量、物体名称、置信度、物体多边形坐标等信息。结构化图像情况复杂，一并以结构化图像和参数概括。

编码输出模块240，用于将拼接组合图像进行排列和视频编码，并采用以太网、USB、ITU-R BT601/BT656/BT1120或MIPI接口等将编码后图像和拼接组合参数输出。即：将执行编码后的拼接组合图像和拼接组合参数输出给后端系统，以根据需求做进一步操作，其中，后端系统可以是显示设备。

进一步的，在多图像拼接模块230中，从拼接组合图像中选择主展示图像，拼接组合图像中其他的实景图像和多维度的结构化图像，采用组合方式并以主展示图像为环绕参考点进行位置调整。

具体的，选择的主展示图像为待展示的重点大尺寸图像，拼接组合图像中的其他实景图像或多维度的结构化图像呈小图环绕其侧。重点大尺寸的主展示图像可根据用户需求固定于任意位置，其余的多个小图以该位置为环绕参考点，采用上述的组合方式进行环绕，比如左右环绕、上下环绕、环形环绕。

进一步的，多图像拼接模块230与视频编码输出模块240相连接，并通过视频接口(如HDMI)显示，或通过传输接口(如Ethernet、USB等)传输。

实施例二：

图3为本发明实施例二提供的多镜头图像拼接方法流程图。

基于上述实施例提供的多镜头图像拼接装置，本发明实施例提供了一种多镜头图像拼接方法。参照图3，多镜头图像拼接方法主要包括：

前置处理步骤S110：对多镜头模组采集的多个原始图像，执行多图像的ISP处理以及畸变矫正、几何映射变换，得到多个实景图像。

多维视觉处理步骤S120：将实景图像进行物体检测与识别，得到多维度的结构化图像。

拼接步骤S130：采用多种组合方式将实景图像和多维度的结构化图像进行拼接组合，得到多图多维度的拼接组合图像和拼接组合参数。

输出步骤S140，将拼接组合图像进行排列和视频编码，并采用以太网、USB、ITU-RBT601/BT656/BT1120或MIPI接口将编码后图像和拼接组合参数输出。

进一步的，多镜头模组包括多个镜头/传感器和/或上一级集成电路芯片。

进一步的，组合方式包括矩阵式拼接组合和排列式组合，其中，排列式组合包括矩阵式排列和环绕式排列。

进一步的，多镜头图像拼接方法还包括：

显示步骤：在所述拼接组合图像中选择主展示图像，所述拼接组合图像中其他的所述实景图像和所述多维度的结构化图像，采用所述组合方式并以所述主展示图像为环绕参考点进行位置调整。

本发明实施例所提供的方法，其实现原理及产生的技术效果和前述装置实施例相同，为简要描述，方法实施例部分未提及之处，可参考前述装置实施例中相应内容。

上述实施例所提供的多镜头图像拼接装置及方法，可应用于家庭、车载、商铺等多种场合，且无需球机的云台对应，无监控盲区、无电机转动噪音，可降低设备的消耗和故障率，进一步的，为IoT(Internet of things，物联网)、人工智能的应用提供了全新的装置和应用场合。

本发明实施例带来了以下有益效果：

本发明提供的多镜头图像拼接装置及方法，包括多镜头模组，以及，采用集成电路技术将依次相连的前置处理模块、多维视觉处理模块、多图像拼接模块、编码输出模块集成于集成电路芯片内；前置处理模块，用于对多镜头模组采集的多个原始图像，执行多图像的ISP处理以及畸变矫正、几何映射变换，得到多个实景图像；多维视觉处理模块，用于将实景图像进行物体检测与识别，得到多维度的结构化图像；多图像拼接模块，用于采用多种组合方式将实景图像和多维度的结构化图像进行拼接组合，得到多图多维度的拼接组合图像和拼接组合参数；编码输出模块，用于将拼接组合图像进行排列和视频编码，并采用以太网、USB、ITU-R BT601/BT656/BT1120或MIPI接口将编码后图像和拼接组合参数输出。本发明通过在一个集成电路芯片中集成全部图像处理的逻辑模块，提高多图像拼接组合处理的效率和动态配置的灵活性，减轻后端多图像拼接展示的软件开发难度，降低开发成本、功耗和产品体积。

本发明实施例还提供一种电子设备，包括芯片与存储器连接，存储器中存储有可在芯片上实现多图拼接的部署参数，芯片通过部署参数的配置实现上述实施例提供的多镜头图像的拼接方法的步骤。

在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

前述的存储介质包括：Flash Memory、SD卡、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种多镜头图像拼接装置，其特征在于，包括多镜头模组，以及，采用集成电路技术将依次相连的前置处理模块、多维视觉处理模块、多图像拼接模块、编码输出模块集成于集成电路芯片内；

所述前置处理模块，用于对所述多镜头模组采集的多个原始图像，执行多图像的ISP处理以及畸变矫正、几何映射变换，得到多个实景图像；

所述多维视觉处理模块，用于将所述实景图像进行物体检测与识别，得到多维度的结构化图像；

所述多图像拼接模块，用于采用多种组合方式将所述实景图像和所述多维度的结构化图像进行拼接组合，得到多图多维度的拼接组合图像和拼接组合参数；

所述编码输出模块，用于将所述拼接组合图像进行排列和视频编码，并采用以太网、USB、ITU-R BT601/BT656/BT1120或MIPI接口将编码后图像和所述拼接组合参数输出。

2.根据权利要求1所述的装置，其特征在于，所述多镜头模组包括多个镜头/传感器和/或上一级集成电路芯片。

3.根据权利要求1所述的装置，其特征在于，所述组合方式包括矩阵式拼接组合和排列式组合，其中，所述排列式组合包括矩阵式排列和环绕式排列。

4.根据权利要求1所述的装置，其特征在于，所述多图像拼接模块还用于，在所述拼接组合图像中选择主展示图像，所述拼接组合图像中其他的所述实景图像和所述多维度的结构化图像，采用所述组合方式并以所述主展示图像为环绕参考点进行位置调整。

5.根据权利要求2所述的装置，其特征在于，所述集成电路芯片为多镜头多传感器MLMS集成电路芯片。

6.一种多镜头图像拼接方法，其特征在于，所述方法包括：

前置处理步骤：对多镜头模组采集的多个原始图像，执行多图像的ISP处理以及畸变矫正、几何映射变换，得到多个实景图像；

多维视觉处理步骤：将所述实景图像进行物体检测与识别，得到多维度的结构化图像；

拼接步骤：采用多种组合方式将所述实景图像和所述多维度的结构化图像进行拼接组合，得到多图多维度的拼接组合图像和拼接组合参数；

编码输出步骤：将所述拼接组合图像进行排列和视频编码，并采用以太网、USB、ITU-RBT601/BT656/BT1120或MIPI接口将编码后图像和所述拼接组合参数输出。

7.根据权利要求6所述的方法，其特征在于，所述多镜头模组包括多个镜头/传感器和/或上一级集成电路芯片。

8.根据权利要求6所述的方法，其特征在于，所述组合方式包括矩阵式拼接组合和排列式组合，其中，所述排列式组合包括矩阵式排列和环绕式排列。

9.根据权利要求6所述的方法，其特征在于，所述方法还包括：

显示步骤：在所述拼接组合图像中选择主展示图像，所述拼接组合图像中其他的所述实景图像和所述多维度的结构化图像，采用所述组合方式并以所述主展示图像为环绕参考点进行位置调整。

10.根据权利要求7所述的方法，其特征在于，所述集成电路芯片为多镜头多传感器MLMS集成电路芯片。