CN115484406A

CN115484406A - 一种适用于阵列相机的多芯片阵列通信方法

Info

Publication number: CN115484406A
Application number: CN202211002150.7A
Authority: CN
Inventors: 凌毅; 范益波; 曾晓洋
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2022-08-21
Filing date: 2022-08-21
Publication date: 2022-12-16
Anticipated expiration: 2042-08-21
Also published as: CN115484406B

Abstract

本发明属于阵列相机摄像技术领域，具体为适用于阵列相机的多芯片阵列通信方法。本发明包括多芯片统计值通信、广播值通信，具体是把每一颗芯片的统计值以最短的芯片路径从首芯片传送到主芯片；同时主芯片把同步信号、3A结论通过广播的形式，从主芯片送到二维阵列的右下角芯片，再依次广播给各个芯片，最后到主芯片，形成闭环；其中，通过构建多芯片控制器作为核心的控制单元，和微控制器一起控制所有芯片有序同步工作；本发明可满足阵列相机多摄像头实时协同工作的特定需求，实时、灵活、高效的进行多路图像处理器之间信息传送。本发明为多摄像头拼接、多图像处理器之间保持亮度、颜色、清晰度一致性以及视频实时同步提供坚实的基础。

Description

一种适用于阵列相机的多芯片阵列通信方法

技术领域

本发明属于阵列相机摄像技术领域，具体涉及适用于阵列相机的多芯片阵列通信方法。

背景技术

为了实现超高分辨率视频(比如5亿像素)，一般采用多摄像头拼接融合的方法，通过多芯片阵列互联架构来实现超高分辨率视频，可以从根本上缓解相机成像系统的可扩展性、支持超高分辨率，同时成本、功耗、体积都得到了很好的控制。

通过很多路摄像头融合出来的超高像素，由于采用的摄像头传感器不同、物理位置不同、焦段不同、光圈值不同等等差异性，对融合产生了很大的困扰。比如不同摄像头之间由于镜头带来的亮度阴影、颜色阴影给拼接边界带来不一致性，不同的拼接位置在各自镜头的校准位置不同，互相影响。不同的摄像头采用不同的图像处理器，各自看到的区域不同，不同区域内用于统计白平衡的灰点随着场景的变化可能会很不一样，导致白平衡的结果出现偏差，最后拼接在一起很容易看出颜色不一致的拼接痕迹。

本发明提出一种用于阵列相机的多芯片阵列通信方法，来满足多摄像头实时协同工作的特定需求，利用MIPI传输的带宽冗余，和MIPI协议可支持的扩展功能，开发出多芯片阵列的通信方法，以虚拟通道的形式，在各个芯片之间通信，形成闭环。

发明内容

本发明的目的在于针对阵列相机多摄像头实时协同工作的特定需求，提出一种适用于阵列相机的多芯片阵列通信方法。

本发明提供的适用于阵列相机的多芯片阵列通信方法，所述阵列相机为M×N二维阵列（例如，图1所示为4×4 阵列），多芯片阵列通信方法，包括多芯片统计值通信、广播值通信，具体是把每一颗芯片的统计值(包括自动曝光统计、自动白平衡统计、自动对焦统计、直方图统计、拉伸统计等等)以最短的芯片路径从首芯片传送到主芯片。同时主芯片可以把同步信号(包括统计开始，统计结束，图像传感器主控开始、图像传感器主控结束等等)、3A结论(包括自动曝光结论、自动白平衡结论、自动对焦结论、直方图结论、拉伸结论等等)通过广播的形式，从主芯片送到二维阵列的右下角芯片（如图1中二维芯片阵列中第四行第四列的芯片），再依次广播给各个芯片，最后到主芯片，形成闭环。

上述多芯片统计值通信、广播值通信的方法的实现过程中，需要构建一个多芯片控制器（MCC）作为核心的控制单元，和微控制器（MCU）一起控制所有芯片有序同步的工作，如图2所示。以二维芯片阵列中某一芯片开始（比如图1中第二行第二列的芯片），首先，把芯片相邻的三颗芯片（即其下方芯片、右边芯片、右下方芯片）接收的重叠图像、广播值、统计值送到该芯片中的多芯片控制模块，多芯片控制模块和MCU（微控制器）交互，同时又把当前芯片的广播值(BC0_o,BC1_o,BC2_o)、统计值(ST0_o,ST1_o,ST2_o)、图像处理器(ISP)送过来的三路重叠区域（IMG5_o,IMG6_o,IMG7_o），进行仲裁，通过不同的虚拟通道输出，并送到其它相邻的三路芯片（即该芯片的左边芯片、上面芯片、左上方芯片）。

多芯片统计值通信、广播值通信示意图如图1所示。

借用多芯片互传重叠图像三路输出(即图2中IDI_TX的三路输出)通路的虚拟通道传送广播（BC），统计（ST）数据给其它相邻的三颗芯片（即左边、左上方、上边三颗芯片），其中虚拟通道0传输重叠图像信号，虚拟通道1传输统计值信号，虚拟通道2传输广播值信号。

本发明提出的多芯片控制器(MCC)，在芯片内部和其他模块的关系框图如图2所示。

多芯片控制模块作为多芯片阵列互联架构中核心的控制单元，和微控制器（MCU）一起控制所有芯片有序同步的工作。图像端口接收器（IDI_RX）用来接收其他三颗芯片的重叠图像、广播值和统计值，把广播值和统计值送到多芯片控制器（MCC），多芯片控制器（MCC）给微控制器（MCU）发送统计结束（st_done）, 广播结束（bc_done）等中断信号，微控制器（MCU）可以通过内建自测读写信号（Bist_RW）读写微控制器（MCC）内部缓存（buffer），通过寄存器读写信号（Reg_RW）读写微控制器（MCC）内部控制寄存器；同理，图像信号处理器（ISP）通过3A统计完成信号（3A_done）、自测读写信号（Bist_RW）、寄存器读写信号（Reg_RW）与微控制器（MCU）交互。多芯片控制器（MCC）送出三路广播和统计数据,在MCC中的仲裁器(ARB)完成一级仲裁后给图像端口发送器（IDI_TX）,同时，图像信号处理器（ISP）也送过来三路图像重叠区域，在图像端口发送器（IDI_TX）中进行二级仲裁，最后通过不同虚拟通道送给其他相邻三路芯片。另外，微控制器（MCU）用于存储数据空间的数据存储（DATA_RAM）可以通过直接存储通道（DMA）直接和图像信号处理器（ISP）处理过程中产生的数据进行数据搬运。

多芯片控制模块(MCC)内部框图如图3所示。

在芯片控制模块(MCC)内部，广播过来的数据经三选一MUX分别送入广播信号输入输出缓存0（Buf_BC0_i/o）、广播信号输入输出缓存1（Buf_BC1_i/o）、广播信号输入输出缓存2（Buf_BC2_i/o）中，并支持立刻通过仲裁器0（ARB0）、仲裁器1（ARB1）、仲裁器2（ARB02）把广播数据选择性的发送出去；同时芯片控制模块(MCC)发中断广播输出结束信号（bc_out_done）给微控制器（MCU），微控制器（MCU）通过内建自测（Bist）总线读取广播信号，并解析。芯片控制模块(MCC)收到3路统计信号后分别送到统计信号输入缓存0（BUF_ST0_i）、统计信号输入缓存1（BUF_ST1_i）、统计信号输入缓存2（BUF_ST2_i）中，给微控制器（MCU）发送所有统计完成信号（st_in_all_done）中断，微控制器（MCU）同时读取自己的4路图像信号处理器（ISP）的统计值，进行计算合并，最后写入统计输出缓存（Buf_ST_o），选择一路发送器（TX）经过仲裁器0（ARB0）、仲裁器1（ARB1）、仲裁器2（ARB02）送出。

本发明的具体收益效果是：提出了一种适用于阵列相机的多芯片阵列通信方法，可以实时、灵活、高效的进行多路图像处理器之间传送统计值(自动曝光统计、自动白平衡统计、自动对焦统计、直方图统计、拉伸统计等等)，同时广播出同步信号(统计开始，统计结束，图像传感器主控开始、图像传感器主控结束等等)、3A结论(自动曝光结论、自动白平衡结论、自动对焦结论、直方图结论、拉伸结论等等)。

附图说明

图1为多芯片统计值通信、广播值通信示意图。

图2为多芯片控制模块在芯片内部关系框图。

图3为多芯片控制模块架构图。

具体实施方式

本发明提出的一种适用于阵列相机的多芯片阵列通信方法，把每一颗芯片的统计值(自动曝光统计、自动白平衡统计、自动对焦统计、直方图统计、拉伸统计等等)以最短的芯片路径从首芯片传送到主芯片。同时主芯片可以把同步信号(统计开始，统计结束，图像传感器主控开始、图像传感器主控结束等等)、3A结论(自动曝光结论、自动白平衡结论、自动对焦结论、直方图结论、拉伸结论等等)通过广播的形式，从主芯片送到右下角芯片，在依次广播给各个芯片，最后到主芯片闭环。

MCC整体的配置使用非常灵活，这里以典型的应用(阵列相机多芯片互通实现3A同步)示例，使用步骤如下：

（1）FW（运行在MCU中的固件程序）根据ChipID（芯片地址）初始化配置相应芯片的通路寄存器，HostChip（主芯片）,FristChip（首芯片）；

（2）HostChip在图像正常后的SOF（帧头信号）中断,FW发出广播通知各个芯片配置reg_rdy（BC_START：广播开始信号）；

（3）各个芯片收到BC_START后向FW发出bc_out_done（广播输出结束信号）中断，FW解析BC（广播）内容配置reg_rdy（寄存器准备好）；

（4）在下一帧的SOF（帧头）来时，所有芯片在当前同一帧，同时自动配置STenable（latch）（统计使能信号锁存）；

（5）这一帧的各个芯片FW收到3A统计中断后，读取4路ISP统计值和3路其他芯片统计输入（BUF_ST0/1/2_i：统计输入缓存1/2/3），并由FW配置BUF_ST_o(统计输出缓存)内容，启动st_out_start（统计输出开始信号）向相邻芯片发出ST（统计）值；

（6）直到所有芯片的ST值都传送到HostChip，HostChip的FW拿到ST（统计值）和自己4路ISP的ST开始对ST的值进行计算，得到3A结论；

（7）3A结论又由HostChip主动广播给各个芯片；

（8）各个芯片拿到广播值后，由FW配置自己芯片的四路ISP及相应的外部Sensor（图像传感器），VCM（音圈马达）；

（9）至此完成一次闭环，下一次闭环操作流水进行下去，达到相机根据变化场景实时更新。

Claims

1.一种适用于阵列相机的多芯片阵列通信方法，所述阵列相机为M×N二维阵列，其特征在于，多芯片阵列通信方法，包括多芯片统计值通信、广播值通信，具体是把每一颗芯片的统计值以最短的芯片路径从首芯片传送到主芯片；同时主芯片把同步信号、3A结论通过广播的形式，从主芯片送到二维阵列的右下角芯片，再依次广播给各个芯片，最后到主芯片，形成闭环；其中，通过构建一个多芯片控制器（MCC）作为核心的控制单元，和微控制器（MCU）一起控制所有芯片有序同步的工作；

其中，所述统计值包括自动曝光统计、自动白平衡统计、自动对焦统计、直方图统计、拉伸统计；所述同步信号包括统计开始，统计结束，图像传感器主控开始、图像传感器主控结束；所述3A结论包括自动曝光结论、自动白平衡结论、自动对焦结论、直方图结论、拉伸结论。

2.根据权利要求1所述的多芯片阵列通信方法，其特征在于，具体流程为：

设从二维芯片阵列中某一芯片开始，首先，把该芯片相邻的三颗芯片：其下方芯片、右边芯片、右下方芯片接收的重叠图像、广播值、统计值送到该芯片中的多芯片控制器（MCC），多芯片控制器（MCC）和微控制器（MCU）交互，同时又把当前芯片的广播值(BC0_o,BC1_o,BC2_o)、统计值(ST0_o,ST1_o,ST2_o)、图像处理器(ISP)送过来的三路重叠区域（IMG5_o,IMG6_o,IMG7_o），进行仲裁，通过不同的虚拟通道输出，并送到其它相邻的三路芯片：该芯片的左边芯片、上面芯片、左上方芯片；

借用多芯片互传重叠图像三路输出通路的虚拟通道传送广播（BC），统计（ST）数据给其它相邻的三颗芯片;其中第一虚拟通道传输重叠图像信号，第二虚拟通道传输统计值信号，第三虚拟通道传输广播值信号;

图像端口接收器（IDI_RX）接收相邻的其他三颗芯片的重叠图像、广播值和统计值，把广播值和统计值送到多芯片控制器（MCC），多芯片控制器（MCC）给微控制器（MCU）发送统计结束（st_done）、广播结束（bc_done）中断信号；微控制器（MCU）通过内建自测读写信号（Bist_RW）读写微控制器（MCC）内部缓存（buffer），通过寄存器读写信号（Reg_RW）读写微控制器（MCC）内部控制寄存器；同理，图像信号处理器（ISP）通过3A统计完成信号(3A_done)、读写信号（Bist_RW）、寄存器读写信号（Reg_RW）与微控制器（MCU）交互；多芯片控制器（MCC）送出三路广播和统计数据，在MCC中的仲裁器(ARB)完成一级仲裁后给图像端口发送器（IDI_TX）；同时，图像信号处理器（ISP）也送过来三路图像重叠区域，在图像端口发送器（IDI_TX）中进行二级仲裁，最后通过不同虚拟通道送给其他相邻的三路芯片；另外，微控制器（MCU）用于存储数据空间的数据存储（DATA_RAM）通过直接存储通道（DMA）直接和图像信号处理器（ISP）处理过程中产生的数据进行数据搬运。

3.根据权利要求2所述的多芯片阵列通信方法，其特征在于，在芯片控制模块(MCC)内部，广播过来的数据经三选一MUX分别送入第一广播信号输入输出缓存（Buf_BC0_i/o）、第二广播信号输入输出缓存（Buf_BC1_i/o）、第三广播信号输入输出缓存（Buf_BC2_i/o）中，并支持立刻通过第一仲裁器（ARB0）、第二仲裁器（ARB1）、第三仲裁器（ARB02）把广播数据选择性的发送出去；同时芯片控制模块(MCC)发中断广播输出结束信号（bc_out_done）给微控制器（MCU），微控制器（MCU）通过内建自测（Bist）总线读取广播信号，并解析；芯片控制模块(MCC)收到3路统计信号后分别送到第一统计信号输入缓存（BUF_ST0_i）、第二统计信号输入缓存（BUF_ST1_i）、第三统计信号输入缓存（BUF_ST2_i）中，给微控制器（MCU）发送所有统计完成信号（st_in_all_done）中断，微控制器（MCU）同时读取自己的4路图像信号处理器（ISP）的统计值，进行计算合并，最后写入统计输出缓存（Buf_ST_o），选择一路发送器（TX）经过第一仲裁器（ARB0）、第二仲裁器（ARB1）、地三仲裁器（ARB02）送出。