CN108540689B - 图像信号处理器、应用处理器及移动装置 - Google Patents

Abstract

本发明涉及图像信号处理器，包括耦合电路、时分复用处理电路和图像信号分解电路，耦合电路将K路输入图像信号耦合成一路行交织信号，时分复用处理电路根据耦合电路输出的帧标志处理所述行交织信号，以输出K路输入图像信号对应的交叠的数据信号和帧标志，图像信号分解电路根据时分复用处理电路输出的帧标志将所述交叠的数据信号分解为K路输入图像信号分别对应的输出图像信号，选取K路输入图像信号中频率最高的采样时钟作为处理时钟，以设置耦合电路的输出时钟，以及时分复用处理电路的时钟和图像信号分解电路的时钟，实现了使用单核图像信号处理器同时处理多摄像头的图像信号，降低了系统带宽和功耗，同时降低成本。

Description

图像信号处理器、应用处理器及移动装置

技术领域

本发明涉及图像处理领域，具体涉及一种图像信号处理器。

背景技术

图像信号处理器是摄像头的专用图像处理器，用于处理来自图像传感器的数据，实现自动曝光、自动白平衡、自动对焦、去坏点、去噪、颜色矫正、宽动态、去马赛克等功能。如今双摄像头的应用越来越广泛，为了配套使用，需在芯片中放置两套独立的图像信号处理器，但这增加了芯片面积及功耗。这种情况的解决办法是：通过时分复用技术来使用图像处理器处理双摄像头的图像数据。

现有的图像处理器时分复用技术为：将两个摄像头的整帧数据先存入外部缓存，然后从外部缓存中先取出第一摄像头第一帧图像数据给图像信号处理器进行处理，待整帧图像处理完毕后，从外部缓冲中取出第二摄像头第一帧图像数据给图像信号处理器进行处理，如此交替进行直至所有帧处理完毕。这种方案需要使用外部存储作为帧缓冲，会导致系统带宽增加、功耗上升，从而增加成本。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种图像信号处理器，克服现有技术中使用外部存储作为帧缓冲，导致系统带宽增加、功耗上升，成本增大的缺陷。

本发明解决其技术问题所采用的技术方案是：提供一种图像信号处理器，包括耦合电路、时分复用处理电路和图像信号分解电路，

耦合电路，用于将K路输入图像信号耦合成一路行交织信号，并输出帧标志，所述帧标志用于区分所述行交织信号中每个行数据对应是第i路输入图像信号，所述K为大于1的正整数，所述i小于等于K；

时分复用处理电路，包括多个图像信号处理单元，所述多个图像信号处理单元包括帧间运算电路，所述多个图像信号处理单元根据所述耦合电路输出的帧标志处理所述耦合电路输出的行交织信号，以输出所述K路输入图像信号对应的交叠的数据信号和帧标志；

图像信号分解电路，用于根据所述时分复用处理电路输出的帧标志将所述时分复用处理电路输出的交叠的数据信号分解为所述K路输入图像信号分别对应的输出图像信号并输出；

所述耦合电路的输出时钟、所述时分复用处理电路的时钟和所述图像信号分解电路的时钟是处理时钟的N倍，所述处理时钟是所述K路输入图像信号中频率较高的采样时钟，所述N为大于等于1的正整数，N大于等于K；

其中，所述的帧间运算电路，包括K路直接内存读取控制器、帧选择器、参数选择器、状态选择器、多帧行缓冲器、运算单元、分流器和K路直接内存写入控制器；

所述K路直接内存读取控制器分别用于读取所述K路输入图像信号当前帧的前一帧图像的一行或多行数据并传输至所述帧选择器；

所述帧选择器根据所述耦合电路输出的帧标志输出第i路的当前帧的前一帧的一行或多行图像数据；

所述参数选择器根据所述耦合电路输出的帧标志选择所述行交织信号中当前行的运算参数；

所述状态选择器根据所述耦合电路输出的帧标志选择所述行交织信号中当前行的状态值；

所述多帧行缓冲器，用于缓存所述K路输入图像信号当前行的前一行或多行图像数据，根据所述耦合电路输出的帧标志输出所述帧标志对应地址中的一行或多行数据，并保存所述当前行数据；

所述运算单元根据所述耦合电路输出的所述第i路的当前帧的前一帧的一行或多行图像数据、所述参数选择器选择的运算参数、所述状态选择器选择的状态值和所述多帧行缓冲器输出的一行或多行数据对所述当前行做运算，以输出所述当前行的数据信号和帧标志；

所述分流器，根据所述运算单元输出的帧标志将所述运算单元输出的数据信号进行区分，生成所述K路输入图像信号对应的输出图像信号；

K路直接内存写入控制器，所述K路直接内存写入控制器分别用于将所述分流器输出的K路输入图像的有效数据信号写入内存。

所述耦合电路包括数据整流器，将所述K路输入图像信号耦合成一路行交织信号。

所述数据整流器包括K个行缓冲器和通路选择器，

K个行缓冲器，用于分别缓存所述K路输入图像信号的一行数据，并分别输出所述K个行缓冲器的行满标志；

通路选择器，根据所述耦合电路的输出时钟按照所述K个行缓冲器输出的行满标志的接收顺序输出所述K个行缓冲器中的行数据，并输出所述行数据的帧标志。

所述K个行缓冲器中第i个行缓冲器的深度大于等于所述第i个行缓冲器所对应的输入图像信号的图像宽度与其他输入图像信号的图像宽度总和除以 N之和。

当所述第i个行缓冲器缓冲的数据达到所述第i个行缓冲器所对应的输入图像信号的图像宽度的1倍时，生成所述行满标志。

所述通路选择器包括优先权判断器和选择器，所述优先权判断器判断所述选择器的选择标志是否进行切换，所述选择标志切换条件是：所述K个行缓冲器输出的行满标志到达的先后顺序，且所述选择器输出的行数据完成传输。

多个图像信号处理单位还包括水平运算电路，所述水平运算电路包括参数选择器、状态选择器和运算单元，

所述参数选择器和状态选择器根据所述耦合电路输出的帧标志选择所述行交织信号中当前行的运算参数和状态；

所述运算单元根据所述参数选择器和状态选择器选择的运算参数和状态对所述当前行做运算，以输出所述当前行的数据信号和帧标志。

多个图像信号处理单位还包括垂直运算电路，所述垂直运算电路包括参数选择器、状态选择器、K帧行缓冲器和运算单元，

所述参数选择器和状态选择器根据所述耦合电路输出的帧标志选择所述行交织信号中当前行的运算参数和状态；

所述K帧行缓冲器，用于缓存所述K路输入图像信号当前行的前一行或多行图像数据，根据所述耦合电路输出的帧标志输出所述帧标志对应地址中的一行或多行数据，并保存所述当前行数据；

所述运算单元根据所述参数选择器和状态选择器选择的运算参数和状态，并根据所述K帧行缓冲器输出的一行或多行数据对所述当前行做运算，以输出所述当前行的数据信号和帧标志。

所述K帧行缓冲器的深度为所述K路输入图像信号的图像宽度之和的I 倍，所述I为大于等于1的正整数。

所述图像信号分解电路包括数据分流器，所述数据分流器根据所述时分复用处理电路输出的帧标志将所述交叠的数据信号进行区分以输出。

所述数据分流器包括K个选择器，所述K个选择器根据所述时分复用处理电路输出的帧标志将所述时分复用处理电路输出的交叠的数据信号进行区分，生成所述K路输入图像信号分别对应的输出图像信号。

所述图像信号处理器还包括K路直接内存写入控制器，所述K路直接内存写入控制器分别用于将所述图像信号分解电路输出的所述K路图像输入信号分别对应的输出图像信号写入内存。

本发明还提供一种应用处理器，包括总线、本发明的图像信号处理器和中央处理器，所述图像信号处理器与所述总线连接；所述中央处理器与所述总线连接，并被配置为控制所述图像信号处理器。

本发明还提供一种移动装置，包括K个摄像装置和本发明的应用处理器，所述K为大于1的正整数，所述应用处理器与所述K个摄像装置连接，所述应用处理器的图像信号处理器接收所述K个摄像装置的输出信号并采用时分复用方式对所述输出信号做处理，以输出所述K个摄像装置的图像。

本发明的有益效果在于，提供了一种基于行交织TDM(时分复用)的图像信号处理器，所述图像信号处理器为单核处理器，包括耦合电路、时分复用处理电路和图像信号分解电路，时分复用处理电路即为处理器核，通过选取K 路输入图像信号中频率较高的采样时钟作为处理时钟，以设置耦合电路的输出时钟，以及时分复用处理电路的时钟和图像信号分解电路的时钟，实现了使用单核图像信号处理器同时处理多摄像头的图像信号，降低了系统带宽和功耗，同时降低成本。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明一实施例的图像信号处理系统10的框图；

图2是本发明一实施例的TDM(时分复用)图像信号处理器220的示例框图；

图3是本发明一实施例的TDM(时分复用)图像信号处理器221的示例框图；

图4是本发明图3中数据整流器2211的一实施例的框图；

图5是本发明图4中行缓冲器2211-1的一实施例的框图；

图6是本发明图4中通路选择器2211-3的一实施例的框图；

图7是本发明中当两路摄像头帧率不一致时数据整流器2211的时序图；

图8是本发明一实施例的水平运算电路算法示意图；

图9是本发明一实施例的垂直运算电路算法示意图；

图10是本发明一实施例的帧间运算电路算法示意图；

图11是本发明一实施例的水平运算电路2203-1的电路框图；

图12是本发明一实施例的垂直运算电路2203-2的电路框图；

图13是图12中两帧行缓冲器用于垂直滤波运算时的积累窗口示意图；

图14是本发明一实施例的帧间运算电路2203-3的电路框图；

图15是本发明一实施例的图像信号分解电路2205-1的电路框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明一实施例的图像信号处理系统10框图，图像信号处理系统10包括处理器20、两路摄像头30-1和30-2，以及外部存储器40，处理器20包括两路接口21-1，21-2，TDM(时分复用)图像信号处理器22、CPU 23、视频编码器24、外部存储控制器25，以及内存总线。

图像处理系统10可被实现为例如个人计算机(PC)或移动计算装置。移动计算装置可以是例如膝上型计算机、蜂窝电话、智能电话、平板PC、个人数字助理(PDA)、数字视频相机、个人导航装置或便携式导航装置(PND)、可穿戴计算机或物联网(IoT)装置等。

处理器20可被实现为集成电路(IC)、主板、片上系统(SoC)、应用处理器(AP)或移动AP等。CPU 23可控制处理器20的总体操作，CPU 23、TDM (时分复用)图像信号处理器22、视频编码器24和外部存储控制器25可通过内存总线相互传送命令和/或数据。

如图1所示，两路摄像头30-1和30-2的输出信号分别通过接口1 21-1 和接口221-2并行输入到TDM图像信号处理器22。两路摄像头30-1和30-2 的输出信号可以是图像数据或者视频流数据，例如，图片、图像数据、数据流或帧数据等。本发明不限制摄像头的个数，可以是大于等于2的任意个数。

在下文中，将通过接口1 21-1输入到TDM图像信号处理器22的通路称为第一通路，将通过接口2 21-2输入到TDM图像信号处理器22的通路称为第二通路。

TDM图像信号处理器22为单核处理器，并对接收到的两路摄像头30-1和 30-2的输出信号执行时分复用处理。

首先，将通过接口1 21-1和接口2 21-2接收的两路摄像头30-1和30-2 的输出信号耦合成一路行交织信号，并输出帧标志，通过帧标志来区分当前信号对应的是第一通路的信号，还是第二通路的信号。在具体实施方式中，接口 1 21-1和接口2 21-2可采用相机串行接口(CSI)。

第二，由TDM图像信号处理器22中的多个图像信号处理单元对接收的行交织信号进行处理。在具体实施方式中，TDM图像信号处理器22可包括多个图像信号处理单元，多个图像信号处理单元可包括水平运算电路、垂直运算电路或帧间运算电路，多个图像信号处理单元可分别完成自动对焦、自动白平衡、自动曝光、2D降噪、3D降噪、颜色矫正、宽动态、锐化、去马赛克等功能。

第三，处理完毕的交织信号根据帧标志分解成两路图像信号输出，外部存储控制器25可根据CPU 23的控制将在TDM模式下已由图像信号处理器22处理的行数据输出至外部存储器400，视频编码器24可根据CPU 23的控制将在 TDM模式下已由图像信号处理器22处理的行数据进行编码处理。

其中，TDM图像信号处理器22的输出时钟可以是处理时钟的N倍，处理时钟可以是第一通路和第二通路的输入图像信号中频率最高的采样时钟，N 为大于等于1的正整数，N大于等于输入通路的个数。

在具体实施方式中，选取第一通路和第二通路的输入图像信号中频率最高的采样时钟作为处理时钟,TDM图像信号处理器22的输出时钟可取大于1倍的处理时钟。作为优选的实施方式,TDM图像信号处理器22的输出时钟可取为处理时钟的2倍,这样可以避免资源浪费。

图2是本发明一实施例的TDM(时分复用)图像信号处理器220的示例框图，包括耦合电路2201、时分复用处理电路2203和图像信号分解电路2205。

耦合电路2201接收从接口1输出的第一路图像信号，并接收从接口2输出的第二路图像信号并将第一路图像信号和第二路图像信号偶合成一路行交织信号，通过帧标志来区分当前信号对应的哪一通路的信号。在具体实施方式中，第一路图像信号和第二路图像信号可以是图片、图像数据、数据流或帧数据等。

时分复用处理电路2203接收耦合电路2201输出的行交织信号和帧标志，并根据帧标志对行交织信号进行处理，以输出第一通路和第二通路对应的交叠的数据信号及其帧标志。在具体实施方式中，TDM图像信号处理器220是单核处理器，时分复用处理电路2203可以是TDM图像信号处理器220的处理器核。 TDM图像信号处理器220可包括多个图像信号处理单元，多个图像信号处理单元可包括水平运算电路、垂直运算电路或帧间运算电路，多个图像信号处理单元可分别完成自动对焦、自动白平衡、自动曝光、2D降噪、3D降噪、颜色矫正、宽动态、锐化、去马赛克等功能。

图像信号分解电路2205接收时分复用处理电路2203输出的第一通路和第二通路对应的交叠的数据信号及其帧标志，并根据帧标志将交叠的数据信号分解为第一通路数据信号和第二通路数据信号以输出。

其中，第一通路和第二通路的采样时钟的频率可以是不同的，本发明定义频率较高的采样使用为处理时钟。为了实现时分复用，需提高内部处理单元的工作频率，可设置耦合电路2201的输出时钟、时分复用处理电路2203的时钟和图像信号分解电路2205的时钟是处理时钟的N倍，N大于等于1的正整数， N大于等于输入通路的个数，在本实施方式中，N可取2。

在具体实施方式中，选取第一通路和第二通路的输入图像信号中频率较高的采样时钟作为处理时钟,耦合电路2201的输出时钟、时分复用处理电路2203 的时钟和图像信号分解电路2205的时钟可取大于1倍的处理时钟。作为优选的实施方式,耦合电路2201的输出时钟、时分复用处理电路2203的时钟和图像信号分解电路2205的时钟可取处理时钟的2倍,这样可以避免资源浪费。

提供了一种使用单核图像信号处理器同时处理双摄像头的图像信号的解决方案，无需增加外部缓冲存储，降低系统带宽和功耗，有效减小多摄像头系统中使用图像信号处理器的成本。

图3是本发明一实施例的TDM(时分复用)图像信号处理器221的示例框图，包括数据整流器2211，TDM图像信号处理器核2213，数据分流器2215，写DMA1 2217-1和写DMA22217-2。

数据整流器2211接收从接口1输出的第一路图像信号，并接收从接口2 输出的第二路图像信号并将第一路图像信号和第二路图像信号偶合成一路行交织信号，并输出帧标志，通过帧标志来区分当前信号对应的哪一通路的信号。

TDM图像信号处理器核2213接收数据整流器2211输出的行交织信号和帧标志，并根据帧标志对行交织信号进行处理，以输出第一通路和第二通路对应的交叠的数据信号及其帧标志。在具体实施方式中，TDM图像信号处理器221 是单核处理器。TDM图像信号处理器221可包括多个图像信号处理单元，多个图像信号处理单元可包括水平运算电路、垂直运算电路或帧间运算电路，多个图像信号处理单元可分别完成自动对焦、自动白平衡、自动曝光、2D降噪、 3D降噪、颜色矫正、宽动态、锐化、去马赛克等功能。

数据分流器2215接收TDM图像信号处理器核2213输出的第一通路和第二通路对应的交叠的数据信号及其帧标志，并根据帧标志将交叠的数据信号分解为第一通路数据信号和第二通路数据信号，并通过写DMA1 2217-1和写DMA2 2217-2分别将第一通路数据信号和第二通路数据信号输出。

同样，为了实现时分复用，需提高内部处理单元的工作频率，可设置数据整流器2211的输出时钟、TDM图像信号处理器核2213的时钟和数据分流器 2215的时钟是处理时钟的N倍，N大于等于1的正整数，N大于等于输入通路的个数。

在具体实施方式中，选取第一通路和第二通路的输入图像信号中频率较高的采样时钟作为处理时钟,数据整流器2211的输出时钟、TDM图像信号处理器核2213的时钟和数据分流器2215的时钟可取大于1倍的处理时钟。作为优选的实施方式,数据整流器2211的输出时钟、TDM图像信号处理器核2213的时钟和数据分流器2215的时钟可取处理时钟的2倍,这样可以避免资源浪费。

在具体实施方式中，可根据实际需求设计上述的数据整流器2211，TDM 图像信号处理器核2213，数据分流器2215，例如，可设计硬件电路实现，也可使用硬件描述语言VHDL和Verilog HDL，通过专用集成电路ASIC或现场可编程门阵列FPGA来实现的具体电路布线结构。具体实现形式，本发明不限制。

在一实施方式中，数据整流器可包括多个行缓冲器和通路选择器，如图4 所示，是本发明图3中数据整流器2211的一实施例的框图，包括行缓冲器1 2211-1、缓冲器2 2211-2和通路选择器2211-3。

接口1的第一路图像信号写入行缓冲器1 2211-1，当缓冲数据量达到第一路图像信号的图像宽度的1倍时，产生行满标志1。同样，接口2的第二路图像信号写入行缓冲器22211-2，当缓冲数据量达到第二路图像信号的图像宽度的1倍时，产生行满标志2。行缓冲器1 2211-1和行缓冲器2 2211-2的读时钟可以是2倍处理时钟，这样能保证两个缓冲器的数据能及时被取走。在具体实施方式中，缓冲器1 2211-1、缓冲器2 2211-2可采用FIFO方式。

第一路图像信号的图像宽度指第一路图像信号的一行数据的像素值，第二路图像信号的图像宽度指第二路图像信号的一行数据的像素值。如前文所述，处理时钟指第一路图像信号和第二路图像信号中频率较高的采样时钟。

以行缓冲器1 2211-1为例，如图5所示，行缓冲器1 2211-1的读时钟可以是2倍处理时钟，保证两个缓冲器的数据能及时被取走。

将行满标志1和行满标志2输入到通路选择器2211-3，同一时间只能有一路数据在传输，通路选择器判断谁先到达，如果是行满标志1先到达，则选择输出第一通路的行数据，输出帧标志可为0，如果是行满标志2先到达，则选择输出第二通路的行数据，输出帧标志可为1，如果同时到达，可选择任意一个通路即可，通路选择器2211-3输出第一路图像信号和第二路图像信号的行交织数据及其帧标志。在具体实施方式中，通路选择器2211-3输出的数据信号可以是Bayer格式的图像数据。

在一实施方式中，通路选择器2211-3还可输出控制信号，控制信号可包括帧起始标志、帧结束标志、行起始标志、数据有效标志等。

图6是图4中的通路选择器2211-3的示例框图，包括优先权判断器和选择器。优先权判断器根据行满标志1和行满标志2到达的先后顺序，以及上一行是否完成传输，来判断选择器的选择标志是否需要进行切换。当行满标志1 先置高，且上一行已完成传输，则选择器的选择标志切换为0；当行满标志2 先置高，且上一行已完成传输，则选择器的选择标志切换为1；当行满标志1 先置高，但上一行尚未完成传输，则选择器的选择标志不做切换；当行满标志 2先置高，但上一行尚未完成传输，则选择器的选择标志不做切换。由于第一通路和第二通路的行缓冲相互独立，所以写操作与数据流均在1倍处理时钟下。因为需要串行读取第一通路和第二通路的数据进行处理，在1倍处理时钟下的 1行时间内，完成两个通路各自1行的处理，所以读时钟为两个通路最快时钟的2倍。

图7是当两路摄像头帧率不一致时数据整流器2211的时序图，其中，接口1为CSI1，接口2为CSI2，图中，CSI1路的帧率较低，CSI2路的帧率较高，通路选择器2211-3按照图4中的方式对两路输入信号进行耦合，得到行交织的输出信号。de_csi1,data_csi1,de_csi2,data_csi2为通路选择器 2211-3的输入信号，csi1和csi2分别表示摄像头1和摄像头2进来的图像信息，是用来区分两路摄像头的标志信号，de_csi1表示摄像头1的行有效信号，data_csi1表示摄像头1的bayer数据，在行有效信号为高时有效。同理de_csi2表示摄像头2的行有效信号，data_csi2表示摄像头2的bayer数据。 de_out，frame_flag和data_out为通路选择器的输出信号，de_out表示输出有效信号，frame_flag表示摄像头通路标志，data_out表示输出的数据。 data_out在de_out为高时有效，frame_flag为0表示输出的是摄像头1(csi1) 的数据，frame_flag为1表示输出的是摄像头2(csi2)的数据。

时分复用处理电路2203或TDM图像处理器核2213可包括多个图像信号处理单元，多个图像信号处理单元按照滤波方式可以分为三种：水平运算电路、垂直运算电路或帧间运算电路。如图8所示，水平运算电路仅仅使用水平方向少数几个相邻的像素进行计算，如图9所示，垂直运算电路使用水平和垂直方向几个相邻的像素进行计算，如图10所示，帧间运算电路使用前后帧的相同位置的水平和垂直方向几个相邻的像素进行计算。

图11是本发明一实施例的水平运算电路的电路框图，包括参数选择器、状态选择器和流水线运算单元。输入数据是以行交叠的方式进来流水线运算单元，流水线单元在一行时间内处理第一通路的一行或者第二通路的一行。当输入帧标志为0时，表示输入的是第一通路的一行，这时参数选择器选择第一通路的配置参数，同时状态选择器将内部保存的状态切换到第一通路对应的状态，流水线运算单元根据当前的配置参数及状态进行运算，将第一通路的输出结果送到输出端，同时将输出帧标志置为0。当输入帧标志为1时，表示输入的是第二通路的一行，这时参数选择器选择第二通路的配置参数，同时状态选择器将内部保存的状态切换到第二通路对应的状态，流水线运算单元根据当前的配置参数及状态进行运算，将第二通路的输出结果送到输出端，同时将输出帧标志置为1。

例如，在黑电平矫正中，输出等于输入加上一个固定的参数(参数区分 R/G/B属性)，即data_out＝data_in+data_offset。参数包括r_offset、 g_offset、b_offset、bayer排列模式和图像宽高等。分别存在两份，第一通路与第二通路各一份，即图11中的参数1和参数2。

例如，状态1和状态2可以是行计数统计值或是内部状态机的状态，在具体实施方式中，水平运算电路计算时可用到行统计值以推算出当前输入行的 bayer属性排列顺序(GR,或者RG,或者GB，或者BG)，也就是说需要根据当前输入的图像坐标，推算出周围矩阵的映射值，此类信息称为状态信息，即图11中的状态1和状态2。

当检测到输入有效信号时，根据输入帧标志信号，选择对应的通道参数和状态信息，比如选择第一通路的参数1和状态1信息，然后判断当前输入点的行列坐标，计算出当前点的R/G/B属性，然后叠加对应的offset，而后输出数据有效信号，输出数据以及帧标志。

在具体实施方式中，可根据实际需求设计上述的参数选择器、状态选择器和流水线运算单元，例如，可设计硬件电路实现，也可使用硬件描述语言VHDL 和Verilog HDL，通过专用集成电路ASIC或现场可编程门阵列FPGA来实现的具体电路布线结构。具体实现形式，本发明不限制。

图12是本发明一实施例的垂直运算电路的电路框图，包括参数选择器、状态选择器、两行帧缓冲器和流水线运算单元。输入数据是以行交叠的方式进来流水线运算单元，流水线单元在一行时间内处理第一通路的一行或者第二通路的一行。当输入帧标志为0时，表示输入的是第一通路的一行，这时参数选择器选择第一通路的配置参数，同时状态选择器将内部保存的状态切换到第一通路对应的状态，根据不同的算法从两帧行缓冲器中属于第一通路的地址段从取出前一行或多行的数据，并将当前行的数据写入两帧行缓冲器中属于第一通路的地址段，以供后续计算使用。流水线运算单元根据当前的配置参数及状态进行运算，将第一通路的输出结果送到输出端，同时将输出帧标志置为0。当输入帧标志为1时，表示输入的是第二通路的一行，这时参数选择器选择第二通路的配置参数，同时状态选择器将内部保存的状态切换到第二通路对应的状态，从两帧行缓冲器中属于第二通路的地址段从取出前一行或多行的数据，并将当前行的数据写入两帧行缓冲器中属于第二通路的地址段，流水线运算单元根据当前的配置参数及状态进行运算，将第二通路的输出结果送到输出端，同时将输出帧标志置为1。

如图13所示，上述行两帧行缓冲器用于垂直滤波运算时的积累窗口示意图，该缓冲器同时存储了第一通路(CSI1路)和第二通路(CSI2路)的数据，两帧行缓冲器的深度为第一通路(CSI1路)的图像宽度与第二通路(CSI2路) 的图像宽度之和，两帧行缓冲器地址的前半段用于存放第一通路(CSI1路) 的数据，后半段用于存放第二通路(CSI2路)的数据，当切换到非TDM模式时，例如仅启动第一通路(CSI1路)或第二通路(CSI2路)，整段缓冲器空间全部给第一通路(CSI1路)或第二通路(CSI2路)使用。

在具体实施方式中，以3x3的均值滤波和高斯滤波电路进行举例，假设第一通路图像宽度为(w1，h1)，滤波器为均值滤波，其卷积模板为

此为上述所谓的第一通路配置参数。

第二通路图像宽度为(w2，h2)，滤波器为高斯滤波，其卷积模板为

此为上述所谓的第二通路配置参数。

当输入帧标志为0时，表示输入的是第一通路的一行。当前点坐标为(x， y1)，其中x是第一通路和第二通路共用的列计数器，y1是第一通路的行计数器，具体运算公式如下：

当y1＝0时：

OUT(x，y1)＝1/9*SUM(IN(x-1，y1+1)，IN(x，y1+1)，IN(x+1， y1+1)，IN(x-1，y1)，IN(x，y1)，IN(x+1，y1)，IN(x-1，y1+1)， IN(x，y1+1)，IN(x+1，y1+1))；

当y1＝h-1时：

OUT(x，y1)＝1/9*SUM(IN(x-1，y1-1)，IN(x，y1-1)，IN(x+1， y1-1)，IN(x-1，y1)，IN(x，y1)，IN(x+1，y1)，IN(x-1，y1-1)， IN(x，y1-1)，IN(x+1，y1-1))；

当y1为(0，h-1)时：

OUT(x，y1)＝1/9*SUM(IN(x-1，y1-1)，IN(x，y1-1)，IN(x+1， y1-1)，IN(x-1，y1)，IN(x，y1)，IN(x+1，y1)，IN(x-1，y1+1)， IN(x，y1+1)，IN(x+1，y1+1))；

根据以上公式，从两帧行缓冲器中属于第一通路的地址段中取出前两行数据，并将当前行的数据写入两帧行缓冲器中属于第一通路的地址段，流水线运算单元根据当前的配置参数及状态进行运算，将第一通路的输出结果送到输出端，同时将输出帧标志置为0。

当输入帧标志为1时，表示输入的是第二通路的一行。当前点坐标为(x， y2)，其中x是第一通路和第二通路共用的列计数器，y2是第二通路的行计数器，具体运算公式如下：

当y2＝0时：

OUT(x，y2)＝1/16*SUM(IN(x-1，y2+1)，2*IN(x，y2+1)，IN (x+1，y2+1)，2*IN(x-1，y2)，4*IN(x，y2)，2*IN(x+1，y2)，IN (x-1，y2+1)，2*IN(x，y2+1)，IN(x+1，y2+1))；

当y2＝h-1时：

OUT(x，y2)＝1/16*SUM(IN(x-1，y2-1)，2*IN(x，y2-1)，IN (x+1，y2-1)，2*IN(x-1，y2)，4*IN(x，y2)，2*IN(x+1，y2)，IN (x-1，y2-1)，2*IN(x，y2-1)，IN(x+1，y2-1))；

当y2为(0，h-1)时：

OUT(x，y2)＝1/16*SUM(IN(x-1，y2-1)，2*IN(x，y2-1)，IN (x+1，y2-1)，2*IN(x-1，y2)，4*IN(x，y2)，2*IN(x+1，y2)，IN (x-1，y2+1)，2*IN(x，y2+1)，IN(x+1，y2+1))；

根据以上公式，从两帧行缓冲器中属于第二通路的地址段中取出前两行数据，并将当前行的数据写入两帧行缓冲器中属于第二通路的地址段，流水线运算单元根据当前的配置参数及状态进行运算，将第二通路的输出结果送到输出端，同时将输出帧标志置为1。

在具体实施方式中，可根据实际需求设计上述的参数选择器、状态选择器、两行帧缓冲器和流水线运算单元，例如，可设计硬件电路实现，也可使用硬件描述语言VHDL和Verilog HDL，通过专用集成电路ASIC或现场可编程门阵列FPGA来实现的具体电路布线结构。具体实现形式，本发明不限制。

图14是本发明一实施例的帧间运算电路的电路框图，包括读DMA1、读DMA2、帧选择器、参数选择器、状态选择器、两行帧缓冲器、流水线运算单元、写 DMA1和写DMA2。帧间运算需要读取前一帧的数据，因此需要使用读DMA，第一通路和第二通路上一帧数据一般不交叠存储，因此调用读DMA1来读取第一通路上一帧的数据，调用读DMA2来读取第二通路前一帧的数。第一通路上一帧的数据和第二通路上一帧的数据需要先根据当前输入帧标志信号由帧选择器选择再输入到流水线运算单元。与垂直运算电路相同，先用输入帧标志来区分第一通路和第二通路的配置参数以及状态，然后用两帧行缓冲器来存取相邻行的数据，接着在流水线运算单元中进行计算处理，最后输出交叠数据及帧标志。由于还需将第一通路及第二通路的结果回写到外部存储器中，需要先将交叠数据在分流器中进行数据分离，第一通路的数据经过写DMA1进行回写到外部存储器，第二通路的数据经过写DMA2进行回写到外部存储器。

在具体实施方式中，可根据实际需求设计上述的帧选择器、参数选择器、状态选择器、两行帧缓冲器、流水线运算单元，例如，可设计硬件电路实现，也可使用硬件描述语言VHDL和Verilog HDL，通过专用集成电路ASIC或现场可编程门阵列FPGA来实现的具体电路布线结构。具体实现形式，本发明不限制。

图15是本发明一实施例的图像信号分解电路的电路框图，包括选择器一和选择器二，交叠后的数据信号和行有效信号通过选择器一或选择器二生成第一通路的行有效信号和第二通路的行有效信号，数据信号及其他控制信号按照第一通路的行有效信号和第二通路的行有效信号一次输出。例如，当选择器一生成第一通路的有效信号时，则数据分流器在有效信号为高电平时可输出第一通路的数据信号及控制信号。

在具体实施方式中，图像信号分解电路可包括数据分流器，数据分流器将交叠的数据信号通过输入帧标志信号进行区分以输出。

在具体实施方式中，可根据实际需求设计上述的选择器一和选择器二，例如，可设计硬件电路实现，也可使用硬件描述语言VHDL和Verilog HDL，通过专用集成电路ASIC或现场可编程门阵列FPGA来实现的具体电路布线结构。具体实现形式，本发明不限制。

应当理解的是，以上实施例仅用以说明本发明的技术方案，而非对其限制，对本领域技术人员来说，可以对上述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而所有这些修改和替换，都应属于本发明所附权利要求的保护范围。

Claims (15)

1.一种图像信号处理器，其特征在于，包括：

耦合电路，用于将K路输入图像信号耦合成一路行交织信号，并输出帧标志，所述帧标志用于区分所述行交织信号中每个行数据对应是第i路输入图像信号，所述K为大于1的正整数，所述i小于等于K；

时分复用处理电路，包括多个图像信号处理单元，所述多个图像信号处理单元包括帧间运算电路，所述多个图像信号处理单元根据所述耦合电路输出的帧标志处理所述耦合电路输出的行交织信号，以输出所述K路输入图像信号对应的交叠的数据信号和帧标志；

图像信号分解电路，用于根据所述时分复用处理电路输出的帧标志将所述时分复用处理电路输出的交叠的数据信号分解为所述K路输入图像信号分别对应的输出图像信号并输出；

所述耦合电路的输出时钟、所述时分复用处理电路的时钟和所述图像信号分解电路的时钟是处理时钟的N倍，所述处理时钟是所述K路输入图像信号中频率最高的采样时钟，所述N为大于等于1的正整数，所述N大于等于所述K；

其中，所述的帧间运算电路，包括K路直接内存读取控制器、帧选择器、参数选择器、状态选择器、多帧行缓冲器、运算单元、分流器和K路直接内存写入控制器；

所述K路直接内存读取控制器分别用于读取所述K路输入图像信号当前帧的前一帧图像的一行或多行数据并传输至所述帧选择器；

所述帧选择器根据所述耦合电路输出的帧标志输出第i路的当前帧的前一帧的一行或多行图像数据；

所述参数选择器根据所述耦合电路输出的帧标志选择所述行交织信号中当前行的运算参数；

所述状态选择器根据所述耦合电路输出的帧标志选择所述行交织信号中当前行的状态值；

所述多帧行缓冲器，用于缓存所述K路输入图像信号当前行的前一行或多行图像数据，根据所述耦合电路输出的帧标志输出所述帧标志对应地址中的一行或多行数据，并保存所述当前行数据；

所述运算单元根据所述耦合电路输出的所述第i路的当前帧的前一帧的一行或多行图像数据、所述参数选择器选择的运算参数、所述状态选择器选择的状态值和所述多帧行缓冲器输出的一行或多行数据对所述当前行做运算，以输出所述当前行的数据信号和帧标志；

所述分流器，根据所述运算单元输出的帧标志将所述运算单元输出的数据信号进行区分，生成所述K路输入图像信号对应的输出图像信号；

K路直接内存写入控制器，所述K路直接内存写入控制器分别用于将所述分流器输出的K路输入图像的有效数据信号写入内存。

2.如权利要求1所述的图像信号处理器，其特征在于，所述耦合电路包括数据整流器，将所述K路输入图像信号耦合成一路行交织信号。

3.如权利要求2所述的图像信号处理器，其特征在于，所述数据整流器包括：

K个行缓冲器，用于分别缓存所述K路输入图像信号的一行数据，并分别输出所述K个行缓冲器的行满标志；

通路选择器，根据所述耦合电路的输出时钟按照所述K个行缓冲器输出的行满标志的接收顺序输出所述K个行缓冲器中的行数据，并输出所述行数据的帧标志。

4.如权利要求3所述的图像信号处理器，其特征在于，所述K个行缓冲器中第i个行缓冲器的深度大于等于所述第i个行缓冲器所对应的输入图像信号的图像宽度与其他输入图像信号的图像宽度总和除以N之和。

5.如权利要求3所述的图像信号处理器，其特征在于，当所述第i个行缓冲器缓冲的数据达到所述第i个行缓冲器所对应的输入图像信号的图像宽度的1倍时，生成所述行满标志。

6.如权利要求3所述的图像信号处理器，其特征在于，所述通路选择器包括优先权判断器和选择器，所述优先权判断器判断所述选择器的选择标志是否进行切换，所述选择标志切换条件是：

所述K个行缓冲器输出的行满标志到达的先后顺序，且所述选择器输出的行数据完成传输。

7.如权利要求1所述的图像信号处理器，其特征在于，多个图像信号处理单位还包括水平运算电路，所述水平运算电路包括参数选择器、状态选择器和运算单元，

所述参数选择器和状态选择器根据所述耦合电路输出的帧标志选择所述行交织信号中当前行的运算参数和状态；

所述运算单元根据所述参数选择器和状态选择器选择的运算参数和状态对所述当前行做运算，以输出所述当前行的数据信号和帧标志。

8.如权利要求1所述的图像信号处理器，其特征在于，多个图像信号处理单位还包括垂直运算电路，所述垂直运算电路包括参数选择器、状态选择器、K帧行缓冲器和运算单元，

所述参数选择器和状态选择器根据所述耦合电路输出的帧标志选择所述行交织信号中当前行的运算参数和状态；

所述K帧行缓冲器，用于缓存所述K路输入图像信号当前行的前一行或多行图像数据，根据所述耦合电路输出的帧标志输出所述帧标志对应地址中的一行或多行数据，并保存所述当前行数据；

所述运算单元根据所述参数选择器和状态选择器选择的运算参数和状态，并根据所述K帧行缓冲器输出的一行或多行数据对所述当前行做运算，以输出所述当前行的数据信号和帧标志。

9.如权利要求8所述的图像信号处理器，其特征在于，所述K帧行缓冲器的深度为所述K路输入图像信号的图像宽度之和的I倍，所述I为大于等于1的正整数。

10.如权利要求1所述的图像信号处理器，其特征在于，所述多帧行缓冲器的深度为所述K路输入图像信号的图像宽度之和的I倍，所述I为大于等于1的正整数。

11.如权利要求1所述的图像信号处理器，其特征在于，所述图像信号分解电路包括数据分流器，所述数据分流器根据所述时分复用处理电路输出的帧标志将所述交叠的数据信号进行区分以输出。

12.如权利要求11所述的图像信号处理器，其特征在于，所述数据分流器包括K个选择器，所述K个选择器根据所述时分复用处理电路输出的帧标志将所述时分复用处理电路输出的交叠的数据信号进行区分，生成所述K路输入图像信号分别对应的输出图像信号。

13.如权利要求1所述的图像信号处理器，其特征在于，所述图像信号处理器还包括K路直接内存写入控制器，所述K路直接内存写入控制器分别用于将所述图像信号分解电路输出的所述K路图像输入信号分别对应的输出图像信号写入内存。

14.一种应用处理器，其特征在于，包括

总线；

如权利要求1至13任一项所述的图像信号处理器，所述图像信号处理器与所述总线连接；

中央处理器，与所述总线连接，并被配置为控制所述图像信号处理器。

15.一种移动装置，其特征在于，包括

K个摄像装置，所述K为大于1的正整数；

如权利要求14所述的应用处理器，所述应用处理器与所述K个摄像装置连接，所述应用处理器的图像信号处理器接收所述K个摄像装置的输出信号并采用时分复用方式对所述输出信号做处理，以输出所述K个摄像装置的图像。

Images