CN111064890B - 一种多目电路设备及多目电路控制方法 - Google Patents

Abstract

本发明公开了一种多目电路设备，包括：CPU、图像传感器同步装置、图像传感器切换装置和ISP装置；图像传感器同步装置用于生成同步触发信号，并发送同步触发信号；图像传感器切换装置用于接收切换信号，根据切换信号对图像传感器进行切换，并过滤完整帧；ISP装置包括ISP采集模块和ISP处理模块；ISP采集模块用于接收完整的帧图像，并对帧图像进行图像初步处理；ISP处理模块用于对初步处理后的帧图像进行图像算法处理，并在处理完成后生成结束中断信号；本发明通过设置ISP装置结合同步装置向图像传感器发送同步触发信号，使外部图像传感器进行帧同步，从而保持ISP装置接收和处理的帧率稳定，使ISP装置发挥出最大的性能，大大降低SOC芯片成本。

Description

一种多目电路设备及多目电路控制方法

技术领域

本发明涉及多目电路领域，尤其涉及一种多目电路设备及多目电路控制方法。

背景技术

ISP(Image Sensor Processor)可以针对图像传感器的硬件缺陷进行补偿，或者优化图像显示效果，获得高清高质量的图像。ISP模块通常作为一个SOC(System On Chip，片上系统)芯片的组成部分之一，应用在比如手机芯片、安防芯片或车载摄像机等场景。越来越多的场景会用到多个图像传感器，比如VR全景拍摄、360⁰倒车影像系统和双摄手机等。对于这类多目的应用，本专利要解决的问题是用一个单一的ISP模块进行分时复用，某一时刻只处理一路图像，同时通过同步装置保证采集并处理后的图像帧率稳定。

多目的应用要保证稳定的帧率，常用的一种处理方式是每个图像传感器连接一路ISP，当图像传感器端的帧率一致，比如30fps。那么ISP则可以稳定的采集和处理每个图像传感器30fps的数据。但是，复杂和高性能的ISP功能模块在SOC芯片中面积较大，通常是成本较高的部分，多个ISP的方案可以实时处理每个图像传感器进来的数据，但会显著增加成本。

多目的应用还有一种处理方式，即用一个ISP分时复用接收图像传感器传递过来的数据。但因为图像数据是以帧为单位传输，多个图像传感器之间彼此独立，当ISP采集和处理完一个图像传感器的一帧数据后，切换到另外一个图像传感器时可能正好在有效图像传输区间，此时该帧图像需要丢弃，直到下一个完整的图像帧。因为图像传感器之间的时序关系完全异步，一段时间内每个图像传感器能被ISP采集和处理的有效帧数量是不稳定的，同时ISP因为会丢弃不完整的帧，性能没有完全利用，帧率有损失。虽然分时复用ISP可以有效的降低成本，但如果不能保证帧率的稳定，图像传感器之间没有进行帧同步，则应用场景会有较大限制，不能充分发挥出ISP的性能。以双目应用为例，假如每个图像传感器的输入为1080P@30fps，ISP处理能力为1080P@30fps，因为2个图像传感器异步，最恶劣的情况ISP每次切换到另一个图像传感器时需要每2帧才能接收到1帧，从而ISP的处理能力只能发挥出大约1080P@7.5fps。

发明内容

本发明提供了一种多目电路设备及多目电路控制方法，通过设置一个ISP装置，结合图像传感器同步装置向图像传感器发送同步触发信号，使外部图像传感器进行帧同步，从而保持最后ISP装置接收和处理的帧率稳定，使ISP装置发挥出最大的性能，大大降低了SOC芯片成本。

为了解决上述技术问题，本发明实施例提供了一种多目电路设备，包括：CPU、图像传感器同步装置、图像传感器切换装置和一个ISP装置；

所述图像传感器同步装置用于生成同步触发信号，并向图像传感器发送所述同步触发信号；

所述图像传感器切换装置用于接收切换信号，根据所述切换信号对图像传感器进行切换，并对完整的帧图像进行过滤；

所述ISP装置包括ISP采集模块和ISP处理模块；其中，所述ISP采集模块用于接收完整的帧图像，并对所述帧图像进行图像初步处理；所述ISP处理模块用于对初步处理后的帧图像进行图像算法处理，并在处理完成后生成结束中断信号；

所述CPU用于接收所述结束中断信号并向所述图像传感器切换装置发送切换信号。

作为优选方案，所述图像传感器同步装置设置有PWM计数器。

作为优选方案，当图像传感器具有单独的FSYNC信号时，所述图像传感器同步装置输出多个固定相位关系的FSYNC信号与外部图像传感器的FSYNC信号端连接。

作为优选方案，所述固定相位关系包括同相关系和固定相位偏移关系。

作为优选方案，当图像传感器不具有单独的FSYNC信号时，所述图像传感器切换装置通过选择所述图像传感器同步装置生成的同步触发信号作为帧同步信号与外部图像传感器的VSYNC信号端连接。

作为优选方案，所述图像初步处理包括裁剪处理和下采样处理。

作为优选方案，所述图像算法处理包括帧图像间无关性的处理算法和帧图像间关联性的处理算法。

作为优选方案，所述帧图像间无关性的处理算法包括2D滤波处理和镜头校正处理。

作为优选方案，所述帧图像间关联性的处理算法包括HDR处理和3D滤波处理。

本发明实施例还提供了一种多目电路控制方法，用于控制如上述中任一项所述的多目电路设备，包括：

根据外部图像传感器的信号连接方式，对所述外部图像传感器的信号端进行连接；

配置图像传感器寄存器，使其工作在从模式并满足同相或固定相位偏移时序要求；

通过ISP装置中的软硬件交互接口配置图像传感器同步装置中的PWM相关寄存器，使图像传感器同步装置输出占空比和周期一致，但相位关系固定的帧同步信号；

在帧同步信号有效后，外部图像传感器进行同步；

选择当前使能传入ISP装置的图像传感器；

切换ISP新图像传感器配置参数和中间数据，并下载到ISP装置中；

使能图像传感器切换装置的切换，以使图像传感器切换装置进行动态切换；

切换后图像传感器切换装置实时的进行图像数据过滤，只有完整的有效帧才会发送到ISP装置；

ISP装置实时的对进来的一帧数据进行处理，直到帧结束；

在帧处理结束后，ISP装置上传当前图像传感器的中间数据到内存中，用于下次切换回来时再使用。

相比于现有技术，本发明实施例具有如下有益效果：

本发明通过设置一个ISP装置，结合图像传感器同步装置向图像传感器发送同步触发信号，使外部图像传感器进行帧同步，从而保持最后ISP装置接收和处理的帧率稳定，使ISP装置发挥出最大的性能，大大降低了SOC芯片成本。

附图说明

图1：为本发明实施例中的多目电路设备的结构示意图；

图2：为本发明实施例中的图像传感器的信号连接方式的连接示意图；

图3：为本发明实施例中的同相关系下的时序电路图；

图4：为本发明实施例中的固定相位偏移关系下的时序电路图；

图5：为本发明实施例中的多目电路控制方法的步骤流程图；

图6：为现有技术中的一个常规的图像传感器的时序电路图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图6为现有技术中的一个常规的图像传感器的时序电路图，VSYNC为帧同步信号，(1)为一帧图像的时间；HREF为行同步信号，标识一行有效数据的时间；D[9:0]为像素数据。当图像传感器工作在主模式时，会按照固定的时序输出图像数据。对于多目应用，多个图像传感器工作在主模式时，彼此是异步的，图像传感器之间的VSYNC和HREF等同步信号没有固定相位关系。当采用单个ISP时，ISP是基于完整帧处理的方式，故切换到处理另外一个图像传感器时的时间是不确定的，对于不完整的帧，ISP需要丢弃和等待下一个完整的帧。对于需要稳定帧率的应用，该多目切换机制是无法实现的。

为解决上述问题，请参照图1，本发明优选实施例提供了一种多目电路设备，包括：CPU、图像传感器同步装置、图像传感器切换装置和一个ISP装置。

所述图像传感器同步装置用于生成同步触发信号，并向图像传感器发送所述同步触发信号；在本实施例中，所述图像传感器同步装置设置有PWM计数器。

具体地，图像传感器同步装置负责产生和发送类似于VSYNC帧同步触发信号，该装置工作时需要将图像传感器设置为从模式，即外部触发才开始发送一帧完整的数据。本装置的目的是为了实现外部图像传感器的同步，即图像传感器的信号输出的起始时间由本装置触发，通过输出类似帧同步VSYNC信号控制每个图像传感器有效数据的长度。该模块功能相对独立，只是其生成的同步信号的占空比、相位关系和数量等软件配置的信息由ISP装置传递过来。该多目电路同步机制的特点是：a)不要求多个图像传感器之间的像素时钟PCLK同频同相；b)多个图像传感器的分辨率也可以不一样；c)多个图像传感器的时序信息可以不一样。

所述图像传感器切换装置用于接收切换信号，根据所述切换信号对图像传感器进行切换，并对完整的帧图像进行过滤。

具体地，图像传感器切换装置是一个多路选择器，切换动作由CPU发起，切换后该装置还需要进行完整帧过滤，非完整的帧直接丢弃。切换装置由软件和硬件协同完成，其中软件切换通过ISP装置的软硬件交互接口实现。当ISP装置完成一帧图像的处理后，软件需要需要先进行以下操作：a)切换ISP装置各级算法中需要配置的参数为下一个选中的图像传感器对应的参数，然后启动DMA下载，将参数从内存中下载到ISP装置。b)切换ISP装置中三维降噪滤波处理算法需要的参考帧数据地址，选择为下一个选中的图像传感器对应的上次上传到内存中的参考帧起始地址。c)切换ISP装置的HDR(High Dynamic Range,宽动态范围处理)和3DNR(3D Noise Reduction,三维降噪)等与帧间数据相关的处理算法的中间数据，选择下一个选中的图像传感器对应的中间数据，然后启动DMA下载，将参数从内存中下载到ISP装置。

软件完成上述切换等动作后，才开始图像传感器的切换。硬件切换电路完成以下工作：a)切换图像传感器的像素同步时钟信号，该时钟的切换为动态切换，即需要进行时钟去毛刺处理。b)完成时钟切换后再进行图像传感器的其它信号(帧同步、行同步和像素数据信号)的切换。c)完成整个图像传感器的切换后，该装置还需要进行完整帧过滤，非完整的帧直接丢弃。只传递完整的帧数据到ISP装置。即该切换装置的丢帧处理即可以支持使能了图像传感器同步功能的多目应用；也支持没有使能同步应用，对帧率稳定性无硬性要求的多目应用。

所述ISP装置包括ISP采集模块和ISP处理模块；其中，所述ISP采集模块用于接收完整的帧图像，并对所述帧图像进行图像初步处理；所述ISP处理模块用于对初步处理后的帧图像进行图像算法处理，并在处理完成后生成结束中断信号；在本实施例中，所述图像初步处理包括裁剪处理和下采样处理。在本实施例中，所述图像算法处理包括帧图像间无关性的处理算法和帧图像间关联性的处理算法。在本实施例中，所述帧图像间无关性的处理算法包括2D滤波处理和镜头校正处理。在本实施例中，所述帧图像间关联性的处理算法包括HDR处理和3D滤波处理。

具体地，ISP装置由ISP采集模块和处理装置两部分组成，可以支持单目和多目两种工作模式。ISP采集模块接收完整的帧图像，并进行简单的ISP前期处理，比如裁剪和下采样等；ISP处理模块则是负责实现各种图像处理算法，当ISP电路实时的处理完一帧图像后给出一个结束中断信号，CPU收到该中断后即可以向图像传感器切换装置发送开始切换信号。本ISP装置可以支持单目和多目应用，ISP处理算法可以大致分为2类：一类是帧间无关性的处理，如2D滤波和镜头校正等；另一类是帧间关联性的处理算法，如HDR和3D滤波，这类帧间处理算法会用到之前帧的一些参考或统计数据，单目模式应用中，因为不需要切换，这些参考或统计数据是存放在ISP装置本地；而多目工作模式应用中，这些数据会放在内存中。多目工作模式下，图像传感器切换装置负责实现连接的传感器输入源头的切换，而ISP装置需要和软件一起完成软件数据的切换，这些软件数据包括上述的：针对不同图像传感器的处理算法的参数和上传地址、帧间处理算法的一些参考或统计数据、3D降噪参考帧等。

所述CPU用于接收所述结束中断信号并向所述图像传感器切换装置发送切换信号。

多目电路作为SOC(System On Chip,片上系统)芯片中的一个子模块，常规的多ISP结构的多目电路装置中，每个图像传感器都工作在主模式下，即图像传感器完成初始化后即自动按照预设的时序不停的输出图像数据，VSYNC/HSYNC等同步信号都由图像传感器输出，但不同图像传感器的初始化时间不同步，导致多个图像传感器之间的VSYNC/HSYNC等同步信号完全异步。图像传感器之间VSYNC信号虽然是占空比或相位不同的周期信号，但帧率可以保持一致。多ISP结构装置每个ISP连接一个图像传感器，因此可以保证每个ISP采样的帧数一致，从而保证帧率稳定。

对于单ISP架构的多目装置，ISP电路需要分时复用，而ISP只针对完整的一帧数据进行处理，如果图像传感器工作在主模式下，异步的VSYNC信号会导致每次启动图像传感器之后，图像传感器之间的数据的相位关系是随机，ISP处理完一个完整的帧切换到另一个图像传感器后对应的VSYNC信号位置是不确定的，从而帧率无法保证在一个稳定的值。

在另一实施例中，当图像传感器具有单独的FSYNC信号时，所述图像传感器同步装置输出多个固定相位关系的FSYNC信号与外部图像传感器的FSYNC信号端连接。在本实施例中，所述固定相位关系包括同相关系和固定相位偏移关系。在本实施例中，当图像传感器不具有单独的FSYNC信号时，所述图像传感器切换装置通过选择所述图像传感器同步装置生成的同步触发信号作为帧同步信号与外部图像传感器的VSYNC信号端连接。

具体地，本技术方案通过增加了一个同步电路，输出多个相位关系固定的帧同步信号，实现外部图像传感器VSYNC信号的同步。本方案需要图像传感器支持从模式输出方式，即外部信号触发图像数据输出的时间，再结合本专利中的同步机制和ISP多目模式，实现帧同步单ISP多目电路。其中，SOC芯片与外部图像传感器允许以下两种电路连接方式，分别针对2种不同的图像传感器的接口，请参照图2：

第一种方式中的图像传感器工作在从模式时，图像传感器有一个单独的FSYNC信号，该信号可以表示触发启动采集和输出信号。以双目为例，SOC多目电路中的图像传感器同步装置输出两个相位关系固定的周期信号PWM_OUT0/PWM_OUT1，分别连接2个图像传感器的FSYNC信号端。FSYNC信号触发后，传感器可以输出VSYNC帧同步信号，图像传感器切换装置以VSYNC帧同步信号作为帧的起止判断信号，图像传感器输出时序信号是标准的接口。经过同步后的2个图像传感器FSYNC信号，输出的VSYNC信号同样相位关系是同步的。

第二种方式中的图像传感器工作在从模式时，没有一个单独的FSYNC信号，且VSYNC信号是传感器的输入信号，传感器不能输出VSYNC帧同步信号，对于这种非标准的时序接口，图像传感器切换装置可以选择用图像传感器同步装置输出的同步信号做为帧同步信号，即SOC外部将PWM_OUT0/PWM_OUT1分别连接2个图像传感器的VSYNC信号端，同时在多目电路内部将PWM_OUT0/PWM_OUT1回环到CIS0_VSYNC/CIS1_VSYNC.

以上2种电路的外部图像传感器的其它时序信号HSYNC、像素时钟和数据等的连接方式和主模式的电路一样。但本专利多目装置不要求图像传感器的分辨率和像素时钟等保持一致或同步。

图像传感器同步装置采用PWM(Pulse Width Modulation，脉冲脉宽调制)的设计方式，输出多路有着固定相位关系的FSYNC信号。FSYNC信号的高低电平、输出路数和相位关系等都可以软件配置，多路图像传感器支持以下两种相位关系：

1，同相关系：帧触发FSYNC或帧同步信号VSYNC相位一致，这种模式下ISP模块只需要在图3所示时间1内完成切换即可无缝切换到另外一个图像传感器。以双目为例，同相触发模式下，每个图像传感器只需丢弃一半的图像，而ISP可以发挥出最大性能，没有因切换后不同步，丢帧操作的原因而等待。

2，固定相位偏移关系：帧触发FSYNC或帧同步信号VSYNC相位存在固定相位偏移，偏移大小和图像传感器数量相关。以双目为例，偏移量则为帧同步信号一个周期的中间位置，每个传感器的有效帧长是平均的，如下图4所示，该模式下每个图像传感器的有效行要在帧同步信号的中间位置前传完。这种模式下ISP模块只需要在图示时间2和3内完成切换即可无缝切换到另外一个图像传感器。固定相位偏移触发模式下每个图像传感器的图像数据都有被采集到ISP；同时ISP可以发挥出最大性能，没有因切换后不同步，丢帧操作的原因而等待。

本发明技术方案中的整个设备由图像传感器同步装置、图像传感器切换装置、ISP采集模块和处理装置几部分组成。图像传感器同步装置负责产生外部图像传感器帧同步信号，使外部图像传感器进来的一帧图像数据可以被图像传感器切换装置完整的接收，帧同步信号是一个占空比可调的周期信号，采用PWM的设计方案可以产生该帧同步信号，本专利在PWM设计方法的基础上，进一步设计出允许输出多个占空比和周期相同，但相位关系可调的多路PWM信号，该PWM帧同步信号连接到图像传感器后，从图像传感器进来的图像数据相位关系固定，实现了同步。图像传感器切换装置对进来的数据先进行过滤，只有完整的帧才会传到后面的ISP采集模块和处理装置，因本多目电路装置是单ISP结构，故切换装置还负责选择当前时刻连接到内部ISP装置的图像传感器数据，切换装置基于总线多路选择器设计，同时切换图像传感器传输总线的时钟、同步信号和像素数据信号。与普通的静态切换设计不同，设计上加入了动态切换的处理，即在切换信号有效后不立即切换总线，而是对总线最关键的像素时钟先进行去毛刺处理，在安全的完成时钟的切换后再切换总线上其它的同步信号和像素数据信号。ISP采集和处理装置是核心的数据处理单元，完成图像校正或优化处理，包括的主要处理有：镜头校正、3A处理(自动对焦、自动曝光和自动白平衡)、2D/3D降噪，锐化，HDR，白平衡、伽马校正、颜色转换和缩放等，ISP装置是实时的处理有效像素数据，处理算法的设计和串联顺序与图像处理效果和面积有较大关联。除了图像处理功能，ISP装置还实现多目装置整体控制流程与软硬件交互功能。

请参照图5，本发明实施例还提供了一种多目电路控制方法，用于控制如上述中任一项所述的多目电路设备，包括：

S1，根据外部图像传感器的信号连接方式，对所述外部图像传感器的信号端进行连接；

S2，配置图像传感器寄存器，使其工作在从模式并满足同相或固定相位偏移时序要求；

S3，通过ISP装置中的软硬件交互接口配置图像传感器同步装置中的PWM相关寄存器，使图像传感器同步装置输出占空比和周期一致，但相位关系固定的帧同步信号；

S4，在帧同步信号有效后，外部图像传感器进行同步；

S5，选择当前使能传入ISP装置的图像传感器；

S6，切换ISP新图像传感器配置参数和中间数据，并下载到ISP装置中；

S7，使能图像传感器切换装置的切换，以使图像传感器切换装置进行动态切换；

S8，切换后图像传感器切换装置实时的进行图像数据过滤，只有完整的有效帧才会发送到ISP装置；

S9，ISP装置实时的对进来的一帧数据进行处理，直到帧结束；

S10，在帧处理结束后，ISP装置上传当前图像传感器的中间数据到内存中，用于下次切换回来时再使用。之后，可以开始下一次的切换操作。

图像传感器同步装置有一个PWM计数器，每个图像传感器的相位偏移通过阈值配置，PWM计数值和各个阈值进行比较来决定同步信号的高低电平起止位置。以三目应用为例，如果每个图像传感器的有效帧长需要相等，则第二个图像传感器的偏移可以设置为1/3*(高电平长度+低电平长度)，第三个图像传感器的偏移可以设置为2/3*(高电平长度+低电平长度)。

通过应用上述的技术方案，以双目360⁰全景应用为例，采用两个图像传感器进行采样，采样的图像经过ISP处理和软件拼接后可以呈现360⁰的视野效果。假如ISP的处理能力是1080P@60fps，在40nm工艺下，通常面积在5mm²左右，每多一个ISP则面积翻倍。如果使用本专利的装置，则可以使用一个ISP芯片就可以实现。每个图像传感器都可以工作在1080P@30fps，ISP可以采样到每帧图像。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种多目电路设备，其特征在于，包括：CPU、图像传感器同步装置、图像传感器切换装置和一个ISP装置； 图像传感器切换装置连接多个图像传感器；

所述图像传感器同步装置用于生成同步触发信号，并向图像传感器发送所述同步触发信号；所述同步触发信号为多个固定相位关系的周期信号，所述固定相位关系包括同相关系和固定相位偏移关系；在同步触发信号有效后，外部图像传感器进行同步，使外部图像传感器进来的一帧图像数据可以被图像传感器切换装置完整的接收；

所述图像传感器切换装置用于接收切换信号，根据所述切换信号对图像传感器进行切换，并对完整的帧图像进行过滤；

所述ISP装置包括ISP采集模块和ISP处理模块；其中，所述ISP采集模块用于接收完整的帧图像，并对所述帧图像进行图像初步处理；所述ISP处理模块用于对初步处理后的帧图像进行图像算法处理，并在处理完成后生成结束中断信号；

所述CPU用于接收所述结束中断信号并向所述图像传感器切换装置发送切换信号；

其中，当图像传感器具有单独的FSYNC信号时，所述图像传感器同步装置输出多个固定相位关系的周期信号分别与外部图像传感器的FSYNC信号端连接；

当图像传感器不具有单独的FSYNC信号时，所述图像传感器切换装置通过选择所述图像传感器同步装置生成的多个固定相位关系的周期信号作为帧同步信号分别与外部图像传感器的VSYNC信号端连接。

2.如权利要求1所述的多目电路设备，其特征在于，所述图像传感器同步装置设置有PWM计数器。

3.如权利要求1所述的多目电路设备，其特征在于，所述图像初步处理包括裁剪处理和下采样处理。

4.如权利要求1所述的多目电路设备，其特征在于，所述图像算法处理包括帧图像间无关性的处理算法和帧图像间关联性的处理算法。

5.如权利要求4所述的多目电路设备，其特征在于，所述帧图像间无关性的处理算法包括2D滤波处理和镜头校正处理。

6.如权利要求4所述的多目电路设备，其特征在于，所述帧图像间关联性的处理算法包括HDR处理和3D滤波处理。

7.一种多目电路控制方法，其特征在于，用于控制如权利要求1至权利要求6中任一项所述的多目电路设备，包括：

根据外部图像传感器的信号连接方式，对所述外部图像传感器的信号端进行连接；

配置图像传感器寄存器，使其工作在从模式并满足同相或固定相位偏移时序要求；

通过ISP装置中的软硬件交互接口配置图像传感器同步装置中的PWM相关寄存器，使图像传感器同步装置输出占空比和周期一致，但相位关系固定的帧同步信号；

在帧同步信号有效后，外部图像传感器进行同步；

选择当前使能传入ISP装置的图像传感器；

切换ISP新图像传感器配置参数和中间数据，并下载到ISP装置中；

使能图像传感器切换装置的切换，以使图像传感器切换装置进行动态切换；

切换后图像传感器切换装置实时的进行图像数据过滤，只有完整的有效帧才会发送到ISP装置；

ISP装置实时的对进来的一帧数据进行处理，直到帧结束；

在帧处理结束后，ISP装置上传当前图像传感器的中间数据到内存中，用于下次切换回来时再使用。

Images