CN102447847A - 包含mipi接口的多图像传感器图像处理装置及方法 - Google Patents

Abstract

本发明提供了一种包含MIPI接口的多图像传感器图像处理装置及方法，包括：主图像传感器芯片，用于捕获图像数据，并将捕获的图像数据处理后，通过MIPI接口发送给主控芯片，或者用于接收从图像传感芯片捕获的图像数据，并将所述图像数据处理后，通过MIPI接口发送给主控芯片；一个或多个从图像传感器芯片，用于捕获图像数据，并将捕获的图像数据发送给主图像传感器芯片；主控芯片，用于接收主图像传感器芯片发送的处理后的图像数据。本发明的能够将从图像传感器的面积压缩至最小，不会发生数据串扰的现象，能够有效解决现有技术中的多图像传感器设备芯片面积浪费的状况，降低多图像传感器设备的成本。

Description

包含MIPI接口的多图像传感器图像处理装置及方法

技术领域

本发明涉及一种多图像传感器图像处理装置及方法，特别涉及一种通过MIPI接口(Mobile Industry Processor Interface，移动产业处理器端口)进行数据传输的多图像传感器图像处理装置及方法，属于图像处理技术领域。 

背景技术

近年来可拍照设备已经成为发展最为迅猛的消费类电子设备之一，图像传感器技术大跨步的发展同时也带动了视讯技术的飞速前进，具有视频通话功能的双摄像头手机已经深入人们的生活。特别是近年来，MIPI接口概念也逐步进入视讯移动设备阵营，尤其被设计应用于近年来被广泛推广的3G手机，可视电话，拍照手机等的产品中。由于MIPI接口具有管脚数量少，接口功耗低，传输距离长的特性，这种数据传输方式在未来将成为便携式通讯产品数据传输的重要技术方案。但在现有技术中多摄像头产品中尚无使用MIPI接口的类似设计。 

现有技术中的多图像传感器设备一般使用两种方式将多个图像传感器及其图像处理装置集成为一体。第一种方式将两个或两个以上的图像传感器及其图像处理装置集成为一体，每个图像传感器均拥有独立的图像处理单元，如图1所示。第一图像传感器芯片包含独立的第一图像传感器，第一图像处理单元和第一传输接口；第二图像传感器芯片包含独立的第二图像传感器，第二图像处理单元和第二传输接口。图像传感器芯片在捕获图像数据后，分别通过各自的图像处理单元进行处理，并通过各自的传输接口传送给数据总线，并最终到达设备主控芯片。设备主控芯片通过控制总线控制第一图像传感器芯片和第二图像传感器芯片的拍摄功能和图像处理功能。 

第二种方式如图2所示，在设备中安装独立于两个或者两个以上图像传感器的图像处理芯片，第一图像传感器芯片和第二图像传感器芯片共用图像处理芯片，图像传感器捕获图像数据后将其传送至图像处理芯片，处理后的图像数据通过传输接口传送给数据总线，并最终到达设备主控芯片。设备主控芯片通过控制总线控制第一图像传感器芯片和第二图像传感器芯片的拍摄功能和图像处理功能。 

这两种方式虽然都能够实现将多个图像传感器集成到同一设备中，但是第一种方式 是对图像传感器简单的累积，两个或者两个以上的图像传感器芯片通过各自的数据输出接口将图像数据通过同一条数据总线传送给设备主控芯片，多个图像传感器共用同一条数据总线，这种连接方式极易造成数据串扰，影响图像信号，而且这种集成方式中两个图像处理单元事实上实现了相同的功能，造成芯片面积的浪费。第二种方式使两个图像传感器芯片共用一个图像处理单元，虽然能够解决两个图像传感器相互干扰的问题，但独立的图像处理单元和并行接口仍然占用较大的芯片面积。而且，在上述两种方式中第二图像传感器芯片仍需包含模拟信号处理单元，对缩减芯片尺寸不利。 

发明内容

本发明的目的是提供一种能够防止多图像传感器集成于同一设备中时发生的数据串扰现象，同时将从图像传感器芯片面积优化至最小的包含MIPI接口的多图像传感器图像处理装置和方法。 

本发明的目的是通过以下技术方案实现的： 

一种包含MIPI接口的多图像传感器图像处理装置，包括： 

主图像传感器芯片，用于捕获图像数据，并将捕获的图像数据处理后，通过MIPI接口发送给主控芯片，或者用于接收从图像传感芯片捕获的图像数据，并将所述图像数据处理后，通过MIPI接口发送给主控芯片； 

一个或多个从图像传感器芯片，用于捕获图像数据，并将捕获的图像数据发送给主图像传感器芯片； 

主控芯片，用于接收主图像传感器芯片发送的处理后的图像数据。 

一种包含MIPI接口的多图像传感器图像处理方法，包括： 

当主图像传感器芯片处于工作状态时，捕获图像数据，并将捕获的图像数据通过MIPI接口发送给主控芯片，或者，接收从图像传感器捕获的图像数据，并通过MIPI接口发送给主控芯片； 

当一个或多个从图像传感器芯片处于工作状态时，捕获图像数据，并将捕获的图像数据发送给主图像传感器芯片； 

主控芯片接收主图像传感器芯片发送的处理后的图像数据。 

由上述本发明提供的技术方案可以看出，本发明的包含MIPI接口的多图像传感器图像处理装置中的从图像传感器芯片内只包含必要的感光阵列和输出接口，其余数据处理单元都共用主图像传感器内部包含的处理单元，将从图像传感器的面积压缩至最小；多 个图像传感器交替使用同一图像处理单元，使得数据总线在当前时刻仅被唯一的图像传感器占用，不会发生数据串扰的现象；并且该图像处理单元不必单独为独立的芯片，而是集成在多图像传感器设备任一图像传感器芯片内部，能够有效解决现有技术中的多图像传感器设备芯片面积浪费的状况，降低多图像传感器设备的成本。 

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。 

图1为现有技术中的每个图像传感器均拥有独立的图像处理单元的图像处理器的结构示意图； 

图2为现有技术中的在设备中安装独立于两个或者两个以上图像传感器的图像处理芯片的图像处理器的结构示意图； 

图3为本发明的具体实施例一提供的主从图像传感器芯片协同工作时的示意图； 

图4为本发明的具体实施例一提供的图像处理方法的流程示意图； 

图5为本发明的具体实施例一提供的仅有主图像传感器芯片工作时的示意图； 

图6为本发明的具体实施例二提供的应用于双摄像头手机的结构示意图； 

图7a本发明的具体实施例三提供的应用于三图像传感器装置的结构示意图； 

图7b本发明的具体实施例三提供的串行接口复用数据通路模块连接示意图。 

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。 

本发明具体实施方式提供的包含MIPI接口的多图像传感器图像处理装置，包括主图像传感器芯片、一个或多个从图像传感器芯片和主控芯片，主图像传感器芯片用于捕获图像数据，并将捕获的图像数据处理后，通过MIPI接口发送给主控芯片，或者用于接收从图像传感芯片捕获的图像数据，并将所述图像数据处理后，通过MIPI接口发送给主控芯片；一个或多个从图像传感器芯片用于捕获图像数据，并将捕获的图像数据发送给主 图像传感器芯片；主控芯片用于接收主图像传感器芯片发送的处理后的图像数据。 

本具体实施方式提供的包含MIPI接口的多图像传感器图像处理装置可用于在手机、掌上电脑、平板电脑、游戏机、摄像头等包括多个图像处理芯片的设备中对图像处理部分的芯片面积进行优化处理，其基本原理是一个或多个从图像处理芯片与主图像处理芯片共用设置在主图像处理芯片中的模拟信号处理单元和数字信号处理单元，从而在不影响图像处理的功能的前提下，将从图像传感器芯片的面积降至完成必要功能的最低限度。下面将结合附图对具体实施方式作进一步地详细描述，本具体实施方式提供了三个实施例，具体如下： 

实施例一 

如图3所示，本实施例中的包含MIPI接口的多图像传感器图像处理装置是一种主从双图像传感器装置，包括主图像传感器芯片31、从图像传感器芯片32和主控芯片33，其中的主图像传感器芯片31包括主感光阵列、模拟信号处理单元、数字信号处理单元、模拟信号输入接口和MIPI接口，从图像传感器芯片32包括从感光阵列和模拟信号输出接口。 

具体的，主控芯片33通过控制总线控制主图像传感器芯片31和从图像传感器芯片32，其中主图像传感器芯片31和从图像传感器芯片32分别包括的主感光阵列和从感光阵列由主控芯片控制，交替进入工作状态。图像处理方法如图4所示，具体的步骤如下： 

步骤41、当主图像传感器进入工作状态、从图像传感器暂停工作时，从图像传感器芯片由主控芯片控制停止工作，从感光阵列停止光线捕获操作； 

步骤42、当主感光阵列进行拍照时，数据信号由主感光阵列依次传送至模拟信号处理单元和数字信号处理单元进行处理； 

步骤43、处理完成的图像数据传送到MIPI接口，通过数据总线传送至主控芯片； 

步骤44、当从图像传感器芯片进入工作状态时，主图像传感器芯片内的主感光阵列由主控芯片控制停止工作，主感光阵列停止光线捕获操作，主控芯片不停止对主图像传感器芯片内的其他单元的供电，使模拟信号输入接口、模拟信号处理单元、数字信号处理单元和MIPI接口仍处于运转状态； 

步骤45、从图像传感器芯片内的从感光阵列进行光线捕获操作； 

步骤46、数据信号通过从图像传感器芯片的模拟信号输出接口输出，主图像传感器芯片的模拟信号输入接口接收来自从图像传感器芯片的数据信号，并依次传送到主图像传感器芯片的模拟信号处理单元和数字信号处理单元； 

步骤47、图像数据在主图像传感器芯片内处理完毕后传送到MIPI接口，通过数据总 线传送至主控芯片。 

实施例二 

图6是本发明应用于双摄像头手机的模块的结构示意图。双摄像头手机中两个摄像头一般区分为置于手机背面面板上的高分辨率图像传感器和置于手机正面面板上的低分辨率图像传感器，高分辨率图像传感器用于拍摄较高分辨率的景色或者人物照片，低分辨率图像传感器用于拍摄较低分辨率的自拍照片或者进行视频通话。 

高分辨率图像传感器芯片包括高分辨率感光阵列、模拟信号处理单元、数字信号处理单元、模拟信号输入接口和MIPI接口，由于手机用于拍摄景物及人像时对图像质量要求较高，双摄像头手机的背面面板上的图像传感器一般为30～1200万像素的高分辨率摄像头。高分辨率图像传感器的感光面积较大，芯片面积也随之增大，较大的面积使得高分辨率图像传感器芯片对增加模拟及数字信号处理单元此类芯片面积较小的功能并不敏感，几乎不会增加额外成本。 

当用户通过功能键开启高分辨率摄像头准备进行拍照时，手机主控芯片控制高分辨率图像传感器芯片进入工作状态。此时，由于用户已经自主选择了拍照功能，因此不可能同时要求进行自拍或者视频通话功能，手机主控芯片控制低分辨率图像传感器芯片停止工作。高分辨率感光阵列将拍摄的数据信号依次送至模拟信号处理单元和数字信号处理单元进行处理，处理完成的图像数据传送到MIPI接口，由数据总线传送至手机主控芯片，并由其控制显示。 

重复以上操作直到用户退出拍摄模式，由于高分辨率图像传感器芯片中的高分辨率感光阵列耗电量较大，在结束拍摄后，手机主控芯片控制高分辨率图像传感器芯片中的高分辨率感光阵列停止工作，并停止为其供电。模拟及数字信号处理单元耗电量小，并且其还需为低分辨率图像传感器芯片处理图像数据，因此继续对其供电。 

低分辨率图像传感器芯片包括低分辨率感光阵列和模拟信号输出接口，由于手机用于自拍和视频通话时对图像质量要求不高，且过大的图像数据还会使得通讯负载过大，因此双摄像头手机的正面面板上的图像传感器一般低于30万像素，当前比较常见的是8万像素，实际的低分辨率图像传感器芯片的分辨率可选择低于高分辨率图像传感器芯片分辨率的任意合理的分辨率。低分辨率感光阵列感光面积较小，且在布局布线时需考虑逻辑布局，相较于高分辨率图像传感器芯片优化这类图像传感器面积难度更大，在其上加入例如模拟或者数字信号处理单元等逻辑单元，所需增加的成本更高。因此，为了实现最大限度的优化面积，低分辨率图像传感器芯片内部只包含最必要的功能单元。 

当用户通过功能键开启自拍或者视频通话功能时，手机主控芯片控制低分辨率图像传感器芯片进入工作状态。此时，由于用户已经自主选择了自拍或者视频通话功能，因此不可能同时要求开启拍照功能，手机主控芯片控制高分辨率图像传感器停止工作，图像处理单元继续运行。低分辨率感光阵列将拍摄的数据信号通过模拟信号输出接口送至高分辨率图像传感器芯片的模拟信号输入接口，并依次由模拟信号处理单元和数字信号处理单元进行处理，处理完成的图像数据传送到MIPI接口，由数据总线传送至设备主控芯片，并由其控制显示。 

重复以上操作直到用户退出自拍或者视频通话模式，结束自拍或者视频通话模式后，设备主控芯片控制低分辨率图像传感器芯片停止工作，退出对高分辨率图像传感器芯片中的图像处理单元的占用。 

实施例三 

由于3D技术的发展，很多手机、电脑或者网络摄像头都具备3D拍摄技术，因此在该类设备中往往集成三个或者三个以上图像传感器芯片；而普通监控设备也常常由于拍摄角度的问题需要安装三个或者三个以上图像传感器芯片。下面仅以具有三个图像传感器的多图像传感器设备为例进行说明。 

如图7a所示，图像处理装置包括设备主控芯片、控制总线、数据总线、主图像传感器芯片、第一从图像传感器芯片和第二从图像传感器芯片。主图像传感器包括主感光阵列，模拟信号处理单元、数字信号处理单元、模拟信号输入接口和MIPI接口。第一从图像传感器芯片包括第一从感光阵列和第一模拟信号输出接口。第二从图像传感器芯片包括第二从感光阵列和第二模拟信号输出接口。主图像传感器芯片中的模拟信号输入接口分别连接第一从图像传感器芯片中的第一模拟信号输出接口和第二从图像传感器芯片中的第二模拟信号输出接口。 

由于三图像传感器设备图像处理装置中在当前时刻仅有三个图像传感器中唯一的一个进入工作状态，因此接入主图像传感器芯片中模拟信号输入接口的模拟信号输出接口可以复用同一条数据通路，如图7b所示，第一从图像传感器芯片中的第一模拟信号输出接口和第二从图像传感器芯片中的第二模拟信号输出接口复用数据通路接入主图像传感器芯片的模拟信号输入接口。 

三图像传感器设备工作方式与双摄像头设备工作方式相似，三个图像传感器不能同时进入工作状态，仅有一个在捕获图像数据后，占用包含在主图像传感器芯片中的模拟信号处理单元和数字信号处理单元，处理完成的图像数据传送到MIPI接口，由数据总线 传送至设备主控芯片，并由其控制显示。一旦工作中的图像传感器芯片停止工作，其立刻退出对模拟信号处理单元、数字信号处理单元、模拟信号输入接口和MIPI接口的占用，以便这些功能单元接收来自其他图像传感器的图像数据。 

采用本具体实施方式提供的技术方案，多图像传感器设备中未包含模拟及数字信号处理单元的图像传感器芯片通过芯片内的模拟信号输出接口连接到包含这些功能单元的图像传感器芯片内的模拟信号输入接口，使得多个图像传感器可以共用同一同一套功能单元，处理完成的图像数据通过包含这一套功能单元的图像传感器芯片内部的MIPI接口传送至数据总线，并最终传送至设备主控芯片。多个图像传感器交替使用同一套功能单元，使得数据总线在当前时刻仅被唯一的图像传感器占用，不会发生数据串扰的现象。并且这些功能单元不必单独为独立的芯片，而是集成在多图像传感器设备任一图像传感器芯片内部，能够有效解决现有技术中的多图像传感器设备芯片面积浪费的状况，降低多图像传感器设备的成本。 

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。 

Claims (10)

1.一种包含MIPI接口的多图像传感器图像处理装置，其特征在于，包括：

主图像传感器芯片，用于捕获图像数据，并将捕获的图像数据处理后，通过MIPI接口发送给主控芯片，或者用于接收从图像传感芯片捕获的图像数据，并将所述图像数据处理后，通过MIPI接口发送给主控芯片；

一个或多个从图像传感器芯片，用于捕获图像数据，并将捕获的图像数据发送给主图像传感器芯片；

主控芯片，用于接收主图像传感器芯片发送的处理后的图像数据。

2.根据权利要求1所述的包含MIPI接口的多图像传感器图像处理装置，其特征在于，所述主图像传感器芯片包括：

主感光阵列，用于捕获图像数据；

模拟信号处理单元和数字信号处理单元，用于依次对主感光阵列捕获的图像进行处理；

模拟信号输入接口，用于接收从图像传感器芯片捕获的图像数据；

MIPI接口，用于将通过模拟信号处理单元和数字信号处理单元处理后的图像数据发送给主控芯片。

3.根据权利要求1所述的包含MIPI接口的多图像传感器图像处理装置，其特征在于，所述从图像传感器芯片包括：

从感光阵列，用于捕获图像数据；

模拟信号输出接口，用于将捕获的图像数据发送给主图像传感器芯片。

4.根据权利要求1至3任意一项所述的包含MIPI接口的多图像传感器图像处理装置，其特征在于，所述多个从图像传感器芯片通过设置有单独的数据通路的模拟信号输出接口与主图像传感器芯片的模拟信号输入接口连接，或者，所述多个从图像传感器芯片通过复用同一条数据通路与主图像传感器芯片的模拟信号输入接口连接。

5.根据权利要求1至3任意一项所述的包含MIPI接口的多图像传感器图像处理装置，其特征在于，所述主图像传感器芯片的主感光阵列的分辨率为30～1200万像素，所述从图像传感器芯片的从感光阵列的分辨率为低于所述主感光阵列分辨率的任意分辨率。

6.根据权利要求1至3任意一项所述的包含MIPI接口的多图像传感器图像处理装置，其特征在于，所述主图像传感器芯片单独应用于具有摄录功能的产品中，或者与所述一个或多个从图像传感器芯片共同使用，且同一时刻只有一个图像传感器芯片进入工作状态。

7.一种包含MIPI接口的多图像传感器图像处理方法，其特征在于，包括：

当主图像传感器芯片处于工作状态时，捕获图像数据，并将捕获的图像数据通过MIPI接口发送给主控芯片，或者，接收从图像传感器捕获的图像数据，并通过MIPI接口发送给主控芯片；

当一个或多个从图像传感器芯片处于工作状态时，捕获图像数据，并将捕获的图像数据发送给主图像传感器芯片；

主控芯片接收主图像传感器芯片发送的处理后的图像数据。

8.根据权利要求7所述的多图像传感器图像处理方法，其特征在于，当主图像传感器芯片进入非工作状态、从图像传感器芯片进入工作状态时，主控芯片关闭主图像传感器芯片中的主感光阵列。

9.根据权利要求7所述的多图像传感器图像处理方法，其特征在于，所述多个从图像传感器芯片的数量为两个或者两个以上，并且同一时刻只有一个从图像传感器芯片进入工作状态。

10.根据权利要求7所述的多图像传感器图像处理方法，其特征在于，所述多个从图像传感器芯片通过设置有单独的数据通路的串行接口与主图像传感器芯片的模拟信号输入接口连接，或者，所述多个从图像传感器芯片通过复用同一条数据通路与主图像传感器芯片的模拟信号输入接口连接。

Images