CN102186015A - 多图像传感器的图像处理设备及图像处理方法 - Google Patents

Abstract

本发明公开了一种多图像传感器的图像处理设备及图像处理方法，属于图像处理技术领域。相应的多图像传感器的图像处理设备包括主图像传感器芯片，用于捕获图像数据并将所述图像数据处理后发送给主控芯片，或者，将从图像传感器芯片捕获的图像数据处理后发送给主控芯片；一个或多个从图像传感器芯片，用于捕获图像数据，并将捕获的图像数据发送给主图像传感器芯片；主控芯片，用于接收主图像传感器芯片发送的处理后的图像数据。本发明能够防止多图像传感器集成于同一设备中时发生的数据串扰现象，同时将设备内的图像处理部分芯片面积优化至最小的多图像传感器的图像处理设备及图像处理方法。

Description

多图像传感器的图像处理设备及图像处理方法

技术领域

本发明涉及一种多图像传感器的图像处理设备及图像处理方法，属于图像处理技术领域。

背景技术

近年来可拍照设备已经成为发展最为迅猛的消费类电子设备之一，图像传感器技术大跨步的发展同时也带动了视讯技术的飞速前进，具有视频通话功能的双摄像头手机已经深入人们的生活，不仅如此，具有两个或两个以上摄像头的可以进行3D(三维)拍摄的多摄像头设备也正在逐渐成为热点产品。而多摄像头的应用并不仅仅局限于手机通讯类产品，作为安防领域应用最多的监控摄像头也逐步将多个图像传感器集成到同一个摄像头上，以扩展监控范围。

现有技术中的多图像传感器设备一般使用两种方式将多个图像传感器及其图像处理装置集成为一体。第一种方式将两个或两个以上的图像传感器及其图像处理装置集成为一体，每个图像传感器均拥有独立的图像处理单元，如图1所示。第一图像传感器芯片包含独立的第一图像传感器，第一图像处理单元和第一并行接口；第二图像传感器芯片包含独立的第二图像传感器，第二图像处理单元和第二并行接口。图像传感器芯片在捕获图像数据后，分别通过各自的图像处理单元进行处理，并通过各自的并行接口传送给数据总线，并最终到达设备主控芯片。设备主控芯片通过控制总线控制第一图像传感器芯片和第二图像传感器芯片的拍摄功能和图像处理功能。

第二种方式如图2所示，在设备中安装独立于两个或者两个以上图像传感器的图像处理芯片，第一图像传感器芯片和第二图像传感器芯片共用图像处理芯片，图像传感器捕获图像数据后将其传送至图像处理芯片，处理后的图像数据通过并行接口传送给数据总线，并最终到达设备主控芯片。设备主控芯片通过控制总线控制第一图像传感器芯片和第二图像传感器芯片的拍摄功能和图像处理功能。

这两种方式虽然都能够实现将多个图像传感器集成到同一设备中，但是第一种方式是对图像传感器简单的累积，两个或者两个以上的图像传感器芯片通过各自的并行接口将图像数据通过同一条数据总线传送给设备主控芯片，多个图像传感器共用同一条数据总线，这种连接方式极易造成数据串扰，影响图像信号，而且这种集成方式中两个图像处理单元事实上实现了相同的功能，造成芯片面积的浪费。第二种方式使两个图像传感器芯片共用一个图像处理单元，虽然能够解决两个图像传感器相互干扰的问题，但独立的图像处理单元和并行接口仍然占用较大的芯片面积。

发明内容

本发明的目的是提供一种能够防止多图像传感器集成于同一设备中时发生的数据串扰现象，同时将设备内的图像处理部分芯片面积优化至最小的多图像传感器的图像处理设备及图像处理方法。

本发明的目的是通过以下技术方案实现的：

一种多图像传感器的图像处理设备，包括：

主图像传感器芯片，用于捕获图像数据并将所述图像数据处理后发送给主控芯片，或者，将从图像传感器芯片捕获的图像数据处理后发送给主控芯片；

一个或多个从图像传感器芯片，用于捕获图像数据，并将捕获的图像数据发送给主图像传感器芯片；

主控芯片，用于接收主图像传感器芯片发送的处理后的图像数据。

一种图像处理方法，包括：

当主图像传感器芯片处于工作状态时，通过主图像传感器捕获图像数据，并将所述图像数据处理后发送给主控芯片，

当一个从图像传感器芯片处于工作状态时，通过从图像传感器捕获图像数据，并将捕获的图像数据发送给主图像传感器芯片；

主控芯片接收主图像传感器芯片发送的处理后的图像数据。

由上述本发明提供的技术方案可以看出，本发明的多图像传感器设备中未包含图像处理单元的图像传感器通过芯片内的串行接口连接到包含图像处理单元的图像传感器芯片内的图像处理单元，使得设备内部的多个图像传感器可以共用同一图像处理单元，处理完成的图像数据通过包含图像处理单元和并行接口的图像传感器芯片内部的并行接口传送至数据总线，并最终传送至设备主控芯片。多个图像传感器交替使用同一图像处理单元和并行接口，使得数据总线在当前时刻仅被唯一的图像传感器占用，不会发生数据串扰的现象。并且该图像处理单元不必单独为独立的芯片，而是与并行接口集成在多图像传感器设备任一图像传感器芯片内部，能够有效解决现有技术中的多图像传感器设备芯片面积浪费的状况，降低多图像传感器设备的成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明的现有技术第一种方式模块连接示意图；

图2为本发明的现有技术第二种方式模块连接示意图；

图3为本发明的具体实施方式提供的多图像传感器的图像处理设备的结构示意图；

图4为本发明的具体实施方式提供的图像处理方法的流程示意图；

图5为本发明的具体实施方式提供的应用于双摄像头手机的结构示意图；

图6为本发明的具体实施方式提供的应用于3D拍摄设备的结构示意图；

图7为本发明的具体实施方式提供的三串行接口复用数据通路模块连接示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本具体实施方式提供的多图像传感器的图像处理设备包括主图像传感器芯片、一个或多个从图像传感器芯片和主控芯片，主图像传感器芯片用于捕获图像数据并将所述图像数据处理后发送给主控芯片，或者，将从图像传感器芯片捕获的图像数据处理后发送给主控芯片；一个或多个从图像传感器芯片用于捕获图像数据，并将捕获的图像数据发送给主图像传感器芯片；主控芯片用于接收主图像传感器芯片发送的处理后的图像数据。本具体实施方式提供的多图像传感器的图像处理设备用于在手机、掌上电脑、平板电脑、游戏机、摄像头等包括多个图像处理芯片的设备中对图像处理部分的芯片面积进行优化处理，其基本原理是一个或多个从图像处理芯片与主图像处理芯片共用设置在住图像处理芯片中的图像处理单元，从而在不影响图像处理的功能的前提下节省图像处理芯片的面积。下面将结合附图对具体实施方式作进一步地详细描述，本具体实施方式提供了三个实施例，具体如下：

实施例一

如图3所示，本实施例中的多图像传感器的图像处理设备是一种双图像传感器设备，包括主图像传感器芯片31、从图像传感器芯片32和主控芯片33，其中的主图像传感器芯片31包括主图像传感器，图像处理单元和并行接口，从图像传感器芯片32包括第二图像传感器和串行接口。

具体的，主控芯片33通过控制总线控制主图像传感器芯片31和从图像传感器芯片32，其中主图像传感器芯片31和从图像传感器芯片32分别包括的主图像传感器和从图像传感器交替进行工作。在主控芯片33中设置有工作状态转换子单元，用于当主图像传感器芯片进入非工作状态、从图像传感器芯片进入工作状态时，关闭主图像传感器芯片中的捕获图像数据功能。图像处理方法如图4所示，具体的步骤如下：

步骤41、当主图像传感器进入工作状态、从图像传感器暂停工作时，从图像传感器芯片由主控芯片控制停止工作，从图像传感器停止拍照和预览操作；

步骤42、当主图像传感器进行拍照时，图像数据由主图像传感器传送至图像处理单元进行处理；

步骤43、处理完成的图像数据传送到并行接口，通过数据总线传送至主控芯片；

步骤44、当主图像传感器暂停工作、从图像传感器进入工作状态时，主图像传感器芯片由主控芯片控制停止工作，主图像传感器停止拍照和预览操作，主控芯片不停止对图像处理单元供电，使之仍处于运转状态；

步骤45、从图像传感器进行拍照；

步骤46、图像数据通过从图像传感器芯片的串行接口传送到主图像传感器芯片的图像处理单元；

步骤47、图像数据在主图像传感器芯片内处理完毕后传送到并行接口，通过数据总线传送至主控芯片。

实施例二

图5是本发明应用于双摄像头手机的模块的结构示意图。双摄像头手机中两个摄像头一般区分为置于手机背面面板上的高分辨率图像传感器和置于手机正面面板上的低分辨率图像传感器，高分辨率图像传感器用于拍摄较高分辨率的景色或者人物照片，低分辨率图像传感器用于拍摄较低分辨率的自拍照片或者进行视频通话。

高分辨率图像传感器芯片包括高分辨率图像传感器、图像处理单元和并行接口，由于手机用于拍摄景物及人像时对图像质量要求较高，双摄像头手机的背面面板上的图像传感器一般为30～1200万像素的高分辨率摄像头。高分辨率图像传感器的感光面积较大，芯片面积也随之增大，较大的面积使得高分辨率图像传感器芯片对增加图像处理单元此类芯片面积较小的功能并不敏感，几乎不会增加额外成本。

当用户通过功能键开启高分辨率摄像头准备进行拍照时，手机主控芯片控制高分辨率图像传感器芯片进入工作状态。此时，由于用户已经自主选择了拍照功能，因此不可能同时要求进行自拍或者视频通话功能，手机主控芯片控制低分辨率图像传感器停止工作。高分辨率图像传感器将拍摄的图像数据送至图像处理单元进行处理，处理完成的图像数据传送到并行接口，由数据总线传送至手机主控芯片，并由其控制显示。

重复以上操作直到用户退出拍摄模式，由于高分辨率图像传感器芯片中的高分辨率图像传感器耗电量较大，在结束拍摄后，手机主控芯片控制高分辨率图像传感器芯片中的高分辨率图像传感器停止工作，并停止为其供电。图像处理单元耗电量小，并且其还需为低分辨率图像传感器芯片处理图像数据，因此继续对其供电。

低分辨率图像传感器芯片包括低分辨率图像传感器和串行接口，由于手机用于自拍和视频通话时对图像质量要求不高，且过大的图像数据还会使得通讯负载过大，因此双摄像头手机的正面面板上的图像传感器一般低于30万像素，当前比较常见的是8万像素，实际的低分辨率图像传感器芯片的分辨率可选择低于高分辨率图像传感器芯片分辨率的任意合理的分辨率。低分辨率图像传感器感光面积较小，且在布局布线时需考虑逻辑布局，相较于高分辨率图像传感器优化这类图像传感器面积难度更大，在其上加入例如图像处理单元等数字逻辑，所需增加的成本更高。

当用户通过功能键开启自拍或者视频通话功能时，手机主控芯片控制低分辨率图像传感器芯片进入工作状态。此时，由于用户已经自主选择了自拍或者视频通话功能，因此不可能同时要求开启拍照功能，手机主控芯片控制高分辨率图像传感器停止工作，图像处理单元继续运行。低分辨率图像传感器将拍摄的图像数据通过串行接口送至图像处理单元进行处理，处理完成的图像数据传送到并行接口，由数据总线传送至设备主控芯片，并由其控制显示。

重复以上操作直到用户退出自拍或者视频通话模式，结束自拍或者视频通话模式后，设备主控芯片控制低分辨率图像传感器芯片停止工作，退出对高分辨率图像传感器芯片中的图像处理单元的占用。

实施例三

由于3D技术的发展，很多手机、电脑或者网络摄像头都具备3D拍摄技术，因此在该类设备中往往集成三个或者三个以上图像传感器芯片，下面仅以具有三个图像传感器的多图像传感器设备为例进行说明。

如图6所示，图像处理装置包括设备主控芯片、控制总线、数据总线、高分辨率图像传感器芯片、第一低分辨率图像传感器芯片和第二低分辨率图像传感器芯片。高分辨图像传感器包括高分辨图像传感器，图像处理单元和并行接口。第一低分辨率图像传感器芯片包括第一低分辨率图像传感器和串行接口。第二低分辨率图像传感器芯片包括第二低分辨率图像传感器和串行接口。高分辨率图像传感器芯片中的图像处理单元分别连接第一低分辨率图像传感器芯片中的第一串行接口和第二低分辨率图像传感器芯片中的第二串行接口。

由于三图像传感器设备图像处理装置中在当前时刻仅有三个图像传感器中唯一的一个进入工作状态，因此接入图像处理单元的串行接口可以复用同一条数据通路，如图7所示，第一低分辨率图像传感器芯片中的第一串行接口和第二低分辨率图像传感器芯片中的第二串行接口复用数据通路接入图像处理单元的一个接口。

三图像传感器设备工作方式与双摄像头设备工作方式相似，三个图像传感器不能同时进入工作状态，仅有一个在捕获图像数据后，占用包含在高分辨率图像传感器芯片中的图像处理单元，图像处理单元处理完成的图像数据传送到并行接口，由数据总线传送至设备主控芯片，并由其控制显示。一旦工作中的图像传感器芯片停止工作，其立刻退出对图像处理单元的占用，以便图像处理单元接收来自其他图像传感器的图像数据。

采用本具体实施方式提供的技术方案，多图像传感器设备中未包含图像处理单元的图像传感器通过芯片内的串行接口连接到包含图像处理单元的图像传感器芯片内的图像处理单元，使得设备内部的多个图像传感器可以共用同一图像处理单元，处理完成的图像数据通过包含图像处理单元和并行接口的图像传感器芯片内部的并行接口传送至数据总线，并最终传送至设备主控芯片。多个图像传感器交替使用同一图像处理单元和并行接口，使得数据总线在当前时刻仅被唯一的图像传感器占用，不会发生数据串扰的现象。并且该图像处理单元不必单独为独立的芯片，而是与并行接口集成在多图像传感器设备任一图像传感器芯片内部，能够有效解决现有技术中的多图像传感器设备芯片面积浪费的状况，降低多图像传感器设备的成本。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种多图像传感器的图像处理设备，其特征在于，包括：

主图像传感器芯片，用于捕获图像数据并将所述图像数据处理后发送给主控芯片，或者，将从图像传感器芯片捕获的图像数据处理后发送给主控芯片；

一个或多个从图像传感器芯片，用于捕获图像数据，并将捕获的图像数据发送给主图像传感器芯片；

主控芯片，用于接收主图像传感器芯片发送的处理后的图像数据。

2.根据权利要求1所述的多图像传感器的图像处理设备，其特征在于，在主控芯片中还包括：

工作状态转换子单元，用于当主图像传感器芯片进入非工作状态、从图像传感器芯片进入工作状态时，关闭主图像传感器芯片中的捕获图像数据功能。

3.根据权利要求1所述的多图像传感器的图像处理设备，其特征在于，所述多个从图像传感器芯片的数量为两个或两个以上，并且同一时刻只有一个从图像传感器芯片进入工作状态。

4.根据权利要求1所述的多图像传感器的图像处理设备，其特征在于，所述多个从图像传感器芯片通过设置有单独的数据通路的串行接口与主图像传感器芯片连接，或者，所述多个从图像传感器芯片通过复用同一条数据通路与主图像传感器芯片连接。

5.根据权利要求1所述的多图像传感器的图像处理设备，其特征在于，所述主图像传感器芯片的主图像传感器的分辨率为30～1200万像素，所述从图像传感器芯片的从图像传感器的分辨率为低于所述主图像传感器分辨率的任意分辨率。

6.一种图像处理方法，其特征在于，包括：

当主图像传感器芯片处于工作状态时，通过主图像传感器捕获图像数据，并将所述图像数据处理后发送给主控芯片，

当一个从图像传感器芯片处于工作状态时，通过从图像传感器捕获图像数据，并将捕获的图像数据发送给主图像传感器芯片；

主控芯片接收主图像传感器芯片发送的处理后的图像数据。

7.根据权利要求6所述的图像处理方法，其特征在于，当主图像传感器芯片进入非工作状态、从图像传感器芯片进入工作状态时，通过主控芯片关闭主图像传感器芯片中的捕获图像数据功能。

8.根据权利要求6所述的图像处理方法，其特征在于，所述多个从图像传感器芯片的数量为两个或者两个以上，并且同一时刻只有一个从图像传感器芯片进入工作状态。

9.根据权利要求6所述的图像处理方法，其特征在于，所述多个从图像传感器芯片通过设置有单独的数据通路的串行接口与主图像传感器芯片连接，或者，所述多个从图像传感器芯片通过复用同一条数据通路与主图像传感器芯片连接。

Images