CN111601019A

CN111601019A - 图像数据处理模组及电子设备

Info

Publication number: CN111601019A
Application number: CN202010309474.XA
Authority: CN
Inventors: 从勇
Original assignee: Beijing Aixin Technology Co ltd
Current assignee: Beijing Aixin Technology Co ltd
Priority date: 2020-02-28
Filing date: 2020-04-17
Publication date: 2020-08-28
Anticipated expiration: 2040-04-17
Also published as: CN111601019B

Abstract

本申请提供了一种图像数据处理模组及电子设备。该图像数据处理模组包括外置处理芯片以及主控芯片；所述外置处理芯片用于获取所述摄像头采集原始图像数据并对所述原始图像数据进行预处，并将经预处理得到的数据经过一输出接口发送给所述主控芯片，将所述原始图像数据经另一输出接口发送给所述主控芯片；所述主控芯片用于对所述原始图像数据以及经预处理得到的数据进行处理。本申请实施例通过在外置处理芯片专门设置一输出接口来将原始图像数据发送给主控芯片进行存储以及处理，解决了该外置芯片的存储空间不足以及存储器存储带宽压力过大的技术问题。

Description

图像数据处理模组及电子设备

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种图像数据处理模组及电子设备。

背景技术

图像数据处理模组的外置图像处理芯片一般需要保存若干帧未经处理的原始图像数据。当用户选择拍照时，从缓冲区域里面挑选某一帧或几帧进行拍照的强化处理。对于外置图像处理芯片，原始图像数据一般保存在外置图像处理芯片的存储器中，并在该外置图像处理芯片的图像处理器中进行处理，导致该外置图像处理芯片的存储压力以及数据处理压力较大。

针对上述问题，目前尚未有有效的技术解决方案。

发明内容

本申请实施例的目的在于提供一种图像数据处理模组及电子设备，可以降低外置图像处理芯片的存储压力以及存储器存储带宽压力。

第一方面，本申请实施例提供了一种图像数据处理模组，用于具有摄像头的电子设备中，所述图像数据处理模组包括外置处理芯片以及主控芯片；

所述外置处理芯片用于获取所述摄像头采集原始图像数据并对所述原始图像数据进行预处理，以及将经预处理得到的数据经过一输出接口发送给所述主控芯片，将所述原始图像数据经另一输出接口发送给所述主控芯片；

所述主控芯片用于对所述原始图像数据以及预处理得到的数据进行处理。

可选地，在本申请实施例所述的图像数据处理模组中，所述外置处理芯片包括第一输入接口、第一处理器、第一存储器、第一输出接口以及第二输出接口；

所述第一输入接口用于接入所述摄像头采集的原始图像数据；

所述第二输出接口与所述第一输入接口连接，以用于将所述原始图像数据发送给所述主控芯片；

所述第一输出接口与所述第一处理器连接，所述第一存储器与所述第一处理器连接，所述第一处理器与所述第一输入接口连接。

可选地，在本申请实施例所述的图像数据处理模组中，所述第一存储器为双倍速率同步动态随机存储器。

可选地，在本申请实施例所述的图像数据处理模组中，所述第一输入接口、所述第一输出接口或所述第二输出接口为MIPI接口。

可选地，在本申请实施例所述的图像数据处理模组中，所述主控芯片包括一第三输入接口、一第二前置处理硬件以及一第二存储器；

所述第三输入接口与所述第二输出接口连接；

所述第二前置处理硬件与所述第三输入接口以及所述第二存储器连接，以用于将所述原始图像数据导入所述第二存储器中。

可选地，在本申请实施例所述的图像数据处理模组中，所述主控芯片还包括一第二输入接口、一第一前置处理硬件以及第二处理器；

所述第二输入接口与所述第一输出接口连接，所述第一前置处理硬件与所述第二输入接口以及所述第二处理器连接，以用于对经预处理得到的数据进行前置处理，并将经过前置处理后的数据导入所述第二处理器进行处理。

可选地，在本申请实施例所述的图像数据处理模组中，所述电子设备包括一主摄像头以及两个从摄像头；而所述外置处理芯片包括第四输入接口、两个第五输入接口、一第一选通器、一第二选通器、一第一存储器、一第一处理器、两个第一输出接口以及一第二输出接口；

所述第四输入接口用于接入所述主摄像头采集的原始图像数据；

每一所述第五输入接口用于接入一对应从摄像头采集的原始图像数据，所述两个从摄像头与所述两个第五输入接口一一对应；

所述第四输入接口分别与所述第一处理器以及所述第二选通器的一输入端连接，所述两个第五输入接口分别与所述第一选通器的两个输入端连接，所述第一选通器的输出端分别与所述第二选通器的输入端以及所述第一处理器连接；

所述第二选通器的输出端与所述第二输出接口连接，所述第一处理器分别与所述两个第一输出接口以及所述第一存储器连接。

可选地，在本申请实施例所述的图像数据处理模组中，所述外置处理芯片还包括第一数据预处理硬件以及第二数据预处理硬件；所述第四输入接口通过所述第一数据预处理硬件与所述第一处理器连接；所述第一数据预处理硬件用于对所述第四输入接口接入的原始图像数据进行预处理；

所述第一选通器的输出端通过所述第二数据预处理硬件与所述第一处理器连接，所述第二数据预处理硬件用于对所述第一选通器输出的原始图像数据进行预处理。

可选地，在本申请实施例所述的图像数据处理模组中，所述主控芯片包括一第三输入接口、第二前置处理硬件以及第二存储器；

所述第三输入接口与所述第二输出接口连接，所述第二前置处理硬件与所述第三输入接口以及所述第二存储器连接，以将所述第三输入接口接入的数据导入所述第二存储器中。

可选地，在本申请实施例所述的图像数据处理模组中，所述主控芯片还包括两个第二输入接口、两个第一前置处理硬件以及第二处理器；

所述两个第二输入接口分别与所述两个第一输出接口一一对应地连接，所述两个第二输入接口分别与所述两个第一前置处理硬件一一对应地连接，所述两第一前置处理硬件分别与所述第二处理器连接；

所述第一前置处理硬件用于对对应所述第二输入接口接入的数据进行前置处理。

第二方面，本申请实施例还提供了一种电子设备，包上述任一项所述的图像数据处理模组以及至少一个摄像头，所述至少一个摄像头与所述图像数据处理模组通信连接。

本申请实施例通过在外置处理芯片专门设置一输出接口来将原始图像数据发送给主控芯片进行存储以及处理，解决了该外置芯片的存储空间不足以及存储器存储带宽压力的技术问题，可以提高图像数据处理的效率以及质量。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请一些实施例中的图像数据处理模组的一种结构示意图。

图2为本申请一些实施例中的图像数据处理模组的另一种结构示意图。

图3为本申请一些实施例中的图像数据处理模组的又一种结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1，图1是本申请一些实施例中的图像数据处理模组的结构示意图。该图像数据处理模组包括外置处理芯片100以及主控芯片200。该外置处理芯片100与该主控芯片200连接。

其中，该外置处理芯片100用于对摄像头的传感器采集的原始图像数据进行预处理，并将经预处理得到的数据经过一输出接口发送给所述主控芯片，将所述原始图像数据经另一输出接口发送给所述主控芯片。预处理操作使得该原始图像数据经过预处理得到的参考帧图像、原始图像数据的统计信息以及原始图像的缩放图数据，并对该参考帧图像、缩放图像以及统计信息进行存储；将原始图像的缩放图像通过一输出接口传输给主控芯片200，将该原始图像数据通过另一输出接口传输给该主控芯片200。该主控芯片200用于对该原始图像数据进行保存以及精细化处理以得到高清图像或者高清视频。该主控芯片200对该缩放图像进行处理以得到预览图像。

本申请实施例通过在外置处理芯片专门设置一输出接口来将原始图像数据发送给主控芯片200进行存储以及处理，解决了该外置芯片100的存储空间不足以及存储器存储带宽压力过大的技术问题，可以提高图像数据处理的效率以及质量。

具体地，在一些实施例中，该外置处理芯片100包括第一输入接口101、第一处理器102、第一存储器103、第一输出接口104以及第二输出接口105。该第一输入接口101分别与该第一处理器102以及该第二输出接口105连接，该第一处理器102与该第一输出接口104连接，第一存储器103与该第一处理器102连接。

其中，该第一输入接口101用于接收摄像头的传感器采集的原始图像数据。该第一输入接口101可以采用Mipi接口，当然，也可以采用其他类型的适配的接口进行数据接收。

其中，该第一处理器102用于接收该第一输入接口101接收的原始图像数据，并对该原始图像数据进行预处理，例如，缩放处理、生成统计信息以及选取参考帧图像等处理；从而经过缩放处理得到原始图像的缩放图像，经过统计得到该原始图片数据的统计信息，经过选取参考帧操作得到该原始图像数据中的选取一帧或多帧作为参考帧图像。第一处理器102为图像处理器。

其中，该第一存储器103用于存储经过第一处理器102处理得到的原始图像的缩放图像、统计信息以及参考帧图像。该第一存储器103可以采用双倍速率同步动态随机存储器DDR。

其中，该第一数据输出接口104用于将该第一处理器102处理得到缩放图像发送给该主控芯片。该第一数据输出接口104可以采用Mipi接口，当然，也可以采用其他类型的适配的接口进行数据接收。

其中，该第二输出接口105用于将该第一数据接口101接收的原始图像数据传输给该主控芯片200进行处理。该第二输出接口105可以采用Mipi接口，当然，也可以采用其他类型的适配的接口进行数据接收。

具体地，该主控芯片包括第二输入接口201、第三输入接口202、第二存储器203、第二处理器204、第一前置处理硬件205、第二前置处理硬件206。其中，该第二输入接口201与该第一前置处理硬件205连接，该第三输入接口202与该第二前置处理硬件206连接，该第二前置处理硬件206与该第二存储器203连接。该第二处理器204与该第一前置处理硬件20连接，该第二处理器204与该第二存储器203连接。

其中，该第二输入接口201用于接收该第一输出接口204发送的数据，例如，缩放图像。该第二输入接口201可以采用Mipi接口，当然，也可以采用其他类型的适配的接口进行数据接收。

其中，该第一前置处理硬件205用于对该缩放图像进行前置处理。例如，进行矫正、降噪、过滤等操作。例如，该第一前置处理硬件205可以为IFE硬件。

其中，该第三输入接口202用于接收该第二输出接口105发送的原始图像数据，该第三输入接口202可以采用Mipi接口，当然，也可以采用其他类型的适配的接口进行数据接收。

其中，该第二存储器203用于数据存储，其可以采用双倍速率同步动态随机存储器DDR。

其中，该第二前置处理硬件206用于将该原始图像数据导入该第二存储器中。例如，该第二前置处理硬件206可以为IFE＿lite硬件。其中，该第二处理器204用于从该第二存储器203中调用原始图像数据进行精细化数据处理，以形成高清图片或者高清视频。或者对该缩放图像进行处理以得到预览图像或者预览视频。

可以理解地，在一些实施例中，该图像数据处理模组可以为单摄像头设备的数据处理结构。在现有技术中，对于单摄像头设备，该外置处理芯片100与该主控芯片200之间只存在一路数据传输通道，因此，为了将原始图像数据发送给主控芯片进行处理，专门设置了该第二输出接口105，以实现将该原始图像数据的传递。

在另一些实施例中，例如，该图像数据处理模组可以为双摄像头设备或者三摄像头设备的数据处理模组。由于图像数据处理模组的外置处理芯片100与该主控芯片200之间存在两路或三路数据传输通道，因此，无需专门设置额外的数据接口来传输该原始图像数据，只需要利用选通器将闲置的数据传输通道利用起来即可。

具体地，例如，由于对于三摄像头设备而言，同时进行图像采集的只有两个摄像头的传感器或者一个摄像头的传感器，因此，可以通过选通器的选通作用来将空闲的摄像头对应的数据接口来将原始图像数据传输给该主控芯片200。

如图2所示，图2为具有三摄像头的电子设备的图像数据处理模组的结构示意图。在本实施例中，该外置处理芯片100包括第四输入接口101a、第五输入接口101b、第五输入接口101c、第一处理器102、第一存储器103、第一输出接口104a、第一输出接口104b、第二输出接口105、第一选通器106以及第二选通器107。

其中，该第四输入接口101a与该第一处理器102连接，该第五输入接口101b以及该第五输入接口101c分别与该第一选通器106的两个输入端连接，该第四输入接口101a以及该第一选通器106的输出端分别与该第二选通器107的两个输入端连接，该第一选通器106的输出端还与该第一处理器102连接，该第二选通器107的输出端与该第二输出接口105连接。该第一处理器102分别与该第一输出接口104a以及该第一输出接口104b连接。第一存储器103与该第一处理器102连接。

其中，第四输入接口101a、第五输入接口101b、第五输入接口101c分别用于与三摄像头设备的三个摄像头的传感器的连接，以分别接入对应的传感器采集的原始图像数据。

其中，该第四输入接口101a与广角镜头的传感器连接也即是与主摄像头连接，以接入该主摄像头采集的原始图像数据。

该第五输入接口101b与长焦镜头的传感器连接也即是一个从摄像头连接，以接入该从摄像头采集的原始图像数据。

该第五输入接口101c与超广角镜头的传感器连接也即另一从摄像头连接，以接入该另一从摄像头采集的原始图像数据。

其中，该第四输入接口101a、第五输入接口101b、第五输入接口101c均可以采用Mipi接口，当然，也可以采用其他类型的适配的接口进行数据接收。第四输入接口101a、第五输入接口101b、第五输入接口101c可以采用相同的类型，也可以采用不同的类型。

其中，该第一选通器106用于将第五输入接口101b或第五输入接口101c的信号通过其输出端输出，该第二选通器107用于将该第一选通器106的输出端或该第四输入接口101a的信号通过其输出端输出。该第一选通器106以及该第二选通器107均为常见的二选一选通电路。当然，该第一选通器以及第二选通器107的选通功能受该第一处理器控制或者受其他控制芯片控制。

具体选通规则为，当该第四输入接口101a以及该第五输入接口101b对应的摄像头采集原始图像数据时，该第一选通器106将该第五输入接口101b与其输出端接通，该第二选通器107将该第四输入接口101a与其输出端接通，从而使得该第二输出接口105将原始图像数据传输给该主控芯片200。而该第五输入接口101b采集的原始图像数据传输给该第一处理器进行预处理。当然，如果需要将其他第五输入接口101b接收的原始图像数据传输给该第二输出接口105，只需要控制该第一选通器106以及第二选通器107进行对应的选通操作即可。

当然，可以理解地，如图3所示，在一些实施例中，该第一处理器102与该第四输入接口101a之间还设置有第一数据预处理硬件110a，该第一处理器102与该第一选通器106的输出端之间还设置有第二数据预处理硬件110b。第一数据预处理硬件110a以及第二数据预处理硬件110b用于对接收的原始图像数据进行前置处理，例如进行矫正处理、线性处理、降噪处理等。

该第一处理器102与该第一输出接口104a之间还设置有第一后置数据处理硬件SIF，第一处理器102与第一输出接口104b之间还设置有第二后置数据处理硬件SIF。第一后置数据处理硬件以及第二后置数据处理硬件用于对第一处理器输出的数据进行协议转换，以与后续的主控芯片适配。

可以理解地，在一些实施例中，该第一处理器102两端的后置数据处理硬件与对应的数据预处理硬件可以直接通过旁路连通，使得一些数据可以直接从旁路通过。

其中，该主控芯片200包括第二输入接口201a、第二输入接口201b、第三输入接口202、第二存储器203、第二处理器204、第一前置处理硬件205a、第一前置处理硬件205b、第二前置处理硬件206。其中，该第二输入接口201a与该第一前置处理硬件205a连接，该第二输入接口201b与该第一前置处理硬件205b连接，该第三输入接口202与该第二前置处理硬件206连接，该第二前置处理硬件206连接与该第二存储器203连接。第一前置处理硬件205a、第一前置处理硬件205b分别与该第二处理器204连接。

该第二输入接口201a用于接收该第一输出接口204a发送的数据，例如，缩放图像。该第二输入接口201b用于接收该第一输出接口204b发送的数据，例如，缩放图像。该第二输入接口201a以及第二输入接口201b均可以采用Mipi接口，当然，也可以采用其他类型的适配的接口进行数据接收。该第二输入接口201a以及第二输入接口201b可以采用相同的类型，也可以采用不同的类型。

该第一前置处理硬件205a以及第一前置处理硬件205b用于对接收的数据进行前置处理；例如，进行矫正处理、线性处理、降噪处理等。该第三输入接口202用于接收该第二输出接口105发送的原始图像数据，该第二前置处理硬件206用于将该原始图像数据导入该第二存储器中，该第二处理器204用于从该第二存储器203中调用原始图像数据进行精细化数据处理，以形成高清图片或者高清视频。

相对于图1所述实施例中的方案，在本实施例中，无需增加新的数据输出接口，只需要采用选通器对第二输入接口201a、第二输入接口201b、第三输入接口202的数据进行适当选通控制，即可实现将需要的原始图像数据传递给该主控芯片进行精细处理，从而可以降低成本。

本申请还提供了一种电子设备，其包括上述任意实施例中的图像数据处理模组以及至少一个摄像头，该至少一个摄像头分别与该图像数据处理模组通信连接。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种图像数据处理模组，用于具有摄像头的电子设备中，其特征在于，所述图像数据处理模组包括外置处理芯片以及主控芯片；

2.根据权利要求1所述的图像数据处理模组，其特征在于，所述外置处理芯片包括第一输入接口、第一处理器、第一存储器、第一输出接口以及第二输出接口；

3.根据权利要求2所述的图像数据处理模组，其特征在于，所述第一存储器为双倍速率同步动态随机存储器。

4.根据权利要求2所述的图像数据处理模组，其特征在于，所述第一输入接口、所述第一输出接口或所述第二输出接口为MIPI接口。

5.根据权利要求2－4任一项所述的图像数据处理模组，其特征在于，所述主控芯片包括一第三输入接口、一第二前置处理硬件以及一第二存储器；

所述第三输入接口与所述第二输出接口连接；

6.根据权利要求5所述的图像数据处理模组，其特征在于，所述主控芯片还包括一第二输入接口、一第一前置处理硬件以及第二处理器；

7.根据权利要求1所述的图像数据处理模组，其特征在于，所述电子设备包括一主摄像头以及两个从摄像头；而所述外置处理芯片包括第四输入接口、两个第五输入接口、一第一选通器、一第二选通器、一第一存储器、一第一处理器、两个第一输出接口以及一第二输出接口；

8.根据权利要求7所述的图像数据处理模组，其特征在于，所述外置处理芯片还包括第一数据预处理硬件以及第二数据预处理硬件；所述第四输入接口通过所述第一数据预处理硬件与所述第一处理器连接；所述第一数据预处理硬件用于对所述第四输入接口接入的原始图像数据进行预处理；

9.根据权利要求7所述的图像数据处理模组，其特征在于，所述主控芯片包括一第三输入接口、第二前置处理硬件以及第二存储器；

10.根据权利要求9所述的图像数据处理模组，其特征在于，所述主控芯片还包括两个第二输入接口、两个第一前置处理硬件以及第二处理器；

11.一种电子设备，其特征在于，包括权利要求1－10任一项所述的图像数据处理模组以及至少一个摄像头，所述至少一个摄像头与所述图像数据处理模组通信连接。