CN107872558B - 一种智能电子设备、图像处理单元、图像采集装置和图像采集方法 - Google Patents

Abstract

本发明提供了一种智能电子设备、图像处理单元、图像采集装置以及和图像采集方法，所述图像处理单元用于通过第一控制线接收从应用处理单元发出的第一控制指令，并通过第二控制线将第二控制指令发送给图像采集单元，该第一控制指令或第二控制指令用于控制图像采集单元，并通过第二数据线接收图像采集单元生成的第一图像。图像处理单元和应用处理单元两者既可以单独对图像采集单元进行控制，设置图像采集单元的采集参数；从而使得图像的采集处理变得并行化，有效提高了图像采集的效率，提高了系统性能。

Description

一种智能电子设备、图像处理单元、图像采集装置和图像采集 方法

技术领域

本发明涉及图像采集处理领域，特别涉及一种智能电子设备、图像处理单元、图像采集装置和图像采集方法。

背景技术

目前，摄像头在采集图像数据时，采集指令的发起、采集参数的设定以及对采集到的图像的后续处理都是通过AP(application process)来完成，AP与摄像头通过数据线和控制线直接连接，单向控制，串行操作。由于所有的操作都需要通过AP发起，降低了图像采集处理的效率，也降低了系统性能。

发明内容

为此，需要提供一种图像采集的技术方案，用以解决现有摄像头在采集图像数据时，由于所有操作都是由AP发起，会形成AP的串行操作，导致图像采集效率低、系统性能下降等问题。

发明人提供了一种智能电子设备，所述设备包括图像采集单元、图像处理单元和应用处理单元；

图像处理单元通过第一控制线和第一数据线与应用处理单元相连；

图像处理单元通过第二控制线和第二数据线与图像采集单元相连；

所述图像处理单元用于通过第一控制线接收从应用处理单元发出的第一控制指令，并通过第二控制线将第二控制指令发送给图像采集单元，该第一控制指令或第二控制指令用于控制图像采集单元，并通过第二数据线接收图像采集单元生成的第一图像。

进一步地，应用处理单元通过第三控制线与图像采集单元相连；当应用处理单元用于通过第三控制线将第一控制指令发送给图像采集单元后，图像处理单元用于再通过第二控制线将第二控制指令发送给图像采集单元。

进一步地，图像处理单元用于根据第一控制指令生成第二控制指令。

进一步地，图像处理单元用于通过第二数据线接收图像采集单元采集的采集参数，根据该采集参数生成第三控制指令，并通过第二控制线将第三控制指令发送给图像采集单元。

进一步地，所述采集参数包括以下参数中的一项或多项：调节图像采集单元的光圈大小、快门时间和增益、曝光参数，调节图像采集单元所要采集的图像的大小、帧率，以及控制图像采集单元采集图像。

进一步地，应用处理单元通过第三控制线与图像采集单元相连；所述应用处理单元通过第三控制线将第三控制指令发送给图像采集单元，用于控制图像采集单元。

进一步地，所述图像处理单元包括数字信号处理器和缓存模块；所述应用处理单元包括主控模块和存储模块，所述主控模块和存储模块连接；

所述存储模块用于存储第一图像采集单元控制插件；

所述主控模块用于在接收到第一启动指令后，通过第一数据线发送图像采集单元控制插件至图像处理单元，并用于发送第一控制指令至图像处理单元；

所述缓存模块用于缓存第一图像采集单元控制插件；

所述数字信号处理器用于通过第一数据线接收第一图像采集单元控制插件，并将第一图像采集单元控制插件存储于缓存模块中，并用于根据接收到的第一控制指令，获取缓存模块中的第一图像采集单元控制插件并执行，以确定第一控制指令对应的图像采集单元的参数配置信息，并通过第二控制线将包含上述参数配置信息的第二控制指令发送至图像采集单元；

所述图像采集单元用于接收第二控制指令，并将图像采集单元的采集参数调整为第二控制指令中参数配置信息对应的采集参数，并获取第一图像。

进一步地，所述图像处理单元还用于通过对第一图像进行优化生成第二图像，并将该第二图像通过第一数据线传输到应用处理单元。

进一步地，所述应用处理单元还通过第三控制线直接与图像采集单元连接；

所述存储模块还存储有第二图像采集单元控制插件；

所述主控模块还用于获取存储模块中的第二图像采集单元控制插件并执行，以确定图像采集单元的参数配置信息，并通过第三控制线将包含有上述参数配置信息的第一控制指令发送至图像采集单元。

发明人还提供了一种图像处理单元，包括第一控制接口，第二控制接口，第一数据接口和第二数据接口；

第一控制接口和第一数据接口用于与一个应用处理单元沟通；

第二控制接口和第二数据接口用于与一个图像采集单元沟通；

所述图像处理单元用于通过第一控制接口接收从应用处理单元发出的第一控制指令，并通过第二控制接口将第二控制指令发送给图像采集单元，该第一控制指令或第二控制指令用于控制图像采集单元，并通过第二数据接口接收图像采集单元生成的第一图像。

进一步地，图像处理单元根据第一控制指令生成第二控制指令。

进一步地，应用处理单元通过第三控制线与图像采集单元相连；所述应用处理单元通过第三控制线将第三控制指令发送给图像采集单元，用于控制图像采集单元。

进一步地，图像处理单元用于通过第二数据接口接收图像采集单元采集的采集参数，根据该采集参数生成第三控制指令，并通过第二控制接口将第三控制指令发送给图像采集单元。

进一步地，所述采集参数包括以下参数中的一项或多项：调节图像采集单元的光圈大小、快门时间和增益、曝光参数，调节图像采集单元所要采集的图像的大小、帧率，以及控制图像采集单元采集图像。

进一步地，所述图像处理单元包括数字信号处理器和缓存模块；

所述缓存模块用于缓存第一图像采集单元控制插件；

所述数字信号处理器用于通过第一数据接口接收第一图像采集单元控制插件，并将第一图像采集单元控制插件存储于缓存模块中，并用于根据第一控制接口接收到的第一控制指令，获取缓存模块中的第一图像采集单元控制插件并执行，以确定第一控制指令对应的图像采集单元的参数配置信息，并通过第二控制接口将包含上述参数配置信息的第二控制指令发送至图像采集单元。

进一步地，所述图像处理单元还用于通过对第一图像进行优化生成第二图像，并将该第二图像通过第一数据接口发送到应用处理单元。

发明人还提供了一种图像采集装置，所述装置包括图像处理单元和应用处理单元；所述图像处理单元包括第二控制接口和第二数据接口；

图像处理单元通过第一控制线和第一数据线与应用处理单元相连；

所述图像处理单元用于通过第一控制线接收从应用处理单元发出的第一控制指令，并通过第二控制接口发送第二控制命令至图像采集单元，该第一控制指令或第二控制指令用于控制图像采集单元，并通过第二数据接口接收图像采集单元生成的第一图像。

进一步地，图像处理单元用于根据第一控制指令生成第二控制指令。

进一步地，图像处理单元用于通过第二数据接口接收采集参数，根据该采集参数生成第三控制指令，并通过第二控制接口将第三控制指令配置采集参数。

进一步地，所述采集参数包括以下参数中的一项或多项：调节图像采集单元的光圈大小、快门时间和增益、曝光参数，调节图像采集单元所要采集的图像的大小、帧率，以及控制图像采集单元采集图像。

进一步地，应用处理单元通过第三控制线与图像采集单元相连；所述应用处理单元通过第三控制线将第三控制指令发送给图像采集单元，用于控制图像采集单元。

进一步地，所述图像处理单元包括数字信号处理器和缓存模块；所述应用处理单元包括主控模块和存储模块，所述主控模块和存储模块连接；

所述存储模块用于存储第一图像采集单元控制插件；

所述主控模块用于在接收到第一启动指令后，通过第一数据线发送图像采集单元控制插件至图像处理单元，并用于通过第一控制线发送第一控制指令至图像处理单元；

所述缓存模块用于缓存第一图像采集单元控制插件；

所述数字信号处理器用于通过第一数据线接收第一图像采集单元控制插件，并将第一图像采集单元控制插件存储于缓存模块中，并用于根据接收到的第一控制指令，获取缓存模块中的第一图像采集单元控制插件并执行，以确定第一控制指令对应的图像采集单元的参数配置信息，并通过第二控制接口将包含上述参数配置信息的第二控制指令发送至图像采集单元。

进一步地，所述图像处理单元还用于通过对第一图像进行优化生成第二图像，并将该第二图像通过第一数据线传输到应用处理单元。

进一步地，所述存储模块还存储有第二图像采集单元控制插件；所述主控模块还用于获取存储模块中的第二图像采集单元控制插件并执行，以确定图像采集单元的参数配置信息，并输出包含有上述参数配置信息的第一控制指令至图像采集单元。

发明人还提供了一种图像采集方法，所述方法应用于智能电子设备，所述设备包括图像采集单元、图像处理单元和应用处理单元；

图像处理单元通过第一控制线和第一数据线与应用处理单元相连；

图像处理单元通过第二控制线和第二数据线与图像采集单元相连；

所述方法包括以下步骤：

图像处理单元通过第一控制线接收从应用处理单元发出的第一控制指令，并通过第二控制线将第二控制指令发送给图像采集单元，该第一控制指令或第二控制指令用于控制图像采集单元；

图像处理单元通过第二数据线接收图像采集单元生成的第一图像。

进一步地，应用处理单元通过第三控制线与图像采集单元相连；所述方法包括步骤：

当应用处理单元通过第三控制线将第一控制指令发送给图像采集单元后，图像处理单元再通过第二控制线将第二控制指令发送给图像采集单元。

进一步地，所述方法包括：

图像处理单元根据第一控制指令生成第二控制指令。

进一步地，所述方法包括：

图像处理单元通过第二数据线接收图像采集单元采集的采集参数，根据该采集参数生成第三控制指令，并通过第二控制线将第三控制指令发送给图像采集单元。

进一步地，所述采集参数包括以下参数中的一项或多项：调节图像采集单元的光圈大小、快门时间和增益、曝光参数，调节图像采集单元所要采集的图像的大小、帧率，以及控制图像采集单元采集图像。

进一步地，应用处理单元通过第三控制线与图像采集单元相连；所述应用处理单元通过第三控制线将第三控制指令发送给图像采集单元，用于控制图像采集单元。

进一步地，所述图像处理单元包括数字信号处理器和缓存模块；所述应用处理单元包括主控模块和存储模块，所述主控模块和存储模块连接；所述方法包括步骤：

存储模块存储第一图像采集单元控制插件；

主控模块在接收到第一启动指令后，通过第一数据线发送图像采集单元控制插件至图像处理单元；

数字信号处理器通过第一数据线接收第一图像采集单元控制插件，并将第一图像采集单元控制插件缓存于缓存模块中；

主控模块发送第一控制指令至图像处理单元；

数字信号处理器根据接收到的第一控制指令，获取缓存模块中的第一图像采集单元控制插件并执行，以确定第一控制指令对应的图像采集单元的参数配置信息，并通过第二控制线将包含上述参数配置信息的第二控制指令发送至图像采集单元；

图像采集单元接收第二控制指令，并将图像采集单元的采集参数调整为第二控制指令中参数配置信息对应的采集参数，并获取第一图像。

进一步地，所述方法还包括：

图像处理单元通过对第一图像进行优化生成第二图像，并将该第二图像通过第一数据线传输到应用处理单元。

进一步地，所述应用处理单元还通过第三控制线直接与图像采集单元连接；所述存储模块存储有第二图像采集单元控制插件；所述方法包括：

主控模块获取存储模块中的第二图像采集单元控制插件并执行，以确定图像采集单元的参数配置信息，并通过第三控制线将包含有上述参数配置信息的第一控制指令发送至图像采集单元。

上述技术方案所述的智能电子设备、图像处理单元、图像采集装置以及和图像采集方法，通过图像处理单元和应用处理单元实现对图像采集单元的双控制，两者既可以单独对图像采集单元进行控制，设置图像采集单元的采集参数；又可以相互配合，由应用处理单元来控制图像采集单元进行采集图像数据，再由图像处理单元对图像数据进行处理，从而使得图像的采集处理变得并行化，有效提高了图像采集的效率，提高了系统性能。

附图说明

图1为本发明一实施方式涉及的智能电子设备的示意图；

图2-A为本发明一实施方式涉及的智能电子设备的流程图；

图2-B为本发明另一实施方式涉及的智能电子设备的流程图；

图2-C为本发明另一实施方式涉及的智能电子设备的流程图；

图3为本发明另一实施方式涉及的图像处理单元的示意图；

图4为本发明另一实施方式涉及的图像采集装置的示意图；

图5为本发明一实施方式涉及的图像采集方法的流程图；

图6为本发明另一实施方式涉及的图像采集方法的流程图；

附图标记说明：

110、智能电子设备；

120、图像采集单元；

130、图像处理单元；131、数字信号处理器；133、缓存模块；

140、应用处理单元(AP)；141、主控模块；143、存储模块；

151、第二控制线；152、第一控制线；153、第二数据线；154、第一数据线；

160、图像采集装置；

211、第三控制线；212、第三数据线；

221、第三控制线；222、第三数据线；

231、第三控制线；

321、第一控制接口；322、第一数据接口；323、第二控制接口；324、第二数据接口；

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

图1为本发明涉及的智能电子设备的实施例示意图。所述智能电子设备110可为智能手机、平板电脑、游戏机等任何具有拍照或摄像功能的电子设备。智能电子设备110可包括图像采集单元120、图像处理单元130、和应用处理单元140等各种硬件模块和电子元件。其中，图像采集单元120为具有采集图像/视频功能的电子元件，如照相头或摄像头。图像采集单元120可以接收外部控制指令，并根据外部控制指令来收集或设置图像采集参数，调整内部光学元件，并获取图像/视频。另外，图像采集单元120可以根据外部控制指令生成并输出相关的数据。

在一些实施例中，图像处理单元130为能够控制图像采集单元120，并处理控制指令和图像/视频数据的电子元件。具体来说，图像处理单元130有指令处理功能和数据处理功能。“指令处理功能”指处理用于控制图像采集单元120的控制指令，或者生成能够控制图像采集单元120的控制指令的能力；而“数据处理功能”指处理图像采集单元120生成的数据，或者生成与图像采集单元120生成的数据相关的数据的能力。应用处理单元140为能够控制图像采集单元120以及图像处理单元130的电子元件。应用处理单元140可为应用处理器(Application Processor,简称AP)、中央处理器(Central Processing Unit，简称CPU)、或者系统芯片(System on Chip,简称SoC)。在以下描述中，图像采集单元120简称为摄像头120，应用处理单元140简称为AP 140。

在一些实施例中，所述图像处理单130包括数字信号处理器131和缓存模块133。所述数字信号处理器131可为任何有数字信息处理功能的硬件模块，比如Digital SignalProcessor(简称DSP)。所述缓存模块133是为图像处理单元130提供各种数据存储的硬件存储模块(比如flash、RAM、ROM、Cache等)。所述AP 140包括主控模块141和存储模块143，所述主控模块141可为任何具有计算处理能力的硬件模块(比如CPU、DSP等)。所述存储模块143是为AP 140提供各种数据存储的功能的硬件存储模块。图像处理单元130通过第一控制线152和第一数据线154与AP 140相连；图像处理单元130通过第二控制线151和第二数据线153与摄像头120相连。

在一些实施例中，“控制线”和“数据线”为用于传送电子信息的电子连线。“控制线”指用于传送一个或多个用于控制摄像头120的控制指令的电子连线，而“数据线”指用于传送一组或多组与摄像头120相关的数据的电子连线。根据不同的需求，电子连线可以设计为单向或双向传输。在单向传输时，电子连线的一端连接一个处理单元的“发送接口”，另一端连接另外一个处理单元的“接收接口”。电子信息从一个处理单元的发送接口传送到电子连线的一端，再通过电子连线传送到与其另一端相连的另一个电子单元的接收接口。在双向传输时，根据电子信息的传送方向，与电子连线接收电子信息的一端相连的可视为发送接口，与电子连线发送电子信息的一端相连的可视为接收接口。在另外一些实施例中，多根电子连线可以组成一个控制线或者数据线，多根控制线或数据线也可以共用同一根电子连线，一根电子连线可以在一个时间段用作控制线，在另外一个时间段用作数据线。附图中的数据线和控制线用箭头来标识其信息传输的方向。

在一些实施例中，AP 140有一个用于发送各种控制指令的“指令发送接口”，和一个用于接收各种数据的“数据接收接口”。而摄像头120有一个用于接收各种控制指令“指令接收接口”，和一个用于发送各种数据的“数据发送接口”。因此，AP 140可以用一根控制线与一根数据线与摄像头120直接相连。这样，在没有图像处理单元130的参与下，AP 140经其指令发送接口发出的控制指令，可以通过该根控制线直接传送到摄像头120的指令接收接口，而摄像头120采集的图像信息数据也可以经其数据发送接口，通过该根数据线直接传输回AP 140的数据接收接口。

在一些实施例中，图像处理单元130可设置在摄像头120和AP 140之间，用于对AP140发出的控制指令和摄像头120采集的数据作出传递和优化的处理。具体来说，图像处理单元130有一个用于接收控制指令的“指令接收接口”，一个用于发送控制指令的“指令发送接口”，一个用于接收数据的“数据接收接口”，和一个用于发送数据的“数据发送接口”。第一控制线152连接AP 140的指令发送接口和图像处理单元130的指令接收接口；第二控制线151连接图像处理单元130的指令发送接口和摄像头120的指令接收接口；第二数据线153连接摄像头120的数据发送接口和图像处理单元130的数据接收接口；第一数据线154连接图像处理单元130的数据发送接口和AP 140的数据接收接口。

在一些实施例中，由AP 140生成的或发送出的控制指令，可称为“第一控制指令”，包括用于控制摄像头120的指令以及相关的各种采集参数，也包括用于控制图像处理单元130的指令以及相关的各种信息。从图像处理单元130发出的控制指令可以视为“第二控制指令”，包括用于控制摄像头120的指令以及相关的各种采集参数。换句话说，第二控制指令可以是根据第一控制指令生成的。第二控制指令也可以包括部分或者全部第一控制指令，包括根据第一控制指令而生成的指令，包括与第一控制指令无关的指令，或者上述几种指令的各种组合。比如，图像处理单元130可以对第一控制指令进行重复、拷贝、添加、修改、替换、删除等各种操作而生成第二控制指令，也可以不根据第一控制指令而单独生成第二控制指令。

在一些实施例中，由摄像头120生成的或发送出的数据，可称为“第一数据”，包括其采集的图像以及与这些图像相关的各种采集参数。而从图像处理单元130发出的“第二数据”，则包括与摄像头120提供的第一数据相关的数据，也可以包括图像处理单元130自我生成的数据。换句话说，第二数据可以是根据第一数据而生成的。比如，图像处理单元130可以对第一数据进行重复，添加，修改，替换，删除等操作而生成第二数据。第二数据也可以与第一数据无关，即图像处理单元130不根据第一数据，而独立自我生成第二数据。在一些实施例中，第一数据包括一帧或多帧的图像(“第一图像”)，图像处理单元130对这些图像进行优化处理后，生成的第二数据也为一帧或者多帧的图像(“第二图像”)。图像处理单元130对第一图像进行的优化包括：平移、旋转、合并、分割、去噪声等操作。优选的，第一图像和第二图像为同一格式。

在一些实施例中，AP 140通过其指令发送接口发送出的第一控制指令，可以发送给图像处理单元130，也可以发送给摄像头120。而AP 140通过数据接收接口接收到的数据，可以是从图像处理单元130传送来的，也可以是从摄像头120传送来的。因此，对于AP 140来说，图像处理单元130可视为如同摄像头120。就是说，AP 140通过第一控制线152发送各种指令给图像处理单元130，如同AP 140直接将这些指令发送给摄像头120。而AP 140通过第一数据线154从图像处理单元130处接收到的各种数据，如同AP 140直接从摄像头120接收到这些数据。

在一些实施例中，摄像头120通过其指令接收接口接收到的控制指令，可以是从图像处理单元130传送来的，也可以是从AP 140传送来的。而摄像头120通过其数据发送接口发送出的第一数据，可以发送给图像处理单元130，也可以发送给摄像头120。因此，对于摄像头120来说，图像处理单元130可视为如同AP 140。就是说，摄像头120通过第二控制线151从图像处理单元130接收到的各种指令，如同摄像头120直接从AP 140接收这些指令。而摄像头120通过第二数据线153发送给图像处理单元130的第一数据，如同摄像头120直接将这些数据发送给AP 140。所以，对于用一个控制线和一根数据线将摄像头120与AP 140直接连接的架构方案，可以参考图1的设计，将图像处理单元130嵌入在摄像头120和AP 140的数据交换之中，同时不必对摄像头120和AP 140的功能作大量的修改。

在一些实施例中，图像处理单元130通过第一控制线152接收从AP 140发出的第一控制指令，根据第一控制指令生成第二控制指令，再通过第二控制线151将第二控制指令发送给摄像头120，该第一控制指令或第二控制指令可用于控制摄像头120。比如，第一控制指令或第二控制指令可以用于调节摄像头120的光圈大小、快门时间和增益、曝光参数、ISO设置、白平衡，可以用于调节摄像头120所要采集的图像的大小、帧率，也可以用于控制摄像头120采集图像。之后，摄像头120根据接收到的第一控制指令或者第二控制指令，操控其内部摄像结构并产生第一数据(包括，摄像头120的各种参数、采集的图像以及图像参数)，并将第一数据通过第二数据线153传送给图像处理单元130。图像处理单元130根据第二数据生成第二数据后，再通过第一数据线154将第二数据发送给AP 140。AP 140从第一数据线154收到的第二数据，可作为对从第一控制线152发出的第一控制指令的直接回复。

在一个AP 140直接连接并控制摄像头120的架构中，AP 140需要发送一个摄像头120完全支持和匹配的第一控制指令，才能对摄像头120进行有效的操控。因此，对于不同厂家或者型号的摄像头120，AP 140需要提供个性化、相应且不同的第一控制指令。而在图1的架构中，图像处理单元130可以在接收到AP 140发送的第一控制指令后，通过发送第二控制指令对摄像头120进行个性化的操控。因此，AP 140只需要发出一个标准的、通用的第一控制指令，再由图像处理单元130针对不同的厂家或型号的摄像头120生成一个或多个匹配的第二控制指令。这样，图像处理单元130可以帮助AP 140实现对不同厂家或型号的摄像头120的个性化支持。

在一些实施例中，图像处理单元130能够帮助AP 140用摄像头120不支持的第一控制指令，来控制摄像头120。换句话说，虽然AP140希望用未被支持的第一控制指令来操控摄像头120，但是如果将该第一控制指令直接发送给摄像头120，摄像头120要么无法理解该第一控制指令，要么无法根据该第一控制指令作出相应的操作。在这种情况下，图像处理单元130可以根据该第一控制指令生成一个或多个摄像头120支持的第二控制指令。之后，摄像头120将根据第二控制指令而获取的第一数据传送给图像处理单元130，图像处理单元130再对这些第一数据进行处理后，生成第二数据并将第二数据作为对未被支持的第一控制指令的回复，传送给AP 140。这样，图像处理单元130可以帮助AP 140支持本来并不支持的摄像头120。

在一些实施例中，图像处理单元130根据第一控制指令而生成的第二控制指令与第一控制指令相同。比如，AP 140发出的第一控制指令为采集摄像头120的设置参数的指令，而摄像头120支持该第一控制指令，则图像处理单元130可以生成一个与第一控制指令相同的第二控制指令(或者直接将第一控制指令作为第二控制指令)，并将该第二控制指令发送给摄像头120。

在一些实施例中，图像处理单元130可以增强AP 140发出的第一控制指令。图像处理单元130根据第一控制指令而生成的第二控制指令与第一控制指令不同。比如，AP 140发出的第一控制指令为要求摄像头120聚焦的指令。图像处理单元130可以根据该第一控制指令生成多个相应的第二控制指令。这些第二控制指令在要求摄像头120聚焦的指令基础上，还包括要求摄像头120调节光圈和快门速度的指令。这样，图像处理单元130可以帮助AP140实现其并不拥有的操控摄像头120的功能(比如自动/半自动光圈、快门调节功能)。

另外，在没有图像处理单元130的架构(即摄像头120和AP 140直接相连的架构)中，如果需要用多帧图像合并为一帧图像，AP 140需要先对摄像头120发送多个第一控制指令，每个第一控制指令控制摄像头120采集一帧图像。之后，摄像头120根据这些第一控制指令采集多帧图像后，将这些图像传送给AP 140。AP 140再对这些图像进行合并处理后，才能生成一帧合成图像。而在有图像处理单元130参与的架构(比如图1显示的架构)中，AP 140只需要发送一个“采集多图像合成处理”的第一控制指令给图像处理单元130。图像处理单元130在接收到该第一控制指令后，可以生成多个第二控制指令，每个第二控制指令用于控制摄像头120采集一帧图像。之后，摄像头120根据这些第二控制指令采集多帧图像，并将采集这些图像传送给图像处理单元130。图像处理单元130将这些图像合成为一帧图像，再将合成的图像作为回复第一控制指令的数据，传送给AP 140。这样，图像处理单元130可以帮助AP 140实现更复杂的图像处理功能。

在一些实施例中，AP 140可以发送一个“采集一张图像”的第一控制指令给图像处理单元130。在AP 140不知情的状况下，图像处理单元130根据该第一控制指令生成一个或多个第二控制指令，每个第二控制指令用于控制摄像头120采集一帧图像。摄像头120根据这些第二控制指令采集多帧图像，并将采集的这些图像传送给图像处理单元130。图像处理单元130将这些图像合成为一帧图像后，再作为对第一控制指令的回复，传送给AP 140。这样，图像处理单元130不但可以有效地减轻AP 140的负担，还可以提供AP 140不支持的图像处理功能。

在一些实施例中，图像处理单元130根据摄像头120反馈回的第一数据，来生成更多的控制指令(“第三控制指令”)。具体来说，图像处理单元130在接收到AP 140发送的一个第一控制指令后，生成一个第二控制指令并发送给摄像头120。之后，摄像头120根据该第二控制指令，生成相关的第一数据，并通过第二数据线153将该第一数据传送给图像处理单元130。图像处理单元130根据收到的摄像头120提供的第一数据，再生成一个或多个第三控制指令，并将这些第三控制指令再次通过第二控制线151传送给摄像头120。上述根据摄像头120提供的第一数据而生成第三控制指令并再次传送给摄像头120的操作可以重复多次。这样，图像处理单元130可以在AP 140不参与的情况下，持续操控摄像头120。

比如，图像处理单元130通过第二数据线153接收摄像头120收集的采集参数。所述采集参数包括以下参数中的一项或多项：摄像头120的光圈大小、快门时间和增益、曝光参数，ISO设置、白平衡、摄像头120所要采集的图像的大小、帧率，以及摄像头120采集图像所需的控制参数。根据这些采集参数，图像处理单元130生成一个或多个第三控制指令，并通过第二控制线151将第三控制指令发送给摄像头120。这样，图像处理单元130不仅可以主动设置摄像头120的采集参数，也可以根据摄像头120自身的反馈情况(如当前光照强弱、光圈大小等)，对摄像头120进行进一步调整，以便确保摄像头120获取的图像效果更好。

在一些实施例中，AP 140可以不发送任何第一控制指令，而通过图像处理单元130生成的第二控制指令，来对摄像头120实现操控。具体来说，图像处理单元130在了解AP 140的需求的前提下，独立产生一个或者多个第二控制指令并传送给摄像头120。摄像头120将根据第二控制指令生成的第二数据传送回图像处理单元130。图像处理单元130再对这些第二数据进行处理后传送给AP 140。比如，智能电子设备110希望摄像头120在不停地移动中，能够对外景持续保持对焦，并随时提供实时图像(LiveView)。在这种需求下，图像处理单元130可以在没有第一控制指令的前提下，每隔一段时间发送一个“调整对焦”的第二控制指令给摄像头120。在这一系列“调整对焦”的第二控制指令下，摄像头120能够保证随时抓取对焦准确的图像。同时，摄像头120在每次调整焦距后，会快速生成一帧图像提供给图像处理单元130。图像处理单元130再将这帧图像作为第二数据发送给AP 140用于实时图像。因此，图像处理单元130可进一步减轻AP 140的负担，并提高其图像采集效率，优化了智能电子设备110的系统性能。

在一些实施例中，图像处理单元130的指令处理功能和数据处理功能是通过AP140提供的，数字信号处理器131执行/运行的一个或多个插件来实现的。所述“插件”指可存储在缓存模块133或存储模块143中，以软件或者硬件形式存在的指令、代码、或程序。在实际操作中，数字信号处理器131从缓存模块133中提取出这些插件，并通过对插件的运行/执行，来实现插件所包含的逻辑和功能。比如，“摄像头控制插件”是一个具有对摄像头120实施控制功能的插件程序。“图像处理插件”是一个具有对摄像头120采集的图像实施优化处理功能的插件程序。而“单元控制插件”是一个可提供图像处理单元130本身功能的插件程序。

在一些实施例中，数字信号处理器131通过运行摄像头控制插件，来生成摄像头120采集图像时所需的采集参数，并将这些采集参数以第二控制指令的形式传送给摄像头120。数字信号处理器131通过运行图像处理插件，来根据摄像头120采集的图像生成优化图像，并将优化图像以第二数据的形式传送给AP 140。数字信号处理器131还可以通过运行单元控制插件，来实现图像处理单元130本身需要的各种功能。在另一些实施例中，上述的插件可以设计为图像处理单元130中的一个或者多个硬件模块，来实现相似的功能。

在一些实施例中，摄像头控制插件、图像处理插件、和单元控制插件可以由图像采集单元130或AP 140来运行。就是说，不但图像处理单元130的数字信号处理器131可以运行这些插件，AP 140的主控模块141同样也可以运行这些插件。在一些特定的情况下，像图像处理单元130发生损坏或者满载运行时，AP 140可以通过运行这些插件，来代替图像处理单元130的一些功能并减轻其负担。比如说，AP 140通过自己的主控模块141运行摄像头控制插件来处理第一控制指令并生成第二控制指令。之后，AP 140将第二控制指令传送给图像处理单元130，并指挥图像处理单元130对第二控制指令不作任何处理直接传输给摄像头120。相似地，AP 140要求图像处理单元130对从摄像头120获取的第一数据不经处理而直接传送给AP 140。AP 140再通过自己的主控模块141运行图像处理插件，利用自己的存储模块143，来处理第一数据并生成第二数据。

在一些实施例中，各种插件可以预先存储在AP 140的存储模块143中，再通过一个“插件上载操作”，传送给图像处理单元130并存储在其缓存模块133。比如，智能电子设备110在启动时，可以发送一个启动指令给AP 140。AP 140在接收到该启动指令后，开始实施该插件上载操作。具体来说，AP 140通过一根与图像处理单元130相连的数据线(比如，第一控制线152、第一数据线154、或者一根未在图1显示的插件传输线路)，将存储模块143中的一个或多个插件传送给图像处理单元130，并由其存储在自己的缓存模块133中以便调用。当图像处理单元130或者智能电子设备110断电后，存储与缓存模块133中的各种插件可以被清除。相较于将插件固化于图像处理单元130中的智能电子设备110而言，上述即时传送插件的方案可以有效减少图像处理单元130的硬件面积，节约硬件成本。另外，在智能电子设备110的正常运行中，AP 140可以实施上述插件上载操作，来随时替换或者更改插件。

图2-A至图2-C为本发明涉及的智能电子设备的架构的几种实施例。图2-A至图2-C中的模块和电子线路，与图1中同样命名或标号的模块和电子线路相对应。在图1中，图像处理单元130可以直接控制摄像头120，并直接从摄像头120处获取其生成的第一数据；而AP140可以通过图像处理单元130，间接控制摄像头120，并间接获取摄像头120生成的数据。与之相对比的，图2-A和图2-B中，AP140和图像处理单元130分别可以直接控制摄像头120，并直接从摄像头120处获取其生成的第一数据。另外，AP140和图像处理单元130可以相互配合，共同分担控制摄像头120的操作，并一起处理摄像头120生成的第一数据。

图2-A显示本发明涉及的摄像头双控制架构的一些实施例。在图2-A中，图像处理单元130通过第一控制线152和第一数据线154与AP 140相连；图像处理单元130通过第二控制线151和第二数据线153与摄像头120相连。相比图1显示的架构，在第一控制线152和第二控制线151的基础上，AP 140还与摄像头120有选择地通过一条第三控制线211相连。在第一数据线154和第二数据线153基础上，摄像头120还与AP 140有选择地通过一条第三数据线212相连。在不同的实施例中，第三控制线211与第三数据线212可以一根存在而另外一根不存在，或者同时存在。

在图2-A的架构下，第一控制线152与第三控制线211同时与AP 140的指令发送接口相连；第二控制线151与第三控制线211同时与摄像头120的指令接收接口相连。这样，从AP 140发出的第一控制指令，可以同时或者几乎同时通过第一控制线152和第三控制线211传输到图像处理单元130和摄像头120。换句话说，AP 140可以通过第三控制线211直接控制摄像头120。而图像处理单元130可以根据通过第一控制线152接收到的第一控制指令，来判断是否参与、以及如何参与AP 140控制摄像头120的操作。同样的，图像处理单元130也可以根据接收到的第一控制指令，来判断是否处理、以及如何处理从第二数据线153接收到的，摄像头120传送来的第一数据。

在一些实施例中，AP140和图像处理单元130同时参与对摄像头120的直接操控。具体来说，AP 140通过第三控制线211将第一控制指令发送到摄像头120之后，图像处理单元130根据通过第一控制线152接收到的第一控制指令，再生成一个或者多个第二控制指令，并将这些第二控制指令通过第二控制线151发送给摄像头120。就是说，摄像头120能够接收到第一控制指令和第二控制指令。由于需要经过图像处理单元130的处理，摄像头120会先收到第一控制指令，再延迟收到第二控制指令。根据接收到的第一控制指令和后续收到的第二控制指令，摄像头120能够生成相应的第一数据，并将这些第一数据通过第二数据线153传输给图像处理单元130。图像处理单元130对第一数据进行处理和优化并生成第二数据后，将第二数据作为对第一控制指令的回复，通过第一数据线154传输给AP 140。

在一些实施例中，图像处理单元130不参与对摄像头120的操控，最多参与对摄像头120生成的图像的处理。具体来说，图像处理单元130从第一控制线152接收到第一控制指令后，并不生成第二控制指令。在这种情况下，摄像头120只会收到第一控制指令而不会收到第二控制指令，并只能根据第一控制指令来生成相应的第一数据。图像处理单元130能够根据第一控制指令，对第一数据进行处理和优化并生成第二数据。之后，图像处理单元130将第二数据作为对第一控制指令的回复，通过第一数据线154传输给AP 140。

在一些实施例中，AP 140可以通过第一控制线152传送一个“关闭指令”给图像处理单元130，用于关闭部分或全部图像处理单元130的指令处理功能。这样，图像处理单元130不再传送任何第二控制指令给摄像头120，而AP 140依然可以通过第三控制线211来传送第一控制指令给摄像头120。在另外一些情况下，当图像处理单元130发生损坏，导致其指令处理功能失效时，AP 140仍然可以通过第三控制线211直接对摄像头120进行控制，从而提高了智能电子设备110整体的系统性能。

在图2-A的架构下，第一数据线154与第三数据线212同时与AP 140的数据接收接口相连；第二数据线153与第三数据线212同时与摄像头120的数据发送接口相连。这样，从摄像头120发出的第一数据，可以同时或者几乎同时通过第二数据线153和第三数据线212传输到图像处理单元130和AP140。换句话说，AP 140和图像处理单元130都可以直接从摄像头120处直接接收到第一数据。图像处理单元130可以根据通过第一控制线152接收到的第一控制指令，来判断是否处理、以及如何处理从第二数据线153接收到的第一数据。在一些实施例中，图像处理单元130根据其接收到的第一数据，再生成一个或者多个第二数据，并将这些第二数据通过第一数据线154发送给AP 140。由于图像处理单元130生成第二数据需要时间，AP 140会先接收第一数据，再延迟收到第二数据。

在一些实施例中，图像处理单元130不参与AP 140对第一数据的处理。具体来说，图像处理单元130从第二数据线153接收到第一数据后，不作任何处理，也不生成第二数据。在这种情况下，AP 140只会收到第一数据而不会收到第二数据。在另外一些实施例中，AP140可以通过第一控制线152传送一个关闭数据处理的指令给图像处理单元130，用于关闭部分或全部图像处理单元130的数据处理功能。这样，图像处理单元130不再传送任何第二数据给AP 140，而AP 140依然可以通过第三数据线212接收摄像头120发送的第一数据。关闭图像处理单元130的数据处理功能可以确保在图像处理单元130发生损坏，导致其数据处理功能失效时，AP 140仍然可以通过第三控制线212直接接收摄像头120发送的第二数据，从而提高了智能电子设备110整体的系统性能。

图2-B显示本发明涉及的摄像头双控制架构的另一些实施例。在图2-B中，AP 140为一个可以控制双镜头的处理单元。就是说，AP 140有两个指令发送接口(简称为第一指令发送接口和第二指令发送接口)，和两个数据接收接口(简称为第一数据接收接口和第二数据接收接口)，用于和两个摄像头120直接相连。在图2-B中，通过与图像处理单元130的合作，AP 140可以对一个摄像头120实现更灵活的双控制。具体来说，图像处理单元130通过第一控制线152和第一数据线154与AP 140相连；图像处理单元130通过第二控制线151和第二数据线153与摄像头120相连。相比图1显示的架构，在第一控制线152和第二控制线151的基础上，AP 140还与摄像头120有选择地通过一条第三控制线221相连。在第一数据线154和第二数据线153基础上，摄像头120还与AP 140有选择地通过一条第三数据线222相连。在不同的实施例中，第三控制线221与第三数据线222可以一根存在而另外一根不存在，或者同时存在。

在图2-B的双指令发送架构下，AP 140的第一指令发送接口与第一控制线152相连，AP 140的第二指令发送接口与第三控制线221相连。第二控制线151与第三控制线221同时与摄像头120的指令接收接口相连。由于第三控制线221与第一控制线152与不同的指令发送接口相连，AP 140可以通过多种渠道，并有多种选择来发送控制指令。在图2-B中，AP140采用第一指令发送接口来发送的控制指令可称为第一控制指令，而采用第二指令发送接口来发送的控制指令可称为“第三控制指令”。AP 140可以同时采用第一指令发送接口和第二指令发送接口，来发送有同样内容的第一控制指令和第三控制指令；或同时采用第一指令发送接口和第二指令发送接口，来发送不同内容的第一控制指令和第三控制指令。另外，AP 140可以异时采用第一指令发送接口和第二指令发送接口，来发送相同的或者不同的第一控制指令和第三控制指令。换句话说，AP 140可以先采用第一指令发送接口，后采用第二指令发送接口(或者先采用第二指令发送接口，后采用第一指令发送接口)，来发送第一控制指令和第三控制指令。

在一些实施例中，AP 140可以通过第三控制线221发送一个第三控制指令至摄像头120，同时发送另外一个第一控制指令给图像处理单元130。在这种情况下，AP 140可以直接控制摄像头120，让其按照第三控制指令进行图像采集。而图像处理单元130可以根据其收到的第一控制指令，来判断是否参与、以及如何参与AP 140对摄像头120的控制。具体来说，图像处理单元130根据其收到的第一控制指令，可以选择不生成第二控制指令；或者选择生成一个或者多个第二控制指令，并将这些第二控制指令通过第二控制线151发送给摄像头120。之后，对于从摄像头120收到的第一数据，图像处理单元130可以来判断是否处理、以及如何处理第一数据生成第二数据，再将第二数据传输给AP 140。

在一些实施例中，AP 140可以通过第三控制线221直接发送一个第三控制指令至摄像头120，而不通过第一控制线152发送任何第一控制指令给图像处理单元130。在这种情况下，AP 140绕过图像处理单元130直接控制摄像头120并进行图像采集。而摄像头120获取的第一数据可以通过第二数据线153传送给图像处理单元130。当图像处理单元130在对第三控制指令不知情的状况下收到摄像头120传送来的第一数据时，它可以直接将第一数据通过第一数据线154传递给AP 140，也可以按照预先约定的处理方式，根据这些第一数据生成第二数据，再将第二数据传输给AP 140。

在一些实施例中，AP 140可以通过第一控制线152发送一个第一控制指令至图像处理单元130，同时通过第三控制线221发送一个第三控制指令至摄像头120。发送给图像处理单元130和摄像头120的第一控制指令和第三控制指令可以相同，也可以不同。比如，AP140发送一个“拍摄视频”的第三控制指令给摄像头120，同时发送一个“优化视频”的第一控制指令给图像处理单元130。在摄像头120拍摄视频的过程中，图像处理单元130可以根据通过第二数据线153收到的，摄像头120发送的第一数据(即组成视频的多帧图像)，来生成可以优化视频的一系列图像采集参数。之后，图像处理单元130将这些图像采集参数嵌入第二控制指令，通过第二控制线151发送给摄像头120，用于摄像头120在拍摄的过程中，随时调整其配置以便获取最佳拍摄效果。

在一些实施例中，AP 140也可以先发送一个第三控制指令给摄像头120，再发送一个第一控制指令给图像处理单元130；或者先发送给图像处理单元130，再发送给摄像头120。比如，AP 140可以先发送一个“优化图像”的第一控制指令给图像处理单元130，再发送一个“采集图像”的第三控制指令给摄像头120。图像处理单元130根据所收到的“优化图像”指令，可以生成并发送第二控制指令(比如“开启光学防抖”)给摄像头120。根据这个第二控制指令和后续收到的第三控制指令，摄像头120可以先开启光学防抖功能，再采集图像。

在一些实施例中，AP 140可以通过第一控制线152传送一个关闭指令给图像处理单元130，用于关闭部分或全部图像处理单元130的指令处理功能。这样，图像处理单元130不再传送任何第二控制指令给摄像头120，而AP 140依然可以通过第三控制线221来传送第三控制指令给摄像头120。在另外一些情况下，当图像处理单元130发生损坏，导致其指令处理功能失效时，AP 140仍然可以通过第三控制线221直接对摄像头120进行控制，从而提高了智能电子设备110整体的系统性能。

在图2-B的双数据接收架构下，AP 140的第一数据接收接口与第一数据线154相连，AP 140的第二数据接收接口与第三数据线222相连。第二数据线153与第三数据线222同时与摄像头120的数据发送接口相连。由于AP 140可以从摄像头120直接接收到第一数据，也可以从图像处理单元130直接接收到第二数据，AP 140可以有多个渠道，和多种选择来接收或处理第一数据和第二数据。比如，AP 140可以采用第一数据接收接口来接收第二数据，或采用第二数据接收接口(但不采用第一数据接收接口)来接收第一数据。AP140可以同时采用第一数据接收接口和第二数据接收接口，来分别接收第二数据和第一数据。之后，AP140可以对第一数据和第二数据作进一步的处理。

在一些实施例中，图像处理单元130从第二数据线153接收到第一数据后，对第一数据不作处理，也不生成第二数据。在这种情况下，AP 140只会收到第一数据而不会收到第二数据。在另外一些实施例中，AP 140可以通过第一控制线152传送一个关闭数据处理的指令给图像处理单元130，用于关闭部分或全部图像处理单元130的数据处理功能。这样，图像处理单元130不再传送任何第二数据给AP 140，而AP 140依然可以通过第三数据线222接收摄像头120发送的第一数据。关闭图像处理单元130的数据处理可以确保在图像处理单元130发生损坏，导致其数据处理功能失效时，AP 140仍然可以通过第三控制线222直接接收摄像头120发送的第一数据，从而提高了智能电子设备110整体的系统性能。

图2-C显示本发明涉及的简化的摄像头双控制架构的一些实施例。相比图1所示的架构，图2-C所示的架构省去了连接图像处理单元130和摄像头120的第二控制线151，增加了连接AP 140和摄像头120的第三控制线231。假设有一个没有图像处理单元130参与的，AP140与摄像头120通过一个控制线和一根数据线相连的现有架构方案。按照图2-C所示的架构，只要对这个现有架构方案作少许的变动，就能开发出一个嵌入了图像处理单元130的新架构方案。比如，新架构方案中只需根据现有架构方案加入图像处理单元130和第一控制线152。现有架构方案中的控制线可以作为图2-C中的第三控制线231在新架构方案中予以保留。另外，现有架构方案中的数据线可以重新布局为图2-C中的第二数据线153和第一数据线154。采用这种修改现有架构方案来设计新架构方案的方法，摄像头120和AP 140的功能不用作任何修改，而图像处理单元130的数据处理功能，则能够在新架构方案中充分发挥。

在一些实施例中，AP 140可以通过第一控制线152或者第三控制线231将第一控制指令传松到图像处理单元130和摄像头120，而图像处理单元130不参与对摄像头120的直接控制，只参与对摄像头120生成的第一数据进行优化处理。比如，AP 140将包含了图像采集参数的第一控制指令，通过第三控制线231传输至摄像头120。摄像头120根据图像采集参数采集一张图像，并通过第二数据线153将图像发送至图像处理单元130。而后图像处理单元130根据从第一控制线152接收到的第一控制指令，对摄像头120采集的图像进行优化，再通过第一数据线154将优化的图像发送至AP 140。

图3为本发明另一实施方式涉及的图像处理单元的示意图。所述图像处理单元130包括第一控制接口321，第二控制接口323，第一数据接口322和第二数据接口324；

第一控制接口321和第一数据接口322用于与一个应用处理单元沟通；

第二控制接口323和第二数据接口324用于与一个图像采集单元沟通；

所述图像处理单元130用于通过第一控制接口322接收从应用处理单元发出的第一控制指令，并通过第二控制接口323将第二控制指令发送给图像采集单元，该第一控制指令或第二控制指令用于控制图像采集单元，并通过第二数据接口324接收图像采集单元生成的第一图像。

在本实施方式中，图像处理单元130根据第一控制指令生成第二控制指令。例如现在需要图像采集单元按照应用处理单元发送的第一控制指令所包含的采集参数进行采集多个图像，并需要对采集后的多个图像进行合并处理，图像处理单元通过第一控制接口321接收到第一控制指令后，将生成第二控制指令，第二控制指令中包括了图像采集单元的采集参数，而后将第二控制指令通过第二控制接口323发送给图像采集单元。当图像处理单元130通过第二数据接口324接收到图像采集单元发送的多张第一图像后，将对多张第一图像进行合并，再通过第一数据接口322发送给应用处理单元，从而有效减轻了应用处理单元的负担，提高了系统性能。

在另一些实施方式中，第一控制指令和第二控制指令相同。例如第一控制指令和第二控制指令均为对图像采集单元的采集参数设置指令，则图像处理单通过第一控制接口321接收到应用处理单元发送的第一控制指令后，将通过第二控制接口323对图像采集单元发起第二控制命令，第二控制命令中包含了图像采集单元的采集参数。这样，图像处理单元可以通过接收应用处理单元发送的第一控制指令，并生成第二控制指令对图像采集单元进行有效控制，很好地减轻了应用处理单元在图像采集时的负担，有效提高了采集效率。

在本实施方式中，图像处理单元130用于通过第二数据接口324接收图像采集单元采集的采集参数，根据该采集参数生成第三控制指令，并通过第二控制接口323将第三控制指令发送给图像采集单元。优选的，所述采集参数包括以下参数中的一项或多项：调节图像采集单元的光圈大小、快门时间和增益、曝光参数，调节图像采集单元所要采集的图像的大小、帧率，以及控制图像采集单元采集图像。这样，图像处理单元不仅可以主动设置图像采集单元的采集参数，也可以根据图像采集单元自身的反馈情况(如当前光照强弱、光圈大小等)，对图像采集单元的采集参数进行进一步调整，以便使得图像采集单元所采集的第一图像效果更好。

在本实施方式中，所述图像处理单元130包括数字信号处理器131和缓存模块133。所述缓存模块133用于缓存第一图像采集单元控制插件；所述数字信号处理器131用于通过第一数据接口322接收第一图像采集单元控制插件，并将第一图像采集单元控制插件存储于缓存模块133中，并用于根据第一控制接口321接收到的第一控制指令，获取缓存模块133中的第一图像采集单元控制插件并执行，以确定第一控制指令对应的图像采集单元的参数配置信息，并通过第二控制接口323将包含上述参数配置信息的第二控制指令发送至图像采集单元。

在本实施方式中，所述图像处理单元130还用于通过对第一图像进行优化生成第二图像，并将该第二图像通过第一数据接口传输到应用处理单元。第一图像进行优化生成第二图像包括但不限于：对第一图像进行平移、旋转、合并、分割、去噪声等操作，以得到第二图像。优选的，第一图像和第二图像为同一格式。

如图4所示，为本发明另一实施方式涉及的图像采集装置的示意图。所述图像采集装置160包括图像处理单元130和AP 140；所述图像处理单元包括第二控制接口323和第二数据接口324；

图像处理单元130通过第一控制线和第一数据线与应用处理单元相连；

所述图像处理单元130通过第一控制线152接收从AP 140发出的第一控制指令，并通过第二控制接口323发送第二控制命令至图像采集单元，该第一控制指令或第二控制指令用于控制图像采集单元，并通过第二数据接口324接收图像采集单元生成的第一图像。

在本实施方式中，图像处理单元130根据第一控制指令生成第二控制指令。例如现在需要图像采集单元按照应用处理单元发送的第一控制指令所包含的采集参数进行采集多个图像，并需要对采集后的多个图像进行合并处理，图像处理单元通过第一控制线152接收从AP 140接收到第一控制指令后，将生成第二控制指令，第二控制指令中包括了图像采集单元的采集参数，而后将第二控制指令通过第二控制接口323发送给图像采集单元。当图像处理单元130通过第二数据接口324接收到图像采集单元发送的多张第一图像后，将对多张第一图像进行合并，再通过第一数据线154发送给应用处理单元，从而有效减轻了应用处理单元的负担，提高了系统性能。

在另一些实施方式中，第一控制指令和第二控制指令相同。例如第一控制指令和第二控制指令均为对图像采集单元的采集参数设置指令，则图像处理单通过第一控制线152接收到应用处理单元发送的第一控制指令后，将通过第二控制接口323对图像采集单元发起第二控制命令，第二控制命令中包含了图像采集单元的采集参数。这样，图像处理单元可以通过接收应用处理单元发送的第一控制指令，并生成第二控制指令对图像采集单元进行有效控制，很好地减轻了应用处理单元在图像采集时的负担，有效提高了采集效率。

在本实施方式中，图像处理单元130用于通过第二数据接口324接收图像采集单元采集的采集参数，根据该采集参数生成第三控制指令，并通过第二控制接口323将第三控制指令发送给图像采集单元。优选的，所述采集参数包括以下参数中的一项或多项：调节图像采集单元的光圈大小、快门时间和增益、曝光参数，调节图像采集单元所要采集的图像的大小、帧率，以及控制图像采集单元采集图像。这样，图像处理单元不仅可以主动设置图像采集单元的采集参数，也可以根据图像采集单元自身的反馈情况(如当前光照强弱、光圈大小等)，对图像采集单元的采集参数进行进一步调整，以便使得图像采集单元所采集的第一图像效果更好。

在本实施方式中，所述图像处理单元130包括数字信号处理器131和缓存模块133。所述缓存模块133用于缓存第一图像采集单元控制插件；所述数字信号处理器131用于通过第一数据线154接收AP 140第一图像采集单元控制插件，并将第一图像采集单元控制插件存储于缓存模块133中，并用于根据接收到的第一控制指令，获取缓存模块133中的第一图像采集单元控制插件并执行，以确定第一控制指令对应的图像采集单元的参数配置信息，并通过第二控制接口323将包含上述参数配置信息的第二控制指令发送至图像采集单元。

在本实施方式中，所述图像处理单元130还用于通过对第一图像进行优化生成第二图像，并将该第二图像通过第一数据线154传输到应用处理单元。第一图像进行优化生成第二图像包括但不限于：对第一图像进行平移、旋转、合并、分割、去噪声等操作，以得到第二图像。优选的，第一图像和第二图像为同一格式。

在本实施方式中，所述存储模块143还存储有第二图像采集单元控制插件；所述主控模块141还用于获取存储模块中的第二图像采集单元控制插件并执行，以确定图像采集单元的参数配置信息，并输出包含有上述参数配置信息的第一控制指令至图像采集单元。第二图像采集单元控制插件为具有对图像处理单元进行控制功能的插件程序，与第一图像采集单元控制插件不同的是，应用处理单元的主控模块可以通过运行第二图像采集单元控制插件来对图像采集单元进行直接控制，而第一图像采集单元控制插件则是由图像处理单元来运行。这样，即使当图像处理单元发生损坏，无法对图像采集单元进行控制时，应用处理单元也可以通过运行第二图像采集单元控制插件来对图像采集单元进行有效控制，有效提高了系统的安全性。

发明还提供了为本发明一实施方式涉及的图像采集方法的流程图，如图5所示，所述方法应用于智能电子设备，所述设备包括图像采集单元、图像处理单元和应用处理单元；图像处理单元通过第一控制线和第一数据线与应用处理单元相连；图像处理单元通过第二控制线和第二数据线与图像采集单元相连；所述方法包括以下步骤：

首先进入步骤S501图像处理单元通过第一控制线接收从应用处理单元发出的第一控制指令，并通过第二控制线将第二控制指令发送给图像采集单元。该第一控制指令或第二控制指令用于控制图像采集单元。而后进入步骤S502图像处理单元通过第二数据线接收图像采集单元生成的第一图像。较于原有仅有应用处理单元对图像采集单元进行控制的架构而言，图像处理单元也可以在接收到应用处理单元发送的第一控制指令后，通过发送第二控制指令实现对图像采集单元进行控制，有效减轻了应用处理单元在进行图像采集时负担，提高了图像采集效率，优化了系统性能。

在本实施方式中，应用处理单元通过第三控制线与图像采集单元相连；所示方法包括：当应用处理单元通过第三控制线将第一控制指令发送给图像采集单元后，图像处理单元再通过第二控制线将第二控制指令发送给图像采集单元。优选的，图像处理单元根据第一控制指令生成第二控制指令。例如现在需要图像采集单元按照应用处理单元发送的第一控制指令所包含的采集参数进行采集多个图像，并需要对采集后的多个图像进行合并处理，如果按照现有图像采集单元与应用处理单元直接相连的架构，采集完成后的图像仍需要在应用处理单元(如AP)进行合并处理，影响了图像采集处理效率。而采用本发明中的系统架构，图像处理单元在接收到第一控制指令后，将生成第二控制指令控制图像采集单元的采集参数，并直至多张图像全部获取完成后，再由图像处理单元发送给应用处理单元，从而有效减轻了应用处理单元的负担，提高了系统性能。

在另一些实施方式中，第一控制指令和第二控制指令相同。例如第一控制指令和第二控制指令均为对图像采集单元的采集参数设置指令，则图像采集单元的采集参数既可以由应用处理单元发送第一控制指令进行控制，也可以由图像处理单元发送第二控制指令进行控制。这样，即使在图像处理单元发生损坏的情况下，应用处理单元仍然可以通过第三控制线直接对图像采集单元进行控制，从而提高了智能电子设备整体的系统性能。

在本实施方式中，所述方法包括：图像处理单元通过第二数据线接收图像采集单元采集的采集参数，根据该采集参数生成第三控制指令，并通过第二控制线将第三控制指令发送给图像采集单元。优选的，所述采集参数包括以下参数中的一项或多项：调节图像采集单元的光圈大小、快门时间和增益、曝光参数，调节图像采集单元所要采集的图像的大小、帧率，以及控制图像采集单元采集图像。这样，图像处理单元不仅可以主动设置图像采集单元的采集参数，也可以根据图像采集单元自身的反馈情况(如当前光照强弱、光圈大小等)，对图像采集单元的采集参数进行进一步调整，以便使得图像采集单元所采集的第一图像效果更好。

在本实施方式中，所述图像处理单包括数字信号处理器和缓存模块；所述应用处理单元包括主控模块和存储模块，所述主控模块和存储模块连接。如图6所示，所述方法包括以下步骤：所述方法包括步骤：首先进入步骤S601存储模块存储第一图像采集单元控制插件；而后进入步骤S602主控模块在接收到第一启动指令后，通过第一数据线发送图像采集单元控制插件至图像处理单元；而后进入步骤S603数字信号处理器通过第一数据线接收第一图像采集单元控制插件，并将第一图像采集单元控制插件缓存于缓存模块中；而后进入步骤S604主控模块发送第一控制指令至图像处理单元；而后进入步骤S605数字信号处理器根据接收到的第一控制指令，获取缓存模块中的第一图像采集单元控制插件并执行，以确定第一控制指令对应的图像采集单元的参数配置信息，并通过第二控制线将包含上述参数配置信息的第二控制指令发送至图像采集单元；然后进入S606图像采集单元接收第二控制指令，并将图像采集单元的采集参数调整为第二控制指令中参数配置信息对应的采集参数，并获取第一图像。

第一启动指令可以为开启图像采集单元的指令，也可以为开启智能电子设备(如手机开机指令等)。简言之，第一图像采集单元控制插件事先存储于应用处理单元的存储模块中，当接收到第一启动指令后，应用处理单元的主控模块会将第一图像采集单元控制插件发送给图像处理单元，数字信号处理器会将所接收的第一图像采集单元存储于缓存模块中以便调用。第一图像采集单元控制插件为具有对图像处理单元进行控制功能的插件程序，当数字信号处理器运行第一图像采集单元控制插件后，将配置图像采集单元的采集参数，使得图像采集单元依据上述采集参数来采集图像，从而实现对图像采集单元的有效控制。由于第一图像采集单元控制插件是在应用处理单元接收到第一启动指令后才发送的，当图像处理单元断电后，可以清除缓存模块中的第一图像采集单元控制插件。相较于将第一图像采集单元控制插件固化于图像处理单元中的智能电子设备而言，可以有效减少图像处理单元的硬件面积，节约硬件成本。

在本实施方式中，所述应用处理单元还通过第三控制线直接与图像采集单元连接。所述存储模块还存储有第二图像采集单元控制插件。所述方法还包括：图像处理单元通过对第一图像进行优化生成第二图像，并将该第二图像通过第一数据线传输到应用处理单元。第一图像进行优化生成第二图像包括但不限于：对第一图像进行平移、旋转、合并、分割、去噪声等操作，以得到第二图像。优选的，第一图像和第二图像为同一格式。

在本实施方式中，所述应用处理单元还通过第三控制线直接与图像采集单元连接；所述存储模块存储有第二图像采集单元控制插件；所述方法包括：主控模块获取存储模块中的第二图像采集单元控制插件并执行，以确定图像采集单元的参数配置信息，并通过第三控制线将包含有上述参数配置信息的第一控制指令发送至图像采集单元。第二图像采集单元控制插件为具有对图像处理单元进行控制功能的插件程序，与第一图像采集单元控制插件不同的是，应用处理单元的主控模块可以通过运行第二图像采集单元控制插件来对图像采集单元进行直接控制，而第一图像采集单元控制插件则是由图像处理单元来运行。这样，即使当图像处理单元发生损坏，无法对图像采集单元进行控制时，应用处理单元也可以通过运行第二图像采集单元控制插件来对图像采集单元进行有效控制，有效提高了系统的安全性。

上述技术方案所述的智能电子设备、图像处理单元、图像采集装置以及和图像采集方法，通过图像处理单元和应用处理单元实现对图像采集单元的双控制，两者既可以单独对图像采集单元进行控制，设置图像采集单元的采集参数；又可以相互配合，由应用处理单元来控制图像采集单元进行采集图像数据，再由图像处理单元对图像数据进行处理，从而使得图像的采集处理变得并行化，有效提高了图像采集的效率，提高了系统性能。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。

本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (29)

1.一种智能电子设备，其特征在于，所述设备包括图像采集单元、图像处理单元和应用处理单元；

图像处理单元通过第一控制线和第一数据线与应用处理单元相连；

图像处理单元通过第二控制线和第二数据线与图像采集单元相连；

所述图像处理单元用于通过第一控制线接收从应用处理单元发出的第一控制指令，并通过第二控制线将第二控制指令发送给图像采集单元，该第一控制指令或第二控制指令用于控制图像采集单元，并通过第二数据线接收图像采集单元生成的第一图像；

所述图像处理单元包括数字信号处理器和缓存模块；所述应用处理单元包括主控模块和存储模块，所述主控模块和存储模块连接；

所述存储模块用于存储第一图像采集单元控制插件；

所述主控模块用于在接收到第一启动指令后，通过第一数据线发送图像采集单元控制插件至图像处理单元，并用于发送第一控制指令至图像处理单元；

所述缓存模块用于缓存第一图像采集单元控制插件；

所述数字信号处理器用于通过第一数据线接收第一图像采集单元控制插件，并将第一图像采集单元控制插件存储于缓存模块中，并用于根据接收到的第一控制指令，获取缓存模块中的第一图像采集单元控制插件并执行，以确定第一控制指令对应的图像采集单元的参数配置信息，并通过第二控制线将包含上述参数配置信息的第二控制指令发送至图像采集单元；

所述图像采集单元用于接收第二控制指令，并将图像采集单元的采集参数调整为第二控制指令中参数配置信息对应的采集参数，并获取第一图像。

2.如权利要求1所述的智能电子设备，其特征在于，应用处理单元通过第三控制线与图像采集单元相连；当应用处理单元用于通过第三控制线将第一控制指令发送给图像采集单元后，图像处理单元用于再通过第二控制线将第二控制指令发送给图像采集单元。

3.如权利要求2所述的智能电子设备，其特征在于，图像处理单元用于根据第一控制指令生成第二控制指令。

4.如权利要求1所述的智能电子设备，其特征在于，图像处理单元用于通过第二数据线接收图像采集单元采集的采集参数，根据该采集参数生成第三控制指令，并通过第二控制线将第三控制指令发送给图像采集单元。

5.如权利要求4所述的智能电子设备，其特征在于，所述采集参数包括以下参数中的一项或多项：调节图像采集单元的光圈大小、快门时间和增益、曝光参数，调节图像采集单元所要采集的图像的大小、帧率，以及控制图像采集单元采集图像。

6.如权利要求1所述的智能电子设备，其特征在于，应用处理单元通过第三控制线与图像采集单元相连；所述应用处理单元通过第三控制线将第三控制指令发送给图像采集单元，用于控制图像采集单元。

7.如权利要求1所述的智能电子设备，其特征在于，所述图像处理单元还用于通过对第一图像进行优化生成第二图像，并将该第二图像通过第一数据线传输到应用处理单元。

8.如权利要求1所述的智能电子设备，其特征在于，所述应用处理单元还通过第三控制线直接与图像采集单元连接；

所述存储模块还存储有第二图像采集单元控制插件；

所述主控模块还用于获取存储模块中的第二图像采集单元控制插件并执行，以确定图像采集单元的参数配置信息，并通过第三控制线将包含有上述参数配置信息的第一控制指令发送至图像采集单元。

9.一种图像处理单元，其特征在于，包括第一控制接口，第二控制接口，第一数据接口和第二数据接口；

第一控制接口和第一数据接口用于与一个应用处理单元沟通；

第二控制接口和第二数据接口用于与一个图像采集单元沟通；

所述图像处理单元用于通过第一控制接口接收从应用处理单元发出的第一控制指令，并通过第二控制接口将第二控制指令发送给图像采集单元，该第一控制指令或第二控制指令用于控制图像采集单元，并通过第二数据接口接收图像采集单元生成的第一图像；

所述图像处理单元包括数字信号处理器和缓存模块；

所述缓存模块用于缓存第一图像采集单元控制插件；

所述数字信号处理器用于通过第一数据接口接收第一图像采集单元控制插件，并将第一图像采集单元控制插件存储于缓存模块中，并用于根据第一控制接口接收到的第一控制指令，获取缓存模块中的第一图像采集单元控制插件并执行，以确定第一控制指令对应的图像采集单元的参数配置信息，并通过第二控制接口将包含上述参数配置信息的第二控制指令发送至图像采集单元。

10.如权利要求9所述的图像处理单元，其特征在于，图像处理单元根据第一控制指令生成第二控制指令。

11.如权利要求9所述的图像处理单元，其特征在于，应用处理单元通过第三控制线与图像采集单元相连；所述应用处理单元通过第三控制线将第三控制指令发送给图像采集单元，用于控制图像采集单元。

12.如权利要求9所述的图像处理单元，其特征在于，图像处理单元用于通过第二数据接口接收图像采集单元采集的采集参数，根据该采集参数生成第三控制指令，并通过第二控制接口将第三控制指令发送给图像采集单元。

13.如权利要求12所述的图像处理单元，其特征在于，所述采集参数包括以下参数中的一项或多项：调节图像采集单元的光圈大小、快门时间和增益、曝光参数，调节图像采集单元所要采集的图像的大小、帧率，以及控制图像采集单元采集图像。

14.如权利要求9所述的图像处理单元，其特征在于，所述图像处理单元还用于通过对第一图像进行优化生成第二图像，并将该第二图像通过第一数据接口发送到应用处理单元。

15.一种图像采集装置，其特征在于，所述装置包括图像处理单元和应用处理单元；所述图像处理单元包括第二控制接口和第二数据接口；

图像处理单元通过第一控制线和第一数据线与应用处理单元相连；

所述图像处理单元用于通过第一控制线接收从应用处理单元发出的第一控制指令，并通过第二控制接口发送第二控制命令至图像采集单元，该第一控制指令或第二控制指令用于控制图像采集单元，并通过第二数据接口接收图像采集单元生成的第一图像；

所述图像处理单元包括数字信号处理器和缓存模块；所述应用处理单元包括主控模块和存储模块，所述主控模块和存储模块连接；

所述存储模块用于存储第一图像采集单元控制插件；

所述主控模块用于在接收到第一启动指令后，通过第一数据线发送图像采集单元控制插件至图像处理单元，并用于通过第一控制线发送第一控制指令至图像处理单元；

所述缓存模块用于缓存第一图像采集单元控制插件；

所述数字信号处理器用于通过第一数据线接收第一图像采集单元控制插件，并将第一图像采集单元控制插件存储于缓存模块中，并用于根据接收到的第一控制指令，获取缓存模块中的第一图像采集单元控制插件并执行，以确定第一控制指令对应的图像采集单元的参数配置信息，并通过第二控制接口将包含上述参数配置信息的第二控制指令发送至图像采集单元。

16.如权利要求15所述的图像采集装置，其特征在于，图像处理单元用于根据第一控制指令生成第二控制指令。

17.如权利要求15所述的图像采集装置，其特征在于，图像处理单元用于通过第二数据接口接收采集参数，根据该采集参数生成第三控制指令，并通过第二控制接口将第三控制指令配置采集参数。

18.如权利要求17所述的图像采集装置，其特征在于，所述采集参数包括以下参数中的一项或多项：调节图像采集单元的光圈大小、快门时间和增益、曝光参数，调节图像采集单元所要采集的图像的大小、帧率，以及控制图像采集单元采集图像。

19.如权利要求15所述的图像采集装置，其特征在于，应用处理单元通过第三控制线与图像采集单元相连；所述应用处理单元通过第三控制线将第三控制指令发送给图像采集单元，用于控制图像采集单元。

20.如权利要求15所述的图像采集装置，其特征在于，所述图像处理单元还用于通过对第一图像进行优化生成第二图像，并将该第二图像通过第一数据线传输到应用处理单元。

21.如权利要求15所述的图像采集装置，其特征在于，所述存储模块还存储有第二图像采集单元控制插件；所述主控模块还用于获取存储模块中的第二图像采集单元控制插件并执行，以确定图像采集单元的参数配置信息，并输出包含有上述参数配置信息的第一控制指令至图像采集单元。

22.一种图像采集方法，其特征在于，所述方法应用于智能电子设备，所述设备包括图像采集单元、图像处理单元和应用处理单元；

图像处理单元通过第一控制线和第一数据线与应用处理单元相连；

图像处理单元通过第二控制线和第二数据线与图像采集单元相连；

所述方法包括以下步骤：

图像处理单元通过第一控制线接收从应用处理单元发出的第一控制指令，并通过第二控制线将第二控制指令发送给图像采集单元，该第一控制指令或第二控制指令用于控制图像采集单元；

图像处理单元通过第二数据线接收图像采集单元生成的第一图像；

所述图像处理单元包括数字信号处理器和缓存模块；所述应用处理单元包括主控模块和存储模块，所述主控模块和存储模块连接；所述方法包括步骤：

存储模块存储第一图像采集单元控制插件；

主控模块在接收到第一启动指令后，通过第一数据线发送图像采集单元控制插件至图像处理单元；

数字信号处理器通过第一数据线接收第一图像采集单元控制插件，并将第一图像采集单元控制插件缓存于缓存模块中；

主控模块发送第一控制指令至图像处理单元；

数字信号处理器根据接收到的第一控制指令，获取缓存模块中的第一图像采集单元控制插件并执行，以确定第一控制指令对应的图像采集单元的参数配置信息，并通过第二控制线将包含上述参数配置信息的第二控制指令发送至图像采集单元；

图像采集单元接收第二控制指令，并将图像采集单元的采集参数调整为第二控制指令中参数配置信息对应的采集参数，并获取第一图像。

23.如权利要求22所述的图像采集方法，其特征在于，应用处理单元通过第三控制线与图像采集单元相连；所述方法包括步骤：

当应用处理单元通过第三控制线将第一控制指令发送给图像采集单元后，图像处理单元再通过第二控制线将第二控制指令发送给图像采集单元。

24.如权利要求23所述的图像采集方法，其特征在于，所述方法包括：

图像处理单元根据第一控制指令生成第二控制指令。

25.如权利要求22所述的图像采集方法，其特征在于，所述方法包括：

图像处理单元通过第二数据线接收图像采集单元采集的采集参数，根据该采集参数生成第三控制指令，并通过第二控制线将第三控制指令发送给图像采集单元。

26.如权利要求25所述的图像采集方法，其特征在于，所述采集参数包括以下参数中的一项或多项：调节图像采集单元的光圈大小、快门时间和增益、曝光参数，调节图像采集单元所要采集的图像的大小、帧率，以及控制图像采集单元采集图像。

27.如权利要求22所述的图像采集方法，其特征在于，应用处理单元通过第三控制线与图像采集单元相连；所述应用处理单元通过第三控制线将第三控制指令发送给图像采集单元，用于控制图像采集单元。

28.如权利要求22所述的图像采集方法，其特征在于，所述方法还包括：

图像处理单元通过对第一图像进行优化生成第二图像，并将该第二图像通过第一数据线传输到应用处理单元。

29.如权利要求22所述的图像采集方法，其特征在于，所述应用处理单元还通过第三控制线直接与图像采集单元连接；所述存储模块存储有第二图像采集单元控制插件；所述方法包括：

主控模块获取存储模块中的第二图像采集单元控制插件并执行，以确定图像采集单元的参数配置信息，并通过第三控制线将包含有上述参数配置信息的第一控制指令发送至图像采集单元。

Images