CN115665543A - 用于拍摄图像的方法和装置、电子设备和存储介质 - Google Patents

Abstract

本发明公开了一种用于拍摄图像的方法和装置、电子设备和存储介质，启动第一处理系统；通过所述第一处理系统使图像信号处理模块初始化；通过所述图像信号处理模块生成拍摄到的至少一帧图像；以及通过第二处理系统对所述至少一帧图像进行图像处理以生成拍摄图像；本申请将图像的拍摄和处理分离开，开机时仅加载图像信号处理模块进行图像的拍摄，无需等待到应用加载的阶段再加载图像信号处理模块，将能够进行图像拍摄的时间点提前，从而能够在开机之后更加快速地实现照片的拍摄，进一步缩小了从开机到拍摄照片的时间差，实现设备开机之后的快速抓拍。

Description

用于拍摄图像的方法和装置、电子设备和存储介质

技术领域

本发明涉及开机优化领域，特别涉及用于拍摄图像的方法和装置、电子设备和存储介质。

背景技术

现有智能监控设备启动过程一般为：上电开机→硬件初始化→kernel(系统内核)加载镜像→kernel初始化→rootfs(根文件系统)初始化→APP初始化，在进行APP初始化时才开始初始化相机(Camera)和图像信号处理模块(ISP)，然后开始抓图。

为了能够在开机后快速拍照，现有技术也有对各个流程的优化，目前优化到最优的效果下，最快大约需要700ms(毫秒)实现抓拍。但是针对一些特殊的产品，如低功耗产品，700ms还是较长，比如智能猫眼、狩猎相机、智能门铃、智能门锁等产品，当有人一闪而过，等700ms后开始抓拍，已经抓不到有效证据了。

发明内容

本发明提供用于拍摄图像的方法和装置、电子设备和存储介质，其能够实现设备开机后的快速抓拍。

在本发明的一个方面，提供一种用于拍摄图像的方法。该方法包括：启动第一处理系统；通过所述第一处理系统使图像信号处理模块初始化；通过所述图像信号处理模块生成拍摄到的至少一帧图像；以及通过第二处理系统对所述至少一帧图像进行图像处理以生成拍摄图像。

在一些实施例中，所述第一处理系统的启动完成所需的时间短于所述第二处理系统的启动完成所需的时间。

在一些实施例中，启动第一处理系统包括：获取所述第二处理系统中存储的引导启动程序；以及根据所述引导启动程序引导所述第一处理系统启动。

在一些实施例中，根据所述引导启动程序引导所述第一处理系统启动包括：通过所述引导启动程序加载与所述第一处理系统相对应的第一处理系统镜像，以启动所述第一处理系统。

在一些实施例中，还包括：响应于上电开机，启动所述第二处理系统。

在一些实施例中，启动所述第二处理系统包括：从引导存储器加载引导启动程序；通过所述引导启动程序使外部存储器初始化、加载与所述第一处理系统相对应的第一处理系统镜像、加载系统内核镜像；启动嵌入式系统引导加载程序；以及启动第二处理系统内核、文件系统和应用程序。

在一些实施例中，在通过所述图像信号处理模块生成拍摄到的至少一帧图像之后，还包括：将所述至少一帧图像存储在随机存取存储器中；以及启动所述第二处理系统的应用程序。

在一些实施例中，通过第二处理系统对所述至少一帧图像进行图像处理以生成拍摄图像包括：在成功启动所述应用程序后，从所述随机存取存储器中读取所述至少一帧图像；以及通过所述应用程序对所述至少一帧图像进行所述图像处理以生成所述拍摄图像。

在一些实施例中，所述第一处理系统为MCU，所述第二处理系统为ARM。

在一些实施例中，所述第一处理系统为多核处理器中的第一处理核，所述第二处理系统为所述多核处理器中的第二处理核。

在本发明的另一个方面，提供一种用于拍摄图像的装置。该装置包括：图像信号处理模块，被配置为接收来自相机的至少一帧原始图像信号，并且对所述至少一帧原始图像信号进行图像信号处理以生成至少一帧图像；第一处理系统，被配置为使所述图像信号处理模块初始化；以及第二处理系统，被配置为启动所述第一处理系统，并且对所述至少一帧图像进行图像处理以生成拍摄图像。

在一些实施例中，所述第一处理系统的启动完成所需的时间短于所述第二处理系统的启动完成所需的时间。

在一些实施例中，所述第二处理系统被配置为：获取所述第二处理系统中存储的引导启动程序；以及根据所述引导启动程序引导所述第一处理系统启动。

在一些实施例中，所述第二处理系统进一步被配置为：响应于上电开机，加载所述引导启动程序；以及响应于所述第一处理系统的启动，加载与所述第二处理系统相对应的第二处理系统内核。

在一些实施例中，所述图像信号处理模块被配置为将所述至少一帧图像存储在随机存取存储器中，并且所述第二处理系统进一步被配置为启动所述第二处理系统的应用程序。

在一些实施例中，所述第二处理系统进一步被配置为：在成功启动所述应用程序后，从所述随机存取存储器中读取所述至少一帧图像；以及通过所述应用程序对所述至少一帧图像进行所述图像处理以生成所述拍摄图像。

在一些实施例中，所述第一处理系统为MCU，所述第二处理系统为ARM。

在一些实施例中，所述第一处理系统为所述装置中的第一处理核，所述第二处理系统为所述装置中的第二处理核。

在本发明的又一方面，提供一种电子设备。该电子设备包括存储器，被配置为存储计算机程序；以及处理器，被配置为执行所述计算机程序以执行上述的一种用于拍摄图像的方法中的各个步骤。

在本发明的再一方面，提供一种计算机可读介质。该介质上存储有计算机程序，所述计算机程序被处理器执行以实现上述的用于拍摄图像的方法中的各个步骤。

根据本发明，启动第一处理系统之后，优先对第一处理系统中的图像信号处理模块进行初始化，并通过图像信号处理模块生成拍摄到的图像，之后再对第二处理系统进行启动并对图像进行后续处理生成拍摄图像，将拍摄图像所需的图像信号处理模块进行优先加载，无需等待到应用加载的阶段再加载图像信号处理模块，将能够进行图像拍摄的时间点提前，并且将图像处理和图像拍摄在时间节点上分开，开机后优先进行图像拍摄，从而能够在开机之后更加快速地实现照片的拍摄，进一步缩小了从开机到拍摄照片的时间差，实现设备开机之后的快速抓拍。

附图说明

图1为根据本发明实施例的用于拍摄图像的方法的流程图；

图2为根据本发明实施例的开机快速抓怕方法的启动过程示意图；

图3为根据本发明实施例的用于拍摄图像的装置的框图；

图4为根据本发明实施例的电子设备的结构示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

在已有的拍照方法中，接收用户的拍照功能启动请求，采集图像以获得原始图像数据。随后，将所述原始图像数据保存至临时存储单元，对临时存储单元保存的原始图像数据进行图像处理以生成照片。该拍照方法可以快速抓拍0.5至1秒左右的场景画面。在该拍照方法中，相机的传感器接收到拍照指令进行初始化，然后相机传感器采集图像数据以获取原始数据并保存到临时存储单元。在开机后需要启动相应应用程序才能实现拍照，只能通过优化开机流程实现拍照效率的提高，导致开机到拍摄照片之间的延时大。

为了解决至少上述技术问题，本公开提供了用于拍摄图像的方法。根据本公开，在启动第一处理系统完成后就马上进行图像信号处理模块的初始化，并通过图像信号处理模块生成拍摄到的至少一帧图像，而不用等到整个第一处理系统加载完成，无需在初始化完应用程序之后再进行拍照。以此方式，将图像信号处理模块的初始化提前，无需等待到应用程序的加载阶段，缩短了开机到能够实现图像拍摄之间的时间，从而实现设备开机后的快速抓拍。

下文中，将参考具体实施例并且结合附图描述根据本公开的技术方案。

图1是示出根据本公开的实施例的用于拍摄图像的方法100的流程图。参照图1，该方法100包括以下步骤102至步骤108。

在步骤102，启动第一处理系统。在一些实施例中，该步骤102可以包括：获取第二处理系统中存储的引导启动程序；以及根据所述引导启动程序引导所述第一处理系统启动。以此方式，将引导程序放置在第二处理系统中，由引导程序唤起第一处理系统，能够对第一处理系统的启动流程进行配置。

在一些实施例中，通过所述引导启动程序加载与所述第一处理系统相对应的第一处理系统镜像，以启动所述第一处理系统。以此方式，通过加载第一处理系统镜像实现对其对应的第一处理系统的启动，实现对第一处理系统的自动启动。

根据本公开的实施例，步骤102之前还可以包括步骤：响应于上电开机，启动所述第二处理系统。在一些实施例中，启动第二处理系统包括：从引导存储器加载引导启动程序；通过所述引导启动程序使外部存储器初始化、加载与所述第一处理系统相对应的第一处理系统镜像、加载系统内核镜像；启动嵌入式系统引导加载程序；以及启动第二处理系统内核、文件系统和应用程序。以此方式，实现第一处理系统和第二处理系统启动过程的嵌套，在上电时完成启动第一处理系统前的准备动作，能够及时启动第一处理系统。

在步骤104，通过所述第一处理系统使图像信号处理模块初始化。

在步骤106，通过所述图像信号处理模块生成拍摄到的至少一帧图像。在一些实施例中，由所述图像信号处理模块从相机接收至少一帧原始图像信号，并且对至少一帧原始图像信号进行图像信号处理以生成拍摄到的至少一帧图像。

根据本公开的实施例，在步骤106与步骤108之间还可以包括：将所述至少一帧图像存储在随机存取存储器中；以及启动所述第二处理系统的应用程序。以此方式，将拍摄后的图像进行存储，等待应用程序启动完成之后再对图像进行处理，在启动时只需要完成拍摄动作，从而只需要初始化拍摄相关的图像信号处理模块，减少了开机到拍摄图片之间的时间。

在步骤108，通过第二处理系统对所述至少一帧图像进行图像处理以生成拍摄图像。在一些实施例中，在成功启动所述应用程序后，从所述随机存取存储器中读取所述至少一帧图像；以及通过所述应用程序对所述至少一帧图像进行所述图像处理以生成所述拍摄图像。以此方式，在启动应用程序之后，对开机时拍摄到的图像进行处理生成拍摄图像，保证了拍摄到的低时延图像能够顺利展示，并且以随机存取作为图像的拍摄和处理的中转，实现图像的拍摄和处理的分离。

根据本公开的实施例，将启动过程拆分为第一处理系统和第二处理系统，由第一处理系统通过引导启动程序唤起第二处理系统进行初始化，并且在初始化完成之后首先进行图像信号处理模块的初始化，从而无需等待系统初始化到APP加载的步骤就能够完成拍摄，减小了从开机到拍摄的时间差。

根据本公开的实施例，只需要200至300ms即可抓取第一帧图像。此外，本公开的技术方案可以应用于网络摄像机(IPC)等监控产品，不需要用户触发拍照请求，而是利用芯片独特的架构。

根据本公开的实施例，第一处理系统可以为MCU(Microcontroller Unit，微控制单元)，第二处理系统可以为ARM(Advanced RISC Machines)。在一些实施例中，芯片中的第一处理系统(即，MCU)能够作为协处理器，协助提前初始化好ISP/Camera，并实现快速AE(自动曝光)和AWB(自动白平衡)，实现快速抓拍功能。

根据本公开的实施例，第一处理系统可以为ARM，第二处理系统也可以为ARM。

根据本公开的实施例，所述第一处理系统为多核处理器中的第一处理核，所述第二处理系统为所述多核处理器中的第二处理核，如第一处理核中运行RTOS(实时操作系统)系统，第二处理核运行Linux系统。用第二处理核实现ARM的功能，在第一处理核运行RTOS系统，实现MCU的功能。其余步骤类似，即第二处理核作为启动核，在引导启动程序(SPL)阶段引导第一处理核运行RTOS系统，初始化图像信号处理模块(Camera/ISP)进行图像抓取然后存储于DDR中，待第二处理核的应用起来后，从DDR中读取出这些图像进行处理。

根据本公开的实施例，将正常启动程序中的kernel进行裁剪，裁剪了不必要的功能配置。即，除了初始化相机和系统启动必要的功能配置之外的配置，减少内核镜像大小，并将正常启动程序中的rootfs进行裁剪，裁剪了不必要的功能配置。

图2是示出根据本公开实施例的一种开机快速抓怕的方法的启动过程示意图。参照图2，其中Mini-kernel即为正常启动程序中的kernel裁剪后得到的，tinyrootfs即为正常启动程序中的rootfs裁剪后得到的。除了初始化相机和系统启动必要的功能配置之外的配置都进行裁剪，减少根文件系统的大小。以此方式，进一步提升开机速度。

根据本公开的实施例，芯片可以采用ARM+MCU的架构。基于MCU快速启动的特点，加上开机流程的优化和裁剪，让MCU先初始化ISP和相机，尽可能快得把前几帧图像保存到DDR等缓存中。然后，再利用精简的开机过程节省了总体的开机时间。

根据本公开的实施例，芯片也可以采用双核ARM架构。

根据本公开的实施例，芯片可以采用双核的架构。芯片的A核运行Linux系统，芯片的B核运行RTOS系统，也可以实现同样的效果。利用A核实现ARM的功能，利用B核实现MCU的功能。A核作为启动核，在SPL阶段引导B核运行RTOS系统，初始化ISP进行图像抓取然后存储于DDR中。待A核的应用运行后，从DDR中读取出这些图像进行处理。

下文中，将通过示例描述根据本发明实施例的用于拍摄图像的方法100的应用场景。

图2是示出根据本公开实施例的一种开机快速抓怕的方法的启动过程示意图，以第一处理系统为MCU、第二处理系统为ARM进行说明，包括以下步骤202至步骤212。

在步骤202，执行硬件上电操作(POR，Power-On Reset，指从硬件上电到第一条maskrom(掩膜式只读存储器)中的指令执行的硬件过程)。

在步骤204，开启启动引导程序SPL(Second Program Loader，二级程序加载器)，其是一套很小的boot(系统引导文件)代码，主要负责初始化外部的DRAM(Dynamic RandomAccess Memory，动态随机存取存储器)和flash(闪存)，然后引导启动u-boot(主要用于嵌入式系统的引导加载程序)。

在步骤206，ARM端通过SPL进行硬件初始化、MCU镜像加载和kernel(系统内核)镜像加载。

在步骤208，当MCU镜像被加载后，MCU启动并启动RTOS(实时操作系统)，以使图像信号处理模块(Camera/ISP)初始化。在一些实施例中，MCU采用RISC-V(一种开源指令集架构)。

在步骤210，图像信号处理模块抓拍前几帧raw(一种图像文件)图存储在DDR(双倍速率同步动态随机存储器)或DARM(动态随机存取存储器)中。在一些实施例中，通过RTThread(一种操作系统)实现RTOS启动、Camera/ISP初始化和快速抓图。

在步骤212，ARM端同步启动，待应用程序启动成功后，从DDR或DARM中读取raw图并进行处理得到拍摄图像。在一些实施例中，通过ISP(图像信号处理)3A算法、Demosaic(去马赛克)、去噪、锐化等算法，将raw数据处理成YUV(一种颜色编码方法，明亮度、灰阶值以及色度)数据，最终送给编码器编码。

以此方式，实现在开机后的200-300ms抓取第一帧图像，将200-300ms至整个系统开机完成这个时间段内的画面尽可能捕捉。

根据本发明的另一方面，图3是示出根据本发明实施例的用于拍摄图像的装置300的框图。参照图3，该装置300包括图像信号处理模块302、第一处理系统304和第二处理系统306。

所述图像信号处理模块302被配置为接收来自相机的至少一帧原始图像信号，并且对所述至少一帧原始图像信号进行图像信号处理以生成至少一帧图像。

所述第一处理系统304被配置为使所述图像信号处理模块初始化。

所述第二处理系统306被配置为启动所述第一处理系统，并且对所述至少一帧图像进行图像处理以生成拍摄图像。

根据本公开的实施例，第二处理系统306被配置为：获取所述第二处理系统中存储的引导启动程序；以及根据所述引导启动程序引导所述第一处理系统启动。第二处理系统306进一步被配置为：应于上电开机，加载所述引导启动程序；以及响应于所述第一处理系统的启动，加载与所述第二处理系统相对应的第二处理系统内核。

根据本公开的实施例，所述图像信号处理模块302被配置为将所述至少一帧图像存储在随机存取存储器中，并且所述第二处理系统306进一步被配置为启动所述第二处理系统的应用程序。

根据本公开的实施例，第二处理系统306进一步被配置为：在成功启动所述应用程序后，从所述随机存取存储器中读取所述至少一帧图像；以及通过所述应用程序对所述至少一帧图像进行所述图像处理以生成所述拍摄图像。

在一些实施例中，所述第一处理系统304为MCU，所述第二处理系统306为ARM。在其他实施例中，所述第一处理系统304以及第二处理系统306均为ARM。在一些实施例中，所述第一处理系统为所述装置中的第一处理核，所述第二处理系统为所述装置中的第二处理核。

所述第一处理系统的启动完成所需的时间短于所述第二处理系统的启动完成所需的时间。

根据本发明的又一方面，图4是示出根据本发明实施例的电子设备400的示意图。参照图4，该电子设备400包括存储器402、处理器404以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上面描述的用于兼容不同接口的方法的各个步骤或动作。

根据本发明的又一方面，提供了一种计算机可读介质。该计算机可读介质上存储有计算机程序，该计算机程序被处理器执行以实现如上面描述的兼容不同接口规范的方法。

综上所述，本发明提供的用于拍摄图像的方法，在启动较慢的第二处理系统启动完成前，通过第二处理系统存储的引导启动程序唤起第一处理系统，当第一处理系统中的图像信号处理模块完成初始化，就先通过图像信号处理模块进行初始化，再通过初始化完成之后的图像信号处理模块快速拍摄图像实现图像的获取，缩短了开机到进行图像拍摄的时间段，实现了开机之后的快速拍摄，并且能够适用于ARM+MCU的架构、ARM+ARM或者双核架构，实用性和适用性强。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (20)

1.一种用于拍摄图像的方法，其特征在于，包括：

启动第一处理系统；

通过所述第一处理系统使图像信号处理模块初始化；

通过所述图像信号处理模块生成拍摄到的至少一帧图像；以及

通过第二处理系统对所述至少一帧图像进行图像处理以生成拍摄图像。

2.根据权利要求1所述的方法，其特征在于，所述第一处理系统的启动完成所需的时间短于所述第二处理系统的启动完成所需的时间。

3.根据权利要求1所述的方法，其特征在于，启动第一处理系统包括：

获取所述第二处理系统中存储的引导启动程序；以及

根据所述引导启动程序引导所述第一处理系统启动。

4.根据权利要求3所述的方法，其特征在于，根据所述引导启动程序引导所述第一处理系统启动包括：

通过所述引导启动程序加载与所述第一处理系统相对应的第一处理系统镜像，以启动所述第一处理系统。

5.根据权利要求1所述的方法，其特征在于，还包括：

响应于上电开机，启动所述第二处理系统。

6.根据权利要求5所述的方法，其特征在于，启动所述第二处理系统包括：

从引导存储器加载引导启动程序；

通过所述引导启动程序使外部存储器初始化、加载与所述第一处理系统相对应的第一处理系统镜像、加载系统内核镜像；

启动嵌入式系统引导加载程序；以及

启动第二处理系统内核、文件系统和应用程序。

7.根据权利要求1所述的方法，其特征在于，在通过所述图像信号处理模块生成拍摄到的至少一帧图像之后，还包括：

将所述至少一帧图像存储在随机存取存储器中；以及

启动所述第二处理系统的应用程序。

8.根据权利要求7所述的方法，其特征在于，通过第二处理系统对所述至少一帧图像进行图像处理以生成拍摄图像包括：

在成功启动所述应用程序后，从所述随机存取存储器中读取所述至少一帧图像；以及

通过所述应用程序对所述至少一帧图像进行所述图像处理以生成所述拍摄图像。

9.根据权利要求1所述的方法，其特征在于，所述第一处理系统为MCU，所述第二处理系统为ARM。

10.根据权利要求1所述的方法，其特征在于，所述第一处理系统为多核处理器中的第一处理核，所述第二处理系统为所述多核处理器中的第二处理核。

11.一种用于拍摄图像的装置，其特征在于，包括：

图像信号处理模块，被配置为接收来自相机的至少一帧原始图像信号，并且对所述至少一帧原始图像信号进行图像信号处理以生成至少一帧图像；

第一处理系统，被配置为使所述图像信号处理模块初始化；以及

第二处理系统，被配置为启动所述第一处理系统，并且对所述至少一帧图像进行图像处理以生成拍摄图像。

12.根据权利要求11所述的装置，其特征在于，所述第一处理系统的启动完成所需的时间短于所述第二处理系统的启动完成所需的时间。

13.根据权利要求11所述的装置，其特征在于，所述第二处理系统被配置为：

获取所述第二处理系统中存储的引导启动程序；以及

根据所述引导启动程序引导所述第一处理系统启动。

14.根据权利要求13所述的装置，其特征在于，所述第二处理系统进一步被配置为：

响应于上电开机，加载所述引导启动程序；以及

响应于所述第一处理系统的启动，加载与所述第二处理系统相对应的第二处理系统内核。

15.根据权利要求11所述的装置，其特征在于，所述图像信号处理模块被配置为将所述至少一帧图像存储在随机存取存储器中，并且

所述第二处理系统进一步被配置为启动所述第二处理系统的应用程序。

16.根据权利要求15所述的装置，其特征在于，所述第二处理系统进一步被配置为：

在成功启动所述应用程序后，从所述随机存取存储器中读取所述至少一帧图像；以及

通过所述应用程序对所述至少一帧图像进行所述图像处理以生成所述拍摄图像。

17.根据权利要求11所述的装置，其特征在于，所述第一处理系统为MCU，所述第二处理系统为ARM。

18.根据权利要求11所述的装置，其特征在于，所述第一处理系统为所述装置中的第一处理核，所述第二处理系统为所述装置中的第二处理核。

19.一种电子设备，其特征在于，包括：

存储器，被配置为存储计算机程序；以及

处理器，被配置为执行所述计算机程序以执行根据权利要求1至10中任意一项所述的方法。

20.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行以实现根据权利要求1至10中任意一项所述的方法。

Images