CN108419017B - 控制拍摄的方法、装置、电子设备及计算机可读存储介质 - Google Patents

控制拍摄的方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN108419017B
CN108419017B CN201810404282.XA CN201810404282A CN108419017B CN 108419017 B CN108419017 B CN 108419017B CN 201810404282 A CN201810404282 A CN 201810404282A CN 108419017 B CN108419017 B CN 108419017B
Authority
CN
China
Prior art keywords
image
camera
processing units
exposure time
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810404282.XA
Other languages
English (en)
Other versions
CN108419017A (zh
Inventor
谭国辉
周海涛
谭筱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910585686.8A priority Critical patent/CN110248111B/zh
Priority to CN201810404282.XA priority patent/CN108419017B/zh
Publication of CN108419017A publication Critical patent/CN108419017A/zh
Priority to EP19791777.6A priority patent/EP3627827B1/en
Priority to PCT/CN2019/080427 priority patent/WO2019205887A1/zh
Application granted granted Critical
Publication of CN108419017B publication Critical patent/CN108419017B/zh
Priority to US16/678,701 priority patent/US11095802B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例涉及一种控制拍摄的方法、装置、电子设备及计算机可读存储介质。上述方法，包括：当第一处理单元接收到第二处理单元发送的图像采集指令，根据图像采集指令控制第一摄像头采集第一图像；当第一处理单元接收到第二摄像头发送的同步信号时，获取第一摄像头的第一曝光时长和第二摄像头的第二曝光时长；根据第一曝光时长和第二曝光时长计算延时时长；当第一处理单元接收到同步信号的时长达到延时时长时，向第一摄像头转发同步信号，同步信号用于指示第一摄像头开始曝光并采集第一图像；通过第一处理单元对第一图像进行处理。上述控制拍摄的方法、装置、电子设备及计算机可读存储介质，同步效果好，可以保证两个摄像头采集的图像内容一致。

Description

控制拍摄的方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种控制拍摄的方法、装置、电子设备及计算机可读存储介质。
背景技术
随着智能终端上影像技术的快速发展，越来越多的智能终端上安装有两个及两个以上的摄像头，采用多个摄像头配合，从而采集到视觉效果更好的图像。为了保证两个摄像头最终采集的画面一致，需要控制两个摄像头之间进行同步。而在传统的方式中，两个摄像头之间通常会通过硬件信号线连接，并通过每帧开始曝光的信号进行同步。当两个摄像头之间的曝光时长差别较大时，同步性差，会导致两个摄像头之间采集的图像内容差异大。
发明内容
本申请实施例提供一种控制拍摄的方法、装置、电子设备及计算机可读存储介质，同步效果好，可以保证两个摄像头采集的图像内容一致。
一种控制拍摄的方法，包括：
当第一处理单元接收到第二处理单元发送的图像采集指令时，根据所述图像采集指令控制第一摄像头采集第一图像，所述图像采集指令为所述第二处理单元接收到数据获取请求时发送，所述数据获取请求用于指示所述第二处理单元控制第二摄像头采集第二图像；
当第一处理单元接收到所述第二摄像头发送的同步信号时，获取所述第一摄像头的第一曝光时长和第二摄像头的第二曝光时长，所述同步信号为所述第二摄像头采集每帧第二图像时在开始曝光的时刻发送的信号；
根据所述第一曝光时长和第二曝光时长计算延时时长；
当所述第一处理单元接收到所述同步信号的时长达到所述延时时长时，向所述第一摄像头转发所述同步信号，所述同步信号用于指示所述第一摄像头开始曝光并采集第一图像；
通过所述第一处理单元对所述第一图像进行处理，并将处理后的第一图像发送给所述第二处理单元。
一种控制拍摄的装置，包括：
图像采集模块，用于当第一处理单元接收到第二处理单元发送的图像采集指令时，根据所述图像采集指令控制第一摄像头采集第一图像，所述图像采集指令为所述第二处理单元接收到数据获取请求时发送，所述数据获取请求用于指示所述第二处理单元控制第二摄像头采集第二图像；
信号接收模块，用于当第一处理单元接收到所述第二摄像头发送的同步信号时，获取所述第一摄像头的第一曝光时长和第二摄像头的第二曝光时长，所述同步信号为所述第二摄像头采集每帧第二图像时在开始曝光的时刻发送的信号；
计算模块，用于根据所述第一曝光时长和第二曝光时长计算延时时长；
信号转发模块，用于当所述第一处理单元接收到所述同步信号的时长达到所述延时时长时，向所述第一摄像头转发所述同步信号，所述同步信号用于指示所述第一摄像头开始曝光并采集第一图像；
处理模块，用于通过所述第一处理单元对所述第一图像进行处理，并将处理后的第一图像发送给所述第二处理单元。
一种电子设备，包括第一处理单元、第二处理单元和摄像头模组，所述第一处理单元分别与所述第二处理单元和摄像头模组相连；所述摄像头模组包括第一摄像头和第二摄像头，所述第一处理单元通过控制线连接所述第一摄像头，所述第二处理单元通过控制线连接所述第二摄像头，所述第一处理单元与所述第二处理单元连接，所述第一处理单元还通过信号线分别与所述第一摄像头及第二摄像头连接；
所述第二处理单元，用于当接收到数据获取请求时，根据所述数据获取请求控制所述第二摄像头采集第二图像，并向所述第一处理单元发送图像采集指令；
所述第一处理单元，用于当接收到所述第二处理单元发送的图像采集指令时，根据所述图像采集指令控制第一摄像头采集第一图像；
所述第二摄像头，用于采集每帧第二图像时在开始曝光的时刻向第一处理单元发送同步信号；
所述第一处理单元，还用于当第一处理单元接收到所述第二摄像头发送的同步信号时，获取所述第一摄像头的第一曝光时长和第二摄像头的第二曝光时长；
所述第一处理单元，还用于根据所述第一曝光时长和第二曝光时长计算延时时长；
所述第一处理单元，还用于当所述第一处理单元接收到所述同步信号的时长达到所述延时时长时，向所述第一摄像头转发所述同步信号；
所述第一摄像头，用于根据同步信号开始曝光并采集第一图像；
所述第一处理单元，还用于通过所述第一处理单元对所述第一图像进行处理，并将处理后的第一图像发送给所述第二处理单元。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
上述控制拍摄的方法、装置、电子设备及计算机可读存储介质，当第一处理单元接收到第二摄像头发送的同步信号时，根据两个摄像头的曝光时长计算延时时长，当第一处理单元接收到同步信号的时长达到延时时长时，向第一摄像头转发同步信号，根据第一摄像头和第二摄像头的曝光时长动态调整转发同步信号的时间点，从而可动态调整第一摄像头和第二摄像头同步的时机，同步效果好，在两个摄像头之间的曝光时长差别较大时，依然可以保证两个摄像头采集的图像内容一致。
附图说明
图1为一个实施例中控制拍摄的方法的应用场景图；
图2为另一个实施例中控制拍摄的方法的应用场景图；
图3为一个实施例中电子设备的框图；
图4为一个实施例中控制拍摄的方法的流程示意图；
图5为一个实施例中对第一图像进行处理的流程示意图；
图6为一个实施例中根据激光器的温度获取参考散斑图像的流程示意图；
图7为一个实施例中根据应用程序的安全级别选择数据传输通道的流程示意图；
图8为一个实施例中控制拍摄的装置的框图；
图9为一个实施例中处理模块的框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
图1为一个实施例中控制拍摄的方法的应用场景图。如图1所示，该应用场景可包括第一摄像头110、第二摄像头120、第一处理单元130及第二处理单元140。第一摄像头110可以为激光摄像头，第二摄像头120可以为RGB(Red/Green/Blue，红/绿/蓝色彩模式)摄像头。第一处理单元130可为MCU(Microcontroller Unit，微控制单元)模块等，第二处理单元140可为CPU(Central Processing Unit，中央处理器)模块等。第一处理单元130通过控制线连接第一摄像头110，第二处理单元140通过控制线连接第二摄像头120。第一处理单元130与第二处理单元连接140。第一处理单元130还通过信号线分别与第一摄像头110及第二摄像头120连接。
当第二处理单元140接收到数据获取请求时，可根据数据获取请求通过控制线控制第二摄像头120采集第二图像，并向第一处理单元130发送图像采集指令。当第一处理单元130接收到第二处理单元140发送的图像采集指令时，可根据图像采集指令通过控制线控制第一摄像头采集第一图像。第二摄像头120采集每帧第二图像时，可在开始曝光的时刻通过信号线向第一处理单元130发送同步信号。当第一处理单元130接收到第二摄像头120发送的同步信号时，可获取第一摄像头110的第一曝光时长和第二摄像头120的第二曝光时长，并根据第一曝光时长和第二曝光时长计算延时时长。当第一处理单元130接收到同步信号的时长达到延时时长时，可通过信号线向第一摄像头110转发同步信号。第一摄像头110接收到同步信号后，即可开始曝光并采集第一图像，可将采集的第一图像传输给第一处理单元130。第一处理单元130可对第一图像进行处理，并将处理后的第一图像发送给第二处理单元140。
图2为另一个实施例中控制拍摄的方法的应用场景图。如图2所示，电子设备200可包括摄像头模组210、第二处理单元220，第一处理单元230。上述第二处理单元220可为CPU模块。上述第一处理单元230可为MCU模块等。其中，第一处理单元230连接在第二处理单元220和摄像头模组210之间，上述第一处理单元230可控制摄像头模组210中激光摄像头212、泛光灯214和镭射灯218，上述第二处理单元220可控制摄像头模组210中RGB摄像头216。
摄像头模组210中包括激光摄像头212、泛光灯214、RGB摄像头216和镭射灯218。上述激光摄像头212可为红外摄像头，用于获取红外图像。上述泛光灯214为可发射红外光的面光源；上述镭射灯218为可发射激光的点光源且为带有图案的点光源。其中，当泛光灯214发射面光源时，激光摄像头212可根据反射回的光线获取红外图像。当镭射灯218发射点光源时，激光摄像头212可根据反射回的光线获取散斑图像。上述散斑图像是镭射灯218发射的带有图案的点光源被反射后图案发生形变的图像。
第一处理单元230可通过信号线分别连接RGB摄像头216和激光摄像头212。当RGB摄像头216采集每帧图像时，可向第一处理单元230发送同步信号。第一处理单元230接收到RGB摄像头216发送的同步信号后，可获取激光摄像头212的曝光时长和RGB摄像头216的曝光时长，并根据激光摄像头212的曝光时长和RGB摄像头216的曝光时长计算延时时长。当第一处理单元230接收到同步信号的时长达到该延时时长时，可通过信号线向激光摄像头212转发同步信号。激光摄像头212接收到同步信号，可根据同步信号开始进行曝光并采集红外图像或散斑图像等。
第二处理单元220可包括在TEE(Trusted execution environment，可信运行环境)环境下运行的CPU内核和在REE(Rich Execution Environment，自然运行环境)环境下运行的CPU内核。其中，TEE环境和REE环境均为ARM模块(Advanced RISC Machines，高级精简指令集处理器)的运行模式。其中，TEE环境的安全级别较高，第二处理单元220中有且仅有一个CPU内核可同时运行在TEE环境下。通常情况下，电子设备200中安全级别较高的操作行为需要在TEE环境下的CPU内核中执行，安全级别较低的操作行为可在REE环境下的CPU内核中执行。
第一处理单元230包括PWM(Pulse Width Modulation，脉冲宽度调制)模块232、SPI/I2C(Serial Peripheral Interface/Inter－Integrated Circuit，串行外设接口/双向二线制同步串行接口)接口234、RAM(Random Access Memory，随机存取存储器)模块236和深度引擎238。上述PWM模块232可向摄像头模组发射脉冲，控制泛光灯214或镭射灯218开启，使得激光摄像头212可采集到红外图像或散斑图像。上述SPI/I2C接口234用于接收第二处理单元220发送的图像采集指令。上述深度引擎238可对散斑图像进行处理得到深度视差图。
当第二处理单元220接收到应用程序的数据获取请求时，例如，当应用程序需要进行人脸解锁、人脸支付时，可通过运行在TEE环境下的CPU内核向第一处理单元230发送图像采集指令。当第一处理单元230接收到图像采集指令后，可通过PWM模块232发射脉冲波控制摄像头模组210中泛光灯214开启并通过激光摄像头212采集红外图像、控制摄像头模组210中镭射灯218开启并通过激光摄像头212采集散斑图像。摄像头模组210可将采集到的红外图像和散斑图像发送给第一处理单元230。第一处理单元230可对接收到的红外图像进行处理得到红外视差图；对接收到的散斑图像进行处理得到散斑视差图或深度视差图。其中，第一处理单元230对上述红外图像和散斑图像进行处理是指对红外图像或散斑图像进行校正，去除摄像头模组210中内外参数对图像的影响。其中，第一处理单元230可设置成不同的模式，不同模式输出的图像不同。当第一处理单元230设置为散斑图模式时，第一处理单元230对散斑图像处理得到散斑视差图，根据上述散斑视差图可得到目标散斑图像；当第一处理单元230设置为深度图模式时，第一处理单元230对散斑图像处理得到深度视差图，根据上述深度视差图可得到深度图像，上述深度图像是指带有深度信息的图像。第一处理单元230可将上述红外视差图和散斑视差图发送给第二处理单元220，第一处理单元230也可将上述红外视差图和深度视差图发送给第二处理单元220。第二处理单元220可根据上述红外视差图获取目标红外图像、根据上述深度视差图获取深度图像。进一步的，第二处理单元220可根据目标红外图像、深度图像来进行人脸识别、人脸匹配、活体检测以及获取检测到的人脸的深度信息。
第一处理单元230与第二处理单元220之间通信是通过固定的安全接口，用以确保传输数据的安全性。如图1所示，第二处理单元220发送给第一处理单元230的数据是通过SECURE SPI/I2C 240，第一处理单元230发送给第二处理单元220的数据是通过SECUREMIPI(Mobile Industry Processor Interface，移动产业处理器接口)250。
在一个实施例中，第一处理单元230也可根据上述红外视差图获取目标红外图像、上述深度视差图计算获取深度图像，再将上述目标红外图像、深度图像发送给第二处理单元220。
图3为一个实施例中电子设备的框图。如图3所示，该电子设备包括通过系统总线连接的处理器、存储器、显示屏和输入装置。其中，存储器可包括非易失性存储介质及处理器。电子设备的非易失性存储介质存储有操作系统及计算机程序，该计算机程序被处理器执行时以实现本申请实施例中提供的一种控制拍摄的方法。该处理器用于提供计算和控制能力，支撑整个电子设备的运行。电子设备中的内存储器为非易失性存储介质中的计算机程序的运行提供环境。电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
如图4所示，在一个实施例中，提供一种控制拍摄的方法，包括以下步骤：
步骤410，当第一处理单元接收到第二处理单元发送的图像采集指令时，根据图像采集指令控制第一摄像头采集第一图像，图像采集指令为第二处理单元接收到数据获取请求时发送，数据获取请求用于指示第二处理单元控制第二摄像头采集第二图像。
当电子设备中应用程序需要获取人脸数据时，可控制第一摄像头开启，并采集第一图像，其中，人脸数据可包括但不限于人脸解锁、人脸支付等场景下需要进行人脸验证的数据，和人脸深度信息等。第一摄像头可以为激光摄像头，激光摄像头可以采集到不同波长的不可见光图像。第一图像可包括但不限于红外图像、散斑图像等，散斑图像指的是带有散斑图像的红外图像。
当应用程序需要获取人脸数据时，可向第二处理单元发送数据获取请求。第二处理单元接收数据获取请求后，可向第一处理单元发送图像采集指令，其中，第一处理单元可以是MCU模块，第二处理单元可以是CPU模块。可选地，第二处理单元可先检测数据获取请求中是否包含可见光图像获取指令，若包含可见光图像获取指令，则可说明应用程序在获取人脸数据的同时，需要同时获取包含人脸的可见光图像。若数据获取请求中包含可见光图像获取指令，第二处理单元可根据可见光图像获取指令控制第二摄像头采集第二图像，其中，第二摄像头可以是RGB摄像头，第二图像则可以是包含人脸的RGB图像。
当第一处理单元接收图像采集指令后，可根据图像采集指令控制第一摄像头采集第一图像，其中，第一图像可包括红外图像、散斑图像等。第一处理单元可控制开启摄像头模组中的泛光灯并通过激光摄像头采集红外图像，可开启摄像头模组中的镭射灯等激光器并通过激光摄像头采集散斑图像等。泛光灯可为一种向四面八方均匀照射的点光源，泛光灯发射的光线可为红外光，激光摄像头可采集人脸得到红外图像。激光器发出的激光可由透镜和DOE(diffractive optical elements，光学衍射元件)进行衍射产生带散斑颗粒的图案，通过带散斑颗粒的图案投射到目标物体，受目标物体各点与电子设备的距离不同产生散斑图案的偏移，激光摄像头对目标物体进行采集得到散斑图像。
步骤420，当第一处理单元接收到第二摄像头发送的同步信号时，获取第一摄像头的第一曝光时长和第二摄像头的第二曝光时长，同步信号为第二摄像头采集每帧第二图像时在开始曝光的时刻发送的信号。
第一处理单元可通过控制线连接第一摄像头，通过控制线控制第一摄像头采集第一图像。第二处理单元可通过控制线连接第二摄像头，通过控制线控制第二摄像头采集第二图像。第一处理单元可与第二处理单元连接。第一处理单元还可通过信号线分别与第一摄像头及第二摄像头连接，其中，信号线可以是同步信号线。
第二摄像头在采集每帧图像时，可在开始曝光的时刻向连接了信号线的第一处理单元发送同步信号，该同步信号可以是帧的起始标志SOF(Start of Frame)，可用于每帧图像开始曝光。当第一处理单元接收到第二摄像头发送的同步信号，可获取第一摄像头的第一曝光时长和第二摄像头的第二曝光时长，曝光时长可指的是感光时长，曝光时长越长，进的光可越多。通常来说，第一摄像头的第一曝光时长与第二摄像头的第二曝光时长差异较大，第一摄像头的第一曝光时长可小于第二摄像头的第二曝光时长，但不限于此，可能也存在第一摄像头的第一曝光时长大于第二摄像头的第二曝光时长的情况等。
步骤430，根据第一曝光时长和第二曝光时长计算延时时长。
第一处理单元可根据第一摄像头的第一曝光时长与第二摄像头的第二曝光时长计算延时时长，该延时时长指的是延长第一摄像头开始曝光的时间长度，通过延后第一摄像头开始曝光的时刻，从而可保证第一摄像头与第二摄像头同步。
在一个实施例中，电子设备可预先设置第一摄像头和第二摄像头在曝光过程中同步的时刻，其中，在曝光过程中同步的时刻可指的是第一摄像头已曝光的时长占第一曝光时长的比例与第二摄像头已曝光的时长占第二曝光时长的比例相同。比如，可设置第一摄像头和第二摄像头同时结束曝光，或是在曝光一半的时刻一致，或是在曝光到达3/4时的时刻一致等。第一处理单元可根据第一曝光时长、第二曝光时长及设置的在曝光过程中同步的时刻计算延时时长。
步骤440，当第一处理单元接收到同步信号的时长达到延时时长时，向第一摄像头转发同步信号，同步信号用于指示第一摄像头开始曝光并采集第一图像。
第一处理单元计算得到延时时长后，可在接收到同步信号的时长达到延时时长时，向第一摄像头转发同步信号。第一摄像头接收同步信号后，开始进行曝光，从而可保证第一摄像头和第二摄像头在曝光过程中同步的时刻保持一致。例如，电子设备可预先设备在曝光一半的时刻一致，则第一处理单元计算得到延时时长，并在接收到同步信号的时长达到延时时长时，向第一摄像头转发同步信号，可在第一摄像头曝光到一半的时候，第二摄像头也曝光到一半，二者保持一致。
步骤450，通过第一处理单元对第一图像进行处理，并将处理后的第一图像发送给第二处理单元。
第一摄像头可将采集的第一图像发送给第一处理单元，第一处理单元可对第一图像进行处理。第一处理单元可设置成不同的模式，不同模式可采集不同的第一图像，并对第一图像进行不同的处理等。当第一处理单元为红外模式时，第一处理单元可控制开启泛光灯，并通过第一摄像头采集红外图像，可对红外图像进行处理得到红外视差图。当第一处理单元为散斑图模式时，第一处理单元可控制开启镭射灯，并通过第一摄像头采集散斑图像，可对散斑图像进行处理得到散斑视差图。当第一处理单元为深度图模式时，第一处理单元可对散斑图像进行处理得到深度视差图。
在一个实施例中，第一处理单元可对第一图像进行校正处理，进行校正处理是指校正第一图像由于第一摄像头及第二摄像头的内外参数等造成的图像内容偏移，例如由于激光摄像头偏转角度、激光摄像头和RGB摄像头之间的摆放位置等引起的图像内容偏移等。对第一图像进行校正处理后，可得到第一图像的视差图，例如，对红外图像进行校正处理得到红外视差图，对散斑图像进行校正可得到散斑视差图或深度视差图等。对第一图像进行校正处理，可以防止最终在电子设备的屏幕上呈现的图像出现重影的情况。
第一处理单元对第一图像进行处理，可将处理后的第一图像发送给第二处理单元。第二处理单元可根据处理后的第一图像得到目标图像，比如目标红外图像、目标散斑图像及目标深度图等。第二处理单元可根据应用程序的需求对目标图像进行处理。
例如，应用程序需要进行人脸验证时，则第二处理单元则可根据目标图像等进行人脸检测，其中，人脸检测可包括人脸识别、人脸匹配和活体检测。人脸识别是指识别目标图像中是否存在人脸，人脸匹配是指将目标图像中人脸与预存的人脸进行匹配，活体检测是指检测目标图像中人脸是否具有生物活性等。若应用程序需要获取人脸的深度信息，则可将生成的目标深度图上传至应用程序，应用程序可根据接收到的目标深度图进行美颜处理、三维建模等。
在本实施例中，当第一处理单元接收到第二摄像头发送的同步信号时，根据两个摄像头的曝光时长计算延时时长，当第一处理单元接收到同步信号的时长达到延时时长时，向第一摄像头转发同步信号，根据第一摄像头和第二摄像头的曝光时长动态调整转发同步信号的时间点，从而可动态调整第一摄像头和第二摄像头同步的时机，同步效果好，在两个摄像头之间的曝光时长差别较大时，依然可以保证两个摄像头采集的图像内容一致。
在一个实施例中，步骤430根据第一曝光时长和第二曝光时长计算延时时长，包括：计算第一曝光时长及第二曝光时长的曝光时差，并将曝光时差除以2，得到延时时长。
电子设备可设置第一摄像头和第二摄像头在曝光一半的时刻一致，当第一摄像头曝光到一半的时候，第二摄像头也曝光到一半。当第一处理单元接收到第二摄像头发送的同步信号后，可计算第一曝光时长及第二曝光时长的曝光时差，并将曝光时差除以2，得到延时时长。延时时长T3＝|T1-T2|/2，其中，T1表示第一曝光时长，T2表示第二曝光时长。例如，第一摄像头的第一曝光时长为3ms(毫秒)，第二摄像头的第二曝光时长为30ms，则可先计算第一曝光时长和第二曝光时长的曝光时差为17ms，并将曝光时差除以2，得到延时时长为13.5ms。
可选地，第一处理单元计算第一曝光时长及第二曝光时长的曝光时差后，可先将曝光时差与时间阈值进行比较，判断曝光时差是否大于时间阈值，若大于时间阈值，则可将曝光时差除以2，得到延时时长，并在第一处理单元接收到同步信号的时长达到延时时长时，再向第一摄像头转发同步信号。若曝光时差小于或等于时间阈值，则第一处理单元可直接向第一摄像头转发同步信号，不延长第一摄像头开始曝光的时刻。时间阈值可根据实际需求进行设定，例如1ms、2ms等，保证第一摄像头和第二摄像头的采集图像内容在可容忍的区别误差之内，减轻第一处理单元的计算压力。
在一个实施例中，为了保证当第一摄像头曝光到一半的时候，第二摄像头也曝光到一半，第一处理单元还可分别计算第一曝光时长的第一中间曝光时刻和第二曝光时长的第二中间曝光时刻，其中，中间曝光时刻指的是曝光到一半的时刻。第一处理单元可确定第一中间曝光时刻和第二中间曝光时刻的差值，并将该差值作为延时时长。延时时长T3＝|T1/2-T2/2|，其中，T1表示第一曝光时长，T2表示第二曝光时长。例如，第一摄像头的第一曝光时长为3ms，第二摄像头的第二曝光时长为30ms，则可先计算第一曝光时长的第一中间曝光时刻为1.5ms，第二曝光时长的第二中间曝光时刻为15ms，则可计算第一中间曝光时刻和第二中间曝光时刻的差值为13.5ms，可将该差值13.5ms作为延时时长。可以理解地，也可采用其他算法保证第一摄像头和第二摄像头之间的同步，并不仅限于上述几种方式。
在本实施例中，可根据第一摄像头和第二摄像头的曝光时长动态调整转发同步信号的时间点，从而可动态调整第一摄像头和第二摄像头同步的时机，保证第一摄像头和第二摄像头在曝光一半的时刻保持一致，同步效果好。
如图5所示，在一个实施例中，步骤450通过第一处理单元对第一图像进行处理，并将处理后的第一图像发送给第二处理单元，包括以下步骤：
步骤502，获取存储的参考散斑图像，参考散斑图像带有参考深度信息。
在摄像机坐标系中，以垂直成像平面并穿过镜面中心的直线为Z轴，若物体在摄像机坐标系的坐标为(X,Y,Z)，那么其中的Z值即为物体在该摄像机成像平面的深度信息。若应用程序需要获取人脸的深度信息，则需要采集包含人脸深度信息的深度图。第一处理单元可控制开启镭射灯，并通过第一摄像头采集散斑图像。第一处理单元中可预先存储有参考散斑图，参考散斑图可带有参考深度信息，可根据采集的散斑图像及参考散斑图像获取散斑图像中包含的各个像素点的深度信息。
步骤504，将参考散斑图像与散斑图像进行匹配，得到匹配结果。
第一处理单元可依次以采集的散斑图像中包含的各个像素点为中心，选择一个预设大小像素块，例如31pixel(像素)*31pixel大小，在参考散斑图像上搜索与选择的像素块相匹配的块。第一处理单元可从采集的散斑图像中选择的像素块和参考散斑图像相匹配的块中，找到散斑图像及参考散斑图像中分别在同一条激光光路上的两个点，同一激光光路上的两个点的散斑信息一致，在同一条激光光路上的两个点可认定为对应的像素点。参考散斑图像中，每一条激光光路上的点的深度信息都是已知的。第一处理单元可计算目标散斑图像与参考散斑图像在同一条激光光路上的两个对应的像素点之间的偏移量，并根据偏移量计算得到采集的散斑图中包含的各个像素点的深度信息。
在一个实施例中，第一处理单元将采集的散斑图像与参考散斑图进行偏移量的计算，根据偏移量计算得到散斑图像中包含的各个像素点的深度信息，其计算公式可如式(1)所示：
其中，ZD表示像素点的深度信息，也即像素点的深度值；L为激光摄像头与激光器之间的距离；f为激光摄像头中透镜的焦距，Z0为参考散斑图像采集时参考平面距离电子设备的激光摄像头的深度值，P为采集的散斑图像与参考散斑图像中对应像素点之间的偏移量。P可由目标散斑图与参考散斑图中像素点偏移的像素量乘以一个像素点的实际距离得到。当目标物体与激光摄像头之间的距离大于参考平面与激光摄像头之间的距离时，P为负值，当目标物体与激光摄像头之间的距离小于参考平面与第一摄像头之间的距离时，P为正值。
步骤506，根据参考深度信息和匹配结果生成深度视差图，并将深度视差图发送给第二处理单元，通过第二处理单元对深度视差图进行处理得到深度图。
第一处理单元得到采集的散斑图像中包含的各个像素点的深度信息，可对采集的散斑图像进行校正处理，校正采集的散斑图像由于第一摄像头及第二摄像头的内外参数等造成的图像内容偏移。第一处理单元可根据校正后的散斑图像，以及散斑图像中各个像素点的深度值，生成深度视差图，并将深度视差图发送给第二处理单元。第二处理单元可根据深度视差图得到深度图，深度图中可包含各个像素点的深度信息。第二处理单元可将深度图上传至应用程序，应用程序可根据深度图中人脸的深度信息进行美颜、三维建模等。第二处理单元也可根据深度图中人脸的深度信息进行活体检测，可防止采集的人脸是二维的平面人脸等。
在本实施例中，通过第一处理单元可精准得到采集的图像的深度信息，数据处理效率高，且提高了图像处理的精准性。
如图6所示，在一个实施例中，在步骤502获取存储的参考散斑图像之前，还包括以下步骤：
步骤602，每隔采集时间段采集激光器的温度，并获取与温度对应的参考散斑图像。
电子设备可在激光器旁设置有温度传感器，其中，激光器指的是镭射灯等，并通过温度传感器采集激光器的温度。第二处理单元可每隔采集时间段获取温度传感器采集的激光器的温度，其中，采集时间段可根据实际需求进行设定，例如3秒、4秒等，但不限于此。由于当激光器的温度发生变化时，可能会对摄像头模组造成形变，影响第一摄像头和第二摄像头的内外参数。不同温度下对摄像头的影响不同，因此，在不同的温度下，可对应不同的参考散斑图像
第二处理单元可获取与温度对应的参考散斑图像，并根据与温度对应的参考散斑图像对在该温度下采集的散斑图像进行处理，得到深度图。可选地，第二处理单元可预先设定多个不同的温度区间，比如0℃(摄式度)～30℃，30℃～60℃，60℃～90℃等，但不限于此，不同温度区间可对应不同的参考散斑图像。第二处理单元采集温度后，可确定该温度所处的温度区间，并获取与该温度区间对应的参考散斑图像。
步骤604，当本次获取的参考散斑图像与第一处理单元中存储的参考散斑图像不一致时，将本次获取的参考散斑图写入第一处理单元。
第二处理单元获取与采集的温度对应的参考散斑图像后，可判断本次获取的参考散斑图像与第一处理单元中存储的参考散斑图像是否一致，参考散斑图像中可携带有图像标识，图像标识可以由数字、字线及字符等中的一种或多种组成。第二处理单元可从第一处理单元中读取存储的参考散斑图像的图像标识，并将本次获取的参考散斑图像的图像标识与从第一处理单元读取的图像标识进行比较。若两个图像标识不一致，则可说明本次获取的参考散斑图像与第一处理单元中存储的参考散斑图像不一致，则第二处理单元可将本次获取的参考散斑图像写入第一处理单元。第一处理单元可存储新写入的参考散斑图像，并删除之前存储的参考散斑图像。
在本实施例中，可根据激光器的温度获取与温度对应的参考散斑图像，减少温度对最后输出的深度图的影响，使得到的深度信息更为精准。
如图7所示，在一个实施例中，上述控制拍摄的方法，还包括以下步骤：
步骤702，当第二处理单元接收到应用程序的数据获取请求，获取应用程序的安全级别。
在一个实施例中，电子设备中第二处理单元可包括两种运行模式，其中，第一运行模式可以为TEE，TEE为可信运行环境，安全级别高；第二运行模式可以为REE，REE为自然运行环境，REE的安全级较低。当第二处理单元接收到应用程序发送的数据获取请求后，可通过第一运行模式向第一处理单元发送图像采集指令。当第二处理单元为单核时，可直接将上述单核由第二运行模式切换到第一运行模式；当第二处理单元为多核时，可将一个内核由第二运行模式切换到第一运行模式，其他内核仍运行在第二运行模式中，并通过运行在第一运行模式下的内核向第一处理单元发送图像采集指令。第一处理单元对采集的第一图像进行处理后，可将处理后的第一图像发送给该运行在第一运行模式下的内核，可保证第一处理单元一直在可信运行环境下运行，提高安全性。
当电子设备的应用程序向第二处理单元发送数据获取请求时，第二处理单元可获取应用程序的应用类型，并获取与应用类型对应的安全级别。应用类型可包括但不限于解锁应用、支付应用、相机应用、美颜应用等。不同应用类型的安全级别可不同，例如，支付应用和解锁应用对应的安全级别可为高，相机应用、美颜应用对应的安全级别可为低等，但不限于此。
步骤704，确定与安全级别对应的数据传输通道。
第二处理单元可确定与应用程序的安全级别对应的数据传输通道，数据传输通道可包括但不限于安全通道和普通通道，其中，安全通道可对应安全级别较高的应用程序，普通通道可对应安全级别较低的应用程序。例如，支付应用可对应安全通道，美颜应用可对应普通通道。在安全通道中，可对传输的数据进行加密，避免数据泄露或被窃取。
步骤706，将深度图通过对应的数据传输通道发送给应用程序。
第二处理单元可将深度图通过与应用程序的安全级别对应的数据传输通道发送给应用程序，通过安全通道向安全级别较高的应用程序发送深度图，可对深度图进行加密，通过普通道向安全级别较低的应用程序发送深度图，可加快数据传输速度。可选地，除了向应用程序发送深度图外，还可通过与应用程序的安全级别对应的数据传输通道向应用程序发送其他数据，例如，进行人脸验证的验证结果等，但不限于此。
在一个实施例中，第二处理单元可根据应用程序的安全级别，向应用程序发送与安全级别对应精度的深度图，精度越高，对应的深度图像越清晰，包含的深度信息越多。安全级别高的应用程序可对应精度高的深度图，安全级别低的应用程序可对应精度低的深度图。可选地，第二处理单元可通过调整图像分辨率调整图像数据的图像精度，分辨率越高，图像精度越高，分辨率越低，图像精度越低。也可通过控制镭射灯衍射的点的个数，图像精度越高，衍射的点可越多，图像精度越低，衍射的点可越少。可以理解地，也可采用其他方式控制图像精度，并不限于上述几种方式。根据应用程序的安全级别调整深度图的精度，可以提高数据的安全性。
在本实施例中，根据应用程序的安全级别选取对应的数据通道来传输数据，提高数据传输的安全性。
在一个实施例中，提供一种控制拍摄的方法，包括以下步骤：
步骤(1)，当第一处理单元接收到第二处理单元发送的图像采集指令时，根据图像采集指令控制第一摄像头采集第一图像，图像采集指令为第二处理单元接收到数据获取请求时发送，数据获取请求用于指示第二处理单元控制第二摄像头采集第二图像。
在一个实施例中，第一处理单元通过控制线连接第一摄像头，第二处理单元通过控制线连接第二摄像头，第一处理单元与第二处理单元连接，第一处理单元还通过信号线分别与第一摄像头及第二摄像头连接。
步骤(2)，当第一处理单元接收到第二摄像头发送的同步信号时，获取第一摄像头的第一曝光时长和第二摄像头的第二曝光时长，同步信号为第二摄像头采集每帧第二图像时在开始曝光的时刻发送的信号。
步骤(3)，根据第一曝光时长和第二曝光时长计算延时时长。
在一个实施例中，步骤(3)，包括：计算第一曝光时长及第二曝光时长的曝光时差，并将曝光时差除以2，得到延时时长。
在一个实施例中，步骤(3)，包括：分别计算第一曝光时长的第一中间曝光时刻和第二曝光时长的第二中间曝光时刻；确定第一中间曝光时刻和第二中间曝光时刻的差值，并将差值作为延时时长。
步骤(4)，当第一处理单元接收到同步信号的时长达到延时时长时，向第一摄像头转发同步信号，同步信号用于指示第一摄像头开始曝光并采集第一图像。
步骤(5)，通过第一处理单元对第一图像进行处理，并将处理后的第一图像发送给第二处理单元。
在一个实施例中，步骤(5)，包括：获取存储的参考散斑图像，参考散斑图像带有参考深度信息；将参考散斑图像与散斑图像进行匹配，得到匹配结果；根据参考深度信息和匹配结果生成深度视差图，并将深度视差图发送给第二处理单元，通过第二处理单元对深度视差图进行处理得到深度图。
在一个实施例中，在步骤获取存储的参考散斑图像之前，还包括：每隔采集时间段采集激光器的温度，并获取与温度对应的参考散斑图像；当本次获取的参考散斑图像与第一处理单元中存储的参考散斑图像不一致时，将本次获取的参考散斑图像写入第一处理单元。
在一个实施例中，上述控制拍摄的方法，还包括：当第二处理单元接收到应用程序的数据获取请求，获取应用程序的安全级别；确定与安全级别对应的数据传输通道；将深度图通过对应的数据传输通道发送给应用程序。
在本实施例中，当第一处理单元接收到第二摄像头发送的同步信号时，根据两个摄像头的曝光时长计算延时时长，当第一处理单元接收到同步信号的时长达到延时时长时，向第一摄像头转发同步信号，根据第一摄像头和第二摄像头的曝光时长动态调整转发同步信号的时间点，从而可动态调整第一摄像头和第二摄像头同步的时机，同步效果好，在两个摄像头之间的曝光时长差别较大时，依然可以保证两个摄像头采集的图像内容一致。
应该理解的是，虽然上述各个流程示意图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各个流程示意图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供一种电子设备，包括第一处理单元、第二处理单元和摄像头模组，第一处理单元可分别与第二处理单元和摄像头模组相连。摄像头模组可包括第一摄像头和第二摄像头，第一处理单元可通过控制线连接第一摄像头，第二处理单元可通过控制线连接第二摄像头。第一处理单元与第二处理单元连接，第一处理单元还通过信号线分别与第一摄像头及第二摄像头连接。
第二处理单元，用于当接收到数据获取请求时，根据数据获取请求控制第二摄像头采集第二图像，并向第一处理单元发送图像采集指令。
第一处理单元，用于当接收到第二处理单元发送的图像采集指令时，根据图像采集指令控制第一摄像头采集第一图像。
第二摄像头，用于采集每帧第二图像时在开始曝光的时刻向第一处理单元发送同步信号。
第一处理单元，还用于当第一处理单元接收到第二摄像头发送的同步信号时，获取第一摄像头的第一曝光时长和第二摄像头的第二曝光时长。
第一处理单元，还用于根据第一曝光时长和第二曝光时长计算延时时长。
第一处理单元，还用于当第一处理单元接收到同步信号的时长达到延时时长时，向第一摄像头转发所述同步信号。
第一摄像头，用于根据同步信号开始曝光并采集第一图像。
第一处理单元，还用于通过第一处理单元对所述第一图像进行处理，并将处理后的第一图像发送给第二处理单元。
在本实施例中，当第一处理单元接收到第二摄像头发送的同步信号时，根据两个摄像头的曝光时长计算延时时长，当第一处理单元接收到同步信号的时长达到延时时长时，向第一摄像头转发同步信号，根据第一摄像头和第二摄像头的曝光时长动态调整转发同步信号的时间点，从而可动态调整第一摄像头和第二摄像头同步的时机，同步效果好，在两个摄像头之间的曝光时长差别较大时，依然可以保证两个摄像头采集的图像内容一致。
在一个实施例中，第一处理单元，还用于计算第一曝光时长及第二曝光时长的曝光时差，并将曝光时差除以2，得到延时时长。
在一个实施例中，第一处理单元，还用于分别计算第一曝光时长的第一中间曝光时刻和第二曝光时长的第二中间曝光时刻，确定第一中间曝光时刻和第二中间曝光时刻的差值，并将差值作为延时时长。
在本实施例中，可根据第一摄像头和第二摄像头的曝光时长动态调整转发同步信号的时间点，从而可动态调整第一摄像头和第二摄像头同步的时机，保证第一摄像头和第二摄像头在曝光一半的时刻保持一致，同步效果好。
在一个实施例中，第一处理单元，还用于获取存储的参考散斑图像，并将将参考散斑图像与所述散斑图像进行匹配，得到匹配结果，参考散斑图像带有参考深度信息。
第一处理单元，还用于根据参考深度信息和匹配结果生成深度视差图，并将深度视差图发送给第二处理单元。
第二处理单元，还用于对深度视差图进行处理得到深度图。
在本实施例中，通过第一处理单元可精准得到采集的图像的深度信息，数据处理效率高，且提高了图像处理的精准性。
在一个实施例中，第二处理单元，还用于每隔采集时间段采集激光器的温度，并获取与温度对应的参考散斑图像。
第二处理单元，还用于当本次获取的参考散斑图像与第一处理单元中存储的参考散斑图像不一致时，将本次获取的参考散斑图像写入第一处理单元。
在本实施例中，可根据激光器的温度获取与温度对应的参考散斑图像，减少温度对最后输出的深度图的影响，使得到的深度信息更为精准。
在一个实施例中，第二处理单元，还用于当接收到应用程序的数据获取请求，获取应用程序的安全级别。
第二处理单元，还用于确定与安全级别对应的数据传输通道，并将深度图通过对应的数据传输通道发送给应用程序。
在本实施例中，根据应用程序的安全级别选取对应的数据通道来传输数据，提高数据传输的安全性。
如图8所示，在一个实施例中，提供一种控制拍摄的装置800，包括图像采集模块810、信号接收模块820、计算模块830、信号转发模块840、处理模块850。
图像采集模块810，用于当第一处理单元接收到第二处理单元发送的图像采集指令时，根据图像采集指令控制第一摄像头采集第一图像，图像采集指令为第二处理单元接收到数据获取请求时发送，数据获取请求用于指示第二处理单元控制第二摄像头采集第二图像。
信号接收模块820，用于当第一处理单元接收到第二摄像头发送的同步信号时，获取第一摄像头的第一曝光时长和第二摄像头的第二曝光时长，同步信号为第二摄像头采集每帧第二图像时在开始曝光的时刻发送的信号。
计算模块830，用于根据第一曝光时长和第二曝光时长计算延时时长。
信号转发模块840，用于当第一处理单元接收到同步信号的时长达到延时时长时，向第一摄像头转发所述同步信号，同步信号用于指示第一摄像头开始曝光并采集第一图像。
处理模块850，用于通过第一处理单元对第一图像进行处理，并将处理后的第一图像发送给第二处理单元。
在本实施例中，当第一处理单元接收到第二摄像头发送的同步信号时，根据两个摄像头的曝光时长计算延时时长，当第一处理单元接收到同步信号的时长达到延时时长时，向第一摄像头转发同步信号，根据第一摄像头和第二摄像头的曝光时长动态调整转发同步信号的时间点，从而可动态调整第一摄像头和第二摄像头同步的时机，同步效果好，在两个摄像头之间的曝光时长差别较大时，依然可以保证两个摄像头采集的图像内容一致。
在一个实施例中，计算模块830，还用于计算第一曝光时长及第二曝光时长的曝光时差，并将曝光时差除以2，得到延时时长。
在一个实施例中，计算模块830，分别计算第一曝光时长的第一中间曝光时刻和第二曝光时长的第二中间曝光时刻，确定第一中间曝光时刻和第二中间曝光时刻的差值，并将差值作为延时时长。
在本实施例中，可根据第一摄像头和第二摄像头的曝光时长动态调整转发同步信号的时间点，从而可动态调整第一摄像头和第二摄像头同步的时机，保证第一摄像头和第二摄像头在曝光一半的时刻保持一致，同步效果好。
如图9所示，在一个实施例中，处理模块850，包括图像获取单元852、匹配单元854及生成单元856。
图像获取单元852，用于获取存储的参考散斑图像，参考散斑图像带有参考深度信息。
匹配单元854，用于将参考散斑图像与散斑图像进行匹配，得到匹配结果。
生成单元856，用于根据参考深度信息和匹配结果生成深度视差图，并将深度视差图发送给第二处理单元，通过第二处理单元对深度视差图进行处理得到深度图。
在本实施例中，通过第一处理单元可精准得到采集的图像的深度信息，数据处理效率高，且提高了图像处理的精准性。
在一个实施例中，上述处理模块850，除了包括图像获取单元852、匹配单元854及生成单元856，还包括温度采集单元及写入单元。
温度采集单元，用于每隔采集时间段采集激光器的温度，并获取与温度对应的参考散斑图像。
写入单元，用于当本次获取的参考散斑图像与第一处理单元中存储的参考散斑图像不一致时，将本次获取的参考散斑图像写入第一处理单元。
在本实施例中，可根据激光器的温度获取与温度对应的参考散斑图像，减少温度对最后输出的深度图的影响，使得到的深度信息更为精准。
在一个实施例中，上述控制拍摄的装置800，除了包括图像采集模块810、信号接收模块820、计算模块830、信号转发模块840及处理模块850，还包括级别获取模块、通道确定模块及发送模块。
级别获取模块，用于当第二处理单元接收到应用程序的数据获取请求，获取应用程序的安全级别。
通道确定模块，用于确定与安全级别对应的数据传输通道。
发送模块，用于将深度图通过对应的数据传输通道发送给应用程序。
在本实施例中，根据应用程序的安全级别选取对应的数据通道来传输数据，提高数据传输的安全性。
在一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的控制拍摄的方法。
在一个实施例中，提供一种包含计算机程序的计算机程序产品，当其在计算机设备上运行时，使得计算机设备执行时实现上述的控制拍摄的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种控制拍摄的方法，其特征在于，包括：
当第一处理单元接收到第二处理单元发送的图像采集指令时，根据所述图像采集指令控制第一摄像头采集第一图像，所述图像采集指令为所述第二处理单元接收到数据获取请求时发送，所述数据获取请求用于指示所述第二处理单元控制第二摄像头采集第二图像；
当第一处理单元接收到所述第二摄像头发送的同步信号时，获取所述第一摄像头的第一曝光时长和第二摄像头的第二曝光时长，所述同步信号为所述第二摄像头采集每帧第二图像时在开始曝光的时刻发送的信号；
根据所述第一曝光时长和第二曝光时长计算延时时长；
当所述第一处理单元接收到所述同步信号的时长达到所述延时时长时，向所述第一摄像头转发所述同步信号，所述同步信号用于指示所述第一摄像头开始曝光并采集第一图像；
通过所述第一处理单元对所述第一图像进行处理，并将处理后的第一图像发送给所述第二处理单元；
所述第一图像包括散斑图像；
所述通过所述第一处理单元对所述第一图像进行处理，并将处理后的第一图像发送给所述第二处理单元，包括：
获取存储的参考散斑图像，所述参考散斑图像带有参考深度信息；
将所述参考散斑图像与所述散斑图像进行匹配，得到匹配结果；
根据所述参考深度信息和匹配结果生成深度视差图，并将所述深度视差图发送给所述第二处理单元，通过所述第二处理单元对所述深度视差图进行处理得到深度图。
2.根据权利要求1所述的方法，其特征在于，所述第一处理单元通过控制线连接所述第一摄像头，所述第二处理单元通过控制线连接所述第二摄像头，所述第一处理单元与所述第二处理单元连接，所述第一处理单元还通过信号线分别与所述第一摄像头及第二摄像头连接。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一曝光时长和第二曝光时长计算延时时长，包括：
计算所述第一曝光时长及第二曝光时长的曝光时差，并将所述曝光时差除以2，得到延时时长。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一曝光时长和第二曝光时长计算延时时长，包括：
分别计算所述第一曝光时长的第一中间曝光时刻和第二曝光时长的第二中间曝光时刻；
确定所述第一中间曝光时刻和第二中间曝光时刻的差值，并将所述差值作为延时时长。
5.根据权利要求1所述的方法，其特征在于，在所述获取参考散斑图像之前，所述方法还包括：
每隔采集时间段采集激光器的温度，并获取与所述温度对应的参考散斑图像；
当本次获取的参考散斑图像与第一处理单元中存储的参考散斑图像不一致时，将所述本次获取的参考散斑图像写入所述第一处理单元。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当第二处理单元接收到应用程序的数据获取请求，获取所述应用程序的安全级别；
确定与所述安全级别对应的数据传输通道；
将所述深度图通过所述对应的数据传输通道发送给所述应用程序。
7.一种控制拍摄的装置，其特征在于，包括：
图像采集模块，用于当第一处理单元接收到第二处理单元发送的图像采集指令时，根据所述图像采集指令控制第一摄像头采集第一图像，所述图像采集指令为所述第二处理单元接收到数据获取请求时发送，所述数据获取请求用于指示所述第二处理单元控制第二摄像头采集第二图像；
信号接收模块，用于当第一处理单元接收到所述第二摄像头发送的同步信号时，获取所述第一摄像头的第一曝光时长和第二摄像头的第二曝光时长，所述同步信号为所述第二摄像头采集每帧第二图像时在开始曝光的时刻发送的信号；
计算模块，用于根据所述第一曝光时长和第二曝光时长计算延时时长；
信号转发模块，用于当所述第一处理单元接收到所述同步信号的时长达到所述延时时长时，向所述第一摄像头转发所述同步信号，所述同步信号用于指示所述第一摄像头开始曝光并采集第一图像；
处理模块，用于通过所述第一处理单元对所述第一图像进行处理，并将处理后的第一图像发送给所述第二处理单元；
所述第一图像包括散斑图像；
所述处理模块还包括：
图像获取单元，用于获取存储的参考散斑图像，所述参考散斑图像带有参考深度信息；
匹配单元，用于将所述参考散斑图像与所述散斑图像进行匹配，得到匹配结果；
生成单元，用于根据所述参考深度信息和所述匹配结果生成深度视差图，并将所述深度视差图发送给所述第二处理单元，通过所述第二处理单元对所述深度视差图进行处理得到深度图。
8.一种电子设备，其特征在于，包括第一处理单元、第二处理单元和摄像头模组，所述第一处理单元分别与所述第二处理单元和摄像头模组相连；所述摄像头模组包括第一摄像头和第二摄像头，所述第一处理单元通过控制线连接所述第一摄像头，所述第二处理单元通过控制线连接所述第二摄像头，所述第一处理单元与所述第二处理单元连接，所述第一处理单元还通过信号线分别与所述第一摄像头及第二摄像头连接；
所述第二处理单元，用于当接收到数据获取请求时，根据所述数据获取请求控制所述第二摄像头采集第二图像，并向所述第一处理单元发送图像采集指令；
所述第一处理单元，用于当接收到所述第二处理单元发送的图像采集指令时，根据所述图像采集指令控制第一摄像头采集第一图像；
所述第二摄像头，用于采集每帧第二图像时在开始曝光的时刻向第一处理单元发送同步信号；
所述第一处理单元，还用于当第一处理单元接收到所述第二摄像头发送的同步信号时，获取所述第一摄像头的第一曝光时长和第二摄像头的第二曝光时长；
所述第一处理单元，还用于根据所述第一曝光时长和第二曝光时长计算延时时长；
所述第一处理单元，还用于当所述第一处理单元接收到所述同步信号的时长达到所述延时时长时，向所述第一摄像头转发所述同步信号；
所述第一摄像头，用于根据同步信号开始曝光并采集第一图像；
所述第一处理单元，还用于通过所述第一处理单元对所述第一图像进行处理，并将处理后的第一图像发送给所述第二处理单元；
所述第一图像包括散斑图像；
所述第一处理单元，还用于获取存储的参考散斑图像，并将所述参考散斑图像与所述散斑图像进行匹配，得到匹配结果，所述参考散斑图像带有参考深度信息；
所述第一处理单元，还用于根据所述参考深度信息和匹配结果生成深度视差图，并将所述深度视差图发送给所述第二处理单元；
所述第二处理单元，还用于对所述深度视差图进行处理得到深度图。
9.根据权利要求8所述的电子设备，其特征在于，所述第一处理单元，还用于计算所述第一曝光时长及第二曝光时长的曝光时差，并将所述曝光时差除以2，得到延时时长。
10.根据权利要求8所述的电子设备，其特征在于，所述第一处理单元，还用于分别计算所述第一曝光时长的第一中间曝光时刻和第二曝光时长的第二中间曝光时刻，确定所述第一中间曝光时刻和第二中间曝光时刻的差值，并将所述差值作为延时时长。
11.根据权利要求8所述的电子设备，其特征在于，所述第二处理单元，还用于每隔采集时间段采集激光器的温度，并获取与所述温度对应的参考散斑图像；
所述第二处理单元，还用于当本次获取的参考散斑图像与第一处理单元中存储的参考散斑图像不一致时，将所述本次获取的参考散斑图像写入所述第一处理单元。
12.根据权利要求8所述的电子设备，其特征在于，所述第二处理单元，还用于当接收到应用程序的数据获取请求，获取所述应用程序的安全级别；
所述第二处理单元，还用于确定与所述安全级别对应的数据传输通道，并将所述深度图通过所述对应的数据传输通道发送给所述应用程序。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一所述的方法。
CN201810404282.XA 2018-04-28 2018-04-28 控制拍摄的方法、装置、电子设备及计算机可读存储介质 Active CN108419017B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910585686.8A CN110248111B (zh) 2018-04-28 2018-04-28 控制拍摄的方法、装置、电子设备及计算机可读存储介质
CN201810404282.XA CN108419017B (zh) 2018-04-28 2018-04-28 控制拍摄的方法、装置、电子设备及计算机可读存储介质
EP19791777.6A EP3627827B1 (en) 2018-04-28 2019-03-29 Method for controlling photographing, electronic device, and computer readable storage medium
PCT/CN2019/080427 WO2019205887A1 (zh) 2018-04-28 2019-03-29 控制拍摄的方法、装置、电子设备及计算机可读存储介质
US16/678,701 US11095802B2 (en) 2018-04-28 2019-11-08 Method for processing a captured image and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810404282.XA CN108419017B (zh) 2018-04-28 2018-04-28 控制拍摄的方法、装置、电子设备及计算机可读存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910585686.8A Division CN110248111B (zh) 2018-04-28 2018-04-28 控制拍摄的方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108419017A CN108419017A (zh) 2018-08-17
CN108419017B true CN108419017B (zh) 2019-07-30

Family

ID=63137390

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810404282.XA Active CN108419017B (zh) 2018-04-28 2018-04-28 控制拍摄的方法、装置、电子设备及计算机可读存储介质
CN201910585686.8A Active CN110248111B (zh) 2018-04-28 2018-04-28 控制拍摄的方法、装置、电子设备及计算机可读存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910585686.8A Active CN110248111B (zh) 2018-04-28 2018-04-28 控制拍摄的方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (2) CN108419017B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3627827B1 (en) 2018-04-28 2024-05-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for controlling photographing, electronic device, and computer readable storage medium
CN111107248B (zh) * 2018-10-25 2022-02-08 北京图森智途科技有限公司 一种多路视频采集的同步系统、方法和采集控制器
CN109635539B (zh) * 2018-10-30 2022-10-14 荣耀终端有限公司 一种人脸识别方法及电子设备
WO2020181494A1 (zh) * 2019-03-12 2020-09-17 深圳市大疆创新科技有限公司 参数同步方法、拍摄装置和可移动平台
CN110460824B (zh) * 2019-07-03 2022-10-11 青岛小鸟看看科技有限公司 一种图像数据的帧同步方法和相机
CN113132551B (zh) * 2019-12-30 2023-08-08 浙江舜宇智能光学技术有限公司 多相机系统的同步控制方法、同步控制装置和电子设备
CN111230290B (zh) * 2020-01-17 2021-07-30 北京工业大学 一种光电信号同步超快激光与iccd相机的系统及方法
CN111292488A (zh) * 2020-02-13 2020-06-16 展讯通信（上海）有限公司 图像数据的处理方法、装置及存储介质
CN114071120A (zh) * 2020-08-03 2022-02-18 炬才微电子（深圳）有限公司 摄像头测试系统、方法、存储介质及电子设备
CN114071022B (zh) 2020-08-07 2023-12-15 北京图森未来科技有限公司 一种图像采集设备的控制方法、装置、设备及存储介质
CN114371722B (zh) * 2021-12-03 2024-05-10 深圳供电局有限公司 数据采集方法、装置、无人机和存储介质
CN114863510B (zh) * 2022-03-25 2023-08-01 荣耀终端有限公司 一种人脸识别方法和装置
CN115604403A (zh) * 2022-09-22 2023-01-13 恒玄科技（上海）股份有限公司（Cn） 一种无线智能可穿戴装置及其图像采集方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006005608A (ja) * 2004-06-17 2006-01-05 Hitachi Ltd 撮像装置
CN103338334A (zh) * 2013-07-17 2013-10-02 中测新图(北京)遥感技术有限责任公司 一种多相机数字航摄仪同步曝光控制系统及方法
WO2016080218A1 (ja) * 2014-11-21 2016-05-26 オリンパス株式会社 撮像システム
US9626803B2 (en) * 2014-12-12 2017-04-18 Qualcomm Incorporated Method and apparatus for image processing in augmented reality systems
US10091447B2 (en) * 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
CN105657243A (zh) * 2015-11-08 2016-06-08 乐视移动智能信息技术（北京）有限公司 防抖动的延时摄影方法和装置
CN106973231A (zh) * 2017-04-19 2017-07-21 宇龙计算机通信科技(深圳)有限公司 图片合成方法及系统
CN107040726B (zh) * 2017-04-19 2020-04-07 宇龙计算机通信科技(深圳)有限公司 双摄像头同步曝光方法及系统
CN107231533B (zh) * 2017-06-12 2019-12-13 深圳市瑞立视多媒体科技有限公司 一种同步曝光方法、装置及终端设备
CN107395998A (zh) * 2017-08-24 2017-11-24 维沃移动通信有限公司 一种图像拍摄方法及移动终端

Also Published As

Publication number Publication date
CN110248111B (zh) 2020-08-28
CN110248111A (zh) 2019-09-17
CN108419017A (zh) 2018-08-17

Similar Documents

Publication Publication Date Title
CN108419017B (zh) 控制拍摄的方法、装置、电子设备及计算机可读存储介质
CN108668078B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108764052A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
EP3627827B1 (en) Method for controlling photographing, electronic device, and computer readable storage medium
CN109040591B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108549867A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
EP3614659B1 (en) Image processing method, electronic apparatus, and computer-readable storage medium
JP2021520154A (ja) 画像処理方法、コンピュータ可読記憶媒体、および電子機器
CN108696682B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN108804895A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108805024A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108650472A (zh) 控制拍摄的方法、装置、电子设备及计算机可读存储介质
WO2019206020A1 (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
WO2019196683A1 (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN109151303B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108573170A (zh) 信息处理方法和装置、电子设备、计算机可读存储介质
CN108833887A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN108921903A (zh) 摄像头标定方法、装置、计算机可读存储介质和电子设备
CN108830141A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN109190533A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109040746B (zh) 摄像头校准方法和装置、电子设备、计算机可读存储介质
CN104155839B (zh) 用于提供3维图像的系统和方法
CN108924421A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108981782A (zh) 一种利用手机实现计算关联成像的方法
CN108810516B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant