CN110012206A - 图像获取方法、图像获取装置、电子设备和可读存储介质 - Google Patents

图像获取方法、图像获取装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN110012206A
CN110012206A CN201910437665.1A CN201910437665A CN110012206A CN 110012206 A CN110012206 A CN 110012206A CN 201910437665 A CN201910437665 A CN 201910437665A CN 110012206 A CN110012206 A CN 110012206A
Authority
CN
China
Prior art keywords
image
acquisition
laser
working frequency
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910437665.1A
Other languages
English (en)
Inventor
徐乃江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910437665.1A priority Critical patent/CN110012206A/zh
Publication of CN110012206A publication Critical patent/CN110012206A/zh
Priority to EP20815599.4A priority patent/EP3975537A4/en
Priority to PCT/CN2020/085783 priority patent/WO2020238481A1/zh
Priority to US17/525,544 priority patent/US20220067951A1/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本申请公开了一种图像获取方法、图像获取装置、电子设备和非易失性计算机可读存储介质。图像获取方法包括：以第一工作频率向场景投射激光；以第二工作频率获取采集图像，第二工作频率大于第一工作频率；在采集图像中区分出在激光投射器未投射激光时采集的第一图像及在激光投射器投射激光时采集的第二图像；根据第一图像、第二图像及参考图像计算深度图像。本申请实施方式的图像获取方法基于第一图像去除掉第二图像中由环境红外光形成的图像部分，采用仅由激光投射器发射的红外激光形成的采集图像来计算深度图像，可以提升深度图像的精确度。

Description

图像获取方法、图像获取装置、电子设备和可读存储介质
技术领域
本申请涉及成像技术领域，特别涉及一种图像获取方法、图像获取装置、电子设备和非易失性计算机可读存储介质。
背景技术
深度相机通过向场景投射带有斑点的激光图案来获取场景的深度信息。具体地，深度相机向场景中投射出红外激光(例如940nm的红外激光)，红外激光形成散斑图案，深度相机采集被场景中物体反射形成的散斑图案以进行场景中物体的深度信息的获取。然而，如果在亮度较高的场景下使用深度相机，例如处于阳光强烈的户外场景下使用深度相机，此时的环境光线中包含有大量940nm的红外光，这部分红外光会进入到深度相机中成像，导致散斑图案成像与环境红外光成像的亮度比较接近，算法无法区分激光散斑点，导致激光散斑匹配失败，深度信息出现部分或全部缺失。
发明内容
本申请实施方式提供了一种图像获取方法、图像获取装置、电子设备和非易失性计算机可读存储介质。
本申请实施方式的图像获取方法用于电子设备。所述电子设备包括深度相机，所述深度相机包括激光投射器，所述图像获取方法包括：以第一工作频率向场景投射激光；以第二工作频率获取采集图像，所述第二工作频率大于所述第一工作频率；在所述采集图像中区分出在所述激光投射器未投射激光时采集的第一图像及在所述激光投射器投射激光时采集的第二图像；根据所述第一图像、所述第二图像及参考图像计算深度图像。
本申请实施方式的图像获取装置用于电子设备。所述电子设备包括深度相机，所述深度相机包括激光投射器。所述图像获取装置包括：发射模块、第一获取模块、区分模块和计算模块。发射模块用于以第一工作频率向场景投射激光。第一获取模块用于以第二工作频率获取采集图像，所述第二工作频率大于所述第一工作频率。区分模块用于在所述采集图像中区分出在所述激光投射器未投射激光时采集的第一图像及在所述激光投射器投射激光时采集的第二图像。计算模块根据所述第一图像、所述第二图像及参考图像计算深度图像。
本申请实施方式的电子设备包括深度相机和处理器。所述深度相机包括激光投射器和图像采集器。所述激光投射器用于以第一工作频率向场景投射激光。所述图像采集器用于以第二工作频率获取采集图像，所述第二工作频率大于所述第一工作频率。所述处理器用于：在所述采集图像中区分出在所述激光投射器未投射激光时采集的第一图像及在所述激光投射器投射激光时采集的第二图像；根据所述第一图像、所述第二图像及参考图像计算深度图像。
本申请实施方式的包含计算机可读指令的非易失性计算机可读存储介质，所述计算机可读指令被处理器执行时，使得所述处理器执行上述的图像获取方法。
本申请实施方式的图像获取方法、图像获取装置、电子设备和非易失性计算机可读存储介质，激光投射器与图像采集器以不同的工作频率工作，图像采集器可以采集到仅由环境红外光形成的第一图像以及同时由环境红外光和激光投射器发射的红外激光形成的第二图像，并基于第一图像去除掉第二图像中由环境红外光形成的图像部分，由此能够区分出激光散斑点，并能采用仅由激光投射器发射的红外激光形成的采集图像来计算深度图像，激光散斑匹配不受影响，可以避免深度信息出现部分或全部缺失，从而提升深度图像的精确度。
本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1和2是本申请某些实施方式的电子设备的结构示意图。
图3是本申请某些实施方式的电子设备的系统架构示意图。
图4是本申请某些实施方式的图像获取方法的流程示意图。
图5是本申请某些实施方式的图像获取装置的模块示意图。
图6是本申请某些实施方式的图像获取方法的原理示意图。
图7至图10是本申请某些实施方式的图像获取方法的流程示意图。
图11是本申请某些实施方式的图像获取装置的模块示意图。
图12是本申请某些实施方式的图像获取方法的原理示意图。
图13是本申请某些实施方式的图像获取方法的流程示意图。
图14是本申请某些实施方式的图像获取装置的模块示意图。
图15是本申请某些实施方式的非易失性计算机可读存储介质与处理器的交互示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
请一并参阅图1至图3，本申请提供一种电子设备100。其中，电子设备100可以是手机、平板电脑、笔记本电脑、智能穿戴设备(智能手表、智能手环、智能头盔、智能眼镜等)、虚拟现实设备等。本申请以电子设备100是手机为例进行说明，但电子设备100的形式并不限于手机。电子设备100包括深度相机10、可见光相机30、处理器40及壳体50。
处理器40收容在壳体50中。深度相机10和可见光相机30安装在壳体50上。在一个例子中，壳体50包括主体51和可动支架52。可动支架52在驱动装置的驱动下可以相对主体51运动，例如，可动支架52可以相对于主体51滑动，以滑入主体51或从主体51滑出。深度相机10和可见光相机30可以安装在可动支架52上，可动支架52运动可带动深度相机10和可见光相机30缩回主体51内或从主体51中伸出。壳体50上开设有一个或多个采集窗口，采集窗口可以开设在壳体50的正面或背面。深度相机10和可见光相机30均与采集窗口对准安装，以使深度相机10和可见光相机30能够接收从采集窗口入射的光线。用户在需要使用深度相机10和可见光相机30中的任意一个时，可以触发可动支架52从主体51中滑出以带动深度相机10和可见光相机30从主体51中伸出；用户不需要使用深度相机10或可见光相机30时，可以触发可动支架52滑入主体51以带动深度相机10和可见光相机30缩回主体51中。在另一个例子中，壳体50上开设有一个或多个通孔，深度相机10和可见光相机30安装在壳体50内并与通孔对准。通孔可以开设在壳体50的正面或背面，深度相机10和可见光相机30可以接收经过通孔的光线。
深度相机10包括激光投射器11和图像采集器12。激光投射器11可以发射激光，其中，激光投射器11包括激光光源111和第一驱动器112，第一驱动器111可用于驱动激光光源111投射激光，激光可以是红外激光或其他不可见光，例如紫外激光等。图像采集器12可以接收被物体反射回的激光。本申请以激光是红外激光，图像采集器12是红外摄像头为例进行说明，但激光及图像采集器12的形式并不限于此，例如，激光还可以是紫外激光，图像采集器12是紫外光摄像头。激光投射器11和图像采集器12均与处理器40连接。处理器40可以为激光投射器11提供使能信号，具体地，处理器40可以为第一驱动器112提供使能信号。图像采集器12通过I2C总线与处理器40连接。图像采集器12与激光投射器11配合使用时，在一个例子中，图像采集器12可以通过选通信号(strobe信号)控制激光投射器11的投射时序，其中，strobe信号是根据图像采集器12获取采集图像的时序来生成的，strobe信号可视为高低电平交替的电信号，激光投射器11根据strobe指示的激光投射时序来投射激光。具体地，处理器40可以通过I2C总线发送图像采集指令以启用深度相机10使其工作，图像采集器12接收到图像采集指令后，通过strobe信号控制开关器件61，若strobe信号为高电平，则开关器件61向第一驱动器112发送第一脉冲信号(pwn1)，第一驱动器112根据第一脉冲信号驱动激光光源111向场景中投射激光，若strobe信号为低电平，则开关器件61停止发送第一脉冲信号至第一驱动器112，激光光源111不投射激光；或者，也可以是在strobe信号为低电平时，开关器件61向第一驱动器112发送第一脉冲信号，第一驱动器112根据第一脉冲信号驱动激光光源111向场景中投射激光，在strobe信号为高电平时，开关器件61停止发送第一脉冲信号至第一驱动器112，激光光源111不投射激光。在另一个例子中，图像采集器12与激光投射器11配合时可以无需用到strobe信号，此时，处理器40发送图像采集指令至图像采集器12并同时发送激光投射指令至第一驱动器112，图像采集器12接收到图像采集指令后开始获取采集图像，第一驱动器112接收到激光投射指令时驱动激光光源111投射激光。激光投射器11投射激光时，激光形成带有斑点的激光图案投射在场景中的物体上。图像采集器12采集被物体反射的激光图案得到散斑图像，并通过移动产业处理器接口(MobileIndustry Processor Interface，MIPI)将散斑图像发送给处理器40。图像采集器12每发送一帧散斑图像给处理器40，处理器40就接收到一个数据流。处理器40可以根据散斑图像和预存在处理器40中的参考图像做深度图像的计算。
可见光相机30也通过I2C总线与处理器40连接。可见光相机30可用于采集可见光图像。可见光相机30每发送一帧可见光图像给处理器40，处理器40就接收到一个数据流。可见光相机30单独使用，即用户仅仅想要获取可见光图像时，处理器40通过I2C总线向可见光相机30发送图像采集指令以启用可见光相机30使其工作。可见光相机30接收到图像采集指令后采集场景的可见光图像，并通过移动产业处理器接口向处理器40发送可见光图像。可见光相机30和深度相机10配合使用，即用户想要通过可见光图像与深度图像获取三维图像时，若图像采集器12与可见光相机30工作频率相同，则图像采集器12与可见光相机30通过sync信号实现硬件同步。具体地，处理器40通过I2C总线向图像采集器12发送图像采集指令。图像采集器12接收到图像采集指令后，可以通过strobe信号控制开关器件61向第一驱动器112发送第一脉冲信号(pwn1)，以使第一驱动器112根据第一脉冲信号驱动激光光源111发射激光；同时，图像采集器12与可见光相机30之间通过sync信号同步，该sync信号控制可见光相机30采集可见光图像。
电子设备100还包括泛光灯20。泛光灯20可以向场景中发射均匀的面光，泛光灯20包括泛光光源21及第二驱动器22，第二驱动器22可用于驱动泛光光源21发射均匀的面光。泛光灯20发出的光可以是红外光或其他不可见光，例如紫外光等。本申请以泛光灯20发射红外光为例进行说明，但泛光灯20发射的光的形式并不限于此。泛光灯20与处理器40连接，处理器40可以为泛光灯20提供使能信号，具体地，处理器40可以为第二驱动器22提供使能信号。泛光灯20可以与图像采集器12配合工作以采集红外图像。图像采集器12与泛光灯20配合使用时，在一个例子中，图像采集器12可以通过选通信号(strobe信号，该strobe信号与图像采集器12控制激光投射器11的strobe信号为两个独立的strobe信号)控制泛光灯20发射红外光的发射时序，strobe信号是根据图像采集器12获取采集图像的时序来生成的，strobe信号可视为高低电平交替的电信号，泛光灯20根据strobe信号指示的红外光发射时序来发射红外光。具体地，处理器40可以通过I2C总线向图像采集器12发送图像采集指令，图像采集器12接收到图像采集指令后，通过strobe信号控制开关器件61，若strobe信号为高电平，则开关器件61向第二驱动器22发送第二脉冲信号(pwn2)，第二驱动器22根据第二脉冲信号控制泛光光源21发射红外光，若strobe信号为低电平，则开关器件61停止发送第二脉冲信号至第二驱动器22，泛光光源21不发射红外光；或者，也可以是在strobe信号为低电平时，开关器件61向第二驱动器22发送第二脉冲信号，第二驱动器22根据第二脉冲信号控制泛光光源21发射红外光，在strobe信号为高电平时，开关器件61停止发送第二脉冲信号至第二驱动器22，泛光光源21不发射红外光。泛光灯20发射红外光时，图像采集器12接收被场景中的物体反射的红外光以形成红外图像，并通过移动产业处理器接口将红外图像发送给处理器40。图像采集器12每发送一帧红外图像给处理器40，处理器40就接收到一个数据流。该红外图像通常用于虹膜识别、人脸识别等。
请参阅图4，本申请还提供一种用于图1-3所示实施例的电子设备100的图像获取方法。图像获取方法包括：
01：以第一工作频率向场景投射激光；
02：以第二工作频率获取采集图像，第二工作频率大于第一工作频率；
03：在采集图像中区分出在激光投射器11未投射激光时采集的第一图像及在激光投射器11投射激光时采集的第二图像；和
04：根据第一图像、第二图像及参考图像计算深度图像。
请参阅图5，本申请还提供一种用于图1-3所示实施例的电子设备100的图像获取装置90。本申请的图像获取方法可以由本申请的图像获取装置90实现。图像获取装置90包括发射模块91、第一获取模块92、区分模块93及计算模块94。步骤01可以由发射模块91实现。步骤02可以由第一获取模块92实现。步骤03可以由区分模块93实现。步骤04可以由计算模块94实现。也即是说，发射模块91可用于以第一工作频率向场景投射激光。第一获取模块92可用于以第二工作频率获取采集图像，第二工作频率大于第一工作频率。区分模块93可用于在采集图像中区分出在激光投射器11未投射激光时采集的第一图像及在激光投射器11投射激光时采集的第二图像。计算模块94可用于根据第一图像、第二图像及参考图像计算深度图像。此时，发射模块91为激光投射器11，第一获取模块92即为图像采集器12。
请再参阅图1，本申请的图像获取方法还可以由电子设备100实现。其中，步骤01可以由激光投射器11实现。步骤02可以由图像采集器12实现。步骤03和步骤04均可以由处理器40实现。也即是说，激光投射器11可用于以第一工作频率向场景投射激光。图像采集器12可用于以第二工作频率获取采集图像，第二工作频率大于第一工作频率。处理器40可用于在采集图像中区分出在激光投射器11未投射激光时采集的第一图像及在激光投射器11投射激光时采集的第二图像、以及根据第一图像、第二图像及参考图像计算深度图像。
具体地，图像采集器12与激光投射器11工作频率不同(即第二工作频率大于第一工作频率)时，若需要获取深度图像，比如在解锁、支付、解密、三维建模等使用场景下，在一个例子中，处理器40通过I2C总线向图像采集器12和第一驱动器112同时发送获取深度图像的图像采集指令。第一驱动器112接收到图像采集指令后，驱动激光光源111以第一工作频率向场景发射红外激光；图像采集器12接收到图像采集指令后，以第二工作频率采集被场景中的物体反射回的红外激光以获取采集图像。例如图6所示，实线表示激光投射器11发射激光的时序，虚线表示图像采集器12获取采集图像的时序及采集图像的帧数，点划线表示根据第一图像和第二图像得到的第三图像的帧数，图6中由上至下，依次为实线、虚线及点划线，其中，第二工作频率为第一工作频率的两倍。请参阅图6中实线与虚线部分，图像采集器12在激光投射器11未投射激光时先接收环境中的红外光(下称环境红外光)以获取第N帧采集图像(此时为第一图像，也可称作背景图像)，并通过移动产业处理器接口将第N帧采集图像发送给处理器40；随后，图像采集器12可以在激光投射器11投射激光时接收环境红外光以及由激光投射器11发射的红外激光以获取第N+1帧采集图像(此时为第二图像，也可称作干扰散斑图像)，并通过移动产业处理器接口将第N+1帧采集图像发送给处理器40；随后，图像采集器12再在激光投射器11未投射激光时接收环境红外光以获取第N+2帧采集图像(此时为第一图像)，并通过移动产业处理器接口将第N+2帧采集图像发送给处理器40，依此类推，图像采集器12交替地获取第一图像和第二图像。
在另一个例子中，处理器40通过I2C总线向图像采集器12发送获取深度图像的采集指令。图像采集器12接收到图像采集指令后，通过strobe信号控制开关器向第一驱动器112发送第一脉冲信号，第一驱动器112根据第一脉冲信号驱动激光光源111以第一工作频率投射激光(即激光投射器11以第一工作频率投射激光)，同时图像采集器12以第二工作频率采集被场景中的物体反射回的红外激光以获取采集图像。如图6所示，实线表示激光投射器11发射激光的时序，虚线表示图像采集器12获取采集图像的时序及采集图像的帧数，点划线表示根据第一图像和第二图像得到的第三图像的帧数，图6中由上至下，依次为实线、虚线及点划线，其中，第二工作频率为第一工作频率的两倍。请参阅图6中实线与虚线部分，图像采集器12在激光投射器11未投射激光时先接收环境红外光以获取第N帧采集图像(此时为第一图像，也可称作背景图像)，并通过移动产业处理器接口将第N帧采集图像发送给处理器40；随后，图像采集器12可以在激光投射器11投射激光时接收环境红外光以及由激光投射器11发射的红外激光以获取第N+1帧采集图像(此时为第二图像，也可称作干扰散斑图像)，并通过移动产业处理器接口将第N+1帧采集图像发送给处理器40；随后，图像采集器12再在激光投射器11未投射激光时接收环境红外光以获取第N+2帧采集图像(此时为第一图像)，并通过移动产业处理器接口将第N+2帧采集图像发送给处理器40，依此类推，图像采集器12交替地获取第一图像和第二图像。
需要说明的是，图像采集器12可以在发送采集图像给处理器40的过程中同时执行采集图像的获取。并且，图像采集器12也可以先获取第二图像，再获取第一图像，并根据这个顺序交替执行采集图像的获取。另外，上述的第二工作频率与第一工作频率之间的倍数关系仅为示例，在其他实施例中，第二工作频率与第一工作频率之间的倍数关系还可以是三倍、四倍、五倍、六倍等等。
处理器40每接收到一帧采集图像后，都会对接收到的采集图像进行区分，判断采集图像是第一图像还是第二图像。处理器40接收到至少一帧第一图像和至少一帧第二图像后，即可根据第一图像、第二图像以及参考图像计算深度图像。具体地，由于第一图像是在激光投射器11未投射激光时采集的，形成第一图像的光线仅包括环境红外光，而第二图像是在激光投射器11投射激光时采集的，形成第二图像的光线同时包括环境红外光和激光投射器11发射的红外激光，因此，处理器40可以根据第一图像来去除第二图像中的由环境红外光形成的采集图像的部分，从而得到仅由红外激光形成的采集图像(即由红外激光形成的散斑图像)。
可以理解，环境光包括与激光投射器11发射的红外激光波长相同的红外光(例如，包含940nm的环境红外光)，图像采集器12获取采集图像时，这部分红外光也会被图像采集器12接收。在场景的亮度较高时，图像采集器12接收的光线中环境红外光的占比会增大，导致采集图像中的激光散斑点不明显，从而影响深度图像的计算。
本申请的图像获取方法控制激光投射器11与图像采集器12以不同的工作频率工作，图像采集器12可以采集到仅由环境红外光形成的第一图像以及同时由环境红外光和激光投射器11发射的红外激光形成的第二图像，并基于第一图像去除掉第二图像中由环境红外光形成的图像部分，由此能够区分出激光散斑点，并能采用仅由激光投射器11发射的红外激光形成的采集图像来计算深度图像，激光散斑匹配不受影响，可以避免深度信息出现部分或全部缺失，从而提升深度图像的精确度。
请参阅图7和图8，在某些实施方式中，步骤03包括：
031：为每一帧采集图像添加图像类型；和
032：根据图像类型区分第一图像与第二图像。
其中，步骤031包括：
0311：根据每一帧采集图像的采集时间确定在采集时间下激光投射器11的工作状态；和
0312：根据工作状态为每一帧采集图像添加图像类型。
请再参阅图5，在某些实施方式中，步骤031、步骤032、步骤0311及步骤0312均可以由区分模块93实现。也即是说，区分模块93还可用于为每一帧采集图像添加图像类型、以及根据图像类型区分第一图像与第二图像。区分模块93用于为每一帧采集图像添加图像类型时，具体用于根据每一帧采集图像的采集时间确定在采集时间下激光投射器11的工作状态、以及根据工作状态为每一帧采集图像添加图像类型。
请再参阅图3，在某些实施方式中，步骤031、步骤032、步骤0311、步骤0312均可以由处理器40实现。也即是说，处理器40还可用于为每一帧采集图像添加图像类型、以及根据图像类型区分第一图像与第二图像。处理器40用于为每一帧采集图像添加图像类型时，具体用于根据每一帧采集图像的采集时间确定在采集时间下激光投射器11的工作状态、以及根据工作状态为每一帧采集图像添加图像类型。
具体地，处理器40每从图像采集器12接收到一帧采集图像，都会为采集图像添加图像类型(stream_type)，以便于后续处理中可以根据图像类型区分出第一图像和第二图像。具体地，在图像采集器12获取采集图像的期间，处理器40会通过I2C总线实时监测激光投射器11的工作状态。处理器40每从图像采集器12接收到一帧采集图像，会先获取采集图像的采集时间，再根据采集图像的采集时间来判断在采集图像的采集时间下激光投射器11的工作状态是投射激光还是未投射激光，并基于判断结果为采集图像添加图像类型。其中，采集图像的采集时间可以是图像采集器12获取每一帧采集图像的开始时间、结束时间、介于开始时间至结束时间之间的任意一个时间等等。如此，可以实现每一帧采集图像与激光投射器11在该帧采集图像获取期间的工作状态(投射激光或未投射激光)的对应，准确区分出采集图像的类型。在一个例子中，图像类型stream_type的结构如表1所示：
表1
表1中stream为0时，表示此时的数据流为由红外光和/或红外激光形成的图像。light为00时，表示此时的数据流是在没有任何设备投射红外光和/或红外激光(仅有环境红外光)的情形下获取的，那么处理器40可以对采集图像添加000的图像类型，以标识这一采集图像为第一图像。light为01时，表示此时的数据流是在激光投射器11投射红外激光(既有环境红外光，又有红外激光)的情形下获取的。处理器40可以对采集图像添加001的图像类型，以标识这一采集图像为第二图像。处理器40后续即可根据stream_type来区分采集图像的图像类型。
请参阅图9，在某些实施方式中，步骤04包括：
041：根据第一图像和第二图像计算第三图像，第一图像的采集时间与第二图像的采集时间的差值小于预定差值；和
042：根据第三图像和参考图像计算深度图像。
请再参阅图5，在某些实施方式中，步骤041及步骤042均可以由计算模块94实现。也即是说，计算模块94可用于根据第一图像和第二图像计算第三图像、以及根据第三图像和参考图像计算深度图像，其中，第一图像的采集时间与第二图像的采集时间的差值小于预定差值。
请再参阅图3，在某些实施方式中，步骤041及步骤042均可以由计算模块94实现。也即是说，处理器40还可以用于根据第一图像和第二图像计算第三图像、以及根据第三图像和参考图像计算深度图像，其中，第一图像的采集时间与第二图像的采集时间的差值小于预定差值。
在计算深度图像的过程中，处理器40可以先区分出第一图像与第二图像，再根据采集时间选出任意帧第二图像和与该任意帧第二图像对应的特定帧的第一图像，其中该特定帧的第一图像的采集时间与该任意帧的第二图像的采集时间的差值小于预定差值。随后，处理器40再根据该特定帧的第一图像和该任意帧的第二图像来计算第三图像，第三图像即为仅由激光投射器11发射的红外激光形成的采集图像，也可以称作实际散斑图像。具体地，第一图像中的多个像素点与第二图像中的多个像素点是一一对应的，假设第一图像为P1，第二图像为P2，第三图像为P3，处理器40可以将第二图像中的像素点P2i,j的像素值减去第一图像中的像素点P1i,j的像素值以得到第三图像中像素点P3i,j的像素值，即P3i,j＝P2i,j-P1i,j，i∈N+，j∈N+。随后，处理器40可以根据第三图像与参考图像计算出深度图像，其中，第二图像的帧数、第三图像的帧数及深度图像的帧数均相等。可以理解，由于第一图像的采集时间和第二图像的采集时间的差值较小，那么第一图像中环境红外光的强度与第二图像中环境红外光的强度更为接近，基于第一图像和第二图像计算出的第三图像的精度更高，有利于进一步减小环境红外光对深度图像获取的影响。
在某些实施方式中，处理器40也可以为第三图像和深度图像添加图像类型，以便于对处理采集图像后得到的各个数据流进行区分。如表2所示：
表2
表2中的stream为0时，表示此时的数据流为由红外光和/或红外激光形成的图像，stream为1时，表示此时的数据流为深度图像。light为11时，表示减背景处理，减背景处理即去除采集图像中由环境红外光形成的部分，那么处理器40可以对减背景处理后的数据流添加011的图像类型，以标识这一数据流为第三图像。Light为XX时，X表示不限定取值，处理器40可对进行深度计算后得到的数据流添加1XX的图像类型，以标识这一数据流为深度图像。
在某些实施方式中，参与深度图像计算的第一图像和第二图像中，第一图像的采集时间可以位于第二图像的采集时间之前，也可以位于第二图像的采集时间之后，在此不作限制。
在某些实施方式中，第一图像的采集时间与第二图像的采集时间的差值小于预定差值时，第一图像和第二图像可以是相邻帧的图像，也可以是非相邻帧的图像。例如，在第二工作频率是第一工作频率的两倍时，差值小于预定差值的第一图像和第二图像是相邻帧的图像；在第二工作频率与第一工作频率之间的倍数大于两倍，例如第二工作频率是第一工作频率的三倍时，差值小于预定差值的第一图像和第二图像可以是相邻帧的图像，也可以是非相邻帧的图像(此时第一图像与第二图像之间还间隔有一帧第一图像)。
在某些实施方式中，参与深度图像计算的第一图像的帧数还可以为多帧。比如，在第二工作频率是第一工作频率的三倍时，可以选取两帧相邻的第一图像以及与这两帧第一图像相邻的一帧第二图像来计算第三图像。此时，处理器40可以先对两帧第一图像做融合处理，例如，将两帧第一图像对应像素点的像素值相加再取均值得到融合处理后的第一图像，再利用融合处理后的第一图像和该相邻的一帧第二图像计算第三图像。
在某些实施方式中，处理器40可以计算出多帧第三图像，如图6中的第(N+1)-N帧第三图像、第(N+3)-(N+2)帧第三图像、第(N+5)-(N+4)帧第三图像等等，并对应多帧第三图像计算出多帧深度图像。当然，在其他实施方式中，处理器40也可以仅计算出一帧第三图像，并对应一帧第三图像计算出一帧深度图像。第三图像的帧数可以根据应用场景的安全级别来确定。具体地，当应用场景的安全级别较高时，例如对于支付等安全级别较高的应用场景，第三图像的帧数应该较多，此时需要多帧深度图像与用户的深度模板的匹配均成功才执行支付动作，以提升支付的安全性；而对于应用场景的安全级别较低，例如对于基于深度信息进行人像美颜的应用场景，第三图像的帧数可以较少，例如，为一帧，此时利用一帧深度图像即足够进行人像美颜，如此，可以减少处理器40的计算量及功耗，并可以提升图像处理的速度。
请参阅图10，在某些实施方式中，图像获取方法还包括：
05：以第三工作频率采集可见光图像，第三工作频率大于或小于第二工作频率；
06：为每一帧可见光图像和每一帧采集图像添加采集时间；和
07：根据可见光图像的采集时间、采集图像的采集时间及采集图像的图像类型确定帧同步的可见光图像和第二图像。
请参阅图11，在某些实施方式中，图像获取装置90还包括采集模块95、添加模块96及确定模块97。步骤05可以由采集模块95实现。步骤06可以由添加模块96实现。步骤07可以由确定模块97实现。也即是说，采集模块95可用于以第三工作频率采集可见光图像，第三工作频率大于或小于第二工作频率。添加模块96可用于为每一帧可见光图像和每一帧采集图像添加采集时间。确定模块97可用于根据可见光图像的采集时间、采集图像的采集时间及采集图像的图像类型确定帧同步的可见光图像和第二图像。其中，采集模块95即为可见光相机30。
请再参阅图3，在某些实施方式中，步骤05可以由可见光相机30实现。步骤06和步骤07可以由处理器40实现。也即是说，可见光相机30可用于以第三工作频率采集可见光图像，第三工作频率大于或小于第二工作频率。处理器40可用于为每一帧可见光图像和每一帧采集图像添加采集时间、以及根据可见光图像的采集时间、采集图像的采集时间及采集图像的图像类型确定帧同步的可见光图像和第二图像。
在一些应用场景，例如，对场景中的物体进行三维建模的应用场景下，需要借助深度相机10获取场景中物体的深度信息，并且借助可见光相机30获取场景中物体的色彩信息，才能实现三维建模。此时，处理器40需要开启深度相机10获取深度图像并同时开启可见光相机30获取可见光图像。
若图像采集器12与可见光相机30具有相同的工作频率，即图像采集器12与可见光相机30均以第二工作频率工作，那么处理器40可以通过I2C总线发送图像采集指令至图像采集器12，图像采集器12接收到图像采集指令后，图像采集器12与可见光相机30之间通过sync信号同步，该sync信号控制可见光相机30开启采集可见光图像，以实现图像采集器12与可见光相机30的硬件同步。此时，采集图像的帧数与可见光图像的帧数一致，每一帧采集图像与每一帧可见光图像一一对应。
但在图像采集器12与可见光相机30的工作频率不同，即图像采集器12以第二工作频率工作，可见光相机30以不等于第二工作频率的第三工作频率工作时，图像采集器12与可见光相机30无法实现硬件同步。此时，处理器40需要通过软件同步的方式来实现图像采集器12与可见光相机30的同步。具体地，处理器40通过与图像采集器12连接的I2C总线发送图像采集指令至图像采集器12，同时通过与可见光相机30连接的I2C总线发送图像采集指令至可见光相机30。处理器40每接收到一帧采集图像时，会为每一帧采集图像添加图像类型，还会为每一帧采集图像添加采集时间。并且，处理器40每接收到一帧可见光图像时，会为每一帧可见光图像添加采集时间。其中，采集图像的采集时间可以是图像采集器12采集每一帧采集图像的开始时间、结束时间、介于开始时间至结束时间之间的任意一个时间等等；可见光图像的采集时间可以是可见光相机30采集每一帧可见光图像的开始时间、结束时间、介于开始时间至结束时间之间的任意一个时间等等。那么，在后续基于深度图像和可见光图像做进一步处理(如三维建模、借助深度信息做人像美颜等处理)时，处理器40可以先根据可见光图像的采集时间、采集图像的采集时间及采集图像的类型先确定帧同步的可见光图像和第二图像。其中，帧同步指的是确定出的第二图像的采集时间与可见光图像的采集时间的差值小于预设的时间差值，可见光图像的采集时间可以位于第二图像的采集时间之前也可以位于第二图像的采集时间之后。随后，处理器40再根据确定的第二图像选出第一图像以进一步根据第二图像、第一图像及参考图像计算深度图像。最后，处理器40基于深度图像和确定出的可见光图像进行后续处理。
在某些实施方式中，处理器40也可以为每一帧深度图像添加采集时间，再根据可见光图像的采集时间和深度图像的采集时间确定帧同步的可见光图像以及深度图像，最后对帧同步的可见光图像以及深度图像做后续处理。其中，每一帧深度图像的采集时间为与该帧深度图像对应的第二图像的采集时间。
请参阅图12，在某些实施方式中，采集图像还包括红外图像，红外图像为图像采集器12采集泛光灯20发射的红外光所得到的图像。处理器40为每一帧采集图像添加图像类型时，还会为红外图像添加图像类型。在一个例子中，红外图像的图像类型如表3所示：
表3
表3中的stream为0时，表示此时的数据流为由红外光和/或红外激光形成的图像。light为10时，表示此时的数据流是在泛光灯20投射红外光且激光投射器11未投射激光的情形下获取的。那么，处理器40为采集图像添加010的图像类型时，即标识这一帧采集图像为红外图像。
在某些应用场景中，比如同时基于深度图像与深度模板的匹配以及红外图像与红外模板的匹配实现身份验证的应用场景，图像采集器12需要与泛光灯20及激光投射器11配合使用，图像采集器12可以分时获取第一图像、第二图像及红外图像。如图12所示，实线表示激光投射器11发射激光的时序，双点划线表示泛光灯20发射红外光的时序，虚线表示图像采集器12获取采集图像的时序及采集图像的帧数，点划线表示根据第一图像和第二图像得到的第三图像的帧数，图12中由上至下，依次为实线、双点划线、虚线及点划线，其中，第二工作频率为第一工作频率的三倍，第二工作频率为第四工作频率的三倍。处理器40可以通过I2C总线实时监测泛光灯20的工作状态。处理器40每从图像采集器12接收到一帧采集图像，会先获取采集图像的采集时间，再根据采集图像的采集时间来判断在采集图像的采集时间下泛光灯20的工作状态是发射红外光还是未发射红外光，并基于判断结果为采集图像添加图像类型。处理器40后续可以基于红外图像的采集时间和第二图像的采集时间确定出采集时间的差值小于设定差值的红外图像和第二图像，进一步地，处理器40可以确定出红外图像和深度图像，并利用该红外图像和该深度图像进行身份验证。
请参阅图13，在某些实施方式中，图像获取方法还包括：
08：获取场景的亮度及类型；
09：判断亮度是否大于亮度阈值且类型为户外场景；
01：若是，则进入以第一工作频率向场景投射激光的步骤。
请参阅图14，在某些实施方式中，图像获取装置90还包括第二获取模块98和判断模块99。步骤08可以由第二获取模块98实现。步骤09可以由判断模块99实现。也即是说，第二获取模块98可用于获取场景的亮度及类型。判断模块99可用于判断亮度是否大于亮度阈值且类型为户外场景。发射模块91可用于在亮度大于亮度阈值且类型为户外场景时以第一工作频率向场景投射激光。
请再参阅图3，在某些实施方式中，步骤08和步骤09均可以由处理器40实现。也即是说，处理器40可用于获取场景的亮度及类型、以及判断亮度是否大于亮度阈值且类型为户外场景。激光投射器11可用于在亮度大于亮度阈值且类型为户外场景时以第一工作频率向场景投射激光。
具体地，场景的亮度可以通过分析图像采集器12获取的采集图像或可见光相机30获取的可见光图像得到；或者，场景的亮度也可以由光线感应器来直接检测，处理器40从光线感应器读取检测得到的信号以获取场景的亮度。场景的类型可以通过分析图像采集器12获取的采集图像或可见光相机30获取的可见光图像得到，例如分析采集图像或可见光相机30获取的可见光图像中的物体来判断场景的类型为户外场景还是户内场景；场景的类型也可以直接根据地理位置来确定，具体地，处理器40可以获取全球卫星定位系统对场景的定位结果，再根据定位结果进一步判断场景的类型，例如，定位结果为某某办公楼，则说明场景为户内场景；定位场景为某某公园，则说明场景为户外场景；定位场景为某某街道，则说明场景为户外场景等等。
可以理解，在场景的亮度较高(例如亮度大于亮度阈值)时，采集图像中环境红外光的占比会较多，对斑点的识别会较大影响，此时需要去除环境红外光的干扰。但是在场景的亮度较低时，采集图像中环境红外光的占比会较少，对斑点的识别产生的影响较小，可以忽略不计，此时图像采集器12和激光投射器11可以采用相同工作频率工作，处理器40直接根据图像采集器12获取的采集图像(即第二图像)与参考图像计算深度图像。另外，场景的亮度较高时可能是户内的灯光光线较强引起的，由于灯光光线不包括红外光，不会对斑点的识别产生较大影响，此时图像采集器12和激光投射器11采用相同工作频率工作，处理器40直接根据图像采集器12获取的采集图像(即第二图像)与参考图像计算深度图像。如此，可以减小图像采集器12的工作频率，减少图像采集器12的功耗。
当然，在某些实施方式中，图像获取方法也可以仅仅基于场景的亮度来判断是否执行步骤01。具体地，处理器40仅仅获取场景的亮度，判断场景的亮度是否大于亮度阈值，激光投射器11在亮度大于亮度阈值时以第一工作频率向场景投射激光。
在某些实施方式中，处理器40还可以为每一个数据流添加状态信息(status)。在一个例子中，如表4所示：
表4
状态信息status为0时，表示该数据流未经过减背景处理，状态信息status为1时，表示该数据流经过减背景处理。表4中的0000即表示第一图像；0010即表示第二图像；0100即表示泛光灯20开启时图像采集器12获取的红外图像；0111即表示第三图像；1XX1即表示经过减背景处理的深度图像；1XX0即表示未经过减背景处理的深度图像。如此，为每个数据流添加状态信息以便于处理器40分辨各个数据流是否经过减背景处理。
在某些实施方式中，处理器40包括第一存储区、第二存储区以及逻辑减电路，逻辑减电路与第一存储区及第二存储区均连接。其中，第一存储区用于存储第一图像，第二存储区用于存储第二图像，逻辑减电路用于处理第一图像和第二图像得到第三图像。具体地，逻辑减电路从第一存储区读取第一图像，从第二存储区读取第二图像，在获取到第一图像和第二图像后，对第一图像和第二图像执行减法处理得到第三图像。逻辑减电路还与处理器40中的深度计算模块(例如，可以是专门用于计算深度的集成电路ASIC等)连接，逻辑减电路将第三图像发送到深度计算模块中，由深度计算模块根据第三图像和参考图像计算深度图像。
请参阅图14，本申请还提供一种包含计算机可读指令的非易失性计算机可读存储介质200。计算机可读指令被处理器300执行时，使得处理器300执行上述任意一项实施方式所述的图像获取方法。处理器300可以是图1中的处理器40。
例如，请结合图4，计算机可读指令被处理器300执行时，使得处理器300执行以下步骤：
01：以第一工作频率向场景投射激光；
02：以第二工作频率获取采集图像，第二工作频率大于第一工作频率；
03：在采集图像中区分出在激光投射器11未投射激光时采集的第一图像及在激光投射器11投射激光时采集的第二图像；和
04：根据第一图像、第二图像及参考图像计算深度图像。
再例如，请结合图8，计算机可读指令被处理器300执行时，使得处理器300执行以下步骤：
031：为每一帧采集图像添加图像类型；和
032：根据图像类型区分第一图像与第二图像。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“一个例子”“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (12)

1.一种图像获取方法，用于电子设备，其特征在于，所述电子设备包括深度相机，所述深度相机包括激光投射器，所述图像获取方法包括：
以第一工作频率向场景投射激光；
以第二工作频率获取采集图像，所述第二工作频率大于所述第一工作频率；
在所述采集图像中区分出在所述激光投射器未投射激光时采集的第一图像及在所述激光投射器投射激光时采集的第二图像；和
根据所述第一图像、所述第二图像及参考图像计算深度图像。
2.根据权利要求1所述的图像获取方法，其特征在于，所述在所述采集图像中区分出在所述激光投射器未投射激光时采集的第一图像及在所述激光投射器投射激光时采集的第二图像，包括：
为每一帧所述采集图像添加图像类型；和
根据所述图像类型区分所述第一图像与所述第二图像。
3.根据权利要求2所述的图像获取方法，其特征在于，所述为每一帧所述采集图像添加图像类型，包括：
根据每一帧所述采集图像的采集时间确定在所述采集时间下所述激光投射器的工作状态；和
根据所述工作状态为每一帧所述采集图像添加所述图像类型。
4.根据权利要求2所述的图像获取方法，其特征在于，所述根据所述第一图像、所述第二图像及参考图像计算深度图像，包括：
根据所述第一图像和所述第二图像计算第三图像，所述第一图像的所述采集时间与所述第二图像的采集时间的差值小于预定差值；和
根据所述第三图像和所述参考图像计算所述深度图像。
5.根据权利要求2所述的图像获取方法，其特征在于，所述图像获取方法还包括：
以第三工作频率采集可见光图像，所述第三工作频率大于或小于所述第二工作频率；
为每一帧所述可见光图像和每一帧所述采集图像添加采集时间；和
根据所述可见光图像的所述采集时间、所述采集图像的所述采集时间及所述采集图像的图像类型确定帧同步的所述可见光图像和所述第二图像。
6.一种图像获取装置，用于电子设备，其特征在于，所述电子设备包括深度相机，所述深度相机包括激光投射器，所述图像获取装置包括：
发射模块，用于以第一工作频率向场景投射激光；
第一获取模块，用于以第二工作频率获取采集图像，所述第二工作频率大于所述第一工作频率；
区分模块，用于在所述采集图像中区分出在所述激光投射器未投射激光时采集的第一图像及在所述激光投射器投射激光时采集的第二图像；和
计算模块，用于根据所述第一图像、所述第二图像及参考图像计算深度图像。
7.一种电子设备，其特征在于，所述电子设备包括深度相机和处理器，所述深度相机包括激光投射器和图像采集器；
所述激光投射器用于以第一工作频率向场景投射激光；
所述图像采集器用于以第二工作频率获取采集图像，所述第二工作频率大于所述第一工作频率；
所述处理器用于：
在所述采集图像中区分出在所述激光投射器未投射激光时采集的第一图像及在所述激光投射器投射激光时采集的第二图像；和
根据所述第一图像、所述第二图像及参考图像计算深度图像。
8.根据权利要求7所述的电子设备，其特征在于，所述处理器还用于：
为每一帧所述采集图像添加图像类型；和
根据所述图像类型区分所述第一图像与所述第二图像。
9.根据权利要求8所述的电子设备，其特征在于，所述处理器还用于：
根据每一帧所述采集图像的采集时间确定在所述采集时间下所述激光投射器的工作状态；和
根据所述工作状态为每一帧所述采集图像添加所述图像类型。
10.根据权利要求8所述的电子设备，其特征在于，所述处理器还用于：
根据所述第一图像和所述第二图像计算第三图像，所述第一图像的所述采集时间与所述第二图像的采集时间的差值小于预定差值；和
根据所述第三图像和所述参考图像计算所述深度图像。
11.根据权利要求8所述的电子设备，其特征在于，所述电子设备还包括可见光相机，所述可见光相机用于以第三工作频率采集可见光图像，所述第三工作频率大于或小于所述第二工作频率；
所述处理器还用于：
为每一帧所述可见光图像和每一帧所述采集图像添加采集时间；和
根据所述可见光图像的所述采集时间、所述采集图像的所述采集时间及所述采集图像的图像类型确定帧同步的所述可见光图像和所述第二图像。
12.一种包含计算机可读指令的非易失性计算机可读存储介质，所述计算机可读指令被处理器执行时，使得所述处理器执行权利要求1-5任意一项所述的图像获取方法。
CN201910437665.1A 2019-05-24 2019-05-24 图像获取方法、图像获取装置、电子设备和可读存储介质 Pending CN110012206A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910437665.1A CN110012206A (zh) 2019-05-24 2019-05-24 图像获取方法、图像获取装置、电子设备和可读存储介质
EP20815599.4A EP3975537A4 (en) 2019-05-24 2020-04-21 IMAGE CAPTURE METHOD, IMAGE CAPTURE DEVICE, ELECTRONIC DEVICE AND READABLE STORAGE MEDIA
PCT/CN2020/085783 WO2020238481A1 (zh) 2019-05-24 2020-04-21 图像获取方法、图像获取装置、电子设备和可读存储介质
US17/525,544 US20220067951A1 (en) 2019-05-24 2021-11-12 Method for Acquiring Image, Electronic Device and Readable Storage Medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910437665.1A CN110012206A (zh) 2019-05-24 2019-05-24 图像获取方法、图像获取装置、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN110012206A true CN110012206A (zh) 2019-07-12

Family

ID=67177819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910437665.1A Pending CN110012206A (zh) 2019-05-24 2019-05-24 图像获取方法、图像获取装置、电子设备和可读存储介质

Country Status (4)

Country Link
US (1) US20220067951A1 (zh)
EP (1) EP3975537A4 (zh)
CN (1) CN110012206A (zh)
WO (1) WO2020238481A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020238481A1 (zh) * 2019-05-24 2020-12-03 Oppo广东移动通信有限公司 图像获取方法、图像获取装置、电子设备和可读存储介质
CN112764557A (zh) * 2020-12-31 2021-05-07 深圳Tcl新技术有限公司 激光交互方法、装置、设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102706452A (zh) * 2012-04-28 2012-10-03 中国科学院国家天文台 月球卫星干涉成像光谱仪实时数据的处理方法
CN103268608A (zh) * 2013-05-17 2013-08-28 清华大学 基于近红外激光散斑的深度估计方法及装置
CN103971405A (zh) * 2014-05-06 2014-08-06 重庆大学 一种激光散斑结构光及深度信息的三维重建方法
CN106454287A (zh) * 2016-10-27 2017-02-22 深圳奥比中光科技有限公司 组合摄像系统、移动终端及图像处理方法
CN108716982A (zh) * 2018-04-28 2018-10-30 Oppo广东移动通信有限公司 光学元件检测方法、装置、电子设备和存储介质
CN109461181A (zh) * 2018-10-17 2019-03-12 北京华捷艾米科技有限公司 基于散斑结构光的深度图像获取方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284194B2 (en) * 2006-09-21 2012-10-09 Thomson Licensing Method and system for three-dimensional model acquisition
US9990735B2 (en) * 2012-04-04 2018-06-05 Konica Minolta, Inc. Image generation device that acquires images based on a periodic variation of an anatomical structure
US10268885B2 (en) * 2013-04-15 2019-04-23 Microsoft Technology Licensing, Llc Extracting true color from a color and infrared sensor
CN106550228B (zh) * 2015-09-16 2019-10-15 上海图檬信息科技有限公司 获取三维场景的深度图的设备
US9762781B2 (en) * 2015-10-30 2017-09-12 Essential Products, Inc. Apparatus and method to maximize the display area of a mobile device by increasing the size of the display without necessarily increasing the size of the phone
US10438493B2 (en) * 2016-08-24 2019-10-08 Uber Technologies, Inc. Hybrid trip planning for autonomous vehicles
US10282857B1 (en) * 2017-06-27 2019-05-07 Amazon Technologies, Inc. Self-validating structured light depth sensor system
US10404916B2 (en) * 2017-08-30 2019-09-03 Qualcomm Incorporated Multi-source video stabilization
CN107682607B (zh) * 2017-10-27 2019-10-22 Oppo广东移动通信有限公司 图像获取方法、装置、移动终端和存储介质
CN107995434A (zh) * 2017-11-30 2018-05-04 广东欧珀移动通信有限公司 图像获取方法、电子装置和计算机可读存储介质
US10939090B2 (en) * 2019-02-06 2021-03-02 Canon Kabushiki Kaisha Control apparatus, imaging apparatus, illumination apparatus, image processing apparatus, image processing method, and storage medium
CN110062145B (zh) * 2019-05-24 2021-07-20 Oppo广东移动通信有限公司 深度相机、电子设备及图像获取方法
CN110012206A (zh) * 2019-05-24 2019-07-12 Oppo广东移动通信有限公司 图像获取方法、图像获取装置、电子设备和可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102706452A (zh) * 2012-04-28 2012-10-03 中国科学院国家天文台 月球卫星干涉成像光谱仪实时数据的处理方法
CN103268608A (zh) * 2013-05-17 2013-08-28 清华大学 基于近红外激光散斑的深度估计方法及装置
CN103971405A (zh) * 2014-05-06 2014-08-06 重庆大学 一种激光散斑结构光及深度信息的三维重建方法
CN106454287A (zh) * 2016-10-27 2017-02-22 深圳奥比中光科技有限公司 组合摄像系统、移动终端及图像处理方法
CN108716982A (zh) * 2018-04-28 2018-10-30 Oppo广东移动通信有限公司 光学元件检测方法、装置、电子设备和存储介质
CN109461181A (zh) * 2018-10-17 2019-03-12 北京华捷艾米科技有限公司 基于散斑结构光的深度图像获取方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020238481A1 (zh) * 2019-05-24 2020-12-03 Oppo广东移动通信有限公司 图像获取方法、图像获取装置、电子设备和可读存储介质
CN112764557A (zh) * 2020-12-31 2021-05-07 深圳Tcl新技术有限公司 激光交互方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
US20220067951A1 (en) 2022-03-03
EP3975537A4 (en) 2022-06-08
EP3975537A1 (en) 2022-03-30
WO2020238481A1 (zh) 2020-12-03

Similar Documents

Publication Publication Date Title
US7180510B2 (en) Pointed position detection device and pointed position detection method
JP6770536B2 (ja) 仮想画像生成システムにおけるテキストをより効率的に表示するための技法
CN110062145A (zh) 深度相机、电子设备及图像获取方法
US20140362188A1 (en) Image processing device, image processing system, and image processing method
WO2015098288A1 (ja) 画像処理装置、および画像処理方法
CN110213413A (zh) 电子装置的控制方法及电子装置
CN110012206A (zh) 图像获取方法、图像获取装置、电子设备和可读存储介质
CN110198409A (zh) 终端的控制方法及控制装置、终端及计算机可读存储介质
KR20170086392A (ko) 적외선 카메라와 마커를 이용한 영상 촬영 시스템, 방법 및 어플리케이션
EP3975528A1 (en) Control method of electronic device and electronic device
EP3968615B1 (en) Control method for electronic apparatus, and electronic apparatus
US10389444B2 (en) Image processing apparatus, image processing system, image processing method, and recording medium
CN110245618B (zh) 3d识别装置及方法
CN109788195B (zh) 电子设备和移动平台
CN110191279A (zh) 深度相机、电子设备及图像获取方法
JPH10149447A (ja) ジェスチャー認識方法および装置
CN109683707A (zh) 一种使ar眼镜投影颜色自适应的方法及系统
JP2019219929A (ja) 常時キャリブレーションシステム及びその方法
KR102618193B1 (ko) 표시 제어 장치 및 방법 및 프로그램
CN109729250B (zh) 电子设备和移动平台
JP2008204126A (ja) 顔判別装置および方法並びにプログラム
WO2020237657A1 (zh) 电子设备的控制方法、电子设备和计算机可读存储介质
JPH0247982A (ja) テレビ電話用カメラ装置
JP2000180120A (ja) 画像処理装置、画像処理方法、および提供媒体、並びに測定システム
CN108295463A (zh) 一种图像显示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190712