CN112889272B - 深度图像获取方法、深度图像获取装置及电子装置 - Google Patents

深度图像获取方法、深度图像获取装置及电子装置 Download PDF

Info

Publication number
CN112889272B
CN112889272B CN201880098945.8A CN201880098945A CN112889272B CN 112889272 B CN112889272 B CN 112889272B CN 201880098945 A CN201880098945 A CN 201880098945A CN 112889272 B CN112889272 B CN 112889272B
Authority
CN
China
Prior art keywords
depth
image
camera
time
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880098945.8A
Other languages
English (en)
Other versions
CN112889272A (zh
Inventor
刘畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN112889272A publication Critical patent/CN112889272A/zh
Application granted granted Critical
Publication of CN112889272B publication Critical patent/CN112889272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4204—Photometry, e.g. photographic exposure meter using electric radiation detectors with determination of ambient light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

一种深度图像获取方法、深度图像获取装置(10)及电子装置(100)。深度图像获取方法包括：获取场景图像以确定场景图像中的感兴趣区域(ROI)；获取感兴趣区域(ROI)的当前距离；判断当前距离是否大于第一预定距离；在当前距离大于第一预定距离时，控制飞行时间深度相机(20)获取场景的当前深度图像；在当前距离小于第一预定距离时，控制双目相机(30)和飞行时间深度相机(20)共同获取场景的当前深度图像。

Description

深度图像获取方法、深度图像获取装置及电子装置
技术领域
本申请涉及三维成像技术领域，特别涉及一种深度图像获取方法、深度图像获取装置及电子装置。
背景技术
目前，将双目相机装设在智能手机上，以使智能手机具有测量物体深度的功能已经十分普遍。但双目相机测得的深度数据的精确度有待提高，例如，在物体表面比较平滑、纹理较少时，或者场景中的物体与双目相机的距离较远时，双目相机测得的深度数据的精度通常较低。另外，利用双目相机计算深度数据的方式的计算量很大。
发明内容
本申请的实施例提供了一种深度图像获取方法、深度图像获取装置及电子装置。
本申请实施方式的深度图像获取方法用于电子装置。所述电子装置包括双目相机和飞行时间深度相机，所述深度图像获取方法包括：获取场景图像以确定所述场景图像中的感兴趣区域(ROI)；获取所述感兴趣区域(ROI)的当前距离；判断所述当前距离是否大于第一预定距离；在所述当前距离大于所述第一预定距离时，控制所述飞行时间深度相机获取所述场景的当前深度图像；在所述当前距离小于所述第一预定距离时，控制所述双目相机和所述飞行时间深度相机共同获取所述场景的当前深度图像。
本申请实施方式的深度图像获取装置用于电子装置。所述电子装置包括双目相机和飞行时间深度相机。所述深度图像获取装置包括第一获取模块、第二获取模块、第一判断模块、第一控制模块、第二控制模块。所述第一获取模块用于获取场景图像以确定所述场景图像中的感兴趣区域(ROI)。所述第二获取用于模块获取所述感兴趣区域(ROI)的当前距离。所述第一判断模块用于判断所述当前距离是否大于第一预定距离。所述第一控制模块用于在所述当前距离大于所述第一预定距离时，控制所述飞行时间深度相机获取所述场景的当前深度图像。所述第二控制模块用于在所述当前距离小于所述第一预定距离时，控制所述双目相机和所述飞行时间深度相机共同获取所述场景的当前深度图像。
本申请实施方式的电子装置包括双目相机、飞行时间深度相机和处理器。所述处理器用于：获取场景图像以确定所述场景图像中的感兴趣区域(ROI)；获取所述感兴趣区域(ROI)的当前距离；判断所述当前距离是否大于第一预定距离；在所述当前距离大于所述第一预定距离时，控制所述飞行时间深度相机获取所述场景的当前深度图像；在所述当前距离小于所述第一预定距离时，控制所述双目相机和所述飞行时间深度相机共同获取所述场景的当前深度图像。
本申请实施方式的电子装置包括双目相机、飞行时间深度相机和处理器。所述双目相机拍摄场景图像。所述处理器用于确定所述场景图像中的感兴趣区域(ROI)。所述飞行时间深度相机及所述处理器共同获取所述感兴趣区域(ROI)的当前距离。所述处理器用于判断所述当前距离是否大于第一预定距离。在所述当前距离大于所述第一预定距离时，所述飞行时间深度相机和所述处理器共同获取所述场景的当前深度图像。在所述当前距离小于所述第一预定距离时，所述双目相机、所述飞行时间深度相机及所述处理器共同获取所述场景的当前深度图像。
本申请实施方式的深度图像获取方法、深度图像获取装置及电子装置基于感兴趣区域(ROI)与电子装置之间的当前距离来选取与当前距离对应的深度图像获取方式，可以提升当前深度图像的获取精度。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的深度图像获取方法的流程示意图。
图2是本申请某些实施方式的深度图像获取装置的模块示意图。
图3和图4是本申请某些实施方式的电子装置的立体结构示意图。
图5是本申请某些实施方式的深度图像获取方法的流程示意图。
图6是本申请某些实施方式的深度图像获取装置的第二获取模块的模块示意图。
图7是本申请某些实施方式的深度图像获取方法的流程示意图。
图8是本申请某些实施方式的深度图像获取装置的模块示意图。
图9是本申请某些实施方式的深度图像获取方法的流程示意图。
图10是本申请某些实施方式的深度图像获取装置的处理单元的模块示意图。
图11是本申请某些实施方式的深度图像获取方法的双线性插值的原理示意图。
图12是本申请某些实施方式的深度图像获取方法的处于物体几何边界的像素点的筛选的原理示意图。
图13是本申请某些实施方式的深度图像获取方法的流程示意图。
图14是本申请某些实施方式的深度图像获取装置的处理单元的模块示意图。
图15是本申请某些实施方式的深度图像获取方法的流程示意图。
图16是本申请某些实施方式的深度图像获取装置的第二控制模块的模块示意图。
图17是本申请某些实施方式的深度图像获取方法的流程示意图。
图18是本申请某些实施方式的深度图像获取装置的计算单元的模块示意图。
图19是本申请某些实施方式的深度图像获取方法的流程示意图。
图20是本申请某些实施方式的深度图像获取装置的模块示意图。
图21是本申请某些实施方式的深度图像获取方法的流程示意图。
图22是本申请某些实施方式的深度图像获取装置的第三控制模块的模块示意图。
图23是本申请某些实施方式的深度图像获取方法的流程示意图。
图24是本申请某些实施方式的深度图像获取装置的第二控制单元的模块示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
请一并参阅图1和图3，本申请提供一种用于电子装置100的深度图像获取方法。电子装置100包括双目相机30和飞行时间深度相机20。深度图像获取方法包括：
01：获取场景图像以确定场景图像中的感兴趣区域(ROI)；
02：获取感兴趣区域(ROI)的当前距离；
03：判断当前距离是否大于第一预定距离；
04：在当前距离大于第一预定距离时，控制飞行时间深度相机20获取场景的当前深度图像；和
05：在当前距离小于第一预定距离时，控制双目相机30和飞行时间深度相机20共同获取场景的当前深度图像。
请一并参阅图2和图3，本申请还提供一种用于电子装置100的深度图像获取装置10。深度图像获取装置10包括第一获取模块11、第二获取模块12、第一判断模块13、第一控制模块14和第二控制模块15。步骤01可以由第一获取模块11实现。步骤02可以由第二获取模块12实现。步骤03可以由第一判断模块13实现。步骤04可以由第一控制模块14实现。步骤05可以由第二控制模块15实现。
也即是说，第一获取模块11可用于获取场景图像以确定场景图像中的感兴趣区域(ROI)。第二获取模块12可用于获取感兴趣区域(ROI)的当前距离。第一判断模块13可用于判断当前距离是否大于第一预定距离。第一控制模块14可用于在当前距离大于第一预定距离时，控制飞行时间深度相机20获取场景的当前深度图像。第二控制模块15可用于在当前距离小于第一预定距离时，控制双目相机30和飞行时间深度相机20共同获取场景的当前深度图像。
请参阅图3，本申请还提供一种电子装置100。电子装置100包括双目相机30、飞行时间深度相机20和处理器40。双目相机30可用于拍摄场景图像。步骤01、步骤02、步骤03、步骤04和步骤05还可以由处理器40实现。也即是说，处理器40可用于获取场景图像以确定场景图像中的感兴趣区域(ROI)、获取感兴趣区域(ROI)的当前距离、判断当前距离是否大于第一预定距离、在当前距离大于第一预定距离时控制飞行时间深度相机20获取场景的当前深度图像、以及在当前距离小于第一预定距离时控制双目相机30和飞行时间深度相机20共同获取场景的当前深度图像。
请再参阅图3，本申请还提供一种电子装置100。电子装置100包括双目相机30、飞行时间深度相机20和处理器40。步骤01可以由双目相机30和处理器40共同实现。步骤02可以由飞行时间深度相机20和处理器共同实现。步骤03可以由处理器30实现。步骤04可以由飞行时间深度相机20和处理器40共同实现。步骤05可以由双目相机30、飞行时间深度相机20和处理器40共同实现。也即是说，双目相机30可用于拍摄场景图像。处理器40可用于确定场景图像中的感兴趣区域(ROI)。飞行时间深度相机20和处理器40可共同用于获取感兴趣区域(ROI)的当前距离。处理器40还可用于判断当前距离是否大于第一预定距离。在当前距离大于第一预定距离时，飞行时间深度相机20和处理器40还可以共同用于获取场景的当前深度图像。在当前距离小于第一预定距离时，双目相机30、飞行时间深度相机20和处理器40可共同用于获取场景的当前深度图像。
其中，电子装置100可以是手机、平板电脑、笔记本电脑、游戏机、智能手表、智能手环、头显设备、无人机等。本申请以电子装置100为手机为例进行说明，但电子装置100的具体形式不限于手机。
电子装置100还包括壳体50。双目相机30和飞行时间深度相机20设置在壳体50上。
壳体50可以作为电子装置100的功能元件的安装载体。壳体50可以为功能元件提供防尘、防摔、防水等保护，功能元件可以是显示屏60、受话器等。在本申请实施例中，壳体50包括主体52及可动支架51，可动支架51在驱动装置的驱动下可以相对于主体52运动，例如可动支架51可以相对于主体52滑动，以滑入主体52(如图4所示)或从主体52滑出(如图3所示)。部分功能元件(例如显示屏60)可以安装在主体52上，另一部分功能元件(例如双目相机30、飞行时间深度相机20、受话器)可以安装在可动支架51上，可动支架51运动可带动该另一部分功能元件缩回主体52内或从主体52中伸出。当然，图3和图4所示仅是对壳体50的一种具体形式举例，不能理解为对本申请的壳体50的限制。
双目相机30、飞行时间深度相机20安装在壳体50上。具体地，壳体50上可以开设有一个或多个采集窗口。在壳体50上开设有多个采集窗口时，双目相机30和飞行时间深度相机20分别与对应的采集窗口对准安装以使双目相机30和飞行时间深度相机20能够采集深度信息。在本申请的具体实施例中，双目相机30和飞行时间深度相机20安装在可动支架51上。用户在需要使用双目相机30或飞行时间深度相机20时，可以触发可动支架51从主体52中滑出以带动双目相机30和飞行时间深度相机20从主体52中伸出；在不需要使用双目相机30和飞行时间深度相机20时，可以触发可动支架51滑入主体52以带动深度相机缩回主体52中。
双目相机30包括第一相机31和第二相机32。第一相机31和第二相机32均为可见光相机，可以被处理器40控制以单独获取可见光图像或同时获取可见光图像。第一相机31和第二相机32具有重叠的视场，如此，第一相机31拍摄的第一图像和第二相机32拍摄的第二图像可以进行特征匹配从而获取场景的深度数据。
飞行时间深度相机20包括激光发射器22和图像采集器21。一般地，激光发射器22发射的激光为红外激光，对应地，图像采集器21为红外相机。激光发射器22发射激光到场景中，激光被场景中的物体反射回来后被图像采集器21接收，处理器40根据激光在场景中的飞行时间以及光速来计算场景的深度数据。
本申请实施方式的图像获取方法中，第一相机31或者第二相机32首先拍摄场景的场景图像，处理器40从第一相机31或第二相机32中读取场景图像，并进一步获取场景中的感兴趣区域(Region of Interest，ROI)。其中，ROI可以是一个预先设定好的默认区域，例如场景图像的中央区域；或者，ROI也可以是场景图像中的人脸区域，人脸区域可以由处理器40采用现有的人脸识别算法识别得到；或者，ROI也可以是用户选择的区域，电子装置100在显示屏60上显示场景图像以供用户预览，用户点击显示屏60的某个位置，处理器40以对应用户点击位置的场景图像上的某一个或某几个像素点为中心点，向四周扩散出预定形状及预定大小的区域以形成感兴趣区域，预定形状可以是圆形、矩形、方形、心形、六边形等等，在此不做限制。
在确定ROI之后，处理器40需要判断ROI与电子装置100之间的距离，以选取合适的深度获取方式来场景的当前深度图像。此时，请参阅图5，步骤02获取感兴趣区域(ROI)的当前距离包括：
021：控制飞行时间深度相机20获取场景的飞行时间深度图像；和
022：根据飞行时间深度图像及感兴趣区域(ROI)获取当前距离。
请参阅图6，第二获取模块12包括第一控制单元121和第一获取单元122。步骤021可以由第一控制单元121实现。步骤022可以由第一获取单元122实现。也即是说，第一控制单元121可用于控制飞行时间深度相机20获取场景的飞行时间深度图像。第一获取单元122可用于根据飞行时间深度图像及感兴趣区域(ROI)获取当前距离。
请再参阅图3，步骤021和步骤022还可以由处理器40实现。也即是说，处理器40还可用于控制飞行时间深度相机20获取场景的飞行时间深度图像、以及根据飞行时间深度图像及感兴趣区域(ROI)获取当前距离。
请再参阅图3，步骤021还可以由飞行时间深度相机20实现。步骤022还可以由处理器40实现。也即是说，飞行时间深度相机20可拍摄场景的飞行时间深度图像。处理器还可用于根据飞行时间深度图像及感兴趣区域(ROI)获取当前距离。
具体地，飞行时间深度相机20测量场景的深度并得到飞行时间深度图像可以有多种方式。
例如，在直接测量的方式中，处理器40控制激光发射器22开启以向场景发射激光，并同时控制图像采集器21中的图像传感器内的每个感光像素的计时电路开始计数。发射出的激光经场景中的物体反射回来后被图像采集器21接收。由于图像采集器21中每一个感光像素内的雪崩光电二极管均工作在盖革模式(反向偏置电压高于雪崩电压)，吸收单个光子即会发生雪崩现象，使得输出电流瞬间(小于1ps)达到最大值，并反馈至各感光像素独立的计时电路以使计时电路终止计数。每一个计时电路将计数值输出给处理器40，处理器40即可根据计数值和光速计算出飞行时间深度图像中各个像素点的原始深度数据。
在间接测量方式中，处理器40控制激光发射器22向场景发射方波脉冲调制的激光，图像采集器21采集一个或多个完整的脉冲周期下的激光。其中，图像采集器21中的每个感光像素中的感光器件都可以将接收到的激光转换为电流。感光器件连接着多个高频开关，可以把电流导入不同的可以存储电荷的电容里，如此，通过控制高频开关的开启和关闭，将接收到的激光分为两个部分，根据这两部分的激光对应的电流即可算出物体与飞行时间深度相机20之间的距离，即飞行时间深度图像中各个像素点的原始深度数据。
假设包括ROI的场景图像由第一相机31拍摄得到，处理器40可以根据第一相机31与飞行时间深度相机20的图像采集器21之间的相对位置关系来确定出场景图像中的每个像素点与飞行时间深度图像中的每个像素点的对应关系，从而得到ROI中各个像素点的原始深度数据。
随后，处理器40可以对ROI中多个像素点的原始深度数据取平均值并将平均值作为ROI的当前距离，再将当前距离与第一预定距离作比较。在当前距离大于第一预定距离时，利用飞行时间深度相机20来获取场景的当前深度图像；在当前距离小于或等于第一预定距离时，利用双目相机30和飞行时间深度相机20来共同获取场景的当前深度图像。
或者，处理器40也可以将ROI中每个像素点的原始深度数据与第一预定距离一一作比较。若原始深度数据大于第一预定距离的像素的个数多于原始深度数据小于或等于第一预定距离的像素的个数，则利用飞行时间深度相机20来获取场景的当前深度图像；若原始深度数据大于第一预定距离的像素的个数少于原始深度数据小于或等于第一预定距离的像素的个数，则利用双目相机30和飞行时间深度相机20来共同获取场景的当前深度图像。
可以理解，当ROI的当前距离大于第一预定距离、或者原始深度数据大于第一预定距离的像素的个数多于原始深度数据小于或等于第一预定距离的像素的个数时，说明ROI对应的物体与电子装置100之间的距离较远，此时利用双目相机30获取的当前深度图像的精度不高，因此，需要使用飞行时间深度相机20来获取当前深度图像；当ROI的当前距离小于或等于第一预定距离、或者原始深度数据大于第一预定距离的像素的个数少于原始深度数据小于或等于第一预定距离的像素的个数时，说明ROI对应的物体与电子装置100之间的距离较近，此时可以结合双目相机30和飞行时间深度相机20来共同获取当前深度图像，结合双目相机30获取的边缘或纹理区域的深度数据较为准确、以及飞行时间深度相机20获取的平滑区域的深度数据较为准确的优势，极大地提升当前深度图像的精度。
本申请实施方式的图像获取方法、图像获取装置和电子装置100基于ROI与电子装置100之间的当前距离来选取与当前距离对应的深度图像获取方式，可以提升当前深度图像的获取精度。
请参阅图7，在某些实施方式中，飞行时间深度图像具有第一分辨率。步骤04在当前距离大于第一预定距离时，控制飞行时间深度相机20获取场景的当前深度图像包括：
041：对飞行时间深度图像做上采样处理得到当前深度图像，当前深度图像具有第二分辨率，第二分辨率大于所述第一分辨率。
请参阅图8，在某些实施方式中，第一控制模块14包括处理单元141，步骤041可以由处理单元141实现。也即是说，处理单元141可用于对飞行时间深度图像做上采样处理得到当前深度图像。当前深度图像具有第二分辨率，第二分辨率大于所述第一分辨率。
请再参阅图3，在某些实施方式中，步骤041还可以由处理器40实现。也即是说，处理器40还可用于对飞行时间深度图像做上采样处理得到当前深度图像。当前深度图像具有第二分辨率，第二分辨率大于所述第一分辨率。
可以理解，飞行时间深度相机20拍摄的飞行时间深度图像通常具有较低的分辨率。低分辨率的飞行时间深度图像中包含的深度数据较少，无法满足一些应用场景的使用需求。例如在三维人脸识别中，较少的深度数据对于人脸识别的准确性有较大影响；在三维建模的应用场景中，较少的深度数据无法构建出与目标建模物体吻合度较高的模型，模型的准确度和观赏度均不佳。因此，处理器40需要对飞行时间深度图像做上采样处理得到当前深度图像。当前深度图像具有较高的分辨率，包含的深度数据较多，可以满足多种应用场景的使用需求。
具体地，请参阅图9，在某些实施方式中，步骤041对飞行时间深度图像做上采样处理得到当前深度图像包括：
0411：对飞行时间深度图像做插值计算以得到中间深度图像；
0412：处理场景图像以获取边缘检测图像；和
0413：根据边缘检测图像中的边缘信息修正中间深度图像以得到当前深度图像。
请参阅图10，在某些实施方式中，处理单元141包括第一计算子单元1411、第一处理子单元1412和修正子单元1413。步骤0411可以由第一计算子单元1411实现。步骤0412可以由第一处理子单元1412。步骤0413可以由修正子单元1413实现。也即是说，第一计算子单元1411可用于对飞行时间深度图像做插值计算以得到中间深度图像。第一处理子单元1412可用于处理场景图像以获取边缘检测图像。修正子单元1413可用于根据边缘检测图像中的边缘信息修正中间深度图像以得到当前深度图像。
请再参阅图3，在某些实施方式中，步骤0411、步骤0412和步骤0413均可由处理器40实现。也即是说，处理器40还可用于对飞行时间深度图像做插值计算以得到中间深度图像、处理场景图像以获取边缘检测图像、以及根据边缘检测图像中的边缘信息修正中间深度图像以得到当前深度图像。
具体地，处理器40可以根据最邻近差值、双线性插值、三线性插值等插值算法对飞行时间深度图像做插值计算以得到中间深度图像。在此以双线性插值算法为例进行说明。请参阅图11，假设待插入像素点为P(x，y)，与待插入像素点P相邻的四个已知坐标的像素点分别为Q11＝(x1，y1)、Q12＝(x1，y2)、Q21＝(x2，y1)、Q22＝(x2，y2)。首先，在水平方向x上进行线性插值，得到：
Figure GPA0000303839190000081
随后，在垂直方向y上进行线性插值，得到：
Figure GPA0000303839190000082
则像素点P的深度数据f(x，y)即为：
Figure GPA0000303839190000083
经上采样处理得到的中间深度图像中，由于上采样的像素点是由邻近各像素点的深度数据采用各种模式加权平均得到的，必然造成边界两侧区域各像素点的深度数据的差异减小，造成边界模糊的现象。此时，处理器40需要对处于边界的像素点的深度数据做修正。
具体地，首先，处理器40可先用边缘检测算法来检测场景图像的边缘以得到边缘检测图像。边缘检测算法主要是利用场景图像中某一像素点的梯度信息来判定该像素点是否为边界点，一般认为梯度值越大，这一像素点为边界点的可能性越大。但有时某些梯度值较大的点不一定是边缘点。基于梯度值确定出的边界点通常有两种可能性：(1)一种是物体的几何边界，一种是图像纹理(纹理属于一个平面)的边界。而在中间深度图像中，图像纹理所在像素点的深度数据差别不大，只有在物体的交界处或者是前景物体与背景的交界处才会出现深度数据的突变，本申请要修正的是中间深度图像中物体几何边界所在的像素点的深度数据。因此，处理器40要对边缘检测图像中所有属于边界点的像素点进行筛选，以筛选出真正属于物体几何边界的像素点。具体地，请结合图12，假设边缘检测图像中属于边界点的一个像素点为A，中间深度图像中与像素点A对应的像素点为A0，中间深度图像中以A0为中心点的N×N(以N＝3为例)的区域中的像素点包括A1、A2、A3、A4、A5、A6、A7、A8，要判断A点是否为属于物体几何边界的像素点，对应地要检测A0在水平方向、竖直方向或对角线方向的任意一个方向上是否存在深度突变，也即是说，处理器40可以计算|A1-A|、|A2-A|、|A3-A|、|A4-A|、|A5-A|、|A6-A|、|A7-A|、|A8-A|中是否存在至少一个值大于预定突变阈值，若至少存在一个值大于预定突变阈值，例如|A4-A|的值大于预定突变阈值，则说明A0在水平方向存在突变，对应地利用A及与A处于同一水平方向x上的某几个像素点点来修正A0的深度数据。如此，依据上述修正方式对中间深度图像进行修正即可得到修正后的当前深度图像。与中间深度图像相比，当前深度图像的边界清晰度较高。
请参阅图13，在某些实施方式中，步骤041对飞行时间深度图像做上采样处理得到当前深度图像包括：
0414：划分飞行时间深度图像以得到多个深度区域；
0415：处理场景图像以得到多个边缘检测区域；
0416：根据边缘检测区域判断对应边缘检测区域的深度区域是否完整；
0417：若不完整则根据边缘检测区域和对应边缘检测区域的深度区域中的原始深度数据计算深度区域的估计深度数据；和
0418：根据原始深度数据及估计深度数据得到当前深度图像。
请参阅图14，在某些实施方式中，处理单元141包括第一划分子单元1414、第二处理子单元1415、判断子单元1416、第二计算子单元1417和第一获取子单元1418。步骤0414可以由第一划分子单元1414实现。步骤0415可以由第二处理子单元1415实现。步骤0416可以由判断子单元1416实现。步骤0417可以由第二计算子单元1417实现。步骤0418可以由第一获取子单元1418实现。也即是说，第一划分子单元1414可用于划分飞行时间深度图像以得到多个深度区域。第二处理子单元1415可用于处理场景图像以得到多个边缘检测区域。判断子单元1416可用于根据边缘检测区域判断对应边缘检测区域的深度区域是否完整。第二计算子单元1417可用于在深度区域不完整时根据边缘检测区域和对应边缘检测区域的深度区域中的原始深度数据计算深度区域的估计深度数据。第一获取子单元1418可用于根据原始深度数据及估计深度数据得到当前深度图像。
请再参阅图3，在某些实施方式中，步骤0414、步骤0415、步骤0416、步骤0417和步骤0418还可以由处理器40实现。也即是说，处理器40还可用于划分飞行时间深度图像以得到多个深度区域、处理场景图像以得到多个边缘检测区域、根据边缘检测区域判断对应边缘检测区域的深度区域是否完整、若不完整则根据边缘检测区域和对应边缘检测区域的深度区域中的原始深度数据计算深度区域的估计深度数据、以及根据原始深度数据及估计深度数据得到当前深度图像。
具体地，处理器40首先基于飞行时间深度图像中的原始深度数据将飞行时间深度图像划分为多个深度区域，例如，将飞行时间深度图像划分为前景深度区域、中景深度区域、背景深度区域等。随后，处理器40利用边缘检测算法对场景图像进行边缘检测得到边缘检测图像，并将边缘检测图像划分为与深度区域一一对应的多个边缘检测区域，例如，将边缘检测图像划分为与前景深度区域对应的前景边缘检测区域、与中景深度区域对应的中景边缘检测区域、与背景深度区域对应的背景边缘检测区域等。随后，处理器40依次判断每个深度区域的完整性。以前景深度区域为例，处理器40可将前景深度区域的轮廓与前景边缘检测区域的轮廓相比较，若前景深度区域的轮廓与前景边缘检测区域的轮廓之间的吻合度较高，则不对前景深度区域进行上采样处理；若前景深度区域的轮廓与前景边缘检测区域的轮廓之间的吻合度较低，则对前景深度区域进行上采样处理。一般地，由于飞行时间深度图像的分辨率较低，而场景图像的分辨率较高，因此深度区域的轮廓与边缘检测区域的轮廓的吻合度不会很高，与边缘检测区域相比，深度区域通常会缺失一部分信息。此时，处理器40可以根据深度区域与边缘检测区域的比较结果，确定出深度区域欠缺的部分，并基于深度区域中现有的原始深度数据对该欠缺部分的深度数据进行估计以得到估计深度数据，从而将深度区域欠缺的部分填补完整，以使增加了估计深度数据后的深度区域的轮廓与边缘检测区域的轮廓的吻合度较高。其中，估计深度数据的计算即为上采样的过程，具体可以采用现有的插值算法，例如前述步骤0411中例举的双线性插值算法进行插值计算得到，在此不再赘述。如此，对每一个深度区域均进行估计深度数据的计算，将每个深度区域欠缺的部分均填补完整，最终得到的当前深度图像中既包含原始深度数据又包含估计深度数据，新增的估计深度数据增加了当前深度图像的数据量，提升了当前深度图像的分辨率，使得当前图像可以满足多种应用场景的使用需求。
请参阅图15，在某些实施方式中，步骤015在当前距离小于第一预定距离时，控制双目相机30和飞行时间深度相机20共同获取场景的当前深度图像包括：
051：根据飞行时间深度图像中的原始深度数据划分出纹理区域和/或边缘区域；
052：控制双目相机30获取第一图像和第二图像；
053：根据飞行时间深度图像、第一图像和第二图像计算纹理区域和/或边缘区域的计算深度数据；
054：将纹理区域和/或边缘区域的原始深度数据替换为计算深度数据以得到当前深度图像。
请参阅图16，在某些实施方式中，第二控制模块15包括划分单元151、第二控制单元152、计算单元153和替换单元154。步骤051可以由划分单元151实现。步骤052可以由第二控制单元152实现。步骤053可以由计算单元153实现。步骤054可以由替换单元154实现。也即是说，划分单元151可用于根据飞行时间深度图像中的原始深度数据划分出纹理区域和/或边缘区域。第二控制单元152可用于控制双目相机30获取第一图像和第二图像。计算单元153可用于根据飞行时间深度图像、第一图像和第二图像计算纹理区域和/或边缘区域的计算深度数据。替换单元154可用于将纹理区域和/或边缘区域的原始深度数据替换为计算深度数据以得到当前深度图像。
请再参阅图3，在某些实施方式中，步骤051、步骤052、步骤053和步骤054均可以由处理器40实现。也即是说，处理器40还可用于根据飞行时间深度图像中的原始深度数据划分出纹理区域和/或边缘区域、控制双目相机30获取第一图像和第二图像、根据飞行时间深度图像、第一图像和第二图像计算纹理区域和/或边缘区域的计算深度数据、以及将纹理区域和/或边缘区域的原始深度数据替换为计算深度数据以得到当前深度图像。
请再参阅图3，在某些实施方式中，步骤051、步骤052和步骤054可以由处理器40实现。步骤052可以由双目相机30实现。也即是说，处理器40还可用于根据飞行时间深度图像中的原始深度数据划分出纹理区域和/或边缘区域。双目相机30可拍摄第一图像和第二图像。处理器40还可用于根据飞行时间深度图像、第一图像和第二图像计算纹理区域和/或边缘区域的计算深度数据、以及将纹理区域和/或边缘区域的原始深度数据替换为计算深度数据以得到当前深度图像。
步骤051可以仅划分出边缘区域或仅划分出纹理区域，还可以同时划分出边缘区域和纹理区域。对应地，当步骤051仅划分出边缘区域时，步骤053仅计算边缘区域的计算深度数据，步骤054仅将边缘区域的原始深度数据替换为计算深度数据；当步骤051仅划分出纹理区域时，步骤053仅计算纹理区域的计算深度数据，步骤054仅将纹理区域的原始深度数据替换为计算深度数据；当步骤051同时划分出边缘区域和纹理区域时，步骤053仅计算边缘区域和纹理区域的计算深度数据，步骤054将边缘区域和纹理区域的原始深度数据替换为计算深度数据。
具体地，对于一幅飞行时间深度图像，处于边缘区域的多个像素点之间的原始深度数据的差值较大，处于纹理区域的多个像素点之间原始深度数据的差值相较于处于边缘区域的多个像素点之间原始深度数据的差值较小，因此，可以通过设置合适的第一划分阈值来划分边缘区域，设置合适的第二划分阈值来划分纹理区域，其中，第一划分阈值大于第二划分阈值。在划分过程中，将飞行时间深度图像中每一个像素点的原始深度数据与与之相邻的上、下、左、右四个像素点的原始深度数据分别相减，得到四个差值，若四个差值中的任意一个差值大于或等于第一划分阈值，则将该像素点标记为边缘区域的像素点；若四个差值均小于第一划分阈值，且四个差值中的任意一个差值大于或等于第二划分阈值，则将该像素点标记为纹理区域；若四个差值均小于第二划分阈值，则将该像素点标记为平滑区域。如此，即可得到一个或多个的边缘区域及一个或多个的纹理区域，每个边缘区域包括至少一个像素点，每个纹理区域包括至少一个像素点。随后，处理器40控制第一相机31拍摄第一图像，控制第二相机32拍摄第二图像，再根据飞行时间深度相机20与第一相机31的对应关系在第一图像中确定出与飞行时间深度图像中的边缘区域、纹理区域分别对应的边缘区域和纹理区域。随后，在第二图像中找到与第一图像中边缘区域和纹理区域中的待匹配像素点相匹配的目标匹配像素点，再根据待匹配像素点和目标匹配像素点计算出边缘区域、纹理区域的计算深度数据。最后将纹理区域和边缘区域的原始深度数据替换为计算深度数据以得到当前深度图像。如此，当前深度图像同时包含飞行时间深度相机20测得的原始深度数据和双目相机30测得的计算深度数据。当前深度图像中的平滑区域采用的是飞行时间深度相机20测得的原始深度数据，边缘区域和纹理区域采用的是双目相机30测得的计算深度数据，使得平滑区域、边缘区域和纹理区域的深度数据的精度都较高。
请参阅图17，在某些实施方式中，步骤053根据飞行时间深度图像、所述第一图像和第二图像计算纹理区域和/或边缘区域的计算深度数据包括：
0531：将纹理区域和/或边缘区域映射到第一图像中以获取第一图像中多个待匹配像素的映射深度数据；
0532：根据每个映射深度数据计算每个待匹配像素对应的视差范围；
0533：根据视差范围在第二图像中确定搜索区域；
0534：在搜索区域中查找与待匹配像素匹配的目标匹配像素；和
0535：根据待匹配像素与目标匹配像素计算计算深度数据。
请参阅图18，在某些实施方式中，计算单元153包括第二获取子单元1531、第三计算子单元1532、确定子单元1533、查找子单元1534和第四计算子单元1535。步骤0531可以由第二获取子单元1531实现。步骤0532可以由第三计算子单元1532实现。步骤0533可以由确定子单元1533实现。步骤0534可以由查找子单元1534实现。步骤0535可以由第四计算子单元1535实现。也即是说，第二获取子单元1531可用于根据每个映射深度数据计算每个待匹配像素对应的视差范围。第三计算子单元1532可用于根据每个映射深度数据计算每个待匹配像素对应的视差范围。确定子单元1533可用于根据视差范围在第二图像中确定搜索区域。查找子单元1534可用于在搜索区域中查找与待匹配像素匹配的目标匹配像素。第四计算子单元1535可用于根据待匹配像素与目标匹配像素计算计算深度数据。
请再参阅图3，在某些实施方式中，步骤0531、步骤0532、步骤0533、步骤0534和步骤0535均可以由处理器40实现。也即是说，处理器40还可用于将纹理区域和/或所述边缘区域映射到第一图像中以获取第一图像中多个待匹配像素的映射深度数据、根据每个映射深度数据计算每个待匹配像素对应的视差范围、根据视差范围在第二图像中确定搜索区域、在搜索区域中查找与待匹配像素匹配的目标匹配像素、以及根据待匹配像素与目标匹配像素计算计算深度数据。
具体地，对于平行的双目相机30(即第一相机31和第二相机32的光轴均与第一相机31和第二相机32之间的基线垂直)而言，在没有进行视差约束的情况下，处于第一图像中第i行的某一个待匹配像素点，要在第二图像中找到与该待匹配像素点相匹配的目标匹配像素点，需要在第二图像中第i行的W个像素点中寻找目标匹配像素点，这会增加计算深度数据的计算时间和处理器40的计算量。在本申请实施方式中，处理器40首先基于飞行时间深度相机20与第一相机31的对应关系在第一图像中确定出与飞行时间深度图像中的边缘区域、纹理区域分别对应的边缘区域和纹理区域，飞行时间深度图像中的边缘区域、纹理区域中的原始深度数据映射到第一图像中得到第一图像中边缘区域、纹理区域的映射深度数据。随后，对于第一图像中边缘区域、纹理区域中的每一个待匹配像素，根据每一个待匹配像素的映射深度数据计算出对应该待匹配深度像素的视差范围，即
Figure GPA0000303839190000111
其中B为基线长度，F为第一相机31的等效焦距，z为待匹配像素的映射深度数据，δ为飞行时间深度相机20的测距精度，d1和d2为视差范围的两边界值。如此，确定出视差范围后，即可在第二图像中确定出处于[d1，d2]内的多个像素点，多个像素点所在区域为搜索区域。处理器40在搜索区域中找到与待匹配像素特征匹配的目标匹配像素后，即可根据待匹配像素与目标匹配像素的坐标数据计算计算深度数据。如此，基于视差约束减小了搜索范围，减少处理器40所需处理的数据量，加快了计算深度数据的计算进程。
在某些实施方式中，在步骤053之前，可以先对飞行时间深度图像做上采样处理，以使飞行时间深度图像的分辨率与第一图像的分辨率相同，便于后续的深度数据的映射和替换。
请参阅图19，在某些实施方式中，第一相机31包括多个相位检测像素。图像获取方法还包括：
06：判断当前距离是否小于第二预定距离，第二预定距离小于第一预定距离；和
07：在当前距离小于第二预定距离时，控制飞行时间深度相机20获取场景的当前深度图像、或控制第一相机31和飞行时间深度相机20共同获取场景的当前深度图像。
请参阅图20，在某些实施方式中，图像获取装置还包括第二判断模块16和第三控制模块17。步骤06可以由第二判断模块16实现。步骤07可以由第三控制模块17实现。也即是说，第二判断模块16可用于判断当前距离是否小于第二预定距离，第二预定距离小于第一预定距离。第三控制模块17可用于在当前距离小于第二预定距离时，控制飞行时间深度相机20获取场景的当前深度图像、或控制第一相机31和飞行时间深度相机20共同获取场景的当前深度图像。
请再参阅图3，在某些实施方式中，步骤06和步骤07还可以由处理器40实现。也即是说，处理器40还可用于判断当前距离是否小于第二预定距离，第二预定距离小于第一预定距离。处理器40还可用于在当前距离小于第二预定距离时，控制飞行时间深度相机20获取场景的当前深度图像、或控制第一相机31和飞行时间深度相机20共同获取场景的当前深度图像。
请再参阅图3，在某些实施方式中，步骤06可以由处理器40实现。步骤07可以由飞行时间深度相机20、第一相机31及处理器40共同实现。也即是说，处理器40还可用于判断当前距离是否小于第二预定距离，第二预定距离小于第一预定距离。在当前距离小于第二预定距离时，飞行时间深度相机20和处理器40可共同用于获取场景的当前深度图像，或者第一相机31、飞行时间深度相机20及处理器40可共同用于获取场景的当前深度图像。
其中，相位检测像素分散地分布在第一相机31的图像传感器中。相位检测像素的个数可以根据当前深度图像的分辨率需求来决定。多个相位检测像素可以用来测量场景的深度。具体地，每个相位检测像素接收入射的可见光时会产生电信号，该电信号基于可见光的入射角的变化而变化。对于每一对用于测量场景的深度的相位检测像素对，可见光入射到两个相位检测像素的入射角是不同的，对应地，两个相位检测像素会输出不同的电信号，因此，可以基于二者的电信号的相位差来计算出场景的深度。
本申请实施方式的深度图像获取方法中，在当前距离小于第一预定距离时，处理器40要进一步判断当前距离是否小于第二预定距离。若当前距离小于第一预定距离且大于第二预定距离，则处理器40控制双目相机30和飞行时间深度相机20共同获取当前深度图像；若当前距离小于第二预定距离，则处理器40控制飞行时间深度相机20获取场景的当前深度图像、或控制第一相机31和飞行时间深度相机20共同获取场景的当前深度图像。其中，第一预定距离的取值范围可为[1.5m，2.5m]，例如，第一预定距离可为1.5m、1.85m、2m、2.24m、2.3m、2.5m等；第二预定距离的取值范围可为[25cm，35cm]，例如，第二预定距离可为25cm、27.6cm、29cm、30cm、31.5cm、33cm、35cm等。
其中，请参阅图21，步骤07在当前距离小于第二预定距离时，控制飞行时间深度相机20获取场景的当前深度图像、或控制第一相机31和飞行时间深度相机20共同获取场景的当前深度图像包括：
071：获取场景的环境亮度；
072：在环境亮度大于预定亮度时，控制第一相机31和飞行时间深度相机20共同获取场景的当前深度图像；和
073：在环境亮度小于预定亮度时，控制飞行时间深度相机20获取场景的当前深度图像。
请参阅图22，在某些实施方式中，第三控制模块17包括第二获取单元171、第三控制单元172和第四控制单元173，步骤071可以由第二获取单元171实现。步骤072可以由第三控制单元172实现。步骤073可以由第四控制单元173实现。也即是说，第一获取单元122可用于获取场景的环境亮度。第三控制单元172可用于在环境亮度大于预定亮度时，控制第一相机31和飞行时间深度相机20共同获取场景的当前深度图像。第四控制单元173可用于在环境亮度小于预定亮度时，控制飞行时间深度相机20获取场景的当前深度图像。
请再参阅图3，在某些实施方式中，步骤071、步骤072和步骤073均可以由处理器40实现。也即是说，处理器40还可用于获取场景的环境亮度、在环境亮度大于预定亮度时控制第一相机31和飞行时间深度相机20共同获取场景的当前深度图像、以及在环境亮度小于预定亮度时控制飞行时间深度相机20获取场景的当前深度图像。
请再参阅图3，在某些实施方式中，电子装置100还包括光线传感器70。步骤071可以由光线传感器70实现。步骤072可以由第一相机31、飞行时间深度相机20和处理器40共同实现。步骤073可以由飞行时间深度相机20和处理器40共同实现。也即是说，光线传感器70可用于获取场景的环境亮度。在环境亮度大于预定亮度时，第一相机31、飞行时间深度相机20和处理器40可共同用于获取场景的当前深度图像。在环境亮度小于预定亮度时，飞行时间深度相机20和处理器40可共同用于获取场景的当前深度图像。
具体地，设置在壳体50上的光线传感器70检测场景的环境亮度。处理器40从光线传感器70中获取环境亮度。随后，处理器40判断环境亮度是否大于预定亮度。在环境亮度大于预定亮度时，说明此时环境亮度较高，光线充足，可以使用第一相机31和飞行时间深度相机20来共同获取场景的当前深度图像。在环境亮度小于预定亮度时，说明此时环境亮度较低，光线不足，入射到相位检测像素对的两个相位检测像素中的入射光的量很少，对应地，两个相位检测像素输出的两个电信号之间的差异可能很小，导致无法根据相位差来计算出场景的深度，或者计算出的场景的深度的精度很低，那么，此时应该使用飞行时间深度相机20来获取当前深度图像，从而提升当前深度图像的精度。在使用飞行时间深度相机20获取当前深度图像时，当前深度图像同样是由飞行时间深度图像上采样得到的，上采样过程在此不再赘述。
请参阅图23，在某些实施方式中，步骤072在环境亮度大于预定亮度时，控制第一相机31和飞行时间深度相机20共同获取场景的当前深度图像包括：
0721：根据飞行时间深度图像中的原始深度数据划分出纹理区域和/或边缘区域；
0722：控制第一相机31获取场景的相位检测深度数据；
0723：将纹理区域和/或边缘区域的原始深度数据替换为相位检测深度数据以得到当前深度图像。
请参阅图24，在某些实施方式中，第三控制单元172包括第二划分子单元1721、控制子单元1722和替换子单元1723。步骤0721可以由第二划分子单元1721实现。步骤0272可以由控制子单元1722实现。步骤0723可以由替换子单元1723实现。也即是说，第二划分子单元1721可用于根据飞行时间深度图像中的原始深度数据划分出纹理区域和/或边缘区域。控制子单元1722可用于控制第一相机31获取场景的相位检测深度数据。替换子单元1723可用于将纹理区域和/或边缘区域的原始深度数据替换为相位检测深度数据以得到当前深度图像。
请再参阅图3，在某些实施方式中，步骤0721、步骤0722和步骤0723均可以由处理器40实现。也即是说，处理器40还可用于根据飞行时间深度图像中的原始深度数据划分出纹理区域和/或边缘区域、控制第一相机31获取场景的相位检测深度数据、以及将纹理区域和/或边缘区域的原始深度数据替换为相位检测深度数据以得到当前深度图像。
请再参阅图23，在某些实施方式中，步骤0721和步骤0723均可以由处理器40实现。步骤0722可以由第一相机31实现。也即是说，处理器40还可用于根据飞行时间深度图像中的原始深度数据划分出纹理区域和/或边缘区域。第一相机31获取场景的相位检测深度数据。处理器40还可用于将纹理区域和/或边缘区域的原始深度数据替换为相位检测深度数据以得到当前深度图像。
步骤0721可以仅划分出边缘区域或仅划分出纹理区域，还可以同时划分出边缘区域和纹理区域。对应地，当步骤0721仅划分出边缘区域时，步骤0723仅将边缘区域的原始深度数据替换为计算深度数据；当步骤0721仅划分出纹理区域时，步骤0723仅将纹理区域的原始深度数据替换为计算深度数据；当步骤0721同时划分出边缘区域和纹理区域时，步骤0723将边缘区域和纹理区域的原始深度数据替换为计算深度数据。
步骤0721划分出飞行时间深度图像中的纹理区域和边缘区域的方式与前述步骤051所记载的方式一致，在此不再赘述。
处理器40划分出飞行时间深度图像中的纹理区域和边缘区域后，可以基于飞行时间深度相机20与第一相机31的对应关系，在第一相机31的相位检测像素获取的相位检测深度图像中确定出边缘区域和纹理区域，其中，相位检测深度图像携带有相位检测深度数据。随后，处理器40可将飞行时间深度相机20测得的纹理区域和边缘区域的原始深度数据替换为相位检测深度图像中的边缘区域和纹理区域的相位检测深度数据，从而得到当前深度图像。如此，当前深度图像同时包含飞行时间深度相机20测得的原始深度数据和第一相机31测得的相位检测深度数据。当前深度图像中的平滑区域采用的是飞行时间深度相机20测得的原始深度数据，边缘区域和纹理区域采用的是第一相机31测得的相位检测深度数据，使得平滑区域、边缘区域和纹理区域的深度数据的精度都较高。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (25)

1.一种深度图像获取方法，用于电子装置，其特征在于，所述电子装置包括双目相机和飞行时间深度相机，所述深度图像获取方法包括：
获取场景图像以确定所述场景图像中的感兴趣区域（ROI）；
控制所述飞行时间深度相机获取所述场景的飞行时间深度图像；根据所述飞行时间深度图像及所述感兴趣区域（ROI）获取所述感兴趣区域（ROI）的当前距离；
判断所述当前距离是否大于第一预定距离；
在所述当前距离大于所述第一预定距离时，控制所述飞行时间深度相机获取所述场景的当前深度图像；和
在所述当前距离小于所述第一预定距离时，控制所述双目相机和所述飞行时间深度相机共同获取所述场景的当前深度图像，包括：根据所述飞行时间深度图像中的原始深度数据划分出纹理区域和/或边缘区域；控制所述双目相机获取第一图像和第二图像；根据所述飞行时间深度图像、所述第一图像和所述第二图像计算所述纹理区域和/或所述边缘区域的计算深度数据；将所述纹理区域和/或所述边缘区域的原始深度数据替换为所述计算深度数据以得到所述当前深度图像。
2.根据权利要求1所述的深度图像获取方法，其特征在于，所述根据所述飞行时间深度图像、所述第一图像和所述第二图像计算所述纹理区域和/或所述边缘区域的计算深度数据，包括：
将所述纹理区域和/或所述边缘区域映射到所述第一图像中以获取所述第一图像中多个待匹配像素的映射深度数据；
根据每个所述映射深度数据计算每个所述待匹配像素对应的视差范围；
根据所述视差范围在所述第二图像中确定搜索区域；
在所述搜索区域中查找与所述待匹配像素匹配的目标匹配像素；和
根据所述待匹配像素与所述目标匹配像素计算所述计算深度数据。
3.根据权利要求1所述的深度图像获取方法，其特征在于，所述双目相机包括第一相机和第二相机，所述第一相机的图像传感器包括相位检测像素；所述深度图像获取方法还包括：
判断所述当前距离是否小于第二预定距离，所述第二预定距离小于所述第一预定距离；和
在所述当前距离小于所述第二预定距离时，控制所述飞行时间深度相机获取所述场景的当前深度图像、或控制所述第一相机和所述飞行时间深度相机共同获取所述场景的当前深度图像。
4.根据权利要求3所述的深度图像获取方法，其特征在于，所述在所述当前距离小于所述第二预定距离时，控制所述飞行时间深度相机获取所述场景的当前深度图像、或控制所述第一相机和所述飞行时间深度相机共同获取所述场景的当前深度图像，包括：
获取所述场景的环境亮度；
在所述环境亮度大于预定亮度时，控制所述第一相机和所述飞行时间深度相机共同获取所述场景的当前深度图像；和
在所述环境亮度小于所述预定亮度时，控制所述飞行时间深度相机获取所述场景的当前深度图像。
5.根据权利要求1或3所述的深度图像获取方法，其特征在于，所述飞行时间深度相机获取的飞行时间深度图像具有第一分辨率；所述控制所述飞行时间深度相机获取所述场景的当前深度图像，包括：
对所述飞行时间深度图像做上采样处理得到所述当前深度图像，所述当前深度图像具有第二分辨率，所述第二分辨率大于所述第一分辨率。
6.根据权利要求5所述的深度图像获取方法，其特征在于，所述对所述飞行时间深度图像做上采样处理得到所述当前深度图像，包括：
对所述飞行时间深度图像做插值计算以得到中间深度图像；
处理所述场景图像以获取边缘检测图像；和
根据所述边缘检测图像中的边缘信息修正所述中间深度图像以得到所述当前深度图像。
7.根据权利要求5所述的深度图像获取方法，其特征在于，所述对所述飞行时间深度图像做上采样处理得到所述当前深度图像，包括：
划分所述飞行时间深度图像以得到多个深度区域；
处理所述场景图像以得到多个边缘检测区域；
根据所述边缘检测区域判断对应所述边缘检测区域的所述深度区域是否完整；
若不完整则根据所述边缘检测区域和对应所述边缘检测区域的所述深度区域中的原始深度数据计算所述深度区域的估计深度数据；和
根据所述原始深度数据及所述估计深度数据得到所述当前深度图像。
8.根据权利要求4所述的深度图像获取方法，其特征在于，所述控制所述第一相机和所述飞行时间深度相机共同获取所述场景的当前深度图像，包括：
根据所述飞行时间深度图像中的原始深度数据划分出纹理区域和/或边缘区域；
控制所述第一相机获取所述场景的相位检测深度数据；
将所述纹理区域和/或所述边缘区域的原始深度数据替换为所述相位检测深度数据以得到所述当前深度图像。
9.一种深度图像获取装置，用于电子装置，其特征在于，所述电子装置包括双目相机和飞行时间深度相机，所述深度图像获取装置包括：
第一获取模块，所述第一获取模块用于获取场景图像以确定所述场景图像中的感兴趣区域（ROI）；
第二获取模块，所述第二获取模块用于控制所述飞行时间深度相机获取所述场景的飞行时间深度图像；根据所述飞行时间深度图像及所述感兴趣区域（ROI）获取所述感兴趣区域（ROI）的当前距离；
第一判断模块，所述第一判断模块用于判断所述当前距离是否大于第一预定距离；
第一控制模块，所述第一控制模块用于在所述当前距离大于所述第一预定距离时，控制所述飞行时间深度相机获取所述场景的当前深度图像；和
第二控制模块，所述第二控制模块用于在所述当前距离小于所述第一预定距离时，控制所述双目相机和所述飞行时间深度相机共同获取所述场景的当前深度图像，包括：根据所述飞行时间深度图像中的原始深度数据划分出纹理区域和/或边缘区域；控制所述双目相机获取第一图像和第二图像；根据所述飞行时间深度图像、所述第一图像和所述第二图像计算所述纹理区域和/或所述边缘区域的计算深度数据；将所述纹理区域和/或所述边缘区域的原始深度数据替换为所述计算深度数据以得到所述当前深度图像。
10.一种电子装置，其特征在于，所述电子装置包括双目相机、飞行时间深度相机和处理器，所述处理器用于：
获取场景图像以确定所述场景图像中的感兴趣区域（ROI）；
控制所述飞行时间深度相机获取所述场景的飞行时间深度图像；根据所述飞行时间深度图像及所述感兴趣区域（ROI）获取所述感兴趣区域（ROI）的当前距离；
判断所述当前距离是否大于第一预定距离；
在所述当前距离大于所述第一预定距离时，控制所述飞行时间深度相机获取所述场景的当前深度图像；和
在所述当前距离小于所述第一预定距离时，控制所述双目相机和所述飞行时间深度相机共同获取所述场景的当前深度图像，包括：根据所述飞行时间深度图像中的原始深度数据划分出纹理区域和/或边缘区域；控制所述双目相机获取第一图像和第二图像；根据所述飞行时间深度图像、所述第一图像和所述第二图像计算所述纹理区域和/或所述边缘区域的计算深度数据；将所述纹理区域和/或所述边缘区域的原始深度数据替换为所述计算深度数据以得到所述当前深度图像。
11.根据权利要求10所述的电子装置，其特征在于，所述处理器还用于：
将所述纹理区域和/或所述边缘区域映射到所述第一图像中以获取所述第一图像中多个待匹配像素的映射深度数据；
根据每个所述映射深度数据计算每个所述待匹配像素对应的视差范围；
根据所述视差范围在所述第二图像中确定搜索区域；
在所述搜索区域中查找与所述待匹配像素匹配的目标匹配像素；和
根据所述待匹配像素与所述目标匹配像素计算所述计算深度数据。
12.根据权利要求10所述的电子装置，其特征在于，所述双目相机包括第一相机和第二相机，所述第一相机的图像传感器包括相位检测像素；所述处理器还用于：
判断所述当前距离是否小于第二预定距离，所述第二预定距离小于所述第一预定距离；和
在所述当前距离小于所述第二预定距离时，控制所述飞行时间深度相机获取所述场景的当前深度图像、或控制所述第一相机和所述飞行时间深度相机共同获取所述场景的当前深度图像。
13.根据权利要求12所述的电子装置，其特征在于，所述处理器还用于：
获取所述场景的环境亮度；
在所述环境亮度大于预定亮度时，控制所述第一相机和所述飞行时间深度相机共同获取所述场景的当前深度图像；和
在所述环境亮度小于所述预定亮度时，控制所述飞行时间深度相机获取所述场景的当前深度图像。
14.根据权利要求10或12所述的电子装置，其特征在于，所述飞行时间深度相机获取的飞行时间深度图像具有第一分辨率；所述处理器还用于：
对所述飞行时间深度图像做上采样处理得到所述当前深度图像，所述当前深度图像具有第二分辨率，所述第二分辨率大于所述第一分辨率。
15.根据权利要求14所述的电子装置，其特征在于，所述处理器还用于：
对所述飞行时间深度图像做插值计算以得到中间深度图像；
处理所述场景图像以获取边缘检测图像；和
根据所述边缘检测图像中的边缘信息修正所述中间深度图像以得到所述当前深度图像。
16.根据权利要求14所述的电子装置，其特征在于，所述处理器还用于：
划分所述飞行时间深度图像以得到多个深度区域；
处理所述场景图像以得到多个边缘检测区域；
根据所述边缘检测区域判断对应所述边缘检测区域的所述深度区域是否完整；
若不完整则根据所述边缘检测区域和对应所述边缘检测区域的所述深度区域中的原始深度数据计算所述深度区域的估计深度数据；和
根据所述原始深度数据及所述估计深度数据得到所述当前深度图像。
17.根据权利要求13所述的电子装置，其特征在于，所述处理器还用于：
根据所述飞行时间深度图像中的原始深度数据划分出纹理区域和/或边缘区域；
控制所述第一相机获取所述场景的相位检测深度数据；
将所述纹理区域和/或所述边缘区域的原始深度数据替换为所述相位检测深度数据以得到所述当前深度图像。
18.一种电子装置，其特征在于，所述电子装置包括双目相机、飞行时间深度相机和处理器，
所述双目相机拍摄场景图像；
所述处理器用于确定所述场景图像中的感兴趣区域（ROI）；
所述飞行时间深度相机拍摄所述场景的飞行时间深度图像；所述处理器用于根据所述飞行时间深度图像及所述感兴趣区域（ROI）获取所述感兴趣区域（ROI）的当前距离；
所述处理器用于判断所述当前距离是否大于第一预定距离；
在所述当前距离大于所述第一预定距离时，所述飞行时间深度相机和所述处理器共同获取所述场景的当前深度图像；
在所述当前距离小于所述第一预定距离时，所述双目相机、所述飞行时间深度相机及所述处理器共同获取所述场景的当前深度图像；其中，所述处理器还用于根据所述飞行时间深度图像中的原始深度数据划分出纹理区域和/或边缘区域；所述双目相机拍摄第一图像和第二图像；所述处理器还用于：根据所述飞行时间深度图像、所述第一图像和所述第二图像计算所述纹理区域和/或所述边缘区域的计算深度数据；将所述纹理区域和/或所述边缘区域的原始深度数据替换为所述计算深度数据以得到所述当前深度图像。
19.根据权利要求18所述的电子装置，其特征在于，所述处理器还用于：
将所述纹理区域和/或所述边缘区域映射到所述第一图像中以获取所述第一图像中多个待匹配像素的映射深度数据；
根据每个所述映射深度数据计算每个所述待匹配像素对应的视差范围；
根据所述视差范围在所述第二图像中确定搜索区域；
在所述搜索区域中查找与所述待匹配像素匹配的目标匹配像素；
根据所述待匹配像素与所述目标匹配像素计算所述计算深度数据。
20.根据权利要求18所述的电子装置，其特征在于，所述双目相机包括第一相机和第二相机，所述第一相机的图像传感器包括相位检测像素；所述处理器还用于判断所述当前距离是否小于第二预定距离，所述第二预定距离小于所述第一预定距离；
在所述当前距离小于所述第二预定距离时，所述飞行时间深度相机和所述处理器共同获取所述场景的当前深度图像，或所述第一相机、所述飞行时间深度相机和所述处理器共同获取所述场景的当前深度图像。
21.根据权利要求20所述的电子装置，其特征在于，所述电子装置还包括光线传感器，所述光线传感器用于获取所述场景的环境亮度；
在所述环境亮度大于预定亮度时，所述第一相机、所述飞行时间深度相机和所述处理器共同获取所述场景的当前深度图像；
在所述环境亮度小于所述预定亮度时，所述飞行时间深度相机和所述处理器共同获取所述场景的当前深度图像。
22.根据权利要求18或20所述的电子装置，其特征在于，所述飞行时间深度相机获取的飞行时间深度图像具有第一分辨率；所述处理器还用于：
对所述飞行时间深度图像做上采样处理得到所述当前深度图像，所述当前深度图像具有第二分辨率，所述第二分辨率大于所述第一分辨率。
23.根据权利要求22所述的电子装置，其特征在于，所述处理器还用于：
对所述飞行时间深度图像做插值计算以得到中间深度图像；
处理所述场景图像以获取边缘检测图像；和
根据所述边缘检测图像中的边缘信息修正所述中间深度图像以得到所述当前深度图像。
24.根据权利要求22所述的电子装置，其特征在于，所述处理器还用于：
划分所述飞行时间深度图像以得到多个深度区域；
处理所述场景图像以得到多个边缘检测区域；
根据所述边缘检测区域判断对应所述边缘检测区域的所述深度区域是否完整；
若不完整则根据所述边缘检测区域和对应所述边缘检测区域的所述深度区域中的原始深度数据计算所述深度区域的估计深度数据；和
根据所述原始深度数据及所述估计深度数据得到所述当前深度图像。
25.根据权利要求21所述的电子装置，其特征在于，所述处理器还用于根据所述飞行时间深度图像中的原始深度数据划分出纹理区域和/或边缘区域；
所述第一相机获取所述场景的相位检测深度数据；
所述处理器还用于将所述纹理区域和/或所述边缘区域的原始深度数据替换为所述相位检测深度数据以得到所述当前深度图像。
CN201880098945.8A 2018-11-02 2018-11-02 深度图像获取方法、深度图像获取装置及电子装置 Active CN112889272B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/113581 WO2020087485A1 (zh) 2018-11-02 2018-11-02 深度图像获取方法、深度图像获取装置及电子装置

Publications (2)

Publication Number Publication Date
CN112889272A CN112889272A (zh) 2021-06-01
CN112889272B true CN112889272B (zh) 2022-09-27

Family

ID=70462910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880098945.8A Active CN112889272B (zh) 2018-11-02 2018-11-02 深度图像获取方法、深度图像获取装置及电子装置

Country Status (4)

Country Link
US (1) US11494925B2 (zh)
EP (1) EP3876528A4 (zh)
CN (1) CN112889272B (zh)
WO (1) WO2020087485A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114365482A (zh) * 2019-03-25 2022-04-15 华为技术有限公司 一种基于Dual Camera+TOF的大光圈虚化方法
US11620752B2 (en) * 2019-06-03 2023-04-04 Technion Research & Development Foundation Limited Image-guided depth sampling and reconstruction
US11734801B2 (en) * 2021-05-28 2023-08-22 Microsoft Technology Licensing, Llc Distributed depth data processing
CN113344997B (zh) * 2021-06-11 2022-07-26 方天圣华(北京)数字科技有限公司 快速获取只含有目标对象的高清前景图的方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577092B2 (en) 2010-11-11 2013-11-05 Lg Electronics Inc. Multimedia device, multiple image sensors having different types and method for controlling the same
KR102364084B1 (ko) * 2014-10-21 2022-02-17 엘지전자 주식회사 이동단말기 및 그 제어방법
US20160205378A1 (en) 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging
KR102456875B1 (ko) 2015-03-17 2022-10-19 코넬 유니버시티 심도 촬상 장치, 방법 및 응용
CN106454090B (zh) * 2016-10-09 2019-04-09 深圳奥比中光科技有限公司 基于深度相机的自动对焦方法及系统
CN106683133B (zh) * 2016-12-09 2020-04-17 深圳奥比中光科技有限公司 一种获取目标深度图像的方法
US10419741B2 (en) * 2017-02-24 2019-09-17 Analog Devices Global Unlimited Company Systems and methods for compression of three dimensional depth sensing
US10523918B2 (en) * 2017-03-24 2019-12-31 Samsung Electronics Co., Ltd. System and method for depth map
CN107610077A (zh) * 2017-09-11 2018-01-19 广东欧珀移动通信有限公司 图像处理方法和装置、电子装置和计算机可读存储介质
CN108234984A (zh) * 2018-03-15 2018-06-29 百度在线网络技术（北京）有限公司 双目深度相机系统和深度图像生成方法

Also Published As

Publication number Publication date
EP3876528A4 (en) 2022-02-23
EP3876528A1 (en) 2021-09-08
US11494925B2 (en) 2022-11-08
WO2020087485A1 (zh) 2020-05-07
CN112889272A (zh) 2021-06-01
US20210264626A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
CN112889272B (zh) 深度图像获取方法、深度图像获取装置及电子装置
US10674138B2 (en) Autofocus system for a conventional camera that uses depth information from an array camera
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
CN106851123B (zh) 曝光控制方法、曝光控制装置及电子装置
CN110462686B (zh) 用于从场景获得深度信息的设备和方法
CN109831660B (zh) 深度图像获取方法、深度图像获取模组及电子设备
CN106993112B (zh) 基于景深的背景虚化方法及装置和电子装置
CN106851124B (zh) 基于景深的图像处理方法、处理装置和电子装置
EP3248374B1 (en) Method and apparatus for multiple technology depth map acquisition and fusion
US10242454B2 (en) System for depth data filtering based on amplitude energy values
US8139142B2 (en) Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
US8718326B2 (en) System and method for extracting three-dimensional coordinates
CN113658241B (zh) 单目结构光的深度恢复方法、电子设备及存储介质
US20080181487A1 (en) Method and apparatus for automatic registration and visualization of occluded targets using ladar data
CN111091592B (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
CN106991378B (zh) 基于深度的人脸朝向检测方法、检测装置和电子装置
TW202014990A (zh) 深度估計裝置、自動駕駛車輛及其深度估算方法
CN111462503A (zh) 车辆测速方法、装置及计算机可读存储介质
CN108510540A (zh) 立体视觉摄像机及其高度获取方法
CN115953483A (zh) 一种参数标定方法、装置、计算机设备及存储介质
CN114544006B (zh) 一种基于环境光照条件的低空遥感影像校正系统及方法
JP2013257244A (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
CN112740065A (zh) 使用视觉惯性测距的增强深度映射
US20150085078A1 (en) Method and System for Use in Detecting Three-Dimensional Position Information of Input Device
CN109242900A (zh) 焦平面定位方法、处理装置、焦平面定位系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant