CN112799097B - 深度图和灰度图的获取方法、深度相机、以及电子设备 - Google Patents

深度图和灰度图的获取方法、深度相机、以及电子设备 Download PDF

Info

Publication number
CN112799097B
CN112799097B CN202110398843.1A CN202110398843A CN112799097B CN 112799097 B CN112799097 B CN 112799097B CN 202110398843 A CN202110398843 A CN 202110398843A CN 112799097 B CN112799097 B CN 112799097B
Authority
CN
China
Prior art keywords
map
time
pixel point
histogram
photons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110398843.1A
Other languages
English (en)
Other versions
CN112799097A (zh
Inventor
张耿立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Fushi Technology Co Ltd
Original Assignee
Shenzhen Fushi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Fushi Technology Co Ltd filed Critical Shenzhen Fushi Technology Co Ltd
Priority to CN202110398843.1A priority Critical patent/CN112799097B/zh
Publication of CN112799097A publication Critical patent/CN112799097A/zh
Application granted granted Critical
Publication of CN112799097B publication Critical patent/CN112799097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请提供了一种深度图和灰度图的获取方法，该深度图和灰度图的获取方法利用飞行时间深度相机进行获取，深度图和灰度图的获取方法包括：利用飞行时间深度相机生成每一像素点的直方图；获取直方图中每一箱体的光子数；根据每一箱体的光子数生成深度图；以及根据每一箱体的光子数和预设方法生成灰度图。此外，本申请还提供了一种飞行时间深度相机、以及电子设备。本申请技术方案利用飞行时间深度相机同时获取深度图和灰度图。

Description

深度图和灰度图的获取方法、深度相机、以及电子设备
技术领域
本申请涉及图像处理技术领域，尤其涉及一种深度图和灰度图的获取方法、飞行时间深度相机、以及电子设备。
背景技术
深度相机，又称为3D相机，是一种能够检测拍摄空间景深距离的相机。通过深度相机获取的数据，能够计算出图像中每一像素点与摄像头之间的距离。根据深度相机的工作原理，深度相机主要分为结构光深度相机、飞行时间深度相机、以及双目立体视觉深度相机。目前飞行时间深度相机基本上仅用于获取深度图，需要额外的相机来获取灰度图，然而，采用额外相机往往会存在视差或者内参不一致的情况，影响图像效果。
发明内容
本申请提供了一种深度图和灰度图的获取方法、飞行时间深度相机、以及电子设备，利用飞行时间深度相机同时获取深度图和灰度图。
第一方面，本申请实施例提供一种深度图和灰度图的获取方法，所述深度图和灰度图的获取方法利用飞行时间深度相机进行获取，所述深度图和灰度图的获取方法包括：
利用所述飞行时间深度相机生成每一像素点的直方图；
获取所述直方图中每一箱体的光子数；
根据所述每一箱体的光子数生成深度图；以及
根据所述每一箱体的光子数和预设方法生成灰度图，其中，所述预设方法包括第一预设方法、第二预设方法、以及第三预设方法中的至少一者，当所述预设方法为所述第一预设方法时，根据所述每一箱体的光子数和预设方法生成灰度图具体包括：
根据所述每一箱体的光子数计算所述直方图的光子总数；
将所述直方图的光子总数映射到所述像素点的灰度；
根据每一所述像素点的灰度生成所述灰度图；或者
当所述预设方法为所述第二预设方法时，根据所述每一箱体的光子数和预设方法生成灰度图具体包括：
根据所述每一箱体的光子数获取若干最大值；
根据所述若干最大值获取所述像素点的第一数值；
将每一所述像素点的第一数值映射到所述像素点的灰度；
根据每一所述像素点的灰度生成所述灰度图；或者
当所述预设方法为所述第三预设方法时，根据所述每一箱体的光子数和预设方法生成灰度图具体包括：
对所述每一箱体的光子数进行纠正得到相应的每一箱体的纠正光子数；
根据所述每一箱体的纠正光子数获取若干纠正最大值；
根据所述若干纠正最大值获取所述像素点的第二数值；
将每一所述像素点的第二数值映射到所述像素点的灰度；
根据每一所述像素点的灰度生成所述灰度图。
可选地，当所述预设方法包括第一预设方法、第二预设方法、以及第三预设方法时，根据所述每一箱体的光子数和预设方法生成灰度图之前，所述深度图和灰度图的获取方法还包括：
获取环境光的光强；
当所述光强小于等于第一阈值时，根据所述每一箱体的光子数和所述第一预设方法生成灰度图；
当所述光强大于所述第一阈值且小于等于第二阈值时，根据所述每一箱体的光子数和所述第二预设方法生成灰度图；以及
当所述光强大于所述第二阈值时，根据所述每一箱体的光子数和所述第三预设方法生成灰度图。
可选地，所述飞行时间深度相机包括时间数字转换电路，根据所述每一箱体的光子数获取若干最大值具体包括：
根据脉冲信号的脉冲宽度和所述时间数字转换电路的分辨率计算所述最大值的个数为N，其中，N为自然数；
根据所述每一箱体的光子数获取N个所述最大值。
可选地，根据所述若干最大值获取所述像素点的第一数值具体包括：
将所述N个最大值进行求和或者取平均得到所述像素点的第一数值。
可选地，对所述每一箱体的光子数进行纠正得到相应的每一箱体的纠正光子数为：利用预设公式对所述每一箱体的光子数进行纠正得到相应的每一箱体的纠正光子数，其中，所述预设公式为：
其中，Nc表示脉冲信号的周期数，Ni表示所述直方图中第i个所述箱体的光子数，表示所述直方图中第i个所述箱体的纠正光子数，Nj表示所述直方图中的第j个所述箱体的光子数。
可选地，所述飞行时间深度相机包括时间数字转换电路，根据所述每一箱体的纠正光子数获取若干纠正最大值具体包括：
根据脉冲信号的脉冲宽度和所述时间数字转换电路的分辨率计算所述最大值的个数为M，其中，M为自然数；
根据所述每一箱体的纠正光子数获取M个所述纠正最大值。
可选地，根据所述若干纠正最大值获取所述像素点的第二数值具体包括：
将所述M个纠正最大值进行求和或者取平均得到所述像素点的第二数值。
可选地，根据所述每一箱体的光子数生成深度图具体包括：
根据所述每一箱体的光子数获取最大峰值；
根据所述最大峰值获取飞行时间；
根据所述飞行时间和光速计算所述像素点的深度；
根据每一所述像素点的深度形成所述深度图。
可选地，所述飞行时间深度相机包括脉冲激光发射器、像素阵列、以及时间数字转换电路，利用所述飞行时间深度相机生成每一像素点的直方图具体包括：
控制所述脉冲激光发射器发射脉冲信号；
利用所述像素阵列中每一像素点的单光子雪崩二极管接收反射光子，并产生相应的雪崩电流，其中，所述反射光子包括由所述脉冲信号反射形成的脉冲反射光子；
利用所述时间数字转换电路获取所述雪崩电流并生成所述每一像素点的直方图。
可选地，所述飞行时间深度相机为直接飞行时间深度相机。
第二方面，本申请实施例提供一种飞行时间深度相机，所述飞行时间深度相机包括脉冲激光发射器、像素阵列、时间数字转换电路、以及主控设备，所述主控设备包括处理器、以及存储器，所述存储器用于存储深度图和灰度图的获取计算机程序，所述处理器用于执行所述深度图和灰度图的获取计算机程序以实现如上所述的深度图和灰度图的获取方法。
第三方面，本申请实施例提供一种电子设备，所述电子设备包括主体、以及设置于所述主体的如上所述的飞行时间深度相机。
上述深度图和灰度图的获取方法、飞行时间深度相机、以及电子设备，通过飞行时间深度相机生成直方图后，根据直方图中每一箱体的光子数生成深度图，根据直方图中每一箱体的光子数和预设方法生成灰度图。本方法利飞行时间深度相机生成深度图的同时还能够生成灰度图，当基于同一直方图生成的深度图和灰度图应用于人脸建模、或者人脸识别等场景时，深度图和灰度图具有更高的一致性，适用范围更加广泛。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本申请第一实施例提供的获取方法的流程图。
图2为本申请第一实施例提供的获取方法的第一子流程图。
图3为本申请第一实施例提供的获取方法的第二子流程图。
图4为本申请第一实施例提供的获取方法的第三子流程图。
图5为图1所示的直方图的示意图。
图6为图2所示的生成灰度图的示意图。
图7为图3所示的生成灰度图的示意图。
图8为图4所示的生成灰度图的示意图。
图9为本申请第二实施例提供的获取方法的子流程图。
图10为本申请实施例提供的飞行时间深度相机的结构示意图。
图11为图10所示的像素阵列的示意图。
图12为图10所示的像素阵列的另一示意图。
图13为本申请实施例提供的电子设备的示意图。
元件符号说明
标号 名称 标号 名称
100 飞行时间深度相机 1000 电子设备
10 脉冲激光发射器 200 主体
20 像素阵列 40 主控设备
21 像素点 41 处理器
210 子像素点 42 存储器
30 时间数字转换电路 P 灰度图
F1、F2、F3、F4、F5、F5’ 直方图
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，换句话说，描述的实施例根据除了这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，还可以包含其他内容，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于只清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
请结合参看图1和图10，图1为本申请第一实施例提供的获取方法的流程图，图10为本申请实施例提供的飞行时间深度相机的结构示意图。深度图和灰度图的获取方法利用飞行时间深度相机100进行获取。可选地，飞行时间深度相机100例如为直接飞行时间(DTOF，direct time of flight)深度相机。然，可变更地，在其它实施例中，飞行时间深度相机100也可为其它合适类型的深度相机，在此不做限定。
在本实施例中，飞行时间深度相机100包括脉冲激光发射器10、像素阵列20、以及时间数字转换电路30。其中，像素阵列20包括多个像素点21(如图11所示)。每一像素点21可以包括一个单光子雪崩二极管(图未示)，也可以由多个单光子雪崩二极管排列而成。在一些可行的实施例中，每一像素点21还可以划分为若干子像素点210(如图12所示)。每一子像素点210可以包括一个单光子雪崩二极管，也可以由多个单光子雪崩二极管排列而成，在此不做限定。然，可变更地，在其它实施例中，单光子雪崩二极管也可被替换为其它合适的光电感测元件，例如雪崩光电二极管等。深度图和灰度图的获取方法具体包括如下步骤。
步骤S102，利用飞行时间深度相机生成每一像素点的直方图。在本实施例中，本方法利用主控设备40控制脉冲激光发射器10发射预设周期的脉冲信号。其中，预设周期的周期数可以根据实际情况进行设定。当脉冲信号照射到物体表面时会被物体反射形成脉冲反射信号。其中，脉冲反射信号包括若干脉冲反射光子。主控设备40利用像素阵列20中每一像素点21的单光子雪崩二极管接收反射光子，并产生相应的雪崩电流。其中，反射光子包括由脉冲信号反射形成的脉冲反射光子和环境光子。环境光子为存在于环境中的光子。主控设备40利用时间数字转换电路30获取雪崩电流并生成每一像素点21的直方图。可以理解的是，当每一像素点21包括一个单光子雪崩二极管时，像素点21的直方图由该单光子雪崩二极管接收的反射光子形成。当每一像素点21包括若干单光子雪崩二极管时，像素点21的直方图由若干单光子雪崩二极管接收的反射光子共同形成。
步骤S104，获取直方图中每一箱体的光子数。在本实施例中，直方图的横坐标表示时间，直方图的纵坐标表示光子数，直方图中的每一个柱子代表一个箱体(如图5所示)。本方法利用主控设备40根据直方图获取每一箱体的光子数，即获取每一柱子的纵坐标值。
步骤S106，根据每一箱体的光子数生成深度图。在本实施例中，主控设备40根据每一箱体的光子数获取最大峰值，即获取光子数中的最大值。主控设备40根据最大峰值获取飞行时间，即获取与最大峰值相对应的箱体的横坐标范围，将该横坐标范围的中间值作为飞行时间。主控设备40根据飞行时间和光速计算像素点的深度，并根据每一像素点的深度形成深度图。举例来说，某一像素点21的直方图(如图5所示)中，每一箱体的光子数分别为50、55、52、55、55、150、170、150、50、60、50、50、40、55、50。则，最大峰值为170。与最大峰值170相对应的箱体的横坐标范围为t1-t2，则t1-t2的中间值t3＝(t1+t2)/2，将t3作为飞行时间。最终可以根据公式s＝c*t3/2计算出该像素点的深度。其中，s表示深度，c表示光速。
在一些可行的实施例中，主控制设备40可以根据每一箱体的光子数获取若干峰值，并根据若干峰值获取相对应的飞行时间的中心值，根据飞行时间的中心值和光速计算像素点的深度。举例来说，图5中的峰值包括150、170、以及150，则三个峰值在直方图中相对应的飞行时间的中心值为(t1+t2)/2。
在另一些可行的实施例中，主控制设备40还可以根据每一箱体的光子数获取若干峰值，并根据若干峰值获取相对应的飞行时间的加权平均值，根据飞行时间的加权平均值和光速计算像素点的深度。举例来说，图5中的峰值包括150、170、以及150，假设三个峰值所对应的飞行时间分别为6、7、8，则飞行时间的加权平均值为(150*6+170*7+150*8)/(150+170+150)＝7。
步骤S108，根据每一箱体的光子数和预设方法生成灰度图。其中，预设方法预先存储于主控设备40中。在本实施例中，预设方法为第一预设方法、第二预设方法、以及第三预设方法中的一者。本方法根据飞行时间深度相机100运行环境的环境光设置相应的预设方法。当运行环境中环境光的光强小于等于第一阈值时，在飞行时间深度相机100中设置第一预设方法；当运行环境中环境光的光强大于第一阈值且小于等于第二阈值时，在飞行时间深度相机100中设置第二预设方法；当运行环境中环境光的光强大于第二阈值时，在飞行时间深度相机100中设置第三预设方法。其中，第一阈值使得每一像素点21平均每个周期的环境光子计数小于0.05，第二阈值使得每一像素点21平均每个周期的环境光子计数大于0.05。在一些可行的实施例中，第一阈值和第二阈值可以根据实际情况进行设置，在此不做限定。可以理解的是，由于单光子雪崩二极管接收的反射光子中包括环境光子，当运行环境中环境光的光强越大，环境光中的环境光子越多，单光子雪崩二极管接收的反射光子中环境光子的占比就越大。因此，针对不同环境光光强的运行环境，设置不同的预设方法。当设置的预设方法为第一预设方法时，主控设备40根据每一箱体的光子数和第一预设方法生成灰度图P。当设置的预设方法为第二预设方法时，主控设备40根据每一箱体的光子数和第二预设方法生成灰度图P。当设置的预设方法为第三预设方法时，主控设备40根据每一箱体的光子数和第三预设方法生成灰度图P。生成灰度图的具体过程将在下文进行详细描述。
上述实施例中，通过飞行时间深度相机生成直方图后，根据直方图中每一箱体的光子数生成深度图，根据直方图中每一箱体的光子数和预设方法生成灰度图。可以理解的是，生成深度图和生成灰度图可以同时进行，也可以不同时进行，在此不做限定。利用飞行时间深度相机生成深度图的同时还能够生成灰度图，当基于同一直方图生成的深度图和灰度图应用于人脸建模、或者人脸识别等场景时，深度图和灰度图具有更高的一致性，使得本方法适用范围更加广泛。其中，预设方法根据飞行时间深度相机运行环境的环境光进行设置。对于环境光光强较弱的运行环境，设置第一预设方法或第二预设方法，可以有效降低功耗。对于环境光光强较强的运行环境，设置第三预设方法，可以使得到的灰度图的效果更好。本方法可以根据实际运行环境设置不同的预设方法，根据不同的预设方法生成灰度图，适用于不同环境光光强的运行环境的同时还可以有效提升灰度图的准确率。
请结合参看图2和图6，图2为本申请第一实施例提供的获取方法的第一子流程图，图6为生成灰度图的示意图。环境光的光强小于等于第一阈值的运行环境可以是室内弱光环境等光强较弱的环境，则根据每一箱体的光子数和第一预设方法生成灰度图具体包括如下步骤。
步骤S202，根据每一箱体的光子数计算直方图的光子总数。在本实施例中，主控设备40将直方图中所有箱体的光子数进行求和，得到直方图的光子总数。
步骤S204，将直方图的光子总数映射到像素点的灰度。在本实施例中，设置灰度的范围为0-255。主控设备40将光子总数按预设比例换算成灰度。即是说，光子总数与灰度具有线性映射的关系。其中，光子总数越大，灰度越大。举例来说，直方图F1中的光子总数大于直方图F2中的光子总数，则直方图F1对应的像素点的灰度大于直方图F2对应的像素点的灰度(如图6所示)。
步骤S206，根据每一像素点的灰度生成灰度图。在本实施例中，主控设备40根据像素阵列20生成相对应的图像，图像中的每一图像像素点与像素阵列20中的每一像素点21一一对应。主控设备40根据每一像素点21的灰度在图像相应的图像像素点显示该灰度，从而生成灰度图P。
上述实施例中，由于室内弱光环境等光强较弱的环境中，单光子雪崩二极管接收的反射光子中脉冲反射光子的光子数远大于环境光子的光子数。因此，环境光子的光子数对脉冲反射光子的光子数影响较小，可以忽略不计。则，直方图的光子总数就可以近似地正比于脉冲反射信号的强度。故，直方图的光子总数可以通过线性变换换算成灰度，从而生成灰度图。在光强较弱的环境中，只需计算直方图的光子总数，计算量少，能够有效降低功耗。
请结合参看图3和图7，图3为本申请第一实施例提供的获取方法的第二子流程图，图7为生成灰度图的示意图。环境光的光强大于第一阈值且小于等于第二阈值的运行环境可以是室内照明环境或者室外阴天环境等光强适中的环境，则根据每一箱体的光子数和第二预设方法生成灰度图具体包括如下步骤。
步骤S302，根据每一箱体的光子数获取若干最大值。在本实施例中，主控设备40根据脉冲信号的脉冲宽度和时间数字转换电路的分辨率计算最大值的个数为N，再根据每一箱体的光子数获取N个最大值。其中，最大值的个数N为脉冲信号的脉冲宽度与时间数字转换电路的分辨率之比，且N为自然数。举例来说，若脉冲信号的脉冲宽度为1纳秒，时间数字转换电路的分辨率为100皮秒，则最大值的个数N为10。将直方图中所有箱体的光子数进行排序，从排序结果中选取N个最大的光子数作为N个最大值。
步骤S304，根据若干最大值获取像素点的第一数值。在本实施例中，主控设备40将N个最大值进行求和或者取平均得到像素点的第一数值。
步骤S306，将每一像素点的第一数值映射到像素点的灰度。在本实施例中，设置灰度的范围为0-255。主控设备40将第一数值按预设比例换算成灰度。即是说，第一数值与灰度具有线性映射的关系。其中，第一数值越大，灰度越大。举例来说，直方图F3所对应的像素点的第一数值大于直方图F4所对应的像素点的第一数值，则直方图F3对应的像素点的灰度大于直方图F4对应的像素点的灰度(如图7所示)。
步骤S308，根据每一像素点的灰度生成灰度图。在本实施例中，主控设备40根据像素阵列20生成相对应的图像，图像中的每一图像像素点与像素阵列20中的每一像素点21一一对应。主控设备40根据每一像素点21的灰度在图像相应的图像像素点显示该灰度，从而生成灰度图P。
上述实施例中，由于室内照明环境或者室外阴天环境等光强适中的环境中，单光子雪崩二极管接收的反射光子中环境光子的光子数不再远小于脉冲反射光子的光子数。因此，环境光的光子数对脉冲反射光子的光子数影响较大，无法忽略不计。则，直方图的光子总数不再正比于脉冲反射信号的强度。故，获取直方图中的N个最大值，根据N个最大值的和或者均值线性变换换算成灰度，从而生成灰度图。可以理解的是，N个最大值中环境光的光子数远小于脉冲反射光子的光子数。在光强适中的环境中，虽然计算量有所增加，但本方法适用于更多运行环境。
在一些可行的实施例中，为了进一步去除环境光的光子数对脉冲反射光子的光子数的影响，还可以把N个最大值都减去环境光的平均光子数，将减去平均光子数后的N个最大值的和或者均值进行线性变换换算成灰度，从而生成灰度图。
请结合参看图4和图8，图4为本申请第一实施例提供的获取方法的第三子流程图，图8为生成灰度图的示意图。环境光的光强大于第二阈值的运行环境可以是室外晴天环境等光强较强的环境，则根据每一箱体的光子数和第三预设方法生成灰度图具体包括如下步骤。
步骤S402，对每一箱体的光子数进行纠正得到相应的每一箱体的纠正光子数。在本实施例中，主控设备40利用预设公式对每一箱体的光子数进行纠正得到相应的每一箱体的纠正光子数。其中，预设公式为：其中，Nc表示脉冲信号的周期数，Ni表示直方图中第i个箱体的光子数，/>表示直方图中第i个箱体的纠正光子数，Nj表示直方图中的第j个箱体的光子数。举例来说，直方图F5为根据接收的反射光子生成的直方图，直方图F5’为纠正后的直方图。
步骤S404，根据每一箱体的纠正光子数获取若干纠正最大值。在本实施例中，主控设备40根据脉冲信号的脉冲宽度和时间数字转换电路的分辨率计算最大值的个数为M，再根据每一箱体的纠正光子数获取M个纠正最大值。其中，最大值的个数M为脉冲信号的脉冲宽度与时间数字转换电路的分辨率之比，且M为自然数。将直方图中所有箱体的光子数进行排序，从排序结果中选取M个最大的光子数作为M个最大值。
步骤S406，根据若干纠正最大值获取像素点的第二数值。在本实施例中，主控设备40将M个纠正最大值进行求和或者取平均得到像素点的第二数值。在一些可行的实施例中，为了进一步去除环境光的光子数对脉冲反射光子的光子数的影响，还可以把M个纠正最大值都减去环境光的平均光子数，从而得到像素点的第二数值。
步骤S408，将每一像素点的第二数值映射到像素点的灰度。在本实施例中，设置灰度的范围为0-255。主控设备40将第二数值按预设比例换算成灰度。即是说，第二数值与灰度具有线性映射的关系。其中，第二数值越大，灰度越大。
步骤S410，根据每一像素点的灰度生成灰度图。在本实施例中，主控设备40根据像素阵列20生成相对应的图像，图像中的每一图像像素点与像素阵列20中的每一像素点21一一对应。主控设备40根据每一像素点21的灰度在图像相应的图像像素点显示该灰度，从而生成灰度图P。
上述实施例中，由于室外晴天环境等光强较强的环境中，单光子雪崩二极管接收的反射光子中环境光子的光子数比脉冲反射光的光子数大得多。且生成的直方图中会出现堆叠效应，即随着飞行时间的增大，实际光子计数越小于理想计数。因此，利用预设公式对每一箱体的光子数进行纠正，可以减小环境光子的光子数对脉冲反射光子的光子数的影响。在光强较强的环境中，通过减少环境光的光子数的影响，使得本方法能够适用于更多复杂的运行环境。
请结合参看图9，其为本申请第二实施例提供的获取方法的子流程图。第二实施例提供的获取方法与第一实施例提供的获取方法的不同之处在于，第二实施例提供的获取方法中预设方法的数量至少为两种。在本实施例中，预设方法包括第一预设方法、第二预设方法、以及第三预设方法。执行步骤S108之前，深度图和灰度图的获取方法还包括如下步骤。
步骤S502，获取环境光的光强。在本实施例中，飞行时间深度相机100还包括用于感测光强的传感器(图未示)，本方法利用主控设备40控制传感器获取环境光的光强。
步骤S504，当光强小于等于第一阈值时，根据每一箱体的光子数和第一预设方法生成灰度图。
步骤S506，当光强大于第一阈值且小于等于第二阈值时，根据每一箱体的光子数和第二预设方法生成灰度图。
步骤S508，当光强大于第二阈值时，根据每一箱体的光子数和第三预设方法生成灰度图。
第二实施例中生成灰度图的具体过程与第一实施例的相同，在此不再赘述。第二实施例提供的获取方法的其它过程与第一实施例提供的获取方法的基本一致，在此不再赘述。
在一些可行的实施例中，预设方法可以由用户根据飞行时间深度相机的实际运行环境进行选择，在此不做限定。
上述实施例中，根据不同的运行环境选择不同的预设方法，灰度图可根据直方图的光子总数，或者最大值的和或均值，或者纠正最大值的和或均值生成，能够适用于室内弱光环境、室内照明环境、室外阴天环境、以及室外晴天环境等不同运行环境。对于光强较弱的环境，直接根据直方图的光子总数生成灰度图，功耗较低；对于光强适中的环境，根据最大值的和或均值生成灰度图，适用范围广泛；对于光强较强的环境，根据纠正最大值的和或均值生成灰度图，使得灰度图更加准确。
请结合参看图10，其为本申请实施例提供的飞行时间深度相机的结构示意图。飞行时间深度相机100包括脉冲激光发射器10、像素阵列20、时间数字转换电路30、以及主控设备40。主控设备40分别与脉冲激光发射器10、像素阵列20、以及时间数字转换电路30电连接。在本实施例中，主控设备40包括处理器41、以及存储器42。存储器42用于存储深度图和灰度图的获取计算机程序，处理器41用于执行深度图和灰度图的获取计算机程序以实现如上实施例所述的深度图和灰度图的获取方法。
其中，处理器41在一些实施例中可以是一中央处理器(Central ProcessingUnit,CPU)、控制器、微控制器、微处理器或其它数据处理芯片，用于运行存储器42中存储的深度图和灰度图的获取计算机程序。
存储器42至少包括一种类型的可读存储介质，该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器42在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备的硬盘。存储器42在另一些实施例中也可以是外部计算机设备的存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。进一步地，存储器42还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器42不仅可以用于存储安装于计算机设备的应用软件及各类数据，例如实现深度图和灰度图的获取的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
请结合参看图13，其为本申请实施例提供的电子设备的示意图。电子设备1000包括主体200、以及设置于主体200的飞行时间深度相机100。其中，电子设备1000包括但不限于手机、平板电脑、电子手表等。在本实施例中，电子设备1000为手机。当飞行时间深度相机100设置于电子设备1000时，飞行时间深度相机100可用于实现人脸识别等功能。飞行时间深度相机100的具体结构参照上述实施例。由于电子设备1000采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘且本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内则本申请也意图包含这些改动和变型在内。
以上所列举的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属于本申请所涵盖的范围。

Claims (10)

1.一种深度图和灰度图的获取方法，其特征在于，所述深度图和灰度图的获取方法利用飞行时间深度相机进行获取，所述深度图和灰度图的获取方法包括：
利用所述飞行时间深度相机生成每一像素点的直方图；
获取所述直方图中每一箱体的光子数；
根据所述每一箱体的光子数生成深度图；以及
根据所述每一箱体的光子数和预设方法生成灰度图，其中，所述预设方法包括第一预设方法、第二预设方法、以及第三预设方法中的至少一者，当运行环境中环境光的光强小于第一阈值时，所述预设方法为所述第一预设方法，具体包括：
根据所述每一箱体的光子数计算所述直方图的光子总数；
将所述直方图的光子总数映射到所述像素点的灰度；
根据每一所述像素点的灰度生成所述灰度图；
当运行环境中环境光的光强大于第一阈值且小于第二阈值时，所述预设方法为所述第二预设方法，具体包括：
根据所述每一箱体的光子数获取若干最大值，其中，所述飞行时间深度相机包括时间数字转换电路，根据所述每一箱体的光子数获取若干最大值具体包括：
根据脉冲信号的脉冲宽度和所述时间数字转换电路的分辨率计算所述最大值的个数为N，其中，N为自然数；
根据所述每一箱体的光子数获取N个所述最大值；
根据所述若干最大值获取所述像素点的第一数值；
将每一所述像素点的第一数值映射到所述像素点的灰度；
根据每一所述像素点的灰度生成所述灰度图；
当运行环境中环境光的光强大于第二阈值时，所述预设方法为所述第三预设方法，具体包括：
对所述每一箱体的光子数进行纠正得到相应的每一箱体的纠正光子数；
根据所述每一箱体的纠正光子数获取若干纠正最大值；
根据所述若干纠正最大值获取所述像素点的第二数值；
将每一所述像素点的第二数值映射到所述像素点的灰度；
根据每一所述像素点的灰度生成所述灰度图。
2.如权利要求1所述的深度图和灰度图的获取方法，其特征在于，根据所述若干最大值获取所述像素点的第一数值具体包括：
将所述N个最大值进行求和或者取平均得到所述像素点的第一数值。
3.如权利要求1所述的深度图和灰度图的获取方法，其特征在于，对所述每一箱体的光子数进行纠正得到相应的每一箱体的纠正光子数为：利用预设公式对所述每一箱体的光子数进行纠正得到相应的每一箱体的纠正光子数，其中，所述预设公式为：
其中，Nc表示脉冲信号的周期数，Ni表示所述直方图中第i个所述箱体的光子数，表示所述直方图中第i个所述箱体的纠正光子数，Nj表示所述直方图中的第j个所述箱体的光子数。
4.如权利要求1所述的深度图和灰度图的获取方法，其特征在于，所述飞行时间深度相机包括时间数字转换电路，根据所述每一箱体的纠正光子数获取若干纠正最大值具体包括：
根据脉冲信号的脉冲宽度和所述时间数字转换电路的分辨率计算所述最大值的个数为M，其中，M为自然数；
根据所述每一箱体的纠正光子数获取M个所述纠正最大值。
5.如权利要求4所述的深度图和灰度图的获取方法，其特征在于，根据所述若干纠正最大值获取所述像素点的第二数值具体包括：
将所述M个纠正最大值进行求和或者取平均得到所述像素点的第二数值。
6.如权利要求1所述的深度图和灰度图的获取方法，其特征在于，根据所述每一箱体的光子数生成深度图具体包括：
根据所述每一箱体的光子数获取最大峰值；
根据所述最大峰值获取飞行时间；
根据所述飞行时间和光速计算所述像素点的深度；
根据每一所述像素点的深度形成所述深度图。
7.如权利要求1所述的深度图和灰度图的获取方法，其特征在于，所述飞行时间深度相机包括脉冲激光发射器、像素阵列、以及时间数字转换电路，利用所述飞行时间深度相机生成每一像素点的直方图具体包括：
控制所述脉冲激光发射器发射脉冲信号；
利用所述像素阵列中每一像素点的单光子雪崩二极管接收反射光子，并产生相应的雪崩电流，其中，所述反射光子包括由所述脉冲信号反射形成的脉冲反射光子；
利用所述时间数字转换电路获取所述雪崩电流并生成所述每一像素点的直方图。
8.如权利要求1所述的深度图和灰度图的获取方法，其特征在于，所述飞行时间深度相机为直接飞行时间深度相机。
9.一种飞行时间深度相机，其特征在于，所述飞行时间深度相机包括脉冲激光发射器、像素阵列、时间数字转换电路、以及主控设备，所述主控设备包括处理器、以及存储器，所述存储器用于存储深度图和灰度图的获取计算机程序，所述处理器用于执行所述深度图和灰度图的获取计算机程序以实现如权利要求1至8中任意一项所述的深度图和灰度图的获取方法。
10.一种电子设备，其特征在于，所述电子设备包括主体、以及设置于所述主体的如权利要求9所述的飞行时间深度相机。
CN202110398843.1A 2021-04-14 2021-04-14 深度图和灰度图的获取方法、深度相机、以及电子设备 Active CN112799097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110398843.1A CN112799097B (zh) 2021-04-14 2021-04-14 深度图和灰度图的获取方法、深度相机、以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110398843.1A CN112799097B (zh) 2021-04-14 2021-04-14 深度图和灰度图的获取方法、深度相机、以及电子设备

Publications (2)

Publication Number Publication Date
CN112799097A CN112799097A (zh) 2021-05-14
CN112799097B true CN112799097B (zh) 2023-11-28

Family

ID=75811326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110398843.1A Active CN112799097B (zh) 2021-04-14 2021-04-14 深度图和灰度图的获取方法、深度相机、以及电子设备

Country Status (1)

Country Link
CN (1) CN112799097B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113352618A (zh) * 2021-06-22 2021-09-07 优你造科技(北京)有限公司 3d打印机的灰度设置方法、装置及3d打印机
CN114355374A (zh) * 2021-12-24 2022-04-15 奥诚信息科技(上海)有限公司 一种飞行时间测量系统及方法

Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016161438A (ja) * 2015-03-03 2016-09-05 株式会社デンソー 演算装置
CN108287336A (zh) * 2018-01-26 2018-07-17 华中科技大学 一种面阵盖革apd激光雷达距离像强度像生成系统
CN109389631A (zh) * 2018-09-05 2019-02-26 深圳奥比中光科技有限公司 深度计算系统与方法
CN109389632A (zh) * 2018-09-05 2019-02-26 深圳奥比中光科技有限公司 深度计算系统与方法
CN109725326A (zh) * 2017-10-30 2019-05-07 豪威科技股份有限公司 飞行时间相机
CN109959942A (zh) * 2017-12-22 2019-07-02 株式会社电装 距离测量设备、识别设备和距离测量方法
CN110235024A (zh) * 2017-01-25 2019-09-13 苹果公司 具有调制灵敏度的spad检测器
CN110537124A (zh) * 2017-03-01 2019-12-03 奥斯特公司 用于lidar的准确光检测器测量
CN110554404A (zh) * 2019-08-08 2019-12-10 华中科技大学 一种强背景噪声下Gm-APD阵列激光雷达成像方法及系统
CN110609291A (zh) * 2019-08-30 2019-12-24 深圳奥锐达科技有限公司 用于时间编码时间飞行距离测量的系统及方法
CN111080543A (zh) * 2019-12-09 2020-04-28 Oppo广东移动通信有限公司 图像处理方法及装置、电子设备及计算机可读存储介质
CN111108407A (zh) * 2017-09-22 2020-05-05 ams有限公司 半导体主体和用于飞行时间测量的方法
CN111465870A (zh) * 2017-12-18 2020-07-28 苹果公司 使用可寻址发射器阵列的飞行时间感测
CN111630409A (zh) * 2018-12-03 2020-09-04 索尼半导体解决方案公司 测距装置和测距方法
CN111742241A (zh) * 2018-02-20 2020-10-02 株式会社电装 光测距装置
CN111812661A (zh) * 2020-06-22 2020-10-23 深圳奥锐达科技有限公司 一种距离测量方法及系统
WO2020255770A1 (ja) * 2019-06-20 2020-12-24 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、および、測距システム
CN112198519A (zh) * 2020-10-01 2021-01-08 深圳奥比中光科技有限公司 一种距离测量系统及方法
CN212341461U (zh) * 2020-04-20 2021-01-12 深圳奥锐达科技有限公司 一种基于时间延时的距离测量系统
CN112255636A (zh) * 2020-09-04 2021-01-22 奥诚信息科技(上海)有限公司 一种距离测量方法、系统及设备
CN112255638A (zh) * 2020-09-24 2021-01-22 奥诚信息科技(上海)有限公司 一种距离测量系统及方法
CN112363180A (zh) * 2020-10-28 2021-02-12 Oppo广东移动通信有限公司 一种成像测距传感器、方法、系统及存储介质
CN112397542A (zh) * 2020-11-16 2021-02-23 Oppo（重庆）智能科技有限公司 图像传感模组及时间飞行器件、电子设备
CN112513678A (zh) * 2018-07-27 2021-03-16 索尼半导体解决方案公司 光电检测器和距离测量设备
CN112540378A (zh) * 2019-09-04 2021-03-23 爱贝欧汽车系统有限公司 用于距离测量的方法和设备
CN112567260A (zh) * 2018-08-09 2021-03-26 株式会社电装 光测距装置
CN112596069A (zh) * 2020-12-04 2021-04-02 Oppo（重庆）智能科技有限公司 距离测量方法及系统、计算机可读介质和电子设备

Patent Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016161438A (ja) * 2015-03-03 2016-09-05 株式会社デンソー 演算装置
CN110235024A (zh) * 2017-01-25 2019-09-13 苹果公司 具有调制灵敏度的spad检测器
CN110537124A (zh) * 2017-03-01 2019-12-03 奥斯特公司 用于lidar的准确光检测器测量
CN111108407A (zh) * 2017-09-22 2020-05-05 ams有限公司 半导体主体和用于飞行时间测量的方法
CN109725326A (zh) * 2017-10-30 2019-05-07 豪威科技股份有限公司 飞行时间相机
CN111465870A (zh) * 2017-12-18 2020-07-28 苹果公司 使用可寻址发射器阵列的飞行时间感测
CN109959942A (zh) * 2017-12-22 2019-07-02 株式会社电装 距离测量设备、识别设备和距离测量方法
CN108287336A (zh) * 2018-01-26 2018-07-17 华中科技大学 一种面阵盖革apd激光雷达距离像强度像生成系统
CN111742241A (zh) * 2018-02-20 2020-10-02 株式会社电装 光测距装置
CN112513678A (zh) * 2018-07-27 2021-03-16 索尼半导体解决方案公司 光电检测器和距离测量设备
CN112567260A (zh) * 2018-08-09 2021-03-26 株式会社电装 光测距装置
CN109389632A (zh) * 2018-09-05 2019-02-26 深圳奥比中光科技有限公司 深度计算系统与方法
CN109389631A (zh) * 2018-09-05 2019-02-26 深圳奥比中光科技有限公司 深度计算系统与方法
CN111630409A (zh) * 2018-12-03 2020-09-04 索尼半导体解决方案公司 测距装置和测距方法
WO2020255770A1 (ja) * 2019-06-20 2020-12-24 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、および、測距システム
CN110554404A (zh) * 2019-08-08 2019-12-10 华中科技大学 一种强背景噪声下Gm-APD阵列激光雷达成像方法及系统
CN110609291A (zh) * 2019-08-30 2019-12-24 深圳奥锐达科技有限公司 用于时间编码时间飞行距离测量的系统及方法
CN112540378A (zh) * 2019-09-04 2021-03-23 爱贝欧汽车系统有限公司 用于距离测量的方法和设备
CN111080543A (zh) * 2019-12-09 2020-04-28 Oppo广东移动通信有限公司 图像处理方法及装置、电子设备及计算机可读存储介质
CN212341461U (zh) * 2020-04-20 2021-01-12 深圳奥锐达科技有限公司 一种基于时间延时的距离测量系统
CN111812661A (zh) * 2020-06-22 2020-10-23 深圳奥锐达科技有限公司 一种距离测量方法及系统
CN112255636A (zh) * 2020-09-04 2021-01-22 奥诚信息科技(上海)有限公司 一种距离测量方法、系统及设备
CN112255638A (zh) * 2020-09-24 2021-01-22 奥诚信息科技(上海)有限公司 一种距离测量系统及方法
CN112198519A (zh) * 2020-10-01 2021-01-08 深圳奥比中光科技有限公司 一种距离测量系统及方法
CN112363180A (zh) * 2020-10-28 2021-02-12 Oppo广东移动通信有限公司 一种成像测距传感器、方法、系统及存储介质
CN112397542A (zh) * 2020-11-16 2021-02-23 Oppo（重庆）智能科技有限公司 图像传感模组及时间飞行器件、电子设备
CN112596069A (zh) * 2020-12-04 2021-04-02 Oppo（重庆）智能科技有限公司 距离测量方法及系统、计算机可读介质和电子设备

Also Published As

Publication number Publication date
CN112799097A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN112799097B (zh) 深度图和灰度图的获取方法、深度相机、以及电子设备
CN110596722B (zh) 直方图可调的飞行时间距离测量系统及测量方法
CN206650757U (zh) 一种装置
CN109100702B (zh) 用于测量到对象的距离的光电传感器和方法
CN109725326A (zh) 飞行时间相机
CN110596721A (zh) 双重共享tdc电路的飞行时间距离测量系统及测量方法
US20160178355A1 (en) Depth sensing method, device and system based on symbols array plane structured light
CN112731425B (zh) 一种处理直方图的方法、距离测量系统及距离测量设备
US20230139585A1 (en) Detection apparatus and method
CN103796004A (zh) 一种主动结构光的双目深度感知方法
DE102010036964A1 (de) Verzögerungskompensation bei einer modulierten optischen Laufzeit-Phasenabschätzung
CN109804271B (zh) 功率控制方法、测距模块及电子装置
CN211553064U (zh) 用于检测与光电检测器相关联的电路内的堆积的装置
JP2009192499A (ja) 距離画像生成装置
WO2022241942A1 (zh) 一种深度相机及深度计算方法
CN104899882A (zh) 一种复杂场景的深度获取方法
WO2021109138A1 (zh) 三维图像传感系统以及相关电子装置以及飞时测距方法
WO2020115017A1 (en) Patterned illumination for three dimensional imaging
CN112255635B (zh) 一种距离测量方法、系统及设备
CN103337073B (zh) 一种基于三维熵的二维图像阈值分割方法
CN115856829A (zh) 一种雷达三维数据转换的图像数据识别方法及系统
CN112987023A (zh) 光学感测设备及其测量方法及电子设备
US20240004077A1 (en) Distance measuring method and apparatus
GB2485990A (en) An optical user-input device using SPADs
CN113805185A (zh) 飞行时间tof装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant