CN116362977B - 一种消除图像中干涉图案的方法及装置 - Google Patents

一种消除图像中干涉图案的方法及装置 Download PDF

Info

Publication number
CN116362977B
CN116362977B CN202111594531.4A CN202111594531A CN116362977B CN 116362977 B CN116362977 B CN 116362977B CN 202111594531 A CN202111594531 A CN 202111594531A CN 116362977 B CN116362977 B CN 116362977B
Authority
CN
China
Prior art keywords
interference pattern
image
interference
tof
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111594531.4A
Other languages
English (en)
Other versions
CN116362977A (zh
Inventor
刘文钊
冯晓刚
马昆
陈超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202111594531.4A priority Critical patent/CN116362977B/zh
Priority to US18/007,636 priority patent/US20240233303A1/en
Priority to EP22809635.0A priority patent/EP4227905A4/en
Priority to PCT/CN2022/117921 priority patent/WO2023116063A1/zh
Publication of CN116362977A publication Critical patent/CN116362977A/zh
Application granted granted Critical
Publication of CN116362977B publication Critical patent/CN116362977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2441—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using interferometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请实施例提供一种消除图像中干涉图案的方法及装置，涉及图像处理领域，能够消除设置于电子设备显示屏下方的ToF传感器采集的图像中的干涉图案。该方法包括：电子设备预先获取与同一参数的K个不同值一一对应的K个干涉图案；电子设备采集第一图像并测量采集该第一图像时的第一参数值，根据第一参数值从K个干涉图案中确定第一干涉图案，并根据第一干涉图案确定第二干涉图案，再从第一图像中消除该第二干涉图案；使得处理后的第一图像不包括干涉图案；这样就可以实现ToF传感器设置于电子设备显示屏下方，且达到与设置于边框上同样的测量精度。

Description

一种消除图像中干涉图案的方法及装置
技术领域
本申请涉及图像处理领域，尤其涉及一种消除图像中干涉图案的方法及装置。
背景技术
飞行时间(time of flight，ToF)技术，通过连续发射光脉冲，然后使用传感器接收从被测物体返回的光脉冲，测量光脉冲往返时间或相位差得到被测物体距离深度数据，从而得到被测物体的三维模型。采用ToF能够准确测量出被测物体的三维轮廓。
将ToF应用到手机等电子设备上，可以实现三维人脸解锁、人脸支付、美颜等功能。越来越多的手机等电子设备都安装了ToF组件。然而，目前的ToF组件需要设置在电子设备的边框上，会占用屏幕显示面积，无法实现真正的全面屏，影响用户体验。
发明内容
本申请实施例提供一种消除图像中干涉图案的方法及装置，能够实现ToF组件设置于电子设备屏幕下方，且达到与设置于边框上同样的测量精度。
为达到上述目的，本申请的实施例采用如下技术方案：
第一方面，提供了一种消除图像中干涉图案的方法，该方法应用于电子设备，电子设备包括显示屏，显示屏下方设置ToF传感器，ToF传感器包括发射单元和接收单元，该方法包括：获取K个干涉图案，K个干涉图案对应同一参数的K个不同值；其中，干涉图案是发射单元发射的激光穿过显示屏产生的亮暗相间的同心圆环。接收单元采集第一图像，并测量接收单元采集第一图像时的第一参数值；从K个干涉图案中确定第一干涉图案，第一干涉图案对应第二参数值，第二参数值与第一参数值的差值小于或等于第一值；从第一图像中消除第二干涉图案，第二干涉图案由第一干涉图案确定。
由于激光穿过显示屏会产生干涉图案，屏下ToF(设置于显示屏下方的ToF传感器)采集的图像会有干涉图案；并且，激光的波长会随着温度发生变化，激光的波长变化会引起干涉图案不断变化。在该方法中，预先获取多个干涉图案；在ToF传感器采集第一图像后，获取多个干涉图案中与第一图像中干涉图案最接近的第一干涉图案，并根据第一干涉图案确定第二干涉图案，这样就可以消除第一图像中的第二干涉图案，将第一图像中的干涉图案消除掉；实现ToF传感器设置于电子设备屏幕下方，且达到与设置于边框上同样的测量精度。
结合第一方面，在一种可能的实施方式中，检测的参数可以为接收单元采集图像时的温度，或发射单元发射激光的波长，或接收单元采集图像的曝光时间，或接收单元采集图像时的环境光强度。
屏下ToF发射激光的波长随着环境光强度变化。环境光线暗(环境光强度弱)，ToF曝光时间长，激光发射器的温度上升，激光波长变长；环境光线亮(环境光强度强)，ToF曝光时间短，激光发射器的温度下降，激光波长变短。屏下ToF发射激光的波长变化，则干涉图案中每个圆环半径变化。在该方法中，可以通过检测激光波长确定干涉图案，通过检测ToF温度确定干涉图案，通过检测采集图像时的曝光时长确定干涉图案，或者通过检测屏下ToF周围的环境光强度确定干涉图案；当然，也可以通过检测其他能够引起波长变化的参数，或能够体现波长变化的参数确定干涉图案。
结合第一方面，在一种可能的实施方式中，第二干涉图案由第一干涉图案确定包括：第二干涉图案为第一干涉图案。比如，如果第一参数值与第二参数值相等，则直接将第一干涉图案确定为第二干涉图案。比如，如果第一参数值与第二参数值的差值小于预设阈值，则直接将第一干涉图案确定为第二干涉图案。
结合第一方面，在一种可能的实施方式中，第二干涉图案由第一干涉图案确定包括：第二干涉图案是放大第一干涉图案中每个圆环的半径生成的；或者，第二干涉图案是缩小第一干涉图案中每个圆环的半径生成的。
结合第一方面，在一种可能的实施方式中，当参数为接收单元采集图像时的温度，或发射单元发射激光的波长，或接收单元采集图像的曝光时间；第二干涉图案由第一干涉图案确定包括：如果第一参数值大于第二参数值，第二干涉图案是放大第一干涉图案中每个圆环的半径生成的；如果第一参数值小于第二参数值，第二干涉图案是缩小第一干涉图案中每个圆环的半径生成的。
结合第一方面，在一种可能的实施方式中，当参数为接收单元采集图像时的环境光强度，第二干涉图案由第一干涉图案确定包括：如果第一参数值小于第二参数值，第二干涉图案是放大第一干涉图案中每个圆环的半径生成的；如果第一参数值大于第二参数值，第二干涉图案是缩小第一干涉图案中每个圆环的半径生成的。
结合第一方面，在一种可能的实施方式中，放大或缩小第一干涉图案中每个圆环的半径包括：第一干涉图案中第mi干涉级次的圆环半径放大或缩小的值为：
其中，λ为发射单元发射激光的波长，f为ToF传感器的镜头的焦距，n是显示屏中发生折射的屏幕层的折射率，h是显示屏中发生折射的屏幕层的厚度。
结合第一方面，在一种可能的实施方式中，干涉图案是发射单元发射的激光穿过显示屏产生的包括：干涉图案是发射单元发射的激光穿过显示屏后经物体反射至接收单元，和/或，发射单元发射的激光经物体反射后穿过显示屏传输至接收单元产生的。也就是说，可以仅将ToF传感器的发射单元设置于显示屏下方，或仅将ToF传感器的接收单元设置于显示屏下方，或将ToF传感器的发射单元和接收单元都设置于显示屏下方。
结合第一方面，在一种可能的实施方式中，存在第三参数值与第一参数值的差值，和第二参数值与第一参数值的差值相等，第二参数值大于第三参数值。也就是说，如果K个值中存在两个值与第一参数值的差值相等，将较大的一个确定为第二参数值。
第二方面，本申请提供一种电子设备，该电子设备包括：存储器、显示屏、设置于显示屏下方的ToF传感器和一个或多个处理器。该存储器、显示屏、ToF传感器与处理器耦合。其中，存储器中存储有计算机程序代码，计算机程序代码包括计算机指令，当计算机指令被处理器执行时，使得电子设备执行如第一方面及其任一种可能的设计方式所述的方法。
第三方面，本申请提供一种电子设备，该电子设备包括：存储器、显示屏、设置于显示屏下方的ToF传感器和一个或多个处理器，ToF传感器包括发射单元和接收单元。该存储器、显示屏、ToF传感器与处理器耦合。其中，存储器中存储有计算机程序代码，计算机程序代码包括计算机指令，当计算机指令被处理器执行时，使得电子设备执行如下步骤：
获取K个干涉图案，K个干涉图案对应同一参数的K个不同值；其中，干涉图案是发射单元发射的激光穿过显示屏产生的亮暗相间的同心圆环。接收单元采集第一图像，并测量接收单元采集第一图像时的第一参数值；从K个干涉图案中确定第一干涉图案，第一干涉图案对应第二参数值，第二参数值与第一参数值的差值小于或等于第一值；从第一图像中消除第二干涉图案，第二干涉图案由第一干涉图案确定。
由于激光穿过显示屏会产生干涉图案，屏下ToF(设置于显示屏下方的ToF传感器)采集的图像会有干涉图案；并且，激光的波长会随着温度发生变化，激光的波长变化会引起干涉图案不断变化。在该方法中，预先获取多个干涉图案；在ToF传感器采集第一图像后，获取多个干涉图案中与第一图像中干涉图案最接近的第一干涉图案，并根据第一干涉图案确定第二干涉图案，这样就可以消除第一图像中的第二干涉图案，将第一图像中的干涉图案消除掉；实现ToF传感器设置于电子设备屏幕下方，且达到与设置于边框上同样的测量精度。
结合第三方面，在一种可能的实施方式中，检测的参数可以为接收单元采集图像时的温度，或发射单元发射激光的波长，或接收单元采集图像的曝光时间，或接收单元采集图像时的环境光强度。
屏下ToF发射激光的波长随着环境光强度变化。环境光线暗(环境光强度弱)，ToF曝光时间长，激光发射器的温度上升，激光波长变长；环境光线亮(环境光强度强)，ToF曝光时间短，激光发射器的温度下降，激光波长变短。屏下ToF发射激光的波长变化，则干涉图案中每个圆环半径变化。在该方法中，可以通过检测激光波长确定干涉图案，通过检测ToF温度确定干涉图案，通过检测采集图像时的曝光时长确定干涉图案，或者通过检测屏下ToF周围的环境光强度确定干涉图案；当然，也可以通过检测其他能够引起波长变化的参数，或能够体现波长变化的参数确定干涉图案。
结合第三方面，在一种可能的实施方式中，第二干涉图案由第一干涉图案确定包括：第二干涉图案为第一干涉图案。比如，如果第一参数值与第二参数值相等，则直接将第一干涉图案确定为第二干涉图案。比如，如果第一参数值与第二参数值的差值小于预设阈值，则直接将第一干涉图案确定为第二干涉图案。
结合第三方面，在一种可能的实施方式中，第二干涉图案由第一干涉图案确定包括：第二干涉图案是放大第一干涉图案中每个圆环的半径生成的；或者，第二干涉图案是缩小第一干涉图案中每个圆环的半径生成的。
结合第三方面，在一种可能的实施方式中，当参数为接收单元采集图像时的温度，或发射单元发射激光的波长，或接收单元采集图像的曝光时间；第二干涉图案由第一干涉图案确定包括：如果第一参数值大于第二参数值，第二干涉图案是放大第一干涉图案中每个圆环的半径生成的；如果第一参数值小于第二参数值，第二干涉图案是缩小第一干涉图案中每个圆环的半径生成的。
结合第三方面，在一种可能的实施方式中，当参数为接收单元采集图像时的环境光强度，第二干涉图案由第一干涉图案确定包括：如果第一参数值小于第二参数值，第二干涉图案是放大第一干涉图案中每个圆环的半径生成的；如果第一参数值大于第二参数值，第二干涉图案是缩小第一干涉图案中每个圆环的半径生成的。
结合第三方面，在一种可能的实施方式中，放大或缩小第一干涉图案中每个圆环的半径包括：第一干涉图案中第mi干涉级次的圆环半径放大或缩小的值为：
其中，λ为发射单元发射激光的波长，f为ToF传感器的镜头的焦距，n是显示屏中发生折射的屏幕层的折射率，h是显示屏中发生折射的屏幕层的厚度。
结合第三方面，在一种可能的实施方式中，干涉图案是发射单元发射的激光穿过显示屏产生的包括：干涉图案是发射单元发射的激光穿过显示屏后经物体反射至接收单元，和/或，发射单元发射的激光经物体反射后穿过显示屏传输至接收单元产生的。也就是说，可以仅将ToF传感器的发射单元设置于显示屏下方，或仅将ToF传感器的接收单元设置于显示屏下方，或将ToF传感器的发射单元和接收单元都设置于显示屏下方。
结合第三方面，在一种可能的实施方式中，存在第三参数值与第一参数值的差值，和第二参数值与第一参数值的差值相等，第二参数值大于第三参数值。也就是说，如果K个值中存在两个值与第一参数值的差值相等，将较大的一个确定为第二参数值。
第四方面，提供了一种电子设备，该电子设备具有实现上述第一方面所述的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第五方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机可以执行上述第一方面中任一项所述的消除图像中干涉图案的方法。
第六方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述第一方面中任一项所述的消除图像中干涉图案的方法。
第七方面，提供了一种装置(例如，该装置可以是芯片系统)，该装置包括处理器，用于支持电子设备实现上述第一方面中所涉及的功能。在一种可能的设计中，该装置还包括存储器，该存储器，用于保存电子设备必要的程序指令和数据。该装置是芯片系统时，可以由芯片构成，也可以包含芯片和其他分立器件。
其中，第二方面至第七方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果，此处不再赘述。
附图说明
图1为本申请实施例提供的消除图像中干涉图案的方法所适用的场景示意图；
图2A为本申请实施例提供的消除图像中干涉图案的方法所适用的一种实例示意图；
图2B为一种干涉图案示意图；
图2C为本申请实施例提供的消除图像中干涉图案的方法的实例示意图；
图3为本申请实施例提供的消除图像中干涉图案的方法所适用的一种电子设备的硬件结构示意图；
图4A为屏下ToF产生干涉图案的原理示意图；
图4B为屏下ToF产生干涉图案的原理示意图；
图5A为本申请实施例提供的消除图像中干涉图案的方法的原理示意图；
图5B为本申请实施例提供的消除图像中干涉图案的方法的原理示意图；
图6A为本申请实施例提供的消除图像中干涉图案的方法的原理示意图；
图6B为本申请实施例提供的消除图像中干涉图案的方法的原理示意图；
图6C为本申请实施例提供的消除图像中干涉图案的方法的原理示意图；
图7为本申请实施例提供的消除图像中干涉图案的方法流程示意图；
图8为本申请实施例提供的消除图像中干涉图案的方法流程示意图；
图9为本申请实施例提供的消除图像中干涉图案的方法流程示意图；
图10为本申请实施例提供的消除图像中干涉图案的方法流程示意图；
图11为本申请实施例提供的消除图像中干涉图案的方法实例示意图；
图12为本申请实施例提供的生成干涉图案的方法实例示意图；
图13为本申请实施例提供的生成干涉图案的方法实例示意图；
图14为本申请实施例提供的一种电子设备结构示意图。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请以下各实施例中，“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
在本申请实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
ToF组件发射激光，激光经被测物体反射后，返回ToF组件。ToF组件根据激光飞行至被测物体经反射后返回的时间，计算得到被测物体距离，从而得到被测物体的三维模型。采用ToF能够准确测量出被测物体的三维轮廓。比如，被测物体是人脸，则可以准确获取人脸的三维图像。
为了尽量扩大电子设备屏幕，将ToF组件置于电子设备屏幕下方是未来发展趋势。但是ToF组件发出的激光透过屏幕会产生干涉图案。示例性的，如图1所示，电子设备100内设置了ToF组件101，ToF组件101设置于屏幕102下方。本申请实施例中，以电子设备屏幕内侧为下方，电子设备屏幕外侧为上方。可以理解的，本申请实施例所述ToF组件设置于屏幕下方，是指ToF组件设置于屏幕朝向电子设备内的一侧。这样，ToF组件激光发射单元发出的激光经被测物体反射后到达接收单元的路程中，会至少一次透过屏幕。激光在屏幕的不同屏幕层之间多次反射形成等倾干涉，这样，ToF组件采集的图像中包含了环形的干涉图案。示例性的，如图2A所示，被测物体图像上叠加了环形的干涉图案。如图2B所示，干涉图案是亮暗相间的同心圆环。
需要说明的是，图1中以ToF组件包括发射单元和接收单元为例，发射单元用于发射激光，接收单元用于接收激光。发射单元和接收单元都设置于屏幕下方，激光由发射单元飞行至被测物体透过一次屏幕，激光由被测物体返回接收单元透过一次屏幕。在另一些实施例中，可以仅将ToF组件的发射单元或接收单元设置于屏幕下方。激光由发射单元飞行至被测物体透过一次屏幕，或者激光由被测物体返回接收单元透过一次屏幕。在另一些实施例中，ToF组件可以不区分发射单元和接收单元，上述发射单元和接收单元的功能由同一个单元实现。激光由ToF组件飞行至被测物体透过一次屏幕，激光由被测物体返回ToF组件透过一次屏幕。综上，如果ToF组件发出的激光返回至该ToF组件的路程中至少一次透过屏幕，就会产生环形的干涉图案。
ToF组件采集图像中包括干涉图案，会影响用户使用电子设备的体验。比如，通过ToF组件采集人脸三维图像进行人脸解锁、人脸支付等安全验证，干涉图案会严重干扰三维信息提取，降低人脸解锁、人脸支付的安全性。本申请实施例提供一种消除图像中干涉图案的方法，能够有效消除屏下ToF组件(设置于电子设备屏幕下方的ToF组件)采集图像中的干涉图案，使得屏下ToF组件达到与不加屏幕的ToF组件相同的测量精度。示例性的，图2C示出了采用本申请实施例提供的消除图像中干涉图案的方法，将图2A所示ToF组件采集图像中的环形干涉图案(亮暗相间的同心圆环)消除后，得到的被测物体的图像。
本申请提供的消除图像中干涉图案的方法可以应用于包括屏下ToF组件的电子设备。上述电子设备可以包括手机、平板电脑、笔记本电脑、个人电脑(personal computer，PC)、超级移动个人计算机(ultra-mobile personal computer，UMPC)、手持计算机、上网本、智能家居设备(比如，智能电视、智慧屏、大屏、智能音箱、智能空调等)、个人数字助理(personal digital assistant，PDA)、可穿戴设备(比如，智能手表、智能手环等)、车载设备、虚拟现实设备等，本申请实施例对此不做任何限制。
请参考图3，为本申请实施例提供的一种电子设备100的结构示意图。如图3所示，该电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，摄像头190，显示屏191，ToF组件192。其中传感器模块180可以包括温度传感器180A，环境光传感器180B等。
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合充电器，闪光灯，摄像头190等。
I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏191，摄像头190等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头190通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏191通过DSI接口通信，实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头190，显示屏191，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。
USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏191，摄像头190，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏191显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信(near field communication，NFC)，红外(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。
电子设备100通过GPU，显示屏191，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏191和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏191用于显示图像，视频等。显示屏191也称为屏幕191。显示屏191包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏191，N为大于1的正整数。
电子设备100可以通过ISP，摄像头190，视频编解码器，GPU，显示屏191以及应用处理器等实现拍摄功能。
摄像头190用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头190，N为大于1的正整数。
ISP用于处理摄像头190反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头190中。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。
受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。
麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。
ToF组件192用于测量光脉冲往返ToF组件与被测物体之间经过的时间或相位差得到被测物体距离深度数据，从而得到被测物体的三维模型。本申请实施例中，ToF组件192设置在一块显示屏(屏幕)下方。在另一些示例中，ToF组件可以是其他名称，比如，ToF传感器，ToF摄像头等。
温度传感器180A用于检测温度。电子设备100可以利用温度传感器180A检测的温度，执行温度处理策略。例如，当温度传感器180A上报的温度超过阈值，电子设备100执行降低位于温度传感器180A附近的处理器的性能，以便降低功耗实施热保护。例如，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。又例如，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。在一些实施例中，温度传感器180A可以设置在ToF组件192旁或ToF组件192内，以检测ToF组件192的温度或检测ToF组件192内组件(比如，发射单元)的温度。
环境光传感器180B用于感知环境光强度。例如，电子设备100可以根据感知的环境光强度自适应调节显示屏191强度。例如，环境光传感器180B可以用于拍照时自动调节白平衡。又例如，环境光传感器180B可以与接近光传感器配合，检测电子设备100是否在口袋里，以防误触。又例如，电子设备100可以根据感知的环境光强度调节ToF组件192的曝光时间。
在一种示例中，如图4A和图4B所示，ToF 20包括发射单元21和接收单元22。发射单元21包括激光发射器211，用于发射激光脉冲。比如，激光发射器211可以为激光二极管、垂直腔面发射体激光器(vertical-cavity surface-emitter laser，VCSEL)、边缘发射激光器(edge emitting laser，EEL)等。可选的，发射单元21还包括散射片212，用于将激光发射器211发射的激光转化为平行的激光光束。接收单元22包括镜头221和成像模块222。镜头221是光学透镜，用于汇聚接收的激光，将接收的激光汇聚到成像模块222。成像模块222可以是成像传感器，包含2个或者更多快门，用来在不同时间采样反射的激光光束。比如，成像模块222可以为CMOS。ToF 20还可以包括计算单元(图中未示出)，用于根据接收单元22接收的激光与发射单元21发出的激光的时间差或相位差计算被测物体与ToF之间的距离，获取被测物体的深度图。深度图通常是灰度图，其中的每个值代表被测物体一个像素点与ToF之间的距离。
电子设备的屏幕一般包括多层结构，层与层之间存在折射率差。如果ToF位于屏幕下方，激光穿过屏幕层时会在屏幕不同层之间多次反射形成等倾干涉，形成干涉图案。
在一种示例中，图4A示出了ToF的接收单元位于屏幕下方时，干涉图案的形成原理示意图。如图4A所示，ToF 20的接收单元22位于屏幕30下方，激光发射器211发射的激光光束经被测物体反射后，先入射到屏幕30中。一部分激光光束直接透过屏幕30进入接收单元22的成像模块222，另一部分入射激光光束被反射回上一层结构后再次入射到接收单元22的成像模块222，即入射到成像模块222的两部分激光光束存在相位差(时间差)。这样，激光光束在屏幕不同层之间多次反射形成干涉图案。
在另一种示例中，图4B示出了ToF的发射单元位于屏幕下方时，干涉图案的形成原理示意图。如图4B所示，ToF 20的发射单元21位于屏幕30下方。激光发射器211发射的激光光束入射到屏幕30中，一部分激光光束直接透过屏幕30到达被测物体，另一部分激光光束在屏幕30中反射一次或多次后到达被测物体。直接透过屏幕30和在屏幕30内部反射后出射的两部分激光光束，经过被测物体反射后入射到接收单元22的成像模块222。成像模块222接收到的这两部分激光光束存在相位差(时间差)。这样，激光光束在屏幕不同层之间多次反射形成干涉图案。
在另一种示例中，ToF的发射单元和接收单元都位于屏幕下方，激光光束在屏幕不同层之间多次反射形成的干涉图案是上述两种情况的叠加。示例性的，激光光束在屏幕不同层之间多次反射形成的干涉图案如图2B所示，干涉图案是亮暗相间的同心圆环。
屏下ToF采集的三维图像包括了干涉图案，影响对三维图像信息的采集。如果能够准确确定三维图像中干涉图案，即可以将干涉图案从三维图像中去除。
参考图4A和图4B，干涉图案是激光经过屏幕时，在屏幕不同层之间反射形成的；与激光光源以及屏幕结构相关。在一种示例中，这种干涉现象可以用干涉公式2nhcosθ＝mλ描述，其中n是发生折射的屏幕层的折射率，h是发生折射的屏幕层的厚度，θ是激光光线与屏幕法线的夹角，m是干涉的级次，λ是激光的波长。需要说明的是，激光在屏幕层之间每发生一次折射产生的干涉现象满足上述干涉公式，干涉公式中的参数为发生折射的屏幕层的参数。当激光在屏幕层之间发生多次折射，屏下ToF上产生的干涉图案是多次干涉现象的叠加。
对于ToF，λ是动态变化的。这是由于，ToF采集图像时，曝光时间(即曝光帧数)随着周围光线亮暗而动态调整，周围光线亮，曝光时间短；周围光线暗，曝光时间长。而激光发射器的温度会随着曝光时间的改变而改变。激光发射器的温度变化，导致发射激光的波长λ变化。比如，环境光线暗(环境光强度弱)，ToF曝光时间长，激光发射器的温度上升，导致激光波长λ变长；环境光线亮(环境光强度强)，ToF曝光时间短，激光发射器的温度下降，相应的激光波长λ变短。示例性的，图5A为VCSEL温度与曝光时间的关系示意图。如图5A所示，随着曝光时间的增加，VCSEL温度大体上呈直线上升。示例性的，图5B为VCSEL发射激光的中心波长与曝光时间的关系示意图。如图5B所示，随着曝光时间的增加，激光波长大体上呈直线上升。结合图5A与图5B，VCSEL温度从37℃升温到109℃，波长从936.7nm增加至942nm。
对于屏下ToF，干涉公式中n、h、θ的值是确定的，λ是动态变化的，则干涉的级次m随λ动态变化，因此干涉图案随λ动态变化。在一种示例中，激光波长λ与干涉图案的关系如公式1所示。
其中r是干涉图案中圆环的半径，n是发生折射的屏幕层的折射率，h是发生折射的屏幕层的厚度，m是干涉级次，λ是激光的波长，f是ToF镜头的焦距。可以看出，激光光束在屏幕中发生一次折射产生的干涉图案中，圆环的半径r随着激光波长λ的变化而变化。
如图6A所示，沿着以干涉图案中同心圆环的圆心为起点的射线获取干涉图案的截面。图6B示出了干涉图案在一个截面上随激光波长变化示意图。示例性的，如图6B所示，图中4条曲线为不同波长时，在一个截面的各个点上，光强度随该点与同心圆环圆心之间的距离变化的示意图；其中，波长1<波长2<波长3<波长4。可以看出，当激光波长变化时，除了最大干涉级次(距离圆心最近)之外的干涉级次有着较为明显的变化规律，即同一干涉级次的干涉图案随着波长增加而发生接近线性的扩张，随着波长减少而发生接近线性的收缩。
在一种示例中，干涉图案随激光波长λ变化的导数公式如公式2所示。
示例性的，图6C为干涉图案随激光波长λ变化的导数示意图。可以看出，对于同一个干涉级次，激光波长改变会使得干涉图案发生接近线性的变化；即同一干涉级次的干涉图案随着波长增加而发生接近线性的扩张，随着波长减少而发生接近线性的收缩。
本申请实施例提供一种消除图像中干涉图案的方法，屏下ToF采集图像，采集的图像中包括干涉图案，根据干涉图案随激光波长变化的规律获取采集图像中的干涉图案；并消除采集图像中的干涉图案。需要说明的是，执行本申请实施例提供的消除图像中干涉图案的方法的可以是ToF组件，或包括ToF组件的电子设备，或能够与ToF组件通信的另一电子设备(比如服务器)等；本申请实施例并不进行限定。
如图7所示，该方法可以包括：
S701、获取屏下ToF发射激光的K个不同波长对应的K个不同的干涉图案。
根据公式1，屏下ToF发射激光的波长不同，则干涉图案不同。即亮暗相间的同心圆环的第m干涉级次的圆环半径r随着激光波长λ的变化而变化，对于同一干涉级次，激光波长越长，圆环半径r约大；激光波长越短，圆环半径r约小。屏下ToF发射激光的K个不同波长对应K个不同的干涉图案，K>1。在一种示例中，采集激光波长936nm对应的干涉图案1，激光波长937nm对应的干涉图案2，激光波长938nm对应的干涉图案3，激光波长938nm对应的干涉图案4，激光波长939nm对应的干涉图案5，激光波长940nm对应的干涉图案6和激光波长941nm对应的干涉图案7。需要说明的是，可以根据需要增加或减少采集的干涉图案的数量。比如，激光波长变化范围为936nm至941nm，按照1nm的波长间隔采集干涉图案。比如，可以缩小采集的波长间隔(比如，波长间隔为0.2nm)，以提高图像中干涉图案的消除效果。可选的，采集干涉图案的波长间隔可以是不均匀的；比如，激光发射器的波长变化范围为936nm至941nm，通常的环境光线中，激光发射器的波长范围在936nm至939nm之间，则可以在936nm至939nm之间按照波长间隔0.2nm进行干涉图案采集，在939nm至941nm之间按照波长间隔1nm进行干涉图案采集。
在一种实现方式中，将反光板或平整的白色墙面等白色平面作为被测物体，使用屏下ToF采集被测物体的图像，即可获取干涉图案。
S702、屏下ToF采集第一图像。
屏下ToF采集被测物体的第一图像。比如，被测物体为人脸，则第一图像为人脸三维图像。由于ToF位于屏幕下方，第一图像包括干涉图案。示例性的，第一图像如图2A所示，人脸三维图像上包括亮暗相间的同心圆环干涉图案。
屏下ToF采集图像时，根据环境光强度自动调节曝光时间，曝光时间越长，屏下ToF的激光发射器的温度越高，则发射激光的波长越长。屏下ToF采集第一图像时，环境光强度记为第一环境光强度，对应第一曝光时间，对应激光发射器的第一温度，对应发射激光的第一波长。根据公式1原理，每个不同波长值对应一个不同的干涉图案，第一波长对应第二干涉图案。
S703、测量屏下ToF采集第一图像时发射激光的第一波长。
需要说明的是，本申请实施例并不限定执行上述S702和S703的先后顺序；可以先采集第一图像再获取第一图像对应的第一波长，也可以先获取第一波长再获取第一波长对应的第一图像，还可以同时执行S702和S703；S702和S703执行的先后顺序并不影响本申请实施例的实现效果。
S704、获取K个波长中与第一波长最接近的第二波长，并从K个干涉图案中确定第二波长对应的第一干涉图案。
K个干涉图案对应K个不同的波长，比较第一波长与K个波长中每一个的差值的绝对值，K个不同的波长中与第一波长最接近(与第一波长差值的绝对值最小)的波长为第二波长。在一种示例中，第二波长与第一波长的差值小于或等于第一值。示例性的，K个波长分别为936nm、937nm、938nm、939nm、940nm和941nm；比如，第一波长为936.7nm，936nm与936.7nm的差值为0.7nm，937nm与936.7nm的差值为0.3nm，938nm与936.7nm的差值为1.3nm，939nm与936.7nm的差值为2.3nm，940nm与936.7nm的差值为3.3nm，941nm与936.7nm的差值为4.3nm；其中，937nm与936.7nm的差值最小，该差值(0.3nm)小于第一值，比如第一值为0.5nm；则与第一波长最接近的第二波长为937nm。比如，第一波长为936.2nm，936nm与936.2nm的差值最小，该差值(0.2nm)小于第一值，比如第一值为0.5nm；则与第一波长最接近的第二波长为936nm。在一种示例中，如果K个不同的波长中有两个相邻波长与第一波长的差值的绝对值相等，即第一波长是K个不同的波长中两个波长的中值，则第二波长为两个波长中较大的一个。比如，第一波长为936.5nm，936nm和937nm与936.5nm的差值的绝对值都是0.5nm，该差值(0.5nm)等于第一值，比如第一值为0.5nm；则确定第二波长为937nm。该第二波长对应的干涉图案为第一干涉图案。
S705、根据第一干涉图案确定第一波长对应的第二干涉图案。
根据公式2，如果第一波长大于第二波长，则将第一干涉图案放大后获取第二干涉图案；如果第一波长小于第二波长，则将第一干涉图案线性缩小后获取第二干涉图案。在一种实现方式中，放大或缩小第一干涉图案，即放大或缩小第一干涉图案中各个圆环的半径。可选的，在一种示例中，如果第一波长与第二波长相等，则该第一干涉图案即为第二干涉图案。可选的，在一些实施例中，如果第一波长与第二波长差值的绝对值小于预设阈值(比如0.05nm)，则将该第一干涉图案确定为第二干涉图案。
在一种实现方式中，放大或缩小干涉图案的值为根据公式2计算出的的值。示例性的，将第一干涉图案的第mi干涉级次的圆环半径放大或缩小的值(像素值)为其中，λ为激光波长，f为ToF镜头的焦距，n是发生折射的屏幕层的折射率，h是发生折射的屏幕层的厚度。
可以理解的，在实际采用本申请实施例提供的消除图像中干涉图案的方法消除干涉图案过程中，可能不知道在屏幕的哪一层或哪几层发生了折射。在一种实现方式中，可以将屏幕每一层屏幕层的参数都代入公式2计算的值。然后分别采用计算出的每个/>的值或各个/>值的数学运算结果对屏下ToF采集的图像进行干涉图案消除，根据消除效果对放大或缩小干涉图案的值进行调整。
S706、消除第一图像中的第二干涉图案，获取消除干涉图案后的第一图像。
根据第二干涉图案计算第一图像的增益，对第一图像进行增益补偿，获取消除干涉图案后的第一图像。在一种实现方式中，将第一图像除以第二干涉图案，即获取到消除干涉图案后的第一图像。
基于前述原理，屏下ToF发射激光的波长随着环境光强度变化。环境光线暗(环境光强度弱)，ToF曝光时间长，激光发射器的温度上升，激光波长变长；环境光线亮(环境光强度强)，ToF曝光时间短，激光发射器的温度下降，激光波长变短。屏下ToF发射激光的波长变化，则干涉图案中每个圆环半径变化。本申请实施例提供的消除图像中干涉图案的方法，预先获取K个不同波长对应的K个干涉图案，屏下ToF采集第一图像后，根据ToF采集第一图像时发射激光的波长与K个不同波长进行比较，找到K个不同波长中与ToF采集第一图像时发射激光的波长最接近的波长，将该最接近的波长对应的干涉图案进行线性放大或缩小，即可获取第一图像中的干涉图案。这样，就可以将第一图像中的干涉图案消除掉。
可以理解的，每个波长对应一个ToF温度，对应一个曝光时间，对应一个环境光强度。在一些实施例中，可以监测ToF温度，获取不同的ToF温度对应的不同的干涉图案，即获取不同波长对应的不同的干涉图案。在一些实施例中，可以监测ToF采集图像的曝光时间，获取不同曝光时间对应的不同的干涉图案，即获取不同波长对应的不同的干涉图案。在一些实施例中，可以监测环境光强度，获取不同环境光强度对应的不同的干涉图案，即获取不同波长对应的不同的干涉图案。当然，也可以通过监测其他参数来获取不同波长对应的不同的干涉图案，本申请实施例对此并不进行限定。
在一种示例中，图8为本申请实施例提供的消除图像中干涉图案的方法的流程示意图。在该方法中，通过监测ToF温度获取不同波长对应的不同干涉图案。如图8所示，该方法可以包括：
S801、获取屏下ToF在K个不同温度时的K个不同的干涉图案。
从图5A和图5B可以看出，屏下ToF的激光发射器的温度升高，则屏下ToF发射激光的波长变长；屏下ToF发射激光的波长与屏下ToF的温度呈线性关系，一一对应。获取屏下ToF在K个不同温度时的K个不同的干涉图案，即获取屏下ToF发射激光的K个不同波长对应的K个不同的干涉图案。
在一种实现方式中，ToF组件内或ToF组件旁设置有温度传感器。通过温度传感器可以获取ToF组件的温度，即ToF组件内激光发射器的温度。屏下ToF采集当激光发射器在K个不同温度时的K个干涉图案，K>1。
在一种示例中，采集激光发射器温度在40℃时的干涉图案1，激光发射器温度在50℃时的干涉图案2，激光发射器温度在60℃时的干涉图案3，激光发射器温度在70℃时的干涉图案4，激光发射器温度在80℃时的干涉图案5，激光发射器温度在90℃时的干涉图案6和激光发射器温度在100℃时的干涉图案7。需要说明的是，可以根据需要增加或减少采集的干涉图案的数量。比如，激光发射器的温度变化范围为20℃至120℃，则按照10℃的温度间隔，采集激光发射器温度在20℃至120℃的干涉图案。比如，可以缩小采集的温度间隔(比如，温度间隔为5℃)，以提高图像中干涉图案的消除效果。可选的，采集干涉图案的温度间隔可以是不均匀的；比如，激光发射器的温度变化范围为20℃至120℃，通常的环境光线中，激光发射器的温度范围在40℃至80℃之间，则可以在40℃至80℃之间按照温度间隔5℃进行干涉图案采集，在20℃至40℃以及80℃至120℃之间按照温度间隔10℃进行干涉图案采集。
S802、屏下ToF采集第一图像。
屏下ToF采集被测物体的第一图像。比如，被测物体为人脸，则第一图像为人脸三维图像。由于ToF位于屏幕下方，第一图像包括干涉图案。示例性的，第一图像如图2A所示，人脸三维图像上包括亮暗相间的同心圆环干涉图案。
屏下ToF采集图像时，根据环境光强度自动调节曝光时间，曝光时间越长，屏下ToF的激光发射器的温度越高。屏下ToF采集第一图像时，对应激光发射器的第一温度。第一温度对应发射激光的第一波长。根据公式1原理，每个不同波长值对应一个不同的干涉图案，第一波长对应第二干涉图案，即第一温度对应第二干涉图案。
S803、测量屏下ToF采集第一图像时的第一温度。
在一种实现方式中，通过温度传感器实时监测ToF组件的温度，即监测ToF组件内激光发射器的温度，获取屏下ToF采集第一图像时的第一温度。
需要说明的是，本申请实施例并不限定执行上述S802和S803的先后顺序；可以先采集第一图像再获取第一图像对应的第一温度，也可以先检测第一温度再获取第一温度对应的第一图像，还可以同时执行S802和S803；S802和S803执行的先后顺序并不影响本申请实施例的实现效果。
S804、获取K个温度中与第一温度最接近的第二温度，并从K个干涉图案中确定第二温度对应的第一干涉图案。
比较第一温度与K个温度中每一个的差值的绝对值，获取K个温度中与第一温度最接近的第二温度。在一种示例中，第二温度与第一温度的差值小于或等于第一值。示例性的，K个温度分别为40℃、50℃、60℃、70℃、80℃、90℃和100℃；比如，第一温度为42.6℃，40℃与42.6℃的差值为2.6℃，50℃与42.6℃的差值为7.4℃，60℃与42.6℃的差值为17.4℃，70℃与42.6℃的差值为27.4℃，80℃与42.6℃的差值为37.4℃，90℃与42.6℃的差值为47.4℃，100℃与42.6℃的差值为57.4℃；其中，40℃与42.6℃的差值最小，该差值(2.6℃)小于第一值，比如第一值为5℃；则与第一温度最接近的第二温度为40℃；比如，第一温度为47.3℃，50℃与47.3℃的差值最小，该差值(2.7℃)小于第一值，比如第一值为5℃；则与第一温度最接近的第二温度为50℃。在一种实现方式中，如果第一温度与K个温度中两个相邻温度值的差值的绝对值相等，则将两个温度值中大于第一温度的一个确定为第二温度。比如，第一温度为45℃，40℃和50℃与45℃的差值都是5℃，该差值(5℃)等于第一值，比如第一值为5℃；则确定与第一温度最接近的第二温度为50℃。
获取屏下ToF在第二温度时的第一干涉图案。示例性的，第二温度为50℃，则确定第一干涉图案为干涉图案2。
S805、根据第一干涉图案确定第一温度对应的第二干涉图案。
第一温度对应第一波长，第二温度对应第二波长。如果第一温度大于第二温度，则第一波长大于第二波长；根据公式2，如果第一波长大于第二波长，则将第一干涉图案放大后获取第二干涉图案。如果第一温度小于第二温度，则第一波长小于第二波长；根据公式2，如果第一波长小于第二波长，则将第一干涉图案线性缩小后获取第二干涉图案。
在一种实现方式中，放大或缩小干涉图案的值为根据公式2计算出的的值。
可选的，如果第一温度等于第二温度，则第一波长等于第二波长；如果第一波长与第二波长相等，则该第一干涉图案即为第二干涉图案。
可选的，在一些实施例中，如果第一温度与第二温度差值的绝对值小于预设阈值(比如1℃)，则将该第一干涉图案确定为第二干涉图案。
S806、消除第一图像中的第二干涉图案，获取消除干涉图案后的第一图像。
根据第二干涉图案计算第一图像的增益，对第一图像进行增益补偿，获取消除干涉图案后的第一图像。在一种实现方式中，将第一图像除以第二干涉图案，即获取到消除干涉图案后的第一图像。
基于前述原理，屏下ToF的温度随着环境光强度变化。环境光线暗(环境光强度弱)，ToF曝光时间长，激光发射器的温度上升，激光波长变长；环境光线亮(环境光强度强)，ToF曝光时间短，激光发射器的温度下降，激光波长变短。屏下ToF发射激光的波长变化，则干涉图案中每个圆环半径变化。本申请实施例提供的消除图像中干涉图案的方法，预先获取ToF在K个不同温度对应的K个干涉图案，屏下ToF采集第一图像后，根据ToF采集第一图像时的温度与K个不同温度进行比较，找到K个不同温度中与ToF采集第一图像时的温度最接近的温度，将该最接近的温度对应的干涉图案进行线性放大或缩小，即可获取第一图像中的干涉图案。这样，就可以将第一图像中的干涉图案消除掉。
在另一种示例中，图9为本申请实施例提供的消除图像中干涉图案的方法的流程示意图。在该方法中，通过监测ToF采集图像的曝光时间获取不同波长对应的不同干涉图案。如图9所示，该方法可以包括：
S901、获取屏下ToF的K个不同曝光时间对应的K个不同的干涉图案。
从图5B可以看出，屏下ToF采集图像时的曝光时间越长，则屏下ToF发射激光的波长越长；屏下ToF发射激光的波长与屏下ToF采集图像时的曝光时间呈线性关系，一一对应。获取屏下ToF的K个不同曝光时间对应的K个不同的干涉图案，即获取屏下ToF发射激光的K个不同波长对应的K个不同的干涉图案。
在一种示例中，采集ToF曝光时间0μs对应的干涉图案1，ToF曝光时间500μs对应的干涉图案2，ToF曝光时间1000μs对应的干涉图案3，ToF曝光时间1500μs对应的干涉图案4，ToF曝光时间2000μs对应的干涉图案5和ToF曝光时间2500μs对应的干涉图案7。需要说明的是，可以根据需要增加或减少采集的干涉图案的数量。比如，可以缩小采集的曝光时间间隔，以提高图像中干涉图案的消除效果。可选的，采集干涉图案的曝光时间间隔可以是不均匀的。
S902、屏下ToF采集第一图像。
屏下ToF采集被测物体的第一图像。比如，被测物体为人脸，则第一图像为人脸三维图像。由于ToF位于屏幕下方，第一图像包括干涉图案。示例性的，第一图像如图2A所示，人脸三维图像上包括亮暗相间的同心圆环干涉图案。
屏下ToF采集图像时，根据环境光强度自动调节曝光时间。屏下ToF采集第一图像时，环境光强度记为第一环境光强度，对应第一曝光时间。第一曝光时间对应激光发射器的第一温度，对应发射激光的第一波长。根据公式1原理，每个不同波长值对应一个不同的干涉图案，第一波长对应第二干涉图案，即第一曝光时间对应第二干涉图案。
S903、测量屏下ToF采集第一图像时的第一曝光时间。
需要说明的是，本申请实施例并不限定执行上述S902和S903的先后顺序；可以先采集第一图像再获取第一图像对应的第一曝光时间，也可以先获取第一曝光时间再获取第一曝光时间对应的第一图像，还可以同时执行S902和S903；S902和S903执行的先后顺序并不影响本申请实施例的实现效果。
S904、获取K个曝光时间中与第一曝光时间最接近的第二曝光时间，并从K个干涉图案中确定第二曝光时间对应的第一干涉图案。
比较第一曝光时间与K个曝光时间中每一个的差值的绝对值，获取K个曝光时间中与第一曝光时间最接近的第二曝光时间。在一种示例中，第二曝光时间与第一曝光时间的差值小于或等于第一值。示例性的，K个曝光时间分别为0μs、500μs、1000μs、1500μs、2000μs和2500μs；比如，第一曝光时间为520μs，0μs与520μs的差值为520μs，500μs与520μs的差值为20μs，1000μs与520μs的差值为480μs，1500μs与520μs的差值为980μs，2000μs与520μs的差值为1480μs，2500μs与520μs的差值为1980μs；其中，500μs与520μs的差值最小，该差值(20μs)小于第一值，比如第一值为250μs；则与第一曝光时间最接近的第二曝光时间为500μs；比如，第一曝光时间为878μs，1000μs与878μs的差值最小，该差值(122μs)小于第一值，比如第一值为250μs；则与第一曝光时间最接近的第二曝光时间为1000μs。在一种实现方式中，如果第一曝光时间与K个曝光时间中两个相邻曝光时间值的差值的绝对值相等，则将两个曝光时间值中大于第一曝光时间的一个确定为第二曝光时间。比如，第一曝光时间为750μs，500μs和1000μs与750μs的差值的绝对值都是250μs，该差值(250μs)等于第一值，比如第一值为250μs；则与第一曝光时间最接近的第二曝光时间为1000μs。
在K个干涉图案中，确定第二曝光时间对应的第一干涉图案。
S905、根据第一干涉图案确定第一曝光时间对应的第二干涉图案。
第一曝光时间对应第一波长，第二曝光时间对应第二波长。如果第一曝光时间大于第二曝光时间，则第一波长大于第二波长；根据公式2，如果第一波长大于第二波长，则将第一干涉图案放大后获取第二干涉图案。如果第一曝光时间小于第二曝光时间，则第一波长小于第二波长；根据公式2，如果第一波长小于第二波长，则将第一干涉图案线性缩小后获取第二干涉图案。
在一种实现方式中，放大或缩小干涉图案的值为根据公式2计算出的的值。
可选的，如果第一曝光时间等于第二曝光时间，则第一波长等于第二波长；如果第一波长与第二波长相等，则该第一干涉图案即为第二干涉图案。
可选的，在一些实施例中，如果第一曝光时间与第二曝光时间差值的绝对值小于预设阈值(比如20μs)，则将该第一干涉图案确定为第二干涉图案。
S906、消除第一图像中的第二干涉图案，获取消除干涉图案后的第一图像。
根据第二干涉图案计算第一图像的增益，对第一图像进行增益补偿，获取消除干涉图案后的第一图像。在一种实现方式中，将第一图像除以第二干涉图案，即获取到消除干涉图案后的第一图像。
基于前述原理，屏下ToF的曝光时间随着环境光强度变化。环境光线暗(环境光强度弱)，ToF曝光时间长，激光发射器的温度上升，激光波长变长；环境光线亮(环境光强度强)，ToF曝光时间短，激光发射器的温度下降，激光波长变短。屏下ToF发射激光的波长变化，则干涉图案中每个圆环半径变化。本申请实施例提供的消除图像中干涉图案的方法，预先获取ToF的K个不同曝光时间对应的K个干涉图案，屏下ToF采集第一图像后，根据ToF采集第一图像的曝光时间与K个不同曝光时间进行比较，找到K个不同曝光时间中与ToF采集第一图像的曝光时间最接近的曝光时间，将该最接近的曝光时间对应的干涉图案进行线性放大或缩小，即可获取第一图像中的干涉图案。这样，就可以将第一图像中的干涉图案消除掉。
在另一种示例中，图10为本申请实施例提供的消除图像中干涉图案的方法的流程示意图。在该方法中，通过监测屏下ToF周围的环境光强度获取不同波长对应的不同干涉图案。
如图10所示，该方法可以包括：
S1001、获取屏下ToF的K个不同环境光强度对应的K个不同的干涉图案。
屏下ToF周围的环境光强度越弱，采集图像时的曝光时间越长，则屏下ToF发射激光的波长越长；屏下ToF发射激光的波长与屏下ToF采集图像时周围的环境光强度呈线性关系，一一对应。获取屏下ToF的K个不同环境光强度对应的K个不同的干涉图案，即获取屏下ToF发射激光的K个不同波长对应的K个不同的干涉图案。
在一种实现方式中，ToF组件内或ToF组件旁设置有环境光传感器。通过环境光传感器可以获取ToF组件周围的环境光强度。屏下ToF采集K个不同环境光强度对应的K个干涉图案，K>1。
S1002、屏下ToF采集第一图像。
屏下ToF采集被测物体的第一图像。比如，被测物体为人脸，则第一图像为人脸三维图像。由于ToF位于屏幕下方，第一图像包括干涉图案。示例性的，第一图像如图2A所示，人脸三维图像上包括亮暗相间的同心圆环干涉图案。
屏下ToF采集第一图像时，环境光强度记为第一环境光强度。第一环境光强度对应第一曝光时间，对应激光发射器的第一温度，对应发射激光的第一波长。根据公式1原理，第一波长对应第二干涉图案；也就是说，第一图像中包括第二干涉图案。
S1003、测量屏下ToF采集第一图像时的第一环境光强度。
在一种实现方式中，通过环境光传感器实时监测ToF组件周围的环境光强度，获取屏下ToF采集第一图像时的第一环境光强度。
需要说明的是，本申请实施例并不限定执行上述S1002和S1003的先后顺序；可以先采集第一图像再获取第一图像对应的第一环境光强度，也可以先获取第一环境光强度再获取第一环境光强度对应的第一图像，还可以同时执行S1002和S1003；S1002和S1003执行的先后顺序并不影响本申请实施例的实现效果。
S1004、获取K个环境光强度中与第一环境光强度最接近的第二环境光强度，并从K个干涉图案中确定第二环境光强度对应的第一干涉图案。
比较第一环境光强度与K个环境光强度中每一个的差值的绝对值，获取K个环境光强度中与第一环境光强度最接近的第二环境光强度。在一种示例中，第二环境光强度与第一环境光强度的差值小于或等于第一值。示例性的，K个环境光强度分别为0lux、200lux、400lux、600lux、800lux、1000lux和1500lux；比如，第一环境光强度为570lux，0lux与570lux的差值为570lux，200lux与570lux的差值为370lux，400lux与570lux的差值为170lux，600lux与570lux的差值为30lux，800lux与570lux的差值为230lux，1000lux与570lux的差值为430lux，1500lux与570lux的差值为930lux；其中，600lux与570lux的差值最小，该差值(30lux)小于第一值，比如第一值为100lux；则与第一环境光强度最接近的第二环境光强度为600lux。比如，第一环境光强度为404lux，400lux与404lux的差值最小，该差值(4lux)小于第一值，比如第一值为100lux；则与第一环境光强度最接近的第二环境光强度为400lux。在一种实现方式中，如果第一环境光强度与K个环境光强度中两个相邻环境光强度值的差值的绝对值相等，则将两个环境光强度值中大于第一环境光强度的一个确定为第二环境光强度。比如，第一环境光强度为500lux，400lux和600lux与500lux的差值都是100lux，该差值(100lux)等于第一值，比如第一值为100lux；则与第一环境光强度最接近的第二环境光强度为600lux。
在K个干涉图案中，确定第二环境光强度对应的第一干涉图案。
S1005、根据第一干涉图案确定第一环境光强度对应的第二干涉图案。
第一环境光强度对应第一波长，第二环境光强度对应第二波长。如果第一环境光强度小于第二环境光强度，则第一波长大于第二波长；根据公式2，如果第一波长大于第二波长，则将第一干涉图案放大后获取第二干涉图案。如果第一环境光强度大于第二环境光强度，则第一波长小于第二波长；根据公式2，如果第一波长小于第二波长，则将第一干涉图案线性缩小后获取第二干涉图案。可选的，如果第一环境光强度等于第二环境光强度，则第一波长等于第二波长；如果第一波长与第二波长相等，则该第一干涉图案即为第二干涉图案。可选的，在一些实施例中，如果第一环境光强度与第二环境光强度差值的绝对值小于预设阈值(比如10lux)，则直接将该第一干涉图案确定为第二干涉图案。
在一种实现方式中，放大或缩小干涉图案的值为根据公式2计算出的的值。
S1006、消除第一图像中的第二干涉图案，获取消除干涉图案后的第一图像。
根据第二干涉图案计算第一图像的增益，对第一图像进行增益补偿，获取消除干涉图案后的第一图像。在一种实现方式中，将第一图像除以第二干涉图案，即获取到消除干涉图案后的第一图像。
基于前述原理，屏下ToF的曝光时间随着环境光强度变化。环境光线暗(环境光强度弱)，ToF曝光时间长，激光发射器的温度上升，激光波长变长；环境光线亮(环境光强度强)，ToF曝光时间短，激光发射器的温度下降，激光波长变短。屏下ToF发射激光的波长变化，则干涉图案中每个圆环半径变化。本申请实施例提供的消除图像中干涉图案的方法，预先获取K个不同环境光强度对应的K个干涉图案，屏下ToF采集第一图像后，根据ToF采集第一图像时的环境光强度与K个不同环境光强度进行比较，找到K个不同环境光强度中与ToF采集第一图像的环境光强度最接近的环境光强度，将该最接近的环境光强度对应的干涉图案进行线性放大或缩小，即可获取第一图像中的干涉图案。这样，就可以将第一图像中的干涉图案消除掉。
采用本申请实施例提供的消除图像中干涉图案的方法，可以有效去除屏下ToF采集图像中的干涉图案。示例性的，被测物体为人脸，屏下ToF采集的图像如图2A所示，图像中包括亮暗相间的同心圆环干涉图案；采用本申请实施例提供的消除图像中干涉图案的方法消除干涉图案后的图像如图2C所示，有效去除了干涉图案。示例性的，被测物体为反光板，屏下ToF采集的图像如图11的(a)所示，图像中包括亮暗相间的同心圆环干涉图案；采用本申请实施例提供的消除图像中干涉图案的方法消除干涉图案后的图像如图11的(b)所示，有效去除了干涉图案。
需要说明的是，上述分别以通过激光波长确定干涉图案，通过ToF温度确定干涉图案，通过采集图像时的曝光时长确定干涉图案，以及通过屏下ToF周围的环境光强度确定干涉图案为例，对本申请实施例提供的消除图像中干涉图案的方法进行了介绍。需要说明的是，在另一些实施例中，也可以通过其他参数(比如，引起激光波长改变的参数，或表征激光波长变化的参数)确定干涉图案，本申请实施例对此并不进行限定。
本申请实施例还提供一种生成干涉图案的方法。
根据上述公式1可以生成指定波长的激光在屏幕层之间发生一次折射产生的干涉图案。其中，n的取值为发生折射的屏幕层的折射率，h的取值为发生折射的屏幕层的厚度，λ的取值为指定波长，f是ToF镜头的焦距；这样，根据公式1可以计算出各个干涉级次对应的圆环半径，即获取到一次折射产生的干涉图案。
如果激光在透过屏幕时发生多次折射，则屏下ToF采集图像中包括的干涉图案是多次折射产生的干涉图案的叠加。在一种示例中，屏下ToF采集图像中包括的干涉图案可以通过公式3获取。
干涉图案＝(干涉光1+干涉光2+…+干涉光N+非干涉光)*镜头相对照度公式3
其中，干涉光1为指定波长的激光在屏幕层之间发生第1次折射产生的干涉图案，干涉光2为指定波长的激光在屏幕层之间发生第2次折射产生的干涉图案，干涉光N为指定波长的激光在屏幕层之间发生第N次折射产生的干涉图案，非干涉光为激光透过屏幕的图案。镜头相对照度可以根据屏下ToF的镜头光学设计计算得到。
示例性的，图12为根据公式3获取干涉图案的一个实例示意图。该示例为激光在屏幕层之间发生两次折射产生的干涉图案。其中干涉光1的干涉层较厚，干涉光2的干涉层较薄，非干涉光为均匀分布的光，这三部分的光强度比例大约是4:1:10。可以理解的，各部分光强度比例可以根据屏幕的结构、材料等设置。
采用本申请实施例提供的生成干涉图案的方法，可以根据需要生成干涉图案。比如，生成前述实施例中K个不同的激光波长对应的K个干涉图案。比如，生成第一波长对应的第二干涉图案，这样就可以方便的根据第二干涉图案消除第一图像中的干涉图案。
在一些实施例中，可以将生成的干涉图案叠加在照片上，生成大量包括干涉图案的图像。将大量包括干涉图案的图像作为数据集，采用深度学习算法进行干涉图案消除训练。这样就可以利用深度学习算法进行图像处理，消除图像中的干涉图案。可以采用本申请实施例提供的生成干涉图案的方法快速生成大量包括干涉图案的图像，满足深度学习算法对于训练数据的需求。示例性的，图13的(a)所示为屏下ToF采集的包括干涉图案的图像，图13的(b)所示为采用本申请实施例提供的生成干涉图案的方法生成的包括干涉图案的图像。可以看出，图13的(a)与图13的(b)的效果基本一致。
可以理解的是，本申请实施例提供的电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
本申请实施例可以根据上述方法示例对上述电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在一种示例中，请参考图14，其示出了上述实施例中所涉及的电子设备的一种可能的结构示意图。该电子设备1400包括：处理单元1410和存储单元1420。
其中，处理单元1410，用于对电子设备1400的动作进行控制管理。例如，对第一干涉图案进行放大或缩小，获取第二干涉图案；例如，消除第一图像中的第二干涉图案，获取消除干涉图案后的第一图像等。
存储单元1420用于保存电子设备1400的程序代码和数据。
当然，上述电子设备1400中的单元模块包括但不限于上述处理单元1410和存储单元1420。
可选的，电子设备1400中还可以包括显示单元1430。显示单元1430用于显示电子设备1400的界面。例如，显示消除干涉图案后的第一图像。
可选的，电子设备1400中还可以包括图像采集单元1440。图像采集单元1440用于采集图像。例如，采集被测物体图像。例如，采集K个不同的干涉图案。
可选的，电子设备1400中还可以包括通信单元1450。通信单元1450用于支持电子设备1400与其他设备进行通信。例如，从其他设备获取被测物体图像；例如，从其他设备获取K个不同的干涉图案等。
可选的，电子设备1400中还可以包括检测单元1460。检测单元1460用于检测电子设备1400运行过程中的数据。例如，检测ToF组件的温度；例如，检测环境光强度等。
其中，处理单元1410可以是处理器或控制器，例如可以是中央处理器(centralprocessing unit，CPU)，数字信号处理器(digital signal processor，DSP)，专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(fieldprogrammable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。存储单元1420可以是存储器。显示单元1430可以是显示屏等。图像采集单元1440可以是摄像头等。通信单元1450可以包括移动通信单元和/或无线通信单元。检测单元1460可以是传感器。
例如，处理单元1410为处理器(如图3所示的处理器110)，存储单元1420可以为存储器(如图3所示的内部存储器121)，显示单元1430可以为显示屏(如图3所示的显示屏191)。图像采集单元1440可以为摄像头(如图3所示的ToF组件192)。通信单元1450可以包括移动通信单元(如图3所示的移动通信模块150)和无线通信单元(如图3所示的无线通信模块160)。检测单元1460可以为传感器(如图3所示的传感器模块180)。本申请实施例所提供的电子设备1400可以为图3所示的电子设备100。其中，上述处理器、存储器、显示屏、摄像头、移动通信单元、无线通信单元、传感器等可以连接在一起，例如通过总线连接。
本申请实施例还提供一种芯片系统，该芯片系统包括至少一个处理器和至少一个接口电路。处理器和接口电路可通过线路互联。例如，接口电路可用于从其它装置(例如电子设备的存储器)接收信号。又例如，接口电路可用于向其它装置(例如处理器)发送信号。示例性的，接口电路可读取存储器中存储的指令，并将该指令发送给处理器。当所述指令被处理器执行时，可使得电子设备执行上述实施例中的各个步骤。当然，该芯片系统还可以包含其他分立器件，本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当所述计算机指令在上述电子设备上运行时，使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。
通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种消除图像中干涉图案的方法，应用于电子设备，所述电子设备包括显示屏，所述显示屏下方设置飞行时间ToF传感器，所述ToF传感器包括发射单元和接收单元，其特征在于，所述方法包括：
获取K个干涉图案，所述K个干涉图案对应同一参数的K个不同值；所述干涉图案是所述发射单元发射的激光穿过所述显示屏产生的亮暗相间的同心圆环；
所述接收单元采集第一图像；
测量所述接收单元采集所述第一图像时的第一参数值；
从所述K个干涉图案中确定第一干涉图案，第一干涉图案对应第二参数值，所述第二参数值与所述第一参数值的差值小于或等于第一值；
从所述第一图像中消除第二干涉图案，所述第二干涉图案由所述第一干涉图案确定；
其中，所述第二干涉图案由所述第一干涉图案确定包括：
所述第二干涉图案为所述第一干涉图案；或者，
所述第二干涉图案是放大所述第一干涉图案中每个圆环的半径生成的；或者，
所述第二干涉图案是缩小所述第一干涉图案中每个圆环的半径生成的。
2.根据权利要求1所述的方法，其特征在于，所述参数值为所述接收单元采集图像时的温度，或所述发射单元发射激光的波长，或所述接收单元采集图像的曝光时间，或所述接收单元采集图像时的环境光强度。
3.根据权利要求2所述的方法，其特征在于，当所述参数为所述接收单元采集图像时的温度，或所述发射单元发射激光的波长，或所述接收单元采集图像的曝光时间时，所述第二干涉图案由所述第一干涉图案确定包括：
如果所述第一参数值大于所述第二参数值，所述第二干涉图案是放大所述第一干涉图案中每个圆环的半径生成的；
如果所述第一参数值小于所述第二参数值，所述第二干涉图案是缩小所述第一干涉图案中每个圆环的半径生成的。
4.根据权利要求2所述的方法，其特征在于，当所述参数为所述接收单元采集图像时的环境光强度时，所述第二干涉图案由所述第一干涉图案确定包括：
如果所述第一参数值小于所述第二参数值，所述第二干涉图案是放大所述第一干涉图案中每个圆环的半径生成的；
如果所述第一参数值大于所述第二参数值，所述第二干涉图案是缩小所述第一干涉图案中每个圆环的半径生成的。
5.根据权利要求1-4任意一项所述的方法，其特征在于，放大或缩小所述第一干涉图案中每个圆环的半径包括：
所述第一干涉图案中第mi干涉级次的圆环半径放大或缩小的值为：
其中，λ为所述发射单元发射激光的波长，f为所述ToF传感器的镜头的焦距，n是所述显示屏中发生折射的屏幕层的折射率，h是所述显示屏中发生折射的屏幕层的厚度，mi表示任意一个干涉级次。
6.根据权利要求1-4任意一项所述的方法，其特征在于，所述干涉图案是所述发射单元发射的激光穿过所述显示屏产生的包括：
所述干涉图案是所述发射单元发射的激光穿过所述显示屏后经物体反射至所述接收单元，和/或，所述发射单元发射的激光经物体反射后穿过所述显示屏传输至所述接收单元产生的。
7.根据权利要求1-4任意一项所述的方法，其特征在于，存在第三参数值与所述第一参数值的差值，和所述第二参数值与所述第一参数值的差值相等，所述第二参数值大于所述第三参数值。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
显示屏，所述显示屏下方设置飞行时间ToF传感器，所述ToF传感器包括发射单元和接收单元；
存储器；
其中，所述存储器中存储有一个或多个计算机程序，所述一个或多个计算机程序包括计算机指令，当所述计算机指令被所述电子设备执行时，使得所述电子设备执行如权利要求1-7任意一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-7任意一项所述的方法。
10.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-7任意一项所述的方法。
CN202111594531.4A 2021-12-23 2021-12-23 一种消除图像中干涉图案的方法及装置 Active CN116362977B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202111594531.4A CN116362977B (zh) 2021-12-23 2021-12-23 一种消除图像中干涉图案的方法及装置
US18/007,636 US20240233303A1 (en) 2021-12-23 2022-09-08 Method for Eliminating Interference Pattern in Image, and Apparatus
EP22809635.0A EP4227905A4 (en) 2021-12-23 2022-09-08 METHOD AND DEVICE FOR ELIMINATION OF INTERFERENCE PATTERNS FROM IMAGES
PCT/CN2022/117921 WO2023116063A1 (zh) 2021-12-23 2022-09-08 一种消除图像中干涉图案的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111594531.4A CN116362977B (zh) 2021-12-23 2021-12-23 一种消除图像中干涉图案的方法及装置

Publications (2)

Publication Number Publication Date
CN116362977A CN116362977A (zh) 2023-06-30
CN116362977B true CN116362977B (zh) 2023-12-22

Family

ID=85150700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111594531.4A Active CN116362977B (zh) 2021-12-23 2021-12-23 一种消除图像中干涉图案的方法及装置

Country Status (4)

Country Link
US (1) US20240233303A1 (zh)
EP (1) EP4227905A4 (zh)
CN (1) CN116362977B (zh)
WO (1) WO2023116063A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117750211B (zh) * 2023-12-27 2024-09-17 杭州蓝芯科技有限公司 一种应用于机器人深度相机的自适应曝光方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109863418A (zh) * 2016-09-16 2019-06-07 美国亚德诺半导体公司 飞行时间深度感测中的干扰处理
CN110770534A (zh) * 2017-04-11 2020-02-07 斯特拉斯堡大学 远场纳米级超分辨全场光学计量系统和方法
CN112532858A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种图像处理方法、图像采集方法及相关装置
CN112541875A (zh) * 2020-12-11 2021-03-23 深圳市慧鲤科技有限公司 深度图像处理方法及装置、电子设备和存储介质
CN112596069A (zh) * 2020-12-04 2021-04-02 Oppo（重庆）智能科技有限公司 距离测量方法及系统、计算机可读介质和电子设备
CN113382154A (zh) * 2020-02-25 2021-09-10 荣耀终端有限公司 基于深度的人体图像美化方法及电子设备
CN113396312A (zh) * 2018-10-12 2021-09-14 电力研究所有限公司 用于在光学失真介质中测量表面特性的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007011963A (ja) * 2005-07-04 2007-01-18 Fuji Xerox Co Ltd 端末装置による情報処理方法およびシステム
EP3265865B1 (en) * 2015-03-06 2024-07-10 Illinois Tool Works Inc. Sensor assisted head mounted displays for welding
JP2019074477A (ja) * 2017-10-18 2019-05-16 株式会社キーエンス 光走査高さ測定装置
US20210325514A1 (en) * 2018-09-06 2021-10-21 Sony Semiconducor Solutions Corporation Time of flight apparatus and method
CN109711255A (zh) * 2018-11-26 2019-05-03 Oppo广东移动通信有限公司 指纹采集方法及相关装置
CN109901184B (zh) * 2019-03-25 2021-12-24 Oppo广东移动通信有限公司 飞行时间组件、终端及飞行时间组件的控制方法
KR20200129570A (ko) * 2019-05-09 2020-11-18 삼성전자주식회사 센서를 포함하는 디스플레이 모듈 및 디스플레이 모듈을 포함하는 전자 장치
CN110275340A (zh) * 2019-06-10 2019-09-24 武汉华星光电技术有限公司 用于屏下辨识方案的液晶显示设备
US20210258498A1 (en) * 2020-02-18 2021-08-19 Synaptics Incorporated Through-display time-of-flight (tof) sensor
CN213879945U (zh) * 2020-11-03 2021-08-03 奥比中光科技集团股份有限公司 一种屏下成像系统及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109863418A (zh) * 2016-09-16 2019-06-07 美国亚德诺半导体公司 飞行时间深度感测中的干扰处理
CN110770534A (zh) * 2017-04-11 2020-02-07 斯特拉斯堡大学 远场纳米级超分辨全场光学计量系统和方法
CN113396312A (zh) * 2018-10-12 2021-09-14 电力研究所有限公司 用于在光学失真介质中测量表面特性的方法
CN112532858A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种图像处理方法、图像采集方法及相关装置
CN113382154A (zh) * 2020-02-25 2021-09-10 荣耀终端有限公司 基于深度的人体图像美化方法及电子设备
CN112596069A (zh) * 2020-12-04 2021-04-02 Oppo（重庆）智能科技有限公司 距离测量方法及系统、计算机可读介质和电子设备
CN112541875A (zh) * 2020-12-11 2021-03-23 深圳市慧鲤科技有限公司 深度图像处理方法及装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An integrated strategy for the identification and screening of anti-allergy components from natural products based on calcium fluctuations and cell extraction coupled with HPLC–Q–TOF–MS;Guizhou Hu等;《Analytical and Bioanalytical Chemistry》;全文 *
基于RS485数据帧计时的总线设备间距离测量;柏思忠;《工矿自动化》;全文 *

Also Published As

Publication number Publication date
WO2023116063A1 (zh) 2023-06-29
EP4227905A4 (en) 2023-12-06
EP4227905A1 (en) 2023-08-16
CN116362977A (zh) 2023-06-30
US20240233303A1 (en) 2024-07-11

Similar Documents

Publication Publication Date Title
CN114946169B (zh) 一种图像获取方法以及装置
US11798162B2 (en) Skin detection method and electronic device
CN111178546B (zh) 机器学习模型的搜索方法及相关装置、设备
CN110244840A (zh) 图像处理方法、相关设备及计算机存储介质
CN107018298B (zh) 成像设备、电子设备以及用于通过其获得图像的方法
CN114422340B (zh) 日志上报方法、电子设备及存储介质
CN113393856B (zh) 拾音方法、装置和电子设备
US20230314226A1 (en) Temperature Measurement Method, Apparatus, Device, and System
CN113542580B (zh) 去除眼镜光斑的方法、装置及电子设备
CN116069139A (zh) 温度预测方法、装置、电子设备及介质
CN116362977B (zh) 一种消除图像中干涉图案的方法及装置
CN112188094B (zh) 图像处理方法及装置、计算机可读介质及终端设备
CN116055847B (zh) 图像增强处理方法和电子设备
CN115412678B (zh) 曝光处理方法、装置及电子设备
CN115641867B (zh) 语音处理方法和终端设备
CN117893856A (zh) 信号处理方法、装置、设备、存储介质及计算机程序
CN113573045B (zh) 杂光检测方法及杂光检测装置
CN115705663B (zh) 图像处理方法与电子设备
CN113538226B (zh) 图像纹理增强方法、装置、设备及计算机可读存储介质
CN115480250A (zh) 语音识别方法、装置、电子设备及存储介质
CN115619628B (zh) 图像处理方法和终端设备
CN117419825B (zh) 温度传感器、传感器系统、测温方法和电子设备
CN116703741B (zh) 一种图像对比度的生成方法、装置和电子设备
CN113364067B (zh) 充电精度校准方法及电子设备
CN115720291A (zh) 图像采集方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant