CN110032979A - Tof传感器的工作频率的控制方法、装置、设备及介质 - Google Patents

Tof传感器的工作频率的控制方法、装置、设备及介质 Download PDF

Info

Publication number
CN110032979A
CN110032979A CN201910313354.4A CN201910313354A CN110032979A CN 110032979 A CN110032979 A CN 110032979A CN 201910313354 A CN201910313354 A CN 201910313354A CN 110032979 A CN110032979 A CN 110032979A
Authority
CN
China
Prior art keywords
human face
face region
tof sensor
working frequency
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910313354.4A
Other languages
English (en)
Inventor
廖声洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Maigewei Technology Co Ltd filed Critical Beijing Maigewei Technology Co Ltd
Priority to CN201910313354.4A priority Critical patent/CN110032979A/zh
Publication of CN110032979A publication Critical patent/CN110032979A/zh
Priority to US17/424,427 priority patent/US20220107398A1/en
Priority to PCT/CN2019/101624 priority patent/WO2020211231A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/322—Aspects of commerce using mobile devices [M-devices]
    • G06Q20/3223—Realising banking transactions through M-devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Electromagnetism (AREA)
  • Finance (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种TOF传感器的工作频率的控制方法、装置、设备及计算机可读存储介质，该方法包括：将目标图像帧输入预设的人脸检测模型进行人脸检测，确定目标图像帧中的人脸区域；根据人脸区域和TOF传感器已获取的目标图像的深度信息，确定人脸区域的深度信息；根据人脸区域和人脸区域的深度信息，确定平均深度值；根据平均深度值和预设的TOF传感器的工作频率，对TOF传感器的工作频率进行调节控制。该方法实现了对TOF传感器的工作频率进行动态调节控制，显著地提升了用户体验。

Description

TOF传感器的工作频率的控制方法、装置、设备及介质
技术领域
本申请涉及计算机技术领域，具体而言，本申请涉及一种TOF传感器的工作频率的控制方法、装置、设备及计算机可读存储介质。
背景技术
随着科学技术的发展和技术产业化应用水平的提升，手机的性能越来越好、硬件配置已经越来越完备。但同时，随着手机市场竞争越来越激烈，拼硬件配置已经不能吸引到更多的电子消费者，所以，大部分的手机厂商都在追求手机产品的差异化功能规划、设计、营销等。如正逐步流行的手机技术应用有人脸解锁、人脸重塑、3D美颜、3D打光等。
对于支付场景的TOF(Time of flight，飞行时间)传感器的频率控制这个应用场景来说，现有技术存在TOF传感器的工作频率(采集频率)不可调节、不能按照应用场景(例如支付场景)进行调节和用户体验较差等问题。
发明内容
本申请针对现有的方式的缺点，提出一种TOF传感器的工作频率的控制方法、装置、设备及计算机可读存储介质，用以解决如何实现对TOF传感器的工作频率进行动态调节控制的问题。
第一方面，本申请提供了一种飞行时间TOF传感器的工作频率的控制方法，包括：
将目标图像帧输入预设的人脸检测模型进行人脸检测，确定目标图像帧中的人脸区域；
根据人脸区域和TOF传感器已获取的目标图像的深度信息，确定人脸区域的深度信息；
根据人脸区域和人脸区域的深度信息，确定平均深度值；
根据平均深度值和预设的TOF传感器的工作频率，对TOF传感器的工作频率进行调节控制。
可选地，将目标图像帧输入预设的人脸检测模型进行人脸检测之前，该方法还包括：
获取多张待处理图像帧，并通过TOF传感器采集确定各个待处理图像帧的深度信息。
可选地，将目标图像帧输入预设的人脸检测模型进行人脸检测，确定目标图像帧中的人脸区域，包括：
将任一待处理图像帧输入预设的人脸检测模型进行人脸检测，若检测到人脸，则将任一待处理图像作为目标图像帧，并确定目标图像帧中的人脸区域。
可选地，根据人脸区域和已获取的目标图像的深度信息，确定人脸区域的深度信息，包括：
根据人脸区域的第一方向的起始值、人脸区域的第二方向的起始值、人脸区域的宽度参数、人脸区域的高度参数和目标图像的深度信息，确定人脸区域的深度信息，人脸区域的第一方向包括人脸区域平面坐标系的横轴方向，人脸区域的第二方向包括人脸区域平面坐标系的纵轴方向。
可选地，根据人脸区域和人脸区域的深度信息，确定平均深度值，包括：
将人脸区域的深度信息求和，确定第一参数；
根据人脸区域的宽度参数与人脸区域的高度参数的乘积，确定第二参数；
将第一参数与第二参数相除，确定平均深度值。
可选地，根据平均深度值和预设的TOF传感器的工作频率，对TOF传感器的工作频率进行调节控制，包括：
根据平均深度值和预设的TOF传感器的工作频率的乘积，确定第三参数；
将人脸区域的宽度参数与人脸区域的高度参数求和，确定第四参数；
将第三参数与第四参数相除，确定更新后的TOF传感器的工作频率，更新后的TOF传感器的工作频率小于工作频率的上限阈值。
可选地，在根据人脸区域和已获取的目标图像的深度信息，确定人脸区域的深度信息之前，该方法还包括：
根据预设应用的身份标识，判断预设应用是否是支付类型的应用；
根据人脸区域和已获取的目标图像的深度信息，确定人脸区域的深度信息，包括：
若预设应用是支付类型的应用，根据人脸区域和已获取的目标图像的深度信息，确定人脸区域的深度信息。
第二方面，本申请提供了一种TOF传感器的工作频率的控制装置，包括：
第一处理模块，用于将目标图像帧输入预设的人脸检测模型进行人脸检测，确定目标图像帧中的人脸区域；
第二处理模块，用于根据人脸区域和TOF传感器已获取的目标图像的深度信息，确定人脸区域的深度信息；
第三处理模块，用于根据人脸区域和人脸区域的深度信息，确定平均深度值；
第四处理模块，用于根据平均深度值和预设的TOF传感器的工作频率，对TOF传感器的工作频率进行调节控制。
第三方面，本申请提供了一种电子设备，包括：处理器、存储器和总线；
总线，用于连接处理器和存储器；
存储器，用于存储操作指令；
处理器，用于通过调用操作指令，执行本申请第一方面的TOF传感器的工作频率的控制方法。
第四方面，本申请提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被用于执行本申请第一方面的TOF传感器的工作频率的控制方法。
本申请实施例提供的技术方案，至少具有如下有益效果：
将目标图像帧输入预设的人脸检测模型进行人脸检测，确定目标图像帧中的人脸区域；根据人脸区域和TOF传感器已获取的目标图像的深度信息，确定人脸区域的深度信息；根据人脸区域和人脸区域的深度信息，确定平均深度值；根据平均深度值和预设的TOF传感器的工作频率，对TOF传感器的工作频率进行调节控制；如此，实现了对TOF传感器的工作频率进行动态调节控制，TOF传感器与人脸区域之间距离越远，实时将TOF传感器的工作频率提高，从而提高支付的安全性；TOF传感器与人脸区域之间距离越近，实时将TOF传感器的工作频率降低，从而节省电量，降低功耗；显著地提升了用户体验。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种TOF传感器的工作频率的控制方法的流程示意图；
图2为本申请实施例提供的另一种TOF传感器的工作频率的控制方法的流程示意图；
图3为本申请实施例提供的TOF传感器深度图像示意图；
图4为本申请实施例提供的非支付类应用对应的TOF传感器频率曲线示意图；
图5为本申请实施例提供的支付类应用对应的TOF传感器频率曲线示意图；
图6为本申请实施例提供的一种TOF传感器的工作频率的控制装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
实施例一
本申请实施例中提供了一种TOF传感器的工作频率的控制方法，该方法的流程示意图如图1所示，该方法包括：
S101，将目标图像帧输入预设的人脸检测模型进行人脸检测，确定目标图像帧中的人脸区域。
S102，根据人脸区域和TOF传感器已获取的目标图像的深度信息，确定人脸区域的深度信息。
S103，根据人脸区域和人脸区域的深度信息，确定平均深度值。
S104，根据平均深度值和预设的TOF传感器的工作频率，对TOF传感器的工作频率进行调节控制。
本申请实施例中，将目标图像帧输入预设的人脸检测模型进行人脸检测，确定目标图像帧中的人脸区域；根据人脸区域和TOF传感器已获取的目标图像的深度信息，确定人脸区域的深度信息；根据人脸区域和人脸区域的深度信息，确定平均深度值；根据平均深度值和预设的TOF传感器的工作频率，对TOF传感器的工作频率进行调节控制；如此，实现了对TOF传感器的工作频率进行动态调节控制，TOF传感器与人脸区域之间距离越远，实时将TOF传感器的工作频率提高，从而提高支付的安全性；TOF传感器与人脸区域之间距离越近，实时将TOF传感器的工作频率降低，从而节省电量，降低功耗；显著地提升了用户体验。
可选地，将目标图像帧输入预设的人脸检测模型进行人脸检测之前，该方法还包括：
获取多张待处理图像帧，并通过TOF传感器采集确定各个待处理图像帧的深度信息。
可选地，将目标图像帧输入预设的人脸检测模型进行人脸检测，确定目标图像帧中的人脸区域，包括：
将任一待处理图像帧输入预设的人脸检测模型进行人脸检测，若检测到人脸，则将任一待处理图像作为目标图像帧，并确定目标图像帧中的人脸区域。
可选地，根据人脸区域和TOF传感器已获取的目标图像的深度信息，确定人脸区域的深度信息，包括：
根据人脸区域的第一方向的起始值、人脸区域的第二方向的起始值、人脸区域的宽度参数、人脸区域的高度参数和目标图像的深度信息，确定人脸区域的深度信息，人脸区域的第一方向包括人脸区域平面坐标系的横轴方向，人脸区域的第二方向包括人脸区域平面坐标系的纵轴方向。
可选地，依据人脸区域Rect(x0,y0,width0,height0)和目标图像的深度信息，人脸区域的第一方向的起始值为x0，人脸区域的第二方向的起始值为y0，人脸区域的宽度参数为width0，人脸区域的高度参数为height0，目标图像的深度信息为Depth(x,y)，从当前图像帧的深度信息Depth(x,y)中取出对应人脸区域的深度信息Depth(xi,yi)，xi范围：(x0，x0+width0)，yi范围：(y0，y0+height0)。
可选地，根据人脸区域和人脸区域的深度信息，确定平均深度值，包括：
将人脸区域的深度信息求和，确定第一参数；
根据人脸区域的宽度参数与人脸区域的高度参数的乘积，确定第二参数；
将第一参数与第二参数相除，确定平均深度值。
可选地，计算人脸区域的深度信息Depth(xi,yi)的平均深度值avg0，人脸区域的宽度参数为width0，人脸区域的高度参数为height0。
可选地，for(long x＝x0；x<x0+width0；++x){
for(long y＝y0；y<y0+height0；++y){
sum＝sum+Depth(x,y)；
}
}
float avg0＝sum/(width0×height0)。
可选地，根据平均深度值和预设的TOF传感器的工作频率，对TOF传感器的工作频率进行调节控制，包括：
根据平均深度值和预设的TOF传感器的工作频率的乘积，确定第三参数；
将人脸区域的宽度参数与人脸区域的高度参数求和，确定第四参数；
将第三参数与第四参数相除，确定更新后的TOF传感器的工作频率，更新后的TOF传感器的工作频率小于TOF传感器的工作频率的上限阈值。
可选地，更新后的TOF传感器的工作频率＝f0×avg0/(width0+height0)，预设的TOF传感器的工作频率为f0，人脸区域的宽度参数为width0，人脸区域的高度参数为height0，平均深度值为avg0。距离越远，采集频率提高，提高支付的安全性；距离越近，采集频率降低，节省电量，降低功耗。
可选地，在根据人脸区域和已获取的目标图像的深度信息，确定人脸区域的深度信息之前，该方法还包括：
根据预设应用的身份标识，判断预设应用是否是支付类型的应用；
根据人脸区域和已获取的目标图像的深度信息，确定人脸区域的深度信息，包括：
若预设应用是支付类型的应用，根据人脸区域和已获取的目标图像的深度信息，确定人脸区域的深度信息。
本申请实施例中提供了另一种TOF传感器的工作频率的控制方法，该方法的流程示意图如图2所示，该方法包括：
S201，开启支付场景的TOF传感器的工作频率控制。
S202，获取启动摄像头传感器camerasensor的应用ID。
可选地，应用ID为字符串，身份标识，用于区别各类应用，各类应用例如，相机、微信、支付宝、某某银行等。
S203，加载TOF传感器的工作频率调节的默认参数表。
可选地，默认参数表中各参数例如，TOF传感器的默认采集频率f0、工作频率的上限阈值等，TOF传感器的默认采集频率f0也就是TOF传感器的默认工作频率f0。
S204，图像采集设备开启预览视频流。
可选地，图像采集设备为手机摄像头。
S205，获取预览数据帧；开启TOF传感器，获取深度数据帧。
可选地，预览数据帧为原始图像f(x,y)，深度数据帧为深度图像Depth(x,y)，图3为TOF传感器深度图像。
S206，将预览数据帧输入人脸检测模型中，人脸检测模型对图像进行人脸检测，判断图像中是否存在人脸，若存在人脸，则转到S207处理，若不存在人脸，则转到S213处理。
可选地，人脸关键点检测：a)：采集相当数量(例如：10万张)的人脸图像(底库)；b)：对步骤a)的图像进行人脸关键点精准标注(包括不限于：脸的轮廓点、眼睛轮廓点、鼻子轮廓点、眉毛轮廓点、额头轮廓点、上嘴唇轮廓点、下嘴唇轮廓点等)；c)：对步骤b)的精准标注数据按一定比例划分为训练集、验证集、测试集；d)：对步骤c)的训练集进行模型训练(神经网络训练)，同时用验证集对训练过程中的中间结果进行验证(实时调整训练参数)，当训练精度和验证精度都达到一定阈值时，停止训练过程，得到训练模型；e)：用测试集对步骤d)的模型进行测试，衡量该模型的性能和能力。
S207，获取当前人脸的矩形区域。
可选地，当前人脸的矩形区域为Rect(x0,y0,width0,height0)，人脸区域平面坐标系的横轴方向的起始值为x0，人脸区域平面坐标系的纵轴方向的起始值为y0，人脸区域的宽度参数为width0，人脸区域的高度参数为height0。
S208，判断S202中的应用ID是否是支付类应用，若是支付类应用，则转到S209处理，若不是支付类应用，则转到S213处理。
S209，依据人脸的矩形区域，从当前图像帧的深度信息中取出对应人脸区域的局部深度信息。
可选地，依据人脸的矩形区域Rect(x0,y0,width0,height0)，从当前图像帧的深度信息Depth(x,y)中取出对应人脸区域的局部深度信息Depth(xi,yi)，xi范围：(x0，x0+width0)，yi范围：(y0，y0+height0)。
S210，确定局部深度信息Depth(xi,yi)的平均深度值avg0。
可选地，for(long x＝x0；x<x0+width0；++x){
for(long y＝y0；y<y0+height0；++y){
sum＝sum+Depth(x,y)；
}
}
float avg0＝sum/(width0×height0)。
S211，依据人脸区域的平均深度值avg0和TOF传感器的默认工作频率f0，实时调节TOF传感器的工作频率。
可选地,实时调节更新后的TOF传感器的工作频率＝f0×avg0/(width0+height0)。
距离越远，工作频率提高，提高支付的安全性；距离越近，工作频率降低，节省电量，降低功耗。
S212，将实时调节后的TOF传感器的工作频率更新到系统。
S213，判断应用是否结束，若是应用是结束，则转到S214处理，若应用不是结束，则转到S204处理。
S214，退出支付场景的TOF传感器的工作频率控制。
可选地，如图4所示，横坐标为平均深度avg0，纵坐标为TOF传感器的工作频率；当为非支付类应用时，例如，相机、直播类app等，TOF传感器的工作频率不会随着平均深度avg0进行调节。
可选地，如图5示，横坐标为平均深度avg0，纵坐标为TOF传感器的工作频率；当为支付类应用时，例如，微信、支付宝等，A点为启动支付类应用的时刻点，TOF传感器的工作频率随着平均深度avg0进行调节，avg0越大，TOF传感器的工作频率越高，保证支付过程的安全性。当横坐标的平均深度值avg0上升一定时候，工作频率(采集频率)达到工作频率的上限阈值时，工作频率不会再变化。用户可以手动调节这些参数。
应用本申请实施例，至少具有如下有益效果：
实现了对TOF传感器的工作频率进行动态调节控制，TOF传感器与人脸区域之间距离越远，实时将TOF传感器的工作频率提高，从而提高支付的安全性；TOF传感器与人脸区域之间距离越近，实时将TOF传感器的工作频率降低，从而节省电量，降低功耗；显著地提升了用户体验。
实施例二
基于相同的发明构思，本申请实施例还提供了一种TOF传感器的工作频率的控制装置，该装置的结构示意图如图6所示，TOF传感器的工作频率的控制装置60，包括第一处理模块601、第二处理模块602、第三处理模块603和第四处理模块604。
第一处理模块601，用于将目标图像帧输入预设的人脸检测模型进行人脸检测，确定目标图像帧中的人脸区域；
第二处理模块602，用于根据人脸区域和TOF传感器已获取的目标图像的深度信息，确定人脸区域的深度信息；
第三处理模块603，用于根据人脸区域和人脸区域的深度信息，确定平均深度值；
第四处理模块604，用于根据平均深度值和预设的TOF传感器的工作频率，对TOF传感器的工作频率进行调节控制。
可选地，第一处理模块601，还用于获取多张待处理图像帧，并通过TOF传感器采集确定各个待处理图像帧的深度信息。
可选地，第一处理模块601，具体用于将任一待处理图像帧输入预设的人脸检测模型进行人脸检测，若检测到人脸，则将任一待处理图像作为目标图像帧，并确定目标图像帧中的人脸区域。
可选地，第二处理模块602，具体用于根据人脸区域的第一方向的起始值、人脸区域的第二方向的起始值、人脸区域的宽度参数、人脸区域的高度参数和目标图像的深度信息，确定人脸区域的深度信息，人脸区域的第一方向包括人脸区域平面坐标系的横轴方向，人脸区域的第二方向包括人脸区域平面坐标系的纵轴方向。
可选地，第三处理模块603，具体用于将人脸区域的深度信息求和，确定第一参数；根据人脸区域的宽度参数与人脸区域的高度参数的乘积，确定第二参数；将第一参数与第二参数相除，确定平均深度值。
可选地，第四处理模块604，具体用于根据平均深度值和预设的TOF传感器的工作频率的乘积，确定第三参数；将人脸区域的宽度参数与人脸区域的高度参数求和，确定第四参数；将第三参数与第四参数相除，确定更新后的TOF传感器的工作频率，更新后的TOF传感器的工作频率小于TOF传感器的工作频率的上限阈值。
可选地，第二处理模块602，具体用于根据预设应用的身份标识，判断预设应用是否是支付类型的应用；若预设应用是支付类型的应用，根据人脸区域和已获取的目标图像的深度信息，确定人脸区域的深度信息。
应用本申请实施例，至少具有如下有益效果：
实现了对TOF传感器的工作频率进行动态调节控制，TOF传感器与人脸区域之间距离越远，实时将TOF传感器的工作频率提高，从而提高支付的安全性；TOF传感器与人脸区域之间距离越近，实时将TOF传感器的工作频率降低，从而节省电量，降低功耗；显著地提升了用户体验。
本申请实施例提供的TOF传感器的工作频率的控制装置中未详述的内容，可参照上述实施例一提供的TOF传感器的工作频率的控制方法，本申请实施例提供的TOF传感器的工作频率的控制装置能够达到的有益效果与上述实施例一提供的TOF传感器的工作频率的控制方法相同，在此不再赘述。
实施例三
基于相同的发明构思，本申请实施例还提供了一种电子设备，该电子设备的结构示意图如图7所示，该电子设备7000包括至少一个处理器7001、存储器7002和总线7003，至少一个处理器7001均与存储7002电连接；存储器7002被配置用于存储有至少一个计算机可执行指令，处理器7001被配置用于执行该至少一个计算机可执行指令，从而执行如本申请实施例一中任意一个实施例或任意一种可选实施方式提供的任意一种TOF传感器的工作频率的控制方法的步骤。
进一步，处理器7001可以是FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其它具有逻辑处理能力的器件，如MCU(Microcontroller Unit，微控制单元)、CPU(Central Process Unit，中央处理器)。
应用本申请实施例，至少具有如下有益效果：
实现了对TOF传感器的工作频率进行动态调节控制，TOF传感器与人脸区域之间距离越远，实时将TOF传感器的工作频率提高，从而提高支付的安全性；TOF传感器与人脸区域之间距离越近，实时将TOF传感器的工作频率降低，从而节省电量，降低功耗；显著地提升了用户体验。
实施例四
基于相同的发明构思，本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序用于被处理器执行时实现本申请实施例一中任意一个实施例或任意一种TOF传感器的工作频率的控制方法的步骤。
本申请实施例提供的计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(RandomAccess Memory，随即存储器)、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
应用本申请实施例，至少具有如下有益效果：
将目标图像帧输入预设的人脸检测模型进行人脸检测，确定目标图像帧中的人脸区域；根据人脸区域和TOF传感器已获取的目标图像的深度信息，确定人脸区域的深度信息；根据人脸区域和人脸区域的深度信息，确定平均深度值；根据平均深度值和预设的TOF传感器的工作频率，对TOF传感器的工作频率进行调节控制；如此，实现了对TOF传感器的工作频率进行动态调节控制，TOF传感器与人脸区域之间距离越远，实时将TOF传感器的工作频率提高，从而提高支付的安全性；TOF传感器与人脸区域之间距离越近，实时将TOF传感器的工作频率降低，从而节省电量，降低功耗；显著地提升了用户体验。
本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本申请公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种飞行时间TOF传感器的工作频率的控制方法，其特征在于，包括：
将目标图像帧输入预设的人脸检测模型进行人脸检测，确定所述目标图像帧中的人脸区域；
根据所述人脸区域和TOF传感器已获取的所述目标图像的深度信息，确定所述人脸区域的深度信息；
根据所述人脸区域和所述人脸区域的深度信息，确定平均深度值；
根据所述平均深度值和预设的TOF传感器的工作频率，对TOF传感器的工作频率进行调节控制。
2.根据权利要求1所述的方法，其特征在于，所述将目标图像帧输入预设的人脸检测模型进行人脸检测之前，该方法还包括：
获取多张待处理图像帧，并通过TOF传感器采集确定各个待处理图像帧的深度信息。
3.根据权利要求2所述的方法，其特征在于，所述将目标图像帧输入预设的人脸检测模型进行人脸检测，确定所述目标图像帧中的人脸区域，包括：
将任一待处理图像帧输入预设的人脸检测模型进行人脸检测，若检测到人脸，则将所述任一待处理图像作为目标图像帧，并确定所述目标图像帧中的人脸区域。
4.根据权利要求1所述的方法，其特征在于，所述根据所述人脸区域和TOF传感器已获取的所述目标图像的深度信息，确定所述人脸区域的深度信息，包括：
根据所述人脸区域的第一方向的起始值、所述人脸区域的第二方向的起始值、所述人脸区域的宽度参数、所述人脸区域的高度参数和所述目标图像的深度信息，确定所述人脸区域的深度信息，所述人脸区域的第一方向包括所述人脸区域平面坐标系的横轴方向，所述人脸区域的第二方向包括所述人脸区域平面坐标系的纵轴方向。
5.根据权利要求4所述的方法，其特征在于，所述根据所述人脸区域和所述人脸区域的深度信息，确定平均深度值，包括：
将所述人脸区域的深度信息求和，确定第一参数；
根据所述人脸区域的宽度参数与所述人脸区域的高度参数的乘积，确定第二参数；
将所述第一参数与所述第二参数相除，确定所述平均深度值。
6.根据权利要求5所述的方法，其特征在于，所述根据所述平均深度值和预设的TOF传感器的工作频率，对TOF传感器的工作频率进行调节控制，包括：
根据所述平均深度值和所述预设的TOF传感器的工作频率的乘积，确定第三参数；
将所述人脸区域的宽度参数与所述人脸区域的高度参数求和，确定第四参数；
将所述第三参数与所述第四参数相除，确定更新后的TOF传感器的工作频率，所述更新后的TOF传感器的工作频率小于TOF传感器的工作频率的上限阈值。
7.根据权利要求1所述的方法，其特征在于，在所述根据所述人脸区域和已获取的所述目标图像的深度信息，确定所述人脸区域的深度信息之前，该方法还包括：
根据预设应用的身份标识，判断所述预设应用是否是支付类型的应用；
所述根据所述人脸区域和已获取的所述目标图像的深度信息，确定所述人脸区域的深度信息，包括：
若所述预设应用是支付类型的应用，根据所述人脸区域和已获取的所述目标图像的深度信息，确定所述人脸区域的深度信息。
8.一种TOF传感器的工作频率的控制装置，其特征在于，包括：
第一处理模块，用于将目标图像帧输入预设的人脸检测模型进行人脸检测，确定所述目标图像帧中的人脸区域；
第二处理模块，用于根据所述人脸区域和TOF传感器已获取的所述目标图像的深度信息，确定所述人脸区域的深度信息；
第三处理模块，用于根据所述人脸区域和所述人脸区域的深度信息，确定平均深度值；
第四处理模块，用于根据所述平均深度值和预设的TOF传感器的工作频率，对TOF传感器的工作频率进行调节控制。
9.一种电子设备，其特征在于，包括：处理器、存储器；
所述存储器，用于存储计算机程序；
所述处理器，用于通过调用所述计算机程序，执行上述权利要求1-7中任一项所述的TOF传感器的工作频率的控制方法。
10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序用于被处理器执行时实现如权利要求1-7中任一项所述的TOF传感器的工作频率的控制方法。
CN201910313354.4A 2019-04-18 2019-04-18 Tof传感器的工作频率的控制方法、装置、设备及介质 Pending CN110032979A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910313354.4A CN110032979A (zh) 2019-04-18 2019-04-18 Tof传感器的工作频率的控制方法、装置、设备及介质
US17/424,427 US20220107398A1 (en) 2019-04-18 2019-08-20 Method for controlling working frequency of tof sensor, and apparatus, device, and medium
PCT/CN2019/101624 WO2020211231A1 (zh) 2019-04-18 2019-08-20 Tof传感器的工作频率的控制方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910313354.4A CN110032979A (zh) 2019-04-18 2019-04-18 Tof传感器的工作频率的控制方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN110032979A true CN110032979A (zh) 2019-07-19

Family

ID=67238965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910313354.4A Pending CN110032979A (zh) 2019-04-18 2019-04-18 Tof传感器的工作频率的控制方法、装置、设备及介质

Country Status (3)

Country Link
US (1) US20220107398A1 (zh)
CN (1) CN110032979A (zh)
WO (1) WO2020211231A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020211231A1 (zh) * 2019-04-18 2020-10-22 北京迈格威科技有限公司 Tof传感器的工作频率的控制方法、装置、设备及介质
CN113296106A (zh) * 2021-05-17 2021-08-24 江西欧迈斯微电子有限公司 一种tof测距方法、装置、电子设备以及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI830363B (zh) * 2022-05-19 2024-01-21 鈺立微電子股份有限公司 用於提供三維資訊的感測裝置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104380729A (zh) * 2012-07-31 2015-02-25 英特尔公司 摄像机参数的上下文驱动调整
US20160063965A1 (en) * 2014-08-26 2016-03-03 Samsung Display Co., Ltd. Method of driving display apparatus and display apparatus for performing the same
CN108270970A (zh) * 2018-01-24 2018-07-10 北京图森未来科技有限公司 一种图像采集控制方法及装置、图像采集系统
CN108965721A (zh) * 2018-08-22 2018-12-07 Oppo广东移动通信有限公司 摄像头模组的控制方法和装置、电子设备
CN109327626A (zh) * 2018-12-12 2019-02-12 Oppo广东移动通信有限公司 图像采集方法、装置、电子设备和计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140049767A1 (en) * 2012-08-15 2014-02-20 Microsoft Corporation Methods and systems for geometric phase unwrapping in time of flight systems
US9823340B2 (en) * 2012-12-04 2017-11-21 Texas Instruments Incorporated Method for time of flight modulation frequency detection and illumination modulation frequency adjustment
CN109031333B (zh) * 2018-08-22 2020-08-21 Oppo广东移动通信有限公司 距离测量方法和装置、存储介质、电子设备
CN110032979A (zh) * 2019-04-18 2019-07-19 北京迈格威科技有限公司 Tof传感器的工作频率的控制方法、装置、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104380729A (zh) * 2012-07-31 2015-02-25 英特尔公司 摄像机参数的上下文驱动调整
US20160063965A1 (en) * 2014-08-26 2016-03-03 Samsung Display Co., Ltd. Method of driving display apparatus and display apparatus for performing the same
CN108270970A (zh) * 2018-01-24 2018-07-10 北京图森未来科技有限公司 一种图像采集控制方法及装置、图像采集系统
CN108965721A (zh) * 2018-08-22 2018-12-07 Oppo广东移动通信有限公司 摄像头模组的控制方法和装置、电子设备
CN109327626A (zh) * 2018-12-12 2019-02-12 Oppo广东移动通信有限公司 图像采集方法、装置、电子设备和计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020211231A1 (zh) * 2019-04-18 2020-10-22 北京迈格威科技有限公司 Tof传感器的工作频率的控制方法、装置、设备及介质
CN113296106A (zh) * 2021-05-17 2021-08-24 江西欧迈斯微电子有限公司 一种tof测距方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
WO2020211231A1 (zh) 2020-10-22
US20220107398A1 (en) 2022-04-07

Similar Documents

Publication Publication Date Title
CN108038469B (zh) 用于检测人体的方法和装置
CN110032979A (zh) Tof传感器的工作频率的控制方法、装置、设备及介质
CN108229268A (zh) 表情识别及卷积神经网络模型训练方法、装置和电子设备
US20200134868A1 (en) Gaze point determination method and apparatus, electronic device, and computer storage medium
CN107578017A (zh) 用于生成图像的方法和装置
KR20200118076A (ko) 생체 검출 방법 및 장치, 전자 기기 및 저장 매체
CN106469302A (zh) 一种基于人工神经网络的人脸肤质检测方法
CN105518708A (zh) 用于验证活体人脸的方法、设备和计算机程序产品
CN107895146A (zh) 微表情识别方法、装置、系统及计算机可读存储介质
CN110135262A (zh) 敏感数据防偷窥处理方法、装置、设备及存储介质
US11380131B2 (en) Method and device for face recognition, storage medium, and electronic device
CN108280455A (zh) 人体关键点检测方法和装置、电子设备、程序和介质
CN106778453A (zh) 人脸图像中检测眼镜佩戴的方法及装置
CN108491823A (zh) 用于生成人眼识别模型的方法和装置
CN110458084A (zh) 一种基于倒置残差网络的人脸年龄估计方法
CN110310247A (zh) 图像处理方法、装置、终端及计算机可读存储介质
CN108875474A (zh) 评估人脸识别算法的方法、装置及计算机存储介质
CN110245645A (zh) 人脸活体识别方法、装置、设备及存储介质
CN107578245A (zh) 唤醒支付界面的方法和装置、计算机装置及存储介质
CN109919636A (zh) 一种信用等级确定方法、系统及相关组件
CN109410138A (zh) 修饰双下巴的方法、装置和系统
CN109815821A (zh) 一种人像牙齿修饰方法、装置、系统及存储介质
CN112925412A (zh) 智能镜子的控制方法、设备和存储介质
CN110232588A (zh) 一种实体店管理方法以及实体店管理系统
CN107066982A (zh) 人脸特征点的识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190719

RJ01 Rejection of invention patent application after publication