CN113283318A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113283318A
CN113283318A CN202110524299.0A CN202110524299A CN113283318A CN 113283318 A CN113283318 A CN 113283318A CN 202110524299 A CN202110524299 A CN 202110524299A CN 113283318 A CN113283318 A CN 113283318A
Authority
CN
China
Prior art keywords
image
frame image
human eye
current frame
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110524299.0A
Other languages
English (en)
Inventor
邹子杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110524299.0A priority Critical patent/CN113283318A/zh
Publication of CN113283318A publication Critical patent/CN113283318A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法，包括：获取图像传感器采集的当前帧图像和参考帧图像，检测当前帧图像和参考帧图像中人脸图像并获取表征人眼特征的多个特征点，根据特征点得到参考帧图像和当前帧图像的人眼纵横比变化率，根据人眼纵横比变化率的大小判断当前帧图像的人眼状态，人眼状态包括眨眼状态和睁眼状态。本申请中，通过计算当前帧图像和参考帧图像的人眼纵横比变换率能够准确判断当前帧图像的眨眼状态。本申请还公开了一种图像处理装置、电子设备以及存储介质。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本申请涉及图像识别领域，特别涉及一种图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质。
背景技术
对于拍照过程中，尤其是进行群拍时，由于被拍摄者容易瞬时眨眼，导致拍摄质量难以保证。相关技术中，可通过算法来获取眨眼状态的眼部区域，再对该眼部区域进行修复以得到最终图像，然而，现有方案难以准确地判断出被拍摄者处于眨眼状态，容易造成误差。
发明内容
有鉴于此，本申请提供一种图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质。
本申请的图像处理方法包括：
获取图像传感器采集的当前帧图像和参考帧图像；
检测所述当前帧图像和所述参考帧图像中人脸图像并获取表征人眼特征的多个特征点；
根据所述特征点得到所述参考帧图像和所述当前帧图像的人眼纵横比变化率；和
根据所述人眼纵横比变化率的大小判断当前帧图像的人眼状态，所述人眼状态包括眨眼状态和睁眼状态
本申请的图像处理装置包括：
获取模块，用于获取图像传感器采集的当前帧图像和参考帧图像；
检测模块，用于检测所述当前帧图像和所述参考帧图像中人脸图像并获取表征人眼特征的多个特征点；
计算模块，用于根据所述特征点得到所述参考帧图像和所述当前帧图像的人眼纵横比变化率；和
判断模块，用于根据所述人眼纵横比变化率的大小判断当前帧图像的人眼状态，所述人眼状态包括眨眼状态和睁眼状态。
本申请的电子设备，包括处理器和存储器，所述存储器中存储有至少一个程序，并且所述程序被所述处理器执行，所述程序包括用于执行上述的图像处理方法的指令。所述图像处理方法包括：获取图像传感器采集的当前帧图像和参考帧图像；检测所述当前帧图像和所述参考帧图像中人脸图像并获取表征人眼特征的多个特征点；根据所述特征点得到所述参考帧图像和所述当前帧图像的人眼纵横比变化率；根据所述人眼纵横比变化率的大小判断当前帧图像的人眼状态，所述人眼状态包括眨眼状态和睁眼状态。
本申请的计算机可读存储介质，包括计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行上述的所述的图像处理方法。所述图像处理方法包括：获取图像传感器采集的当前帧图像和参考帧图像；检测所述当前帧图像和所述参考帧图像中人脸图像并获取表征人眼特征的多个特征点；根据所述特征点得到所述参考帧图像和所述当前帧图像的人眼纵横比变化率；根据所述人眼纵横比变化率的大小判断当前帧图像的人眼状态，所述人眼状态包括眨眼状态和睁眼状态。
本申请实施方式的图像处理方法、处理装置、电子设备及非易失性可读存储介质中，通过对多帧图像中的人脸图像进行检测，并从人脸图像中提取出表征人眼特征的多个特征点，进而可以通过多个特征点计算出表征参考帧图像和当前帧图像中人眼变化趋势的纵横比变化率，由于纵横比变化率表征人眼特征变化趋势，从而可以根据纵横比变化率的大小准确判断出当前帧图像的人眼状态是否处于眨眼状态。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的图像处理方法的流程示意图；
图2是本申请某些实施方式的图像处理装置的模块示意图；
图3是本申请某些实施方式的电子设备的模块示意图；
图4是本申请某些实施方式的图像处理方法的场景示意图；
图5是本申请某些实施方式的获取特征点的场景示意图；
图6-8是本申请某些实施方式图像处理方法的流程示意图；
图9是本申请某些实施方式的卷积神经网络模型的场景示意图；
图10-11是本申请某些实施方式的图像处理方法的流程示意图；
图12是本申请某些实施方式的光环境特征矢量的训练场景示意图；
图13是本申请某些实施方式的图像处理方法的流程示意图；
图14是本申请某些实施方式的人眼修复模型的训练场景示意图；
图15是本申请某些实施方式的电子设备的又一模块示意图；
图16是本申请某些实施方式的存储介质与处理器连接的模块示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
图像闭眼修复技术在影像拍照应用中有着广泛的应用，特别是在群拍应用中，由于被拍摄者往往在两人及以上，拍摄者容易瞬时眨眼，导致拍摄质量难以保证，通过图像闭眼修复技术能够将拍摄的图像中人眼区域进行修复，从而保证图像的质量，因此，一个好的图像闭眼修复技术往往能够起到很大的拍照效果及提升用户体验的作用。
相关技术中，图像闭眼修复技术通过算法来捕捉当前图像的人眼区域，再通过人眼特征点来判定人眼是否处于眨眼状态，并在人眼处于眨眼状态时，通过深度网络直接修复眼部区域，或者，通过截取其他图像中处于睁眼状态的人眼区域来对眨眼区域进行替换，从而保证拍摄照片的质量。然而，由于每个被拍摄者的生理特征存在差异，难以凭人眼大小来界定人眼是否处于眨眼状态，并且，眨眼过程发生太快，很难保证准确获取到闭眼的那一瞬间，容易造成误差，进而导致修复的图像质量不佳。
有鉴于此，请参阅图1，本申请提供一种图像处理方法，包括步骤：
011，获取图像传感器采集的当前帧图像和参考帧图像；
012，检测当前帧图像和参考帧图像中人脸图像并获取表征人眼特征的多个特征点；
013，根据特征点得到参考帧图像和当前帧图像的人眼纵横比变化率；
014，根据人眼纵横比变化率的大小判断当前帧图像的人眼状态，人眼状态包括眨眼状态和睁眼状态。
请参阅图2，本申请实施方式提供了一种图像处理装置10。图像处理装置10包括获取模块11、检测模块12、计算模块13和判断模块14。
011可以由获取模块11实现，012可以由检测模块12实现，013可以由计算模块13实现，014可以由判断模块14实现。
或者说，获取模块11可用于获取图像传感器采集的当前帧图像和参考帧图像。
检测模块12可用于检测当前帧图像和参考帧图像中人脸图像并获取表征人眼特征的多个特征点。
计算模块13可用于根据特征点得到参考帧图像和当前帧图像的人眼纵横比变化率。
判断模块14可用于根据人眼纵横比变化率的大小判断当前帧图像的人眼状态，人眼状态包括眨眼状态和睁眼状态。
请结合图3，本申请还提供了一种电子设备100，包括处理器20和图像传感器30。处理器20可用于实现上述图像处理方法，也即是，处理器20可用于获取图像传感器采集的当前帧图像和参考帧图像，处理器20可用于检测当前帧图像和参考帧图像中人脸图像并获取表征人眼特征的多个特征点，处理器20还可用于根据特征点得到参考帧图像和当前帧图像的人眼纵横比变化率，以及根据人眼纵横比变化率的大小判断当前帧图像的人眼状态，人眼状态包括眨眼状态和睁眼状态。
本申请的图像处理方法、图像处理装置10和电子设备100中，通过对多帧图像中的人脸图像进行检测，并从人脸图像中提取出表征人眼特征的多个特征点，进而可以通过多个特征点计算出表征参考帧图像和当前帧图像中人眼变化趋势的纵横比变化率，从而可以根据纵横比变化率的大小准确判断出当前帧图像的人眼状态是否处于眨眼。
在一些实施方式中，电子设备100可以是手机、平板计算机、笔记本计算机、无人机、机器人、智能穿戴设备(智能手表、智能手环、智能头盔、智能眼镜等)、虚拟现实设备等电子设备。
请结合图3，本实施方式以电子设备100是手机为例进行说明，也即是说，图像处理方法和图像处理装置10应用于但不限于手机。图像处理装置10可以是预安装于手机的硬件或软件，并在手机上启动运行时可以执行图像处理方法。例如，图像处理装置10可以是手机的底层软件代码段或者说是操作系统的一部分。图像传感器30可以为手机的前置或后置摄像头。
在一些实施方式中，图像处理装置10可以是电子设备100的一部分。或者说，电子设备100包括图像处理装置10。
在一些实施方式中，图像处理装置10可以是一定方式组装以具有前述功能的分立元件、或者是以集成电路形式存在具有前述功能的芯片、又或者是在计算机上运行时使得计算机具有前述功能的计算机软件代码段。
在一些实施方式中，作为硬件，图像处理装置10可以是独立或者作为额外增加的外围元件加装到计算机或者计算机系统。图像处理装置10也可以集成到计算机或者计算机系统，例如，图像处理装置10是电子设备100的一部分时，图像处理装置10可以集成到处理器20上。
需要说明的是，眨眼状态可以是指睁眼到闭眼过程中的任意状态、闭眼以及闭眼到睁眼过程中的任意状态，即，除了睁眼状态，其他任意状态都处于眨眼状态。当然，眨眼状态也可以仅仅指闭眼状态。
还需要说明的是，参考帧图像与当前帧图像相邻，且至少包括两帧图像，参考帧图像可以是在当前帧之前的相邻两帧图像，参考帧图像也可以是在当前帧图像之后两帧相邻的图像，参考帧图像还可以是当前帧图像的前一帧图像和当前帧图像的后一帧图像。例如，多帧图像包括以时间顺序先后依次排列的第一帧图像、第二帧图像、第三帧图像、第四帧图像以及第五帧图像，其中，若第三帧图像为当前帧图像，则参考帧图像可以为第一帧图像和第二帧图像，参考帧图像也可以为第二帧图像和第四帧图像，参考帧图像还可以为第四帧图像和第五帧图像。请结合图4，在本申请中，以当前帧图像前两帧的图像作为参考帧图像，若第四帧图像为当前帧图像，第二帧图像和第三帧图像作为参考帧图像。
处理器20可通过Viola-Jones人脸检测器或者多任务卷积神经网络(Multi-taskconvolutional neural network，MTCNN)检测每一帧图像中的人脸图像，并通过方向梯度直方图(Histogram of Oriented Gradient,HOG)特征或例如卷积神经网络等深度学习算法来对提取人脸图像中表征人眼区域的多个特征点。
相关领域技术人员可以理解，Viola-Jones人脸检测一种经典的人脸检测算法，其算法可以分为以下几个部分，利用Haar特征描述人脸特征，建立积分图像，利用该图像快速获取几种不同的矩形特征，利用Ada boost算法进行训练，建立层级分类器以及非极大值抑制。MTCNN算法是一种基于深度学习的人脸检测和人脸对齐方法，它可以同时完成人脸检测和人脸对齐的任务，相比于传统的算法，它的性能更好，检测速度更快。HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。
请进一步地结合图5，处理器20可通过人眼纵横比计算公式根据多个特征点分别计算出每一帧图像对应的人眼纵横比，人眼纵横比计算公式为：
Figure BDA0003065226080000051
其中，P1、P2、P3、P4、P5、P6是指表征人眼区域的特征点。
可以理解地，人眼眨眼过程中，人眼的横向长度不变，而纵向长度会因为眨眼过程中不断变化，例如，由睁眼到闭眼过程中，横向长度不变，纵向长度不断变短，使得人眼纵横比不断变小。因此，在本申请中，可根据人眼纵横比的变化从而确定人脸图像中人眼是否处于眨眼状态。
具体而言，处理器20可根据人眼纵横比得到参考帧图像的第一人眼纵横比变化率以及当前帧图像的第二人眼纵横比变化率，再根据第一人眼纵横比变化率以及第二人眼纵横比变化率的大小确定人脸图像是否存在眨眼现象，若第一人眼纵横比变化率和第二人眼纵横比变化率为都为正，则说明参考帧图像到当前帧图像的人眼处于闭眼到睁眼的过程，也即是，当前帧图像的人眼处于眨眼状态。若第二人眼纵横比变化率为0，第一人眼纵横比变化率为正值，说明参考帧图像到当前帧图像发生了睁眼，且当前帧图像的人眼保持睁开的状态。若第二人眼纵横比变化率和第一人眼纵横比变化率都为零，也即是，参考帧图像和当前帧图像的人眼纵横比相等，则说明当前帧图像的人眼处于睁眼或处于闭眼状态。若第二人眼纵横比变化率为负值，第一人眼纵横比变化率都为零，则说明参考帧到当前帧图像的人眼处于睁眼到闭眼的过程，且当前帧图像的人眼处于闭眼状态。若第二人眼纵横比变化率第一人眼纵横比变化率都为负值，则说明参考帧图像到当前帧图像处于睁眼到闭眼的过程，且当前帧图像的人眼处于眨眼状态。若第二人眼纵横比变化率为0，第一人眼纵横比变化率为负值，则说明参考帧图像到当前帧图像处于睁眼到闭眼的过程，且当前帧图像的人眼已经处于闭眼状态。
需要说明的是，由于人眼本身会有微小抖动，使得人眼纵横比会存在变化，进而导致第一人眼纵横比变化率和第二人眼纵横比变化率会发生变化，而影响判断，因此，处理器20还可将第一人眼纵横比变化率和第二人眼纵横比变化率的绝对值与第一阈值比较，在第一人眼纵横比变化率的绝对值或第二人眼纵横比变化率的绝对值大于第一阈值时，则第一人眼纵横比变化率等于第一人眼纵横比变化率，或者，第二人眼纵横比变化率等于第二人眼纵横比变化率，否则，第一人眼纵横比变化率等于0或第二人眼纵横比变化率等于0。如此，避免了因人眼因抖动而造成误判，提升了人眼检测状态的准确度。
此外，在上述实施方式中，是根据第一人眼纵横比变化率和第二人眼纵横比变化率的大小来判断出人眼状态，而仅凭第一人眼纵横比变化率和第二人眼纵横比变化率的大小只能确定人眼的变化，在一些情况下，并不能完全准确地判断出人眼状态，例如，在第二人眼纵横比变化率和第一人眼纵横比变化率都为零时，参考帧图像和当前帧图像的人眼纵横比相等，当前帧图像的人眼既可以处于睁眼状态也可以处于眨眼状态中的闭眼状态，因此，在一些实施方式中，在第一人眼纵横比变化率和第二人眼纵横比变化率的大小后，处理器20还可以第一人眼纵横比变化率、第二人眼纵横比变化率以及当前帧图像的人眼纵横比来判断当前帧图像的人眼状态。如此，可以更准确地判断出当前帧图像的人眼状态。
请参阅图6，在某些实施方式中，步骤013包括：
0132，根据特征点分别计算出参考帧图像和当前帧图像的人眼纵横比；
0134，根据人眼纵横比建立线性函数并求导以得到人眼横纵比变化率。
请进一步结合图2，在某些实施方式中，子步骤0132和0134可以由计算模块13实现。
或者说，计算模块13可用于根据特征点分别计算出参考帧图像和当前帧图像的人眼纵横比。
计算模块13还可用于根据人眼纵横比建立线性函数并求导以得到人眼横纵比变化率。
请进一步结合图3，在某些实施方式中，处理器20可用于根据特征点分别计算出参考帧图像和当前帧图像的人眼纵横比，处理器20还可用于根据人眼纵横比建立线性函数并求导以得到人眼横纵比变化率。
例如，请进一步地结合图4，多帧图像包括以时间顺序先后依次排列的五帧图像，其中，以t4时刻的图像为当前帧图像，则t2时刻和t3时刻的图像为参考帧图像，分别计算t2时刻的参考帧图像的人眼纵横比EAR2、t3时刻的参考帧图像的人眼纵横比EAR3，以及t4时刻的当前帧图像的人眼纵横比EAR4，并根据人眼纵横比EAR2和人眼纵横比EAR3建立t3时刻的参考帧图像的第一线性函数，再对第一线性函数求导，生成t3时刻的参考帧图像的第一人眼纵横比变化率dEAR23。同时，根据人眼纵横比EAR3和人眼纵横比EAR4建立t4时刻的当前帧图像的第二线性函数，并对第二线性函数求导，生成t4时刻的当前帧图像的第二人眼纵横比变化率dEAR34。
如此，通过特征点计算出两帧参考帧图像以及当前帧图像对应的人眼纵横比，并根据人眼纵横比计算出参考帧图像的第一人眼纵横比变化率，以及根据人眼纵横比计算出当前帧图像的第二人眼纵横比变化率，实现了通过第一人眼纵横比变化率以及第二人眼纵横比变化率来准确确定当前帧图像的人眼眨眼状态。
请结合图7，在某些实施方式中，图像处理方法还包括：
015，在当前帧图像处于眨眼状态的情况下，获取当前帧图像的眼部区域图像以利用人眼修复模型对当前帧图像进行人眼修复以生成目标图像。
请结合图2，在某些实施方式中，图像处理装置10还包括生成模块15，015可以由生成模块15实现。或者说，生成模块15可用于在当前帧图像处于眨眼状态的情况下，获取当前帧图像的眼部区域图像以利用人眼修复模型对当前帧图像进行人眼修复以生成目标图像。
在某些实施方式中，处理器20还可用于根据第一人眼纵横比变化率和第二人眼纵横比变化率判断当前帧图像的人眼状态以及在当前帧图像处于眨眼状态的情况下，获取当前帧图像的眼部区域图像以利用人眼修复模型对当前帧图像进行人眼修复以生成目标图像。
需要说明的是，人眼修复模型可以为深度学习模型，例如，人眼修复模型可以为基于卷积神经网络算法的模型。眼部区域图像可以由处理器20通过表征人眼特征的特征点处理生成。
如此，在当前帧图像中人眼处于眨眼状态时，例如，当前帧图像的人眼处于闭眼时，可以通过闭眼修复模型对当前帧图像的人眼进行修复，保证了拍照质量。
此外，本实施方式是通过检测出当前帧图像中人眼的眨眼状态，从而根据当前帧图像中人眼的眨眼状态对人眼区域进行修复。可以理解，对于检测当前帧图像中的人眼的眨眼状态，还可以应用于辅助驾驶中的疲劳检测或人眼解锁中的眨眼验证等其他领域。例如，在辅助驾驶中的疲劳检测中，可获取监控摄像头拍摄的多帧视频帧图像，从而根据多帧视频帧图像检测出人眼的眨眼状态，最后再根据眨眼状态确定驾驶员是否疲劳驾驶。
可以理解地，在上述实施方式中，是只要检测到人眼状态为眨眼状态时，就对当前帧图像进行人眼修复，这样虽然提升了画面质量，但数据处理量较大，影响了图像的生成效率，因此，在其他的一些实施方式中，还可以是只有检测到人眼状态为闭眼状态时，才对图像进行人眼修复。或者，在检测到人眼状态为眨眼状态，并且，人眼的纵横比小于预设阈值时，才对图像进行人眼修复。如此，减小了处理器20的数据处理量，提升了处理器的处理效率。
请参阅图8，在某些实施方式中，步骤015包括子步骤：
0152，根据当前帧图像的特征点将当前帧图像划分成眼部区域图像和非眼部区域图像；
0154，根据卷积神经网络模型对非眼部区域图像处理生成第一光环境特征矢量；
0156，利用人眼修复模型和第一光环境特征矢量对当前帧图像的眼部区域图像修复以生成目标图像。
在某些实施方式中，子步骤0152、0154和0156可以由生成模块15完成。
或者说，生成模块15可用于根据特征点将当前帧图像划分成眼部区域图像和非眼部区域图像。
生成模块15可用于根据卷积神经网络模型对非眼部区域图像处理生成光环境特征矢量。
生成模块15还可用于利用人眼修复模型和第一光环境特征矢量对当前帧图像的眼部区域图像修复以生成目标图像。
在某些实施方式中，处理器20可用于根据当前帧图像的特征点将当前帧图像划分成眼部区域图像和非眼部区域图像，处理器20还可用于根据卷积神经网络模型对非眼部区域图像处理生成第一光环境特征矢量，以及利用人眼修复模型和第一光环境特征矢量对当前帧图像的眼部区域图像修复以生成目标图像。
可以理解地，若直接对人眼区域进行修复，会导致人眼区域与人脸其他区域因光照效果差异等引起失真等问题，而使得修复后的目标图像效果不佳。因此，在本实施例中，将人脸其他区域的第一光环境特征矢量参与人眼修复，从而保证修复后的人眼区域与人脸其他区域的过渡自然，提升了图像质量。
需要说明的是，卷积神经网络的主要组成部分可以包括多个卷积层、下采样层、上采样层和全连接层等。应该理解的是，多个卷积层、多个下采样层和全连接层等这些层每个都指代对应的处理操作，即卷积处理、下采样处理、上采样处理、全连接处理等，所描述的神经网络也都指代对应的处理操作。例如，图9仅示出了一种卷积神经网络的两个层级，即第一层级和第二层级。每个层级可以包括一个卷积模块和一个下采样层。例如，每个卷积模块可以包括卷积层。由此，每个层级的处理过程可以包括：对输入图像进行卷积(convolution)以及下采样(sub-sampling/down-sampling)。根据实际需要，每个卷积模块还可以包括实例标准化(instance normalization)层或层标准化(layer normalization)层，从而每个层级的处理过程还可以包括实例标准化处理或层标准化处理。
卷积神经网络模型可包括但不限于Mobile Net V2、Alex Net、VGG Net、GoogleInception Net或ResNet等任意一种卷积神经网络。
由于本申请的卷积神经网络模型应用于手机，为了减小手机的运算量，因此，本申请采用Mobile Net V2作为本申请的卷积神经网络模型。MobileNet V2是一种轻量化卷积神经网络，具有运算量小等特点。
具体地，处理器20根据当前帧图像的特征点将当前帧图像划分成眼部区域图像和非眼部区域图像，其中，眼部区域为多个特征点依次连线围成的区域。再通过MobileNet V2对非眼部区域图像进行特征提取，生成第一光环境特征矢量。其中，第一光环境特征矢量为一维特征矢量。第一光环境特征矢量可以直接通过MobileNet V2对非眼部区域图像进行下采样、残差、上采样等处理生成，如此，可提升处理效率，也可以是先检测出非眼部区域图像中的人脸图像区域，再通过MobileNet V2对非眼部区域图像中的人脸图像区域处理生成，使得通过人眼修复模型修复后的人眼区域与人脸其他区域过渡自然，提升了目标图像的质量。
请结合图10，在某些实施方式中，步骤0156还包括子步骤：
01561，根据拼接函数将第一光环境特征矢量和眼部区域图像生成拼接矢量；
01562，利用人眼修复模型处理拼接矢量和当前帧图像生成目标图像。
在某些实施方式中，01561和01562可以由生成模块15实现。
或者说，生成模块15可用于根据拼接函数将第一光环境特征矢量和眼部区域图像生成拼接矢量。
生成模块15还可用于利用人眼修复模型将拼接矢量和当前帧图像生成目标图像。
在某些实施方式中，处理器20可用于根据拼接函数将第一光环境特征矢量和眼部区域图像生成拼接矢量。处理器20还可用于利用人眼修复模型处理拼接矢量和当前帧图像生成目标图像。
需要说明的是，拼接函数可以是concat函数。也即是，处理器20可通过concat函数处理第一光环境特征矢量和眼部区域图像生成拼接矢量，再通过人眼修复模型对拼接矢量处理从而得到修复的眼部区域，最后，再将修复后的眼部区域和当前帧图像进行合成处理生成目标图像。
请参阅图11，在某些实施方式中，图像处理方法前还包括步骤：
021，获取第一训练输入图像；
022，根据卷积神经网络模型对第一训练输入图像处理得到第二光环境特征矢量；
023，将第二光环境特征矢量进行全连接层回归处理生成训练输出值；
024，根据损失函数对训练输出值和第一训练输入图像的真实输出值进行损失值计算以优化卷积神经网络模型。
请进一步结合图2，在某些实施方式中，图像处理装置10还包括训练模块16，步骤021、022、023和024可以由训练模块16实现。
或者说，训练模块16可用于获取第一训练输入图像和根据卷积神经网络模型对第一训练输入图像处理得到第二光环境特征矢量。
训练模块16可用于将第二光环境特征矢量进行全连接层回归处理生成训练输出值。
训练模块16还可用于根据损失函数对训练输出值和第一训练输入图像的真实输出值进行损失值计算以优化卷积神经网络模型。
在某些实施方式中，处理器20可用于获取第一训练输入图像和根据卷积神经网络模型对第一训练输入图像处理得到第二光环境特征矢量，处理器20可用于将第二光环境特征矢量进行全连接层回归处理生成训练输出值。处理器20还可用于根据损失函数对训练输出值和第一训练标准图像的真实输出值进行损失值计算以优化卷积神经网络模型。
可以理解，在利用卷积神经网络模型进行图像处理前，需要对卷积神经网络模型进行训练。经过训练之后，卷积神经网络的卷积核和偏置在图像处理期间保持不变。在训练过程中，各卷积核和偏置通过多组输入/输出示例图像以及优化算法进行调整，以得到优化后的卷积神经网络模型。
在训练阶段，利用大量第一训练输入图像对卷积神经网络模型进行训练，同时，在每一帧第一训练输入图像训练过程中，都可以包括多次反复迭代以对卷积神经网络模型的参数进行修正。训练阶段还包括对卷积神经网络模型的参数进行微调(fine-tune)，以获取更优化的参数。卷积神经网络模型的初始参数可以为随机数，例如随机数符合高斯分布，本公开的实施例对此不作限制。
需要说明的是，第一训练输入图像可以为包含人脸图像且人眼处于眨眼状态的图像。
请结合图12，具体地，处理器20还可包括有损失函数(loss function)，损失函数是指将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。卷积神经网络模型可包括卷积层(convolutional layer，CL)和全连接层(fully connected layers，FC)，其中，卷积层用于对第一训练输入图像处理得到第二光环境特征矢量，全连接层用于将卷积层生成的第二光环境特征矢量进行回归处理训练输出值，在实际使用中，全连接层可由卷积操作实现。
进一步地，在处理器20通过卷积神经网络模型将第一训练输入图像生成训练输出值后，可将训练输出值和第一训练输入图像的真实输出值输入损失函数中，以进行损失值计算，并生成损失结果，进而根据损失结果来调节修正卷积神经网络模型的参数，以优化卷积神经网络模型。
请参阅图13，在某些实施方式中，在某些实施方式中，图像处理方法前还包括：
025，获取第二训练图像，第二训练图像包括第二训练输入图像和第二训练标准图像；
026，利用人眼修复模型和第二训练输入图像的第三光环境特征矢量对第二训练输入图像的眼部区域图像处理生成第一训练输出图像；
027，将第一训练输出图像和第二训练标准图像的训练眼部区域图像输入判别器以生成判别结果；
028，根据判别结果进行损失值计算以优化人眼修复模型。
在某些实施方式中，子步骤025、026、027和028可以由训练模块16实现。
或者说，训练模块16可用于获取第二训练图像，第二训练图像包括第二训练输入图像和第二训练标准图像。
训练模块16可用利用人眼修复模型和第二训练输入图像的第二光环境特征矢量对第二训练输入图像的眼部区域图像处理生成第一训练输出图像。
训练模块16可用于将第一训练输出图像和第二训练标准图像的训练眼部区域图像输入判别器以生成判别结果。
训练模块16还可用于根据判别结果进行损失值计算以优化人眼修复模型。
在某些实施方式中，处理器20可用于获取第二训练图像，第二训练图像包括第二训练输入图像和第二训练标准图像，处理器20可用于利用人眼修复模型和第二训练输入图像的第二光环境特征矢量对第二训练输入图像的眼部区域图像处理生成第一训练输出图像，处理器20可用于将第一训练输出图像和第二训练标准图像的训练眼部区域图像输入判别器以生成判别结果。处理器20还可用于根据判别结果进行损失值计算以优化人眼修复模型。
需要说明的是，第二训练标准图像具有与第二训练输入图像相同的场景，并且，第二训练输入图像的人眼区域处于眨眼状态，第二训练标准图像的人眼区域处于睁眼状态，也即是，第二训练输入图像和第二训练标准图像除了人眼区域图像存在差异外，其他区域图像大致相同。第二训练输入图像可以与第一训练输入图像相同，例如，第二训练输入图像的集合与第一训练输入图像的集合是同一个图像集合，本公开的实施例包括但不限于此。
还需要说明的是，人眼修复模型为生成式对抗网络(Generative AdversarialNetworks，GAN)模型中的生成模型，判别器为GAN网络中的判别模型。GAN网络是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。GAN网络模型模型通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。
在利用人眼修复模型对当前帧图像进行修复前，需要通过判别器对人眼修复模型生成的目标图像进行训练，以保证人眼修复模型生成目标图像合格。
在训练阶段，需要利用大量第二训练图像对人眼修复模型进行训练；同时，在每一帧第二训练图像训练过程中，都可以包括多次人眼修复模型的参数进行修正。例如，训练阶段还包括对人眼修复模型的参数进行微调(fine-tune)，以获取更优化的参数。人眼修复模型的初始参数可以为随机数，例如随机数符合高斯分布，本公开的实施例对此不作限制。
请结合图14，具体地，处理器20可将第二训练输入图像通过上述人脸检测、特征点以及卷积神经网络模型得处理后得到第二训练输入图像的第二光环境特征矢量以及第二训练输入图像的眼部区域，进而再通过concat拼接函数将第二光环境特征矢量以及眼部区域拼接生成拼接矢量，并通过人眼修复模型对拼接矢量处理生成第一训练输出图像。
进一步地，处理器20从第二训练标准图像中获取的真实眼部区域图像，并将真实眼部区域图像与第一训练输出图像输入判别器中，生成判别结果，再根据判别损失函数(adversarial loss)对判别结果进行损失值计算以优化人眼修复模型。
另外，在一些实施方式中，人眼修复模型的训练过程中还可以包括优化函数，优化函数可以根据判别损失函数计算得到的判别结果计算判别器的参数的误差值，并根据该误差值对判别器的参数进行修正。例如，优化函数可以采用随机梯度下降(stochasticgradient descent，SGD)算法、批量梯度下降(batch gradient descent,BGD)算法等计算判别器的参数的误差值。
需要说明的是，判别器的训练目标是最小化判别损失值。例如，在人眼修复模型的训练过程中，判别器的参数被不断地修正，使判别器认定第二训练输出图像与第二训练标准图像的训练人眼区域图像的偏差越来越小，从而不断地减小判别损失值。
需要说明的是，在本实施例中，人眼修复模型的训练和判别器的训练是交替迭代进行的。例如，对于未经训练的人眼修复模型和判别器，一般先对判别器进行第一阶段训练，提高判别器的鉴别能力，得到经过第一阶段训练的判别器；然后，基于经过第一阶段训练的判别器对人眼修复模型进行第一阶段训练，提高人眼修复模型的图像增强处理能力，得到经过第一阶段训练的人眼修复模型。与第一阶段训练类似，在第二阶段训练中，基于经过第一阶段训练的人眼修复模型，对经过第一阶段训练的判别器进行第二阶段训练，提高判别器的鉴别能力，得到经过第二阶段训练的判别器；然后，基于经过第二阶段训练的判别器对经过第一阶段训练的人眼修复模型进行第二阶段训练，提高人眼修复模型的图像增强处理能力，得到经过第二阶段训练的人眼修复模型，依次类推，接下来对判别器和人眼修复模型进行第三阶段训练、第四阶段训练、……，直到得到的人眼修复模型的输出的质量可以接近于对应的训练标准图像的质量。
请进一步地参阅图15，本申请还提供了一种电子设备100，包括处理器20和存储器30；存储器40存储有一个或多个程序42，并且被处理器20执行，程序42被处理器20执行上述任意一项图像处理方法的指令。
请参阅图16，本申请实施方式还提供了一种非易失性计算机可读存储介质50，可读存储介质50存储有计算机程序，当计算机程序被一个或多个处理器20执行时，使得处理器20执行上述的图像处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些界面，装置或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取图像传感器采集的当前帧图像和参考帧图像；
检测所述当前帧图像和所述参考帧图像中人脸图像并获取表征人眼特征的多个特征点；
根据所述特征点得到所述参考帧图像和所述当前帧图像的人眼纵横比变化率；和
根据所述人眼纵横比变化率的大小判断当前帧图像的人眼状态，所述人眼状态包括眨眼状态和睁眼状态。
2.如权利要求1所述的图像处理方法，其特征在于，所述根据所述特征点得到所述参考帧图像和所述当前帧图像的人眼纵横比变化率包括：
根据所述特征点分别计算出所述参考帧图像和所述当前帧图像的人眼纵横比；
根据所述人眼纵横比建立线性函数并求导以得到所述人眼横纵比变化率。
3.如权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：在当前帧图像处于眨眼状态的情况下，获取所述当前帧图像的眼部区域图像以利用人眼修复模型对所述当前帧图像进行人眼修复以生成目标图像。
4.如权利要求3所述的图像处理方法，其特征在于，所述在当前帧图像处于眨眼状态的情况下，获取所述当前帧图像的眼部区域图像以利用人眼修复模型对所述当前帧图像进行人眼修复以生成目标图像包括：
根据所述当前帧图像的特征点将所述当前帧图像划分成所述眼部区域图像和非眼部区域图像；
根据卷积神经网络模型对所述非眼部区域图像处理生成第一光环境特征矢量；
利用所述人眼修复模型和所述第一光环境特征矢量对所述当前帧图像的所述眼部区域图像修复以生成所述目标图像。
5.如权利要求4所述的图像处理方法，其特征在于，所述利用所述人眼修复模型和所述第一光环境特征矢量对所述当前帧图像的所述眼部区域图像修复以生成所述目标图像包括：
根据拼接函数将所述第一光环境特征矢量和所述眼部区域图像生成拼接矢量；
利用所述人眼修复模型处理所述拼接矢量和所述当前帧图像生成所述目标图像。
6.如权利要求4所述的图像处理方法，其特征在于，所述图像处理方法还包括：
获取第一训练输入图像；
根据所述卷积神经网络模型对所述第一训练输入图像处理得到第二光环境特征矢量；
将所述第二光环境特征矢量进行全连接层回归处理生成训练输出值；
根据损失函数对所述训练输出值和所述第一训练输入图像的真实输出值进行损失值计算以优化所述卷积神经网络模型。
7.如权利要求4所述的图像处理方法，其特征在于，所述图像处理方法还包括：
获取第二训练图像，所述第二训练图像包括第二训练输入图像和第二训练标准图像；
利用所述人眼修复模型和所述第二训练输入图像的第三光环境特征矢量对所述第二训练输入图像的眼部区域图像处理生成第一训练输出图像；
将所述第一训练输出图像和所述第二训练标准图像的训练眼部区域图像输入判别器以生成判别结果；
根据所述判别结果进行损失值计算以优化所述人眼修复模型。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取图像传感器采集的当前帧图像和参考帧图像；
检测模块，用于检测所述当前帧图像和所述参考帧图像中人脸图像并获取表征人眼特征的多个特征点；
计算模块，用于根据所述特征点得到所述参考帧图像和所述当前帧图像的人眼纵横比变化率；和
判断模块，用于根据所述人眼纵横比变化率的大小判断当前帧图像的人眼状态，所述人眼状态包括眨眼状态和睁眼状态。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有至少一个程序，并且所述程序被所述处理器执行，所述程序包括用于执行根据权利要求1-7任意一项所述的图像处理方法的指令。
10.一种计算机程序的非易失性计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，使得所述处理器执行权利要求1-7中任一项所述的图像处理方法。
CN202110524299.0A 2021-05-13 2021-05-13 图像处理方法、装置、电子设备及存储介质 Pending CN113283318A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110524299.0A CN113283318A (zh) 2021-05-13 2021-05-13 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110524299.0A CN113283318A (zh) 2021-05-13 2021-05-13 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113283318A true CN113283318A (zh) 2021-08-20

Family

ID=77278921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110524299.0A Pending CN113283318A (zh) 2021-05-13 2021-05-13 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113283318A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760097A (zh) * 2021-09-16 2021-12-07 Oppo广东移动通信有限公司 控制音量的方法及装置、终端及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679468A (zh) * 2017-09-19 2018-02-09 浙江师范大学 一种嵌入式计算机视觉检测疲劳驾驶方法及装置
CN108304784A (zh) * 2018-01-15 2018-07-20 武汉神目信息技术有限公司 一种眨眼检测方法及装置
JP2018201629A (ja) * 2017-05-31 2018-12-27 大日本印刷株式会社 眼底画像処理装置
CN109840565A (zh) * 2019-01-31 2019-06-04 成都大学 一种基于眼部轮廓特征点纵横比的眨眼检测方法
CN109919830A (zh) * 2019-01-23 2019-06-21 复旦大学 一种基于美学评价的带参考人眼图像修复方法
CN109919049A (zh) * 2019-02-21 2019-06-21 北京以萨技术股份有限公司 基于深度学习人脸姿态估计的疲劳检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018201629A (ja) * 2017-05-31 2018-12-27 大日本印刷株式会社 眼底画像処理装置
CN107679468A (zh) * 2017-09-19 2018-02-09 浙江师范大学 一种嵌入式计算机视觉检测疲劳驾驶方法及装置
CN108304784A (zh) * 2018-01-15 2018-07-20 武汉神目信息技术有限公司 一种眨眼检测方法及装置
CN109919830A (zh) * 2019-01-23 2019-06-21 复旦大学 一种基于美学评价的带参考人眼图像修复方法
CN109840565A (zh) * 2019-01-31 2019-06-04 成都大学 一种基于眼部轮廓特征点纵横比的眨眼检测方法
CN109919049A (zh) * 2019-02-21 2019-06-21 北京以萨技术股份有限公司 基于深度学习人脸姿态估计的疲劳检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760097A (zh) * 2021-09-16 2021-12-07 Oppo广东移动通信有限公司 控制音量的方法及装置、终端及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US11386699B2 (en) Image processing method, apparatus, storage medium, and electronic device
US8213690B2 (en) Image processing apparatus including similarity calculating unit, image pickup apparatus, and processing method for the apparatuses
CN111859023B (zh) 视频分类方法、装置、设备及计算机可读存储介质
CN110826519A (zh) 人脸遮挡检测方法、装置、计算机设备及存储介质
US11816880B2 (en) Face recognition method and apparatus, computer device, and storage medium
JP6309549B2 (ja) 変形可能な表現検出器
CN112446380A (zh) 图像处理方法和装置
US11526704B2 (en) Method and system of neural network object recognition for image processing
CN109937434B (zh) 图像处理方法、装置、终端和存储介质
CN112183200B (zh) 一种基于视频图像的眼动追踪方法和系统
CN110570383B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113642393B (zh) 基于注意力机制的多特征融合视线估计方法
CN111723707A (zh) 一种基于视觉显著性的注视点估计方法及装置
CN111898571A (zh) 动作识别系统及方法
CN110503068A (zh) 视线估计方法、终端及存储介质
Baddar et al. A deep facial landmarks detection with facial contour and facial components constraint
CN113177892A (zh) 生成图像修复模型的方法、设备、介质及程序产品
CN113393385B (zh) 基于多尺度融合的无监督去雨方法、系统、装置及介质
CN113283318A (zh) 图像处理方法、装置、电子设备及存储介质
CN113283319A (zh) 人脸模糊度的评价方法及装置、介质和电子设备
CN112766065A (zh) 一种移动端考生身份认证方法、装置、终端及存储介质
CN117037244A (zh) 人脸安全检测方法、装置、计算机设备和存储介质
CN115829975A (zh) 掌静脉图像质量检测方法、系统、介质及电子设备
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN115841602A (zh) 基于多视角的三维姿态估计数据集的构建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination