CN114495252A - 视线检测方法、装置、电子设备及存储介质 - Google Patents

视线检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114495252A
CN114495252A CN202210096231.1A CN202210096231A CN114495252A CN 114495252 A CN114495252 A CN 114495252A CN 202210096231 A CN202210096231 A CN 202210096231A CN 114495252 A CN114495252 A CN 114495252A
Authority
CN
China
Prior art keywords
eye
image
target person
target
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210096231.1A
Other languages
English (en)
Inventor
薛竹村
陶冶
林君仪
钱晨
金明明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN202210096231.1A priority Critical patent/CN114495252A/zh
Publication of CN114495252A publication Critical patent/CN114495252A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种视线检测方法、装置、电子设备及存储介质，该视线检测方法包括：获取待检测图像；在确定所述待检测图像中包含人脸图像的情况下，确定所述人脸图像所指示的目标人员的斜眼分类结果，所述斜眼分类结果表征所述目标人员的眼部状态为双眼视线不一致的斜视状态或双眼视线一致的正常状态；采用与所述斜眼分类结果对应的视线方向检测方式，检测所述目标人员的视线方向。本公开实施例，能够基于不同的斜眼分类结果，采用不同的视线检测方式进行视线检测，如此，不仅可以实现对斜眼人群的视线检测，提升了视线检测的适用性，还可以提升视线检测的精度。

Description

视线检测方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种视线检测方法、装置、电子设备和存储介质。
背景技术
经研究发现，在一些场景(如车辆驾驶场景、VR游戏场景)中，需要对目标人员进行视线检测来确定目标人员的视线方向，然而，目前只能对视力正常的人群进行视线检测，而对于一些视力存在异常(如斜视)的人群，由于人眼会脱离注视目标，导致无法实现视线的检测或者视线检测精度较低。
发明内容
本公开实施例至少提供一种视线检测方法、装置、电子设备及存储介质。
本公开实施例提供了一种视线检测方法，包括：
获取待检测图像；
在确定所述待检测图像中包含人脸图像的情况下，确定所述人脸图像所指示的目标人员的斜眼分类结果，所述斜眼分类结果表征所述目标人员的眼部状态为双眼视线不一致的斜视状态或双眼视线一致的正常状态；
采用与所述斜眼分类结果对应的视线方向检测方式，检测所述目标人员的视线方向。
在一种可能的实施方式中，所述采用与所述斜眼分类结果对应的视线方向检测方式检测所述目标人员的视线方向，包括：
在所述斜眼分类结果表征所述目标人员的眼部状态为所述正常状态的情况下，将所述人脸图像输入至视线方向检测模型，得到所述目标人员的视线方向；或者，
在所述斜眼分类结果表征所述目标人员的眼部状态为所述斜视状态的情况下，对所述人脸图像中所述目标人员的眼部区域进行校正处理，得到校正眼部状态后的人脸图像或眼部图像，并将所述校正眼部状态后的人脸图像或眼部图像输入至所述视线方向检测模型，得到所述目标人员的视线方向。
在一种可能的实施方式中，所述对所述人脸图像中目标人员的眼部区域进行校正处理，包括：
对所述目标人员的双眼中斜视状态的单眼对应的区域进行校正处理。
在一种可能的实施方式中，所述斜视状态包括左眼斜视状态和右眼斜视状态，所述斜眼分类结果包括表征所述目标人员的眼部状态为左眼斜视状态的结果、或者表征所述目标人员的眼部状态为右眼斜视状态的结果；
所述在所述斜眼分类结果表征所述目标人员的眼部状态为所述斜视状态的情况下，对所述人脸图像中目标人员的眼部区域进行校正处理，包括：
在所述斜眼分类结果表征所述目标人员的眼部状态为左眼斜视状态的情况下，对所述人脸图像中的所述目标人员的左眼区域进行掩模处理，以去除所述人脸图像中所述目标人员的左眼区域；或者，
在所述斜眼分类结果表征所述目标人员的眼部状态为右眼斜视状态的情况下，对所述人脸图像中的所述目标人员的右眼区域进行掩模处理，以去除所述人脸图像中所述目标人员的右眼区域。
在一种可能的实施方式中，所述确定所述人脸图像所指示的目标人员的斜眼分类结果，包括：
识别所述人脸图像所指示的目标人员的身份信息；
基于预设的人员身份信息与斜眼类别的对应关系，确定识别出的目标人员的身份信息对应的斜眼类别作为所述目标人员的斜眼分类结果。
在一种可能的实施方式中，所述确定所述人脸图像所指示的目标人员的斜眼分类结果，包括：
基于所述人脸图像，确定人眼区域图像；
基于经过训练的斜视检测模型对所述人眼区域图像进行斜视检测，得到所述目标人员的斜眼分类结果。
在一种可能的实施方式中，所述方法还包括：
获取图像样本集合，所述图像样本集合中包括单眼斜视状态的人眼图像或人脸图像；
基于所述图像样本集合，对待训练的斜视检测模型进行训练，得到所述经过训练的斜视检测模型。
在一种可能的实施方式中，所述图像样本集合中的图像通过以下方式获得：
获取双眼正视的目标人脸图像或目标人眼图像；
对所述目标人脸图像或目标人眼图像中的单只眼睛进行视线重定向处理，得到处理后的目标人脸图像或目标人眼图像；
基于所述处理后的目标人脸图像或目标人眼图像生成所述图像样本集合中的图像。
在一种可能的实施方式中，所述图像样本集合中的图像通过以下方式获得：
分别获取双眼正视的第一目标人脸图像以及双眼斜视的第二目标人脸图像，或者分别获取双眼正视的第一目标人眼图像以及双眼斜视的第二目标人眼图像；以及
通过以下至少一种方式生成所述图像样本集合中的图像：
将所述第一目标人脸图像中的左眼图像区域与所述第二目标人脸图像中的右眼图像区域进行拼接；
将所述第一目标人脸图像中的右眼图像区域与所述第二目标人脸图像中的左眼图像区域进行拼接；
将所述第一目标人眼图像中的左眼图像区域与所述第二目标人眼图像中的右眼图像区域进行拼接；
将所述第一目标人眼图像中的右眼图像区域与所述第二目标人眼图像中的左眼图像区域进行拼接。
在一种可能的实施方式中，所述待检测图像包括多帧图像，所述在确定所述待检测图像中包含人脸图像的情况下，确定所述人脸图像所指示的目标人员的斜眼分类结果，包括：
在确定多帧待检测图像中的至少一帧待检测图像包含人脸图像的情况下，确定所述目标人员在所述至少一帧待检测图像下的每帧待检测图像的斜眼分类结果；
基于所述至少一帧待检测图像下的每帧待检测图像的斜眼分类结果，确定所述目标人员的斜眼分类结果。
在一种可能的实施方式中，所述待检测图像包括行车状态的车辆的驾驶区域的图像所述方法还包括：
基于所述目标人员的视线方向的检测结果以及所述车辆的行驶方向，确定所述目标人员的视线方向是否偏离预设方向；
在所述目标人员的视线方向偏离预设方向的情况下，发出提示信息。
本公开实施例提供了一种视线检测装置，包括：
图像获取模块，用于获取待检测图像；
斜眼检测模块，用于在确定所述待检测图像中包含人脸图像的情况下，确定所述人脸图像所指示的目标人员的斜眼分类结果，所述斜眼分类结果表征所述目标人员的眼部状态为双眼视线不一致的斜视状态或双眼视线一致的正常状态；
视线检测模块，用于采用与所述斜眼分类结果对应的视线方向检测方式，检测所述目标人员的视线方向。
在一种可能的实施方式中，所述视线检测模块具体用于：
在所述斜眼分类结果表征所述目标人员的眼部状态为所述正常状态的情况下，将所述人脸图像输入至视线方向检测模型，得到所述目标人员的视线方向；或者，
在所述斜眼分类结果表征所述目标人员的眼部状态为所述斜视状态的情况下，对所述人脸图像中所述目标人员的眼部区域进行校正处理，得到校正眼部状态后的人脸图像或眼部图像，并将所述校正眼部状态后的人脸图像或眼部图像输入至所述视线方向检测模型，得到所述目标人员的视线方向。
在一种可能的实施方式中，所述视线检测模块具体用于：
对所述目标人员的双眼中斜视状态的单眼对应的区域进行校正处理。
在一种可能的实施方式中，所述斜视状态包括左眼斜视状态和右眼斜视状态，所述斜眼分类结果包括表征所述目标人员的眼部状态为左眼斜视状态的结果、或者表征所述目标人员的眼部状态为右眼斜视状态的结果；
所述视线检测模块具体用于：
在所述斜眼分类结果表征所述目标人员的眼部状态为左眼斜视状态的情况下，对所述人脸图像中的所述目标人员的左眼区域进行掩模处理，以去除所述人脸图像中所述目标人员的左眼区域；或者，
在所述斜眼分类结果表征所述目标人员的眼部状态为右眼斜视状态的情况下，对所述人脸图像中的所述目标人员的右眼区域进行掩模处理，以去除所述人脸图像中所述目标人员的右眼区域。
在一种可能的实施方式中，所述斜眼检测模块具体用于：
识别所述人脸图像所指示的目标人员的身份信息；
基于预设的人员身份信息与斜眼类别的对应关系，确定识别出的目标人员的身份信息对应的斜眼类别作为所述目标人员的斜眼分类结果。
在一种可能的实施方式中，所述斜眼检测模块具体用于：
基于所述人脸图像，确定人眼区域图像；
基于经过训练的斜视检测模型对所述人眼区域图像进行斜视检测，得到所述目标人员的斜眼分类结果。
在一种可能的实施方式中，所述装置还包括模型训练模块，所述模型训练模块用于：
获取图像样本集合，所述图像样本集合中包括单眼斜视状态的人眼图像或人脸图像；
基于所述图像样本集合，对待训练的斜视检测模型进行训练，得到所述经过训练的斜视检测模型。
在一种可能的实施方式中，所述模型训练模块具体用于：
获取双眼正视的目标人脸图像或目标人眼图像；
对所述目标人脸图像或目标人眼图像中的单只眼睛进行视线重定向处理，得到处理后的目标人脸图像或目标人眼图像；
基于所述处理后的目标人脸图像或目标人眼图像生成所述图像样本集合中的图像。
在一种可能的实施方式中，所述模型训练模块具体用于：
分别获取双眼正视的第一目标人脸图像以及双眼斜视的第二目标人脸图像，或者分别获取双眼正视的第一目标人眼图像以及双眼斜视的第二目标人眼图像；以及
通过以下至少一种方式生成所述图像样本集合中的图像：
将所述第一目标人脸图像中的左眼图像区域与所述第二目标人脸图像中的右眼图像区域进行拼接；
将所述第一目标人脸图像中的右眼图像区域与所述第二目标人脸图像中的左眼图像区域进行拼接；
将所述第一目标人眼图像中的左眼图像区域与所述第二目标人眼图像中的右眼图像区域进行拼接；
将所述第一目标人眼图像中的右眼图像区域与所述第二目标人眼图像中的左眼图像区域进行拼接。
在一种可能的实施方式中，所述待检测图像包括多帧图像，所述斜眼检测模块具体用于：
在确定多帧待检测图像中的至少一帧待检测图像包含人脸图像的情况下，确定所述目标人员在所述至少一帧待检测图像下的每帧待检测图像的斜眼分类结果；
基于所述至少一帧待检测图像下的每帧待检测图像的斜眼分类结果，确定所述目标人员的斜眼分类结果。
在一种可能的实施方式中，所述待检测图像包括行车状态的车辆的驾驶区域的图像，所述装置还包括视线判断模块，所述视线判断模块用于：
基于所述目标人员的视线方向的检测结果以及所述车辆的行驶方向，确定所述目标人员的视线方向是否偏离预设方向；
在所述目标人员的视线方向偏离预设方向的情况下，发出提示信息。
本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述任一实施例中所述的视线检测方法的步骤。
本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述任一实施例中所述的视线检测方法的步骤。
本公开实施例中提供的视线检测方法、装置、电子设备及存储介质，在确定所述待检测图像中包含人脸图像的情况下，先确定人脸图像所指示的目标人员的斜眼分类结果，然后基于目标人员的斜眼分类结果采用与所述斜眼分类结果对应的视线方向检测方式，检测所述目标人员的视线方向，如此，不仅可以实现对斜眼人群的视线检测，提升了视线检测方法的适用性，还可以提升视线检测的精度。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种视线检测方法的流程图；
图2示出了本公开实施例所提供的一种确定目标人员的斜眼分类结果的方法流程图；
图3示出了本公开实施例所提供的一种斜视检测模型训练方法的流程图；
图4示出了本公开实施例所提供的一种获取图像样本的方法流程图；
图5示出了本公开实施例所提供的第一种人脸图像样本的示意图；
图6示出了对图5中的人脸图像进行重定向处理后的示意图；
图7示出了本公开实施例所提供的另一种获取图像样本的方法流程图；
图8示出了本公开实施例所提供的第二种人脸图像样本的示意图；
图9示出了本公开实施例所提供的第三种人脸图像样本的示意图；
图10示出了本公开实施例所提供的一种人眼图像样本示意图；
图11示出了本公开实施例所提供的另一种视线检测方法的流程图；
图12示出了本公开实施例所提供的一种视线检测装置的结构示意图；
图13示出了本公开实施例所提供的另一种视线检测装置的结构示意图；
图14示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，在一些场景(如车辆驾驶场景、VR游戏场景)中，需要对目标人员进行视线检测来确定目标人员的视线方向，然而，目前只能实现对视力正常的人群进行视线检测，而对于一些视力存在异常(如斜视)的人群，由于人眼会脱离注视目标，导致无法实现视线的检测或者视线检测精度较低。
基于上述研究，本公开提供了一种视线检测方法，包括：获取待检测图像；在确定所述待检测图像中包含人脸图像的情况下，确定所述人脸图像所指示的目标人员的斜眼分类结果，所述斜眼分类结果表征所述目标人员的眼部状态为双眼视线不一致的斜视状态或双眼视线一致的正常状态；采用与所述斜眼分类结果对应的视线方向检测方式，检测所述目标人员的视线方向。
本公开实施例中，在确定所述待检测图像中包含人脸图像的情况下，先确定人脸图像所指示的目标人员的斜眼分类结果，然后基于目标人员的斜眼分类结果采用与所述斜眼分类结果对应的视线方向检测方式，检测所述目标人员的视线方向，如此，不仅可以实现对斜眼人群的视线检测，提升视线检测方法的适用性，还可以提升视线检测的精度。
下面结合附图，对本公开实施例中所提供的视线检测方法进行详细介绍。参见图1所示，为本公开实施例提供的视线检测方法的流程图，该视线检测方法包括以下S101～S103：
S101，获取待检测图像。
示例性地，可以通过摄像装置获取目标场景或者目标区域的视频数据，再通过对视频数据进行解码来获取待检测图像。该目标场景以及目标区域可以根据不同的场景而不同。例如，在车辆驾驶场景下，该目标区域可以是车辆内的驾驶区域，此时，需要对驾驶员的视线方向进行检测，以确定驾驶员的视线方向是否偏离预设方向，进而提升行车安全。
其中，视频数据是指连续的图像序列，其实质是由一组连续的图像构成的，其中，图像帧是组成视频的最小视觉单位，是一幅静态的图像。将时间上连续的图像帧序列合成到一起便形成动态视频。示例性地，为了方便后续的检测识别，可以通过FFmpeg技术等方式对视频数据进行解码，进而得到待检测图像。
其中，FFmpeg技术为可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序，其采用LGPL或GPL许可证，提供有录制、转换以及流化音视频的完整解决方案，并且包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多code都是可以从头开发的，从而可以数据使用的简便和适配。相应的，在实际使用中，对于拍摄的驾驶员驾驶行为的视频数据，也可以是使用FFmpeg技术进行保存和传输的。
可以理解，由于视频数据中每秒钟通常包括很多帧图像(比如每秒钟包括24帧图像)，因此，在对视频数据进行解码时，可以对视频数据进行图像帧抽帧提取，其中，抽帧提取是指按照预设的间隔帧数进行抽帧提取，比如，每间隔20帧提取一帧待检测图像；还可以按照预设的时间间隔进行抽帧提取，比如每间隔10ms提取一帧待检测图像。
需要说明的是，具体提的间隔帧数以及间隔时间，可以根据实际需求而设定，在此不做限定。
另外，该视线检测方法的执行主体可以为终端设备，其中，终端设备包括但不限于车载设备、可穿戴设备、用户终端及手持设备等。其他实施方式中，该视线检测方法的执行主体还可以是服务器，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云存储、大数据和人工智能平台等基础云计算服务的云服务器。在一些可能的实现方式中，该视线检测方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
S102，在确定所述待检测图像中包含人脸图像的情况下，确定所述人脸图像所指示的目标人员的斜眼分类结果，所述斜眼分类结果表征所述目标人员的眼部状态为双眼视线不一致的斜视状态或双眼视线一致的正常状态。
斜视状态通常是指当双眼观测同一个方向时，左右两眼的视线方向不一致的状态，例如双眼观测正前方时，左眼和右眼中的一个视线方向为正前方、另一个视线方向为斜前方。正常状态通常是指双眼目视同一个方向时，双眼方向一致的状态。
示例性地，在获取到待检测图像之后，即可以对待检测图像进行人脸检测，以确定待检测图像中是否包含人脸图像。在一些实施例中，可以通过预先训练好的人脸检测模型对待检测图像进行人脸检测，在另一些实施方式中，还可以采用其他方式对待检测图像进行人脸检测，比如采用预设的人脸识别算法来确定待检测图像中是否包含人脸图像，具体的人脸检测方式不做限定，只要能实现人脸检测的结果即可。
可以理解，若确定待检测图像中包含人脸图像，则说明目标区域或者目标场所内存在目标人员，则需要执行后续的步骤以进一步对目标人员的视线方向进行检测；若确定待检测图像中不包含人脸图像，则说明目标区域或者目标场所当前并不存目标人员，则流程结束，无需进行后续的进一步检测流程，进而可以避免资源的浪费。
示例性地，在确定所述待检测图像中包含人脸图像的情况下，可以识别所述人脸图像所指示的目标人员的身份信息，然后基于预设的人员身份信息与斜眼类别的对应关系，确定识别出的目标人员的身份信息对应的斜眼类别作为所述目标人员的斜眼分类结果。
具体地，在一些实施方式中，可预先建立人员身份信息与斜眼类别的对应关系，该人员身份信息与斜眼类别的对应关系包括不同目标人员以及每个驾驶员对应的斜眼分类结果，比如，针对1号目标人员(如张三)，其斜眼分类结果为右眼斜视；针对2号目标人员(如李四)，其斜眼分类结果为左眼斜视；针对3号目标人员(如王五)，其斜眼分类结果为正常状态。
因此，在确定人脸图像所对应的目标人员之后，根据该人员身份信息与斜眼类别的对应关系，即可确定该目标人员的斜眼分类结果。比如，若该人脸图像所指示的目标人员为1号驾驶员，则可以根据预存的信息确定该目标人员的斜眼分类结果为右眼斜视。
其中，在确定待检测图像中包含人脸图像时，可以将该人脸图像与预设的人脸图像集合进行比对，当人脸图像与人脸图像集合中的任一人脸图像比对成功后，即可确定该人脸图像所指示的目标人员。其中，人脸图像与人脸图像集合中的任一人脸图像比对成功，是指人脸图像与人脸图像集合中的任一人脸图像的相似度大于预设阈值(如90％)。
需要说明的是，在该实施例中，由于人员身份信息与斜眼类别的对应关系是预先建立的，因此需要预先获得不同人员的斜眼分类结果，其中，该斜眼分类结果的得到方式不做限定，比如，可以通过专业的斜眼检测设备(如医院的视力检测设备)来确定的斜眼分类结果。
本公开实施例中，由于基于预设的人员身份信息与斜眼类别的对应关系，即可确定目标人员的斜眼分类结果，进而可以提升视线方向的检测效率。
在另一些实施例中，还可以基于所述人脸图像确定人眼区域图像，然后基于经过训练的斜视检测模型对所述人眼区域图像进行斜视检测，得到所述目标人员的斜眼分类结果。其中，可以通过对人脸图像进行人眼关键点检测，进而确定人眼区域图像。此外，关于斜视检测模型的获得方法将在后文进行详述。
应当理解的是，在该实施方式中，在预先不知道人脸图像所指示的目标人员的斜眼分类结果的情况下，可以基于人脸图像确定人眼区域图像，再对人眼区域图像进行检测得到斜眼分类结果。如此，即使在预先不知道目标人员的斜眼分类结果的情况下，仍可以确定目标人员的斜眼分类结果，进而可以基于该斜眼分类结果进行视线方向检测，从而提升了视线检测方法的适用性。
示例性地，针对车辆驾驶场景，可以在驾驶员首次注册时对驾驶员进行斜视检测，得到斜眼分类结果，并将斜视眼分类结果与通过人脸识别获得的驾驶员身份进行绑定，如此，驾驶员后续登录时，即可通过人脸识别确定驾驶员的身份，然后确定驾驶员的对应的斜眼分类结果。如此，可以避免针对同一驾驶员每次都进行斜视检测，避免资源浪费的同时，提升了视线检测的效率。
在一些实施方式中，为了提升斜眼检测的精度，可以对多帧待检测图像分别进行斜视检测，然后结合多帧的检测结果，得到最终的斜眼分类结果。因此，参见图2所示，在该实施例中，在确定所述人脸图像所指示的目标人员的斜眼分类结果时，可以包括以下S1021～S1022：
S1021，在确定多帧待检测图像中的至少一帧待检测图像包含人脸图像的情况下，确定所述目标人员在所述至少一帧待检测图像下的每帧待检测图像的斜眼分类结果；
S1022，基于所述至少一帧待检测图像下的每帧待检测图像的斜眼分类结果，确定所述目标人员的斜眼分类结果。
示例性地，可以获取多帧待检测图像，然后对存在人脸图像的至少一帧待检测图像分别进行斜视检测，得到目标人员在所述至少一帧待检测图像下的每帧待检测图像的斜眼分类结果，再基于多帧的检测结果，确定目标人员的斜眼分类结果。比如，若共获取5帧待检测图像，其中4帧存在人脸图像，而4帧图像中的3帧的检测结果为右眼斜视，1帧的检测结果为双眼正常，因此，可以根据数量的多少来确定目标人员的斜眼分类结果为右眼斜视，如此，可以减少因单帧检测结果异常而导致检测结果不准的情况发生，进而提升了斜眼检测的精度。
S103，采用与所述斜眼分类结果对应的视线方向检测方式，检测所述目标人员的视线方向。
可以理解，为了实现针对不同斜眼分类结果的视线检测，以及提升不同斜眼分类结果的视线检测精度，可以针对不同的斜眼分类结果采用不同的视线检测方式。
示例性地，目标人员的视线方向可以采用神经网络模型来预测，例如可以将目标人员的人脸图像和/或眼部图像输入至预先训练的视线方向检测模型，得到目标人员的视线方向。
具体地，在所述斜眼分类结果表征所述目标人员的眼部状态为所述正常状态的情况下，将所述人脸图像输入至视线方向检测模型，得到所述目标人员的视线方向；而在所述斜眼分类结果表征所述目标人员的眼部状态为所述斜视状态的情况下，则需要对所述人脸图像中所述目标人员的眼部区域进行校正处理，得到校正眼部状态后的人脸图像或眼部图像，再将所述校正眼部状态后的人脸图像或眼部图像输入至所述视线方向检测模型，得到所述目标人员的视线方向。
具体地，在所述斜眼分类结果表征所述目标人员的眼部状态为所述斜视状态的情况下，可以只对所述目标人员的双眼中斜视状态的单眼对应的区域进行校正处理，如此可以减少不必要的处理，进而可以节约计算资源，以及提升校正处理的效率。
在一些实施方式中，所述斜视状态包括左眼斜视状态和右眼斜视状态，所述斜眼分类结果包括表征所述目标人员的眼部状态为左眼斜视状态的结果、或者表征所述目标人员的眼部状态为右眼斜视状态的结果。
在一些实施方式中，在所述斜眼分类结果表征所述目标人员的眼部状态为左眼斜视状态的情况下，可以对所述人脸图像中的所述目标人员的左眼区域进行掩模(mask)处理，以去除所述人脸图像中所述目标人员的左眼区域；在所述斜眼分类结果表征所述目标人员的眼部状态为右眼斜视状态的情况下，可以对所述人脸图像中的所述目标人员的右眼区域进行掩模处理，以去除所述人脸图像中所述目标人员的右眼区域。
具体地，掩模处理的具体方式可通过调整眼部区域的灰度值来实现，例如，对所述人脸图像中的左眼区域进行灰度处理，则可以将左眼区域的灰度调整值预设阈值(比如100)，进而实现对左眼区域的掩模处理。
本公开实施例中，在确定所述待检测图像中包含人脸图像的情况下，先确定人脸图像所指示的目标人员的斜眼分类结果，然后基于目标人员的斜眼分类结果采用与所述斜眼分类结果对应的视线方向检测方式，检测所述目标人员的视线方向，如此，不仅可以实现对斜眼人群的视线检测，提升了视线检测方法的适用性，还可以提升视线检测的精度。
下面对上述斜视检测模型的具体获得方式进行详细介绍。参见图3所示，在一些实施方式中，在获取车辆的驾驶区域的待检测图像之前，还通过以下步骤S201～S202来获得斜视检测模型。
S201，获取图像样本集合，所述图像样本集合中包括单眼斜视状态的人眼图像或人脸图像。
S202，基于所述图像样本集合，对待训练的斜视检测模型进行训练，得到所述经过训练的斜视检测模型。
示例性地，可以获取大量的人脸图像或者人眼图像的样本，其中，为了使得所训练的斜视检测模型能够对斜眼进行检测，需要图像样本集合中包括单眼斜视状态的人眼图像或人脸图像。其中，单眼斜视状态是指双眼可见(睁开)且仅一只眼睛处于斜视状态，或者双眼可见且一只眼睛正视、另一只眼睛斜视的状态。也即，图像样本可以是右眼斜视状态的图像样本，也可以是左眼斜视状态的图像样本，且不同图像样本的斜视程度可以不同。如此，通过不同斜视类型的样本对待训练的斜视检测模型进行训练，可以提高得到的斜视检测模型的检测精度。
参见图4所示，在一些实施方式中，图像样本集合中的图像的获取方式可以通过以下步骤S301～S303实现。
S301，获取双眼正视的目标人脸图像或目标人眼图像。
示例性地，参见图5所示，首先获取双眼正视的目标人脸图像。其中，人眼图像的处理方式与人脸图像的处理方式类似，在此以人脸图像为例进行说明。
S302，对所述目标人脸图像或目标人眼图像中的单只眼睛进行视线重定向处理，得到处理后的目标人脸图像或目标人眼图像。
示例性地，可以采用视线调整模型对目标人脸图像或目标人眼图像中的单只眼睛进行重定向处理，获得不同视线下人眼的表现情况。参见图6所示，为将图5中的人脸图像中的右眼(图中C区域)进行重定向处理后的示意图，其中，重定向的结果可根据具体的需求而设定，此处不做限定。例如，可以对双眼中的左眼进行重定向，也可以对双眼中的右眼进行重定向，且重定向的幅度可以根据实际情况设定。
S303，基于所述处理后的目标人脸图像或目标人眼图像生成所述图像样本集合中的图像。
本公开实施例中，通过重定向的方式图像样本集合中的图像，不仅可以避免现实情况中斜眼图像样本采样难的问题，还可以提升人眼图像样本的丰富性，进而有助于提升模型的训练精度。
参见图7所示，在一些实施方式中，人眼图像样本的获取方式还可以通过以下步骤S401～S402实现。
S401，分别获取双眼正视的第一目标人脸图像以及双眼斜视的第二目标人脸图像，或者分别获取双眼正视的第一目标人眼图像以及双眼斜视的第二目标人眼图像。
其中，双眼斜视是指双眼同时看向斜前方某一位置，且两只眼睛的视线方向相同且都是斜前方。
请同时参见图8及图9，在一些实施方式中，可以分别获取双眼正视第一目标人脸图像(如图8所示)以及双眼斜视的第二目标人脸图像(如图9所示)。其中，可以让目标人员的头部端正朝向前方，且双眼目视前方，即可获得第一目标人脸图像；第二目标人脸图像可以基于第一目标人脸图像的基础上获得，比如，在第一目标人脸图像的基础上，保持头部端正朝向前方不动，双眼的眼球向右侧转动60后即可得到第二目标人脸图像。
其中，人眼图像可以通过对人脸图像进行眼部关键点检测等方式分割得出，得到人眼图像之后，对于人眼图像的处理方式与下述人脸图像的处理方式类似，在此以人脸图像为例进行说明，人眼图像的过程将不再赘述。
S402，基于所述第一目标人脸图像以及所述第二目标人脸图像生成所述图像样本集合，或者基于所述第一目标人眼图像以及所述第二目标人眼图像生成所述图像样本集合。
示例性地，可以将所述第一目标人脸图像中的左眼图像区域(如图8中B2所示)与所述第二目标人脸图像中的右眼图像区域(如图9中B1所示)进行拼接；或者，将所述第一目标人脸图像中的右眼图像区域与所述第二目标人脸图像中的左眼图像区域进行拼接，进而基于拼接后的图像生成图像样本集合。
同理，还可以将所述第一目标人眼图像中的左眼图像区域与所述第二目标人眼图像中的右眼图像区域进行拼接；或者，将所述第一目标人眼图像中的右眼图像区域与所述第二目标人眼图像中的左眼图像区域进行拼接，进而基于拼接后的图像生成图像样本集合。
参见图10所示，为本公开实施例提供的一种拼接后的人眼图像样本示意图。可以理解，若拼接后为人脸图像，则可以对人脸图像进行人眼关键点检测识别，得到人眼图像样本。
本公开实施例中，无需基于实际存在的斜眼人群而获得人眼图像样本，基于正常视力的人群即可获得人眼图像的样本，如此，提升了样本获取的便利性。
参见图11所示，为本公开实施例提供的另一种视线检测方法的流程图，与图1中的视线检测方法不同的是，该视线检测方法在步骤S103之后还包括以下S104～S105：
S104，基于所述目标人员的视线方向的检测结果以及所述车辆的行驶方向，确定所述目标人员的视线方向是否偏离预设方向。
S105，在所述目标人员的视线方向偏离预设方向的情况下，发出提示信息。
在一些实施方式中，以车辆驾驶场景为例，该待检测图像包括行车状态的车辆的驾驶区域的图像，通过对车辆的驾驶区域的图像进行视线检测，在检测到目标人员(驾驶员)的视线方向后，还基于车辆的行驶方向，确定所述目标人员的视线方向是否偏离预设方向(如车辆行进的方向)，在所述目标人员的视线方向偏离预设方向情况下，发出提示信息，以对驾驶员进行预警，提示驾驶员提高驾驶的注意力，进而提升驾驶的安全性。
其中，在驾驶员的视线方向与车辆的行驶方向之间的夹角大于预设角度(比如45度)的情况下，确定驾驶员的视线方向偏离预设方向。
其中，驾驶区域是指车辆内驾驶员进行车辆驾驶操作的区域。其中，车辆驾驶操作包括但不限于方向盘控制操作、油门踏板控制操作等。可选地，可以通过安装在车舱内的摄像装置采集驾驶员在驾驶车辆过程中视频数据，然后通过终端设备获取摄像装置所采集的视频数据。
该摄像装置是驾驶员监控系统(driver monitoring system，DMS)的必要硬件。驾驶员监控系统利用摄像头获取图像，通过视觉跟踪、目标检测、动作识别等技术，对驾驶员发生疲劳驾驶、驾驶分心、危险动作等情况进行实时智能检测与提醒，以降低交通事故发生的几率。
具体地，摄像装置可以安装在车辆A柱或者车内后视镜等部位并且朝向车舱驾驶区域。当然，摄像装置也可以安装于车辆内部的其他部位，只要能够实现对车辆驾驶区域的视频采集即可。另外，摄像装置的数量在此不做限定，比如可以是一个、两个或者多个。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思，本公开实施例中还提供了与视线检测方法对应的视线检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述视线检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图12所示，为本公开实施例提供的一种视线检测装置500的示意图，该视线检测装置包括：
图像获取模块501，用于获取待检测图像；
斜眼检测模块502，用于在确定所述待检测图像中包含人脸图像的情况下，确定所述人脸图像所指示的目标人员的斜眼分类结果，所述斜眼分类结果表征所述目标人员的眼部状态为双眼视线不一致的斜视状态或双眼视线一致的正常状态；
视线检测模块503，用于采用与所述斜眼分类结果对应的视线方向检测方式，检测所述目标人员的视线方向。
在一种可能的实施方式中，所述视线检测模块503具体用于：
在所述斜眼分类结果表征所述目标人员的眼部状态为所述正常状态的情况下，将所述人脸图像输入至视线方向检测模型，得到所述目标人员的视线方向；或者，
在所述斜眼分类结果表征所述目标人员的眼部状态为所述斜视状态的情况下，对所述人脸图像中所述目标人员的眼部区域进行校正处理，得到校正眼部状态后的人脸图像或眼部图像，并将所述校正眼部状态后的人脸图像或眼部图像输入至所述视线方向检测模型，得到所述目标人员的视线方向。
在一种可能的实施方式中，所述视线检测模块503具体用于：
对所述目标人员的双眼中斜视状态的单眼对应的区域进行校正处理。
在一种可能的实施方式中，所述斜视状态包括左眼斜视状态和右眼斜视状态，所述斜眼分类结果包括表征所述目标人员的眼部状态为左眼斜视状态的结果、或者表征所述目标人员的眼部状态为右眼斜视状态的结果；
所述视线检测模块503具体用于：
在所述斜眼分类结果表征所述目标人员的眼部状态为左眼斜视状态的情况下，对所述人脸图像中的所述目标人员的左眼区域进行掩模处理，以去除所述人脸图像中所述目标人员的左眼区域；或者，
在所述斜眼分类结果表征所述目标人员的眼部状态为右眼斜视状态的情况下，对所述人脸图像中的所述目标人员的右眼区域进行掩模处理，以去除所述人脸图像中所述目标人员的右眼区域。
在一种可能的实施方式中，所述斜眼检测模块502具体用于：
识别所述人脸图像所指示的目标人员的身份信息；
基于预设的人员身份信息与斜眼类别的对应关系，确定识别出的目标人员的身份信息对应的斜眼类别作为所述目标人员的斜眼分类结果。
在一种可能的实施方式中，所述斜眼检测模块502具体用于：
基于所述人脸图像，确定人眼区域图像；
基于经过训练的斜视检测模型对所述人眼区域图像进行斜视检测，得到所述目标人员的斜眼分类结果。
参见图13所示，在一种可能的实施方式中，所述装置还包括模型训练模块504，所述模型训练模块504用于：
获取图像样本集合，所述图像样本集合中包括单眼斜视状态的人眼图像或人脸图像；
基于所述图像样本集合，对待训练的斜视检测模型进行训练，得到所述经过训练的斜视检测模型。
在一种可能的实施方式中，所述模型训练模块504具体用于：
获取双眼正视的目标人脸图像或目标人眼图像；
对所述目标人脸图像或目标人眼图像中的单只眼睛进行视线重定向处理，得到处理后的目标人脸图像或目标人眼图像；
基于所述处理后的目标人脸图像或目标人眼图像生成所述图像样本集合中的图像。
在一种可能的实施方式中，所述模型训练模块504具体用于：
分别获取双眼正视的第一目标人脸图像以及双眼斜视的第二目标人脸图像，或者分别获取双眼正视的第一目标人眼图像以及双眼斜视的第二目标人眼图像；以及
通过以下至少一种方式生成所述图像样本集合中的图像：
将所述第一目标人脸图像中的左眼图像区域与所述第二目标人脸图像中的右眼图像区域进行拼接；
将所述第一目标人脸图像中的右眼图像区域与所述第二目标人脸图像中的左眼图像区域进行拼接；
将所述第一目标人眼图像中的左眼图像区域与所述第二目标人眼图像中的右眼图像区域进行拼接；
将所述第一目标人眼图像中的右眼图像区域与所述第二目标人眼图像中的左眼图像区域进行拼接。
在一种可能的实施方式中，所述待检测图像包括多帧图像，所述斜眼检测模块502具体用于：
在确定多帧待检测图像中的至少一帧待检测图像包含人脸图像的情况下，确定所述目标人员在所述至少一帧待检测图像下的每帧待检测图像的斜眼分类结果；
基于所述至少一帧待检测图像下的每帧待检测图像的斜眼分类结果，确定所述目标人员的斜眼分类结果。
在一种可能的实施方式中，所述待检测图像包括行车状态的车辆的驾驶区域的图像，所述装置还包括视线判断模块505，所述视线判断模块505用于：
基于所述目标人员的视线方向的检测结果以及所述车辆的行驶方向，确定所述目标人员的视线方向是否偏离预设方向；
在所述目标人员的视线方向偏离预设方向的情况下，发出提示信息。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图14所示，为本公开实施例提供的电子设备700的结构示意图，包括处理器701、存储器702、和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换。
本申请实施例中，存储器702具体用于存储执行本申请方案的应用程序代码，并由处理器701来控制执行。也即，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701执行存储器702中存储的应用程序代码，进而执行前述任一实施例中所述的方法。
其中，存储器702可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。
处理器701可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备700的具体限定。在本申请另一些实施例中，电子设备700可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的视线检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中的视线检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种视线检测方法，其特征在于，包括：
获取待检测图像；
在确定所述待检测图像中包含人脸图像的情况下，确定所述人脸图像所指示的目标人员的斜眼分类结果，所述斜眼分类结果表征所述目标人员的眼部状态为双眼视线不一致的斜视状态或双眼视线一致的正常状态；
采用与所述斜眼分类结果对应的视线方向检测方式，检测所述目标人员的视线方向。
2.根据权利要求1所述的方法，其特征在于，所述采用与所述斜眼分类结果对应的视线方向检测方式检测所述目标人员的视线方向，包括：
在所述斜眼分类结果表征所述目标人员的眼部状态为所述正常状态的情况下，将所述人脸图像输入至视线方向检测模型，得到所述目标人员的视线方向；或者，
在所述斜眼分类结果表征所述目标人员的眼部状态为所述斜视状态的情况下，对所述人脸图像中所述目标人员的眼部区域进行校正处理，得到校正眼部状态后的人脸图像或眼部图像，并将所述校正眼部状态后的人脸图像或眼部图像输入至所述视线方向检测模型，得到所述目标人员的视线方向。
3.根据权利要求2所述的方法，其特征在于，所述对所述人脸图像中目标人员的眼部区域进行校正处理，包括：
对所述目标人员的双眼中斜视状态的单眼对应的区域进行校正处理。
4.根据权利要求2所述的方法，其特征在于，所述斜视状态包括左眼斜视状态和右眼斜视状态，所述斜眼分类结果包括表征所述目标人员的眼部状态为左眼斜视状态的结果、或者表征所述目标人员的眼部状态为右眼斜视状态的结果；
所述在所述斜眼分类结果表征所述目标人员的眼部状态为所述斜视状态的情况下，对所述人脸图像中目标人员的眼部区域进行校正处理，包括：
在所述斜眼分类结果表征所述目标人员的眼部状态为左眼斜视状态的情况下，对所述人脸图像中的所述目标人员的左眼区域进行掩模处理，以去除所述人脸图像中所述目标人员的左眼区域；或者，
在所述斜眼分类结果表征所述目标人员的眼部状态为右眼斜视状态的情况下，对所述人脸图像中的所述目标人员的右眼区域进行掩模处理，以去除所述人脸图像中所述目标人员的右眼区域。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述确定所述人脸图像所指示的目标人员的斜眼分类结果，包括：
识别所述人脸图像所指示的目标人员的身份信息；
基于预设的人员身份信息与斜眼类别的对应关系，确定识别出的目标人员的身份信息对应的斜眼类别作为所述目标人员的斜眼分类结果。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述确定所述人脸图像所指示的目标人员的斜眼分类结果，包括：
基于所述人脸图像，确定人眼区域图像；
基于经过训练的斜视检测模型对所述人眼区域图像进行斜视检测，得到所述目标人员的斜眼分类结果。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获取图像样本集合，所述图像样本集合中包括单眼斜视状态的人眼图像或人脸图像；
基于所述图像样本集合，对待训练的斜视检测模型进行训练，得到所述经过训练的斜视检测模型。
8.根据权利要求7所述的方法，其特征在于，所述图像样本集合中的图像通过以下方式获得：
获取双眼正视的目标人脸图像或目标人眼图像；
对所述目标人脸图像或目标人眼图像中的单只眼睛进行视线重定向处理，得到处理后的目标人脸图像或目标人眼图像；
基于所述处理后的目标人脸图像或目标人眼图像生成所述图像样本集合中的图像。
9.根据权利要求7所述的方法，其特征在于，所述图像样本集合中的图像通过以下方式获得：
分别获取双眼正视的第一目标人脸图像以及双眼斜视的第二目标人脸图像，或者分别获取双眼正视的第一目标人眼图像以及双眼斜视的第二目标人眼图像；以及
通过以下至少一种方式生成所述图像样本集合中的图像：
将所述第一目标人脸图像中的左眼图像区域与所述第二目标人脸图像中的右眼图像区域进行拼接；
将所述第一目标人脸图像中的右眼图像区域与所述第二目标人脸图像中的左眼图像区域进行拼接；
将所述第一目标人眼图像中的左眼图像区域与所述第二目标人眼图像中的右眼图像区域进行拼接；
将所述第一目标人眼图像中的右眼图像区域与所述第二目标人眼图像中的左眼图像区域进行拼接。
10.根据权利要求1至9任一项所述的方法，其特征在于，所述待检测图像包括多帧图像，所述在确定所述待检测图像中包含人脸图像的情况下，确定所述人脸图像所指示的目标人员的斜眼分类结果，包括：
在确定多帧待检测图像中的至少一帧待检测图像包含人脸图像的情况下，确定所述目标人员在所述至少一帧待检测图像下的每帧待检测图像的斜眼分类结果；
基于所述至少一帧待检测图像下的每帧待检测图像的斜眼分类结果，确定所述目标人员的斜眼分类结果。
11.根据权利要求1至10任一所述的方法，其特征在于，所述待检测图像包括行车状态的车辆的驾驶区域的图像所述方法还包括：
基于所述目标人员的视线方向的检测结果以及所述车辆的行驶方向，确定所述目标人员的视线方向是否偏离预设方向；
在所述目标人员的视线方向偏离预设方向的情况下，发出提示信息。
12.一种视线检测装置，其特征在于，包括：
图像获取模块，用于获取待检测图像；
斜眼检测模块，用于在确定所述待检测图像中包含人脸图像的情况下，确定所述人脸图像所指示的目标人员的斜眼分类结果，所述斜眼分类结果表征所述目标人员的眼部状态为双眼视线不一致的斜视状态或双眼视线一致的正常状态；
视线检测模块，用于采用与所述斜眼分类结果对应的视线方向检测方式，检测所述目标人员的视线方向。
13.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1-11任一所述的视线检测方法的步骤。
14.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-11任一所述的视线检测方法的步骤。
CN202210096231.1A 2022-01-26 2022-01-26 视线检测方法、装置、电子设备及存储介质 Pending CN114495252A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210096231.1A CN114495252A (zh) 2022-01-26 2022-01-26 视线检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210096231.1A CN114495252A (zh) 2022-01-26 2022-01-26 视线检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114495252A true CN114495252A (zh) 2022-05-13

Family

ID=81476002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210096231.1A Pending CN114495252A (zh) 2022-01-26 2022-01-26 视线检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114495252A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953389A (zh) * 2023-02-24 2023-04-11 广州视景医疗软件有限公司 一种基于人脸关键点检测的斜视判别方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953389A (zh) * 2023-02-24 2023-04-11 广州视景医疗软件有限公司 一种基于人脸关键点检测的斜视判别方法和装置
CN115953389B (zh) * 2023-02-24 2023-11-24 广州视景医疗软件有限公司 一种基于人脸关键点检测的斜视判别方法和装置

Similar Documents

Publication Publication Date Title
CN108805047B (zh) 一种活体检测方法、装置、电子设备和计算机可读介质
CN105184246B (zh) 活体检测方法和活体检测系统
CN110826370B (zh) 车内人员的身份识别方法、装置、车辆及存储介质
US11132544B2 (en) Visual fatigue recognition method, visual fatigue recognition device, virtual reality apparatus and storage medium
CN112543343B (zh) 基于连麦直播的直播画面处理方法、装置及电子设备
US20190384965A1 (en) A method for selecting frames used in face processing
CN112101123B (zh) 一种注意力检测方法及装置
CN112149615B (zh) 人脸活体检测方法、装置、介质及电子设备
US20200218903A1 (en) CCTV video smart surveillance system and method thereof
CN111325107B (zh) 检测模型训练方法、装置、电子设备和可读存储介质
CN112446352A (zh) 行为识别方法、装置、介质及电子设备
US20210150745A1 (en) Image processing method, device, electronic apparatus, and computer readable storage medium
CN114495252A (zh) 视线检测方法、装置、电子设备及存储介质
CN114903424A (zh) 眼睛类型检测方法及装置、计算机设备、存储介质
CN111783677B (zh) 人脸识别方法、装置、服务器和计算机可读介质
CN113179423A (zh) 事件的检测输出方法及装置、电子设备和存储介质
CN111860559A (zh) 图像处理方法、装置、电子设备和存储介质
CN112395963B (zh) 对象识别方法和装置、电子设备及存储介质
CN114140349A (zh) 干扰图像的生成方法和装置
AU2018284102B2 (en) System and method for generating a photographic police lineup
CN113095116A (zh) 身份识别方法及相关产品
CN114596638A (zh) 人脸活体检测方法、装置及存储介质
Dameron Real vs Fake Faces: DeepFakes and Face Morphing
CN113239887B (zh) 活体检测方法及装置、计算机可读存储介质和电子设备
CN110826486A (zh) 人脸识别辅助检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination