CN105308625B - 可变形表情检测器 - Google Patents

可变形表情检测器 Download PDF

Info

Publication number
CN105308625B
CN105308625B CN201480034110.8A CN201480034110A CN105308625B CN 105308625 B CN105308625 B CN 105308625B CN 201480034110 A CN201480034110 A CN 201480034110A CN 105308625 B CN105308625 B CN 105308625B
Authority
CN
China
Prior art keywords
input picture
value
classification
expression
misclassification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480034110.8A
Other languages
English (en)
Other versions
CN105308625A (zh
Inventor
M·A·萨尔基斯
M·A·穆罕麦德
齐颖勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105308625A publication Critical patent/CN105308625A/zh
Application granted granted Critical
Publication of CN105308625B publication Critical patent/CN105308625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

本发明揭示一种用于可变形表情检测的方法。对于经预处理图像中的每一像素，组合第一定向梯度分量的正负号与第二定向梯度分量的正负号，以产生组合正负号。将每一组合正负号译码成经译码值。基于所述经译码值来检测输入图像中的表情。

Description

可变形表情检测器
相关申请案
本申请涉及并主张2013年6月28日申请的标题为“可变形表情检测器(DEFORMABLEEXPRESSION DETECTOR)”的第61/840,687号美国临时专利申请案的优先权。
技术领域
本发明大体上涉及电子装置。更具体地说，本发明涉及可变形表情检测器。
背景技术
最近几十年中，电子装置的使用已变得普遍。明确地说，电子技术中的进步已减少了越来越复杂且有用的电子装置的成本。成本降低和消费者需求已使电子装置的使用剧增，使得其在现代社会中几乎随处可见。由于电子装置的使用已推广开来，因此需要电子装置的新的且改进的特征。更具体来说，人们常常寻求执行新功能和/或更快、更有效或以更高质量执行功能的电子装置。
一些电子装置(例如相机、视频摄录影机、数码相机、蜂窝式电话、智能电话、计算机电视机等)捕获或利用图像。举例来说，数码相机可捕获数字图像。
人们常常寻求电子装置的新的和/或改进的特征。如可从此论述观察到，添加电子装置的新的和/或改进的特征的系统和方法可为有益的。
发明内容
本发明描述一种用于可变形表情检测的方法。对于经预处理图像中的每一像素，组合第一定向梯度分量的正负号与第二定向梯度分量的正负号，以产生组合的正负号。将每一组合的正负号译码成经译码值。基于所述经译码值来检测输入图像中的表情。
可预处理输入图像，以产生经预处理的图像。可基于关注区(ROI)来使输入图像对准。可裁剪输入图像中的ROI。可按比例缩放ROI。可使ROI的直方图均衡。
定向梯度分量可标准正交。定向梯度分量可为垂直和水平定向梯度分量，或45度和135度定向梯度分量。
译码可包含基于定向梯度分量的正负号来将每一组合的正负号译码成经译码值，而不确定定向梯度分量的量值的值。
表情可包含微笑、眨眼或愤怒。检测表情可包含使用机器学习算法对特征向量进行分类。所述机器学习算法是支持向量机(SVM)算法、增强算法或K-最近相邻者(KNN)算法。
可更新分类错误。可将输入图像分类为包含或不包含表情。可检测输入图像的错分类。可基于所述错分类来更新分类器。检测所述错分类可包含向用户呈现所述输入图像和分类。如果分类是正确的，那么可询问用户。可接收关于分类是否正确的用户输入。检测错分类可包含基于分类之后用户对输入图像的删除来确定分类是不正确的。所述更新可基于用以对输入图像进行分类的分类器的类型。所述分类器可使用机器学习算法。
可调整决策阈值。可将输入图像分类为包含或不包含表情。可检测输入图像的错分类。可手动或基于错分类来调整表情的决策阈值。检测所述错分类可包含向用户呈现所述输入图像和分类。如果分类是正确的，那么可询问用户。可接收关于分类是否正确的用户输入。检测错分类可包含基于分类之后用户对输入图像的删除来确定分类是不正确的。所述调整可基于用以对输入图像进行分类的分类器的类型。手动调整表情的决策阈值可包含显示滑动条，其给予用户选择来通过滑动屏幕上的条或手动输入值来调整所述阈值。所述分类可包含使用机器学习算法对特征向量进行分类。
本发明还描述一种用于可变形表情检测的设备。所述设备包含处理器、与所述处理器进行电子通信的存储器以及存储在存储器中的指令。对于经预处理图像中的每一像素，组合第一定向梯度分量的正负号与第二定向梯度分量的正负号，以产生组合的正负号。将每一组合的正负号译码成经译码值。基于所述经译码值来检测输入图像中的表情。
本发明还描述一种用于可变形表情检测的设备。所述设备包含用于针对经预处理图像中的每一像素将第一定向梯度分量的正负号与第二定向梯度分量的正负号进行组合以产生组合的正负号的装置。所述设备还包含用于将每一组合的正负号译码成经译码值的装置。所述设备进一步包含用于基于所述经译码值来检测输入图像中的表情的装置。
本发明还描述一种用于可变形表情检测的计算机程序产品。所述计算机程序产品包含上面具有指令的非暂时性计算机可读媒体。所述指令包含用于致使电子装置针对经预处理图像中的每一像素，组合第一定向梯度分量的正负号与第二定向梯度分量的正负号以产生组合正负号的代码。所述指令还包含用于致使所述电子装置将每一组合正负号译码成经译码值的代码。所述指令进一步包含用于致使所述电子装置基于所述经译码值来检测输入图像中的表情的代码。
附图说明
图1是说明用于可变形表情检测的电子装置的框图；
图1A说明由处理器实施的图1的系统内的一些组件；
图2是说明可变形表情检测模块的框图；
图3是说明用于根据经修改边缘直方图描述符(mEHD)来进行可变形表情检测的方法的流程图；
图4是说明用于根据边缘直方图描述符(EHD)来构建特征向量的方法的流程图；
图5是说明根据EHD来计算特征向量的实例的图；
图6是说明用于根据经修改边缘直方图描述符(mEHD)来构建特征向量的方法的流程图；
图7是说明译码定向梯度分量的组合正负号的实例的图；
图8是说明根据mEHD来计算特征向量的实例的图；
图9是说明用于预处理图像的方法的流程图；
图10是说明用于更新分类错误的方法的流程图；
图11是说明用于调整决策阈值的方法的流程图；以及
图12说明可包含于电子装置/无线装置内的一些组件。
具体实施方式
可变形表情可指示各种感情、心情、动作或精神状态，例如愉快、悲伤、担心和快乐。在一些配置中，可从人类的面部或示意动作捕获表情。感情或精神状态可针对可包含人机接口、交互式游戏、患者监视以及更多的应用相关。实际上，检测表情可使例如用相机或智能电话拍摄照片等简单应用程序变得更简单，因为快门在肖像或自拍图像中可等待，直到人实际上作出表情(例如微笑、睁眼等)的时刻为止。
表情检测是计算机视觉的活跃研究领域。为了进行表情检测，首先检测含有所关注对象(例如人类面部)的图像。接着，定位标志(例如面部中的眼睛)。基于这些标志，可旋转、裁剪和按比例缩放所述图像。可提取图像特征。可将经训练的分类器应用于所提取的特征，以确定表情的状态。举例来说，分类器可从不笑检测笑，或从闭着的眼睛检测睁开的眼睛。
应注意，笑容检测或眨眼检测是面部表情的实例。然而，本发明的系统和方法不限于检测面部表情。因此，本文所述的系统和方法可用于检测任何可变形表情。如本文所使用，术语“可变形表情”是指人类、动物或对象的形状(或形式)随时间的变化。因此，可变形表情可包含人类、动物或对象示意动作。可变形表情的实例包含面部表情，例如微笑、眨眼、愤怒或悲伤。可变形表情的另一实例包含非面部表情，例如对象是否在奔跑。
本发明的系统和方法可将边缘直方图描述符(EHD)用于基于定向梯度分量的量值和正负号的特征提取。此外，可将EHD的经修改版本用于基于定向梯度分量的正负号的特征提取。此经修改的边缘直方图描述符(mEHD)可提供益处，因为其是硬件友好的和大小紧凑。
为了限制分类错误，本发明的系统和方法还可将一或多个反馈单元集成到总表情检测机构。第一反馈单元可为交互式用户接口(UI)。此第一反馈单元可通过在随机或离散时间点询问用户关于准确性或从删除的图像检测错误来检测错误地分类的表情。第一反馈单元可接着基于检测到的错误来自动更新分类算法。第二反馈单元还可为交互式UI。第二反馈单元可给予用户选择来以适合用户的方式调整决策阈值。
图1是说明用于可变形表情检测的电子装置102的框图。电子装置102也可被称作无线通信装置、移动装置、移动台、订户台、客户端、客户端台、用户设备(UE)、远端台、接入终端、移动终端、终端、用户终端、订户单元等。电子装置102的实例包含膝上型或桌上型计算机、蜂窝式电话、智能电话、无线调制解调器、电子阅读器、平板裝置、游戏系统等。这些裝置中的一些可根据一或多个行业标准来操作。
智能电话或平板计算机等电子装置102可包含相机。相机可包含图像传感器104和光学系统106(例如，透镜)，其将位于光学系统106的视野内的对象的图像聚焦到图像传感器104上。电子装置102还可包含相机软件应用程序和显示屏。当相机应用程序在运行时，可由图像传感器104记录位于光学系统106的视野内的对象的图像。图像传感器104正记录的图像可显示于显示屏上。可以相对较高的帧速率快速连续显示这些图像，使得在任何给定时刻处，位于光学系统106的视野内的对象显示于显示屏上。尽管在所捕获视频帧方面描述本发明系统和方法，但本文中所论述的技术可用于任何数字图像上。因此，术语视频帧和数字图像在本文中可互换使用。
相机应用程序的用户接口110可准许用户与可变形表情检测模块112交互。举例来说，用户可通过使用触摸屏108与可变形表情检测模块112交互。在一个配置中，可变形表情检测模块112可预处理输入图像，从所述图像提取特征向量，且将所述图像分类为含有或不含有特定表情(例如微笑、愤怒、担心、闭眼等)。
为了获得特征向量，本发明的系统和方法可使用边缘直方图描述符(EHD)来检测输入图像中的特征。EHD可包含计算图像的定向梯度分量的量值和正负号。另外，本发明的系统还可使用经修改EHD(mEHD)，其可包含仅计算图像的定向梯度分量的正负号而非实值(例如量值和正负号)。此最佳化可使用较少的资源，同时与EHD相比时维持准确性。
此外，可变形表情检测模块112可包含两个反馈单元，以适应所述分类。具体来说，第一反馈单元可更新分类算法，且第二反馈单元可基于用户输入或基于从删除的图像察觉的错分类来转变决策阈值。
如图1A中示出，可变形表情检测模块112可由处理器101实施。或者，可使用不同处理器来实施不同组件(例如一个处理器可预处理所述图像，另一处理器可用于获得特征向量，另一处理器可用于对表情进行分类)。
图2是说明可变形表情检测模块212的框图。可变形表情检测模块212可包含预处理器216、特征提取器228和分类器232。预处理器216可接收输入图像214，且可产生强调所要关注区(ROI)的ROI图像226。可从相机(例如图像传感器104和光学系统106)接收图像214。还可从存储器接收图像214。在一些配置中，ROI可为对象的面部。然而，应注意ROI可为输入图像214内的任何区。
预处理器216可包含对准器218，其相对于ROI来使输入图像214对准。举例来说，对准器218可使面部对准，使得面部上的眼睛在水平线上。
预处理器216还可包含裁剪器220，其裁剪经对准的图像214。裁剪器220可将非ROI部分从输入图像214去除。举例来说，裁剪器220可将非面部区从输入图像214去除。
预处理器216还可包含按比例缩放器222，其按比例缩放输入图像214以用于比较目的。举例来说，按比例缩放器222可将面部区按比例缩放到预定义大小。
另外，预处理器216可包含直方图均衡器224，以均衡或标准化输入图像214的直方图。举例来说，直方图均衡器224可克服输入图像214中的光照变化。
预处理器216可输出ROI图像226。ROI图像226可包含在对准且接着按比例缩放到预定义大小之后从输入图像214裁剪的ROI。下文结合图9描述将面部用作ROI的实例预处理情形。在一个配置中，ROI图像226中的像素的值可为基于ROI的原始输入图像214的经修改版本。
特征提取器228可接收ROI图像226，且可产生特征向量230。在一个配置中，特征提取器228可使用边缘直方图描述符(EHD)或EHD的经修改版本(mEHD)来获得输入图像214的特征向量230。EHD可指示边缘分布，且mEHD可指示边缘分布在图像214中的正负号。
在一个配置中，特征提取器228可基于ROI图像226产生定向梯度图像。定向梯度图像可基于定向梯度分量。在一个配置中，可计算ROI图像226的各个方向上的梯度(例如定向梯度分量)。这可如下文结合图4所描述来实现。
对于EHD，特征提取器228可基于定向梯度图像中的量值和正负号来构建特征向量230。举例来说，可通过将每一定向梯度图像分成若干单元且计算每一单元中的像素的定向梯度分量的空间直方图来计算特征向量230。所述单元也可被称作块、补丁或子图像。每一定向梯度图像的细分可在均匀不重叠网格、均匀重叠网格、不均匀不重叠网格或不均匀重叠网格的单元中。单元的数目和类型可取决于表情检测应用程序的复杂性。
可基于定向梯度分量的量值和正负号来确定单元中的边缘。可将每一单元中的边缘分类成不同类型。举例来说，可将边缘分类为垂直、水平、45度、135度或其它定向。还可将边缘分类为非定向。可通过对每一单元中的边缘和非边缘进行计数来产生空间直方图。可通过组合每一定向梯度图像的空间直方图来构建EHD特征向量230。结合图4论述根据EHD来构建特征向量230的实例。
对于mEHD，特征提取器228可基于定向梯度图像中的正负号来构建特征向量230。举例来说，特征提取器228可组合定向梯度图像的定向梯度分量的正负号，以产生ROI图像226的每一像素的组合正负号。特征提取器228可接着将每一组合正负号译码成经译码值。可将ROI图像226的经译码值分成若干单元。可通过对每一单元中的经译码值中的每一者进行计数来产生空间直方图。可从空间直方图构建mEHD特征向量230。结合图6论述根据EHD来构建特征向量230的实例。
EHD和mEHD的使用可导致降低的计算复杂性，以及与通过其它方法(例如主成分分析(PCA)或局部二进制模式(LBP)或定向梯度的直方图(HOG))产生的特征向量230相比较低维度的特征向量230。另外，mEHD可与EHD相比，提供计算复杂性的进一步降低。
分类器232可基于特征向量230来计算表情决策248。可结合机器学习算法来使用EHD或mEHD特征向量230，以确定、检测或计算可变形表情。举例来说，分类器232可计算指示可变形表情的状态的表情决策248。表情决策248可指示笑容/无笑容、眨眼/未眨眼、愤怒/不愤怒、奔跑/非奔跑等。
分类器232可使用机器学习算法来计算表情决策248。许多机器学习算法是当前可用的。这些机器学习算法包含K最近相邻者(KNN)、支持向量机(SVM)、增强算法、决策树、神经网络等。可使用离线训练数据240来训练机器学习算法。在一个配置中，可使用数据库图像来训练机器学习算法，以基于EHD或mEHD特征向量230或两个特征向量230的组合来创建模型。
在一个实施方案中，KNN可计算图像数据库中的每一表情的每一图像的EHD或mEHD特征向量230，且可将特征向量230存储在模型中。在另一个实施方案中，SVM可使用每一表情的EHD或mEHD特征向量230来计算表情的最大裕度超平面。可存储超平面等式或支持向量，以构建用于分类的模型。在又一实施方案中，增强算法可从针对表情计算的EHD或mEHD特征向量230建立弱分类器。弱分类器将构建用于增强算法的模型。一旦使用机器学习算法学到模型，就可使用所述机器学习算法的对应检测算法来检测可变形表情。
在一个配置中，分类器232可使用KNN算法来计算表情决策248。为了使用KNN算法，可通过找出到K个最近相邻者的最小距离来对图像214或ROI图像226进行分类。可从来自EHD、mEHD或两种类型的组合的特征向量230的学习数据库找出所述相邻者。接着，图像214或ROI图像226的mEHD特征向量230的EHD到数据库或模型中的K特征向量的最近距离将决定可变形表情(例如表情决策248)。
在另一配置中，分类器232可使用SVM算法来计算表情决策248。为了使用SVM算法，发现较高维度空间中的最大裕度超平面使表情的两个子集分开(例如笑/不笑)。SVM算法可从来自EHD、mEHD或两种类型的组合的特征向量230的学习数据库检测一或多个类别。SVM算法可基于特征向量230执行查询。可将图像214或ROI图像226的可变形表情是为图像214或ROI图像226的所计算的EHD或mEHD特征向量230到超平面的一侧的距离。
在另一配置中，分类器232可使用增强算法来计算表情决策248。为了使用增强算法，错误在标签与模型预测之间最小化。增强算法构建弱分类器级联，其中每一弱分类器使用来自EHD、mEHD或两中类型的组合的特征向量230的学习数据库，从先前弱分类器的错误概率学习。可通过计算图像214或ROI图像226的EHD或mEHD特征向量230，并将特征向量230输入到弱分类器，来找出图像214或ROI图像226的可变形表情(例如表情决策248)，弱分类器接着将基于EHD或mEHD特征向量230的概率(或可能性)来确定可变形表情。
可变形表情检测器模块212还可包含第一反馈单元234和第二反馈单元242。第一反馈单元234可更新分类器232所产生的分类错误。举例来说，第一反馈单元234中的分类用户接口236可询问用户，或基于删除的图像214来检测表情的错分类。分类器更新器238可基于错分类错误来更新分类器232。在一个实例中，如果表情决策248是不正确的(例如根据到分类用户接口236的输入或在分类之后删除图像214来确定)，分类器更新器238可调整分类器232所使用的具有错误图像的习得模型。结合图10更详细地论述第一反馈单元234。
第二反馈单元242可允许用户适应分类器232的决策阈值246。采用决策阈值246可调整将在图像214中找到特定表情的可能性。第二反馈单元242可包含决策阈值用户接口244，其可允许用户改变分类算法所使用的决策阈值246。因此，可转变决策阈值246以适合特定用户。结合图11更详细地论述第二反馈单元242。
图3是说明用于根据mEHD来进行可变形表情检测的方法300的流程图。方法300可由电子装置102实施。在一个配置中，方法300可用于面部表情检测。举例来说，表情可包含例如微笑或眨眼等动作。表情还可包含例如愤怒或悲伤等感情。在此配置中，关注区(ROI)是面部。然而，此方法300可一般化为用于检测具有某一ROI的任何可变形表情。
电子装置102可产生第一定向梯度图像和第二定向梯度图像。定向梯度图像可基于与特定方向相关联的定向梯度分量。可基于算子(例如索贝尔(Sobel)或斯查(Scharr)算子)来确定定向梯度图像的定向梯度分量。举例来说，可将算子应用于ROI图像226中的每一像素，以计算定向梯度分量。在一个配置中，电子装置102可仅确定定向梯度分量的正负号(而不确定量值)。在另一配置中，计算定向梯度分量的量值和正负号两者。
定向梯度分量可标准正交。举例来说，定向梯度分量可为垂直和水平定向梯度分量，或45度和135度定向梯度分量。
电子装置102可针对经预处理图像中的每一像素，组合(302)第一定向梯度分量的正负号与第二定向梯度分量的正负号，以产生组合正负号。经预处理的图像可为ROI图像226。每一像素的定向梯度分量的值为正、负或零。在一个实施方案中，可将值零视为正值。因此，定向梯度分量的正负号可为正或负。每一像素的定向梯度分量的组合正负号可在此基础中具有四个不同组合。所述正负号可两者均为正(例如正/正或++)，两者均为负(例如负/负或--)，一个为正且另一个为负(例如正/负或+-)，以及一个为负且另一个为正(例如负/正或-+)。
电子装置102可将所述组合正负号中的每一者译码(304)成经译码值。举例来说，组合正负号的不同组合中的每一者可具有不同经译码值。因此，可将组合正负号翻译为特定经译码值(例如代码)。在一个配置中，译码(304)可包含基于定向梯度分量的正负号来译码每一像素，而不确定定向梯度分量的量值的值。
电子装置102可基于经译码值来检测(306)输入图像214中的表情。举例来说，可将ROI图像226的经译码值分成若干单元。可通过对每一单元中的经译码值中的每一者进行计数来产生空间直方图。可从所述空间直方图构建特征向量230。电子装置102可接着使用机器学习算法对特征向量230进行分类。所述机器学习算法可为SVM算法、增强算法或KNN算法。
图4是说明用于根据EHD来构建特征向量230的方法400的流程图。方法400可由电子装置102实施。在一个配置中，方法400可用于面部表情检测。在此配置中，关注区(ROI)是面部。然而，此方法400可一般化为用于检测具有某一ROI的任何可变形表情。因此，图4中说明的流程图中的步骤描述用于提取特征向量230的EHD的一般实施方案。
电子装置102可接收(402)ROI图像226。在一个配置中，可在预处理输入图像214后即刻获得ROI图像226。这可如上文结合图2所描述来实现。
电子装置102可产生(404)第一定向梯度图像和第二定向梯度图像。定向梯度图像可基于定向梯度分量。在一个配置中，可计算各个方向上的梯度(例如图像214或ROI图像226的定向梯度分量)。这可使用各种算子来进行。一些实例算子包含索贝尔、普瑞维特(Prewitt)、斯查或其它有限差算子。此外，所述算子可为线性或非线性算子。这些算子也可被称作核或滤波器。这些算子中的任一者(或可调用计算导数的任何算子)可用于计算EHD或mEHD的定向梯度。算子所产生的定向梯度分量可包含垂直、水平、45度、135度或任何其它方向。在一些配置中，算子可为包含各种元素的矩阵。因此，定向梯度分量可为图像(例如ROI图像226)与对应于特定方向的算子(例如索贝尔算子)的卷积的输出。
在一个实例中，定向梯度分量可包含水平定向梯度分量(Gh)和垂直定向梯度分量(Gv)。可通过将水平索贝尔算子应用于ROI图像226来计算ROI图像226中的每一像素的水平定向梯度分量(Gh)，如等式(1)中示出。可通过将垂直索贝尔算子应用于ROI图像226来计算ROI图像226中的每一像素的垂直定向梯度分量(Gv)，如等式(2)中示出。
在等式(1)和等式(2)中，变量I是考虑中的ROI图像226，“*”是卷积算子，且矩阵是算子(例如索贝尔算子)。在等式(1)和等式(2)中，可通过在ROI图像226上方滑动算子来执行卷积。每一算子位置可为ROI图像226中的像素产生对应的定向梯度分量。因此，基于等式(1)和等式(2)，ROI图像226中的每一像素具有两个定向梯度分量。举例来说，像素具有水平定向梯度分量(Gh)和垂直定向梯度分量(Gv)。
可基于卷积操作来计算定向梯度分量的值。举例来说，可通过使算子值与所述算子的每一元素的基础ROI图像像素226值相乘，且接着将这些结果加在一起莱计算定向梯度分量的值。定向梯度分量的值具有某一量值和正负号，如由卷积确定。
定向梯度图像可由与特定方向相关联的定向梯度分量组成。图5中说明针对两个方向(例如水平和垂直)的所得定向梯度图像的实例。如果需要，那么也可为EHD计算其它定向梯度图像(例如45度、135度等)。取决于考虑中的可变形表情，计算较多的定向梯度可增加检测的准确性。定向梯度图像的每一定向梯度分量可指示与定向梯度分量相关联的方向上的原始ROI图像226中的同一点处的强度变化。
电子装置102可基于定向梯度图像中的量值和正负号来产生(406)第一空间直方图和第二空间直方图。可通过将定向梯度图像分为网格来将定向梯度图像分为若干单元。可将每一单元中的边缘分类成不同类型。举例来说，可将边缘分类为垂直、水平、45度、135度或其它定向。还可将边缘分类为非定向。
可通过对定向梯度图像的每一单元中的边缘类型进行计数，来产生(406)EHD中的空间直方图。举例来说，可将每一定向梯度分量的值量化到两区间中。举例来说，可将定向梯度分量分类为边缘或非边缘，取决于定向梯度分量的量值是否大于预定义阈值。对于EHD，可基于梯度量值来确定边缘的强度。空间直方图可包含每一单元中的边缘和非边缘的数目。每一定向梯度分量的空间直方图可表达为向量(例如分量特征向量)。
在其中定向梯度分量包含水平定向梯度分量(Gh)和垂直定向梯度分量(Gv)的实例中，第一空间直方图可指示每一单元中的水平边缘和非边缘的数目。第一空间直方图的值可包含于第一分量特征向量中。因此，第一分量特征向量可包含第一梯度图像的每一单元中的水平边缘和非水平边缘的数目。第二空间直方图可指示每一单元中的垂直边缘的数目。第二空间直方图的值可包含于第二分量特征向量中。因此，第二分量特征向量可包含第二梯度图像的每一单元中的垂直边缘和非垂直边缘的数目。
电子装置102可基于第一空间直方图和第二空间直方图来构建(408)特征向量230。举例来说，可串接或组合第一分量特征向量和第二分量特征向量，以获得特征向量230。特征向量230的维度与空间直方图的单元C的数目、所使用的定向梯度分量D的数目以及梯度值的量化等级Q的数目(例如C×D×Q)有关。
在一个配置中，可使EHD中计算的值标准化。举例来说，可通过使特征向量230的值除以对其计算空间直方图的单元的总大小来执行标准化。标准化可使特征向量230的最终值在0与1之间。此标准化步骤可对例如支持向量机(SVM)等一些机器学习算法有益。
应注意，在本文所述的系统和方法中，可使用完整定向梯度记法(例如定向梯度分量的正负号和量值)来构建EHD特征向量230。因此，用以构建EHD特征向量230的空间直方图应考虑所有梯度信息(例如定向梯度分量的正负号和量值)。
图5是说明根据EHD来计算特征向量530的实例的图。在此实例中，从ROI图像226产生第一定向梯度图像550a和第二定向梯度图像550b。ROI图像226的大小是48个像素乘以48个像素(例如48×48)。第一定向梯度分量是水平定向梯度分量(Gh)。第二定向梯度分量是垂直定向梯度分量(Gv)。
可通过将算子应用于ROI图像226来产生定向梯度图像550。举例来说，卷积运算可产生对应于特定方向的定向梯度分量。这可如上文结合图4所描述来实现。在此实例中第一定向梯度图像550a对应于水平定向梯度分量(Gh)。第二定向梯度图像550b对应于垂直定向梯度分量(Gv)。定向梯度图像550各自为48×48个像素。定向梯度图像550中的每一定向梯度分量可具有介于-127到127之间的值。
为了产生空间直方图，每一定向梯度图像550可分成若干单元552。在此实例中，将定向梯度图像550分成3×3网格中的九个不重叠单元552。每一单元552具有16×16个像素的大小。
可通过对定向梯度图像550的每一单元552中的边缘类型进行计数，来产生空间直方图。举例来说，可将定向梯度图像550中的每一定向梯度分量的值量化到两个区间(例如2个量化等级)中。举例来说，定向梯度分量可为边缘或非边缘，取决于定向梯度分量的量值是否大于预定义阈值。空间直方图可包含每一单元552中的边缘和非边缘的数目。
空间直方图的值可包含于分量特征向量554中。分量特征向量554的维度是基于空间直方图的单元C的数目以及量化等级Q的数目。在此实例中，存在九个单元552和两个量化等级(例如边缘或非边缘)。因此，分量特征向量554的维度是9×2＝18。换句话说，在此实例中，分量特征向量554各自包含18个元素。
在此实例中，第一空间直方图的值可包含在第一分量特征向量554a中。因此，第一分量特征向量554a可包含第一梯度图像550a的每一单元552中的水平边缘和非水平边缘的数目。第二空间直方图可指示每一单元552中的垂直边缘的数目。第二空间直方图的值可包含于第二分量特征向量554b中。因此，第二分量特征向量554b可包含第二梯度图像550b的每一单元552中的垂直边缘和非垂直边缘的数目。
如上文所论述，EHD的特征向量530的维度与空间直方图的单元C的数目、所使用的定向梯度分量D的数目以及量化等级Q的数目(例如C×D×Q)有关。在此实例中，存在九个单元552、两个定向梯度分量(例如Gh和Gv)以及两个量化等级。因此，特征向量530的维度是9×2×2＝36。换句话说，在此实例中，特征向量530包含36个元素。应注意，结合图5而论述的实例中所指示的值是说明性的，且可根据所描述的系统和方法而变化。
在一个配置中，可使EHD中计算的值标准化。举例来说，可通过使特征向量530的值除以对其计算空间直方图的单元552的总大小来执行标准化。在此实例中，可将特征向量530的值除以单元552的大小(例如256＝16×16)，以确保特征向量530的最终值介于0与1之间。
图6是说明用于根据mEHD来提取特征向量230的方法600的流程图。方法600可由电子装置102实施。在一个配置中，方法600可用于面部表情检测。在此配置中，关注区(ROI)是面部。然而，此方法600可一般化为用于检测具有某一ROI的任何可变形表情。因此，图6中说明的流程图中的步骤描述用于提取特征向量230的EHD的一般实施方案。
与其它已知解决方案相比，基于EHD的特征向量230计算起来较简单，因为与单数值分解(如在PCA中)或内插法(如在LBP中)形成对比，EHD调用梯度计算。然而，例如移动装置等电子装置102可得益于进一步低成本特征，以便节约资源并减少功率消耗。因此，本发明的系统和方法描述经修改EHD(mEHD)，其可减少EHD的计算，且是硬件友好的。
电子装置102可接收(602)ROI图像226。在一个配置中，可在如上文结合图2所描述而预处理输入图像214后即刻获得ROI图像226。
电子装置102可产生(604)第一定向梯度图像和第二定向梯度图像。这可如上文结合图4所描述来实现。定向梯度图像可基于与特定方向相关联的定向梯度分量。
定向梯度分量可为标准正交的，且可定义标准正交基础。标准正交基础的一个实例是索贝尔算子及其转置，如上文在等式(1)和(2)中所述。因此，在一个配置中，定向梯度分量可为垂直和水平定向梯度分量。在另一配置中，定向梯度分量可为45度和135度定向梯度分量。应注意，可使用任何标准正交基础。
在一个实例中，定向梯度分量可包含水平定向梯度分量(Gh)和垂直定向梯度分量(Gv)。在此实例中Gh和Gv形成标准正交基础，且可用于产生(604)第一定向梯度图像和第二定向梯度图像。
定向梯度图像可由与特定方向相关联的定向梯度分量组成。图8中说明示出定向梯度图像针对两个方向(例如水平和垂直)而得到的像素值(例如定向梯度分量值)的实例。
电子装置102可组合(606)第一定向梯度分量的正负号与第二定向梯度分量的正负号，以产生组合正负号。对于mEHD，代替于考虑全定向梯度值(例如定向梯度分量的量值和正负号)，仅考虑至少两个定向梯度分量的正负号来构建特征向量230。此外，与在经由索贝尔或斯查算子计算边缘的情况下可能失效的其它已知特征描述符解决方案相比，mEHD对如何计算边缘不敏感。举例来说，索贝尔和斯查算子近似表示旋转不变性，这对于其它已知特征描述符解决方案是成问题的。
每一像素的定向梯度分量的值为正、负或零。在一个实施方案中，可将值零视为正值。因此，定向梯度分量的正负号可为正或负。每一像素的定向梯度分量的组合正负号可在此根据中具有四个不同组合。所述正负号可两者均为正(例如正/正或++)，两者均为负(例如负/负或--)，一个为正且另一个为负(例如正/负或+-)，以及一个为负且另一个为正(例如负/正或-+)。
电子装置102可将每一组合正负号译码(608)成经译码值。经译码值的最大数目可取决于所使用的定向梯度分量的数目。可将经译码值的最大数目M确定为M＝2D，其中D是所使用的定向梯度分量的数目。在其中定向梯度分量包含水平定向梯度分量(Gh)和垂直定向梯度分量(Gv)的实例中，使用两个定向梯度(例如，D＝2)，且组合正负号的经译码值的最大数目为4。换句话说，在此实例中，可将组合正负号译码(608)成四个不同经译码值中的一者。
电子装置102可基于经译码值来产生(610)空间直方图。在一个配置中，可通过将ROI图像226中的每一像素的经译码值分成单元网格来产生(610)空间直方图。在一个实例中，可将ROI图像226中的每一像素的经译码值分成3×3网格中的九个不重叠单元。可通过对单元中的每一经译码值的数目(例如出现率)进行计数来产生(610)空间直方图。
电子装置102可基于空间直方图来构建(612)特征向量230。特征向量230可包含空间直方图的值。因此，特征向量230可包含空间直方图的每一单元中的每一经译码值的数目(例如出现率)。基于mEHD的特征向量230的维度与空间直方图的单元C的数目和所使用的经译码值M的数目有关。(例如C×M)。结合图8论述基于mEHD构建(612)特征向量230的较详细实例。
在一个配置中，可使mEHD中计算的值标准化。举例来说，可通过使特征向量230的值除以对其计算空间直方图的单元的总大小来执行标准化。标准化可使特征向量230的最终值在0与1之间。
应注意，mEHD特征向量230可直接且同时从两个基础图像构建。然而，在EHD(上文结合图4和图5描述)中，独立处理每一定向梯度分量。此外，对于mEHD，当经译码以构建mEHD特征向量230时，可使用所述方向的正负号。空间直方图应使用定向梯度分量的正负号(或经译码正负号)来构建包含于mEHD特征向量230中的空间直方图值。
图7是说明译码定向梯度分量的组合正负号756的实例的图。在图7中，和是定向导数。此外，和是第一定向梯度分量(G1)和第二定向梯度分量(G2)所界定的轴。在一个配置中，和可界定标准正交基础。举例来说，可对应于水平定向梯度分量(Gh)，且可对应于垂直定向梯度分量(Gv)。在此实例中，可表达为且可表达为
G1和G2中(且因此和中)的每一像素可为正、负或零。在一个实施方案中，可将值零视为正值。在图7中所说明的实例中，界定所述基础的G1和G2中的定向梯度分量的组合正负号756用于二维问题。因此，在此基础上，每一像素的定向梯度分量的组合正负号756可具有四个不同组合。所述正负号可两者均为正(例如正/正或++)，两者均为负(例如负/负或--)，一个为正且另一个为负(例如正/负或+-)，以及一个为负且另一个为正(例如负/正或-+)。可使用组合正负号756，使得分类器232可通过根据mEHD找出正负号变化或模式来检测可变形表情。
可将组合正负号756译码成四个不同经译码值758。在图7中说明的配置中，可将负/负译码为0，可将正/负译码为1，可将正/正译码为2，且可将负/正译码为3。
经译码值758的数目可取决于所使用的定向导数的数目。可在两个维度中仅使用两个定向导数来构建mEHD特征向量230(例如mEHD描述符)。所述概念可扩展到两个以上定向导数。在此情况下，可使用四个以上经译码值758。所需的经译码值758的数目取决于所使用的定向导数的数目。对于两个定向导数，需要22＝4个经译码值758。对于L个定向导数，其中L≥2，需要2L个经译码值758。
图7中说明二维曲线图，但本文所述的系统和方法也可扩展到N维。因此，mEHD特征向量230可扩展到N维。一个实例是在视频序列中包含时间。另一实例是使用较多的定向梯度。经译码值758的最大数目将仍取决于所使用的定向梯度分量(和对应定向导数)的数目。
作为mEHD的扩展，有可能不使用所有经译码值758。在一个配置中，可仅使用四个经译码值758中的两个。每两个反对角线正负号(例如++和--或+-和-+)彼此互补。取决于表情检测的复杂性，两个经译码值758可足以描述正负号图案。举例来说，++和+-或++和-+或--和+-或--和-+可足以描述正负号图案。
图8是说明根据mEHD来计算特征向量830的实例的图。在此实例中，从ROI图像226产生第一定向梯度图像850a和第二定向梯度图像850b。这可如上文结合图6所描述来实现。图8中说明定向梯度图像850的像素值(例如定向梯度分量值)。
在此实例中，ROI图像226的大小为48个像素乘48个像素(例如48×48)。第一定向梯度图像850a对应于水平定向梯度分量(Gh)。第二定向梯度图像850b对应于垂直定向梯度分量(Gv)。定向梯度图像850各自为48×48个像素。在此实例中，计算定向梯度分量的量值。定向梯度图像850中的每一定向梯度分量可具有介于-127到127之间的值。这可基于索贝尔算子来实现，如上文结合图6所论述。然而，应注意，在其它配置中，可仅确定每一定向梯度分量的正负号(而不确定量值)。
可组合定向梯度图像850的正负号，以产生ROI图像226的每一像素的组合正负号856。举例来说，可组合第一定向梯度分量的正负号与第二定向梯度分量的正负号，以产生组合正负号856。每一像素的定向梯度分量的值为正、负或零。在一个实施方案中，可将值零视为正值。每一像素的定向梯度分量的组合正负号856可在此基础中具有四个不同组合。所述正负号可两者均为正(例如正/正或++)，两者均为负(例如负/负或--)，一个为正且另一个为负(例如正/负或+-)，以及一个为负且另一个为正(例如负/正或-+)。
可将组合正负号856译码为经译码值858。这可如上文结合图7所描述来实现。在此实例中，使用两个定向梯度分量。因此，对于每一组合正负号856，经译码值858的最大数目为四。换句话说，可用四个不同经译码值858中的一者来译码组合正负号856。
可基于空间直方图产生特征向量830。在此实例中，可通过将ROI图像226中的每一像素的经译码值858分成不重叠单元852的网格来产生空间直方图。将经译码值858分成3×3网格中的九个单元852。在此情况下每一单元852具有大小16×16。可通过对单元852中的每一经译码值的数目(例如出现率)进行计数来产生空间直方图。
特征向量830可包含空间直方图的每一单元852中的每一经译码值的数目(例如出现率)。基于mEHD的特征向量830的维度与空间直方图的单元C的数目和所使用的经译码值M的数目有关。(例如C×M)。在此实例中，单元C的数目是9，且所使用的经译码值M的数目是4。因此，特征向量830的维度是9×4＝36。
在一个配置中，可使mEHD中计算的值标准化。举例来说，可通过使特征向量230的值除以对其计算空间直方图的单元852的总大小来执行标准化。在此实例中，单元852的大小是16×16＝256。标准化可使特征向量230的最终值在0与1之间。
图9是说明用于预处理图像214的方法900的流程图。方法900可由电子装置102来执行。在一个配置中，可为面部表情检测执行方法900。因此，关注区(ROI)为面部。然而，本发明的系统和方法可一般化到具有某一ROI的任何可变形表情。
电子装置102可接收(902)输入图像214。可从相机(例如图像传感器104和光学系统106)接收(902)图像214。还可从存储器接收(902)图像214。
电子装置102可使输入图像214相对于ROI对准(904)。举例来说，电子装置102可使面部对准，使得面部上的眼睛在水平线上。
电子装置102可裁剪(906)经对准的图像214。举例来说，电子装置102可将非ROI部分从输入图像214去除。在面部表情检测的情况下，电子装置102可将非面部区从输入图像214去除。
电子装置102可按比例缩放(908)经裁剪的图像214。可出于比较目的而按比例缩放(908)输入图像214。举例来说，电子装置102可将面部区按比例缩放(908)到预定义大小。
电子装置102可执行(910)直方图均衡。可执行(910)直方图均衡化，以均衡或标准化输入图像214的直方图。举例来说，电子装置102可克服输入图像214中的光照变化。
电子装置102可输出(912)ROI图像226。ROI图像226可包含从经对准、按比例缩放到预定义大小且均衡的输入图像214裁剪的ROI。
应注意，图9中说明的方法900的步骤可互换。此外，可添加或去除一些步骤，取决于用户可容许的准确性或复杂性。举例来说，在此方法900的一些配置中，可丢弃直方图均衡。此外，还可丢弃基于ROI的对准。实际上，作为用于可变形表情检测的特殊配置，可去除所有预处理步骤。
图10是说明用于更新分类错误的方法1000的流程图。方法1000可由电子装置102来执行。在一个配置中，方法1000可由电子装置102中的第一反馈单元234执行。电子装置102可将输入图像214分类(1002)为包含或不包含表情。在一种情形中，电子装置102可确定输入图像中的面部是否包含特定表情。表情的实例包含微笑、闭眼、愤怒、奔跑等。
电子装置102可检测(1004)输入图像214的错分类。举例来说，可能不当检测到笑容，或当眼睛实际上是睁开的时，可能确定眼睛是闭着的分类。检测(1004)错分类可包含在使用相机的应用中使用分类用户接口236。
在一个配置中，分类用户接口236可通过询问用户关于分类的准确性来检测(1004)输入图像214的错分类(例如错误检测到的表情)。在拍摄照片(例如输入图像214)并确定表情决策248之后，分类用户接口236可向用户呈现输入图像214和分类(例如表情决策248)。分类用户接口236可询问用户分类是否正确。分类用户接口236可要求用户以固定间隔(例如针对每一分类、每隔一个分类、每隔两个分类等)或随机地检验分类的准确性。用户可接着有机会检验分类是正确的或识别错分类。
在另一配置中，可从用户删除图像214推断错分类。举例来说，如果图像214的分类不正确，那么用户可删除图像214。分类用户接口236可将对应于删除的图像的分类识别为错分类。以此方式，分类用户接口236可知晓分类错误。
电子装置102可基于错分类来更新(1006)分类器232。分类器232到更新1006可取决于所使用的分类器232的类型。举例来说，K最近相邻者(KNN)分类器232可将图像214或ROI图像226的最短距离用于学习数据库的K元素。支持向量机(SVM)分类器232可找出分隔两个子集(例如笑/不笑，跑/不跑)的超平面(H)，接着找出查询作为到H的一侧的距离。增强(例如平缓增强)分类器232可相对于分布使用迭代学习弱分类器232，并将其相加以形成最终强分类器232。
在一个实例中，如果使用SVM，那么更新1006可包含使用错误图像214或错误ROI图像226(例如对应于错分类的图像214或ROI图像226)的新EHD或mEHD特征向量230来更新超平面的支持向量。如果使用KNN，那么更新1006可包含将图像214或ROI图像226的新EHD或mEHD特征向量230的特征向量230添加到数据库。如果使用增强算法(例如平缓增强)，那么更新1006可包含用错误图像214或错误ROI图像226的EHD或mEHD特征向量230来更新分类器232。
图11是说明用于调整决策阈值246的方法1100的流程图。方法1100可由电子装置102来执行。在一个配置中，方法1100可由电子装置102中的第二反馈单元242执行。电子装置102可将输入图像214分类(1102)为包含或不包含表情。在一种情形中，电子装置102可确定输入图像214中的面部是否包含特定表情。表情的实例包含微笑、闭眼、愤怒、快乐、奔跑等。
电子装置102还可检测(1104)输入图像214的错分类。举例来说，可能不当检测到笑容，或当眼睛实际上是睁开的时，可能确定眼睛是闭着的分类。检测(1104)错分类可包含在使用相机的应用中使用决策阈值用户接口244。举例来说，在拍摄照片(例如输入图像214)之后，决策阈值用户接口244可向用户呈现输入图像214和分类(例如表情决策248)，并询问其是否正确。用户可接着有机会检验分类是正确的或识别错分类。或者，可从用户删除图像214来推断错分类。举例来说，如果图像214的分类不正确，那么用户可删除图像214。
电子装置102可基于错分类来调整(1106)表情的决策阈值246。在一个配置中，决策阈值用户接口244可询问用户他们是否想要调整决策阈值246，以使表情在图像214中或多或少被频繁辨识到。举例来说，决策阈值246可在50％可能进行对特定表情的分类的点处开始，且接着继续基于决策阈值用户接口244处接收到的后续输入来调整(1106)决策阈值246。在一个实施方案中决策阈值246可为表情或个人特定的。在另一配置中，决策阈值用户接口244可示出滑动条，其给予用户选择来通过滑动屏幕(例如触摸屏108)上的条或通过手动输入值，来调整(1106)决策阈值246。
对决策阈值246的调整1106可取决于所使用的分类器232的类型。SVM可使用等式(3)来计算到超平面的带正负号距离。
anxn+an-1xn-1+…+a0 (3)
在等式(3)中，an是实值系数，且xn是支持向量。如果使用SVM，那么调整1106可包含将预定义常数项添加到等式(3)或减去预定义常数项。KNN计算到K最近相邻者的最小距离。如果使用KNN，那么调整1106可包含增加或减少到一类别的最小允许距离的预定义阈值，或通过用实值对类别中的一者进行加权。增强算法(例如增强或平缓增强)可根据等式(4)来计算决策阈值246：
在等式(4)中，ai是实值系数，hi是习得弱分类器中的一者，且i是指数，且N是习得弱分类器的数目。如果使用增强算法，那么电子装置102可添加或减去预定义常数，以转变等式(4)中的分类器总和。
或者，可通过将分类器232的输出变换为概率或可能性函数，来为任何分类算法改变决策阈值246。在所述意义上，在给定SVM的带正负号距离，或增强算法的距离，或KNN所计算的距离的情况下，可使用等式(5)将这些距离中的任一者变换为介于0与1之间的可能性值。
在等式(5)中，d是如针对SVM的实例等式(3)或针对增强的等式(4)而计算的距离。等式(5)将产生介于0与1之间的值。可在所述图像214或ROI图像226中现存的表情的一个设定中指派值0.5和以上，且小于0.5的值表示另外。为了改变决策阈值246，可选择低于或高于0.5的裕度。
在一个配置中，如果需要，所述值还可乘以常数(如100)，以使数目在0％与100％之间按比例缩放。在此情况下，决策阈值246最初将为50％。在一个实施方案中可自动调整(1106)决策阈值246(例如使其较低或较高)。在另一个实施方案中，用户可通过调整屏幕上的滑动条来交互地调整(1106)决策阈值246。在又一实施方案中，可通过手动输入决策阈值246的值来调整(1106)决策阈值246。
图12说明可包含于电子装置/无线装置1202内的一些组件。电子装置/无线装置1202可以根据上文所描述的电子装置102实施。电子装置/无线装置1202可为接入终端、移动台、用户设备等。电子装置/无线装置1202包含处理器1201。处理器1201可为通用单芯片或多芯片微处理器(例如高级RISC(精简指令集计算机)机(ARM)处理器)、专用微处理器(例如数字信号处理器(DSP))、微控制器、可编程门阵列等。处理器1201可被称为中央处理单元(CPU)。尽管图12的电子装置/无线装置1202中仅展示单一处理器1201，但在替代的配置中，可使用处理器的组合(例如，ARM与DSP)。
电子装置/无线装置1202还包含存储器1209。存储器1209可为能够存储电子信息的任何电子组件。存储器1209可以实施为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、在RAM中的快闪存储器装置、与处理器包含在一起的板上存储器、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、寄存器等等，包含其组合。
数据1213a和指令1211a可存储于存储器1209中。指令1211a可由处理器1201执行以实施本文中所揭示的方法。执行指令1211a可涉及使用存储于存储器1209中的数据1213a。当处理器1201执行指令1211a时，可将指令1211b的各种部分加载到处理器1201上，且可将数据1213b的各种片段加载到处理器1201上。
电子装置/无线装置1202还可包含发射器1217和接收器1219，以允许将信号发射到电子装置/无线装置1202并从电子装置/无线装置1202接收信号。发射器1217和接收器1219可统称为收发器1205。多个天线1207a到1207n可电耦合到收发器1205。电子装置/无线装置1202还可包含(未图示)多个发射器、多个接收器、多个收发器和/或额外天线。
电子装置/无线装置1202可包含数字信号处理器(DSP)1223。电子装置/无线装置1202还可包含通信接口1225。通信接口1225可允许用户与电子装置/无线装置1202交互。
电子装置/无线装置1202的各种组件可通过一或多个总线耦合在一起，所述总线可包含电力总线、控制信号总线、状态信号总线、数据总线等。为清楚起见，各种总线在图12中说明为总线系统1221。
本文中所描述的技术可用于各种通信系统，包含基于正交多路复用方案的通信系统。此类通信系统的实例包含正交频分多址(OFDMA)系统、单载波频分多址(SC-FDMA)系统等等。OFDMA系统利用正交频分多路复用(OFDM)，其为将整个系统带宽分割成多个正交副载波的调制技术。这些副载波也可称为频调、频段等。在OFDM的情况下，每一副载波可独立地通过数据调制。SC-FDMA系统可利用交错FDMA(IFDMA)在分布在系统带宽上的副载波上发射，利用局部化FDMA(LFDMA)在邻近副载波的块上发射，或利用增强型FDMA(EFDMA)在邻近副载波的多个块上发射。一般来说，利用OFDM在频域中发送且利用SC-FDMA在时域中发送调制符号。
术语“确定”涵盖各种各样的动作，且因此“确定”可包含计算、估计、处理、导出、调查、查找(例如，在表格、数据库或另一数据结构中查找)、查实等等。并且，“确定”可包含接收(例如，接收信息)、存取(例如，在存储器中存取数据)等等。并且，“确定”可包括解析、选择、挑选、建立等等。
除非另有明确指定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”和“基于至少”两者。
术语“处理器”应该广义地解释为涵盖通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等等。在一些情况下，“处理器”可指代专用集成电路(ASIC)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等。术语“处理器”可指代处理装置的组合，例如DSP和微处理器的组合、多个微处理器的组合、一或多个微处理器结合DSP核心，或任何其它此配置。
术语“存储器”应广泛解释为涵盖能够存储电子信息的任何电子组件。术语“存储器”可指代各种类型处理器可读媒体，例如随机接入存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、快闪存储器、磁性或光学数据存储器、寄存器等。如果处理器可从存储器读取信息和/或将信息写入到存储器，那么存储器被称为与处理器电子连通。与处理器成一体式的存储器与处理器进行电子通信。
术语“指令”和“代码”应被广义地解释为包含任何类型的计算机可读语句。举例来说，术语“指令”和“代码”可指一或多个程序(program)、例程、子例程、函数、程序(procedure)等。“指令”和“代码”可包括单个计算机可读语句或许多计算机可读语句。
本文中所描述的功能可在通过硬件执行的软件或固件中实施。所述功能可存储为计算机可读媒体上的一或多个指令。术语“计算机可读媒体”或“计算机程序产品”指代可通过计算机或处理器存取的任何有形存储媒体。作为实例而非限制，计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于运载或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。
本文所揭示的方法包括用于实现所描述的方法的一或多个步骤或动作。在不脱离所附权利要求书的范围的情况下，所述方法步骤和/或动作可彼此互换。换句话说，除非正描述的方法的适当操作需要步骤或动作的特定次序，否则，在不脱离所附权利要求书的范围的情况下，可修改特定步骤和/或动作的次序和/或使用。
另外，应了解，用于执行本文中所描述的方法和技术的模块和/或其它适当装置(例如由图3、4、6和9到11所说明的)可由装置下载和/或以其它方式获得。例如，装置可耦合到服务器以促进用于执行本文中所描述的方法的装置的传送。或者，本文所述的各种方法可经由存储装置(例如随机存取存储器(RAM)、只读存储器(ROM)、例如压缩光盘(CD)或软性磁盘等物理存储媒体，等等)提供，使得在将存储装置耦合或提供到装置后，所述装置可即刻获得各种方法。
应理解，所附权利要求书不限于上文所说明的精确配置和组件。在不脱离所附权利要求书的范围的情况下，可在本文中所描述的系统、方法和设备的布置、操作和细节方面作出各种修改、改变和变化。

Claims (39)

1.一种用于可变形表情检测的方法，其包括：
对于经预处理图像中的每一像素，组合第一定向梯度分量的正负号与第二定向梯度分量的正负号，以产生组合正负号；
将每一组合正负号译码成经译码值；以及
基于所述经译码值来检测输入图像中的表情，
其中所述可变形表情是指人类、动物或对象的形状或形式随时间的变化。
2.根据权利要求1所述的方法，其进一步包括预处理所述输入图像以产生所述经预处理的图像，包括：
基于关注区ROI来使输入图像对准；
在所述输入图像中裁剪所述ROI；
按比例缩放所述ROI；以及
使所述ROI的直方图均衡。
3.根据权利要求1所述的方法，其中所述第一定向梯度分量和所述第二定向梯度分量是标准正交的。
4.根据权利要求3所述的方法，其中所述第一定向梯度分量和所述第二定向梯度分量是垂直和水平定向梯度分量，或45度和135度定向梯度分量。
5.根据权利要求1所述的方法，其中所述译码包括基于所述第一定向梯度分量和所述第二定向梯度分量的所述正负号来将每一组合正负号译码成经译码值，而不确定所述第一定向梯度分量和所述第二定向梯度分量的量值的值。
6.根据权利要求1所述的方法，其中所述表情包括微笑、眨眼或愤怒。
7.根据权利要求1所述的方法，其中检测表情包括使用机器学习算法来对特征向量进行分类，其中所述特征向量是从基于所述经译码值而产生的空间直方图构建的。
8.根据权利要求7所述的方法，其中所述机器学习算法是支持向量机SVM算法、增强算法或K最近相邻者KNN算法。
9.根据权利要求1所述的方法，进一步包括更新分类错误，包括：
将输入图像分类为包含或不包含表情；
检测所述输入图像的错分类；以及
基于所述错分类来更新分类器。
10.根据权利要求9所述的方法，其中检测所述错分类包括：
向用户呈现所述输入图像以及分类；以及
接收关于所述分类是否正确的用户输入。
11.根据权利要求9所述的方法，其中检测所述错分类包括：
基于在分类之后用户删除所述输入图像来确定分类是不正确的。
12.根据权利要求9所述的方法，其中所述更新是基于用以对所述输入图像进行分类的分类器的类型。
13.根据权利要求9所述的方法，其中所述分类器使用机器学习算法。
14.根据权利要求1所述的方法，进一步包括调整决策阈值，包括：
将输入图像分类为包含或不包含表情；
检测所述输入图像的错分类；以及
手动或基于所述错分类来调整所述表情的决策阈值以调整将在所述输入图像中找到所述表情的可能性。
15.根据权利要求14所述的方法，其中检测所述错分类包括：
向用户呈现所述输入图像以及分类；以及
接收关于所述分类是否正确的用户输入。
16.根据权利要求14所述的方法，其中检测所述错分类包括：
基于在分类之后用户删除所述输入图像来确定分类是不正确的。
17.根据权利要求14所述的方法，其中所述调整是基于用以对所述输入图像进行分类的分类器的类型。
18.根据权利要求14所述的方法，其中手动调整所述表情的所述决策阈值包括显示滑动条，其给予用户选择来通过滑动屏幕上的条或手动输入值来调整所述阈值。
19.根据权利要求14所述的方法，其中所述分类包括使用机器学习算法来对特征向量进行分类，其中所述特征向量是从基于所述经译码值而产生的空间直方图构建的。
20.一种用于可变形表情检测的设备，其包括：
处理器；
存储器，其与所述处理器电子通信；以及
存储在存储器中的指令，所述指令可执行以：
对于经预处理图像中的每一像素，组合第一定向梯度分量的正负号与第二定向梯度分量的正负号，以产生组合正负号；
将每一组合正负号译码成经译码值；以及
基于所述经译码值来检测输入图像中的表情，
其中所述可变形表情是指人类、动物或对象的形状或形式随时间的变化。
21.根据权利要求20所述的设备，其中所述第一定向梯度分量和所述第二定向梯度分量是标准正交的。
22.根据权利要求20所述的设备，其中可执行以译码的所述指令包括可执行以基于所述第一定向梯度分量和所述第二定向梯度分量的所述正负号来将每一组合正负号译码成经译码值，而不确定所述第一定向梯度分量和所述第二定向梯度分量的量值的值的指令。
23.根据权利要求20所述的设备，其进一步包括可执行以进行以下操作的指令：
将输入图像分类为包含或不包含表情；
检测所述输入图像的错分类；以及
基于所述错分类来更新分类器。
24.根据权利要求23所述的设备，其中可执行以检测所述错分类的所述指令包括可执行以进行以下操作的指令：
向用户呈现所述输入图像以及分类；以及
接收关于所述分类是否正确的用户输入。
25.根据权利要求23所述的设备，其中可执行以检测所述错分类的所述指令包括可执行以基于在分类之后用户删除所述输入图像来确定分类不正确的指令。
26.根据权利要求20所述的设备，其进一步包括可执行以进行以下操作的指令：
将输入图像分类为包含或不包含表情；
检测所述输入图像的错分类；以及
手动或基于所述错分类来调整所述表情的决策阈值以调整将在所述输入图像中找到所述表情的可能性。
27.根据权利要求26所述的设备，其中可执行以检测所述错分类的所述指令包括可执行以进行以下操作的指令：
向用户呈现所述输入图像以及分类；以及
接收关于所述分类是否正确的用户输入。
28.根据权利要求26所述的设备，其中可执行以检测所述错分类的所述指令包括可执行以基于在分类之后用户删除所述输入图像来确定分类不正确的指令。
29.根据权利要求26所述的设备，其中可执行以手动调整所述决策阈值的所述指令包括可执行以显示滑动条的指令，所述滑动条给予用户选择来通过滑动屏幕上的条或手动输入值来调整所述阈值。
30.一种用于可变形表情检测的设备，其包括：
用于对于经预处理图像中的每一像素，组合第一定向梯度分量的正负号与第二定向梯度分量的正负号以产生组合正负号的装置；
用于将每一组合正负号译码成经译码值的装置；以及
用于基于所述经译码值来检测输入图像中的表情的装置，
其中所述可变形表情是指人类、动物或对象的形状或形式随时间的变化。
31.根据权利要求30所述的设备，其中所述第一定向梯度分量和所述第二定向梯度分量是标准正交的。
32.根据权利要求30所述的设备，其中所述用于译码的装置包括用于基于所述第一定向梯度分量和所述第二定向梯度分量的所述正负号来将每一组合正负号译码成经译码值，而不确定所述第一定向梯度分量和所述第二定向梯度分量的量值的值的装置。
33.根据权利要求30所述的设备，其进一步包括：
用于将输入图像分类为包含或不包含表情的装置；
用于检测所述输入图像的错分类的装置；以及
用于基于所述错分类来更新分类器的装置。
34.根据权利要求33所述的设备，其中所述用于检测所述错分类的装置包括：
用于向用户呈现所述输入图像以及分类的装置；以及
用于接收关于所述分类是否正确的用户输入的装置。
35.根据权利要求33所述的设备，其中所述用于检测所述错分类的装置包括：
用于基于在分类之后用户删除所述输入图像来确定分类不正确的装置。
36.根据权利要求30所述的设备，其进一步包括：
用于将输入图像分类为包含或不包含表情的装置；
用于检测所述输入图像的错分类的装置；以及
用于手动或基于所述错分类来调整所述表情的决策阈值以调整将在所述输入图像中找到所述表情的可能性的装置。
37.根据权利要求36所述的设备，其中所述用于检测所述错分类的装置包括：
用于向用户呈现所述输入图像以及分类的装置；以及
用于接收关于所述分类是否正确的用户输入的装置。
38.根据权利要求36所述的设备，其中所述用于检测所述错分类的装置包括：
用于基于在分类之后用户删除所述输入图像来确定分类不正确的装置。
39.根据权利要求36所述的设备，其中所述用于手动调整所述表情的所述决策阈值的装置包括用于调整滑动条的装置，所述滑动条给予用户选择来通过滑动屏幕上的条或手动输入值来调整所述阈值。
CN201480034110.8A 2013-06-28 2014-06-12 可变形表情检测器 Active CN105308625B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361840687P 2013-06-28 2013-06-28
US61/840,687 2013-06-28
US14/037,927 2013-09-26
US14/037,927 US9141851B2 (en) 2013-06-28 2013-09-26 Deformable expression detector
PCT/US2014/042162 WO2014209628A2 (en) 2013-06-28 2014-06-12 Deformable expression detector

Publications (2)

Publication Number Publication Date
CN105308625A CN105308625A (zh) 2016-02-03
CN105308625B true CN105308625B (zh) 2017-04-26

Family

ID=52115634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480034110.8A Active CN105308625B (zh) 2013-06-28 2014-06-12 可变形表情检测器

Country Status (6)

Country Link
US (1) US9141851B2 (zh)
EP (1) EP3014521A2 (zh)
JP (1) JP6309549B2 (zh)
KR (1) KR101727438B1 (zh)
CN (1) CN105308625B (zh)
WO (1) WO2014209628A2 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102094723B1 (ko) * 2012-07-17 2020-04-14 삼성전자주식회사 견고한 얼굴 표정 인식을 위한 특징 기술자
US9405965B2 (en) * 2014-11-07 2016-08-02 Noblis, Inc. Vector-based face recognition algorithm and image search system
US10482336B2 (en) 2016-10-07 2019-11-19 Noblis, Inc. Face recognition and image search system using sparse feature vectors, compact binary vectors, and sub-linear search
US10867161B2 (en) * 2017-09-06 2020-12-15 Pixart Imaging Inc. Auxiliary filtering device for face recognition and starting method for electronic device
WO2019087791A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 診断支援装置、内視鏡装置、管理装置、診断支援方法、管理方法、診断支援プログラム、及び管理プログラム
US10225492B1 (en) 2018-07-23 2019-03-05 Mp High Tech Solutions Pty Ltd. User interfaces to configure a thermal imaging system
CN109192275A (zh) 2018-08-06 2019-01-11 百度在线网络技术（北京）有限公司 人物精神状态的确定方法、装置及服务器
KR102180800B1 (ko) * 2019-04-03 2020-11-19 경북대학교 산학협력단 차량의 주행상태 판단장치 및 그 판단방법
RU2743932C2 (ru) * 2019-04-15 2021-03-01 Общество С Ограниченной Ответственностью «Яндекс» Способ и сервер для повторного обучения алгоритма машинного обучения
DE102019113647A1 (de) * 2019-05-22 2020-11-26 Ifm Electronic Gmbh Kamerasystem zur Erfassung von Objekten und/oder Objekteigenschaften
CN111311525A (zh) * 2019-11-20 2020-06-19 重庆邮电大学 一种基于直方图概率修正的图像梯度场双区间均衡化算法
CN111860451A (zh) * 2020-08-03 2020-10-30 宿州小马电子商务有限公司 一种基于人脸表情识别的游戏交互方法
CN112381018A (zh) * 2020-11-19 2021-02-19 北京影谱科技股份有限公司 基于改进弹性模块匹配算法的人脸表情识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6492986B1 (en) * 1997-06-02 2002-12-10 The Trustees Of The University Of Pennsylvania Method for human face shape and motion estimation based on integrating optical flow and deformable models
CN1523553A (zh) * 2002-12-17 2004-08-25 ���ǵ�����ʽ���� 驱动显示装置的装置
US8184869B2 (en) * 2008-05-30 2012-05-22 Hewlett-Packard Development Company, L.P. Digital image enhancement

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6246787B1 (en) * 1996-05-31 2001-06-12 Texas Instruments Incorporated System and method for knowledgebase generation and management
US7814545B2 (en) * 2003-07-22 2010-10-12 Sonicwall, Inc. Message classification using classifiers
US20070060830A1 (en) * 2005-09-12 2007-03-15 Le Tan Thi T Method and system for detecting and classifying facial muscle movements
JP2007213378A (ja) 2006-02-10 2007-08-23 Fujifilm Corp 特定表情顔検出方法、撮像制御方法および装置並びにプログラム
SE531372C2 (sv) * 2006-04-25 2009-03-17 Flir Systems Ab Metod för signalkonditionering
US8294770B2 (en) * 2007-04-09 2012-10-23 Tektronix, Inc. Systems and methods for spatially isolated artifact dissection, classification and measurement
JP4993615B2 (ja) * 2008-03-05 2012-08-08 Ｋｄｄｉ株式会社 画像認識方法および装置
JP5361530B2 (ja) 2009-05-20 2013-12-04 キヤノン株式会社 画像認識装置、撮像装置及び画像認識方法
US8743269B2 (en) * 2009-06-15 2014-06-03 Olympus Imaging Corp. Photographing device, photographing method, and playback method
JP5431083B2 (ja) * 2009-09-16 2014-03-05 オリンパスイメージング株式会社 撮影装置および撮影装置の制御方法
JP5198543B2 (ja) * 2010-11-19 2013-05-15 株式会社東芝 画像処理方法、画像処理装置及び画像処理プログラム
JP5836095B2 (ja) 2011-12-05 2015-12-24 キヤノン株式会社 画像処理装置、画像処理方法
US20140153832A1 (en) * 2012-12-04 2014-06-05 Vivek Kwatra Facial expression editing in images based on collections of images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6492986B1 (en) * 1997-06-02 2002-12-10 The Trustees Of The University Of Pennsylvania Method for human face shape and motion estimation based on integrating optical flow and deformable models
CN1523553A (zh) * 2002-12-17 2004-08-25 ���ǵ�����ʽ���� 驱动显示装置的装置
US8184869B2 (en) * 2008-05-30 2012-05-22 Hewlett-Packard Development Company, L.P. Digital image enhancement

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
[LECTURE NOTES IN COMPUTER SCIENCE *
Harvesting Web Images for Realistic Facial Expression Recognition;KAIMIN YU,ET AL;《DIGITAL IMAGE COMPUTING: TECHNIQUES AND APPLICATIONS(DICTA), 2010 INTERNATIONAL COMFERENCE ON, IEEE, PISCATAWAY》;20101201;516-521 *
LNCS], SPRINGER-VERLAG, BERLIN/HEIDELBERG》.469-481,2004, *
Local features based facial expression recognition with face registration errors;GRITTI T,et al;《8TH IEEE INTERNATIONAL CONFERENCE ON AUTOMATIC FACE & GESTURE RECOGNITION》;20080917;1-8 *
TIMO AHONEN， ET AL.Face Recognition with Local Binary Patterns.《COMPUTER VISION – ECCV 2004 *

Also Published As

Publication number Publication date
US20150003672A1 (en) 2015-01-01
EP3014521A2 (en) 2016-05-04
WO2014209628A3 (en) 2015-04-30
KR20160009709A (ko) 2016-01-26
CN105308625A (zh) 2016-02-03
US9141851B2 (en) 2015-09-22
WO2014209628A2 (en) 2014-12-31
JP2016525726A (ja) 2016-08-25
JP6309549B2 (ja) 2018-04-11
KR101727438B1 (ko) 2017-04-14

Similar Documents

Publication Publication Date Title
CN105308625B (zh) 可变形表情检测器
JP6778247B2 (ja) 眼球血管および顔認識のための画像および特徴品質、画像強化および特徴抽出、ならびにバイオメトリックシステムのための眼球血管と顔領域および／またはサブ顔領域との融合
JP6599421B2 (ja) バイオメトリック認証のための特徴抽出およびマッチングおよびテンプレート更新
US20170357847A1 (en) Biologically inspired apparatus and methods for pattern recognition
CN106056064A (zh) 一种人脸识别方法及人脸识别装置
CN109413510B (zh) 视频摘要生成方法和装置、电子设备、计算机存储介质
CN111125390A (zh) 数据库更新方法和装置、电子设备、计算机存储介质
CN111091056A (zh) 图像中的墨镜识别方法及装置、电子设备、存储介质
CN111125391A (zh) 数据库更新方法和装置、电子设备、计算机存储介质
CN111866573B (zh) 视频的播放方法、装置、电子设备及存储介质
CN113283319A (zh) 人脸模糊度的评价方法及装置、介质和电子设备
CN113240598A (zh) 人脸图像去模糊方法、人脸图像去模糊装置、介质与设备
CN111275045A (zh) 图像的主体识别方法、装置、电子设备和介质
CN111723612A (zh) 人脸识别和人脸识别网络的训练方法和装置、存储介质
Shaik et al. Unsupervised segmentation of image using novel curve evolution method
CN117496019B (zh) 一种驱动静态图像的图像动画处理方法及系统
CN110334643B (zh) 一种基于人脸识别的特征评估方法及装置
JP2013120482A (ja) 画像特徴量抽出装置およびそのプログラム
CN117689884A (zh) 一种医学图像分割模型的生成方法及医学图像的分割方法
Kavin Kumar et al. Assisting Visually Challenged Person in the Library Environment
CN113627314A (zh) 人脸图像模糊检测方法、装置、存储介质与电子设备
CN116704566A (zh) 人脸识别、用于人脸识别的模型训练方法、装置及设备
CN117877085A (zh) 一种基于微表情识别的心理分析方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant