CN110612533B - 用于根据表情对图像进行识别、排序和呈现的方法 - Google Patents

Abstract

实施方式涉及用于对在所选择的数字图像集合内识别出的视觉上可感知的面部表情进行排序和排列的数字图像处理、存储、检索和呈现系统及方法。另外，响应于用户对情绪表情或一系列情绪表情的选择，布置用于呈现的经排序和排列的数字图像集合，并将所选择的经布置的数字图像集合呈现在显示设备上。

Description

用于根据表情对图像进行识别、排序和呈现的方法

相关申请的交叉引用

本申请是于2017年5月11日提交的美国临时申请no.62/504,932的非临时申请，并要求其优先权。

技术领域

本发明涉及多媒体识别、排序和呈现方法、系统、软件及产品分发介质。本发明的特定实施方式基于影像的对象的面部表情自动地对数字静止或视频影像集合进行排序、分类和呈现。

背景

具有高分辨率显示和视频记录功能诸如4K、超HD、超高清、增加的帧捕获率和静态照片“连拍模式”的数码相机的出现现在允许消费者在几秒钟内产生数百个高质量的静态图像。这种技术和方法与传统的“静态”摄影相竞争，并可以很快将其取代，作为一种流行的图像捕获形式。在正确的时间点适时启动快门按钮以捕获预期图像或表情的需求已经演变成下述成像设备，在这样的成像设备中将以高分辨率视频或静止图像连拍模式捕获场景，并且可以在捕获后选择期望的静止图像或视频序列。此外，利用扩展廉价的“基于云的照片存储”，用户可以自动上传由其一系列个人数字设备拍摄和/或存储的所有图像，这些个人数字设备包括：手机、平板电脑、静态和视频数码相机、存储卡、便携式硬盘驱动器、计算机等。此外，在线和零售电影胶片以及录像带数字化服务、照片打印、幻灯片和负片扫描服务、以及廉价的家用照片扫描仪也经常向这些集合提供附加量的数字照片和视频，通常很少有或根本没有组织方案或环境。用户现在累积了数十年来的大量照片和视频，包括成千上万的表达人类情绪的全范围的个人图像。

当前，消费者为对图像进行有效使用、分类和管理以允许他们的图像的检索、共享和创造性再使用而挣扎。随着高分辨率数字视频记录的增加，图像的量将随着使用挑战以及更多创造性应用的可能性而继续增长。在本领域中仍然需要一种能够对一系列数字图像进行组织、排序和呈现的系统，特别是一种可以以对图像内容的视觉、语义和感情性质敏感的方式对图像进行排序和呈现的系统，图像内容的视觉、语义和感情性质每个都有可能不同的形式。

此外，在拍摄人物照片时，捕捉期望的姿势和表情是摄影师和对象的关键要素和创作动机。在拥挤、动态的场景诸如体育赛事、婚宴、庆典或为早熟的幼儿拍照的情况下，捕捉期望的姿势和表情可能是一挑战。引申开来，可能期望一系列动作和/或表情以供以后在创造性应用中使用，诸如拼贴、海报、翻转书、透镜状运动打印、交互式视频应用、表情符号、头像等。但是，识别不同的姿势和表情、对成千上万个单独帧进行对准并重新排序将是艰巨耗时的工作，其易于对表情进行主观的错误描述，导致表情和经历的不准确管理。

发明内容

根据本发明，一种数字图像处理系统，包括用于对在所选择的数字图像集合内识别出的视觉上可感知的面部表情进行排序和排列的装置。该系统被配置为：针对一个或多个个体识别相似的人脸并使其成组；以及对于每组相似的人脸，响应于用户对情绪表情或一系列情绪表情的选择，对经排序和排列的数字图像集合进行呈现。该系统被配置为通过包括下述的情绪矢量中的至少一个情绪矢量来对视觉上可感知的面部表情进行排序和排列：积极-消极、愉快-不愉快、正面-负面、以及有意识-无意识。该系统配置为对下述的相对位置、取向和形状进行测量和分析：眼睛、眼眉、眼睑、前额/额头、鼻孔、舌头、嘴唇、牙齿和/或嘴部。该系统被配置为响应于用户选择的情绪表情或一系列情绪表情来布置用于呈现的经排序和排列的图像集合，并将所选择的经布置的数字图像集合呈现在显示设备上。

附图说明

图1示出了本发明的实施方式的系统的框图。

图2示出了根据本发明的实施方式的对库中的图像进行处理以识别表情并通过一个或多个情绪矢量按表情类型对图像进行排序的方法的流程图。

图3示出了根据本发明的实施方式的捕获对象的一系列情绪表情的方法的流程图。

图4示出了根据本发明的实施方式的描绘中性的情绪表情/状态与一系列正面表情和/或情绪状态的示例图形。

图5示出了根据本发明的实施方式的描绘中性情绪表情/状态与一系列负面情绪表情/状态的示例图形。

图6示出了根据本发明的实施方式的从负面到正面的示例情绪矢量量表，其中对象的具有捕获的表情的对应图像沿着负面情绪矢量到正面情绪矢量。

图7示出了根据本发明的实施方式的识别的情绪状态的随机布置的示例。

图8A示出了根据本发明的实施方式的描绘了跨各种情绪矢量的中性情绪表情/状态的示例性用户界面。

图8B示出了根据本发明的实施方式的描绘了跨各种情绪矢量的有希望的情绪表情/状态的示例性用户界面。

图9A示出了根据本发明的实施方式的描绘了跨各种情绪矢量的惊讶的情绪表情/状态的另一示例性用户界面。

图9B示出了根据本发明的实施方式的描绘跨各种情绪矢量的有希望的情绪表情/状态的另一示例性用户界面。

图10A至图10D示出了根据本发明的实施方式的具有描绘各种情绪表情/状态的用户图像和示例性图形用户界面(GUI)的移动设备。

图11A至图11D示出了根据本发明的实施方式的用户的具有第一情绪表情/状态的第一图像的图像处理流程图。

图12A至图12D示出了根据本发明的实施方式的用户的具有第二情绪表情/状态的第二图像的图像处理流程图。

图13A至图13B示出了根据本发明的实施方式的参考表情符号和在对象上产生具有不同的情绪表情/状态的定制emoji/表情符号的本发明的实施方式。

图14示出了根据本发明的实施方式的用于对象的情绪状态的随机集合的示例性呈现格式。

图15A至图15B示出了根据本发明的实施方式的根据两个情绪矢量和与呈现模板相关联的所选择的图像的示例性情绪状态呈现模板。

具体实施方式

本发明包括本文描述的本发明的方面的组合。对“特定方面”等的引用是指在本发明的至少一个实施方式中存在的特征。对“一方面”或“特定方面”等的单独引用不一定指一个或多个相同方面；然而，这些方面不是互相排斥的，除非如此指示或对于本领域技术人员而言是明显的。在引用“方法(单数)”或“方法(复数)”等时，单数或复数的使用不是限制性的。应当注意，除非上下文另外明确指出或要求，否则在本公开中以非排他性的意义使用词“或者”。

本发明涉及连拍序列、视频记录、图像收集和/或实时捕获系统中的帧的自动分类、大小设置、定向和排序。一种系统，其能够摄取视频序列、大的静止图像序列或个人照片集内容，表征其相对质量、对对象的情绪表情和总解剖学指标(睁眼、凝视方向、张嘴、对象方向、头部取向、肢体位置、姿势)进行分析和分类。此外，重新排序的各个帧可以分别与选定或参考的帧对准，以便沿着情绪矢量建立经对准和重新排序的图像。给定情绪矢量的情绪粒度由可用的图像的数量和种类确定。表达各种情绪状态的图像沿着相关的情绪矢量被分组，并且可以在整个集合中按强度和类型进行排列，或者按时间、位置、与其他人的事件关系、按同一场景中或同一事件处的其他人分为子组。

检测图像中的面部特征诸如眼睛、眼睛注视、嘴部、鼻子等在本领域中是公知的。特征的典型分析包括眼睛是否睁开、头部取向、微笑程度等。分析技术表明更好的分类的可能性，允许识别更具体的情绪状态，诸如快乐、发呆、兴高采烈、大笑、微笑、悲伤、愤怒、困惑、苦恼、疲乏、躁狂等。本发明使用计算机处理器来对从下述图像中描绘的一个或多个个体识别出的视觉上可感知的面部表情进行排序和排列，上述图像位于所选择的由至少一种类型的情绪状态表征的数字图像集合内。例如，可以将情绪状态分类为一个或多个情绪矢量，包括积极-消极、愉快-不愉快、正面-负面和/或有意识-无意识。另外，可以响应于用户对情绪表情或一系列情绪表情的选择来对包括至少一张人脸的经排序和排列的个体图像进行重新排序和/或重新排列以进行呈现或显示。

本发明还提供了处理装置以对面部内容进行重新对准，诸如使用数字图像放大、缩小、旋转和/或剪裁来从图像到图像对面部的双眼距离进行匹配和对准，以增强个体图像的审美和功能性质，以用于用户界面导航应用以及动态和静态呈现。

另外，可以使用数字编辑工具来修改个体记录的情绪表情，以改变图像的表情情绪。此外，可以提供第三方专业制作的内容，以通过匹配表情的情绪意图来增强所选择的图像的呈现。例如，可以通过添加柔焦小插图和花卉风格的边框来进一步增强注视花的幼儿的照片。例如，可以对屈曲其肌肉并做出愤怒的脸的年轻男孩的照片进行着色并进行数字化修改，以使孩子的肤色为“绿色”，并提供了“绿巨人”的图形和文字。因此，情绪状态可以具有可以与情绪匹配的字符模板和/或情绪模板，以允许对图像中的主题进行数字编辑。

本发明的实施方式向用户提供了从由负面、中性和正面的情绪状态以及积极或负面、愉快或不愉快和/或有意识或无意识的条件表征的至少一个情绪矢量、集或条件的频谱中选择表示所选择的情绪表情的图像的能力。针对给定情绪集的一系列情绪具有描述个体增量状态的粒度，其是根据面部特征点的计算机分析、用以将特征点位置转换为情绪状态指示的查找表以及可从所选择的图像集合获得的个体表情来确定的。在实时捕获系统中，对于给定的一系列情绪条件，该一系列情绪状态可以被确定为低于用户选择的或预定的阈值。

替代性地，用户——可以是摄影师和/或诸如“自拍”型摄影的对象的任意组合——可能在尝试记录特定的情绪表情或者补充或创建情绪表情的高粒度范围。系统提供了本发明的实施方式的实时实现，其以包括传统的、“微笑”或“笑一笑”的视觉图形、动画、示例、文本和/或音频消息来干预和指导用户，但还包括更多具体的说明，如：“笑多一点”、“将头略微向左倾斜”、“眨眼”、“皱眉”、“大笑”和/或抬起眼眉。另外，系统可以提供旨在引起情绪响应的陈述，诸如：“回忆你在学校的第一天”、“给我看你愤怒的脸”、“没人爱你”、“你很漂亮”、“你体重增加了吗？”、“想着洒落在你脸上温暖的阳光”等以暗示或引起其他或特定的情绪表情。因为系统正在监视用户对建议的反应，所以它可以记录或标记捕获适当表情的图像，并提供附加音频和/或视觉反馈，诸如“就这样”、“完美”、“看起来不错”等，或者如果相机显示对于自拍的用户可见，则可以提供文本消息或图形图像诸如“竖起大拇指”作为已经记录了适当表情的指示。如果使用了GUI，则它还可以包括带有图形突出显示或指向用户/对象的相关特征点的用户的实时图像流，并建议用户如何修改其表情以符合其所选择的表情。一旦用户呈现期望的表情，就记录图像，或者如果所有流图像都被记录，则适当的图像被标记或以其他方式与表情的指示相关联。通过检测和测量面部特征点来确定表情，如参考文献US9369625“SYSTEM FOR PRODUCING COMPLIANT FACIAL IMAGES FORSELECTED IDENTIFICATION DOCUMENTS”中所述，该文献在此通过引用整体并入本文以用于所有目的。

向用户呈现用于交互式GUI的选项和/或自动面部特征重塑和修改选项，以增加给定的一组面部表情的情绪粒度或创建特定表情或一系列表情。数字地混合多个图像，或者扭曲特征点以创建期望的情绪表情。用户可以使用提供的GUI选择接受、拒绝或修改数字更改的图像。另外，可以完成通过重新映射或混合面部特征点来数字地放大或抑制情绪表情，以支持不同应用，诸如调整表情以适合用于静态图像和视频图像的预期观众或事件。在伪实时应用诸如Skype视频聊天中，可以在记录图像流时与在视频聊天中以与流媒体应用一致的微小延迟将图像流呈现给其他参与者时之间修改图像流。呈现的一个或多个个体设置有GUI以指示或“拨号”期望的情绪表情或一系列情绪表情。在图像中有多个面部的情况下，可以使用“协调”度量将所呈现的表情朝着预期的情绪表情进行标准化。无论部署在实时视频聊天、静态和视频记录中，还是现有的图像集合中，本发明都允许用户管理情绪同质化、协调、变化和/或兴奋。选择和/或数字地修改表情的能力提供了情绪显示的可选变化，以使组内的一个或多个个体或整个个体组成为可能。可以这样做来使用于正式照片、幽默或艺术应用的群组的情绪表情协调或随机化。替代性地，如果用户在视频聊天会话中显得疏远或过分激动，则系统可以用屏幕图形或文字谨慎警告用户他们应该：相应地“看起来更专心”、“更频繁地注视镜头”、“你正在以负面的方式摇头”、“Bob说话时你都在翻白眼”或“尝试放松后再做出回应”。

本发明的另一应用随时间推移记录和描绘情绪状态，以便更好地理解个人情绪趋势以及对于给定个体而言什么是“正常”表情。通过沿着由定义多个视觉上可感知的面部表情——每个面部表情对应于一情绪状态——确定的至少一个预定的情绪矢量来分布表情，可以确定个体简档和规范。人们可能会因文化、种族、习俗和/或个人经历而倾向于看起来较紧张和严肃或较放松和乐天作为正常的中性表情，并且系统使用该信息重新校准表情分析，以考虑到给定个体的正常表情对情绪特性进行偏置。系统可以自动对照片进行“分级”，以获得适当的情绪表情，供消费者使用和欣赏图像。对对象的情绪状态进行自动分类——允许结合摄影者喜好(微笑、不微笑)、文化规范和商业要求(诸如护照、身份证明等)——也可以部署用于基于情绪表情的捕捉、标记、利用、搜索和/或存储。因此，实施方式可以用于提供与事件有关的情绪的非临床指示，并且实施方式能够针对季节性情绪变化进行调整并链接到特定事件(例如，在度假、喜爱的夏季和户外活动时是快乐的，在钓鱼时是最快乐的时候，在家庭度假时是悲伤/中性的)。此外，跨各种矢量的这种图像描绘可以帮助建立个体的可以在不同的时间、季节、事件等之间进行比较的正常中性。

本发明的创造性应用使用情绪状态和解剖特征来对图像进行自动排序、排列和/或编辑，以创建用于静态、动态和/或交互式呈现的讨人喜欢的布置。用户选择偏好的情绪状态以包含这些状态并对这些状态进行排序，对图像进行缩放，并应用校正图像处理来使图像协调并将这些图像并入输出产品诸如派生视频片段、单幅图像或多幅图像拼贴中。响应于用户从一系列情绪表情中的选择来呈现图像集合还可以通过情绪的各个级别或情绪是否是正面或负面、有意识或无意识、积极或消极、或者愉快或不愉快来描绘。

例如，在包含具有亲密情绪纽带和关系的家庭成员和朋友的图像的家庭或个人图像集合中，可以通过“情绪表情”、“事件类型”、“对象年龄差异”、“接收者的当前的情绪状态、事件、条件”和“呈现者的意图”的组合来搜索“怀旧”图像。例如，用户可能会进行搜索以用于“在悲伤的周年纪念日为所爱的人加油”的目的。例如，如果挚爱的狗在一年前去世，狗的主人可能会在社交网络上发她想念她亲爱的宠物以及她感到忧郁的帖。她的妈妈也许可以搜索具有她的成年女儿和女儿的狗的许多图像的大型图像集合，以在具有女儿的狗的照片中找到她的女儿的带有快乐表情的图像。

在另一示例中，有压力的人的朋友可能希望使有压力的人“振作起来”。但是，传统的电子卡或贺卡可能无法传达适当或有益的振奋感情，或者可能显得过于没有人情味、老套、陈腐、平庸或陈词滥调，诸如小猫从树枝悬垂并且它的前爪带有标题“坚持下去宝贝”的图像被过度使用，这由于其过度使用，可能被视为不敏感或甚至讽刺。有关的个体可以使用“快乐、欢乐或兴高采烈的表情”搜索标准在图像集合中搜索该个体的图像。用户将被呈现根据表情强度以及可选的时间顺序列表或者事件分组过滤器或列表进行排序的具有快乐表情的个体图像的视觉列表。用户可以选择期望的图像，并且标题将被建议为诸如；“快乐时光”、“记得何时？”、“多好的一天”、“聚会很棒”等，或者用户可以添加个人评论。

除了自然的人类情绪反应和表情外，还存在旨在传达或引起情绪条件或反应诸如试图以幽默、异想天开或讽刺的表情使人发笑的“人造的”或“上演的”表情。在整个摄影的悠久历史中，这是一种普遍的做法，并且包括：看起来“斗鸡眼”、“伸出你的舌头”和“翻白眼”，以创建幽默或无礼的相片。如今，这些类型的表情已通过“自拍”进一步普及，“自拍”已通过在大多数手机上添加显示侧摄像头以及在社交网络和以照片为中心的应用诸如Facebook^TM和Instagram^TM上的轻松共享的选项而实现。特定自拍表情类型的数量不断增加证明了它们的流行。这些表情类型已经变得非常流行，以至于它们可以用“hash标签”诸如#duckface来识别。出现的各种类型的自拍表情的示例包括：“Duck Face”，其涉及以夸张的噘嘴将嘴唇压在一起，同时吮吸您的脸颊。这个姿势通常是为了尝试看起来诱人，但也可以用作自黑、挖苦、讽刺和/或讥讽的姿势，从而取笑这个姿势。“Fish Gape”包括张开嘴并略微露出牙齿的风骚凝视，“Kissy Face”包括皱起嘴唇以准备给予一个吻唇，“Brow TooStrong Face”包括抬起一个眼眉、倾斜头并噘嘴唇。“Model Pout”是“Duck Face”或“KissyFace”的不太夸张的版本，“Smize”或“用眼睛微笑”的特征是几乎闭口地微笑、头部略微向下倾斜表情眼睛向上看。当眼睛略微斜视，就像看着太阳一样，就会产生“Squinch”。“Ussie”是夫妇的自拍。“Groupie”是一大群人的自拍，其中人群中的一个成员伸出手臂握住手机。这些特定的实践表情还可以通过测量面部特征点的位置来自动识别和表征，因此该系统可以为模仿这些人造表情提供指导。

本发明的实施方式可以包括处理器，该处理器被编程以通过测绘用户的面部特征点来辨别这些人造表情，并在记录图像时使用测绘的特征来识别用户的个人照片集合中的表情，或者用于辅助用户产生所选择的人造表情诸如从菜单中选择“Duck Face”，并向用户提供有关如何重新产生表情的视听指令，诸如：“更多地噘嘴”、“吮吸你的脸颊”、“略微向前倾斜你的头”以及“向上看”等。先前的讨论集中在静止图像上，但是本发明还适用于视频剪辑和记录。视频可以用于从帧提取中生成静止图像，并且视频可以用于呈现动态面部表情。

另外，随着新的人造表情变得流行，可以更新系统软件以包括辨别、识别、标记、记录和/或指示用户如何展现这些表情类型的能力。替代性地，用户选择与系统相关联的可选的“学习模式”，在该系统中，她可以展示表情并提供表情名称和/或描述，使得系统将来可以识别该表情类型。这样，在一些实施方式中，可以实现基于机器学习和其他基于神经网络的技术来训练计算机，以根据用户或一组用户的参考面部特征、使用针对每个图像的所测量和记录的面部特征来对不同表情进行识别和分类。

图1示出了根据一个或多个表情来对图像进行辨别、排序和呈现的系统10的框图。用户20可以与被配置为与数据处理系统70对接的用户界面30交互。用户界面可以与显示器40、图像输入系统50和图像输出系统60耦接或通信。

数据处理系统70可以包括面部特征点分析器80、面部表情情绪矢量定序器110、面部特征点对准计算器120、参考面部辨别面部特征点查找表(LUT)90、参考面部表情面部特征点查找表(LUT)100以及数据存储系统130，数据存储系统包括图像集合140和对应的图像元数据150。

面部特征点分析器80可以被配置为分析存储在图像集合140中的一个或多个图像，以从一个或多个图像识别并提取面部特征点。面部表情情绪矢量定序器110可以被配置为将所识别的面部特征点与参考面部辨别面部特征点查找表进行比较，以识别一个或多个图像的对象面部。此外，面部表情情绪矢量定序器110可以被配置为使用参考面部表情面部特征点查找表来跨各种情绪矢量识别图像的情绪表情分数。例如，情绪矢量可以包括积极的-消极的、愉快的-不愉快的、正面的-负面的和/或有意识的-无意识的。可以向每个图像提供针对情绪矢量中的每个情绪矢量的分数，这些情绪矢量用于对跨一个或多个情绪矢量分数的图像进行分类和排序。

用于将面部特征点测量转换为对应的情绪表情的不同实施方式包括例如使用由人类观察者训练的比较模型来将测量的特征点与各自被标记以表现不同的表情的增长的特征点变化的模型进行比较，和/或测量给定个体的面部特征点与确定的中性面部表情的相对位置。可以由人类观察者通过近实时地远程访问图像来增强前述技术中的任何一种，所述远程访问是由服务提供商或通过人群来源的观察员采用的。无论是体现在图像捕获系统中还是图像处理API和/或图像处理应用中的本发明方法的一般工作流程都设置有使面部特征点位置与情绪表情相关联的信息。

通过至少对以下面部特征的相对位置、取向和形状进行测量和分析来表征视觉上可感知的面部表情：眼睛、眼眉、眼睑、前额/额头、鼻孔和/或嘴部。这些测量用于响应于用户选择的情绪表情或一系列情绪表情来对要被布置用于呈现的图像进行排序和排列，以及将所选择的布置的数字图像集呈现在显示设备上。

例如，没有上翘角的闭合嘴、睁开但没有睁大的眼睛以及未扩大的鼻孔表示中性情绪表情，中性情绪表情可以用作参考或与具有相似特征和比例的中性表情模型相关联。有关于所测量的面部特征与中性表情相比的相对位置、取向和形状，随着嘴角上翘，嘴部和眼睛更张开，情绪表情的水平从中性增加到“欣慰”、到“愉悦”、到“快乐”、“欢乐”、“狂喜”等。

基于人的外貌来辨别人是本领域技术人员公知的，因此，可以基于用户选择的情绪表情或一系列情绪表情对表示同一个体的面部图像进行分组，然后进行排序和排列。使用相同的特征点检测器执行面部检测、面部特征点检测以及下述面部特征的相对位置、取向和形状的测量：眼睛、眼眉、眼睑、前额/额头、鼻孔和/或嘴部。

面部特征点对准计算器120可以被配置为跨一个或多个图像对对象的面部特征进行识别和对准。例如，面部特征点对准计算器可以测量眼距和位置并且对准下面的图像以在图像之间共享对象的眼睛和/或嘴部的相似的面部角度、位置和大小。

参考面部辨别面部特征点查找表(LUT)90可以包括用于图像集合140中的图像的每个对象的参考面部特征点。这样，当对图像中的对象面部的面部特征进行识别、记录和处理时，可以将面部特征图与各种存储的参考面部辨别面部特征点进行比较，这些存储的参考面部识别面部特征点与数据处理系统70先前已经分析过并与特定用户和/或对象相关联的面部特征相关联。因此，可以将未知对象的记录的面部特征与参考面部特征点查找表进行比较，以从由数据存储系统130存储的先前记录的面部特征点中识别对象。

数据存储系统130可以包括图像集合140和与图像集合140相对应的图像元数据150。元数据通常包含被存储并与媒体资产相关联的数据。这包括记录的元数据或先前记录的元数据，其是由捕获设备记录的——例如，数码相机提供的捕获时间、日期和位置。元数据还包含用户提供的元数据，诸如通过位于图像捕获设备上的用户界面或通过可以通过远程计算机访问的图像编辑应用界面提供的元数据。最后，元数据包含派生的元数据，诸如通过应用于捕获后的媒体资产的面部检测或事件分类算法计算的元数据。

图2示出了根据本发明的实施方式的对库中的图像进行处理以识别表情并通过一个或多个情绪矢量按表情类型对图像进行排序的方法的流程图160。例如，在步骤170，通过用户打开应用和/或以其他方式启动图像表情排列和排序操作来初始化该过程。在步骤180，用户指定图像集合或图像序列以进行分析。在步骤190，处理器分析指定的图像以通过对每个图像内的面部特征点进行定位、测量和记录来识别和辨别面部。面部特征点可以包括图像内的对象的眼睛、嘴部、鼻孔、鼻子、眼眉和/或任何其他特定和/或可识别的面部特征。在步骤200，处理器确定是否辨别出图片库或图片序列内的所有面部。在步骤210，如果没有辨别出所有面部，则提供图形用户界面(GUI)以将未被辨别出的面部呈现给用户，以进行关于那些人是谁的输入。在步骤220，对来自未被辨别出的面部的记录的特征点测量进行分类，以用于附加的分析，以在将来改进面部辨别性能。

在步骤230，辨别出所有面部，或者用户提供关于未被辨别出的面部的附加反馈，并且处理器对辨别出的面部按对象个体进行分组，并按时间顺序对图像进行排序。在步骤240，针对每个个体对来自辨别出的面部的所测量和记录的面部特征点进行标准化。在步骤250，针对每个辨别出的个体，将经标准化的所记录的特征点与参考面部特征点进行比较，并将表情分配给每个面部图像。可以针对每个个体查询参考面部表情面部特征点查找表(LUT)100，以获得每个个体的参考面部特征。参考面部表情面部特征点查找表100可以存储每个个体的标准化参考面部特征位置和间距，以允许系统关于每个个体比较记录的面部特征点。在步骤260，处理器可以为图像库内的每个图像执行表情分配，并确定是否针对所有图像识别出了所有表情。在步骤270，如果没有辨别出所有表情，则可以向用户呈现GUI，以允许用户提供关于未被辨别出的表情的反馈。在步骤280，对来自未被辨别出的表情的记录的特征点测量进行分类，以用于附加分析，以在将来改进表情辨别性能。在步骤290，对辨别出的表情进行分类，并按照表情类型沿着任何情绪矢量对面部图像进行重新排序，并按特征点对面部图像进行对准。如本文所描述的，图像可以跨多个不同的情绪矢量(例如，积极与消极、正面与负面等)进行排序。在步骤300，可以在一个或多个图形用户界面内将经重新排序且经对准的面部图像呈现给用户。在本文中提供并进一步详细描述了一些示例性图形用户界面。因此，在步骤310，该过程完成，并且可以对新的图像集或图像库进行分析。

图3示出了根据本发明的实施方式的捕获对象的一系列情绪表情的方法的流程图320。例如，用户可以使用移动设备或其他电子设备的自助服务终端或相机来捕获用户的一系列不同的情绪表情/状态，以呈现在许多不同的图形用户界面或产品中，如将在本文中进一步详细描述的。在步骤330，用户可以启动方法的开始。在步骤335，用户通过被配置为捕获对象的图像的相机、自助服务终端、移动设备、移动应用或其他电子设备的图形用户界面选择用于特定或一系列表情的“情绪表情”记录模式。在步骤340，处理器确定是否选择了一系列表情作为输入选项。在步骤350，如果未选择一系列表情，则图形用户界面以文本、图形和/或经由设备的音频交互的形式向用户呈现指示可用的情绪表情的选择选项。在步骤360，用户在GUI内选择情绪表情，并启动图像记录模式以捕获用户当前表情的一个或多个图像。

替代性地，在步骤400，如果在步骤340选择了一系列表情，则GUI向用户呈现包括“校准”、“全光谱”或“选择的范围”模式的选择选项，以允许用户选择他们想要捕获哪种类型的一系列表情。在步骤410，用户选择由GUI显示的一系列表情中的一个。在步骤420，用户利用GUI针对该一系列表情选择情绪粒度水平，该粒度水平指示处理器关于不同表情的数量来提示用户进行展示。

在步骤370，无论用户选择了一系列表情还是单个表情，相机处理器都提供文本、图形和/或音频提示以指示或诱使用户展现所选择的表情类型。在步骤380，处理器确定是否已经记录了所选择的表情。如果否，则重复步骤370，并提供附加指令，直到处理器确定已经捕获了目标表情。如果已经捕获了表情，则在步骤390，相机处理器提供已经记录了所选择的表情的指示，并且该系统可以移至下一个表情，或者可以结束，如步骤430所示。

可以使用任何数量的不同表情以及用于匹配那些表情的对应指令。例如，人造表情(例如，鸭脸表情)可以与传统表情(例如，快乐、笑容满面等)一起被编码成指令。因此，实施方式允许系统沿着情绪矢量比较用户的实时图像，并向用户提供特定指令以使用户满足表情参考图像。可以存储参考表情，这可以允许系统根据用户的参考中性表情识别用户的面部特征是否与参考表情和用于该图像的指令匹配，以根据用户的文化和历史规范纳入用户的正常表情。

图4示出了根据本发明的实施方式的描绘了中性情绪表情/状态与一系列正面表情和/或情绪状态的一组示例图形1210、1230、1250和1270。如图4所示，顶部图像1210示出了“向向姿势-中性表情”的示例，其可以用作参考面部特征以与将沿着“正面”和“积极”表情轴线分布的其他表情进行比较。从图中可以看出，测量了包括眼部位置、鼻孔位置、嘴部轮廓以及这些特征之间的相对位置在内的面部特征，并将其与面部特征的中性位置进行比较，以沿着正面和/或积极状态情绪状态轴线对表情进行分类。例如，中性图像中测量并记录的面部特征1220将与图像1230、1250和1270的面部特征的测量位置进行比较。将各种面部特征之间的距离及其相对位置进行比较并用于根据各种情绪矢量来对图像进行识别和分类。因此，图像1230沿着从左到右示出从快乐到兴奋的进展的矢量示出了对象表情。

相应地，图形示出了针对下述的特征点测量的示例：相对于眼角(由“菱形图形”图示)处的水平点和指示眼睑的张开程度及其形状的竖向点测量的眼睛注视方向(瞳孔中的圆圈)。组合使用时，这些测量可以在数学上表示人眼的视觉可观察表现性质。测量嘴部和鼻孔的形状和相对位置(相对位置和形状的测量用“虚线图形”进行图示)以及眼睛/嘴部的形状和眼睛/嘴部的张开程度。将来自每个可用图像的特征点测量相互比较，以建立所选择的个体的“情绪表情量表”。所选择的个体的这些测量的形状和相对位置的范围与和一系列人类表情相关的一系列特征点模型相匹配。可以通过选择接近期望表情的可用图像并使用任何公知的数字图像编辑软件使面部特征点变形以符合所选择的表情的模型来创建所选择的图像内包含的缺少表情。

如2014年8月12日提交的名称为“SYSTEM FOR PRODUCING COMPLIANT FACIALIMAGES FOR SELECTED IDENTIFICATION DOCUMENTS”的美国专利号9,369,625中所述，针对相对于捕获设备的光轴线的头部俯仰、偏摆和滚转，对面部特征点测量进行了标准化，出于所有目的，上述专利在此通过引用整体并入本文。该9,369,625专利描述了用于在面部相对于捕获设备偏离轴线时测量人的面部特征点的技术。这可用于补偿“偏离轴线”表情特征点测量。双边耳朵对称、眼镜、珠宝、服饰、帽子以及某些发型和头发部位位置也可以表示前向的面部姿势。此外，可以根据面部特征点与确定的中性表情位置的相对位置的测量来确定情绪表情。将特征点测量与微笑、皱眉、眼眉位置的通用表情模型进行比较/映射，以确定快乐、愤怒、恐惧、喜悦等。

使用具有中性表情的所选择的对象的前向的图像来建立和标准化个体的测量参数可以允许系统生成可以用于校准由系统获得的其余情绪状态的参考图像。例如，参考图像在文化上可能是中性的-静止的面部，因此不表达情绪。可以将其与模型图像或保存的用户图像进行比较。例如，可以为个体的面部特征点的中性位置确定“中性表情”，并相对于这些中性位置测量相对位置。所有人类都有相同的情绪表情，但是情绪的公开展示以及对人际交往和情况的反应因文化差异而根本地不同。例如，某些文化可能倾向于更保留和/或坚忍。这种文化倾向于感觉和认为超过微妙的公众情绪表情的任何事物——无论是正面的还是负面的——都是不成熟和不适当的。相反，其他文化可能具有更有表现力的、无保留的且熟悉的情绪表情方式。本发明将可选地包括：经由自动选择和/或用户选择的“种族、地区、文化、宗教参数”选项。

这些文化参数可以被自动应用，以随着时间的推移和/或根据照片的集合以及针对给定的事件和情况为个体校准正常或典型的情绪反应范围。可以根据图像分析和位置数据自动确定/预测种族、区域位置、宗教信仰等、和/或通过用户提供的简要资料来提供种族、区域位置、宗教信仰等。例如，系统中的规则将更多地权衡面部特征点位置的小改变和细微变化，并期望较低的频率来表达居住在北京的中年中国男人的“开朗微笑”。结果，该系统将增加该个体的“情绪表情的情绪粒度”，以便提供更多的图像用于展示和图像产品。另外，例如，对于来自平均表情更柔和的文化的个体(例如，中年中国男人)，表情的细微改变将更可能被领会并且在文化上适合。

图5示出了根据本发明的实施方式的示例性图形，其描绘了中性情绪表情/状态1220与一系列负面情绪表情/状态1300、1320、1340。类似于图4，图5中所示的示例性图形示出了所识别和测量的面部特征1300、1320和1340以及它们如何与对象1210的中性正视图的参考面部特征1220相关。然而，图5示出了“前向的姿势-中性表情”(顶部)和沿着悲伤-愤怒进展(情绪矢量量表“负面”和“积极”的相反端)的一行。尽管在图4和图5中仅示出了两个情绪矢量，但是可以使用四个所描述的(积极/消极、正面/负面、愉快/不愉快、有意识的/无意识的)情绪矢量的任何组合来对个体或一系列情绪状态进行排列、排序、识别或表征。

图6示出了根据本发明的实施方式的从负面到正面的示例情绪矢量量表，其中对象的具有捕获的表情的对应图像沿着负面到正面情绪矢量。例如，图6示出了从负面到正面/愉快到不愉快的整个情绪矢量量表的示例，其中中性情绪矢量在中间指示。图像的所表示的情绪状态的文本指示可以包括(从左到右)愤怒(1330)、悲伤(1310)、忧郁(1290)、中性(1210)、欣慰(1230)、快乐(1250)和兴高采烈(1270)。如由负面1360到正面1380的情绪矢量1350所示，可以根据在每个图像中识别出的表情对图像进行排序和排次序，并沿着负面至正面的情绪矢量空间1350对图像进行呈现，其中中性表情1210被放置在情绪矢量空间1350的中心。

图7示出了根据本发明的实施方式的在不同图像1410-1520中捕获的识别出的情绪状态的随机布置的示例。识别出的情绪状态的随机布置的示例包括以下识别出的表情(从左到右，并且从上到下)：专注(1410)、困惑(1420)、热切(1430)、忧郁(1440)、中性(1450)、欣慰(1460)、悲伤(1470)、快乐(1480)、兴高采烈(1490)、沉思(1500)、坚定(1510)和暴躁(1520)。因此，在本发明的实施方式中，可以对对象的不同表情的有趣且有表现力的集合进行识别、排序和呈现。

面部表情可以用于传达情绪或引起情绪反应。因此，本发明的实施方式允许用户沿着所选择的情绪矢量导航并选择具有期望表情的面部图像。这可以通过任何标准的GUI技术来完成，诸如，使用下拉菜单向左或向右和/或向上和向下滑动，或从表示情绪矢量的多个图像的线性或区域显示中选择期望的图像。替代性地，用户可以从基于文本的情绪描述符的菜单中选择期望的面部表情，诸如：例如，“欣慰”、“乐观”、“满意”、“圆满”、“高兴”、“安逸”或“心满意足”。另外，作为对文本的补充或代替文本，用户可以使用emoji字符作为定位期望的匹配面部表情的手段。

图8A示出了根据本发明的实施方式的描绘了跨各种情绪矢量的中性情绪表情/状态的示例性用户界面440。如在图8A中可以看到的，中性表情具有沿着各种不同的情绪状态矢量轴线480、520、560和600的情绪分数，其可以由沿着各个轴线显示的计分界面指示符490、530、570和610指示。负面-正面情绪状态轴线480可以沿着轴线480显示图像从负面470到正面460的情绪状态分数。类似地，不愉快-愉快情绪状态轴线520可以沿着轴线520显示图像从不愉快510到愉快500的情绪状态分数。此外，消极-积极情绪状态轴线560可以沿着轴线560显示图像从消极550到积极540的情绪状态分数。最后，无意识-有意识情绪状态轴线600可以沿着轴线600显示图像从无意识590到有意识580的情绪状态分数。基于各个轴线上的各个分数，可以确定情绪状态620并将其呈现给用户。例如，在图8A中，情绪状态是中性的，并且各个情绪状态轴线的分数都是中性的，分数为0。在各个轴线上方呈现计分指南450，以允许用户沿着各个情绪轴线480、520、560和600中的每个轴线识别情绪表情的幅度。

图8B示出了根据本发明的实施方式的描绘了跨各种情绪矢量480、520、560和600的有希望的情绪表情/状态700的示例性用户界面650。如在图8B中可以看到的，基于图像跨各种情绪状态矢量——负面-正面480、不愉快-愉快520、消极-积极560和无意识-有意识600——的分数来确定有希望的情绪状态620。例如，有希望的状态包括下述图像，所述图像具有高的正面分数、中等的愉快分数、中等的消极分数和略微较高的有意识分数。此外，如果用户改变任何相关分数，则系统可以计算新的情绪状态并显示与更新的新的情绪状态相对应的图像。

图9A示出了根据本发明的实施方式的描绘了跨各种情绪矢量的惊讶的情绪表情/状态830的另一示例性用户界面710。导航用户界面允许用户按下各种按钮，以循环浏览该情绪矢量中的图像。例如，当用户浏览库和/或图像集时，用户可以选择积极矢量界面按钮760以查看更多积极表情。例如，用户可以按下积极矢量界面按钮3次、无意识按钮一次，并且按下选择按钮800，系统将查找并显示与该矢量分数相关的图像。此外，可以包括“更像该选项”(未显示)以查找与当前正在查看的表情相似的表情。

图9B示出了根据本发明的实施方式的描绘了跨各种情绪矢量的有希望的情绪表情/状态的另一示例性用户界面840。图9B的GUI包含“多种功能”，因为相同的控件可以从图形和/或文本列表中为所选择的个体选择面部表情，然后在用户的图像集合中搜索匹配的表情。相同的GUI可以用于分析用户选择的面部照片以确定对象的表情。另外，本发明的实施方式可以分析捕获的图像，并将其分数与用户选择的期望的面部表情的分数进行比较，然后GUI可以指示用户调整她的表情以符合所选择的表情。

图10A至图10D示出了根据本发明的实施方式的具有用户图像和描绘各种情绪表情/状态的示例性图形用户界面(GUI)的移动设备。如可以看出的，图8A至图9B的GUI可以显示在移动设备940、960、980和1000的底部440、650、710和840上，而与所选择的矢量分数相对应的图像950、970、990和1010显示在GUI上方。因此，用户可以根据按照表情识别出的经排列和排序的图像浏览其图像目录。

图11A至图11D示出了根据本发明的实施方式的用于具有第一情绪表情/状态的用户的第一图像1610A的图像处理流程图1600。处理流程通过识别图像中面部的位置并生成围绕对象面部的网格1050A开始。网格1050A可以基于面部的眼部位置1040A。网格1050A可以具有预定大小，该预定大小可以裁剪图像的不落入该大小中的周围部分，以确保可以通过界面均匀地呈现所有图像。网格的大小可以基于所识别的面部特征(例如，耳朵的位置和/或所识别的头部大小)和/或可以是预定的，以确保呈现出一致且均匀的图像。

图11B示出了基于网格的大小的裁剪图像1610B。网格的放置基于对象的眼睛1040A的眼部位置。从图像中裁剪了网格外部的周围图像区域。图11C示出了去除了网格的裁剪图像1610C。图11D示出了缩放或扩大的图像1610D以填充将针对图像进行显示的呈现空间。

类似地，图12A至图12D示出了根据本发明的实施方式的具有第二情绪表情/状态的用户的第二图像1710A的图像处理流程图1700。图12A示出了基于第一图像被识别并覆盖在第二图像1710A上的网格1050B。图12B示出了其中图像1710B中的面部的眼部位置被识别出并且图像被旋转以与第一图像1610B的眼部网格对准的图像。因此，两个图像的眼部放置可以对准以确保图像之间的一致呈现。图12C示出了网格外部的区域被裁剪之后的图像1710C。图12D示出了第二图像的放大/缩放版本，其中在对象的两个图像之间有相似的眼部定位和距离。

通过裁剪和扩大图像以填充呈现空间，各种图像的眼部位置和间距可以在多个图像上保持一致。在呈现面部期间，从一个眼部分离过渡到另一个眼部分离以及各种图像的位置对于允许平滑过渡很重要。因此，图像可以被缩放和旋转以允许跨图像对准。因此，在多个图像上，眼睛相距相同的距离并且在图像中具有相对相似的位置。这样，当通过用户界面浏览和/或显示多个图像时，由于对象的眼睛将在位置和旋转上匹配，因此图像将自然地移位。如果不执行这些步骤，则图像之间过渡的硬拷贝/打印和软拷贝/视频将从图像到图像分散。

为了按顺序或以线性或矩阵布局呈现多个图像，可以在单个图像的各个帧内使单个图像彼此对准。通过使面部特征点对准，调整头部倾斜度以及增大或减小放大倍率以匹配从图像到图像的眼部分离，可以快速连续地呈现一系列图像，并且图像到图像的过渡将显得平滑和自然。通过在图像之间提供微妙的过渡淡入和淡出，还可以增强该效果。该技术可以用于导航以及静态和/或动态呈现。

图13A至图13B示出了根据本发明的实施方式参考表情符号1530和在对象1540上产生具有不同的情绪表情/状态的定制emoji/表情符号的本发明的实施方式。术语“emoji”是日语中的“图片字符”，类似于表情符号，但不仅仅表达情绪。emoji包括用于在各种电子通信系统上表达想法或情绪的很大的一组符号和图标。因此，一些emoji是表情符号，但不是所有的表情符号都是emoji。表情符号和emoji都与电子邮件和即时消息传递系统一起使用，并且同时被创建以帮助促进基于在线文本的对话中的情绪意图、语气和个性。如今，随着功能强大的手持和便携式设备以及高速无线和蜂窝网络的出现，对具有微小数据配置文件的低分辨率或文本近似图像的需求不再是强制性的。

另外，把表情符号和emoji编入索引，使得用户可以选择她希望传达的确切情绪状态。但是，这些非常简单的视觉提示确实有助于传达复杂而微妙的情绪状态，但缺乏具有个人联系或关系的个体的真实图像的个人方面。表情符号和emoji都可以用于传达情绪反应或意图。为了进一步增强情绪流通，可以使用个人面部图像代替基于文本和/或图形的图标。例如，有3岁幼儿的年轻母亲可以创建一组她的孩子的面部的加入各种情绪表情的“个人表情符号”，并使用它们来在社交网络上回应和评论。

图14示出了根据本发明的实施方式的用于对象的情绪状态的随机集合的示例性呈现格式1550。本发明的实施方式可以提供许多不同类型的产品和/或应用。例如，可以将图像打印在卡或贺卡上，如图14所示。应用可以包括打印的和虚拟的照片产品以及贺卡、电子卡、重新排序的情绪矢量进展视频剪辑、交互式虚拟呈现、情绪进展导航GUI、真实图像表情符号、交互式用户表情指南、按用户选择的情绪矢量布置的线性和/或矩阵排列的面部图像，用户选择的情绪矢量诸如：快乐到悲伤、冷静到愤怒、随机分布等。

图15A至图15B示出了根据本发明的实施方式的根据两个情绪矢量和与呈现模板相关联的所选择的图像的示例性情绪状态呈现模板1560。在不同的实施方式中，可以沿着单轴线、双轴线或多轴线提供一系列图像，其中一个或多个不同的情绪矢量空间和/或平面涉及跨那些单轴线至多轴线的表情的选择和呈现。图15A示出了可以沿着两个情绪矢量空间——包括沿着水平轴线的消极-积极和沿着竖向轴线的愉快-不愉快——组织的一系列不同的情绪表情。附加情绪状态和替代性情绪矢量在下面在所附的附录中提供。图15B示出了示例性状态呈现产品1570，其示出了对象的具有在图15A的模板1560中示出的对应情绪状态的图像。

另外，在一些实施方式中，可以使用不同的生物学反应来测量情绪表情和反应。例如，在一些实施方式中，可以在实时捕获成像系统中使用技术诸如欧拉视频放大倍率(EVM)，并且视频记录包括面部血流模式和脉搏测量以辅助确定情绪状态。这样，在一些实施方式中，与图像有关的元数据可以包括血压、传感器信息和/或可以允许系统跨图像识别和呈现不同的情绪状态的任何其他信息。

已经特别参考本发明的某些实施方式对本发明进行了详细描述，但是将理解，可以在本发明的精神和范围内进行变化和修改。

零件列表

零件列表：

10.系统框图

20.用户

30.用户界面

40.显示器

50.图像输入系统

60.图像输出系统

70.数据处理系统

80.面部特征点分析器

90.参考面部识别面部特征点查找表

100.参考面部表情面部特征点查找表

110.面部表情情绪矢量定序器

120.面部特征点对准计算器

130.数据存储系统

140.图像集合数据存储

150.图像元数据数据存储

160.方法流程图

170.初始化步骤

180.图像集选择步骤

190.面部特征识别和辨别步骤

200.面部辨别步骤

情绪状态和替代性情绪矢量

/>

/>

/>

/>

Claims (20)

1.一种数字图像处理系统，包括：

计算机处理器和显示设备，所述计算机处理器被配置成对数字图像进行排列和排序，所述显示设备被配置成根据所述排列和排序来对所述数字图像进行显示，其中，所述计算机处理器以下述方式对所述数字图像进行排列和排序：

检测所述数字图像中描绘的个体的面部；

识别出描绘有所述个体的面部的所述数字图像，并且使描绘有所述个体的面部的所述数字图像成组；

针对描绘有所述面部的所述数字图像中的每个数字图像，从所述面部提取面部特征点；

针对描绘有所述面部的所述数字图像中的每个数字图像，通过将所述面部特征点与面部特征点查找表进行比较来计算跨多个情绪状态矢量的情绪表情分数；

接收用户对情绪表情的选择；

根据所述多个情绪状态矢量中的与所述用户选择的情绪表情相对应的一个情绪状态矢量来对所述数字图像进行排列和排序。

2.根据权利要求1所述的数字图像处理系统，其中，所述显示设备被配置成以静态、动态或可导航的方式并且按线性格式、顺序格式、2D或3D格式来显示经排序和排列的所述数字图像。

3.根据权利要求2所述的数字图像处理系统，其中，所述计算机处理器被配置为随着时间的推移描绘所述个体的情绪表情。

4.根据权利要求1所述的数字图像处理系统，所述数字图像处理系统还包括用户选择界面，并且其中，所述显示设备被结合作为：图形覆盖件；聊天机器人；API；或者手机、平板电脑或零售自助服务终端上的网站应用。

5.根据权利要求1所述的数字图像处理系统，其中，所述计算机处理器还被配置成基于人类操作员视觉上可感知的面部表情确定过程来对所述排列和排序进行增强。

6.根据权利要求1所述的数字图像处理系统，其中，所述从所述面部提取面部特征点的特征在于对选自以下各者中的至少一者的相对位置、取向和形状进行测量和分析：眼睛、眼眉、眼睑、前额/额头、鼻孔和嘴部。

7.根据权利要求1所述的数字图像处理系统，其中，用户选择的情绪表情选自以下各者：随机、按顺序、按时间顺序、强度递增、强度递减、单轴线呈现、双轴线呈现或多轴线呈现。

8.根据权利要求1所述的数字图像处理系统，其中，所述用户选择的情绪表情包括反映一般性情绪选择选项类别的文本项或图标。

9.根据权利要求8所述的数字图像处理系统，其中，所述用户选择的情绪表情还包括：具有更大情绪粒度的相关的文本项及图标的子类别。

10.根据权利要求1所述的数字图像处理系统，其中，所述用户选择的情绪表情包括“更喜欢这个”选项。

11.根据权利要求1所述的数字图像处理系统，其中，所述计算机处理器还被配置成在所述显示设备上根据选自以下各者的呈现选项来对所述数字图像进行布置和呈现：随机、按顺序、强度递增、强度递减、单轴线呈现、双轴线呈现或多轴线呈现。

12.根据权利要求1所述的数字图像处理系统，其中，检测所述个体的面部是使用包括以下各者的过程来进行的：面部检测、特征提取和面部辨别。

13.根据权利要求12所述的数字图像处理系统，其中，特征提取技术选自以下各者：多层感知器(MLP)、径向基函数网络(RBFN)、支持向量机(SVM)、以及用以对视觉上可感知的面部表情进行分类的基于规则的分类器。

14.根据权利要求1所述的数字图像处理系统，其中，所述计算机处理器以下述方式对所述数字图像进行排列和排序：利用预定的文本、图形、标题、注释、专业的和/或第三方图像及内容、音乐、对话或旁白来进一步增强对所述数字图像的所述排列和排序。

15.根据权利要求7所述的数字图像处理系统，所述数字图像处理系统还包括图形用户界面，所述图形用户界面被配置为接收用户对呈现类型的选择。

16.根据权利要求1所述的数字图像处理系统，其中，所述数字图像的所述排列和排序被修改，以符合可接受的区域规范、种族规范、宗教规范和文化规范。

17.根据权利要求1所述的数字图像处理系统，其中，所述计算机处理器被配置为修改所述数字图像以用作表情符号、emoji或头像。

18.根据权利要求1所述的数字图像处理系统，其中，所述计算机处理器还被配置为使用视觉上可感知的面部表情来触发图像捕获设备或实时地标记图像。

19.根据权利要求6所述的数字图像处理系统，其中，所述计算机处理器还被配置为：通过对选自由眼睛、眼眉、眼睑、前额/额头、鼻孔和嘴部组成的组中的特征的位置、取向或形状中的一者或多者进行数字地修改，来选择性地改变视觉上可感知的面部表情。

20.根据权利要求1所述的数字图像处理系统，其中，所述计算机处理器还被配置为：复制所选择的面部图像并选择性地改变视觉上可感知的面部表情，以填充表情类型中的间隙或增强情绪粒度。