CN110598568A - 一种基于人脸表情分类的旅游景点智能拍照系统和方法 - Google Patents

一种基于人脸表情分类的旅游景点智能拍照系统和方法 Download PDF

Info

Publication number
CN110598568A
CN110598568A CN201910765482.2A CN201910765482A CN110598568A CN 110598568 A CN110598568 A CN 110598568A CN 201910765482 A CN201910765482 A CN 201910765482A CN 110598568 A CN110598568 A CN 110598568A
Authority
CN
China
Prior art keywords
facial
facial expression
face
expression
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910765482.2A
Other languages
English (en)
Inventor
谢超
朱艳华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Terminus Technology Co Ltd
Original Assignee
Chongqing Terminus Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Terminus Technology Co Ltd filed Critical Chongqing Terminus Technology Co Ltd
Priority to CN201910765482.2A priority Critical patent/CN110598568A/zh
Publication of CN110598568A publication Critical patent/CN110598568A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/14—Travel agencies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于人脸表情分类的旅游景点智能拍照系统，所述智能拍照系统包括：面部信息采集模块，用于采集面部视频并进行人脸重要器官区域的识别；面部信息分析模块，用于根据人脸重要器官区域确定面部特征点，并由面部特征点位置的变化量生成面部表情特征向量；表情类型确定模块，用于判定面部表情特征向量是否属于训练之后的若干SVM分类向量机对应的面部表情类型，确定游客当前面部表情的面部表情类型；面部图像拍摄模块，用于自动拍摄所确定的面部表情类型与景点特色相匹配的游客的面部表情。本发明提供了该系统的智能拍照方法。本发明在游客的面部表情类型与景点特色相匹配时拍摄游客的面部图像，增大景区吸引力，提高景区相片的打印量。

Description

一种基于人脸表情分类的旅游景点智能拍照系统和方法
技术领域
本发明涉及智慧旅游技术领域，特别涉及一种基于人脸表情分类的旅游景点智能拍照系统和方法。
背景技术
目前，很多旅游景点设立有智能相机，以便在游客不察觉的情况下自动拍摄游客的面部相片，游客可以在景点的出口等位置处查看并选择下载或打印相片留作纪念，这一功能不仅能够为游客创造惊喜，增强景区吸引力，而且能够通过打印相片为景区带来收入。
现有技术中需要强化智能相机对游客表情状态的智能识别与自动拍摄，来使得旅游景点自动拍照的上述效果最大化，从而增大对游客的吸引力，提高相片的打印量。然而，现有技术中的智能相机或者并不具备游客表情状态的识别功能，只是按预定的时间点拍摄，经常拍摄到不适合留影的游客表情，或者只能进行笑脸的智能识别与自动拍摄，而无法准确识别其它类型的表情，不能针对与景点特色匹配的游客表情类型进行自动拍摄。
因此，我们希望智能相机可以首先对游客表情状态进行分类识别，才能够针对与景点特色相匹配的表情类型进行自动拍摄。比如，在游客进行过山车等刺激性强的娱乐项目时，使用智能相机可以拍摄游客紧张的表情；在游客游览壮观的自然和人文奇观时，使用智能相机可以拍摄游客惊讶新奇的表情；在游客游览一些美好的景色时，使用智能相机可以拍摄游客微笑或者大笑的表情，同时可以避免拍摄生气、悲伤以及厌恶等类型的不适合留影的表情。
基于上述问题，提供了一种基于人脸表情分类的旅游景点智能拍照系统和方法，用于在游客的面部表情类型与景点特色相匹配时拍摄所述游客的面部图像，增大景区吸引力，提高景区相片的打印量。
发明内容
(一)发明目的
为克服上述现有技术存在的至少一种缺陷，本发明提供了一种基于人脸表情分类的旅游景点智能拍照系统和方法。能够在游客的面部表情类型与景点特色相匹配时拍摄所述游客的面部图像，增大了景区吸引力，提高了景区相片的打印量。
(二)技术方案
作为本发明的第一方面，本发明公开了一种基于人脸表情分类的旅游景点智能拍照系统，包括：
面部信息采集模块，用于采集面部视频并进行人脸重要器官区域的识别；
面部信息分析模块，用于根据所述人脸重要器官区域确定面部特征点，并由面部特征点位置的变化量生成面部表情特征向量；
表情类型确定模块，用于判定所述面部表情特征向量是否属于训练之后的若干SVM分类向量机对应的面部表情类型，确定游客当前面部表情的所述面部表情类型；
面部图像拍摄模块，用于自动拍摄所确定的所述面部表情类型与景点特色相匹配的所述游客的所述面部表情。
一种可能的实施方式中，所述面部信息采集模块包括：图像预处理单元；所述图像预处理单元用于对所述面部视频中的面部图像进行灰度校正，噪声过滤处理。
一种可能的实施方式中，所述面部信息采集模块包括：人脸重要器官区域识别模块和数据库；所述数据库存储人脸重要器官样本图像；所述人脸重要器官区域识别模块用于将所述面部视频中的面部图像与所述人脸重要器官样本图像进行比对进而确定出所述人脸重要器官区域。
一种可能的实施方式中，所述面部特征点包括：所述人脸重要器官区域的若干坐标点(X，Y)；所述面部信息分析模块用于根据所述人脸重要器官区域建立所述人脸重要器官区域的若干坐标点(X，Y)，并由所述面部视频相邻帧的所述面部图像中所述若干坐标点的变化量生成所述面部表情特征向量。
一种可能的实施方式中，所述表情类型确定模块包括：面部表情数据集，所述面部表情数据集包括预定面部表情类型的面部表情样本图像；所述表情类型确定模块用于对所述面部表情数据集中的所述面部表情样本图像进行特征点和面部表情特征向量的提取，并将所述面部表情特征向量及其面部表情类型输入所述若干SVM分类向量机进行训练，以此获得所述训练之后的若干SVM分类向量机。
作为本发明的第二方面，本发明公开了一种基于人脸表情分类的旅游景点智能拍照方法，包括以下步骤：
面部信息采集步骤，采集面部视频并进行人脸重要器官区域的识别；
面部信息分析步骤，根据所述人脸重要器官区域确定面部特征点，并由面部特征点位置的变化量生成面部表情特征向量；
表情类型确定步骤，判定所述面部表情特征向量是否属于训练之后的若干SVM分类向量机对应的面部表情类型，确定游客当前面部表情的所述面部表情类型；
面部图像拍摄步骤，自动拍摄所确定的所述面部表情类型与景点特色相匹配的所述游客的所述面部表情。
一种可能的实施方式中，所述面部信息采集步骤包括：图像预处理器件；所述图像预处理器件对所述面部视频中的面部图像进行灰度校正，噪声过滤处理。
一种可能的实施方式中，所述面部信息采集步骤包括：人脸重要器官区域识别器件和数据库；所述数据库存储人脸重要器官样本图像；所述人脸重要器官区域识别器件将所述面部视频中的面部图像与所述人脸重要器官样本图像进行比对进而确定出所述人脸重要器官区域。
一种可能的实施方式中，所述面部特征点包括：所述人脸重要器官区域的若干坐标点(X，Y)；所述面部信息分析步骤根据所述人脸重要器官区域建立所述人脸重要器官区域的若干坐标点(X，Y)，并由所述面部视频相邻帧的所述面部图像中所述若干坐标点的变化量生成所述面部表情特征向量。
一种可能的实施方式中，所述表情类型确定步骤包括：面部表情数据集，所述面部表情数据集包括预定面部表情类型的面部表情样本图像；所述表情类型确定步骤对所述面部表情数据集中的所述面部表情样本图像进行特征点和面部表情特征向量的提取，并将所述面部表情特征向量及其面部表情类型输入所述若干SVM分类向量机进行训练，以此获得所述训练之后的若干SVM分类向量机。
(三)有益效果
本发明提供的一种基于人脸表情分类的旅游景点智能拍照系统和方法，通过面部信息采集模块根据采集到的面部视频识别出人脸重要器官区域，从而使得面部信息分析模块能够生成面部表情特征向量，进而由表情类型确定模块在判定出面部表情特征向量的输出面部表情属于训练之后的若干SVM分类向量机对应的面部表情类型时，由面部图像拍摄模块在游客的所述面部表情类型与景点特色相匹配时拍摄所述游客的面部图像。不仅增大了景区吸引力，而且能够提高景区相片的打印量。
附图说明
以下参考附图描述的实施例是示例性的，旨在用于解释和说明本发明，而不能理解为对本发明的保护范围的限制。
图1是本发明提供的一种基于人脸表情分类的旅游景点智能拍照系统的结构示意图。
图2是本发明提供的一种基于人脸表情分类的旅游景点智能拍照方法的流程图。
具体实施方式
为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。
需要说明的是：在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例，而不是全部的实施例，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，均仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。
下面参考图1详细描述本发明提供的一种基于人脸表情分类的旅游景点智能拍照系统的第一实施例。如图1所示，本实施例提供的智能拍照系统主要包括有：面部信息采集模块、面部信息分析模块、表情类型确定模块和面部图像拍摄模块。
面部信息采集模块，用于采集面部视频并进行人脸重要器官区域的识别。根据采集到的面部视频可以识别出每一帧面部图像中的鼻子、嘴巴、眉毛等所在区域。
面部信息分析模块，用于根据所述人脸重要器官区域确定面部特征点，并由面部特征点位置的变化量生成面部表情特征向量。所述面部特征点可以为鼻子、嘴巴和眉毛等所在的位置。依据某一时间段内的鼻子、嘴巴和眉毛等所在位置的变化量可以了解到这一时间段内人脸重要器官的变化，所以可根据鼻子、嘴巴和眉毛等所在位置的变化量生成面部表情特征向量，面部表情特征向量可以反映游客当前面部表情。
表情类型确定模块，用于判定所述面部表情特征向量是否属于训练之后的若干SVM分类向量机对应的面部表情类型，确定游客当前面部表情的所述面部表情类型。每一SVM分类向量机可以代表一种面部表情类型，若干SVM分类向量机可以代表若干面部表情类型；每一SVM分类向量机可根据面部表情特征向量的输出面部表情判定该面部表情是否属于本SVM分类向量机对应的面部表情类型，从而能够根据若干SVM分类向量机对所述面部表情特征向量的输出面部表情的判定结果确定游客当前面部表情类型。当所述游客对应的面部表情特征向量的输出面部表情属于某一SVM分类向量机对应的面部表情类型时，可以判定该游客当前面部表情为该SVM分类向量机对应的面部表情类型。
面部图像拍摄模块，用于自动拍摄所确定的所述面部表情类型与景点特色相匹配的所述游客的所述面部表情。面部图像拍摄模块根据表情类型确定模块的判定结果分析游客当前面部表情类型是否与游客当前所在景点的景点特色相匹配，若匹配则自动拍摄游客的面部表情。若游客当前面部表情类型为紧张，且当前景点为刺激性强的娱乐项目时，自动拍摄游客的面部表情；若游客当前面部表情类型为惊讶和/或新奇，且当前景点为壮观的自然和人文奇观时，自动拍摄游客的面部表情；若游客当前面部表情类型为微笑或者大笑，且当前景点为美好的景色时，自动拍摄游客的面部表情。
其中，所述面部信息采集模块包括：图像预处理单元；所述图像预处理单元用于对所述面部视频中的面部图像进行灰度校正，噪声过滤处理。在图像预处理单元中，可以通过面部视频获取到每一帧面部图像；由于所述面部图像可能会受到各种干扰，并不能直接使用，所以应将所述面部图像经灰度校正，获得红绿蓝三色分量；计算像素点的灰度，根据预先设定的阈值对像素点着色分量进行重新赋值，得到需要的灰色图像，有利于面部特征点的提取以及面部表情类型的判定。
其中，所述面部信息采集模块包括：人脸重要器官区域识别模块和数据库；所述数据库存储人脸重要器官样本图像；所述人脸重要器官区域识别模块用于将所述面部视频中的面部图像与所述人脸重要器官样本图像进行比对进而确定出所述人脸重要器官区域。数据库中预先存储有眉毛、下巴、眼睛和嘴唇等人脸重要器官样本图像；人脸重要器官区域识别模块可以将所述图像预处理单元处理过的每一帧面部图像中的任一区域与数据库中的人脸重要器官样本图像进行外形相似度的比对，进而可以获得每一帧面部图像中的眉毛所在区域、鼻子所在区域和眼睛所在区域等，从而能够确定出人脸重要器官区域。
其中，所述面部特征点包括：所述人脸重要器官区域的若干坐标点(X，Y)；所述面部信息分析模块用于根据所述人脸重要器官区域建立所述人脸重要器官区域的若干坐标点(X，Y)，并由所述面部视频相邻帧的所述面部图像中所述若干坐标点的变化量生成所述面部表情特征向量。比如可以建立一个坐标系，为第z帧的面部图像中的嘴唇所在区域标记坐标点为(X1a，Y1b)，(X2a，Y2b)，(X3a，Y3b)，(X4a，Y4b)，……，(Xna，Ynb)，通过嘴唇所在区域的坐标点可以了解到嘴唇的张开形状和大小；可以了解到第z帧的面部图像中的嘴唇所在区域的每一坐标点相对于坐标原点的距离以及角度；同理，还可以了解到第z帧的面部图像中的眼睛和眉毛等所在区域的每一坐标点相对于坐标原点的距离以及角度。第1+z帧的面部图像中的嘴唇所在区域标记坐标点为(X1c，Y1d)，(X2c，Y2d)，(X3c，Y3d)，(X4c，Y4d)，……，(Xnc，Ynd)，这时我们可以了解到第1+z帧的面部图像中的嘴唇所在区域的每一坐标点相对于坐标原点的距离以及角度；同理，还可以了解到第1+z帧的面部图像中的眼睛和眉毛等所在区域的每一坐标点相对于坐标原点的距离以及角度。每帧面部图像可以得到68个坐标点。可以了解到由第z帧的面部图像至第1+z帧的面部图像中嘴唇、眼睛和眉毛等所在区域的每一坐标点相对于坐标原点距离的变化量以及角度的变化量，以此生成面部表情特征向量，面部表情特征向量反映了人脸重要器官的变化，可以了解到游客当前面部表情。
其中，所述表情类型确定模块包括：面部表情数据集，所述面部表情数据集包括预定面部表情类型的面部表情样本图像；所述表情类型确定模块用于对所述面部表情数据集中的所述面部表情样本图像进行特征点和面部表情特征向量的提取,并将所述面部表情特征向量及其面部表情类型输入所述若干SVM分类向量机进行训练，以此获得所述训练之后的若干SVM分类向量机。表情类型确定模块包括：数据集获取单元、特征点检测单元、特征点位置获取单元、特征点信息提取单元、面部表情特征向量提取单元和训练单元。数据集获取单元，用于获取面部表情数据集；数据集获取单元可从网上下载获得公开的面部表情数据集，如CK+表情数据集等，以及使用网络爬虫收集两万张左右非公开的面部表情数据集，将面部表情数据集根据心理学常用分类方法，分为紧张、惊讶、新奇等面部表情类型，并可按不同分类从0-6做好标签，然后把图像灰度化，降低光照和色差对表情识别的影响，从而形成面部表情样本图像。特征点检测单元，利用人脸特征点检测算法对面部表情数据集中的面部表情样本图像进行人脸特征点检测，每张人脸得到68个人脸特征点；特征点位置获取单元，获取各个人脸特征点的坐标(X，Y)。具体地，可建立一面部坐标系，这样每个器官的每个特征点都在该坐标系中拥有自己的位置信息，则可得到68个人脸特征点的坐标。特征点信息提取单元，根据得到的人脸特征点的坐标，提取人脸特征点信息。计算每个人脸特征点相对于坐标原点的距离以及角度作为人脸特征点信息，其中坐标原点可以为所有点的中心。面部表情特征向量提取单元，可以由人脸特征点信息获取到面部表情特征向量。训练单元，利用提取的面部表情特征向量以及所述面部表情特征向量对应的面部表情类型训练SVM分类向量机，得到训练之后的SVM分类向量机。这样就通过CK+表情数据集将面部表情特征向量及其面部表情类型通过若干SVM分类向量机进行训练，进而得到训练之后的若干SVM分类向量机。
本发明通过面部信息采集模块根据采集到的面部视频识别出人脸重要器官区域，从而使得面部信息分析模块能够生成面部表情特征向量，进而由表情类型确定模块在判定出面部表情特征向量的输出面部表情属于训练之后的若干SVM分类向量机对应的面部表情类型时，由面部图像拍摄模块在游客的所述面部表情类型与景点特色相匹配时拍摄所述游客的面部图像。不仅增大了景区吸引力，而且能够提高景区相片的打印量。
下面参考图2详细描述本发明提供的一种基于人脸表情分类的旅游景点智能拍照方法的第一实施例。如图2所示，本实施例提供的智能拍照方法主要包括有：面部信息采集步骤、面部信息分析步骤、表情类型确定步骤和面部图像拍摄步骤。
面部信息采集步骤，采集面部视频并进行人脸重要器官区域的识别；
面部信息分析步骤，根据所述人脸重要器官区域确定面部特征点，并由面部特征点位置的变化量生成面部表情特征向量；
表情类型确定步骤，判定所述面部表情特征向量是否属于训练之后的若干SVM分类向量机对应的面部表情类型，确定游客当前面部表情的所述面部表情类型；
面部图像拍摄步骤，自动拍摄所确定的所述面部表情类型与景点特色相匹配的所述游客的所述面部表情。
其中，所述面部信息采集步骤包括：图像预处理器件；所述图像预处理器件对所述面部视频中的面部图像进行灰度校正，噪声过滤处理。
其中，所述面部信息采集步骤包括：人脸重要器官区域识别器件和数据库；所述数据库存储人脸重要器官样本图像；所述人脸重要器官区域识别器件将所述面部视频中的面部图像与所述人脸重要器官样本图像进行比对进而确定出所述人脸重要器官区域。
其中，所述面部特征点包括：所述人脸重要器官区域的若干坐标点(X，Y)；所述面部信息分析步骤根据所述人脸重要器官区域建立所述人脸重要器官区域的若干坐标点(X，Y)，并由所述面部视频相邻帧的所述面部图像中所述若干坐标点的变化量生成所述面部表情特征向量。
其中，所述表情类型确定步骤包括：面部表情数据集，所述面部表情数据集包括预定面部表情类型的面部表情样本图像；所述表情类型确定步骤对所述面部表情数据集中的所述面部表情样本图像进行特征点和面部表情特征向量的提取，并将所述面部表情特征向量及其面部表情类型输入所述若干SVM分类向量机进行训练，以此获得所述训练之后的若干SVM分类向量机。
本发明通过面部信息采集步骤根据采集到的面部视频识别出人脸重要器官区域，从而使得面部信息分析步骤能够生成面部表情特征向量，进而由表情类型确定步骤在判定出面部表情特征向量的输出面部表情属于训练之后的若干SVM分类向量机对应的面部表情类型时，由面部图像拍摄步骤在游客的所述面部表情类型与景点特色相匹配时拍摄所述游客的面部图像。不仅增大了景区吸引力，而且能够提高景区相片的打印量。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于人脸表情分类的旅游景点智能拍照系统，其特征在于，包括：
面部信息采集模块，用于采集面部视频并进行人脸重要器官区域的识别；
面部信息分析模块，用于根据所述人脸重要器官区域确定面部特征点，并由面部特征点位置的变化量生成面部表情特征向量；
表情类型确定模块，用于判定所述面部表情特征向量是否属于训练之后的若干SVM分类向量机对应的面部表情类型，确定游客当前面部表情的所述面部表情类型；
面部图像拍摄模块，用于自动拍摄所确定的所述面部表情类型与景点特色相匹配的所述游客的所述面部表情。
2.根据权利要求1所述的智能拍照系统，其特征在于，所述面部信息采集模块包括：图像预处理单元；所述图像预处理单元用于对所述面部视频中的面部图像进行灰度校正，噪声过滤处理。
3.根据权利要求2所述的智能拍照系统，其特征在于，所述面部信息采集模块包括：人脸重要器官区域识别模块和数据库；所述数据库存储人脸重要器官样本图像；所述人脸重要器官区域识别模块用于将所述面部视频中的面部图像与所述人脸重要器官样本图像进行比对进而确定出所述人脸重要器官区域。
4.根据权利要求1所述的智能拍照系统，其特征在于，所述面部特征点包括：所述人脸重要器官区域的若干坐标点(X，Y)；所述面部信息分析模块用于根据所述人脸重要器官区域建立所述人脸重要器官区域的若干坐标点(X，Y)，并由所述面部视频相邻帧的所述面部图像中所述若干坐标点的变化量生成所述面部表情特征向量。
5.根据权利要求1所述的智能拍照系统，其特征在于，所述表情类型确定模块包括：面部表情数据集，所述面部表情数据集包括预定面部表情类型的面部表情样本图像；所述表情类型确定模块用于对所述面部表情数据集中的所述面部表情样本图像进行特征点和面部表情特征向量的提取,并将所述面部表情特征向量及其面部表情类型输入所述若干SVM分类向量机进行训练，以此获得所述训练之后的若干SVM分类向量机。
6.一种基于人脸表情分类的旅游景点智能拍照方法，其特征在于，包括：
面部信息采集步骤，采集面部视频并进行人脸重要器官区域的识别；
面部信息分析步骤，根据所述人脸重要器官区域确定面部特征点，并由面部特征点位置的变化量生成面部表情特征向量；
表情类型确定步骤，判定所述面部表情特征向量是否属于训练之后的若干SVM分类向量机对应的面部表情类型，确定游客当前面部表情的所述面部表情类型；
面部图像拍摄步骤，自动拍摄所确定的所述面部表情类型与景点特色相匹配的所述游客的所述面部表情。
7.根据权利要求6所述的智能拍照方法，其特征在于，所述面部信息采集步骤包括：图像预处理器件；所述图像预处理器件对所述面部视频中的面部图像进行灰度校正，噪声过滤处理。
8.根据权利要求7所述的智能拍照方法，其特征在于，所述面部信息采集步骤包括：人脸重要器官区域识别器件和数据库；所述数据库存储人脸重要器官样本图像；所述人脸重要器官区域识别器件将所述面部视频中的面部图像与所述人脸重要器官样本图像进行比对进而确定出所述人脸重要器官区域。
9.根据权利要求6所述的智能拍照方法，其特征在于，所述面部特征点包括：所述人脸重要器官区域的若干坐标点(X，Y)；所述面部信息分析步骤根据所述人脸重要器官区域建立所述人脸重要器官区域的若干坐标点(X，Y)，并由所述面部视频相邻帧的所述面部图像中所述若干坐标点的变化量生成所述面部表情特征向量。
10.根据权利要求6所述的智能拍照方法，其特征在于，所述表情类型确定步骤包括：面部表情数据集，所述面部表情数据集包括预定面部表情类型的面部表情样本图像；所述表情类型确定步骤对所述面部表情数据集中的所述面部表情样本图像进行特征点和面部表情特征向量的提取，并将所述面部表情特征向量及其面部表情类型输入所述若干SVM分类向量机进行训练，以此获得所述训练之后的若干SVM分类向量机。
CN201910765482.2A 2019-08-19 2019-08-19 一种基于人脸表情分类的旅游景点智能拍照系统和方法 Pending CN110598568A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910765482.2A CN110598568A (zh) 2019-08-19 2019-08-19 一种基于人脸表情分类的旅游景点智能拍照系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910765482.2A CN110598568A (zh) 2019-08-19 2019-08-19 一种基于人脸表情分类的旅游景点智能拍照系统和方法

Publications (1)

Publication Number Publication Date
CN110598568A true CN110598568A (zh) 2019-12-20

Family

ID=68854921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910765482.2A Pending CN110598568A (zh) 2019-08-19 2019-08-19 一种基于人脸表情分类的旅游景点智能拍照系统和方法

Country Status (1)

Country Link
CN (1) CN110598568A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463826A (zh) * 2022-04-12 2022-05-10 合肥的卢深视科技有限公司 人脸表情识别方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201523418U (zh) * 2009-10-28 2010-07-07 山西蓝海鑫科技有限公司 一种动态自动拍摄装置
CN103873914A (zh) * 2014-02-27 2014-06-18 深圳市九洲电器有限公司 一种观众生活图像拍摄方法、装置及多媒体设备
CN105635567A (zh) * 2015-12-24 2016-06-01 小米科技有限责任公司 拍照方法和装置
CN106503658A (zh) * 2016-10-31 2017-03-15 维沃移动通信有限公司 自动拍照方法及移动终端
US20180239956A1 (en) * 2017-01-19 2018-08-23 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201523418U (zh) * 2009-10-28 2010-07-07 山西蓝海鑫科技有限公司 一种动态自动拍摄装置
CN103873914A (zh) * 2014-02-27 2014-06-18 深圳市九洲电器有限公司 一种观众生活图像拍摄方法、装置及多媒体设备
CN105635567A (zh) * 2015-12-24 2016-06-01 小米科技有限责任公司 拍照方法和装置
CN106503658A (zh) * 2016-10-31 2017-03-15 维沃移动通信有限公司 自动拍照方法及移动终端
US20180239956A1 (en) * 2017-01-19 2018-08-23 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
万川: "基于动态序列图像的人脸表情识别系统理论与方法研究", 《中国博士学位论文全文数据库（信息科技辑）》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463826A (zh) * 2022-04-12 2022-05-10 合肥的卢深视科技有限公司 人脸表情识别方法、电子设备及存储介质
CN114463826B (zh) * 2022-04-12 2022-08-12 合肥的卢深视科技有限公司 人脸表情识别方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
KR102147052B1 (ko) 얼굴 영상 기반의 감정 인식 시스템 및 방법
CN106874871B (zh) 一种活体人脸双摄像头识别方法及识别装置
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP5675229B2 (ja) 画像処理装置及び画像処理方法
CN110443102B (zh) 活体人脸检测方法及装置
CN105447432B (zh) 一种基于局部运动模式的人脸防伪方法
CN102194108B (zh) 一种聚类线性鉴别分析特征选择的笑脸表情识别方法
CN102332095A (zh) 一种人脸运动跟踪方法和系统以及一种增强现实方法
CN104881642A (zh) 一种内容推送方法、装置及设备
CN107798279B (zh) 一种人脸活体检测方法及装置
CN107368778A (zh) 人脸表情的捕捉方法、装置及存储装置
KR101510798B1 (ko) 휴대용 얼굴 표정 연습 장치와 그 방법.
CN108182714A (zh) 图像处理方法及装置、存储介质
CN110287790A (zh) 一种面向静态多人场景的学习状态混合分析方法
CN106529494A (zh) 一种基于多摄像头机型的人脸识别方法
CN109858375A (zh) 活体人脸检测方法、终端及计算机可读存储介质
CN110378234A (zh) 基于TensorFlow构建的卷积神经网络热像人脸识别方法及系统
CN112464012B (zh) 可自动筛选照片的景区自动拍照系统及景区自动拍照方法
CN113920568A (zh) 基于视频图像的人脸和人体姿态情绪识别方法
Galdámez et al. Ear recognition using a hybrid approach based on neural networks
CN114663985A (zh) 人脸静默活体检测方法、装置、可读存储介质及设备
CN110009708B (zh) 基于图像色彩分割的发色变换方法、系统及终端
CN110598568A (zh) 一种基于人脸表情分类的旅游景点智能拍照系统和方法
CN116386118B (zh) 一种基于人像识别的粤剧匹配化妆系统及其方法
CN109159129A (zh) 一种基于人脸表情识别的智能陪伴机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191220