CN106445107A - 一种基于面部表情进行信息发送的方法及装置 - Google Patents

一种基于面部表情进行信息发送的方法及装置 Download PDF

Info

Publication number
CN106445107A
CN106445107A CN201610755630.9A CN201610755630A CN106445107A CN 106445107 A CN106445107 A CN 106445107A CN 201610755630 A CN201610755630 A CN 201610755630A CN 106445107 A CN106445107 A CN 106445107A
Authority
CN
China
Prior art keywords
facial expression
expressive features
image
distance
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610755630.9A
Other languages
English (en)
Inventor
于邦仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU PINNUO NEW MEDICAL TECHNOLOGY Co Ltd
Original Assignee
SUZHOU PINNUO NEW MEDICAL TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU PINNUO NEW MEDICAL TECHNOLOGY Co Ltd filed Critical SUZHOU PINNUO NEW MEDICAL TECHNOLOGY Co Ltd
Priority to CN201610755630.9A priority Critical patent/CN106445107A/zh
Publication of CN106445107A publication Critical patent/CN106445107A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/175Static expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于面部表情进行信息发送的方法及装置,该方法包括:对第一用户的面部进行图像采集,依次获取第一表情图像和第二表情图像;从所述第一表情图像中识别预先设定的表情特征点,并获取所述表情特征点的第一分布状态;从所述第二表情图像中识别所述表情特征点,获取所述表情特征点的第二分布状态;根据所述表情特征点的第一分布状态及第二分布状态,判断所述第一用户的状态;根据所述第一用户的状态,向第二用户发送对应的信息。该装置包括:图像采集单元、第一处理单元、第二处理单元、判断单元及发送单元。本方案能够根据用户的状态向相关用户发送对应的信息。

Description

一种基于面部表情进行信息发送的方法及装置
技术领域
本发明涉及通信技术领域,特别涉及一种基于面部表情进行信息发送的方法及装置。
背景技术
随着电子信息技术的发展,目前出现了许多基于用户需求的业务应用。比如,识别用户的手势,根据用户手势对应的指令为用户提供相应的游戏处理动作等。
在日常生活中,用户存在不同的需求,在不同的需求状态下,用户经常会呈现出不同的面部表情,但是目前不能根据一个用户的面部表情来向相关的用户发送对应的信息,从而无法提高用户的业务感受。以空槽老人为例,如果空槽老人寂寞时,面部通常会呈现出沮丧的表情,如果能够根据该表情向空槽老人相关的亲友发送对应的关爱提醒信息,则可以大大提高用户的业务感受。
发明内容
本发明实施例提供了一种基于面部表情进行信息发送的方法及装置,能够根据用户的状态向相关用户发送对应的信息。
本发明实施例提供了一种基于面部表情进行信息发送的方法,包括:
对第一用户的面部进行图像采集,依次获取第一表情图像和第二表情图像;
从所述第一表情图像中识别预先设定的表情特征点,并获取所述表情特征点的第一分布状态;
从所述第二表情图像中识别所述表情特征点,获取所述表情特征点的第二分布状态;
根据所述表情特征点的第一分布状态及第二分布状态,判断所述第一用户的状态;
根据所述第一用户的状态,向第二用户发送对应的信息。
优选地,
所述从所述第一表情图像中识别预先设定的表情特征点包括:
根据对应于所述表情特征点的标准图像,通过扫描的方式从所述第一表情图像上识别与所述标准图像相匹配的第一特征图像,根据所述第一特征图像的颜色变化确定所述表情特征点;
所述从第二表情图像中识别预先设定的表情特征点包括:
根据对应于所述表情特征点的标准图像,通过扫描的方式从所述第二表情图像上识别与所述标准图像相匹配的第二特征图像,根据所述第二特征图像的颜色变化确定所述表情特征点。
优选地,
在所述获取所述表情特征点的第一分布状态之前进一步包括:
从所述第一表情图像中识别预先设定的参照点;
所述获取所述表情特征点的第一分布状态包括:
根据所述第一表情图像中所述表情特征点与所述参照点的相对分布位置,获取所述表情特征点与所述参照点之间的第一距离。
优选地,
在所述获取所述表情特征点的第二分布状态之前进一步包括:
从所述第二表情图像中识别所述参照点;
所述获取所述表情特征点的第二分布状态包括:
根据所述第二表情图中所述表情特征点与所述参照点的相对分布位置,获取所述表情特征点与所述参照点之间的第二距离,并根据所述参照点在所述第一表情图像中及所述第二表情图像中的尺寸,对所述第二距离进行缩放,形成第三距离,以使所述第三距离与所述第一距离相对于所述第一用户的面部尺寸具有相同的放大比例。
优选地,
所述根据所述表情特征点的第一分布状态及第二分布状态,判断所述第一用户的状态包括:
将所述第一距离与所述第三距离进行比较,根据所述第一距离与所述第三距离的大小关系,判断所述第一用户状态。
优选地,
所述表情特征点包括:眉梢、嘴角及眼皮中的任意一个或多个。
优选地,
所述参照点包括:鼻尖及耳垂中的任意一个或多个。
本发明实施例还提供了一种基于面部表情进行信息发送的装置,包括:图像采集单元、第一处理单元、第二处理单元、判断单元及发送单元;
所述图像采集单元,用于对第一用户的面部进行图像采集,依次获取第一表情图像及第二表情图像;
所述第一处理单元,用于从所述图像采集单元获取到的第一表情图像中识别预先设定的表情特征点,并获取所述表情特征点的第一分布状态;
所述第二处理单元,用于从所述图像采集单元获取到的第二表情图像中识别所述表情特征点,并获取所述表情特征点的第二分布状态;
所述判断单元,用于根据所述第一处理单元获取到的所述表情特征点的第一分布状态及所述第二处理单元获取到的所述表情特征点的第二分布状态,判断所述第一用户的状态;
所述发送单元,用于根据所述判断单元判断出的所述第一用户的状态,向第二用户发送对应的信息。
优选地,
所述第一处理单元包括:第一识别子单元;
所述第二处理单元包括:第二识别子单元;
所述第一识别子单元,用于根据对应于所述表情特征点的标准图像,通过扫描的方式从所述第一表情图像上识别与所述标准图像相匹配的第一特征图像,根据所述第一特征图像的颜色变化确定所述表情特征点;
所述第二识别子单元,用于根据对应于所述表情特征点的标准图像,通过扫描的方式从所述第二表情图像上识别与所述标准图像相匹配的第二特征图像,根据所述第二特征图像的颜色变化确定所述表情特征点。
优选地,
所述第一处理单元进一步包括:第一获取子单元;
所述第二处理单元进一步包括:第二获取子单元;
所述第一识别子单元,进一步用于从所述第一表情图像中识别预先设定的参照点;
所述第二识别子单元,进一步用于从所述第二表情图像中识别所述参照点;
所述第一获取子单元,用于根据所述第一表情图像中所述表情特征点与所述参照点的相对分布位置,获取所述表情特征点与所述参照点之间的第一距离;
所述第二获取子单元,用于根据所述第二表情图像中所述表情特征点与所述参照点的相对分布位置,获取所述表情特征点与所述参照点之间的第二距离,并根据所述参照点在所述第一表情图像中及所述第二表情图像中的尺寸,对所述第二距离进行缩放,形成第三距离,以使所述第三距离与所述第一距离相对于所述第一用户的面部尺寸具有相同的放大比例。
优选地,
所述判断单元,用于将所述第一获取子单元获取到的第一距离与所述第二获取子单元获取到的第三距离进行比较,根据所述第一距离与所述第三距离的大小关系,判断所述第一用户的状态。
本发明实施例提供了一种基于面部表情进行信息发送的方法及装置,对第一用户的面部进行图像采集,依次获得第一表情图像及第二表情图像,从第一表情图像中获取表情特征点的第一分布状态,从第二表情图像中获取表情特征点的第二分布状态,根据表情特征点的第一分布状态及第二分布状态判断第一用户的状态,根据第一用户的状态向第二用户发送对应的信息。当第一用户的状态发生变化时,第一用户的表情会发生相应的变化,进而面部上的表情特征点的分布状态也会发生相应的变化,根据表情特征点分布状态的变化能够确定第一用户的不同状态,比如心情变化,则可以向第二用户发送对应的信息,比如提醒第二用户进行关爱第一用户的提醒信号。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的一种基于面部表情进行信息发送的方法流程图;
图2是本发明另一个实施例提供的一种基于面部表情进行信息发送的方法流程图;
图3是本发明一个实施例提供的一种基于面部表情进行信息发送的装置示意图;
图4是本发明另一个实施例提供的一种基于面部表情进行信息发送的装置示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种基于面部表情进行信息发送的方法,该方法可以包括以下步骤:
步骤101:对第一用户的面部进行图像采集,依次获取第一表情图像和第二表情图像;
步骤102:从所述第一表情图像中识别预先设定的表情特征点,并获取所述表情特征点的第一分布状态;
步骤103:从所述第二表情图像中识别所述表情特征点,获取所述表情特征点的第二分布状态;
步骤104:根据所述表情特征点的第一分布状态及第二分布状态,判断所述第一用户的状态;
步骤105:根据所述第一用户的状态,向第二用户发送对应的信息。
本发明实施例提供了一种基于面部表情进行信息发送的方法,对第一用户的面部进行图像采集,依次获得第一表情图像及第二表情图像,从第一表情图像中获取表情特征点的第一分布状态,从第二表情图像中获取表情特征点的第二分布状态,根据表情特征点的第一分布状态及第二分布状态判断第一用户的状态,根据第一用户的状态向第二用户发送对应的信息。当第一用户的状态发生变化时,第一用户的表情会发生相应的变化,进而面部上的表情特征点的分布状态也会发生相应的变化,根据表情特征点分布状态的变化能够确定第一用户的不同状态,比如心情变化,则可以向第二用户发送对应的信息,比如提醒第二用户进行关爱第一用户的提醒信号。
在本发明一个实施例中,在从第一表情图像或第二表情图像中识别表情特征点时,预先采集包括表情特征点的标准图像,通过扫描的方式从第一表情图像或第二表情图像上识别与标准图像相匹配的第一特征图像或第二特征图像,根据第一特征图像或第二特征图像的颜色变化确定表情特征点。
具体地,
第一表情图像或第二表情图像上除了包括有第一用户的面部图像外,还包括有其他干扰图像,预先采集包括有表情特征点的标准图像,通过与标准图像进行匹配的方式从第一表情图像或第二表情图像上识别出包括有表情特征点的特征图像,这样可以去除干扰图像对表情特征点识别带来的干扰。由于表情特征点一般选取面部一些具有代表性的点,这些表情特征点或凸起或凹陷,导致在特征图像上表情特征点与周围部位的颜色具有明显的区别,根据特征图像上颜色的变化能够准确地确定出表情特征点。通过这样确定表情特征点的方式,能够提高确定表情特征点的速率,并能够保证确定出的表情特征点的准确性。
例如,设定嘴角为表情特征点时,预先采集嘴的图像作为标准图像,在获得第一表情图像或第二表情图像后,在第一表情图像或第二表情图像中匹配嘴的图像,将匹配出的图像作为特征图像;由于嘴角相对于嘴的其他部位为凹陷状态,因而嘴角的颜色相对较深,根据图像的颜色从特征图像中识别出嘴角。
在本发明一个实施例中,在获取到第一表情图像后,从第一表情图像中识别预先设定的参照点,参照点位于第一用户的面部图像上,在第一用户的面部表情发生变化时参照点的相对位置不变或变化较小;在从第一表情图像上获取到表情特征点后,根据参照点及表情特征点在第一表情图像上的相对分布位置,获取表情特征点与参照点之间的第一距离。
具体地,预先选定的表情特征点为随表情变化相对位置变化较大的点,在从第一表情图像上识别出表情特征点和参照点后,确定在第一表情图像上表情特征点与参照点之间的第一距离;表情特征点与参照点之间的第一距离反应了在采集第一表情图像时第一用户的表情状态,表情特征点与参照点之间的第一距离将作为与第二距离的参照对象,根据第一距离与第二距离的大小关系,来确定第一用户的表情变化,进而判断第一用户的心情。
例如,预先设定鼻尖为参照点,左嘴角为表情特征点,从第一表情图像上识别出第一用户的鼻尖及左嘴角后,检测在第一表情图像上鼻尖与左嘴角之间的距离,作为表情特征点与参照点之间的第一距离。
在本发明一个实施例中,在获取到第二表情图像后,从第二表情图像中识别相同的参照点,在从第二表情图像上获取到表情特征点后,根据参照点及表情特征点在第二表情图像上的相对分布位置,获取表情特征点与参照点之间的第二距离。在获取到表情特征点与参照点之间的第二距离后,根据参照点在第一表情图像中及第二表情图像中尺寸,对第二距离的进行缩放处理,形成第三距离,以使第三距离与第一距离相对于第一用户面部的真是尺寸具有相同的放大比例。
具体地,
与处理第一表情图像的过程相同,从第二表情图像上识别表情特征点和参照点后,确定第二表情图像上表情特征点与参照点之间的第二距离;由于在采集第一表情图像和第二表情图像时第一用户距离摄像头的距离可能不同,因而第一表情图像与第二表情图像中第一用户面部图像的尺寸相对于第一用户面部的真实尺寸具有不同的放大比例,根据第一表情图像中及第二表情图像中参照点的尺寸,对第二距离进行缩放处理,形成第三距离,缩放的比例能够使第一表情图像中参照点的尺寸与第二表情图像中参照点的尺寸相等;通过对第二距离进行缩放处理获得第三距离,使第一距离与第三距离的放大比例相同,保证第一距离与第三距离具有可比性。
例如,从第二表情图像上识别出第一用户的鼻尖和左嘴角后,检测在第二表情图像上鼻尖与左嘴角之间的距离,作为表情特征点与参照点之间的第二距离;如果在第一表情图像中鼻尖的尺寸为2mm,在第二表情图像中鼻尖的尺寸为1mm,则将表情特征点与参照点之间的第二距离放大2倍,形成第三距离。
在本发明一个实施例中,在获得表情特征点与参照点之间的第一距离和第三距离后,将第一距离与第三距离进行比较,根据第一距离与第三距离的大小关系,判断第一用户的状态。
具体地,
预设的表情特征点均是在面部表情发生变化时相对位置变化比较明显的点,在面部出现不同的表情时,表情特征点与参照点之间具有不同的相对位置,使表情特征点与参照点之间具有不同的距离,从而根据表情特征点与参照点之间距离的变化可以判断表情的变化。将第三距离与第一距离进行比较,可以判断出第一用户的面部表情,进而根据第一用户的面部表情可以判断第一用户的心情状态。
例如,以鼻尖作为参照点,以左嘴角作为表情特征点,当人微笑时嘴角上扬,鼻尖与左嘴角之间的距离较小,当人哭泣时嘴角下拉,鼻尖与左嘴角之间的距离增大。由于第二表情图像在第一表情图像之后采集,当鼻尖与左嘴角之间的第一距离小于第三距离时,说明第一用户的面部表情由喜悦变为正常或哭泣,判断第一用户的心情状态变差。
在本发明一个实施例中,表情特征点包括眉梢、嘴角及眼皮中的任意一个或多个,由于眉梢、嘴角及眼皮均是随表情变化位移较大的部位,比如在微笑时两眉梢之间的距离增大、嘴角上扬,在哭泣时两眉梢之间的距离减小、嘴角下拉。以这些随表情变化位移较大的部位作为表情特征点,能够准确判断面部表情的变化,从而能够准确判断用户的状态,保证所发送提醒信息与用户心情能够准确对应。
在本发明一个实施例中,参照点包括鼻尖及耳垂中的任意一个或多个,由于鼻尖及耳垂均是随表情变化位移较小的部位,比如在微笑或哭泣时鼻尖及耳垂相对于整个头部的位移很小。以这些随表情变化位移较小的部位作为参照点,保证表情特征点与参照点之间的距离能够反应第一用户的面部表情变化,提高对第一用户状态进行判断的准确性。
下面以对空槽老人的面部识别为例,对本发明实施例提供的基于面部表情进行信息发送的方法作进一步说明,如图2所示,该方法可以包括以下步骤:
步骤201:每隔设定的间隔时间,对第一用户的面部进行图像采集,获取第一表情图像和第二表情图像。
在本发明一个实施例中,预先设定一个间隔时间,每隔一个设定的间隔时间,对第一用户的面部进行一次图像采集,将最近一次采集到的图像作为第二表情图像,将最近一次前一次采集到的图像作为第一表情图像。
例如,一空槽老人A独自在家生活,通过摄像头对空槽老人A的面部进行图像采集,没经过10min采集一张图像,将最后一次采集到的包括空槽老人A面部的图像作为第二表情图像,将倒数第二次采集到的包括空槽老人A面部的图像作为第一表情图像。
步骤202:分别从第一表情图像及第二表情图像中识别表情特征点。
在本发明一个实施例中,预先采集包括表情特征点的标准图像,在获取到第一表情图像及第二表情图像后,通过扫面的方式从第一表情图像中识别出与标准图像相匹配的第一特征图像,从第二表情图像中识别出与标准图像相匹配的第二特征图像;根据颜色分布情况,分别从第一特征图像及第二特征图像中确定表情特征点。
例如,预设左嘴角为表情特征点,采集空槽老人A的嘴作为标准图像,通过扫描的方式分别从第一表情图像及第二表情图像中确定与标准图像相匹配的特征图像,从第一表情图像中确定出空槽老人A的嘴作为第一特征图像,从第二表情图像中确定出空槽老人A的嘴作为第二特征图像。根据第一特征图像及第二特征图像上颜色的分布情况,分别从第一特征图像及第二特征图像上确定出空槽老人A的左嘴角。
步骤203:分别从第一表情图像及第二表情图像中识别参照点。
在本发明一个实施例中,预先设定参照点,在分别从第一表情图像及第二表情图像中识别出表情特征点后,分别从第一表情图像及第二表情图像中识别参照点。
例如,预设鼻尖为参照点,分别从第一表情图像及第二表情图像中识别空槽老人A的鼻尖作为参照点。
步骤204:确定第一表情图像中表情特征点与参照点之间的第一距离。
在本发明一个实施例中,在从第一表情图像上识别出表情特征点和参照点后,确定在第一表情图像上表情特征点与参照点之间的距离,作为表情特征点与参照点之间的第一距离。
例如,在第一表情图像中识别出空槽老人A的左嘴角和鼻尖后,检测在第一表情图像中空槽老人A的左嘴角与鼻尖之间的距离,作为左嘴角与鼻尖之间的第一距离,比如为5mm。
步骤205:确定第二表情图像中表情特征点与参照点之间的第二距离,并根据第二距离形成第三距离。
在本发明一个实施例中,在从第二表情图像上识别出表情特征点和参照点后,确定在第二表情图像上表情特征点与参照点之间的距离,作为表情特征点与参照点之间的第二距离。根据参照点在第一表情图像中及第二表情图像中尺寸,对第二距离的进行缩放处理,形成第三距离,以使第三距离与第一距离相对于第一用户面部的真是尺寸具有相同的放大比例。
例如,在第二表情图像中识别出空槽老人A的左嘴角和鼻尖后,检测在第二表情图像中空槽老人A的左嘴角与鼻尖之间的距离,作为左嘴角与鼻尖之间的第二距离,比如为3mm。获取到鼻尖在第一表情图像中的尺寸为2mm,在第二表情图像中的尺寸为1mm,根据鼻尖在第一表情图像及第二表情图像中的尺寸之比,对第二距离进行放大2倍处理,形成尺寸为6mm的第三距离。
步骤206:将第一距离与第三距离进行比较,根据第以距离与第三距离的大小关系,判断第一用户的状态。
在本发明一个实施例中,在获取到表情特征点与参照点之间的第一距离和跌三距离之后,由于面部表情发生变化时会使表情特征点与参照点之间的距离发生改变,通过将第一距离与第三距离进行比较,可以判断第一用户的表情变化趋势,进而确定第一用户的心情状态。
例如,由于微笑时嘴角上扬,左嘴角与鼻尖的距离减小,哭泣时嘴角下拉,左嘴角与鼻尖的距离增大;对应于第一表情图像的第一距离为5mm,对应于第二表情图像的第三距离为6mm,相对于在采集第一表情图像时,空槽老人A在采集第二表情图像时嘴角下拉,说明空槽老人A由微笑表情转变为正常表情,或有正常表情转变为哭泣表情,判定空槽老人A的心情状态较差。
步骤207:根据第一用户的状态,向第二用户发送对应的信息。
在本发明一个实施例中,在判断出第一用户的状态后,根据第一用户的状态向第二用户发送对应的提醒信息,以在第一用户的心情状态较差使提醒第二用户对第一用户进行关爱。
例如,在判断出空槽老人A的心情状态较差后,通过短信、邮件等形式向空槽老人A的子女发送关爱提醒信号,将空槽老人A心情状态较差的消息通知空槽老人A的子女,以提醒空槽老人A的子女及时对空槽老人A进行关爱。
如图3所示,本发明一个实施例提供了一种基于面部表情进行信息发送的装置,包括:图像采集单元301、第一处理单元302、第二处理单元303、判断单元304及发送单元305;
所述图像采集单元301,用于对第一用户的面部进行图像采集,依次获取第一表情图像及第二表情图像;
所述第一处理单元302,用于从所述图像采集单元301获取到的第一表情图像中识别预先设定的表情特征点,并获取所述表情特征点的第一分布状态;
所述第二处理单元303,用于从所述图像采集单元301获取到的第二表情图像中识别所述表情特征点,并获取所述表情特征点的第二分布状态;
所述判断单元304,用于根据所述第一处理单元302获取到的所述表情特征点的第一分布状态及所述第二处理单元303获取到的所述表情特征点的第二分布状态,判断所述第一用户的状态;
所述发送单元305,用于根据所述判断单元304判断出的所述第一用户的状态,向第二用户发送对应的信息。
在本发明一个实施例中,如图4所示,
所述第一处理单元302包括:第一识别子单元3021;
所述第二处理单元303包括:第二识别子单元3031;
所述第一识别子单元3021用于根据对应于所述表情特征点的标准图像,通过扫描的方式从所述第一表情图像上识别与所述标准图像相匹配的第一特征图像,根据所述第一特征图像的颜色变化确定所述表情特征点;
所述第二识别子单元3031用于根据对应于所述表情特征点的标准图像,通过扫描的方式从所述第二表情图像上识别与所述标准图像相匹配的第二特征图像,根据所述第二特征图像的颜色变化确定所述表情特征点。
在本发明一个实施例中,如图4所示,
所述第一处理单元302进一步包括:第一获取子单元3022;
所述第二处理单元303进一步包括:第二获取子单元3032;
所述第一识别子单元3021进一步用于从所述第一表情图像中识别预先设定的参照点;
所述第二识别子单元3031进一步用于从所述第二表情图像中识别所述参照点;
所述第一获取子单元3022用于根据所述第一表情图像中所述表情特征点与所述参照点的相对分布位置,获取所述表情特征点与所述参照点之间的第一距离;
所述第二获取子单元3032用于根据所述第二表情图像中所述表情特征点与所述参照点的相对分布位置,获取所述表情特征点与所述参照点之间的第二距离,并根据所述参照点在所述第一表情图像中及所述第二表情图像中的尺寸,对所述第二距离进行缩放,形成第三距离,以使所述第三距离与所述第一距离相对于所述第一用户的面部尺寸具有相同的放大比例。
在本发明一个实施例中,所述判断单元用于将所述第一获取子单元获取到的第一距离与所述第二获取子单元获取到的第三距离进行比较,根据所述第一距离与所述第三距离的大小关系,判断所述第一用户的状态。
上述装置内的各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
需要说明的是,本发明实施例提供的基于面部表情进行信息发送的装置具有多种实现形式,比如外观造成类似镜子的形态,放置于空槽老人家中,在供空槽老人整理衣装的同时采集空槽老人的面部表情,以在空槽来人心情状态较差时提醒儿女及时进行关爱。
还需要说明的是,上述实施例中,是以对空槽老人进行关爱提醒为例进行说明。在本发明的其他实施例中,还可以基于面部表情向与第一用户相关的第二用户发送其他相关的信息。比如,第一用户为学生,当根据其面部表情判断出该学生的状态为寻找目标物品时,可以向作为第二用户的母亲发送提醒信息,从而促使第二用户进行相应的处理。
本发明实施例提供的基于面部表情进行信息发送方法及装置,至少具有如下有益效果:
1、在本发明实施例提供的基于面部表情进行信息发送的方法及装置中,对第一用户的面部进行图像采集,依次获得第一表情图像及第二表情图像,从第一表情图像中获取表情特征点的第一分布状态,从第二表情图像中获取表情特征点的第二分布状态,根据表情特征点的第一分布状态及第二分布状态判断第一用户的状态,根据第一用户的状态向第二用户发送对应的信息。当第一用户的状态发生变化时,第一用户的表情会发生相应的变化,进而面部上的表情特征点的分布状态也会发生相应的变化,根据表情特征点分布状态的变化能够确定第一用户的不同状态,比如心情变化,则可以向第二用户发送对应的信息,比如提醒第二用户进行关爱第一用户的提醒信号。
2、在本发明实施例提供的基于面部表情进行信息发送的方法及装置中,先后采集两个表情图像,根据两个表情图像上表情特征点与参照点之间距离的变化来判断表情变化,相对于通过标准表情模型的方式来判断表情变化,可以提高对表情变化进行判断的准确性,从而能够准确判断空槽老人的心情状态,以准确发送相对应的提醒消息,保证了关爱提醒的准确性及有效性。
3、在本发明实施例提供的基于面部表情进行信息发送的方法及装置中,在从表情图像上识别表情特征点时,通过与标准图像进行匹配的方式从表情图像上识别出包括有表情特征点的特征图像,然后从特征图像上识别表情特征点,这样可以去除干扰图像对表情特征点识别带来的干扰,能够提高确定表情特征点的速率,并能够保证确定出的表情特征点的准确性。
4、在本发明实施例提供的基于面部表情进行信息发送的方法及装置中,在确定出第二距离后,根据第一表情图像中及第二表情图像中参照点的尺寸,对第二距离进行缩放处理,形成第三距离,缩放的比例能够使第一表情图像中参照点的尺寸与第二表情图像中参照点的尺寸相等;通过对第二距离进行缩放处理获得第三距离,使第一距离与第三距离的放大比例相同,保证第一距离与第三距离具有可比性,提高对表情变化进行判断的准确性。
需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种基于面部表情进行信息发送的方法,其特征在于,包括:
对第一用户的面部进行图像采集,依次获取第一表情图像和第二表情图像;
从所述第一表情图像中识别预先设定的表情特征点,并获取所述表情特征点的第一分布状态;
从所述第二表情图像中识别所述表情特征点,获取所述表情特征点的第二分布状态;
根据所述表情特征点的第一分布状态及第二分布状态,判断所述第一用户的状态;
根据所述第一用户的状态,向第二用户发送对应的信息。
2.根据权利要求1所述的方法,其特征在于,
所述从所述第一表情图像中识别预先设定的表情特征点包括:
根据对应于所述表情特征点的标准图像,通过扫描的方式从所述第一表情图像上识别与所述标准图像相匹配的第一特征图像,根据所述第一特征图像的颜色变化确定所述表情特征点;
所述从第二表情图像中识别预先设定的表情特征点包括:
根据对应于所述表情特征点的标准图像,通过扫描的方式从所述第二表情图像上识别与所述标准图像相匹配的第二特征图像,根据所述第二特征图像的颜色变化确定所述表情特征点。
3.根据权利要求2所述的方法,其特征在于,
在所述获取所述表情特征点的第一分布状态之前进一步包括:
从所述第一表情图像中识别预先设定的参照点;
所述获取所述表情特征点的第一分布状态包括:
根据所述第一表情图像中所述表情特征点与所述参照点的相对分布位置,获取所述表情特征点与所述参照点之间的第一距离。
4.根据权利要求3所述的方法,其特征在于,
在所述获取所述表情特征点的第二分布状态之前进一步包括:
从所述第二表情图像中识别所述参照点;
所述获取所述表情特征点的第二分布状态包括:
根据所述第二表情图中所述表情特征点与所述参照点的相对分布位置,获取所述表情特征点与所述参照点之间的第二距离,并根据所述参照点在所述第一表情图像中及所述第二表情图像中的尺寸,对所述第二距离进行缩放,形成第三距离,以使所述第三距离与所述第一距离相对于所述第一用户的面部尺寸具有相同的放大比例。
5.根据权利要求4所述的方法,其特征在于,
所述根据所述表情特征点的第一分布状态及第二分布状态,判断所述第一用户的状态包括:
将所述第一距离与所述第三距离进行比较,根据所述第一距离与所述第三距离的大小关系,判断所述第一用户状态。
6.根据权利要求3至5中任一所述的方法,其特征在于,
所述表情特征点包括:眉梢、嘴角及眼皮中的任意一个或多个;
和/或,
所述参照点包括:鼻尖及耳垂中的任意一个或多个。
7.一种基于面部表情进行信息发送的装置,其特征在于,包括:图像采集单元、第一处理单元、第二处理单元、判断单元及发送单元;
所述图像采集单元,用于对第一用户的面部进行图像采集,依次获取第一表情图像及第二表情图像;
所述第一处理单元,用于从所述图像采集单元获取到的第一表情图像中识别预先设定的表情特征点,并获取所述表情特征点的第一分布状态;
所述第二处理单元,用于从所述图像采集单元获取到的第二表情图像中识别所述表情特征点,并获取所述表情特征点的第二分布状态;
所述判断单元,用于根据所述第一处理单元获取到的所述表情特征点的第一分布状态及所述第二处理单元获取到的所述表情特征点的第二分布状态,判断所述第一用户的状态;
所述发送单元,用于根据所述判断单元判断出的所述第一用户的状态,向第二用户发送对应的信息。
8.根据权利要求7所述的装置,其特征在于,
所述第一处理单元包括:第一识别子单元;
所述第二处理单元包括:第二识别子单元;
所述第一识别子单元,用于根据对应于所述表情特征点的标准图像,通过扫描的方式从所述第一表情图像上识别与所述标准图像相匹配的第一特征图像,根据所述第一特征图像的颜色变化确定所述表情特征点;
所述第二识别子单元,用于根据对应于所述表情特征点的标准图像,通过扫描的方式从所述第二表情图像上识别与所述标准图像相匹配的第二特征图像,根据所述第二特征图像的颜色变化确定所述表情特征点。
9.根据权利要求8所述的装置,其特征在于,
所述第一处理单元进一步包括:第一获取子单元;
所述第二处理单元进一步包括:第二获取子单元;
所述第一识别子单元,进一步用于从所述第一表情图像中识别预先设定的参照点;
所述第二识别子单元,进一步用于从所述第二表情图像中识别所述参照点;
所述第一获取子单元,用于根据所述第一表情图像中所述表情特征点与所述参照点的相对分布位置,获取所述表情特征点与所述参照点之间的第一距离;
所述第二获取子单元,用于根据所述第二表情图像中所述表情特征点与所述参照点的相对分布位置,获取所述表情特征点与所述参照点之间的第二距离,并根据所述参照点在所述第一表情图像中及所述第二表情图像中的尺寸,对所述第二距离进行缩放,形成第三距离,以使所述第三距离与所述第一距离相对于所述第一用户的面部尺寸具有相同的放大比例。
10.根据权利要求9所述的装置,其特征在于,
所述判断单元,用于将所述第一获取子单元获取到的第一距离与所述第二获取子单元获取到的第三距离进行比较,根据所述第一距离与所述第三距离的大小关系,判断所述第一用户的状态。
CN201610755630.9A 2016-08-30 2016-08-30 一种基于面部表情进行信息发送的方法及装置 Pending CN106445107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610755630.9A CN106445107A (zh) 2016-08-30 2016-08-30 一种基于面部表情进行信息发送的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610755630.9A CN106445107A (zh) 2016-08-30 2016-08-30 一种基于面部表情进行信息发送的方法及装置

Publications (1)

Publication Number Publication Date
CN106445107A true CN106445107A (zh) 2017-02-22

Family

ID=58090107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610755630.9A Pending CN106445107A (zh) 2016-08-30 2016-08-30 一种基于面部表情进行信息发送的方法及装置

Country Status (1)

Country Link
CN (1) CN106445107A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145520A (zh) * 2017-04-10 2017-09-08 哈尔滨学院 一种基于智能家居的服装搭配推荐方法及其装置
CN108880975A (zh) * 2017-05-16 2018-11-23 腾讯科技(深圳)有限公司 信息显示方法、装置及系统
CN114973957A (zh) * 2022-06-02 2022-08-30 清华大学 智能相框及智能相框控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040207720A1 (en) * 2003-01-31 2004-10-21 Ntt Docomo, Inc. Face information transmission system
CN103996029A (zh) * 2014-05-23 2014-08-20 安庆师范学院 表情相似度度量方法及装置
CN105354527A (zh) * 2014-08-20 2016-02-24 南京普爱射线影像设备有限公司 一种消极表情识别鼓励系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040207720A1 (en) * 2003-01-31 2004-10-21 Ntt Docomo, Inc. Face information transmission system
CN103996029A (zh) * 2014-05-23 2014-08-20 安庆师范学院 表情相似度度量方法及装置
CN105354527A (zh) * 2014-08-20 2016-02-24 南京普爱射线影像设备有限公司 一种消极表情识别鼓励系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145520A (zh) * 2017-04-10 2017-09-08 哈尔滨学院 一种基于智能家居的服装搭配推荐方法及其装置
CN108880975A (zh) * 2017-05-16 2018-11-23 腾讯科技(深圳)有限公司 信息显示方法、装置及系统
CN108880975B (zh) * 2017-05-16 2020-11-10 腾讯科技(深圳)有限公司 信息显示方法、装置及系统
CN114973957A (zh) * 2022-06-02 2022-08-30 清华大学 智能相框及智能相框控制方法

Similar Documents

Publication Publication Date Title
US9953216B2 (en) Systems and methods for performing actions in response to user gestures in captured images
WO2018028546A1 (zh) 一种关键点的定位方法及终端、计算机存储介质
US8462224B2 (en) Image retrieval
US8593523B2 (en) Method and apparatus for capturing facial expressions
CN102567716B (zh) 一种人脸合成系统及实现方法
CN107392124A (zh) 情绪识别方法、装置、终端及存储介质
CN105354527A (zh) 一种消极表情识别鼓励系统
CN110942055A (zh) 展示区域的状态识别方法、装置、设备及存储介质
CN106462598A (zh) 信息处理设备、信息处理方法与程序
CN112101124B (zh) 一种坐姿检测方法及装置
CN109934182A (zh) 对象行为分析方法、装置、电子设备及计算机存储介质
US9779294B2 (en) Methods and devices for classifying pictures
CA3050456C (en) Facial modelling and matching systems and methods
CN106445107A (zh) 一种基于面部表情进行信息发送的方法及装置
CN103365564A (zh) 信息处理设备、信息处理方法和计算机程序
KR20150064977A (ko) 얼굴정보 기반의 비디오 분석 및 시각화 시스템
US11954301B2 (en) Systems and methods for analyzing and organizing digital photos and videos
CN112199530B (zh) 多维度脸库图片自动更新方法、系统、设备及介质
CN108986137A (zh) 人体跟踪方法、装置及设备
CN114463725A (zh) 驾驶员行为检测方法及装置、安全驾驶提醒方法及装置
CN109240759A (zh) 应用程序启动方法、装置、终端设备和可读存储介质
WO2015131571A1 (zh) 一种实现图片排序的方法及终端
CN110866962A (zh) 一种基于卷积神经网络的虚拟人像与表情同步方法
CN108197599A (zh) 一种人脸识别系统
CN104027074A (zh) 用于健康设备的健康数据采集及识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170222

RJ01 Rejection of invention patent application after publication