CN106778443A - 一种辅助盲人看懂表情的方法 - Google Patents
一种辅助盲人看懂表情的方法 Download PDFInfo
- Publication number
- CN106778443A CN106778443A CN201510807223.3A CN201510807223A CN106778443A CN 106778443 A CN106778443 A CN 106778443A CN 201510807223 A CN201510807223 A CN 201510807223A CN 106778443 A CN106778443 A CN 106778443A
- Authority
- CN
- China
- Prior art keywords
- expression
- blind person
- classification
- face
- voice document
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
- G06F16/635—Filtering based on additional data, e.g. user or group profiles
- G06F16/636—Filtering based on additional data, e.g. user or group profiles by using biological or physiological data
Abstract
本发明涉及一种辅助盲人看懂表情的方法，如摘要附图所示，包括步骤[1]盲人采用摄像设备采集人脸图像，[2]识别人脸图像的表情类别，[3]根据表情类别搜索语音文件，[4]播放搜索出的语音文件，让盲人知道对方的表情，并理解其内心情感。本发明能帮助盲人理解对方的内心情感，促进情感交流。
Description
技术领域
本发明提供了一种辅助盲人看懂表情的方法，属于图像处理和模式识别技术领域。
背景技术
目前全世界的盲人很多，视力障碍者更多，至少超过１亿人，中国的盲人占世界盲人总数的18%，还不包括双眼低视力的患者，因此盲人是需要特别关怀的人群，已成为世界上严重的社会和公共卫生问题之一。
科学研究发现人脸的表情是人与人之间的情感交流的主要手段，约占情感交流总量的55%，语音占38%，而语言只占7%，因此人脸表情包含了丰富的情感信息，能够直接体现出人类不同的内心情感。但是盲人没有这方面的能力，无法很好地察觉对方的内心情感，影响了情感交流。
盲人能听到人的声音但却无法看到人的表情，目前没有类似的工具辅助盲人看懂表情，因此本发明提出了一种辅助盲人看懂表情的方法。
发明内容
本发明采用图像处理和机器学习技术解决盲人无法看懂表情的问题。
本发明提出的一种辅助盲人看懂表情的方法，其包括以下步骤：
[1]盲人采用摄像设备采集包含人脸的图像
[2]识别人脸的表情类别
[3]根据表情类别搜索出对应的表情语音文件
[4]播放表情语音文件，让盲人听到表情类别，从而理解对方的内心情感。
所述方法的步骤[1] 盲人采用摄像设备采集包含人脸的图像。盲人启动摄像设备，设备开始摄像，并间隔自动采集图像，然后自动判断图像中是否有人脸，并丢去没有人脸的图像。被摄像采集的对象是面对的人、照片、印刷品和电视。
所述方法的步骤[2]识别人脸的表情类别。采用机器学习算法对检测出的人脸图片进行表情识别，输出表情类别。
所述方法的步骤[3]根据表情类别搜索播放语音文件。预先设置一个数据库表，包含每个情感类别和播放的表情语音文件，两者一一对应。搜索时，根据表情类别查询数据库表，取出对应的表情语音文件。
所述方法的步骤[4]播放搜索出的表情语音文件，让盲人听到表情类别，从而理解对方的内心情感。
实用效果
与现有技术相比，本发明的优点和积极效果是：能帮助盲人看懂人的表情，从而了解对方的内心情感，有利于情感交流。本发明具有实用性和可实现性，体现了对弱势群体强烈的人性关怀，具有良好的市场价值和社会意义。
附图说明
附图1 一种辅助盲人看懂表情的方法的流程图
具体实施案例
下面结合附图与具体实施例对本发明作进一步的描述。
如图1所示，本发明提出的一种辅助盲人看懂表情的方法，包括以下步骤：
[1]盲人采用摄像设备采集包含人脸的图像
[2]识别人脸的表情类别
[3]根据表情类别搜索出对应的表情语音文件
[4]播放表情语音文件，让盲人听到表情类别，从而理解对方的内心情感。
图1中的步骤[1]盲人与其他人交谈或看电视时，开启已架设好的摄像设备，摄像设备连接到智能手机，智能手机上的程序控制摄像设备自动间隔拍照，并对检测出人脸的图片传输到步骤[2]。
图1中的步骤[2] 智能手机的表情识别程序对检测出的人脸图像分析，识别出表情。表情识别程序采用机器学习方法实现。本实施案例采用卷积神经网络实现，分为两部分：
(a)采用大的训练数据训练卷积神经网络，获得卷积神经网络表情识别模型。每个训练数据由人脸图像和其对应的表情类别构成。表情类别包括高兴、惊讶、平静、愤怒、悲伤、厌恶、恐惧七个类别。(b)调用卷积神经网络表情识别模型对检测出的人脸图像实时分类，识别出表情类别。
图1中的步骤[3]根据表情类别在表情语音数据库中搜索播放表情语音文件。表情语音数据库是预先设置的，其每个记录由表情类别和对应的表情语音文件组成。搜索时，根据表情类别查询表情语音数据库，取出对应的表情语音文件。
表情语音数据库
图1中的步骤[4]，智能手机播放搜索出的表情语音文件，并通过蓝牙通讯将声音传递到盲人戴的蓝牙耳机，这样盲人就听能到对方的表情类别。
Claims (5)
1.一种辅助盲人看懂表情的方法，其特征在于该方法包括以下步骤：
[1]盲人采用摄像设备采集包含人脸的图像；
[2]识别人脸的表情类别；
[3]根据表情类别搜索出对应的表情语音文件；
[4]播放表情语音文件，让盲人听到表情类别，从而理解对方的内心情感。
2.根据权利要求1所述的方法，其特征在于所述的步骤[1]，盲人采用摄像设备采集包含人脸的图像。
3.根据权利要求1所述的方法，其特征在于所述的步骤[2]，采用机器学习识别模型识别人脸的表情类别，其中机器学习识别模型是通过大量的训练样本训练机器学习识别算法获得，而每个训练数据则由人脸图像和其对应的表情类别构成。
4.根据权利要求1所述的方法，其特征在于所述的步骤[3]，预先设置一个数据库表，包含每个表情类别和播放的表情语音文件，两者一一对应，搜索时，根据表情类别查询数据库表，取出对应的表情语音文件。
5.根据权利要求1所述的方法，其特征在于所述的步骤[4]播放搜索出的表情语音文件，让盲人听到表情类别，从而理解对方的内心情感。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510807223.3A CN106778443A (zh) | 2015-11-22 | 2015-11-22 | 一种辅助盲人看懂表情的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510807223.3A CN106778443A (zh) | 2015-11-22 | 2015-11-22 | 一种辅助盲人看懂表情的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106778443A true CN106778443A (zh) | 2017-05-31 |
Family
ID=58884964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510807223.3A Pending CN106778443A (zh) | 2015-11-22 | 2015-11-22 | 一种辅助盲人看懂表情的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106778443A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107918637A (zh) * | 2016-10-11 | 2018-04-17 | 本田技研工业株式会社 | 服务提供装置和服务提供方法 |
| CN109711300A (zh) * | 2018-12-18 | 2019-05-03 | 深圳壹账通智能科技有限公司 | 盲人辅助沟通方法、装置、计算机设备和存储介质 |
| CN110059678A (zh) * | 2019-04-17 | 2019-07-26 | 上海肇观电子科技有限公司 | 一种检测方法、装置及计算机可读存储介质 |
| CN110141422A (zh) * | 2019-05-10 | 2019-08-20 | 东华大学 | 一种盲人社交智能眼镜 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514455A (zh) * | 2012-06-19 | 2014-01-15 | 国际商业机器公司 | 用于表征情绪提示的方法和系统 |
-
2015
- 2015-11-22 CN CN201510807223.3A patent/CN106778443A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514455A (zh) * | 2012-06-19 | 2014-01-15 | 国际商业机器公司 | 用于表征情绪提示的方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 徐鹏 等: "《基于卷积神经网络的人脸表情识别》", 《微型机与应用》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107918637A (zh) * | 2016-10-11 | 2018-04-17 | 本田技研工业株式会社 | 服务提供装置和服务提供方法 |
| CN107918637B (zh) * | 2016-10-11 | 2022-02-25 | 本田技研工业株式会社 | 服务提供装置和服务提供方法 |
| CN109711300A (zh) * | 2018-12-18 | 2019-05-03 | 深圳壹账通智能科技有限公司 | 盲人辅助沟通方法、装置、计算机设备和存储介质 |
| CN110059678A (zh) * | 2019-04-17 | 2019-07-26 | 上海肇观电子科技有限公司 | 一种检测方法、装置及计算机可读存储介质 |
| CN110141422A (zh) * | 2019-05-10 | 2019-08-20 | 东华大学 | 一种盲人社交智能眼镜 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108564942B (zh) | 一种基于敏感度可调的语音情感识别方法及系统 | |
| CN107480622A (zh) | 微表情识别方法、装置及存储介质 | |
| US20170270922A1 (en) | Smart home control method based on emotion recognition and the system thereof | |
| CN103690165B (zh) | 一种跨诱发模式情绪脑电识别建模方法 | |
| CN106778443A (zh) | 一种辅助盲人看懂表情的方法 | |
| CN106599881A (zh) | 学生状态的确定方法、装置及系统 | |
| CN109271901A (zh) | 一种基于多源信息融合的手语识别方法 | |
| CN107606512A (zh) | 一种智能台灯、基于智能台灯提醒用户坐姿的方法及装置 | |
| CN105957514A (zh) | 一种便携式聋哑人交流设备 | |
| CN105244042B (zh) | 一种基于有限状态自动机的语音情感交互装置与方法 | |
| CN106933345A (zh) | 用于智能机器人的多模态交互方法及装置 | |
| CN107945790A (zh) | 一种情感识别方法和情感识别系统 | |
| CN108460334A (zh) | 一种基于声纹和人脸图像特征融合的年龄预测系统及方法 | |
| CN108009490A (zh) | 一种基于识别情绪的聊天机器人系统及该系统的判断方法 | |
| CN106097835B (zh) | 一种聋哑人交流智能辅助系统及交流的方法 | |
| CN104299225A (zh) | 一种表情识别在大数据分析的应用方法及系统 | |
| CN106250553A (zh) | 一种服务推荐方法及终端 | |
| CN106096717A (zh) | 面向智能机器人的信息处理方法及系统 | |
| CN106952648A (zh) | 一种用于机器人的输出方法以及机器人 | |
| CN109299277A (zh) | 舆情分析方法、服务器及计算机可读存储介质 | |
| CN114926837B (zh) | 一种基于人-物时空交互行为的情感识别方法 | |
| CN107526994A (zh) | 一种信息处理方法、装置及移动终端 | |
| CN107437052A (zh) | 基于微表情识别的相亲满意度计算方法和系统 | |
| CN109784277A (zh) | 一种基于智能眼镜的情绪识别方法 | |
| CN111329494A (zh) | 基于语音关键词检索和语音情绪识别的抑郁症检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170531 |