CN110472488B - 基于数据处理的图片显示方法、装置和计算机设备 - Google Patents
基于数据处理的图片显示方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN110472488B CN110472488B CN201910596485.8A CN201910596485A CN110472488B CN 110472488 B CN110472488 B CN 110472488B CN 201910596485 A CN201910596485 A CN 201910596485A CN 110472488 B CN110472488 B CN 110472488B
- Authority
- CN
- China
- Prior art keywords
- continuous frame
- atlas
- pictures
- expression
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000014509 gene expression Effects 0.000 claims abstract description 143
- 230000036651 mood Effects 0.000 claims abstract description 86
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 125000004122 cyclic group Chemical group 0.000 claims description 37
- 238000013507 mapping Methods 0.000 claims description 36
- 230000001815 facial effect Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提出基于数据处理的图片显示方法、装置、计算机设备和存储介质，其中方法包括：获取视频中待识别的人脸图像；将人脸图像输入到预设的基于卷积神经网络的表情识别模型进行识别得到表情识别结果，表情识别模型通过标注表情类别的连续帧图像训练集训练得到，不同的表情识别结果对应不同的表情类别；根据表情识别结果从预设的数据库获取对应表情类别的第一连续帧图集，第一连续帧图集包括指定数量的表示同一类别心情的第一图片，各第一图片已按预设顺序排序；将第一连续帧图集中的第一图片从预设顺序的第一张开始按照预设顺序进行循环播放，通过循环播放图片形成表情动图，从而生动地表现用户的实时心情，提高用户体验。
Description
技术领域
本发明涉及到数据处理的技术领域，特别是涉及到一种基于数据处理的图片显示方法、装置、计算机设备和存储介质。
背景技术
目前检测心情的方法有多种，其中常用的是通过识别微表情来得到其对应的心情，如，先进行表情识别，得到对应的心情，然后将该心情在界面中显示以让用户知晓，而现有技术中，主要通过文字来表达心情，先判断用户的心情，然后将该心情通过文字描述显示在用户界面上，例如，识别用户表情，判断其为“开心”时，在界面上显示“开心”二字；识别用户表情，判断其为“平静”时，在界面上显示“平静”二字，但这样并不能准确生动地表现用户的实时心情。
发明内容
本发明的主要目的为提供一种基于数据处理的图片显示方法、装置、计算机设备和存储介质，旨在解决现有显示心情的方法不能生动地表现用户的实时心情。
基于上述发明目的，本发明提出一种基于数据处理的图片显示方法，包括：
获取视频中待识别的人脸图像；
将所述人脸图像输入到预设的基于卷积神经网络的表情识别模型进行识别得到表情识别结果，所述表情识别模型通过标注表情类别的连续帧图像训练集训练得到，不同的所述表情识别结果对应不同的表情类别；
根据所述表情识别结果从预设的数据库获取对应表情类别的第一连续帧图集，所述第一连续帧图集包括指定数量的表示同一类别心情的第一图片，各所述第一图片已按预设顺序排序；
将所述第一连续帧图集中的第一图片从所述预设顺序的第一张开始按照所述预设顺序进行循环播放。
进一步地，所述将所述第一连续帧图集中的第一图片从所述预设顺序的第一张开始按照所述预设顺序进行循环播放的步骤之后，包括：
接收更换所述第一连续帧图集的指令，所述指令包括第二连续帧图集的识别信息；
依据所述指令获取所述第二连续帧图集，所述第二连续帧图集包括指定数量的表示同一类别心情的第二图片，各所述第二图片已按预设顺序排序，且第二图片与第一图片分别表示不同类别心情；
在所述第一连续帧图集当前帧的下一帧播放所述第二连续帧图集中预设顺序的第一张第二图片，并按所述预设顺序对所述第二连续帧图集中的第二图片进行循环播放。
进一步地，所述将所述第一连续帧图集中的第一图片从所述预设顺序的第一张开始按照所述预设顺序进行循环播放的步骤之后，包括：
检测所述第一连续帧图集的循环播放时长，所述循环播放时长为从所述第一连续帧图集的起始播放时刻到当前时刻之间的时长；
判断所述循环播放时长是否大于预设的时长；
若是，则获取与所述第一连续帧图集对应的提示语，并进行显示。
进一步地，所述获取与所述第一连续帧图集对应的提示语，并进行显示的步骤之后，包括：
判断所述第一连续帧图集是否为预设的指定图集；
若是，则获取与所述第一连续帧图集具有关联关系的第三连续帧图集，其中，所述关联关系为所述第一连续帧图集表示的心情类别与所述第三连续帧图集表示的心情类别相反的对应关系；
将当前循环播放的所述第一连续帧图集替换成所述第三连续帧图集，并显示变更图集的警醒语。
进一步地，所述获取视频中待识别的人脸图像的步骤，包括：
获取视频中的多帧初始人脸图像，所述初始人脸图像为未经处理的图像；
对所述初始人脸图像进行人脸检测，以确定人脸区域；
获取所述人脸区域的特征点，并依据所述特征点对所述初始人脸图像进行对齐校准，得到所述待识别的人脸图像。
进一步地，所述根据所述表情识别结果从预设的数据库获取对应表情类别的第一连续帧图集的步骤，包括：
将所述表情识别结果与连续帧图集列表中的各个连续帧图集对应的映射值进行比较，以找到与所述表情识别结果一致的目标映射值，所述表情识别结果为所述表情识别模型输出的数值，所述连续帧图集列表包括多个对应不同表情类别的预设的连续帧图集，每个连续帧图集均包括指定数量的表示同一类别心情的图片，且均分别对应不同的映射值；
依据所述目标映射值从所述连续帧图集列表中找出所述第一连续帧图集的关联名称，并依据所述关联名称从所述数据库中获取所述第一连续帧图集。
本发明还提供一种基于数据处理的图片显示装置，包括：
获取图像单元，用于获取视频中待识别的人脸图像；
识别图像单元，用于将所述人脸图像输入到预设的基于卷积神经网络的表情识别模型进行识别得到表情识别结果，所述表情识别模型通过标注表情类别的连续帧图像训练集训练得到，不同的所述表情识别结果对应不同的表情类别；
第一获取单元，用于根据所述表情识别结果从预设的数据库获取对应表情类别的第一连续帧图集，所述第一连续帧图集包括指定数量的表示同一类别心情的第一图片，各所述第一图片已按预设顺序排序；
第一播放单元，用于将所述第一连续帧图集中的第一图片从所述预设顺序的第一张开始按照所述预设顺序进行循环播放。
进一步地，上述基于数据处理的图片显示装置，还包括：
接收指令单元，用于接收更换所述第一连续帧图集的指令，所述指令包括第二连续帧图集的识别信息；
第二播放单元，用于依据所述指令获取所述第二连续帧图集，所述第二连续帧图集包括指定数量的表示同一类别心情的第二图片，各所述第二图片已按预设顺序排序，且第二图片与第一图片分别表示不同类别心情；
第二播放单元，用于在所述第一连续帧图集当前帧的下一帧播放所述第二连续帧图集中预设顺序的第一张第二图片，并按所述预设顺序对所述第二连续帧图集中的第二图片进行循环播放。
本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本发明的有益效果为：通过实时识别出的表情类别获取对应的连续帧图集，然后将连续图集中的图片按预设顺序进行循环播放，通过循环播放图片形成表情动图，从而生动地表现用户的实时心情，准确地显示用户当下心情状态，提高用户体验。
附图说明
图1为本发明一实施例中基于数据处理的图片显示方法的步骤示意图；
图2为本发明一实施例中基于数据处理的图片显示装置的结构示意框图；
图3为本发明一实施例的计算机设备的结构示意框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，本实施例中的基于数据处理的图片显示方法，包括：
步骤S1：获取视频中待识别的人脸图像；
步骤S2：将所述人脸图像输入到预设的基于卷积神经网络的表情识别模型进行识别得到表情识别结果，所述表情识别模型通过标注表情类别的连续帧图像训练集训练得到，不同的所述表情识别结果对应不同的表情类别；
步骤S3：根据所述表情识别结果从预设的数据库获取对应表情类别的第一连续帧图集，所述第一连续帧图集包括指定数量的表示同一类别心情的第一图片，各所述第一图片已按预设顺序排序；
步骤S4：将所述第一连续帧图集中的第一图片从所述预设顺序的第一张开始按照所述预设顺序进行循环播放。
如上述步骤S1所述，上述视频中待识别的人脸图像包括单帧或两帧以上人脸图像。首先通过摄像头实时获取人脸图像，或者通过接收外部设备发送的人脸图像，或者基于用户在已有图像数据库或视频数据库中选取，此处不作限定。为便于识别人脸图像的人脸表情，可对人脸图像进行预处理，在一个实施例中，上述步骤S1包括：
步骤S11：获取视频中的多帧初始人脸图像，所述初始人脸图像为未经处理的图像；
步骤S12：对所述初始人脸图像进行人脸检测，以确定人脸区域；
步骤S13：获取所述人脸区域的特征点，并依据所述特征点对所述初始人脸图像进行对齐校准，得到所述待识别的人脸图像。
本实施例中，获取视频中多帧初始人脸图像，此处的初始人脸图像为从视频中直接获取，且未经任何处理的图像，如上述通过摄像头或外部设备获取，然后对这些初始人脸图像进行人脸检测，以便确定人脸区域，具体可通过神经网络算法、遗传算法、基于Haar-Like特征的Adaboost人脸检测算法等算法进行检测，这些算法均为现有技术，此处不再赘述，检测到人脸后，可通过调整窗口的大小来确定人脸区域。
然后从人脸区域获取对应人脸的特征点(例如眼睛、眉毛、鼻子、嘴巴、脸部外轮廓等)的位置，根据在人脸区域中检测到的特征点，通过刚体变换对相应的人脸图像进行对齐校准，使得人脸在图像中各特征点的位置基本一致，从而得到上述待识别的人脸图像。
如上述步骤S2所述，本实施例中上述基于卷积神经网络的表情识别模型，从输入端到输出端依次由卷积神经网络(CNN,Convolutional Neural Network)模型、长短时记忆循环神经网络模型(即LSTM-RNN模型)、第一池化层和逻辑回归模型构建，通过标注表情类别的连续帧图像训练集训练得到，具体的训练过程为现有技术，此处不再赘述，对于该表情识别模型，输入的为多帧人脸图像，输出的为一个数值，如输入的为大笑的人脸图像，模型输出的为数值“1”，该数值即上述表情识别结果，而“1”对应的表情类别为兴奋，不同的数值对应不同的预设的表情类别，每一表情类别对应一种心情类别。
如上述步骤S3所述，在得表情识别模型识别后的结果之后，可根据表情识别结果从预设的数据库中获取对应的连续帧图集，为了便于区别将该连续帧图集记为第一连续帧图集，包含的图片记为第一图片，该数据库中存储有多个连续帧图集，分别对应不同的表情类别，每个连续帧图集均包括表示同一类别心情的图像，每个图集均具有指定数量格式一致的图片，本实施例中事先已将图集中的所有图片均按预设的顺序进行排序，且前后帧之间内容相关，每一帧图片均对应一个编号，如按预设顺序分别从起始编号到结束编号，举例地，每个连续帧图集均设置有100帧图片，编号分别是从1到100，每帧图片均为不同的电子折线图，其中红色电子折线图表示开心，黄色电子折线图表示难过等，当对折线图进行循环播放时，呈现出一条或多条连续的上下起伏的动图，使得用户直观地感受到当前的心情，本实施例中，上述动图显示在视频中人脸图像的旁侧，也可显示在当前视频界面的指定位置，此处不作限定。
具体而言，上述步骤S3包括：
步骤S31：将所述表情识别结果与连续帧图集列表中的各个连续帧图集对应的映射值进行比较，以找到与所述表情识别结果一致的目标映射值，所述表情识别结果为所述表情识别模型输出的数值，所述连续帧图集列表包括多个对应不同表情类别的预设的连续帧图集，每个连续帧图集均包括指定数量的表示同一类别心情的图片，且均分别对应不同的映射值；
步骤S32：依据所述目标映射值从所述连续帧图集列表中找出所述第一连续帧图集的关联名称，并依据所述关联名称从所述数据库中获取所述第一连续帧图集。
本实施例中，上述连续帧图集列表为预设的图集列表，该列表包括多个分别对应不同类别的连续帧图集的关联名称，如“开心图集”、“难过图集”、“生气图集”、“害怕图集”等等，且每个连续帧图集均分别对应不同的映射值，如“开心图集”对应的映射值为“1”、“难过图集”对应的映射值为“2”等，上述映射值用于与表情识别模型输出的值作对比。首先将表情识别结果，即表情识别模型输出的数值与上述连续帧图集中的各个连续帧图集对应的映射值进行对比，从中找到与模型输出值一致的目标映射值，该目标映射值对应的连续帧图集即为当前显示所需的图集，也即第一连续帧图集，根据目标映射值从上述连续帧图集列表中找到上述第一连续帧图集对应的关联名称，由于数据库中存储有多个连续帧图集以及对应的关联名称，这时根据关联名称从上述数据库中获取上述第一连续帧图集。
如上述步骤S4所述，由于第一连续帧图集中每帧图片均对应有编号，且起始编号到结束编号依次按预设顺序进行设置，本实施例中获取到第一连续帧图集之后，从预设顺序的第一张图片，即从起始编号开始按预设顺序对第一连续帧图集中的图片进行显示播放，当播放到对应结束编号的图片时，再从对应起始编号的图片开始重新播放，如此循环播放。
进一步地，上述图片格式采用png格式，其具有如下优点：用来存储灰度图像时，灰度图像的深度可多到16位，存储彩色图像时，彩色图像的深度可多到48位，并且还可存储多到16位的α通道数据。压缩比高，生成文件体积小。在实时显示心情情绪时，更加流畅，可更准确的显示用户当下心情状态，提高用户体验。
在一个实施例中，上述步骤S4之后，包括：
步骤S5：接收更换所述第一连续帧图集的指令，所述指令包括第二连续帧图集的识别信息；
步骤S6：依据所述指令获取所述第二连续帧图集，所述第二连续帧图集包括指定数量的表示同一类别心情的第二图片，各所述第二图片已按预设顺序排序，且第二图片与第一图片分别表示不同类别心情；
步骤S7：在所述第一连续帧图集当前帧的下一帧播放所述第二连续帧图集中预设顺序的第一张第二图片，并按所述预设顺序对所述第二连续帧图集中的第二图片进行循环播放。
本实施例中，当上述视频中的人脸变更表情，那么对应的，获取到并识别出的表情类别与当前循环播放的不一致，这时系统会发出更换播放图集的指令，即更换上述第一连续帧图集的指令，该指令包含识别出第二连续帧图集的识别信息，此处的第二连续帧图集对应的表情类别为上述人脸变更表情之后识别得到的表情类别，即第一连续帧图集与第二连续帧图集表示不同类别的心情，为了使得显示的动图无缝衔接，直接在播放当前帧的下一帧开始播放第二连续帧图集中对应起始编号的第二图片，并按预设顺序对第二连续帧图集中的第二图片进行循环播放，需知，上述当前帧为第一连续帧图集中的任意编号的第一图片。
进一步地，在循环播放连续帧图集中的图片时，同时将预设好的与该连续帧图集对应的心情文字调出并显示，让呈现到界面的意思表示更准确生动。
在一个实施例中，上述步骤S4之后，包括：
步骤S41：检测所述第一连续帧图集的循环播放时长，所述循环播放时长为从所述第一连续帧图集的起始播放时刻到当前时刻之间的时长；
步骤S42：判断所述循环播放时长是否大于预设的时长；
步骤S43：若是，则获取与所述第一连续帧图集对应的提示语，并进行显示。
本实施例中，由于上述基于数据处理的图片显示方法应用于实时识别视频人脸表情，为了给用户更贴心体验，可对长时间同一表情进行提示警醒，具体而已，先检测第一连续帧图集的循环播放时长，该循环播放时长即是从播放该连续帧图集第一张图片的起始时刻到当前时刻之间的时长，然后判断该循环播放时长是否大于预设的时长，若是，则说明该表情持续时间过长，这时会获取对应该第一连续帧图集的提示语，并进行显示，例如第一连续帧图集起始播放时刻为10:20，当前时刻为11:00，即循环播放时长为40分钟，但是预设的时长为30分钟，那么此时循环播放时长大于预设的时长，可将提示语进行显示，每个连续帧图集可对应不同的提示语，当然，该提示语可为警醒语，也可为缓解气氛的语言，此处不作限定，例如，当播放的为对应心情难过的图集，则其提示语可为提醒用户的语言“你已经难过xx分钟了”，或者提示语为搞笑的段子等。若循环播放时长不大于预设时长，不作任何响应，直到更换图集或循环播放时长大于预设时长。本实施例中，可持续监控并检测上述循环播放时长，一旦检测到循环播放时长大于预设的时长，即显示上述提示语。
在一个实施例中，上述步骤S4之后，包括：
步骤S44：判断所述第一连续帧图集是否为预设的指定图集；
步骤S45：若是，则获取与所述第一连续帧图集具有关联关系的第三连续帧图集，其中，所述关联关系为所述第一连续帧图集表示的心情类别与所述第三连续帧图集表示的心情类别相反的对应关系；
步骤S46：将当前循环播放的所述第一连续帧图集替换成所述第三连续帧图集，并显示变更图集的警醒语。
本实施例中，当心情呈现为负面情绪时，上述显示的提示语可为鼓励改变心情的文字，此外还可调出与当前心情反面的心情对应的连续帧图集(如开心，平静等)，以更为生动的呈现方式来促使用户改变心情。具体而言，上述预设的指定图集可为用户根据实际情况设置的图集，一般设置为负面情绪的图集，例如表示愤怒的图集、难过的图集等，先判断第一连续帧图集是否为该指定图集，若否，无需对当前循环播放的第一连续帧图集进行变更，若是，则获取与第一连续帧图集具有关联关系的第三连续帧图集，上述关联关系可为预设的对应关系，该对应关系具体为第一连续帧图集表示的心情类别与第三连续帧图集表示的心情类别相反的对应关系，例如高兴图集对应难过图集、平静图集对应愤怒图集等，这时可将第三连续帧图集按步骤S7的方式，进行图集更换，同时显示变更图集的警醒语，以便提醒用户。
参照图2，本实施例中基于数据处理的图片显示装置，包括：
获取图像单元100，用于获取视频中待识别的人脸图像；
识别图像单元200，用于将所述人脸图像输入到预设的基于卷积神经网络的表情识别模型进行识别得到表情识别结果，所述表情识别模型通过标注表情类别的连续帧图像训练集训练得到，不同的所述表情识别结果对应不同的表情类别；
第一获取单元300，用于根据所述表情识别结果从预设的数据库获取对应表情类别的第一连续帧图集，所述第一连续帧图集包括指定数量的表示同一类别心情的第一图片，各所述第一图片已按预设顺序排序；
第一播放单元400，用于将所述第一连续帧图集中的第一图片从所述预设顺序的第一张开始按照所述预设顺序进行循环播放。
如上述获取图像单元100所述，上述视频中待识别的人脸图像包括单帧或两帧以上人脸图像。首先通过摄像头实时获取人脸图像，或者通过接收外部设备发送的人脸图像，或者基于用户在已有图像数据库或视频数据库中选取，此处不作限定。为便于识别人脸图像的人脸表情，可对人脸图像进行预处理，在一个实施例中，上述获取图像单元100包括：
获取图像子单元，用于获取视频中的多帧初始人脸图像，所述初始人脸图像为未经处理的图像；
确定区域子单元，用于对所述初始人脸图像进行人脸检测，以确定人脸区域；
校准图像子单元，用于获取所述人脸区域的特征点，并依据所述特征点对所述初始人脸图像进行对齐校准，得到所述待识别的人脸图像。
本实施例中，获取视频中多帧初始人脸图像，此处的初始人脸图像为从视频中直接获取，且未经任何处理的图像，如上述通过摄像头或外部设备获取，然后对这些初始人脸图像进行人脸检测，以便确定人脸区域，具体可通过神经网络算法、遗传算法、基于Haar-Like特征的Adaboost人脸检测算法等算法进行检测，这些算法均为现有技术，此处不再赘述，检测到人脸后，可通过调整窗口的大小来确定人脸区域。
然后从人脸区域获取对应人脸的特征点(例如眼睛、眉毛、鼻子、嘴巴、脸部外轮廓等)的位置，根据在人脸区域中检测到的特征点，通过刚体变换对相应的人脸图像进行对齐校准，使得人脸在图像中各特征点的位置基本一致，从而得到上述待识别的人脸图像。
如上述识别图像单元200所述，本实施例中上述基于卷积神经网络的表情识别模型，从输入端到输出端依次由卷积神经网络(CNN,Convolutional Neural Network)模型、长短时记忆循环神经网络模型(即LSTM-RNN模型)、第一池化层和逻辑回归模型构建，通过标注表情类别的连续帧图像训练集训练得到，具体的训练过程为现有技术，此处不再赘述，对于该表情识别模型，输入的为多帧人脸图像，输出的为一个数值，如输入的为大笑的人脸图像，模型输出的为数值“1”，该数值即上述表情识别结果，而“1”对应的表情类别为兴奋，不同的数值对应不同的预设的表情类别，每一表情类别对应一种心情类别。
如上述第一获取单元300所述，在得表情识别模型识别后的结果之后，可根据表情识别结果从预设的数据库中获取对应的连续帧图集，为了便于区别将该连续帧图集记为第一连续帧图集，包含的图片记为第一图片，该数据库中存储有多个连续帧图集，分别对应不同的表情类别，每个连续帧图集均包括表示同一类别心情的图像，每个图集均具有指定数量格式一致的图片，本实施例中事先已将图集中的所有图片均按预设的顺序进行排序，且前后帧之间内容相关，每一帧图片均对应一个编号，如按预设顺序分别从起始编号到结束编号，举例地，每个连续帧图集均设置有100帧图片，编号分别是从1到100，每帧图片均为不同的电子折线图，其中红色电子折线图表示开心，黄色电子折线图表示难过等，当对折线图进行循环播放时，呈现出一条或多条连续的上下起伏的动图，使得用户直观地感受到当前的心情，本实施例中，上述动图显示在视频中人脸图像的旁侧，也可显示在当前视频界面的指定位置，此处不作限定。
具体而言，上述第一获取单元300包括：
比较数值子单元，用于将所述表情识别结果与连续帧图集列表中的各个连续帧图集对应的映射值进行比较，以找到与所述表情识别结果一致的目标映射值，所述表情识别结果为所述表情识别模型输出的数值，所述连续帧图集列表包括多个对应不同表情类别的预设的连续帧图集，每个连续帧图集均包括指定数量的表示同一类别心情的图片，且均分别对应不同的映射值；
获取图集子单元，用于依据所述目标映射值从所述连续帧图集列表中找出所述第一连续帧图集的关联名称，并依据所述关联名称从所述数据库中获取所述第一连续帧图集。
本实施例中，上述连续帧图集列表为预设的图集列表，该列表包括多个分别对应不同类别的连续帧图集的关联名称，如“开心图集”、“难过图集”、“生气图集”、“害怕图集”等等，且每个连续帧图集均分别对应不同的映射值，如“开心图集”对应的映射值为“1”、“难过图集”对应的映射值为“2”等，上述映射值用于与表情识别模型输出的值作对比。首先将表情识别结果，即表情识别模型输出的数值与上述连续帧图集中的各个连续帧图集对应的映射值进行对比，从中找到与模型输出值一致的目标映射值，该目标映射值对应的连续帧图集即为当前显示所需的图集，也即第一连续帧图集，根据目标映射值从上述连续帧图集列表中找到上述第一连续帧图集对应的关联名称，由于数据库中存储有多个连续帧图集以及对应的关联名称，这时根据关联名称从上述数据库中获取上述第一连续帧图集。
如上述第一播放单元400所述，由于第一连续帧图集中每帧图片均对应有编号，且起始编号到结束编号依次按预设顺序进行设置，本实施例中获取到第一连续帧图集之后，从预设顺序的第一张图片，即从起始编号开始按预设顺序对第一连续帧图集中的图片进行显示播放，当播放到对应结束编号的图片时，再从对应起始编号的图片开始重新播放，如此循环播放。
进一步地，上述图片格式采用png格式，其具有如下优点：用来存储灰度图像时，灰度图像的深度可多到16位，存储彩色图像时，彩色图像的深度可多到48位，并且还可存储多到16位的α通道数据。压缩比高，生成文件体积小。在实时显示心情情绪时，更加流畅，可更准确的显示用户当下心情状态，提高用户体验。
在一个实施例中，上述基于数据处理的图片显示装置，还包括：
接收指令单元，用于接收更换所述第一连续帧图集的指令，所述指令包括第二连续帧图集的识别信息；
第二播放单元，用于依据所述指令获取所述第二连续帧图集，所述第二连续帧图集包括指定数量的表示同一类别心情的第二图片，各所述第二图片已按预设顺序排序，且第二图片与第一图片分别表示不同类别心情；
第二播放单元，用于在所述第一连续帧图集当前帧的下一帧播放所述第二连续帧图集中预设顺序的第一张第二图片，并按所述预设顺序对所述第二连续帧图集中的第二图片进行循环播放。
本实施例中，当上述视频中的人脸变更表情，那么对应的，获取到并识别出的表情类别与当前循环播放的不一致，这时系统会发出更换播放图集的指令，即更换上述第一连续帧图集的指令，该指令包含识别出第二连续帧图集的识别信息，此处的第二连续帧图集对应的表情类别为上述人脸变更表情之后识别得到的表情类别，即第一连续帧图集与第二连续帧图集表示不同类别的心情，为了使得显示的动图无缝衔接，直接在播放当前帧的下一帧开始播放第二连续帧图集中对应起始编号的第二图片，并按预设顺序对第二连续帧图集中的第二图片进行循环播放，需知，上述当前帧为第一连续帧图集中的任意编号的第一图片。
进一步地，在循环播放连续帧图集中的图片时，同时将预设好的与该连续帧图集对应的心情文字调出并显示，让呈现到界面的意思表示更准确生动。
在一个实施例中，上述基于数据处理的图片显示装置，还包括：
检测时长单元，用于检测所述第一连续帧图集的循环播放时长，所述循环播放时长为从所述第一连续帧图集的起始播放时刻到当前时刻之间的时长；
判断时长单元，用于判断所述循环播放时长是否大于预设的时长；
显示语句单元，用于判断所述循环播放时长大于预设的时长时，获取与所述第一连续帧图集对应的提示语，并进行显示。
本实施例中，由于上述基于数据处理的图片显示方法应用于实时识别视频人脸表情，为了给用户更贴心体验，可对长时间同一表情进行提示警醒，具体而已，先检测第一连续帧图集的循环播放时长，该循环播放时长即是从播放该连续帧图集第一张图片的起始时刻到当前时刻之间的时长，然后判断该循环播放时长是否大于预设的时长，若是，则说明该表情持续时间过长，这时会获取对应该第一连续帧图集的提示语，并进行显示，例如第一连续帧图集起始播放时刻为10:20，当前时刻为11:00，即循环播放时长为40分钟，但是预设的时长为30分钟，那么此时循环播放时长大于预设的时长，可将提示语进行显示，每个连续帧图集可对应不同的提示语，当然，该提示语可为警醒语，也可为缓解气氛的语言，此处不作限定。若循环播放时长不大于预设时长，不作任何响应，直到更换图集或循环播放时长大于预设时长。本实施例中，可持续监控并检测上述循环播放时长，一旦检测到循环播放时长大于预设的时长，即显示上述提示语。
在一个实施例中，上述基于数据处理的图片显示装置，还包括：
判断图集单元，用于判断所述第一连续帧图集是否为预设的指定图集；
第三获取单元，用于判断所述第一连续帧图集为预设的指定图集时，获取与所述第一连续帧图集具有关联关系的第三连续帧图集，其中，所述关联关系为所述第一连续帧图集表示的心情类别与所述第三连续帧图集表示的心情类别相反的对应关系；
替换图集单元，用于将当前循环播放的所述第一连续帧图集替换成所述第三连续帧图集，并显示变更图集的警醒语。
本实施例中，当心情呈现为负面情绪时，上述显示的提示语可为鼓励改变心情的文字，此外还可调出与当前心情反面的心情对应的连续帧图集(如开心，平静等)，以更为生动的呈现方式来促使用户改变心情。具体而言，上述预设的指定图集可为用户根据实际情况设置的图集，一般设置为负面情绪的图集，例如表示愤怒的图集、难过的图集等，先判断第一连续帧图集是否为该指定图集，若否，无需对当前循环播放的第一连续帧图集进行变更，若是，则获取与第一连续帧图集具有关联关系的第三连续帧图集，上述关联关系可为预设的对应关系，该对应关系具体为第一连续帧图集表示的心情类别与第三连续帧图集表示的心情类别相反的对应关系，例如高兴图集对应难过图集、平静图集对应愤怒图集等，这时可将第三连续帧图集按第二播放单元的替换方式，进行图集更换，同时显示变更图集的警醒语，以便提醒用户。
参照图3，本发明实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储显示图片所需的所有数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于数据处理的图片显示方法。
上述处理器执行上述基于数据处理的图片显示方法的步骤：获取视频中待识别的人脸图像；将所述人脸图像输入到预设的基于卷积神经网络的表情识别模型进行识别得到表情识别结果，所述表情识别模型通过标注表情类别的连续帧图像训练集训练得到，不同的所述表情识别结果对应不同的表情类别；根据所述表情识别结果从预设的数据库获取对应表情类别的第一连续帧图集，所述第一连续帧图集包括指定数量的表示同一类别心情的第一图片，各所述第一图片已按预设顺序排序；将所述第一连续帧图集中的第一图片从所述预设顺序的第一张开始按照所述预设顺序进行循环播放。
上述计算机设备，上述将所述第一连续帧图集中的第一图片从所述预设顺序的第一张开始按照所述预设顺序进行循环播放的步骤之后，包括：接收更换所述第一连续帧图集的指令，所述指令包括第二连续帧图集的识别信息；依据所述指令获取所述第二连续帧图集，所述第二连续帧图集包括指定数量的表示同一类别心情的第二图片，各所述第二图片已按预设顺序排序，且第二图片与第一图片分别表示不同类别心情；在所述第一连续帧图集当前帧的下一帧播放所述第二连续帧图集中预设顺序的第一张第二图片，并按所述预设顺序对所述第二连续帧图集中的第二图片进行循环播放。
在一个实施例中，上述将所述第一连续帧图集中的第一图片从所述预设顺序的第一张开始按照所述预设顺序进行循环播放的步骤之后，包括：检测所述第一连续帧图集的循环播放时长，所述循环播放时长为从所述第一连续帧图集的起始播放时刻到当前时刻之间的时长；判断所述循环播放时长是否大于预设的时长；若是，则获取与所述第一连续帧图集对应的提示语，并进行显示。
在一个实施例中，上述获取与所述第一连续帧图集对应的提示语，并进行显示的步骤之后，包括：判断所述第一连续帧图集是否为预设的指定图集；若是，则获取与所述第一连续帧图集具有关联关系的第三连续帧图集，其中，所述关联关系为所述第一连续帧图集表示的心情类别与所述第三连续帧图集表示的心情类别相反的对应关系；将当前循环播放的所述第一连续帧图集替换成所述第三连续帧图集，并显示变更图集的警醒语。
在一个实施例中，上述获取视频中待识别的人脸图像的步骤，包括：获取视频中的多帧初始人脸图像，所述初始人脸图像为未经处理的图像；对所述初始人脸图像进行人脸检测，以确定人脸区域；获取所述人脸区域的特征点，并依据所述特征点对所述初始人脸图像进行对齐校准，得到所述待识别的人脸图像。
在一个实施例中，上述根据所述表情识别结果从预设的数据库获取对应表情类别的第一连续帧图集的步骤，包括：将所述表情识别结果与连续帧图集列表中的各个连续帧图集对应的映射值进行比较，以找到与所述表情识别结果一致的目标映射值，所述表情识别结果为所述表情识别模型输出的数值，所述连续帧图集列表包括多个对应不同表情类别的预设的连续帧图集，每个连续帧图集均包括指定数量的表示同一类别心情的图片，且均分别对应不同的映射值；依据所述目标映射值从所述连续帧图集列表中找出所述第一连续帧图集的关联名称，并依据所述关联名称从所述数据库中获取所述第一连续帧图集。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本发明一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种基于数据处理的图片显示方法，具体为：获取视频中待识别的人脸图像；将所述人脸图像输入到预设的基于卷积神经网络的表情识别模型进行识别得到表情识别结果，所述表情识别模型通过标注表情类别的连续帧图像训练集训练得到，不同的所述表情识别结果对应不同的表情类别；根据所述表情识别结果从预设的数据库获取对应表情类别的第一连续帧图集，所述第一连续帧图集包括指定数量的表示同一类别心情的第一图片，各所述第一图片已按预设顺序排序；将所述第一连续帧图集中的第一图片从所述预设顺序的第一张开始按照所述预设顺序进行循环播放。
上述计算机可读存储介质，上述将所述第一连续帧图集中的第一图片从所述预设顺序的第一张开始按照所述预设顺序进行循环播放的步骤之后，包括：接收更换所述第一连续帧图集的指令，所述指令包括第二连续帧图集的识别信息；依据所述指令获取所述第二连续帧图集，所述第二连续帧图集包括指定数量的表示同一类别心情的第二图片，各所述第二图片已按预设顺序排序，且第二图片与第一图片分别表示不同类别心情；在所述第一连续帧图集当前帧的下一帧播放所述第二连续帧图集中预设顺序的第一张第二图片，并按所述预设顺序对所述第二连续帧图集中的第二图片进行循环播放。
在一个实施例中，上述将所述第一连续帧图集中的第一图片从所述预设顺序的第一张开始按照所述预设顺序进行循环播放的步骤之后，包括：检测所述第一连续帧图集的循环播放时长，所述循环播放时长为从所述第一连续帧图集的起始播放时刻到当前时刻之间的时长；判断所述循环播放时长是否大于预设的时长；若是，则获取与所述第一连续帧图集对应的提示语，并进行显示。
在一个实施例中，上述获取与所述第一连续帧图集对应的提示语，并进行显示的步骤之后，包括：判断所述第一连续帧图集是否为预设的指定图集；若是，则获取与所述第一连续帧图集具有关联关系的第三连续帧图集，其中，所述关联关系为所述第一连续帧图集表示的心情类别与所述第三连续帧图集表示的心情类别相反的对应关系；将当前循环播放的所述第一连续帧图集替换成所述第三连续帧图集，并显示变更图集的警醒语。
在一个实施例中，上述获取视频中待识别的人脸图像的步骤，包括：获取视频中的多帧初始人脸图像，所述初始人脸图像为未经处理的图像；对所述初始人脸图像进行人脸检测，以确定人脸区域；获取所述人脸区域的特征点，并依据所述特征点对所述初始人脸图像进行对齐校准，得到所述待识别的人脸图像。
在一个实施例中，上述根据所述表情识别结果从预设的数据库获取对应表情类别的第一连续帧图集的步骤，包括：将所述表情识别结果与连续帧图集列表中的各个连续帧图集对应的映射值进行比较，以找到与所述表情识别结果一致的目标映射值，所述表情识别结果为所述表情识别模型输出的数值，所述连续帧图集列表包括多个对应不同表情类别的预设的连续帧图集，每个连续帧图集均包括指定数量的表示同一类别心情的图片，且均分别对应不同的映射值；依据所述目标映射值从所述连续帧图集列表中找出所述第一连续帧图集的关联名称，并依据所述关联名称从所述数据库中获取所述第一连续帧图集。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM一多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种基于数据处理的图片显示方法，其特征在于，包括：
获取视频中待识别的人脸图像；
将所述人脸图像输入到预设的基于卷积神经网络的表情识别模型进行识别得到表情识别结果，所述表情识别模型通过标注表情类别的连续帧图像训练集训练得到，不同的所述表情识别结果对应不同的表情类别；
根据所述表情识别结果从预设的数据库获取对应表情类别的第一连续帧图集，所述第一连续帧图集包括指定数量的表示同一类别心情的第一图片，各所述第一图片已按预设顺序排序；
将所述第一连续帧图集中的第一图片从所述预设顺序的第一张开始按照所述预设顺序进行循环播放；
当识别所述人脸图像发生表情变化时，接收并执行更换所述第一连续帧图集的指令，所述指令包括第二连续帧图集的识别信息；
依据所述指令获取所述第二连续帧图集，所述第二连续帧图集包括指定数量的表示同一类别心情的第二图片，各所述第二图片已按预设顺序排序，且第二图片与第一图片分别表示不同类别心情；
在所述第一连续帧图集当前帧的下一帧播放所述第二连续帧图集中预设顺序的第一张第二图片，并按所述预设顺序对所述第二连续帧图集中的第二图片进行循环播放。
2.根据权利要求1所述基于数据处理的图片显示方法，其特征在于，所述将所述第一连续帧图集中的第一图片从所述预设顺序的第一张开始按照所述预设顺序进行循环播放的步骤之后，包括：
检测所述第一连续帧图集的循环播放时长，所述循环播放时长为从所述第一连续帧图集的起始播放时刻到当前时刻之间的时长；
判断所述循环播放时长是否大于预设的时长；
若是，则获取与所述第一连续帧图集对应的提示语，并进行显示。
3.根据权利要求2所述基于数据处理的图片显示方法，其特征在于，所述获取与所述第一连续帧图集对应的提示语，并进行显示的步骤之后，包括：
判断所述第一连续帧图集是否为预设的指定图集；
若是，则获取与所述第一连续帧图集具有关联关系的第三连续帧图集，其中，所述关联关系为所述第一连续帧图集表示的心情类别与所述第三连续帧图集表示的心情类别相反的对应关系；
将当前循环播放的所述第一连续帧图集替换成所述第三连续帧图集，并显示变更图集的警醒语。
4.根据权利要求1所述基于数据处理的图片显示方法，其特征在于，所述获取视频中待识别的人脸图像的步骤，包括：
获取视频中的多帧初始人脸图像，所述初始人脸图像为未经处理的图像；
对所述初始人脸图像进行人脸检测，以确定人脸区域；
获取所述人脸区域的特征点，并依据所述特征点对所述初始人脸图像进行对齐校准，得到所述待识别的人脸图像。
5.根据权利要求1所述基于数据处理的图片显示方法，其特征在于，所述根据所述表情识别结果从预设的数据库获取对应表情类别的第一连续帧图集的步骤，包括：
将所述表情识别结果与连续帧图集列表中的各个连续帧图集对应的映射值进行比较，以找到与所述表情识别结果一致的目标映射值，所述表情识别结果为所述表情识别模型输出的数值，所述连续帧图集列表包括多个对应不同表情类别的预设的连续帧图集，每个连续帧图集均包括指定数量的表示同一类别心情的图片，且均分别对应不同的映射值；
依据所述目标映射值从所述连续帧图集列表中找出所述第一连续帧图集的关联名称，并依据所述关联名称从所述数据库中获取所述第一连续帧图集。
6.一种基于数据处理的图片显示装置，其特征在于，包括：
获取图像单元，用于获取视频中待识别的人脸图像；
识别图像单元，用于将所述人脸图像输入到预设的基于卷积神经网络的表情识别模型进行识别得到表情识别结果，所述表情识别模型通过标注表情类别的连续帧图像训练集训练得到，不同的所述表情识别结果对应不同的表情类别；
第一获取单元，用于根据所述表情识别结果从预设的数据库获取对应表情类别的第一连续帧图集，所述第一连续帧图集包括指定数量的表示同一类别心情的第一图片，各所述第一图片已按预设顺序排序；
第一播放单元，用于将所述第一连续帧图集中的第一图片从所述预设顺序的第一张开始按照所述预设顺序进行循环播放；
接收指令单元，用于当识别所述人脸图像发生表情变化时，接收并执行更换所述第一连续帧图集的指令，所述指令包括第二连续帧图集的识别信息；
第二播放单元，用于依据所述指令获取所述第二连续帧图集，所述第二连续帧图集包括指定数量的表示同一类别心情的第二图片，各所述第二图片已按预设顺序排序，且第二图片与第一图片分别表示不同类别心情；
第二播放单元，用于在所述第一连续帧图集当前帧的下一帧播放所述第二连续帧图集中预设顺序的第一张第二图片，并按所述预设顺序对所述第二连续帧图集中的第二图片进行循环播放。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910596485.8A CN110472488B (zh) | 2019-07-03 | 2019-07-03 | 基于数据处理的图片显示方法、装置和计算机设备 |
| PCT/CN2020/098808 WO2021000833A1 (zh) | 2019-07-03 | 2020-06-29 | 基于数据处理的图片显示方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910596485.8A CN110472488B (zh) | 2019-07-03 | 2019-07-03 | 基于数据处理的图片显示方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110472488A CN110472488A (zh) | 2019-11-19 |
| CN110472488B true CN110472488B (zh) | 2024-05-10 |
Family
ID=68507519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910596485.8A Active CN110472488B (zh) | 2019-07-03 | 2019-07-03 | 基于数据处理的图片显示方法、装置和计算机设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110472488B (zh) |
| WO (1) | WO2021000833A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472488B (zh) * | 2019-07-03 | 2024-05-10 | 平安科技（深圳）有限公司 | 基于数据处理的图片显示方法、装置和计算机设备 |
| CN114708627B (zh) * | 2022-02-28 | 2024-05-31 | 厦门大学 | 一种应用于社交机器人的微表情识别方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009280A (zh) * | 2017-12-21 | 2018-05-08 | 广东欧珀移动通信有限公司 | 图片处理方法、装置、终端及存储介质 |
| CN109886697A (zh) * | 2018-12-26 | 2019-06-14 | 广州市巽腾信息科技有限公司 | 基于表情组别的操作确定方法、装置及电子设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015061979A1 (zh) * | 2013-10-30 | 2015-05-07 | 宇龙计算机通信科技(深圳)有限公司 | 终端和视频文件管理方法 |
| US10289076B2 (en) * | 2016-11-15 | 2019-05-14 | Roborus Co., Ltd. | Concierge robot system, concierge service method, and concierge robot |
| CN109635680B (zh) * | 2018-11-26 | 2021-07-06 | 深圳云天励飞技术有限公司 | 多任务属性识别方法、装置、电子设备及存储介质 |
| CN109934115B (zh) * | 2019-02-18 | 2021-11-02 | 苏州市科远软件技术开发有限公司 | 人脸识别模型的构建方法、人脸识别方法及电子设备 |
| CN110472488B (zh) * | 2019-07-03 | 2024-05-10 | 平安科技（深圳）有限公司 | 基于数据处理的图片显示方法、装置和计算机设备 |
-
2019
- 2019-07-03 CN CN201910596485.8A patent/CN110472488B/zh active Active
-
2020
- 2020-06-29 WO PCT/CN2020/098808 patent/WO2021000833A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009280A (zh) * | 2017-12-21 | 2018-05-08 | 广东欧珀移动通信有限公司 | 图片处理方法、装置、终端及存储介质 |
| CN109886697A (zh) * | 2018-12-26 | 2019-06-14 | 广州市巽腾信息科技有限公司 | 基于表情组别的操作确定方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021000833A1 (zh) | 2021-01-07 |
| CN110472488A (zh) | 2019-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3477519B1 (en) | Identity authentication method, terminal device, and computer-readable storage medium | |
| US10438586B2 (en) | Voice dialog device and voice dialog method | |
| CN103824481B (zh) | 一种检测用户背诵的方法及装置 | |
| CN106156799B (zh) | 智能机器人的物体识别方法及装置 | |
| CN104598644B (zh) | 喜好标签挖掘方法和装置 | |
| EP3618063A1 (en) | Voice interaction system, voice interaction method, program, learning model generation apparatus, and learning model generation method | |
| CN110688874B (zh) | 人脸表情识别方法及其装置、可读存储介质和电子设备 | |
| KR101887637B1 (ko) | 로봇 시스템 | |
| CN109767261A (zh) | 产品推荐方法、装置、计算机设备和存储介质 | |
| CN105205454A (zh) | 自动捕捉目标物的系统和方法 | |
| CN110472488B (zh) | 基于数据处理的图片显示方法、装置和计算机设备 | |
| CN110418204B (zh) | 基于微表情的视频推荐方法、装置、设备和存储介质 | |
| CN110543823B (zh) | 基于残差网络的行人再识别方法、装置和计算机设备 | |
| CN112214998B (zh) | 意图与实体的联合识别方法、装置、设备和存储介质 | |
| CN115497484B (zh) | 语音解码结果处理方法、装置、设备及存储介质 | |
| CN111753168A (zh) | 一种搜题的方法、装置、电子设备及存储介质 | |
| CN113128522B (zh) | 目标识别方法、装置、计算机设备和存储介质 | |
| CN115035438A (zh) | 情绪分析方法、装置及电子设备 | |
| CN110781738B (zh) | 生成人脸图像的方法、装置、计算机设备及存储介质 | |
| CN113378852A (zh) | 关键点检测方法、装置、电子设备及存储介质 | |
| CN109697421A (zh) | 基于微表情的评价方法、装置、计算机设备和存储介质 | |
| CN113657187A (zh) | 一种脸部识别方法、设备和计算机可读存储介质 | |
| CN114038034A (zh) | 虚拟人脸选择模型训练方法、在线视频心理咨询隐私保护方法、存储介质及心理咨询系统 | |
| CN110427513B (zh) | 图片推荐方法及系统 | |
| CN114399699A (zh) | 目标推荐对象确定方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |