CN109918675A - 一种上下文感知的网络表情图片自动生成方法及装置 - Google Patents

Abstract

本发明涉及网络信息处理领域，尤其涉及一种上下文感知的网络表情图片自动生成方法及装置。包括在聊天记录中检测到图像信息时，根据检测到的图像信息生成具有场景特征的表情图。现有技术只能依据当前聊天场景推荐第三方提供的表情图，但在信息时代，信息交互快，表情图的潮流变换快，第三方提供的表情图往往更新较慢，跟不上潮流发展。本发明相较于现有技术，在不侵犯他人权益的情况下，将用户日常发送的图像信息转换为表情图，增加了获取表情图的渠道，更新速度快，可以有效的跟上潮流发展。

Description

一种上下文感知的网络表情图片自动生成方法及装置

技术领域

本发明涉及网络信息处理领域，尤其涉及一种上下文感知的网络表情图片自动生成方法及装置。

背景技术

网络改变的不仅仅是人类信息传播的速度和质量，还极大的丰富了人类表情传意的方式，形成了独特的网络语言，其中又以大量的非语言的表情符号为期特征。表情符号用来生动呈现和临摹日常面对面交际中的非言语信息，是双发如闻其声，如见其人。

随着技术的逐步发展，人们逐渐习惯了在网络上通过社交平台交流，通过发送表情图等方式来表达聊天时的心情，增添了聊天的趣味性，但表情图往往由第三方提供，样式不够多变，更新速度较慢，同时在信息时代，信息交互快，第三方提供的表情图往往不能跟上潮流发展，由此可见设计一种能够依据用户日常发送的图像信息生成表情图的方法十分有必要的。

中国专利公开了一种会话中实现表情图像发送的方法和装置【申请号：CN201510809061.7，公开号：CN106789543A】，包括：检测会话中的输入操作并获取输入内容；识别所述输入内容并获取涵义词，所述涵义词标示出所述输入内容中的表情特征；根据所述涵义词索引到对应的表情图像，所述索引到的表情图像包括多个与不同表情发送策略相对应的表情图像；根据预置的表情发送策略，获取所述涵义词对应的推荐表情图像，所述推荐表情图像为多个索引到的表情图像的任意一个或任意组合；发送所述推荐表情图像。虽然能够依据涵义词推荐表情图像，但是仍然只能推荐第三方提供的表情图，不能依据用户发送的图像信息生成新的表情图。

中国专利公开了一种表情图片推荐方法及装置【申请号：CN201710075877.0，公开号：CN108287857A】，包括：获取用户使用过的各组表情图片的使用记录，所述各组表情图片中的每组表情图片对 应至少一种图像风格，所述每组表情图片中包含至少一个图片；获取指定表情图片的修正前的推荐指数，并获取所述指定表情图片的图像风格，所述 推荐指数用于指示向所述用户推荐所述指定表情图片的优先程度；根据所述使用记录，所述每组表情图片的图像风格，以及所述指定表情图片的图像风格，对所述修正前的推荐指数进行修正，获得修正后的推荐指数；当所述修正后的推荐指数满足推荐条件时，向所述用户推荐所述指定表情图片。虽然能够依据图像风格像用户推荐相应的表情图片，但是依旧只能推荐第三方提供的表情图，不能依据用户自身发送的图像信息生成表情图。

发明内容

针对现有技术的技术问题，本发明提供了一种上下文感知的网络表情图片自动生成方法及装置。

为解决上述技术问题，本发明提供了以下的技术方案：

一种上下文感知的网络表情图片自动生成方法，包括在聊天记录中检测到图像信息时，根据检测到的图像信息生成具有场景特征的表情图。

检测社交平台的聊天记录，例如：微信、QQ等，依据信息格式的不同将聊天记录内的信息分为文字信息，图像信息，根据检测到的图像信息生成表情图，依据检测到的文字信息分析出发送该图像信息的场景特征，将特征场景信息标记表情图。一方面将图像信息转换成占用存储空间更小的表情图，释放了手机、电脑等电子产品的储存内存，另一方面可依据场景特征调用相应的表情图，有效提高了表情图的使用率，避免了大量表情图的闲置。

进一步的，所述自动生成表情图的操作包括：步骤A-1，调取所述聊天记录中所述图像信息的上下文信息；步骤A-2，从所述上下文信息中提取特征场景信息；步骤A-3，根据所述图像信息生成表情图的图像数据，并且根据所述特征场景信息生成所述表情图的场景特征数据；步骤A-4，存储所述表情图至表情库。

进一步的，所述步骤A-4包括：步骤A-4-1，对所述表情图的图像数据去隐私化；步骤A-4-2，存储所述表情图至表情库。

进一步的，所述步骤A-4-1还包括，对所述表情图的图像数据进行风格转化。

进一步的，所述图像信息为图片；所述步骤A-3中，将所述图片作为表情图的图像数据。

进一步的，所述图像信息为视频；所述步骤A-3中，将所述视频中的一帧或者多帧作为表情图的图像数据。

进一步的，所述表情图为静态表情图或者动态表情图。

进一步的，还包括根据聊天内容推荐表情图。

进一步的，根据聊天内容推荐表情图的操作，包括：步骤B-1，获取当前聊天记录中的上文信息；步骤B-2，从所述上文信息中提取当前特征场景信息；步骤B-3，调取并推荐表情库中场景特征与所述当前特征场景信息匹配的表情图。

一种上下文感知的网络表情图片自动生成装置，应用权利要求1-9中任一项所述的方法。

相较于现有技术本发明具有以下优点：

将用户日常发送的图片信息转换为表情图，增加了表情图的获取渠道。

将用户日常发送的图片信息转换为表情图，可以及时跟上表情图的潮流发展。

可以有效的将图像信息，例如：短视频，转化为表情图，有效的降低了图像信息的空间占用。

将图像信息转换为表情图，保留了原图像信息的特点，例如：保留了短视频特有的动感。

附图说明

图1：流程方框图。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

实施例一：

一种上下文感知的网络表情图片自动生成方法，包括在聊天记录中检测到图像信息时，根据检测到的图像信息生成具有场景特征的表情图。其中自动生成表情图的操作包括：

步骤A-1，调取聊天记录中图片或视频的上下文信息；

步骤A-2，从上下文信息中提取特征场景信息；

步骤A-3，根据图像信息生成表情图的图像数据，并且根据特征场景信息生成表情图的场景特征数据；

步骤A-4-1，对表情图的图像数据进行去隐私化与风格转化；

步骤A-4-2，存储表情图至表情库。

依据信息格式检查社交平台的聊天记录，信息格式包括文字格式，例如txt格式，视频格式，例如：mp4格式，图片格式，例如：jpg格式，从而将聊天记录中的信息分为文字信息、图片信息、视频信息，通过依次检查文字输入操作中的输入内容以调取聊天记录中图片或视频信息前后的文字信息。

依据日常生活用语设定关键词词库，关键词词库内包括人称代词，例如：“我”、“你”，时间描述词，例如：“今天”、“明天”，心理描述词，例如：“开心”、“悲伤”，地点描述词。通过将文字信息与关键词词库对比，从而提取出文字信息内的关键词，由关键词组成特征场景信息。

图像信息包括图片、视频。依据图像信息的不同，生成的表情图有所不同，分别为静态表情图、动态表情图。将图片作为表情图的图像数据以生成静态表情图，输入参照图片，基于深度学习中的艺术风格迁移技术以获取参照图片的图片风格，再输入目标静态表情图，从而依据获取的参照图片的图像风格对目标静态表情图进行重新生成，从而对目标静态表情图进行风格转换。将风格转换后的静态表情图与人体面部特征数据对比若相似度大于60%，则判断当前图片含有真人形象，通过将图片模糊化或将图片打码的形式降低相似度，从而对静态表情图去隐私化。

将视频逐帧与人体面部特征对比，若当前帧对比结果为小于40%，则将此帧定义为背景帧，若当前帧对比结果为大于40%小于60%，则将此帧定义为虚拟人物表情帧，若当前帧对比结果为大于60%,则将此帧定义为真实人物表情帧。其中提取优先级由高至低依次为真实人物表情帧、虚拟人物表情帧、背景帧，即一段视频中同时含有背景帧，真实人物表情帧，虚拟人物表情帧时，则优先从真实人物表情帧中提取一帧或多帧作为表情图的图像数据以生成动态表情图。对生成的动态表情图逐帧进行风格转换，将风格转换后的真实人物表情帧模糊化或打码的形式降低真实人物表情帧的相似度，直至相似度低于60%，通过这种方法对动态表情图去隐私化。

将场景特征数据标记相应的表情图，将表情图存储至表情库。

还包括根据聊天内容推荐表情图的操作，包括：

步骤B-1，获取当前聊天记录中的上文信息；

步骤B-2，从上文信息中提取当前特征场景信息；

步骤B-3，调取并推荐表情库中场景特征与当前特征场景信息匹配的表情图。

通过依次检查文字输入操作的输入内容以获取当前聊天记录中的上文信息。

将获取的上文信息与关键词词库对比，提取当前上文信息的关键词以提取当前特征场景信息。

将当前特征场景信息与表情库中的场景特征进行对比，对比比重由高至低依次为心理描述词、地点描述词、时间描述词、人称代词。其中心里描述词比重占60%，地点描述词占15%、时间描述词占15%、人称代词占10%。例如当前特征场景信息包含的关键词依次为：“我”、“今天”、“高兴”，既人称代词、时间描述词、心理描述词。表情库中储存的场景特征数据包含的关键词依次为：“我”、“今天”、“悲伤”，其组成同样为人称代词、时间描述词、心理描述词，两者相对比，其中人称代词、时间描述词均一致，两者均不存在地点描述词，则判定地点描述词一致，但心里描述词不同，两者的匹配度为40%，既对比结果为不匹配。此时将当前特征场景信息与另一条场景特征数据对比，直至匹配度大于60%，从而调取与当前特征场景信息匹配的表情图。

实施例二：

一种上下文感知的网络表情图片自动生成装置，应用上述表情图片自动生成方法。包括：检测模块、语义分析模块、图片生成模块、文字检测模块、推荐模块。其中检测模块用于依据信息格式检测聊天记录内的信息，将聊天记录内的信息分为文字信息、图片信息、视频信息。

语义分析模块用于从上下文信息中提取特征场景信息，并且根据特征场景信息生成场景特征数据。语义分析模块包括关键词储存单元，关键词储存单元内储存有人称代词、时间描述词、心理描述词、地点描述词。语义分析模块内还包括对比单元，对比单元将上下文信息与关键词储存单元内储存的关键词对比，依据对比结果提取出上下文信息内相应的关键词，这些关键词组成特征场景信息。语义分析模块还包括数据生成单元，数据生成单元依据特征场景信息生成场景特征数据。

图片生成模块用于根据图像信息生成表情图的图像数据，利用人工智能对表情图的图像数据进行风格转化与去隐私化，使得最终生成的表情图不会侵犯到他人的权益。图片生成模块还包括表情图生成单元，表情图生成单元依据图片生成静态表情图，提取视频中的一帧或者多帧以生成动态表情图。图片生成模块包括风格转换单元，风格转换单元基于神经网络的风格迁移算法，将参照图片输入至VGG19深度网络中以获取参照图片的图像风格，再输入目标表情图，从而依据获取的参照图片的图像风格对目标表情图进行重新生成，进而对目标图片进行风格转换。图片生成模块还包括去隐私单元，去隐私单元将风格转换后的表情图与人体面部特征数据对比，若对比结果为于70%则判定当前表情图的图像数据含有真人形象，采用模糊化或打码的形式以降低相似度，从而进行去隐私化。

文字检测模块用于获取当前聊天记录中的上文信息，从上文信息中提取当前特征场景信息。

推荐模块用于调取并推荐表情库中场景特征与当前特征场景信息匹配的表情图。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种上下文感知的网络表情图片自动生成方法，其特征在于：包括在聊天记录中检测到图像信息时，根据检测到的图像信息生成具有场景特征的表情图。

2.根据权利要求1所述的一种上下文感知的网络表情图片自动生成方法，其特征在于：所述自动生成表情图的操作包括：

步骤A-1，调取所述聊天记录中所述图像信息的上下文信息；

步骤A-2，从所述上下文信息中提取特征场景信息；

步骤A-3，根据所述图像信息生成表情图的图像数据，并且根据所述特征场景信息生成所述表情图的场景特征数据；

步骤A-4，存储所述表情图至表情库。

3.根据权利要求2所述的一种上下文感知的网络表情图片自动生成方法，其特征在于：所述步骤A-4包括：

步骤A-4-1，对所述表情图的图像数据去隐私化；

步骤A-4-2，存储所述表情图至表情库。

4.根据权利要求3所述的一种上下文感知的网络表情图片自动生成方法，其特征在于：所述步骤A-4-1还包括，对所述表情图的图像数据进行风格转化。

5.根据权利要求2所述的一种上下文感知的网络表情图片自动生成方法，其特征在于：所述图像信息为图片；

所述步骤A-3中，将所述图片作为表情图的图像数据。

6.根据权利要求2所述的一种上下文感知的网络表情图片自动生成方法，其特征在于：所述图像信息为视频；

所述步骤A-3中，将所述视频中的一帧或者多帧作为表情图的图像数据。

7.根据权利要求1所述的一种上下文感知的网络表情图片自动生成方法，其特征在于：所述表情图为静态表情图或者动态表情图。

8.根据权利要求1所述的一种上下文感知的网络表情图片自动生成方法，其特征在于：还包括根据聊天内容推荐表情图。

9.根据权利要求8所述的一种上下文感知的网络表情图片自动生成方法，其特征在于：根据聊天内容推荐表情图的操作，包括：

步骤B-1，获取当前聊天记录中的上文信息；

步骤B-2，从所述上文信息中提取当前特征场景信息；

步骤B-3，调取并推荐表情库中场景特征与所述当前特征场景信息匹配的表情图。

10.一种上下文感知的网络表情图片自动生成装置，其特征在于：应用权利要求1-9中任一项所述的方法。