CN110459296A - 信息推送方法及相关产品 - Google Patents
信息推送方法及相关产品 Download PDFInfo
- Publication number
- CN110459296A CN110459296A CN201910559323.7A CN201910559323A CN110459296A CN 110459296 A CN110459296 A CN 110459296A CN 201910559323 A CN201910559323 A CN 201910559323A CN 110459296 A CN110459296 A CN 110459296A
- Authority
- CN
- China
- Prior art keywords
- information
- target
- emotional information
- emotional
- target user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Psychology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供了信息推送方法及相关产品，应用于电子设备，该方法包括：电子设备获取预设时间段针对目标用户的目标信息，所述目标信息包括多个视频片段(或图像信息)和多个文字片段，对所述多个视频片段进行分析处理，得到至少一个第一情绪信息，对所述多个文字片段进行分析处理，得到至少一个第二情绪信息，根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定所述目标用户对应的心理辅导策略，如此，可通过视频片段以及文字片段两个方向得到目标用户的情绪信息，并根据该情绪信息推送合适的心理辅导策略，有利于提高心理辅导的效率，并节省人力，从而全面提升社戒社康人员辅导的科技水平。
Description
技术领域
本发明涉及信息推送技术领域，具体涉及一种信息推送方法及相关产品。
背景技术
目前，为了帮助社康社戒人员树立更强大的信心和勇气，尽快融入正常生活，社戒社康管理中心会采用心理辅导的方式教育和引导他们如何正确认识自我、重新树立正确的人生观，但在进行心理辅导时，心理辅导老师或者工作人员的精力有限，无暇顾忌到所有社康社戒人员中每一个人的心理状态，会造成人力的浪费。
发明内容
本发明实施例提供了一种信息推送方法及相关产品，有利于节省人力以及提高心理辅导的效率。
本发明实施例第一方面提供了一种信息推送方法，应用于电子设备，包括：
获取预设时间段针对目标用户的目标信息，所述目标信息包括多个视频片段和多个文字片段；
对所述多个视频片段进行分析处理，得到至少一个第一情绪信息；
对所述多个文字片段进行分析处理，得到至少一个第二情绪信息；
根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定所述目标用户对应的心理辅导策略。
本发明实施例第二方面提供了一种信息推送装置，应用于电子设备，所述装置包括：获取单元、处理单元和确定单元，其中，
所述获取单元，用于获取预设时间段针对目标用户的目标信息，所述目标信息包括多个视频片段和多个文字片段；
所述处理单元，用于对所述多个视频片段进行分析处理，得到至少一个第一情绪信息；
所述处理单元，还用于对所述多个文字片段进行分析处理，得到至少一个第二情绪信息；
所述确定单元，用于根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定所述目标用户对应的心理辅导策略。
第三方面，本发明实施例提供了一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本发明实施例第一方面中的步骤的指令。
第四方面，本发明实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质用于存储计算机程序，其中，所述计算机程序使得计算机执行如本发明实施例第一方面中所描述的部分或全部步骤的指令。
第五方面，本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如本发明实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本发明实施例，具有如下有益效果：
可以看出，通过上述本发明实施例所描述的信息推送方法及相关产品，应用于电子设备，该方法包括：电子设备获取预设时间段针对目标用户的目标信息，所述目标信息包括多个视频片段(或图像信息)和多个文字片段，对所述多个视频片段进行分析处理，得到至少一个第一情绪信息，对所述多个文字片段进行分析处理，得到至少一个第二情绪信息，根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定所述目标用户对应的心理辅导策略，如此，可通过视频片段以及文字片段两个方向得到目标用户的情绪信息，并根据该情绪信息推送合适的心理辅导策略，有利于提高心理辅导的效率，并节省人力，从而全面提升社戒社康人员辅导的科技水平。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种信息推送方法的流程示意图；
图2是本发明实施例提供的另一种信息推送方法的流程示意图；
图3是本发明实施例提供的一种信息推送装置的结构示意图；
图4是本发明提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明实施例所描述电子设备可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、行车记录仪、平板电脑、视频矩阵、监控平台、掌上电脑、笔记本电脑、移动互联网设备(MID，Mobile Internet Devices)或穿戴式设备等，上述仅是举例，而非穷举，包含但不限于上述装置。
请参阅图1，为本发明实施例提供的一种信息推送方法的流程示意图。本实施例中所描述的信息推送方法，应用于电子设备，上述方法包括以下步骤：
101、获取预设时间段针对目标用户的目标信息，所述目标信息包括多个视频片段和多个文字片段。
其中，上述预设时间段可为用户自行设置或者系统默认，上述目标用户可理解为使用该电子设备的任意一个用户，上述目标信息可包括视频片段、图像信息和文字片段中的至少一项，在此不作限定；电子设备中可包括摄像头，该电子设备可在预设时间段内通过摄像头采集针对上述目标用户的多个视频片段，当然，也可直接通过摄像头采集针对上述目标用户的多个图像信息，该多个图像信息中至少一个可包括上述目标用户的人脸图像，上述预设时间段可为30秒、1分钟、5分钟、30分钟、1小时等等，在此不作限定；此外，电子设备可获取针对目标用户的目标应用的多个文字片段，该目标应用可包括以下至少一项：微信、QQ、浏览器、备忘录等等，在此不作限定，上述文字片段可包括上述目标用户的聊天记录、备忘记录、搜索记录等等，在此不作限定。
102、对所述多个视频片段进行分析处理，得到至少一个第一情绪信息。
其中，上述视频片段可包括目标用户的至少一个人脸图像，具体地，电子设备可对上述多个视频片段进行分析处理，可得到至少一个人脸图像，可从至少一个人脸图像中得到上述目标用户的至少一个人脸表情，可对至少一个人脸表情进行分析，得到至少一个第一情绪信息，该第一情绪信息可包括以下至少一个：抑郁、紧张、开心、焦虑、兴奋、沮丧、生气、厌恶、恐惧、悲伤、惊讶等等，在此不作限定。
可选地，上述步骤102，对所述多个视频片段进行分析处理，得到至少一个第一情绪信息，可包括以下步骤：
21、对所述多个视频片段进行解析，得到多个视频图像；
22、对所述多个视频图像中每一视频图像进行人脸检测，得到多个人脸图像；
23、根据所述多个人脸图像，确定每一人脸图像对应的脸部特征，得到多个脸部特征；
24、将所述多个脸部特征输入预设神经网络模型中，得到至少一个第一情绪信息以及所述每一第一情绪信息对应的出现概率，其中，每一第一情绪信息对应一个情绪类别；
25、选取所述出现概率超过第一预设阈值的第一情绪信息为目标第一情绪信息，得到至少一个目标第一情绪信息，每一目标第一情绪信息对应一个情绪类别。
其中，上述第一预设阈值可为用户自行设置或者系统默认，上述预设神经网络模型可以由用户自行设置或者系统默认，例如，卷积神经网络模型，电子设备可对上述多个视频片段进行解析，得到多个视频图像，由于上述多个视频图像中可能包括人脸图像，可能包括场景图像，则可对多个视频图像中的每一视频图像进行人脸检测，以得到多个人脸图像。
此外，上述第一情绪信息可包括以下至少一个：抑郁、紧张、开心、焦虑、兴奋、沮丧、生气、厌恶、恐惧、悲伤、惊讶等等，在此不作限定，其中，每一情绪类别均可包括至少一个脸部特征，上述脸部特征包括以下至少一个：额头特征、眉毛特征、眼睛特征、嘴巴特征等等，在此不作限定，其中，眉毛特征可包括以下至少一种：眉毛压低/抬起、眉宇皱纹加深/减轻、眉毛皮肤拉伸等等，在此不作限定；其他的脸部特征在此不作限定。电子设备可针对上述多个人脸图像，进行人脸特征的识别，得到多个脸部特征，然后，可根据上述多个脸部特征，得到第一情绪信息，例如，当人脸表情为生气时，对应的人脸的脸部特征可为眼睛瞪大、瞳孔变小、眉毛下压、鼻孔不自觉的张大等等脸部特征；当人脸表情为悲伤时，对应的人脸的脸部特征为面部肌肉会整体向下垂、眉毛稍微紧皱并且向下压、眼睑处下垂等等，在此不作限定。
具体地，电子设备可依据不同情绪信息对应的不同脸部特征，建立预设神经网络模型，该预设神经网络可为卷积神经网络模型或者其他神经网络模型，在此不作限定，电子设备可基于预设神经网络，识别出多个脸部特征对应的至少一个第一情绪信息，以及每一第一情绪信息出现的概率，该出现概率越高表示其对应的第一情绪信息出现的次数越多，电子设备中可预设第一预设阈值，该第一预设阈值可设定为80％、70％等等，在此不作限定，若出现概率超过该第一预设阈值，则确定其对应的第一情绪信息为目标第一情绪信息，电子设备可得到至少一个目标第一情绪信息。
103、对所述多个文字片段进行分析处理，得到至少一个第二情绪信息。
其中，上述第二情绪信息包括以下至少一种：紧张、开心、焦虑、兴奋、沮丧、生气、厌恶、恐惧、悲伤、惊讶等等，在此不作限定，电子设备可对其安装的多个目标应用进行监控，并获取上述多个目标应用在预设时间段内对应的多个文字片段，最后，对上述多个文字片段进行文字分析，可得到至少一个第二情绪信息。
举例来说，若上述目标应用为微信，电子设备可预设不同的情绪信息对应的关键词模板，得到多个关键词模板，其中，每一关键词模板可对应一种情绪信息；电子设备可获取预设时间段内上述微信对应的历史聊天记录，可根据上述多个关键词模板，与上述历史聊天记录进行匹配，并且得到多个匹配值，选取上述匹配值中最大匹配值所对应的情绪信息为目标情绪信息，该目标情绪信息即为上述第二情绪信息。
可选地，上述步骤103，对所述多个文字片段进行分析处理，得到至少一个第二情绪信息，可包括以下步骤：
31、获取预设的情绪类别对应的多个预设关键字集，每一所述预设关键字集对应一个情绪类别，每一预设关键字集中包括多个预设关键字；
32、依据所述多个预设关键字集对所述多个文字片段进行关键字提取，得到多个关键字集，每一所述关键字集对应一个情绪类别，每一关键字集中包括多个关键字；
33、根据所述多个关键字集，确定每一所述关键字集中的所述关键字占对应的预设关键字集中的所述预设关键字的比重，得到多个目标比重；
34、选取所述目标比重超过第二预设阈值的至少一个关键字集为目标关键字集，得到至少一个目标关键字集，所述目标关键字集对应的情绪类别则为目标第二情绪信息，得到至少一个目标第二情绪信息，每一目标第二情绪信息对应一个所述情绪类别。
其中，上述第二预设阈值可为用户自行设置或者系统默认，电子设备中可预设多个情绪类别，每一情绪类别可与上述第二情绪信息对应，上述情绪类别可包括以下至少一种：抑郁、紧张、开心、焦虑、兴奋、沮丧、生气、厌恶、恐惧、悲伤、惊讶等等，在此不作限定；电子设备可针对情绪类别预设关键字集，每一预设关键字集中可预设关键字，例如，当情绪类别为开心时，其对应的预设关键字集中的预设关键字可包括以下至少一个：兴奋、开心、愉悦、畅快、快活、心情美、哈哈等等，在此不作限定。
具体地，电子设备可将上述多个预设关键字集中的每一关键字与上述多个文字片段进行关键字匹配，若匹配成功，则可得到由多个关键字构成的多个关键字集，其中，每一关键字集对应一个情绪类别，每一关键字集中包括多个关键字，然后，电子设备可确定每一关键字集中的关键字占对应的预设关键字集中的预设关键字的比重，可得到多个目标比重，最后，可通过上述多个目标比重，确定至少一个目标第二情绪信息，具体可选取上述多个目标比重中超过第二预设阈值的至少一个目标关键字集以及每一目标关键字集对应的目标关键字，该至少一个目标关键字集对应的至少一个情绪类别则为至少一个目标第二情绪信息，如此，可通过目标用户的多个文字片段，识别出针对目标用户的情绪信息。
104、根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定所述目标用户对应的心理辅导策略。
其中，电子设备可通过上述至少一个第一情绪信息以及至少一个第二情绪信息确定目标情绪信息，电子设备可针对上述目标情绪信息确定心理辅导策略，该心理辅导策略可包括以下至少一项：推送心理辅导课程、推送心理辅导老师等等，在此不作限定。
可选地，上述步骤104，根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定所述目标用户对应的心理辅导策略，可包括以下步骤：
41、根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定目标情绪信息；
42、获取所述电子设备的日程信息，根据所述日程信息，得到所述目标用户的日程计划；
43、若所述日程计划以及所述目标情绪信息满足第一预设条件，则确定对所述目标用户采用第一心理辅导策略，即向所述目标用户推送与所述目标情绪信息对应的心理辅导课程；
44、若所述日程计划以及所述目标情绪信息满足第二预设条件，则确定对所述目标用户采用第二心理辅导策略，即向所述目标用户推送与所述目标情绪信息对应的心理辅导老师。
其中，电子设备可根据通过上述至少一个第一情绪信息以及至少一个第二情绪信息确定目标情绪信息，该目标情绪信息包括以下至少一个：抑郁、紧张、开心、焦虑、兴奋、沮丧、生气、厌恶、恐惧、悲伤、惊讶等等，在此不作限定；电子设备可获取日程信息，该日程信息可包括以下至少一种：备忘录、日程表、日历等等，在此不作限定，可根据上述日程信息确定上述目标用户的日程计划，例如，可根据电子设备中的日程表获取在一定时间段内的目标用户的行程计划。
此外，电子设备可根据上述日程计划以及上述目标情绪信息确定该目标用户对应的心理辅导策略，具体地，电子设备中可预设针对不同的心理辅导策略的预设条件，例如，上述第一预设条件可设置为：当目标情绪信息为第一分类时，该第一分类可包括以下至少一种：抑郁、厌恶、悲伤、焦虑、恐惧等等，在此不作限定，电子设备可向目标用户推送符合该目标情绪信息的心理辅导课程，并且，可根据上述日程计划，若日程计划较多，则可在目标用户的空闲时段，向目标用户推送上述目标情绪信息对应的心理辅导课程。上述第二预设条件可设置为：当上述目标情绪信息为第一分类时，若上述目标用户的日程计划较少，则可获取该目标用户的第一空闲时间段，由于不同的心理辅导老师的专业性质不同，因此可获取该目标情绪信息对应的心理辅导老师，以及该心理辅导老师对应的第二空闲时间段，若上述第二空闲时间段与第一空闲时间段有重合，则并向该目标用户推送该心理辅导老师，该心理辅导老师可直接对该目标用户进行线下心理辅导或在预设APP中进行线上交流，该预设APP可包括以下至少一种：微信APP、QQAPP、社戒社康人员管理APP等等，在此不作限定；此外，若上述目标情绪信息属于第二分类，该第二分类包括以下至少一种：开心、兴奋等等，在此不作限定，则可不向其推送上述心理辅导策略，如此，可针对不同的情绪信息有针对性的推送合适的心理辅导策略，有利于提高心理辅导效率，减少人力成本。
可选地，上述步骤41，根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定目标情绪信息，可包括以下步骤：
A1、获取所述第一情绪信息对应的第一权值和所述第二情绪信息对应的第二权值；
A2、根据所述第一权值、所述至少一个目标第一情绪信息、所述第二权值以及所述至少一个第二情绪信息，确定所述每一情绪信息的得分值，得到至少一个得分值；
A3、选取所述至少一个得分值中最大得分值对应的情绪信息为目标情绪信息。
其中，由于不同的情绪识别方式的准确率不同，即上述通过视频片段以及文字片段分别分析得到的第一情绪信息以及第二情绪信息的准确率不同，且单一维度的情绪识别误差较大，多个维度则可以弱化单一维度造成的识别误差，因此，可针对电子设备可针对上述第一情绪信息以及第二情绪信息预设权值，分别为第一权值、第二权值，其中，第一权值与第二权值的和为1，上述权值越大，表示其准确率越高，可获取上述至少一个目标第一情绪信息中每一第一情绪信息的出现概率，以及上述至少一个目标第二情绪信息中每一第二情绪信息的出现概率，上述出现概率可通过多个针对目标对象的面部特征以及文字片段得到，然后，可根据上述第一权值、至少一个目标第一情绪信息、第二权值以及至少一个第二情绪信息确定每一情绪信息的得分值，该得分值为情绪概率与该情绪信息对应的权值的乘积，如此，可得到每一情绪信息的得分值，选取得到至少一个得分值，最后，选取上述至少一个得分值中的最大值所对应的情绪信息为目标情绪信息，因此，可以通过脸部特征、文字片段或者聊天记录两个维度得到最终的情绪信息，提升了情绪识别精度。
可以看出，通过本发明实施例所描述的信息推送方法，应用于电子设备，获取预设时间段针对目标用户的目标信息，目标信息包括多个视频片段(或图像信息)和多个文字片段，对多个视频片段进行分析处理，得到至少一个第一情绪信息，对多个文字片段进行分析处理，得到至少一个第二情绪信息，根据至少一个第一情绪信息和至少一个第二情绪信息，确定目标用户对应的心理辅导策略，如此，可通过视频片段以及文字片段两个方向得到目标用户的情绪信息，并根据该情绪信息推送合适的心理辅导策略，有利于提高心理辅导的效率，并节省人力，从而全面提升社戒社康人员辅导的科技水平。
与上述一致地，请参阅图2，为本发明实施例提供的一种信息推送方法的实施例流程示意图。本实施例中所描述的信息推送方法，包括以下步骤：
201、获取预设时间段针对目标用户的目标信息，所述目标信息包括多个视频片段和多个文字片段。
202、对所述多个视频片段进行分析处理，得到至少一个第一情绪信息。
203、对所述多个文字片段进行分析处理，得到至少一个第二情绪信息。
204、根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定目标情绪信息。
205、获取所述电子设备的日程信息，根据所述日程信息，得到所述目标用户的日程计划。
206、若所述日程计划以及所述目标情绪信息满足第一预设条件，则确定对所述目标用户采用第一心理辅导策略。
207、若所述日程计划以及所述目标情绪信息满足第二预设条件，则确定对所述目标用户采用第二心理辅导策略。
其中，上述步骤201-207的具体描述可以参照图1所述的信息推送方法的相应描述，在此不再赘述。
可以看出，通过本发明实施例所描述的信息推送方法，应用于电子设备，该方法包括获取预设时间段针对目标用户的目标信息，目标信息包括多个视频片段和多个文字片段，对多个视频片段(或图像信息)进行分析处理，得到至少一个第一情绪信息，对多个文字片段进行分析处理，得到至少一个第二情绪信息，根据至少一个第一情绪信息和至少一个第二情绪信息，根据至少一个第一情绪信息和至少一个第二情绪信息，确定目标情绪信息，获取电子设备的日程信息，根据日程信息，得到目标用户的日程计划，若日程计划以及目标情绪信息满足第一预设条件，则确定对目标用户采用第一心理辅导策略，即向目标用户推送与目标情绪信息对应的心理辅导课程，若日程计划以及目标情绪信息满足第二预设条件，则确定对目标用户采用第二心理辅导策略，即向目标用户推送与目标情绪信息对应的心理辅导老师；如此，可通过视频片段以及文字片段两个方向得到目标用户的情绪信息，可针对不同的情绪信息有针对性的推送合适的心理辅导策略，有利于减少人力成本，提高心理辅导效率，从而全面提升社戒社康人员辅导的科技水平。
请参阅图3，为本发明实施例提供的一种信息推送装置的实施例结构示意图。本实施例中所描述的信息推送装置，包括：获取单元301、处理单元302和确定单元303，具体如下：
所述获取单元301，用于获取预设时间段针对目标用户的目标信息，所述目标信息包括多个视频片段和多个文字片段；
所述处理单元302，用于对所述多个视频片段进行分析处理，得到至少一个第一情绪信息；
所述处理单元302，还用于对所述多个文字片段进行分析处理，得到至少一个第二情绪信息；
所述确定单元303，用于根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定所述目标用户对应的心理辅导策略。
可以看出，通过上述本发明实施例所描述的信息推送装置应用于电子设备，该装置可获取预设时间段针对目标用户的目标信息，所述目标信息包括多个视频片段(或图像信息)和多个文字片段，对所述多个视频片段进行分析处理，得到至少一个第一情绪信息，对所述多个文字片段进行分析处理，得到至少一个第二情绪信息，根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定所述目标用户对应的心理辅导策略，如此，如此，可通过视频片段以及文字片段两个方向得到目标用户的情绪信息，并根据该情绪信息推送合适的心理辅导策略，有利于提高心理辅导的效率，并节省人力，从而全面提升社戒社康人员辅导的科技水平。
在一个可能的示例中，在根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定所述目标用户对应的心理辅导策略方面，上述确定单元303具体用于：
根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定目标情绪信息；
获取所述电子设备的日程信息，根据所述日程信息，得到所述目标用户的日程计划；
若所述日程计划以及所述目标情绪信息满足第一预设条件，则确定对所述目标用户采用第一心理辅导策略，即向所述目标用户推送与所述目标情绪信息对应的心理辅导课程；
若所述日程计划以及所述目标情绪信息满足第二预设条件，则确定对所述目标用户采用第二心理辅导策略，即向所述目标用户推送与所述目标情绪信息对应的心理辅导老师。
在一个可能的示例中，在对所述多个视频片段进行分析处理，得到至少一个第一情绪信息方面，上述处理单元302具体用于：
对所述多个视频片段进行解析，得到多个视频图像；
对所述多个视频图像中每一视频图像进行人脸检测，得到多个人脸图像；
根据所述多个人脸图像，确定每一人脸图像对应的脸部特征，得到多个脸部特征；
将所述多个脸部特征输入预设神经网络模型中，得到至少一个第一情绪信息以及所述每一第一情绪信息对应的出现概率；
选取所述出现概率超过第一预设阈值的第一情绪信息为目标第一情绪信息，得到至少一个目标第一情绪信息。
在一个可能的示例中，对所述多个文字片段进行分析处理，得到至少一个第二情绪信息方面，上述处理单元302具体用于：
获取预设的情绪类别对应的多个预设关键字集，每一所述预设关键字集对应一个情绪类别，每一预设关键字集中包括多个预设关键字；
依据所述多个预设关键字集对所述多个文字片段进行关键字提取，得到多个关键字集，每一所述关键字集对应一个情绪类别，每一关键字集中包括多个关键字；
根据所述多个关键字集，确定每一所述关键字集中的所述关键字占对应的预设关键字集中的所述预设关键字的比重，得到多个目标比重；
选取所述目标比重超过第二预设阈值的至少一个关键字集为目标关键字集，得到至少一个目标关键字集，所述目标关键字集对应的情绪类别则为目标第二情绪信息，得到至少一个目标第二情绪信息，每一目标第二情绪信息对应一个所述情绪类别。
在一个可能的示例中，在根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定目标情绪信息方面，上述确定单元303具体还用于：
获取所述第一情绪信息对应的第一权值和所述第二情绪信息对应的第二权值；
根据所述第一权值、所述至少一个目标第一情绪信息、所述第二权值以及所述至少一个第二情绪信息，确定所述每一情绪信息的得分值，得到至少一个得分值；
选取所述至少一个得分值中最大得分值对应的情绪信息为目标情绪信息。
与上述一致地，请参阅图4，为本发明实施例提供的一种电子设备的实施例结构示意图。本实施例中所描述的电子设备，包括：至少一个输入设备1000；至少一个输出设备2000；至少一个处理器3000，例如CPU；和存储器4000，上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。
其中，上述输入设备1000具体可为触控面板、物理按键或者鼠标。
上述输出设备2000具体可为显示屏。
上述存储器4000可以是高速RAM存储器，也可为非易失存储器(non-volatilememory)，例如磁盘存储器。上述存储器4000用于存储一组程序代码，上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码，执行如下操作：
上述处理器3000，用于：
获取预设时间段针对目标用户的目标信息，所述目标信息包括多个视频片段和多个文字片段；
对所述多个视频片段进行分析处理，得到至少一个第一情绪信息；
对所述多个文字片段进行分析处理，得到至少一个第二情绪信息；
根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定所述目标用户对应的心理辅导策略。
可以看出，通过本发明实施例提供的电子设备，可获取预设时间段针对目标用户的目标信息，所述目标信息包括多个视频片段和多个文字片段，对所述多个视频片段(或图像信息)进行分析处理，得到至少一个第一情绪信息，对所述多个文字片段进行分析处理，得到至少一个第二情绪信息，根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定所述目标用户对应的心理辅导策略，如此，如此，可通过视频片段以及文字片段两个方向得到目标用户的情绪信息，并根据该情绪信息推送合适的心理辅导策略，有利于提高心理辅导的效率，并节省人力，从而全面提升社戒社康人员辅导的科技水平。
在一个可能的示例中，在根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定所述目标用户对应的心理辅导策略方面，上述处理器3000具体用于：
根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定目标情绪信息；
获取所述电子设备的日程信息，根据所述日程信息，得到所述目标用户的日程计划；
若所述日程计划以及所述目标情绪信息满足第一预设条件，则确定对所述目标用户采用第一心理辅导策略，即向所述目标用户推送与所述目标情绪信息对应的心理辅导课程；
若所述日程计划以及所述目标情绪信息满足第二预设条件，则确定对所述目标用户采用第二心理辅导策略，即向所述目标用户推送与所述目标情绪信息对应的心理辅导老师。
在一个可能的示例中，在对所述多个视频片段进行分析处理，得到至少一个第一情绪信息方面，上述处理器3000具体用于：
对所述多个视频片段进行解析，得到多个视频图像；
对所述多个视频图像中每一视频图像进行人脸检测，得到多个人脸图像；
根据所述多个人脸图像，确定每一人脸图像对应的脸部特征，得到多个脸部特征；
将所述多个脸部特征输入预设神经网络模型中，得到至少一个第一情绪信息以及所述每一第一情绪信息对应的出现概率；
选取所述出现概率超过第一预设阈值的第一情绪信息为目标第一情绪信息，得到至少一个目标第一情绪信息。
在一个可能的示例中，对所述多个文字片段进行分析处理，得到至少一个第二情绪信息方面，上述处理器3000具体用于：
获取预设的情绪类别对应的多个预设关键字集，每一所述预设关键字集对应一个情绪类别，每一预设关键字集中包括多个预设关键字；
依据所述多个预设关键字集对所述多个文字片段进行关键字提取，得到多个关键字集，每一所述关键字集对应一个情绪类别，每一关键字集中包括多个关键字；
根据所述多个关键字集，确定每一所述关键字集中的所述关键字占对应的预设关键字集中的所述预设关键字的比重，得到多个目标比重；
选取所述目标比重超过第二预设阈值的至少一个关键字集为目标关键字集，得到至少一个目标关键字集，所述目标关键字集对应的情绪类别则为目标第二情绪信息，得到至少一个目标第二情绪信息，每一目标第二情绪信息对应一个所述情绪类别。
在一个可能的示例中，在根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定目标情绪信息方面，上述处理器3000具体用于：
获取所述第一情绪信息对应的第一权值和所述第二情绪信息对应的第二权值；
根据所述第一权值、所述至少一个目标第一情绪信息、所述第二权值以及所述至少一个第二情绪信息，确定所述每一情绪信息的得分值，得到至少一个得分值；
选取所述至少一个得分值中最大得分值对应的情绪信息为目标情绪信息。
本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何一种信息推送方法的部分或全部步骤。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种信息推送方法的部分或全部步骤。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
本领域技术人员应明白，本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信系统。
本发明是参照本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程车牌定位设备的处理器以产生一个机器，使得通过计算机或其他可编程车牌定位设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程的计算机可读存储器中，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种信息推送方法，其特征在于，应用于电子设备，所述方法包括：
获取预设时间段针对目标用户的目标信息，所述目标信息包括多个视频片段和多个文字片段；
对所述多个视频片段进行分析处理，得到至少一个第一情绪信息；
对所述多个文字片段进行分析处理，得到至少一个第二情绪信息；
根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定所述目标用户对应的心理辅导策略。
2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定所述目标用户对应的心理辅导策略，包括：
根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定目标情绪信息；
获取所述电子设备的日程信息，根据所述日程信息，得到所述目标用户的日程计划；
若所述日程计划以及所述目标情绪信息满足第一预设条件，则确定对所述目标用户采用第一心理辅导策略，即向所述目标用户推送与所述目标情绪信息对应的心理辅导课程；
若所述日程计划以及所述目标情绪信息满足第二预设条件，则确定对所述目标用户采用第二心理辅导策略，即向所述目标用户推送与所述目标情绪信息对应的心理辅导老师。
3.根据权利要求1所述的方法，其特征在于，所述对所述多个视频片段进行分析处理，得到至少一个第一情绪信息，包括：
对所述多个视频片段进行解析，得到多个视频图像；
对所述多个视频图像中每一视频图像进行人脸检测，得到多个人脸图像；
根据所述多个人脸图像，确定每一人脸图像对应的脸部特征，得到多个脸部特征；
将所述多个脸部特征输入预设神经网络模型中，得到至少一个第一情绪信息以及所述每一第一情绪信息对应的出现概率；
选取所述出现概率超过第一预设阈值的第一情绪信息为目标第一情绪信息，得到至少一个目标第一情绪信息。
4.根据权利要求1所述的方法，其特征在于，所述对所述多个文字片段进行分析处理，得到至少一个第二情绪信息，包括：
获取预设的情绪类别对应的多个预设关键字集，每一所述预设关键字集对应一个情绪类别，每一预设关键字集中包括多个预设关键字；
依据所述多个预设关键字集对所述多个文字片段进行关键字提取，得到多个关键字集，每一所述关键字集对应一个情绪类别，每一关键字集中包括多个关键字；
根据所述多个关键字集，确定每一所述关键字集中的所述关键字占对应的预设关键字集中的所述预设关键字的比重，得到多个目标比重；
选取所述目标比重超过第二预设阈值的至少一个关键字集为目标关键字集，得到至少一个目标关键字集，所述目标关键字集对应的情绪类别则为目标第二情绪信息，得到至少一个目标第二情绪信息，每一目标第二情绪信息对应一个所述情绪类别。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定目标情绪信息，包括：
获取所述第一情绪信息对应的第一权值和所述第二情绪信息对应的第二权值；
根据所述第一权值、所述至少一个目标第一情绪信息、所述第二权值以及所述至少一个第二情绪信息，确定所述每一情绪信息的得分值，得到至少一个得分值；
选取所述至少一个得分值中最大得分值对应的情绪信息为目标情绪信息。
6.一种信息推送装置，其特征在于，应用于电子设备，所述装置包括：获取单元、处理单元和确定单元，其中，
所述获取单元，用于获取预设时间段针对目标用户的目标信息，所述目标信息包括多个视频片段和多个文字片段；
所述处理单元，用于对所述多个视频片段进行分析处理，得到至少一个第一情绪信息；
所述处理单元，还用于对所述多个文字片段进行分析处理，得到至少一个第二情绪信息；
所述确定单元，用于根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定所述目标用户对应的心理辅导策略。
7.根据权利要求6所述的装置，其特征在于，在所述根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定所述目标用户对应的心理辅导策略方面，所述确定单元具体用于：
根据所述至少一个第一情绪信息和所述至少一个第二情绪信息，确定目标情绪信息；
获取所述电子设备的日程信息，根据所述日程信息，得到所述目标用户的日程计划；
若所述日程计划以及所述目标情绪信息满足第一预设条件，则确定对所述目标用户采用第一心理辅导策略，即向所述目标用户推送与所述目标情绪信息对应的心理辅导课程；
若所述日程计划以及所述目标情绪信息满足第二预设条件，则确定对所述目标用户采用第二心理辅导策略，即向所述目标用户推送与所述目标情绪信息对应的心理辅导老师。
8.根据权利要求7所述的装置，其特征在于，在所述对所述多个视频片段进行分析处理，得到至少一个第一情绪信息方面，所述处理单元具体用于：
对所述多个视频片段进行解析，得到多个视频图像；
对所述多个视频图像中每一视频图像进行人脸检测，得到多个人脸图像；
根据所述多个人脸图像，确定每一人脸图像对应的脸部特征，得到多个脸部特征；
将所述多个脸部特征输入预设神经网络模型中，得到至少一个第一情绪信息以及所述每一第一情绪信息对应的出现概率；
选取所述出现概率超过第一预设阈值的第一情绪信息为目标第一情绪信息，得到至少一个目标第一情绪信息。
9.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-5任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910559323.7A CN110459296A (zh) | 2019-06-26 | 2019-06-26 | 信息推送方法及相关产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910559323.7A CN110459296A (zh) | 2019-06-26 | 2019-06-26 | 信息推送方法及相关产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110459296A true CN110459296A (zh) | 2019-11-15 |
Family
ID=68481102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910559323.7A Pending CN110459296A (zh) | 2019-06-26 | 2019-06-26 | 信息推送方法及相关产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110459296A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113572893A (zh) * | 2021-07-13 | 2021-10-29 | 青岛海信移动通信技术股份有限公司 | 一种终端设备、情绪反馈方法及存储介质 |
| CN113918818A (zh) * | 2021-10-21 | 2022-01-11 | 海信集团控股股份有限公司 | 心理辅导内容推荐方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160052476A (ko) * | 2016-04-13 | 2016-05-12 | 서정선 | 심리증진 시스템 및 심리증진 방법 |
| CN106095868A (zh) * | 2016-06-03 | 2016-11-09 | 北京小米移动软件有限公司 | 获取心情信息的方法及装置 |
| CN106650621A (zh) * | 2016-11-18 | 2017-05-10 | 广东技术师范学院 | 一种基于深度学习的情绪识别方法及系统 |
| CN107086042A (zh) * | 2017-04-25 | 2017-08-22 | 黄石德龙自动化科技有限公司 | 一种基于语音情绪预防青少年心理问题的控制方法 |
| US20180197434A1 (en) * | 2015-08-24 | 2018-07-12 | Omron Corporation | Lifestyle management supporting apparatus and lifestyle management supporting method |
| CN108764010A (zh) * | 2018-03-23 | 2018-11-06 | 姜涵予 | 情绪状态确定方法及装置 |
-
2019
- 2019-06-26 CN CN201910559323.7A patent/CN110459296A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180197434A1 (en) * | 2015-08-24 | 2018-07-12 | Omron Corporation | Lifestyle management supporting apparatus and lifestyle management supporting method |
| KR20160052476A (ko) * | 2016-04-13 | 2016-05-12 | 서정선 | 심리증진 시스템 및 심리증진 방법 |
| CN106095868A (zh) * | 2016-06-03 | 2016-11-09 | 北京小米移动软件有限公司 | 获取心情信息的方法及装置 |
| CN106650621A (zh) * | 2016-11-18 | 2017-05-10 | 广东技术师范学院 | 一种基于深度学习的情绪识别方法及系统 |
| CN107086042A (zh) * | 2017-04-25 | 2017-08-22 | 黄石德龙自动化科技有限公司 | 一种基于语音情绪预防青少年心理问题的控制方法 |
| CN108764010A (zh) * | 2018-03-23 | 2018-11-06 | 姜涵予 | 情绪状态确定方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113572893A (zh) * | 2021-07-13 | 2021-10-29 | 青岛海信移动通信技术股份有限公司 | 一种终端设备、情绪反馈方法及存储介质 |
| CN113918818A (zh) * | 2021-10-21 | 2022-01-11 | 海信集团控股股份有限公司 | 心理辅导内容推荐方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kim et al. | Towards emotionally aware AI smart classroom: Current issues and directions for engineering and education | |
| Pampouchidou et al. | Depression assessment by fusing high and low level features from audio, video, and text | |
| WO2021036664A1 (zh) | 基于微表情的客户满意度识别方法、装置、终端及介质 | |
| US20160071024A1 (en) | Dynamic hybrid models for multimodal analysis | |
| CN107392124A (zh) | 情绪识别方法、装置、终端及存储介质 | |
| CN110874716A (zh) | 面试测评方法、装置、电子设备及存储介质 | |
| CN106295591A (zh) | 基于人脸图像的性别识别方法及装置 | |
| US11386804B2 (en) | Intelligent social interaction recognition and conveyance using computer generated prediction modeling | |
| Baur et al. | eXplainable cooperative machine learning with NOVA | |
| CN113240430B (zh) | 移动支付验证方法及装置 | |
| CN110610125A (zh) | 基于神经网络的牛脸识别方法、装置、设备及存储介质 | |
| CN111898550A (zh) | 建立表情识别模型方法、装置、计算机设备及存储介质 | |
| CN108874935A (zh) | 一种基于语音搜索的复习内容推荐方法及电子设备 | |
| CN114461777B (zh) | 智能问答方法、装置、设备及存储介质 | |
| CN112149632A (zh) | 一种视频识别方法、装置及电子设备 | |
| CN110459296A (zh) | 信息推送方法及相关产品 | |
| Piskioulis et al. | Emotion detection through smartphone's accelerometer and gyroscope sensors | |
| CN115205764A (zh) | 基于机器视觉的在线学习专注度监测方法、系统及介质 | |
| CN112634017A (zh) | 远程开卡激活方法、装置、电子设备及计算机存储介质 | |
| CN114418023A (zh) | 一种岗位匹配方法、系统、设备及存储介质 | |
| CN114639152A (zh) | 基于人脸识别的多模态语音交互方法、装置、设备及介质 | |
| CN112686232B (zh) | 基于微表情识别的教学评价方法、装置、电子设备及介质 | |
| CN107784482A (zh) | 招聘方法、电子装置及可读存储介质 | |
| CN109298783A (zh) | 基于表情识别的标注监控方法、装置及电子设备 | |
| CN111144512B (zh) | 基于EMLo预训练模型的职业指导方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191115 |
|
| RJ01 | Rejection of invention patent application after publication |