CN111684815B - 基于视频数据的消息推送方法、设备及计算机存储介质 - Google Patents

基于视频数据的消息推送方法、设备及计算机存储介质 Download PDF

Info

Publication number
CN111684815B
CN111684815B CN201980010260.8A CN201980010260A CN111684815B CN 111684815 B CN111684815 B CN 111684815B CN 201980010260 A CN201980010260 A CN 201980010260A CN 111684815 B CN111684815 B CN 111684815B
Authority
CN
China
Prior art keywords
video
current
acquiring
scene information
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980010260.8A
Other languages
English (en)
Other versions
CN111684815A (zh
Inventor
艾静雅
柳彤
朱大卫
汤慧秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Haifu Yitong Technology Co ltd
Original Assignee
Shenzhen Haifu Yitong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Haifu Yitong Technology Co ltd filed Critical Shenzhen Haifu Yitong Technology Co ltd
Publication of CN111684815A publication Critical patent/CN111684815A/zh
Application granted granted Critical
Publication of CN111684815B publication Critical patent/CN111684815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4665Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms involving classification methods, e.g. Decision trees
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies

Abstract

本申请公开了基于视频数据的消息推送方法、设备及计算机存储介质,该基于视频数据的消息推送方法,包括:获取当前的场景信息;基于当前的场景信息,从预先建立的映射数据表中,获取当前的场景信息相匹配的目标视频数据类;其中,映射数据表是根据预设的标签对视频数据库中的视频文件进行分类并关联场景信息所建立的;根据目标视频数据类的标签,进行消息推送。通过该方法,能够为用户提供个性化的消息推送,提高消息推送的准确性。

Description

基于视频数据的消息推送方法、设备及计算机存储介质
技术领域
本申请涉及数据处理技术领域,特别是涉及基于视频数据的消息推送方法、设备及计算机存储介质。
背景技术
随着互联网技术的快速发展,现在社会真正变成了信息化时代,互联网能够存储海量的信息,给人们的工作和生活带来了极大的方便。为了更好的利用互联网,方便用户在互联网的海量信息中快速查找自己想要的信息,相关技术中逐步发展了对基于视频数据的消息推送方法的研究。
但是,相关技术中所涉及的消息推送大多是固定信息推送,例如在特定节日推送节日介绍,发生重大新闻的时候推送时事热点信息,到达新的城市时,发送简单的地点信息(例如检测到用户到达深圳时,发送“深圳欢迎你”)等。
但是所推送的这些信息往往不是用户想要的,因而推送的效率较低,用户体验较差。
发明内容
申请主要解决的技术问题提供一种基于视频数据的消息推送方法、设备及计算机存储介质,能够为用户提供个性化的消息推送,提高消息推送的准确性。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种基于视频数据的消息推送方法,该方法包括:获取当前的场景信息;基于当前的场景信息,从预先建立的映射数据表中,获取当前的场景信息相匹配的目标视频数据类;其中,映射数据表是根据预设的标签对视频数据库中的视频文件进行分类并关联场景信息所建立的;根据目标视频数据类的标签,进行消息推送。
为解决上述技术问题,本申请采用的另一个技术方案是:处理器和与处理器电连接的存储器,存储器用于存储程序数据,处理器用于执行程序数据以实现上述的方法。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种计算机存储介质,该计算机存储介质用于存储程序数据,程序数据在被处理器执行时,用以实现上述的方法。
本申请的有益效果是:区别于现有技术的情况,本申请通过获取当前的场景信息,并基于当前的场景信息,从预先建立的映射数据表中,获取当前的场景信息相匹配的目标视频数据类,从而根据目标视频数据类的标签,进行消息推送,由于映射数据表是根据预设的标签对视频数据库中的视频文件进行分类并关联场景信息所建立的,所以推送的消息既与当前的场景信息相关联,同时又基于历史视频文件及其场景信息,使得所推送的消息是基于用户的过往行为且满足当前所处场景需求的,即所推送的消息是个性化的且实用的,因此能够为用户提供个性化的消息推送,提高消息推送的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的基于视频数据的消息推送方法第一实施例的流程示意图;
图2是本申请提供的基于视频数据的消息推送方法第二实施例的一流程示意图;
图3是本申请提供的基于视频数据的消息推送方法第二实施例的另一流程示意图;
图4是本申请提供的基于视频数据的消息推送方法第三实施例的流程示意图;
图5是本申请提供的基于视频数据的消息推送方法第四实施例的流程示意图;
图6是本申请提供的终端设备实施例的结构示意图;
图7是本申请提供的计算机存储介质实施例的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。此外,术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其他实施例相结合。
请参阅图1,图1是本申请提供的基于视频数据的消息推送方法第一实施例的流程示意图。
本实施例的基于视频数据的消息推送方法100,包括以下步骤:
S120:获取当前的场景信息。
获取当前的场景信息,可以通过终端设备上的各种传感器采集,也可以是在联网状态下,通过网络途径获取,还可以是获取用户输入的信息作为场景信息。
本实施例中,可设置预设的频率获取当前的场景信息,当前的场景信息能够反映实时的情景变化。
S140:基于当前的场景信息,从预先建立的映射数据表中,获取与当前的场景信息相匹配的目标视频数据类。
其中,映射数据表是根据预设的标签对视频数据库中的视频文件进行分类并关联场景信息所建立的。
视频数据库中的视频文件进行分类后,与视频文件的场景信息进行关联,从而可得到一个具有对应关系的映射数据表。
由于视频数据库中的视频文件是用户过往的拍摄内容或视频观看内容,因此通过根据预设的标签对视频数据库中的视频文件进行分类并关联(视频文件的)场景信息,所建立的映射数据表能够反映用户的视频拍摄风格、兴趣爱好、生活习惯和当时的场景等个性化特征。
通过这种方法所得到的目标视频数据类,既与当前的场景信息相关联,同时又基于历史视频文件及其场景信息,因此是同时符合实时的情景变化和用户个性需求的。
S160:根据目标视频数据类的标签,进行消息推送。
根据目标视频数据类的标签,获取用户感兴趣且实用的消息,并进行消息推送。
目标视频数据类的标签与对视频文件进行分类的预设的标签相对应,标签能够反映视频文件中所包含的各种信息。
本实施例所提供的基于视频数据的消息推送方法100,通过获取当前的场景信息,并基于当前的场景信息,从预先建立的映射数据表中,获取当前的场景信息相匹配的目标视频数据类,从而根据目标视频数据类的标签,进行消息推送,由于映射数据表是根据预设的标签对视频数据库中的视频文件进行分类并关联场景信息所建立的,所以推送的消息既与当前的场景信息相关联,同时又基于历史视频文件及其场景信息,使得所推送的消息是基于用户的过往行为且满足当前所处场景需求的,即所推送的消息是个性化的且实用的,因此能够为用户提供个性化的消息推送,提高消息推送的准确性。
可选地,在S120:获取当前的场景信息之前,还可包括:
获取进行消息推送的权限。
获取进行消息推送的权限,即获取用户(或设备)启用消息推送功能的权限。
其中,获取进行消息推送的权限的方式,可包括:
获取用户启用消息推送功能的通知。
例如,用户在首次打开一个应用程序时,应用程序可以通过弹窗或者语音等方式提示用户启用消息推送功能,用户可以通过点击屏幕、语音控制或手势控制等方式确认启用消息推送功能。
或者,获取默认启用消息推送功能的通知。
例如,系统默认启用消息推送功能,并在首次推送消息的同时,询问用户是否同意以后继续推送。
需要说明的是,本实施例中的上述步骤的顺序是本实施例中的描述顺序,并不限制为本实施例的方法在执行过程中的顺序。在能够实现本方案的前提下,某些步骤可以调换顺序。
请结合参阅图2和图3,图2是本申请提供的基于视频数据的消息推送方法第二实施例的一流程示意图。图3是本申请提供的基于视频数据的消息推送方法第二实施例中的另一流程示意图。
本申请基于视频数据的消息推送方法100第二实施例是基于本申请基于视频数据的消息推送方法100第一实施例的,因此本实施例与第一实施例相同的步骤不再赘述,可以参照第一实施例中的描述。
本实施例中,基于视频数据的消息推送方法100还包括:
S220:获取视频数据库中的多个视频文件。
可选地,步骤S220中也可以同时获取视频数据库中的多个视频文件和每个视频文件的场景信息。
S240:根据预设的标签对视频数据库中的视频文件进行分类。
可选地,步骤S240中,可根据预设的标签和每个视频文件的场景信息对视频数据库中的视频文件进行分类。
S260:获取每个视频文件的场景信息。
每个视频文件的场景信息例如可以是:视频拍摄或观看的时间、位置、陀螺仪等信息。
如上所述,步骤S260也可以在步骤S240之前执行。
S280:根据多个视频文件的分类和对应的场景信息,建立映射表。
可选地,请参阅图3,步骤S240:根据预设的标签对视频数据库中的视频文件进行分类,可包括:
S241:对视频数据库中视频文件进行分帧处理,以得到多个视频帧。
S242:将每个视频帧输入至已训练的深度学习网络,以输出对应标签。
其中,深度学习网络是基于预先建立对应关系的视频帧和预设的标签进行监督学习训练得到的。
预设的标签,例如是:分割视频帧中有关“人物”的相关信息,包括:单人的,多人的,自拍的,开心的,悲伤的等;分割视频帧中有关“旅游”的相关信息,包括:海边,草原,沙漠等;分割视频帧中有关“物体”的相关信息,包括:苹果,梨,汽车,飞机,火车等。
本实施例中,将每个视频帧输入至已训练的深度学习网络,以输出对应标签,主要方法深度学习和图像语义分割。
深度学习是机器学习的一个分支,主要指深度神经网络算法,深度神经网络比普通神经网络层次更多,能够更好地捕捉数据中的深层次关系,得到的模型较为准确,主要用来进行特征学习。通过预先输入的大量视频帧,以及预设的分割标签,通过深度学习训练后,可以对输入的视频帧,自动快速的分割出来对应的语义信息,即输出各个视频帧对应的标签。
S243:根据输出的对应标签对视频数据库中的视频文件进行分析,分类生成数据列表。
可选地,步骤S243可包括:根据输出的对应标签和每个视频文件的场景信息对视频数据库中的视频文件进行分析,分类生成数据列表。
本实施例中,对视频数据库中的视频文件进行分类,并分类生成数据列表,主要利用AI自动检测和图像语义分割所得到的对应标签,并可以结合每个视频文件的场景信息。
根据输出的对应标签(还可以结合视频文件中包含的场景信息,例如时间信息、位置信息、陀螺仪等信息),对视频数据库中的视频文件进行分析,并对应分类生成数据列表。
例如表1所示为部分分类:
表1
Figure BDA0002603021650000061
Figure BDA0002603021650000071
可以理解,表1中仅示例性的列举部分分类,实际分类一般更为细致和复杂。
可选地,请参阅图3,步骤S280:根据多个视频文件的分类和对应的场景信息,建立映射表,可包括:
S281:基于数据列表,结合对应的场景信息,进行数据链接。
例如:得到数据列表后,又结合视频文件中包含的时间信息,建立时间数据链接;或者,结合视频文件中包含的信息,建立位置数据链接。
S282:根据数据列表和数据链接,建立映射数据表。
根据上述步骤所得到的数据列表和数据链接,经过内部处理后可得到映射数据表。
可选地,获取当前的场景信息,包括:获取当前的时间信息。
基于当前的场景信息,从预先建立的映射数据表中,获取当前的场景信息相匹配的目标视频数据类,包括:
基于当前的时间信息,从预先建立的映射数据表中,获取当前的时间信息相匹配的目标视频数据类。
在一种应用场景中,例如获取当前的时间信息为“2019年4月19日”,基于该时间信息,从预设的映射数据表中获取的目标视频数据类可以是,视频数据库中关联时间场景信息为“2018年4月19日-2018年4月23日”的目标视频数据类,并获取目标视频数据类中多个视频文件的标签,其中,某一关联场景信息为“2018年4月22日”的视频文件的标签为“生日”等,则可给用户发送提醒并同时附带上该视频文件。若过生日的主人是用户自己,则可为用户带来曾经的回忆;若过生日的是他人,则可提醒用户他人生日快到了,以免错过重要的人的生日。
在一种应用场景中,例如获取当前的时间信息为“2019年4月19日”,基于该时间信息,从预设的映射数据表中获取的目标视频数据类可以是,视频数据库中关联时间场景信息为“2018年4月19日”的目标视频数据类,并获取目标视频数据类中多个视频文件的标签,其中,某一关联场景信息为“2018年4月19日”的视频文件的标签为“开心”等积极词汇,则可给用户发送“去年今日”等消息并同时附带上该视频文件,使用户能够回忆开心的事情。
可选地,获取当前的场景信息,包括:获取当前的位置信息。
基于当前的场景信息,从预先建立的映射数据表中,获取当前的场景信息相匹配的目标视频数据类,包括:
基于当前的位置信息,从预先建立的映射数据表中,获取当前的位置信息相匹配的目标视频数据类。
在一种应用场景中,例如获取当前的位置信息为“北京”,可识别出用户此时在北京,基于该位置信息,从预设的映射数据表中获取的目标视频数据类可以是,视频数据库中关联位置场景信息为“北京”的目标视频数据类,并获取目标视频数据类中多个视频文件的标签,其中,某一视频文件的标签可为“旅游”、“长城”等,则可给用户发送北京长城旅游的注意事项,天气温度的适宜程度等并同时附带上该视频文件。让用户能够回味曾经一起过来旅游的人和场景,给用户提供更加细致温情的服务。
在一种应用场景中,当用户打开旅游类应用程序(例如,携程APP、飞猪APP等)时,例如获取当前的位置信息为“北京”,可识别出用户此时在北京,基于该位置信息,从预设的映射数据表中获取的目标视频数据类可以是,视频数据库中关联位置场景信息为“旅游”和“北京”的目标视频数据类,并获取目标视频数据类中多个视频文件的标签,其中,某些视频文件的标签可为“长城”、“故宫”等,则可给用户发送“长城”、“故宫”等以外的景点介绍,让用户探索更多没有去过的旅游景点。
可选地,获取当前的场景信息,包括:获取当前的环境参数信息。
基于当前的场景信息,从预先建立的映射数据表中,获取当前的场景信息相匹配的目标视频数据类,包括:
基于当前的环境参数信息,从预先建立的映射数据表中,获取当前的环境参数信息相匹配的目标视频数据类。
当前的环境参数信息可以是天气、温度、语音信息等。
在一种应用场景中,例如获取当前的环境参数信息为用户的语音信息,经过语意分析得到“好想去唱歌”,基于该语音信息,从预设的映射数据表中获取的目标视频数据类可以是,视频数据库中对应类别为“娱乐”的目标视频数据类,并获取目标视频数据类中多个视频文件的其他标签,其中,某一视频文件的标签为“唱歌”等,则可给用户发送附近的KTV店铺并同时附带上该视频文件。
在一种应用场景中,例如获取当前的环境参数信息为“天气雪”,从预设的映射数据表中获取的目标视频数据类可以是,视频数据库中对应类别为“天气”的目标视频数据类,并获取目标视频数据类中多个视频文件的其他标签,其中,某一视频文件的标签为“雪”等,则可给用户发送下雪天的注意事项并同时附带上该视频文件。
可选地,获取当前的场景信息,还可包括:获取当前的视频文件;
对当前的视频文件进行分帧处理,以得到多个当前视频帧。
将每个当前视频帧输入至已训练的深度学习网络,以输出对应标签作为当前的场景信息。
其中,当前的视频文件是指在预设时间内存入本地视频库中的视频文件和/或网络缓存的视频文件。
在一种应用场景中,例如获取当前的视频文件,对当前的视频文件进行分帧处理,以得到多个当前视频帧;将每个当前视频帧输入至已训练的深度学习网络,以输出对应标签“雪”、“开心”等对应标签作为当前的场景信息,基于该场景信息,从预设的映射数据表中获取的目标视频数据类可以是,视频数据库中对应类别为“天气”的目标视频数据类,并获取目标视频数据类中多个视频文件的其他标签,其中,某一视频文件的标签为“雪”等,则可给用户发送下雪天的注意事项并同时附带上该视频文件。
可以理解的,获取当前的场景信息,还可包括:获取当前的时间信息、当前的位置信息、当前的环境参数信息以及当前的视频文件中的至少两者作为当前的场景信息。
基于当前的场景信息,从预先建立的映射数据表中,获取当前的场景信息相匹配的目标视频数据类,包括:
基于当前的时间信息、当前的位置信息、当前的环境参数信息以及当前的视频文件中的至少两者,从预先建立的映射数据表中,获取当前的环境参数信息相匹配的目标视频数据类。
在一种应用场景中,当用户打开旅游类应用程序(例如,携程APP、飞猪APP等)时,例如获取当前的位置信息为“北京”且环境参数信息为“天气雪”,可识别出用户此时在北京且正在或者有可能下雪,基于该位置信息,从预设的映射数据表中获取的目标视频数据类可以是,视频数据库中关联场景信息为“北京”和“旅游”的目标视频数据类,并获取目标视频数据类中多个视频文件的标签,其中,某些视频文件的标签可为“长城”、“故宫”等,则可给用户发送“长城”、“故宫”等以外的且适合下雪天前往的景点的介绍,让用户探索更多没有去过的且符合天气状况的旅游景点。
可选地,步骤S220:获取视频数据库中的多个视频文件,可包括:
获取客户端的本地视频库中的多个视频文件和/或网络缓存的多个视频文件。
可选地,在获取客户端的本地视频库中的多个视频文件和/或网络缓存的多个视频文件之前,还可包括:获取读取本地视频库的权限和/或读取上网记录的权限。
例如,用户在首次打开一个应用程序时,系统可以通过弹窗或者语音等方式提示用户是否选择开启该应用程序读取本地视频库的权限和/或读取上网记录的权限。用户可通过点击屏幕、语音控制或手势控制等方式确认允许该应用程序读取本地视频库的权限和/或读取上网记录的权限,则可获取读取本地视频库的权限和/或读取上网记录的权限,以使得能够获取视频数据库中的多个视频文件和每个视频文件的场景信息,建立映射表。
或者,系统可默认开启获取读取本地视频库的权限和/或读取上网记录的权限。
请参阅图4,图4是本申请提供的基于视频数据的消息推送方法第三实施例的流程示意图。
本申请基于视频数据的消息推送方法100第三实施例是基于本申请基于视频数据的消息推送方法100上述任一实施例的,因此本实施例与第一实施例相同的步骤不再赘述,可以参照上述实施例中的描述。
本实施例中,步骤S160:根据目标视频数据类的标签,进行消息推送,包括:
S161:对目标视频数据类的标签进行分析后,提取关键词。
对目标视频数据类的标签进行分析后,可将所有标签中与当前的场景信息相关度最高的一个或几个提取为关键词。例如,当前的场景信息为时间信息时,可将标签中有关“生日”、“纪念日”等提取为关键词;当前的场景信息为位置信息时,可将标签中有关“旅游”、“天气”等提取为关键词。
S162:扩充关键词得到推送消息并进行消息推送。
本实施例中,利用提取的关键词,根据深度学习的方法,可把关键词扩充成一段语言场景,进行情景配置文字,形成一套个性化的推送信息。
自动分析内容形成个性化信息的方案有很多种,可以是按照当前同一地点,过去同一天,曾经同样的行为,经历过的同种场景等等,也可以多种场景结合综合分析,去年的同一天开心的时候,或者悲伤的时候。根据利用提取的关键词,再可以结合一些辅助性的信息(如根据标签利用人工智能机器学习的相关场景生成相应的介绍等等),加上视频数据库中相关的视频文件最终生成推送内容。
例如,仍以生日举例,在一种应用场景中,例如获取当前的时间信息为“2019年4月19日”,基于该时间信息,从预设的映射数据表中获取的目标视频数据类可以是,视频数据库中关联场景信息为时间信息且具体为“2018年4月19日-2018年4月23日”的目标视频数据类,并获取目标视频数据类中多个视频文件的标签。进一步地,建立数据列表时,可以结合人工辅助确认的方式,例如,将包含任务的视频帧推送给用户,让用户确认设置主要人物的标签,如“自己”、“家人”、“朋友”、“生日”等。因此,若目标视频类的标签中包括“生日”、“人物”等标签,则可将“生日”、“人物”标签提取为关键词,若识别到过生日的主人是用户自己,则可为用户推送对应的视频文件并附上“祝你生日快乐,愿你天天开心”等语音或文字信息,为用户带来曾经的回忆和美好的祝福;若过生日的主人是家人,则可为用户推送对应的视频文件并附上“你的家人生日快到了,别忘了送上祝福哦”等语音或文字信息提醒用户他人生日快到了,以免忘记重要的人的生日。
在一种应用场景中,例如获取当前的位置信息(或当前的视频文件对应的标签)为标志性古建筑,基于该位置信息,从预设的映射数据表中获取的目标视频数据类可以是,视频数据库中关联场景信息为位置信息且类别为“旅游”和“建筑”的目标视频数据类,并获取目标视频数据类中多个视频文件的标签。进一步地,将包含设计风格、设计师等标签内容提取为关键词,则可以推送给用户不同国家同类型或者同时期的古建筑,同时可以给用户推送这些古建筑的讲解,区别等等。也可以推送同一建筑师的同类作品等,如:西班牙设计师Antonio Gaudi,如果用户去西班牙旅游,拍摄了Gaudi设计的建筑的视频,则可以推送给用户,当地其他Gaudi的作品,并可以提供说明,可以引导用户浏览参观等等。
请参阅图5,图5是本申请提供的基于视频数据的消息推送方法第四实施例的流程示意图。
在根据目标视频数据类的标签,进行消息推送之前,包括:
S110:获取客户端的当前消息推送策略。
其中,当前消息推送策略包括:推送周期、推送频率、推送场景以及推送标签中的至少一者。
获取客户端的当前消息推送策略的方式,可以是:以用户选择或编辑的消息推送策略作为消息推送策略。
推送周期例如是三天、五天、七天或一个月;推送频率例如是每个月10次或每个季度20次等;推送场景例如是离开居住地才进行推送,或者是每天上午8:00-10:00进行推送,以方便安排出行等;推送标签例如是“开心”,以避免引起不好的回忆。
获取客户端的当前消息推送策略的方式,还可以是:以默认的消息推送策略作为消息推送策略。
默认的消息推送策略中,推送周期例如是每天,推送频率例如是每天一次或两次,推送场景例如是全场景,推送标签例如是排除“悲伤”等。
图5所示仅为一种实施方式。本实施例中,并不限制步骤S110的执行时间或顺序,例如,步骤S110可以是在S120之后,且S140之前,或者,步骤S110可以是在S140之后,且S160之前。只要是在进行消息推送之前,获取到客户端的当前消息推送策略即可。
在根据目标视频数据类的标签,进行消息推送之前,包括:
S150:根据当前消息推送策略判断是否达到推送条件。
根据当前消息推送策略判断是否达到推送条件,例如,若推送周期例如是三天,推送场景例如是离开居住地才进行推送,每天上午8:00-10:00进行推送,则根据当前的位置信息,得到用户离开居住的城市去外地的信息后,每隔三天且在上午8:00-10:00之间,为用户推送一次消息。
若否,则返回继续执行获取当前的场景信息的步骤。
若是,则执行S160:根据目标视频数据类的标签,进行消息推送的步骤。
请参阅图6,图6是本申请提供的终端设备实施例的结构示意图。
本实施例中,终端设备200包括处理器210和与处理器210电连接的存储器220,存储器220用于存储程序数据,处理器210用于执行程序数据以实现如下的方法:
获取当前的场景信息;基于当前的场景信息,从预先建立的映射数据表中,获取与当前的场景信息相匹配的目标视频数据类;其中,映射数据表是根据预设的标签对视频数据库中的视频文件进行分类并关联场景信息所建立的;根据目标视频数据类的标签,进行消息推送。
可选地,处理器210执行程序数据还用于实现如下的方法:获取视频数据库中的多个视频文件;根据预设的标签对视频数据库中的视频文件进行分类;获取每个视频文件的场景信息;根据多个视频文件的分类和对应的场景信息,建立映射表。
可选地,处理器210执行程序数据还用于实现如下的方法:根据预设的标签对视频数据库中的视频文件进行分类,包括:对视频数据库中的视频文件进行分帧处理,以得到多个视频帧;将每个视频帧输入至已训练的深度学习网络,以输出对应标签;其中,深度学习网络是基于对预先建立对应关系的视频帧和预设的标签进行监督学习训练得到的;根据输出的对应标签对视频数据库中的视频文件进行分析,分类生成数据列表。
可选地,处理器210执行程序数据还用于实现如下的方法:将每个视频帧输入至已训练的深度学习网络,以输出对应标签;根据多个视频文件的分类和对应的场景信息,建立映射表:基于数据列表,结合对应的场景信息,进行数据链接;根据数据列表和数据链接,建立映射数据表。
可选地,处理器210执行程序数据还用于实现如下的方法:获取当前的场景信息,包括:获取当前的时间信息;基于当前的场景信息,从预先建立的映射数据表中,获取当前的场景信息相匹配的目标视频数据类,包括:基于当前的时间信息,从预先建立的映射数据表中,获取当前的时间信息相匹配的目标视频数据类。
可选地,处理器210执行程序数据还用于实现如下的方法:获取当前的场景信息,包括:获取当前的位置信息;基于当前的场景信息,从预先建立的映射数据表中,获取当前的场景信息相匹配的目标视频数据类,包括:基于当前的位置信息,从预先建立的映射数据表中,获取当前的位置信息相匹配的目标视频数据类。
可选地,处理器210执行程序数据还用于实现如下的方法:获取当前的场景信息,包括:获取当前的环境参数信息;基于当前的场景信息,从预先建立的映射数据表中,获取当前的场景信息相匹配的目标视频数据类,包括:基于当前的环境参数信息,从预先建立的映射数据表中,获取当前的环境参数信息相匹配的目标视频数据类。
可选地,处理器210执行程序数据还用于实现如下的方法:根据目标视频数据类的标签,进行消息推送,包括:对目标视频数据类的标签进行分析后,提取关键词;扩充关键词得到推送消息并进行消息推送。
可选地,处理器210执行程序数据还用于实现如下的方法:获取视频数据库中的多个视频文件,包括:获取客户端的本地视频库中的多个视频文件和/或网络缓存的多个视频文件。
可选地,处理器210执行程序数据还用于实现如下的方法:在获取客户端的本地视频库中的多个视频文件和/或网络缓存的多个视频文件之前,还包括:获取读取本地视频库的权限和/或读取上网记录的权限。
可选地,处理器210执行程序数据还用于实现如下的方法:在获取当前的场景信息之前,还包括:获取进行消息推送的权限。
可选地,处理器210执行程序数据还用于实现如下的方法:获取进行消息推送的权限,包括:获取用户启用消息推送功能的通知,或获取默认启用消息推送功能的通知。
可选地,处理器210执行程序数据还用于实现如下的方法:在根据目标视频数据类的标签,进行消息推送之前,包括:获取客户端的当前消息推送策略;其中,当前消息推送策略包括:推送周期、推送频率、推送场景以及推送标签中的至少一者。
可选地,处理器210执行程序数据还用于实现如下的方法:获取客户端的当前消息推送策略,包括:以用户选择或编辑的消息推送策略作为消息推送策略,或以默认的消息推送策略作为消息推送策略。
可选地,处理器210执行程序数据还用于实现如下的方法:在根据目标视频数据类的标签,进行消息推送之前,包括:根据当前消息推送策略判断是否达到推送条件;若是,则执行根据目标视频数据类的标签,进行消息推送的步骤。
可选地,处理器210执行程序数据还用于实现如下的方法:若否,则返回继续执行获取当前的场景信息的步骤。
可选地,处理器210执行程序数据还用于实现如下的方法:获取当前的场景信息,包括:获取当前的时间信息、当前的位置信息、当前的环境参数以及当前的视频文件中的至少两者作为当前的场景信息。
可选地,处理器210执行程序数据还用于实现如下的方法:获取当前的场景信息,包括:获取当前的视频文件;对当前的视频文件进行分帧处理,以得到多个当前视频帧;将每个当前视频帧输入至已训练的深度学习网络,以输出对应标签作为当前的场景信息;其中,当前的视频文件是指在预设时间内存入本地视频库中的视频文件和/或网络缓存的视频文件。
本实施例中,终端设备200具体可以是手机、电脑、服务器等,也可以是可穿戴设备。可穿戴设备100具体可以是智能手表、智能眼镜、智能手环、衣物等。
请参阅图7,图7是本申请提供的计算机存储介质实施例的示意图。
本实施例中,计算机存储介质300用于存储程序数据310,程序数据310在被处理器执行时,用以实现如下的方法:获取当前的场景信息;基于当前的场景信息,从预先建立的映射数据表中,获取与当前的场景信息相匹配的目标视频数据类;其中,映射数据表是根据预设的标签对视频数据库中的视频文件进行分类并关联场景信息所建立的;根据目标视频数据类的标签,进行消息推送。
可以理解,本实施例中的计算存储介质300可以应用于上述终端设备200,其具体的实施步骤可以参考上述实施例,这里不再赘述。
在本申请所提供的几个实施方式中,应该理解到,所揭露的方法、装置以及系统,可以通过其它的方式实现。例如,以上所描述的方法、装置以及系统实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述其他实施方式中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请通过获取当前的场景信息,并基于当前的场景信息,从预先建立的映射数据表中,获取当前的场景信息相匹配的目标视频数据类,从而根据目标视频数据类的标签,进行消息推送,由于映射数据表是根据预设的标签对视频数据库中的视频文件进行分类并关联场景信息所建立的,所以推送的消息既与当前的场景信息相关联,同时又基于历史视频文件及其场景信息,使得所推送的消息是基于用户的过往行为且满足当前所处场景需求的,即所推送的消息是个性化的且实用的,因此能够为用户提供个性化的消息推送,提高消息推送的准确性。
以上仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (19)

1.一种基于视频数据的消息推送方法,其特征在于,所述方法包括:
获取当前的场景信息;
基于所述当前的场景信息,从预先建立的映射数据表中,获取与所述当前的场景信息相匹配的目标视频数据类;其中,所述映射数据表是根据预设的标签对视频数据库中的视频文件进行分类并关联场景信息所建立的;
根据所述目标视频数据类的标签,进行消息推送;
所述根据所述目标视频数据类的标签,进行消息推送,包括:
对所述目标视频数据类的标签进行分析后,提取关键词;
扩充所述关键词得到推送消息并进行消息推送,
其中扩充关键词得到推送消息包括:根据深度学习的方法,把所述关键词扩充成一段语言场景,进行情景配置文字,形成推送消息。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述视频数据库中的多个视频文件;
根据所述预设的标签对所述视频数据库中的视频文件进行分类;
获取每个所述视频文件的场景信息;
根据多个所述视频文件的分类和对应的所述场景信息,建立所述映射数据表。
3.根据权利要求2所述的方法,其特征在于,
所述根据所述预设的标签对所述视频数据库中的视频文件进行分类,包括:
对所述视频数据库中的所述视频文件进行分帧处理,以得到多个视频帧;
将每个所述视频帧输入至已训练的深度学习网络,以输出对应标签;其中,所述深度学习网络是基于对预先建立对应关系的视频帧和所述预设的标签进行监督学习训练得到的;
根据输出的所述对应标签对所述视频数据库中的视频文件进行分析,分类生成数据列表。
4.根据权利要求3所述的方法,其特征在于,
所述根据多个所述视频文件的分类和对应的场景信息,建立所述映射表:
基于所述数据列表,结合对应的所述场景信息,进行数据链接;
根据所述数据列表和所述数据链接,建立所述映射数据表。
5.根据权利要求1所述的方法,其特征在于,
所述获取当前的场景信息,包括:
获取当前的时间信息;
所述基于所述当前的场景信息,从预先建立的映射数据表中,获取所述当前的场景信息相匹配的目标视频数据类,包括:
基于所述当前的时间信息,从预先建立的映射数据表中,获取所述当前的时间信息相匹配的目标视频数据类。
6.根据权利要求1所述的方法,其特征在于,
所述获取当前的场景信息,包括:
获取当前的位置信息;
所述基于所述当前的场景信息,从预先建立的映射数据表中,获取所述当前的场景信息相匹配的目标视频数据类,包括:
基于所述当前的位置信息,从预先建立的映射数据表中,获取所述当前的位置信息相匹配的目标视频数据类。
7.根据权利要求1所述的方法,其特征在于,
所述获取当前的场景信息,包括:
获取当前的环境参数信息;
所述基于所述当前的场景信息,从预先建立的映射数据表中,获取所述当前的场景信息相匹配的目标视频数据类,包括:
基于所述当前的环境参数信息,从预先建立的映射数据表中,获取所述当前的环境参数信息相匹配的目标视频数据类。
8.根据权利要求2所述的方法,其特征在于,
所述获取所述视频数据库中的多个视频文件,包括:
获取客户端的本地视频库中的多个视频文件和/或网络缓存的多个视频文件。
9.根据权利要求8所述的方法,其特征在于,
在所述获取客户端的本地视频库中的多个视频文件和/或网络缓存的多个视频文件之前,还包括:
获取读取本地视频库的权限和/或读取上网记录的权限。
10.根据权利要求1所述的方法,其特征在于,
在所述获取当前的场景信息之前,还包括:
获取进行消息推送的权限。
11.根据权利要求10所述的方法,其特征在于,
所述获取进行消息推送的权限,包括:
获取用户启用消息推送功能的通知,或
获取默认启用消息推送功能的通知。
12.根据权利要求1所述的方法,其特征在于,
在所述根据所述目标视频数据类的标签,进行消息推送之前,包括:
获取客户端的当前消息推送策略;
其中,所述当前消息推送策略包括:推送周期、推送频率、推送场景以及推送标签中的至少一者。
13.根据权利要求12所述的方法,其特征在于,
所述获取客户端的当前消息推送策略,包括:
以用户选择或编辑的消息推送策略作为消息推送策略,或
以默认的消息推送策略作为消息推送策略。
14.根据权利要求13所述的方法,其特征在于,
所述在根据所述目标视频数据类的标签,进行消息推送之前,包括:
根据所述当前消息推送策略判断是否达到推送条件;
若是,则执行所述根据所述目标视频数据类的标签,进行消息推送的步骤。
15.根据权利要求14所述的方法,其特征在于,所述方法还包括:
若否,则返回继续执行所述获取当前的场景信息的步骤。
16.根据权利要求1所述的方法,其特征在于,
所述获取当前的场景信息,包括:
获取当前的视频文件;
对当前的视频文件进行分帧处理,以得到多个当前视频帧;
将每个所述当前视频帧输入至已训练的深度学习网络,以输出对应标签作为当前的场景信息;
其中,当前的视频文件是指在预设时间内存入本地视频库中的视频文件和/或网络缓存的视频文件。
17.根据权利要求1所述的方法,其特征在于,
所述获取当前的场景信息,包括:
获取当前的时间信息、当前的位置信息、当前的环境参数以及当前的视频文件中的至少两者作为当前的场景信息。
18.一种终端设备,其特征在于,所述终端设备包括:处理器和与所述处理器电连接的存储器,所述存储器用于存储程序数据,所述处理器用于执行所述程序数据以实现如权利要求1-17任一项所述的方法。
19.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储程序数据,所述程序数据在被处理器执行时,用以实现如权利要求1-17任一项所述的方法。
CN201980010260.8A 2019-11-15 2019-11-15 基于视频数据的消息推送方法、设备及计算机存储介质 Active CN111684815B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/118912 WO2021092934A1 (zh) 2019-11-15 2019-11-15 基于视频数据的消息推送方法、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN111684815A CN111684815A (zh) 2020-09-18
CN111684815B true CN111684815B (zh) 2021-06-25

Family

ID=72451461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980010260.8A Active CN111684815B (zh) 2019-11-15 2019-11-15 基于视频数据的消息推送方法、设备及计算机存储介质

Country Status (2)

Country Link
CN (1) CN111684815B (zh)
WO (1) WO2021092934A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113987267A (zh) * 2021-10-28 2022-01-28 上海数禾信息科技有限公司 视频文件的标签生成方法、装置、计算机设备和存储介质
CN114135992A (zh) * 2021-12-02 2022-03-04 上海德衡数据科技有限公司 基于数据中心的空调制冷方法及系统
CN115659027B (zh) * 2022-10-28 2023-06-20 广州彩蛋文化传媒有限公司 一种基于短视频数据标签的推荐方法、系统及云平台
CN115858855B (zh) * 2023-02-28 2023-05-05 江西师范大学 一种基于情景特征的视频数据查询方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984219A (zh) * 2012-11-13 2013-03-20 浙江大学 一种基于媒体多维内容表达的旅游移动终端信息推送方法
CN106982256A (zh) * 2017-03-31 2017-07-25 百度在线网络技术(北京)有限公司 信息推送方法、装置、设备及存储介质
CN108683744A (zh) * 2018-05-22 2018-10-19 北京小鱼在家科技有限公司 信息推送方法、装置、计算机设备及存储介质
CN108694217A (zh) * 2017-04-12 2018-10-23 合信息技术(北京)有限公司 视频的标签确定方法及装置
CN108875820A (zh) * 2018-06-08 2018-11-23 Oppo广东移动通信有限公司 信息处理方法和装置、电子设备、计算机可读存储介质
CN109726303A (zh) * 2018-12-28 2019-05-07 维沃移动通信有限公司 一种图像推荐方法和终端

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002394A (en) * 1995-10-02 1999-12-14 Starsight Telecast, Inc. Systems and methods for linking television viewers with advertisers and broadcasters
US20150324099A1 (en) * 2014-05-07 2015-11-12 Microsoft Corporation Connecting Current User Activities with Related Stored Media Collections
US20160094866A1 (en) * 2014-09-29 2016-03-31 Amazon Technologies, Inc. User interaction analysis module
CN106230911A (zh) * 2016-07-25 2016-12-14 腾讯科技(深圳)有限公司 一种播放数据推荐方法、兴趣标签确定方法及相关设备
CN107944374A (zh) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 视频数据中特定对象检测方法及装置、计算设备
CN108460122B (zh) * 2018-02-23 2021-09-07 武汉斗鱼网络科技有限公司 基于深度学习的视频搜索方法、存储介质、设备及系统
CN109618197A (zh) * 2018-12-17 2019-04-12 杭州柚子街信息科技有限公司 在视频中插播视频广告的信息处理方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984219A (zh) * 2012-11-13 2013-03-20 浙江大学 一种基于媒体多维内容表达的旅游移动终端信息推送方法
CN106982256A (zh) * 2017-03-31 2017-07-25 百度在线网络技术(北京)有限公司 信息推送方法、装置、设备及存储介质
CN108694217A (zh) * 2017-04-12 2018-10-23 合信息技术(北京)有限公司 视频的标签确定方法及装置
CN108683744A (zh) * 2018-05-22 2018-10-19 北京小鱼在家科技有限公司 信息推送方法、装置、计算机设备及存储介质
CN108875820A (zh) * 2018-06-08 2018-11-23 Oppo广东移动通信有限公司 信息处理方法和装置、电子设备、计算机可读存储介质
CN109726303A (zh) * 2018-12-28 2019-05-07 维沃移动通信有限公司 一种图像推荐方法和终端

Also Published As

Publication number Publication date
CN111684815A (zh) 2020-09-18
WO2021092934A1 (zh) 2021-05-20

Similar Documents

Publication Publication Date Title
CN111684815B (zh) 基于视频数据的消息推送方法、设备及计算机存储介质
US10728203B2 (en) Method and system for classifying a question
CN106227815B (zh) 一种多模态线索的个性化应用程序功能推荐方法及其系统
US9788179B1 (en) Detection and ranking of entities from mobile onscreen content
US20200226133A1 (en) Knowledge map building system and method
US10540666B2 (en) Method and system for updating an intent space and estimating intent based on an intent space
US20150112963A1 (en) Time and location based information search and discovery
Viana et al. Towards the semantic and context-aware management of mobile multimedia
US11080287B2 (en) Methods, systems and techniques for ranking blended content retrieved from multiple disparate content sources
US20170098013A1 (en) Method and system for entity extraction and disambiguation
US10417206B2 (en) Method and system for associating data from different sources to generate a person-centric space
US11558324B2 (en) Method and system for dynamically generating a card
CN111125528B (zh) 信息推荐方法及装置
US20170098283A1 (en) Methods, systems and techniques for blending online content from multiple disparate content sources including a personal content source or a semi-personal content source
US9767400B2 (en) Method and system for generating a card based on intent
US11216735B2 (en) Method and system for providing synthetic answers to a personal question
CN109101505A (zh) 一种推荐方法、推荐装置和用于推荐的装置
CN111191133B (zh) 业务搜索处理方法、装置及设备
CN111684441A (zh) 基于图像数据的消息推送方法、设备及计算机存储介质
Liang Intelligent Tourism Personalized Recommendation Based on Multi-Fusion of Clustering Algorithms
US20170097959A1 (en) Method and system for searching in a person-centric space
CN116010711A (zh) 一种融合用户信息及兴趣变化的kgcn模型电影推荐方法
CN115827978A (zh) 一种信息推荐方法、装置、设备及计算机可读存储介质
CN111223014A (zh) 一种从大量细分教学内容在线生成细分场景教学课程的方法和系统
Lanius et al. The new data: Argumentation amid, on, with, and in data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant