CN109819342B - 弹幕内容控制方法、装置、计算机设备和存储介质 - Google Patents

弹幕内容控制方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN109819342B
CN109819342B CN201711176605.6A CN201711176605A CN109819342B CN 109819342 B CN109819342 B CN 109819342B CN 201711176605 A CN201711176605 A CN 201711176605A CN 109819342 B CN109819342 B CN 109819342B
Authority
CN
China
Prior art keywords
bullet screen
target object
action type
action
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711176605.6A
Other languages
English (en)
Other versions
CN109819342A (zh
Inventor
陈姿
孔凡阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201711176605.6A priority Critical patent/CN109819342B/zh
Priority to PCT/CN2018/116190 priority patent/WO2019101038A1/zh
Publication of CN109819342A publication Critical patent/CN109819342A/zh
Application granted granted Critical
Publication of CN109819342B publication Critical patent/CN109819342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种弹幕内容控制方法、装置、计算机设备和存储介质,该方法包括:获取在播放视频和相应的弹幕内容时从现实场景中采集的图像帧;识别所述图像帧中的目标对象的动作;当所述目标对象的动作与预设的弹幕调整动作类型匹配时,则触发生成与匹配的弹幕调整动作类型相应的弹幕操作指令;响应于所述弹幕操作指令,按照所述匹配的弹幕调整动作类型调整播放的弹幕内容。本申请的方案提高了弹幕内容的调整效率。

Description

弹幕内容控制方法、装置、计算机设备和存储介质
技术领域
本发明涉及计算机技术领域,特别是涉及一种弹幕内容控制方法、装置、计算机设备和存储介质。
背景技术
随着科学技术的飞速发展,人们表达自己言论和观点的方式越来越多样。在观看视频时通过弹幕来发表自己评论的方式也被很多人所喜爱。然而有些弹幕内容往往会对观看视频的人造成一定的干扰,比如,有些弹幕内容存在不雅的东西,这时就需要对弹幕内容进行一定的调整。
传统方法中,用户需要手动地中断播放中的视频,然后在屏蔽列表中手动地添加关键词,从而将包括该关键词的弹幕内容屏蔽掉,以调整弹幕内容。然而,手动添加关键词来调整弹幕内容的操作效率比较低。
发明内容
基于此,有必要针对传统的手动添加关键词来调整弹幕内容的操作效率比较低的问题,提供一种弹幕内容控制方法、装置、计算机设备和存储介质。
一种弹幕内容控制方法,所述方法包括:
获取在播放视频和相应的弹幕内容时从现实场景中采集的图像帧;
识别所述图像帧中的目标对象的动作;
当所述目标对象的动作与预设的弹幕调整动作类型匹配时,则
触发生成与匹配的弹幕调整动作类型相应的弹幕操作指令;
响应于所述弹幕操作指令,按照所述匹配的弹幕调整动作类型调整播放的弹幕内容。
一种弹幕内容控制装置,所述装置包括:
图像帧获取模块,用于获取在播放视频和相应的弹幕内容时从现实场景中采集的图像帧;
动作识别模块,用于识别所述图像帧中的目标对象的动作;
操作指令生成模块,用于当所述目标对象的动作与预设的弹幕调整动作类型匹配时,则触发生成与匹配的弹幕调整动作类型相应的弹幕操作指令;
弹幕内容调整模块,用于响应于所述弹幕操作指令,按照所述匹配的弹幕调整动作类型调整播放的弹幕内容。
一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
获取在播放视频和相应的弹幕内容时从现实场景中采集的图像帧;
识别所述图像帧中的目标对象的动作;
当所述目标对象的动作与预设的弹幕调整动作类型匹配时,则
触发生成与匹配的弹幕调整动作类型相应的弹幕操作指令;
响应于所述弹幕操作指令,按照所述匹配的弹幕调整动作类型调整播放的弹幕内容。
一种存储有计算机程序的存储介质,所述计算机程序被一个或多个处理器执行时,使得一个或多个处理器执行如下步骤:
获取在播放视频和相应的弹幕内容时从现实场景中采集的图像帧;
识别所述图像帧中的目标对象的动作;
当所述目标对象的动作与预设的弹幕调整动作类型匹配时,则
触发生成与匹配的弹幕调整动作类型相应的弹幕操作指令;
响应于所述弹幕操作指令,按照所述匹配的弹幕调整动作类型调整播放的弹幕内容。
上述弹幕内容控制方法、装置、计算机设备和存储介质,在播放视频和弹幕内容时,对现实场景中目标对象的动作进行采集和分析,按照该目标对象的动作匹配的弹幕调整动作类型,即可自动地调整播放的弹幕内容,不需要手动停止视频播放以及手动的添加关键词等繁琐的操作,提高了弹幕内容调整效率。
附图说明
图1为一个实施例中弹幕内容控制方法的应用场景图;
图2为一个实施例中弹幕内容控制方法的流程示意图;
图3为一个实施例中采集图像帧的场景示意图;
图4为一个实施例中机器学习模型建立原理示意图;
图5至图6为一个实施例中移除弹幕内容的界面示意图;
图7为一个实施例中弹幕内容控制方法的时序图;
图8为一个实施例中弹幕内容控制装置的框图;
图9为另一个实施例中弹幕内容控制装置的框图;
图10为又一个实施例中弹幕内容控制装置的框图;
图11为一个实施例中计算机设备的内部结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1为一个实施例中弹幕内容控制方法的应用场景图。参照图1,该应用场景中包括通过网络连接的终端110和服务器120。终端110可以是智能电视机、台式计算机或移动终端,移动终端可以包括手机、平板电脑、笔记本电脑、个人数字助理和穿戴式设备等中的至少一种。服务器120可以用独立的服务器或者是多个物理服务器组成的服务器集群来实现。
终端110可以播放视频以及相应的弹幕内容,并获取在播放视频和相应弹幕内容时从现实场景中采集的图像帧。在一个实施例中,终端110可以通过自身集成的图像采集设备从现实场景中采集图像帧。可以理解,终端110也可以外接图像采集设备,以从现实场景中采集图像帧。终端110可以识别图像帧中的目标对象的动作。在一个实施例中,终端110可以通过自身识别目标对象的动作与预设的弹幕调整动作类型是否匹配,终端110也可以将识别的目标对象的动作反馈至服务器120,通过服务器120识别目标对象的动作与预设的弹幕调整动作类型是否匹配。当目标对象的动作与预设的弹幕调整动作类型匹配时,则触发终端110生成与匹配的弹幕调整动作类型相应的弹幕操作指令;响应于弹幕操作指令,按照匹配的弹幕调整动作类型调整播放的弹幕内容。
图2为一个实施例中弹幕内容控制方法的流程示意图。本实施例主要以该弹幕内容控制方法应用于计算机设备来举例说明,该计算机设备可以是图1中的终端110。参照图2,该方法具体包括如下步骤:
S202,获取在播放视频和相应的弹幕内容时从现实场景中采集的图像帧。
其中,弹幕内容,是视频观看用户所录入的、显现于视频画面上的评论,能够以滚动、停留甚至更多动作方式显示于视频上。现实场景是自然真实的世界中存在的场景。图像帧是能够形成动态画面的图像帧序列中的单元,用来记录某时刻现实场景中的画面。
具体地,计算机设备可以播放视频和相应的弹幕内容。在一个实施例中,计算机设备可以通过视频客户端播放视频和相应的弹幕内容。可以理解,视频客户端,是主要用于视频播放处理的客户端。客户端可以是APP(Application的简称),指第三方应用程序。可以理解,计算机设备也可以通过网页播放视频和相应的弹幕内容。
计算机设备可以获取在播放视频和相应的弹幕内容时从现实场景中采集的图像帧。可以理解,获取的图像帧可以为一个或多个。在一个实施例中,获取的图像帧可以是多个连续采集的图像帧。
在一个实施例中,计算机设备自身集成了图像采集设备,计算机设备可以在播放视频和相应的弹幕内容时,通过自身集成的图像采集设备从现实场景中采集图像帧。在另一个实施例中,计算机设备也可以通过外接的图像采集设备在播放视频和相应的弹幕内容时从现实场景中采集图像帧。其中,图像采集设备可以是摄像头、照相机或摄影机等。
图3为一个实施例中采集图像帧的场景示意图。参照图3,计算机设备302播放视频304和弹幕内容。图3中所示的计算机设备302为PC机,这里省略了主机,只示出了显示屏。其中,“衣服真丑”、“不会呀,衣服很好看呀”就属于弹幕内容,观看用户306处于现实场景中观看计算机设备播放的视频和弹幕内容。在播放视频和相应弹幕内容时,计算机设备302通过自身集成的摄像头302a,从现实场景中采集图像帧,比如,摄像头302a可以拍摄现实场景,采集得到包括观看用户306的手势的图像帧。
S204,识别图像帧中的目标对象的动作。
其中,目标对象,是图像帧中的需要进行动作识别的对象。目标对象的动作,是目标对象在图像帧中所呈现的动作。目标对象的动作,包括通过目标对象的姿态所呈现的动作(比如,竖起大拇指)或根据目标对象的运动轨迹所体现的动作(比如,一只手左右挥动)。
在一个实施例中,目标对象可以是视频观看用户的身体部位,包括手部、脚部、胳膊、腿、头部和面部(眼睛、鼻子、嘴巴等)等部位中的至少一种。可以理解,基于人体对称性,具有统称的对称部位可以统称为一个部位,也可以区分为不同的部位,比如,基于人体对称性,左手和右手可以统称为手部,也可以区分为不同的部位。需要说明的是,目标对象还可以是能够通过动作控制控制弹幕内容的设备,这里对目标对象的具体形象不作限定。
在一个实施例中,当目标对象包括两个及以上的部位时,目标对象的动作可以是所包括的两个及以上的部位的动作组合(比如,摇头且左右摆手,即为头部和手部这两个部位的动作组合)。
在一个实施例中,目标对象可以是手部。目标对象的动作,可以是通过手部姿态所呈现的动作(比如,竖起大拇指)和/或通过手部运动轨迹所呈现的动作(比如,一只手左右挥动)。可以理解,当目标对象为手部时,目标对象可以为一只或两只手。当目标对象为两只手时,则目标对象的动作可以是两只手的动作的组合。比如,两只手比心或两只手画圆。
在一个实施例中,计算机设备可检测现实场景中采集的图像帧中是否包括目标对象,当判定包括目标对象时,则识别该图像帧中的目标对象的动作。可以理解,图像帧中包括目标对象,是指图像帧中包括目标对象的图像。比如,图像帧中包括手部,是指图象帧中包括手部图像。
具体地,计算机设备可以对图像帧中的目标对象的姿态进行识别,根据所识别的目标对象的姿态,确定目标对象的动作。计算机设备也可以识别目标对象在图像帧中的位置,根据目标对象在图像帧中的位置,确定目标对象的动作。
S206,当目标对象的动作与预设的弹幕调整动作类型匹配时,则触发生成与匹配的弹幕调整动作类型相应的弹幕操作指令。
其中,弹幕调整动作类型,是对弹幕内容进行调整的动作的类型。在一个实施例中,弹幕调整动作类型包括弹幕移除动作类型、弹幕快进动作类型和弹幕暂停动作类型等中的至少一种。弹幕移除动作,是移除弹幕内容的动作。弹幕快进动作,是对弹幕内容进行快进的动作。弹幕暂停动作,是将弹幕内容暂停滚动的动作。
可以理解,弹幕调整动作类型还可以是对弹幕内容进行其他调整的动作类型。这里对弹幕调整动作类型不作限定,可以根据实际需求进行扩展设定。
在一个实施例中,计算机设备可以将目标对象的动作与预设的弹幕调整动作类型进行匹配。
具体地,计算机设备可以获取表征目标对象的动作的特征参数,将该特征参数与预设的弹幕调整动作类型所对应的特征参数进行匹配,当表征目标对象的动作的特征参数命中预设的弹幕调整动作类型所对应的特征参数时,则判定将目标对象的动作与所命中的特征参数相应的弹幕调整动作类型匹配。
在一个实施例中,计算机设备也可以预先训练机器学习模型,将表征目标对象的动作的特征参数输入预先训练得到的机器学习模型中,当机器学习模型根据特征参数输出预设的弹幕调整动作类型时,则判定该目标对象的动作与输出的预设的弹幕调整动作类型匹配。其中,机器学习模型是预先根据表征动作的特征参数和相应预设的弹幕调整动作类型进行机器学习训练得到的。
在一个实施例中,与弹幕调整动作类型匹配的目标对象的动作可以为左右来回移动、上下来回移动或静止动作等。在一个实施例中,与弹幕移除动作类型匹配的目标对象的动作可以是上下来回移动,与弹幕快进动作类型匹配的目标对象的动作可以是左右来回移动、与弹幕暂停动作类型匹配的目标对象的动作可以是静止动作。可以理解,与预设的弹幕调整动作类型匹配的目标对象的动作还可以是其他的动作,对此不做限定。可以理解,这里所说的“左右”、“上下”,是相对于预设的参照方位而言的“左右”和“上下”,而预设的参照方位具体可以根据实际需求设定。
当目标对象的动作与预设的弹幕调整动作类型匹配时,则触发计算机设备生成与匹配的弹幕调整动作类型相应的弹幕操作指令。
其中,弹幕操作指令,是对弹幕内容执行操作的指令。与弹幕调整动作类型相应的弹幕操作指令,用于触发执行弹幕调整动作类型所对应的弹幕调整动作。
具体地,计算机设备中预先存储了弹幕调整动作类型与弹幕操作指令之间的映射关系,根据该映射关系,计算机设备可以将匹配的弹幕调整动作类型映射为相应的弹幕操作指令。
在一个实施例中,计算机设备中预先存储了以弹幕调整动作类型为键(Key)、以弹幕操作指令为值(Value)建立的哈希映射(HashMap)表。其中,键是Key-Value存储中的Key,通过键(Key)进行查询,能够查询到该键对应的值(Value)。计算机设备可以将匹配的弹幕调整动作类型与哈希映射表中的键(Key)匹配,并获取所匹配到的键(Key)所对应的值(Value),得到相应的弹幕操作指令。
S208,响应于弹幕操作指令,按照匹配的弹幕调整动作类型调整播放的弹幕内容。
具体地,计算机设备可以响应于弹幕操作指令,按照所匹配的弹幕调整动作类型对播放的弹幕内容执行相应调整操作。可以理解,每个弹幕调整动作类型都有对应的调整操作。
在一个实施例中,计算机设备可以通过消息传递载体将弹幕操作指令作为参数传递至视频客户端组件。计算机设备可以通过视频客户端组件从消息传递载体中读取弹幕操作指令并响应。在一个实施例中,计算机设备可以通过消息传递载体将弹幕操作指令作为参数发送广播至视频客户端组件。
其中,消息传递载体是组件间通信信息的载体,封装了调用组件提供的指令和数据。在一个实施例中,消息传递载体可以是Intent。Intent是安卓系统(Android系统,一种基于Linux的自由及开放源代码的操作系统)中存放操作的抽象描述的数据结构,可用于在不同的组件以及不同的App(Application,应用程序)间进行传递。
在一个实施例中,被调整的播放的弹幕内容,可以是采集该图像帧时所播放的弹幕内容,其中,图像帧是识别出与该弹幕调整动作类型匹配的目标对象的动作的图像帧。即基于图像帧匹配出的弹幕调整动作类型,用于调整采集该图像帧时播放的弹幕内容。比如,当图像帧中的目标对象的动作匹配到弹幕移除动作类型时,则将采集该图像帧时播放的弹幕内容进行移除处理,而接下来播放的弹幕内容可以不作处理。
可以理解,被调整的播放的弹幕内容,也可以是从采集图像帧时起所播放的弹幕内容或正在播放的弹幕内容。其中,正在播放的弹幕内容是响应于弹幕操作指令进行弹幕内容调整处理时正在播放的弹幕内容。计算机设备也可以按照匹配的弹幕调整类型,对从采集图像帧时起所播放的弹幕内容进行调整。比如,当图像帧中的目标对象的动作匹配到弹幕快进动作类型时,则可以对从采集图像帧时起所播放的弹幕内容进行快进。
在一个实施例中,当图像帧中的目标对象的动作匹配到弹幕移除动作类型时,既可以对播放的全部弹幕内容进行移除处理,也可以对播放的弹幕内容中的部分弹幕内容进行移除处理。
上述弹幕内容控制方法,在播放视频和弹幕内容时,对现实场景中目标对象的动作进行采集和分析,按照该目标对象的动作匹配的弹幕调整动作类型,即可自动地调整播放的弹幕内容,不需要手动停止视频播放以及手动的添加关键词等繁琐的操作,提高了弹幕内容调整效率。
此外,当用户与视频播放界面还有一定距离时,也可以实现对弹幕内容的调整,而不需要用户一定要对弹幕内容进行直接操作,提高了弹幕内容调整的效率以及灵活性。
在一个实施例中,步骤S204包括:识别获取的图像帧中的目标对象;根据目标对象在相邻图像帧中的位置变化,确定目标对象的动作。
其中,相邻图像帧,是采集时序相邻的图像帧。采集时序,是图像帧被采集的时间先后顺序。
在一个实施例中,计算机设备可以提取采集的图像帧中包括的图像数据,从提取的图像数据中识别目标对象的特征数据,根据识别出的目标对象的特征数据确定图像帧中的目标对象。
在一个实施例中,根据目标对象在相邻图像帧中的位置变化,确定目标对象的动作包括:确定目标对象在所采集的图像帧中的位置;将目标对象在相邻图像中的位置进行比对,得到目标图像在相邻图像中的位置变化;计算机设备可以根据目标对象在相邻图像帧中的位置变化,确定目标对象的动作。可以理解,相邻图像帧是相邻的至少两个图像帧,可以是相邻的两个图像帧,也可以是两个以上相邻的图像帧,比如5个相邻的图像帧。
在一个实施例中,确定目标对象在所采集的图像帧中的位置包括:确定目标对象在图像帧的全局画面中所处的像素位置。将目标对象在相邻图像中的位置进行比对,得到目标图像在相邻图像中的位置变化包括:将目标对象在相邻图像中的像素位置进行比对,得到目标图像在相邻图像中的位置变化。可以理解,图像帧的全局画面,是图像帧的整体画面。
计算机设备可以根据目标对象在相邻图像帧中的位置变化,确定目标对象的动作。在一个实施例中,计算机设备可以根据目标对象在相邻图像帧中的位置变化,确定目标对象的运动轨迹,根据相应运动轨迹,确定目标对象的动作。比如,运动轨迹为左右来回移动的运动轨迹时,则确定目标对象的动作为左右来回移动。
上述实施例,根据目标对象在相邻图像帧中的位置变化,确定目标对象的动作,并不局限于单单通过姿态所表征的目标对象的动作,提高了目标对象的动作的灵活性、从而提高了弹幕内容调整的多样性。
在一个实施例中,根据目标对象在相邻图像帧中的位置变化,确定目标对象的动作包括:在以采集图像帧的摄像头为原点建立的空间直角坐标系中,确定图像帧中的目标对象所处的位置坐标;根据在相邻图像帧中的目标对象所处的位置坐标的变化,确定目标对象的动作。
本实施例中,获取的图像帧是通过集成或外接的摄像头采集的。
具体地,计算机设备可以以采集图像帧的摄像头为原点建立空间直角坐标系。在一个实施例中,计算机设备可以以摄像头为原点,以平行于计算机设备的显示屏幕水平方向为横轴(X轴)、以平行于计算机设备的显示屏幕的竖直方向为纵轴(Y轴),以垂直于计算机设备的显示屏幕的方向为竖轴(Z轴)建立空间直角坐标系。可以理解,计算机设备也可以以摄像头为原点,以其它相互垂直的方向为横、轴、竖轴,建立空间直角坐标系。对此不做限定。
在该空间直角坐标系中,确定所获取的图像帧中的目标对象所处的位置坐标。计算机设备可以比对在相邻图像帧中的目标对象所处的位置坐标,根据在相邻图像帧中的目标对象所处的位置坐标的变化,确定目标对象的动作。
其中,相邻图像帧是相邻的至少两个图像帧,可以是相邻的两个图像帧,也可以是两个以上相邻的图像帧,比如5个相邻的图像帧。
在一个实施例中,计算机设备可以根据在相邻图像帧中的目标对象所处的位置坐标的变化,构建目标对象的运动轨迹,根据相应运动轨迹,确定目标对象的动作。
在一个实施例中,计算机设备也可以获取在相邻图像帧中的目标对象所处的位置坐标间的差值,分析该位置坐标间的差值的变化规律,根据该变化规律确定目标对象的动作。比如,在两两相邻的图像帧中的目标对象所处的位置坐标在水平方向上的差值为正负交替,则可以确定目标对象的动作为水平来回移动。
上述实施例中,以采集图像帧的摄像头为参照,能够准确地判定出目标对象的位置变化,从而能较准确地确定目标对象的动作,进而提高了弹幕内容调整的准确性。
在一个实施例中,该方法还包括:获取表征目标对象的动作的特征参数;将特征参数输入预先训练的机器学习模型中;当机器学习模型根据特征参数输出预设的弹幕调整动作类型时,则判定目标对象的动作与输出的预设的弹幕调整动作类型匹配。
可以理解,目标对象的动作通过特征参数进行表征,计算机设备可以通过解析特征参数确定其所表征的动作。
具体地,计算机设备可以获取表征目标对象的动作的特征参数,并将特征参数输入预先训练的机器学习模型中。其中,机器学习模型是预先根据表征动作的特征参数和相应预设的弹幕调整动作类型进行机器学习训练得到的。
在一个实施例中,机器学习模型可以存储于计算机设备中,计算机设备将特征参数输入自身所存储的机器学习模型中。当机器学习模型根据特征参数输出预设的弹幕调整动作类型时,计算机设备则可以判定目标对象的动作与输出的预设的弹幕调整动作类型匹配。
在一个实施例中,机器学习模型可以存储于服务器中,计算机设备可以将特征参数发送至服务器,使服务器将特征参数输入机器学习模型中。当服务器通过机器学习模型根据特征参数输出预设的弹幕调整动作类型时,则判定目标对象的动作与输出的预设的弹幕调整动作类型匹配。服务器可以将该判定结果反馈至计算机设备。
在一个实施例中,目标对象的动作可以为左右来回移动或上下来回移动或静止动作,相应输出的弹幕调整动作类型分别为弹幕快进动作类型或弹幕移除动作类型或弹幕暂停动作类型。
上述实施例中,通过预先训练的机器学习模型,来确定目标对象的动作匹配的弹幕调整动作类型,提高了匹配弹幕调整动作类型的准确性。
在一个实施例中,该方法还包括:以采集图像帧的摄像头为原点建立空间直角坐标系;获取通过摄像头从现实场景中采集的训练图像帧;根据相邻训练图像帧中的目标对象在空间直角坐标系中的位置坐标的变化,确定目标对象相应的动作;根据表征确定的动作的特征参数和相应预设的弹幕调整动作类型进行机器学习训练,得到机器学习模型。
其中,训练图像帧,是用于进行机器学习训练的图像帧。相邻训练图像帧是采集时序相邻的训练图像帧。相邻训练图像帧是相邻的至少两个训练图像帧,可以是相邻的两个训练图像帧,也可以是两个以上相邻的训练图像帧。
本实施例中,获取的图像帧是通过集成或外接的摄像头采集的。
具体地,计算机设备可以以采集图像帧的摄像头为原点建立空间直角坐标系。在一个实施例中,计算机设备可以以摄像头为原点,以平行于计算机设备的显示屏幕水平方向为横轴(X轴)、以平行于计算机设备的显示屏幕的竖直方向为纵轴(Y轴),以垂直于计算机设备的显示屏幕的方向为竖轴(Z轴)建立空间直角坐标系。可以理解,计算机设备也可以以摄像头为原点,以其它相互垂直的方向为横、纵、竖轴,建立空间直角坐标系。对此不做限定。
计算机设备可以通过摄像头从现实场景中采集训练图像帧。计算机设备可以识别训练图像帧中的目标对象,并确定各训练图像帧中目标对象在空间直角坐标系中的位置坐标,根据位置坐标,确定训练图像帧中的目标对象在空间直角坐标系中的位置坐标的变化。计算机设备可以根据训练图像帧中的目标对象在空间直角坐标系中的位置坐标的变化,确定目标对象相应的动作。
在一个实施例中,计算机设备可以根据在相邻训练图像帧中的目标对象所处的位置坐标的变化,构建目标对象的运动轨迹,根据相应运动轨迹,确定目标对象的动作。
在一个实施例中,计算机设备可以获取在相邻训练图像帧中的目标对象所处的位置坐标间的差值,分析该位置坐标间的差值的变化规律,根据该变化规律确定目标对象的动作。
计算机设备可以获取表征所确定的目标对象的动作的特征参数,计算机设备可以获取针对获取的特征参数预设的相应的弹幕调整动作类型,计算机设备可以将特征参数和相应预设的弹幕调整动作类型进行机器学习训练,得到机器学习模型。可以理解,该机器学习模型用于输出与输入的该特征参数匹配的弹幕调整动作类型。
图4为一个实施例中机器学习模型建立原理示意图。参照图4,以摄像头为原点建立空间直角坐标系,训练图像帧中的目标对象为手,假设相邻训练图像帧中的手在空间直角坐标系中所处的位置坐标在竖直方向来回变化(如402所示),则可以确定目标对象的动作为上下来回移动。假设相邻训练图像帧中的手在空间直角坐标系中所处的位置坐标在水平方向来回变化(如404所示),则可以确定目标对象的动作为左右来回移动,假设相邻训练图像帧中的手在空间直角坐标系中所处的位置坐标不变化(如406所示),则可以确定目标对象的动作为静止动作。计算机设备可以获取表征手的动作的特征参数,并获取针对该特征参数预设的弹幕调整动作类型,根据特征参数与相应的弹幕调整动作类型进行机器学习训练。比如,针对表征左右来回移动的特征参数设置弹幕快进动作类型,针对表征上下来回移动的特征参数设置弹幕移除动作类型,针对表征静止动作的特征参数设置弹幕暂停动作类型。
上述实施例中,以采集图像帧的摄像头为原点建立空间直角坐标系;根据采集的训练图像帧中的目标对象在空间直角坐标系中的位置坐标的变化,确定目标对象相应的动作;根据表征确定的动作的特征参数和相应预设的弹幕调整动作类型进行机器学习训练,得到机器学习模型。基于该机器学习训练得到的机器学习模型判断目标对象的动作是否与预设的匹配弹幕调整动作类型,提高了准确性。
在一个实施例中,步骤S208包括:当匹配的弹幕调整动作类型为弹幕移除动作类型时,响应于弹幕操作指令,将播放的弹幕内容调整为不可见。
其中,弹幕移除动作类型,是将弹幕内容移除的动作类型。
具体地,当与目标对象的动作匹配的弹幕调整动作类型为弹幕移除动作类型时,则触发生成与弹幕移除动作类型匹配的、触发对弹幕内容的移除操作处理的弹幕操作指令。计算机设备响应于弹幕操作指令,将播放的弹幕内容调整为不可见。
可以理解,被调整的播放的弹幕内容,可以是采集该图像帧时所播放的弹幕内容,其中,图像帧是识别出与该弹幕调整动作类型匹配的目标对象的动作的图像帧。被调整的播放的弹幕内容,也可以是从采集图像帧时起所播放的弹幕内容或正在播放的弹幕内容。
在一个实施例中,计算机设备可以调整播放的弹幕内容的可见度至不可见。其中,可见度(Visible)是能被看见的清晰程度。具体地,计算机设备可以调整播放的弹幕内容的可见度的值为False,使得弹幕内容不可见。
在一个实施例中,计算机设备也可以将播放的弹幕内容删除。
图5至图6为一个实施例中移除弹幕内容的界面示意图。参照图5,图5中显示了一些不健康的弹幕内容,比如“衣服丑毙了”、“发型丑到爆”等弹幕内容,则用户可以做出匹配弹幕移除动作类型的手势(即手部动作),计算机设备则可以按照弹幕移除动作类型调整播放的弹幕内容至不可见。图6中则为将“衣服丑毙了”、“发型丑到爆”这些不健康的弹幕内容调整为不可见后的弹幕内容。
上述实施例中,按照匹配的弹幕移除动作类型,将播放的弹幕内容自动地调整为不可见。不需要手动地添加关键词来屏蔽弹幕内容,提高了弹幕内容调整的效率。此外,当用户与视频播放界面还有一定距离时,也可以实现对弹幕内容的调整,而不需要用户一定要对弹幕内容进行直接操作,提高了弹幕内容调整的效率以及灵活性。
在一个实施例中,将播放的弹幕内容调整为不可见包括:确定目标对象映射到弹幕内容的播放画面中的位置;在播放的弹幕内容中按照位置确定待移除的弹幕内容;将待移除的弹幕内容调整为不可见。
其中,目标对象映射到弹幕内容的播放画面中的位置,是将目标对象在现实场景中所处的位置映射为在弹幕内容的播放画面中的位置。可以理解,该映射可以实现现实场景中的动作与对播放画面的操作的有效对接。
在一个实施例中,目标对象映射到弹幕内容的播放画面中的位置,可以是目标对象做弹幕移除动作时映射到弹幕内容的播放画面中的起始位置,也可以是目标对象在做弹幕移除动作的过程中映射到弹幕内容的播放画面中的位置。
需要说明的是,计算机设备中预先设置了现实场景中的位置与播放画面中的位置之间的映射关系。该映射关系,用于实现现实场景中的位置与播放画面中的位置之间的对应转换。
在一个实施例中,计算机设备可以获取在现实场景中目标对象做弹幕移除动作的起始位置,根据上述映射关系,将目标对象在现实场景中的起始位置映射为在弹幕内容的播放画面中的起始位置。计算机设备可以将当前播放至目标对象所映射到的起始位置处的弹幕内容进行选中,作为待移除的弹幕内容。
在另一个实施例中,计算机设备也可以获取目标对象在做弹幕移除动作的过程中于现实场景中所处的位置,根据上述映射关系,将获取的做弹幕移除动作的过程中所处的各个位置,依次映射为在弹幕内容的播放画面中的位置,得到相应的弹幕移除轨迹。计算机设备可以根据该弹幕移除轨迹从播放的弹幕内容中确定待移除的弹幕内容。在一个实施例中,计算机设备可以将该弹幕移除轨迹所覆盖的弹幕内容作为待移除的弹幕内容。
上述实施例中,在对弹幕内容进行移除处理时,可以根据目标对象映射到弹幕内容的播放画面中的位置,准确地确定出需要移除的弹幕内容,而不需要对其他播放的弹幕内容进行移除处理,提高了弹幕内容移除的精准性。
在一个实施例中,步骤S208还包括:当匹配的弹幕调整动作类型为弹幕快进动作类型时,响应于弹幕操作指令,加快播放的弹幕内容的滚动速度。
其中,弹幕快进动作类型,是对弹幕内容进行快进的动作类型。弹幕暂停动作类型,是将弹幕内容暂停滚动的动作类型。
具体地,当与目标对象的动作匹配的弹幕调整动作类型为弹幕快进动作类型时,则触发生成与弹幕快进动作类型匹配的、触发对弹幕内容的快进操作处理的弹幕操作指令。计算机设备响应于弹幕操作指令,加快播放的弹幕内容的滚动速度。在一个实施例中,计算机设备可以将弹幕内容的滚动时间进行缩短处理,以加快播放的弹幕内容的滚动速度。
在一个实施例中,步骤S208还包括:当匹配的弹幕调整动作类型为弹幕暂停动作类型时,响应于弹幕操作指令,将播放的弹幕内容停止滚动。
当与目标对象的动作匹配的弹幕调整动作类型为弹幕暂停动作类型时,则触发生成与弹幕暂停动作类型匹配的、触发对弹幕内容的暂停操作处理的弹幕操作指令。计算机设备响应于弹幕操作指令,将播放的弹幕内容的停止滚动。
可以理解,被调整的播放的弹幕内容,可以是采集该图像帧时所播放的弹幕内容,其中,图像帧是识别出与该弹幕调整动作类型匹配的目标对象的动作的图像帧。被调整的播放的弹幕内容,也可以是从采集图像帧时起所播放的弹幕内容或正在播放的弹幕内容。
上述实施例中,通过从现实场景中采集的图像帧,匹配出弹幕移快进或暂停动作类型,按照匹配的弹幕移快进或暂停动作类型,将播放的弹幕内容自动地快进或暂停,当用户与视频播放界面还有一定距离时,也可以实现对弹幕内容的调整,而不需要用户一定要对弹幕内容进行直接操作,提高了弹幕内容调整的效率以及灵活性。
在一个实施例中,该方法还包括:当匹配的弹幕调整动作类型为弹幕移除动作类型时,获取调整为不可见的弹幕内容中所包括的关键词;从与视频关联的弹幕内容中过滤掉包括关键词的弹幕内容;在视频的播放过程中,播放过滤后剩余的弹幕内容。
具体地,计算机设备可以自身对调整为不可见的弹幕内容进行分析,提取调整为不可见的弹幕内容中所包括的关键词。计算机设备也可以将调整为不可见的弹幕内容发送至服务器,获取服务器反馈的从调整为不可见的弹幕内容中提取的关键词。
在一个实施例中,计算机设备可以对调整为不可见的弹幕内容进行分词,得到词片段。计算机设备可以将分词得到的词片段与预设的关键词库中的关键词进行匹配,得到调整为不可见的弹幕内容中包括的关键词。
可以理解,预设的关键词库可以是设置于计算机设备本地的关键词库,也可以是设置于服务器中的关键词库。当预设的关键词库设置于服务器中时,计算机设备可以将分词得到的词片段发送至服务器,使服务器将词片段与关键词库中的关键词进行匹配,并反馈匹配结果至计算机设备,得到调整为不可见的弹幕内容中包括的关键词。
在一个实施例中,计算机设备也可以对调整为不可见的弹幕内容进行语义分析,以提取出调整为不可见的弹幕内容中所包括的关键词。
计算机设备可以从与视频关联的弹幕内容中过滤掉包括关键词的弹幕内容。计算机设备在该视频的播放过程中,播放过滤后剩余的弹幕内容,即计算机设备在播放该视频的过程中,播放的弹幕内容中不再有包括关键词的弹幕内容。
上述实施例中,当匹配的弹幕调整动作类型为弹幕移除动作类型时,获取调整为不可见的弹幕内容中所包括的关键词;从与视频关联的弹幕内容中过滤掉包括关键词的弹幕内容;在视频的播放过程中,播放过滤后剩余的弹幕内容。自动地过滤了想要屏蔽的弹幕内容,不需要手动地添加关键词来屏蔽弹幕内容,提高了弹幕内容调整的效率。
在一个实施例中,获取调整为不可见的弹幕内容中所包括的关键词包括:通过本地运行的服务将调整为不可见的弹幕内容发送至服务器;接收服务器反馈的从发送至服务器的弹幕内容中提取的关键词。
在一个实施例中,计算机设备可以将调整为不可见的弹幕内容作为参数保存至消息传递载体中,并通过消息传递载体将调整为不可见的弹幕内容传递至本地运行的服务。通过本地运行的服务将消息传递载体中的调整为不可见的弹幕内容发送至服务器。
在一个实施例中,计算机设备可以通过本地运行的服务根据消息传递载体中的调整为不可见的弹幕内容构造HTTP请求发送至服务器,该HTTP请求中包括调整为不可见的弹幕内容。
在一个实施例中,服务器可以对接收的调整为不可见的弹幕内容进行语义分析处理,得到调整为不可见的弹幕内容中包括的关键词。
在一个实施例中,服务器也可以对调整为不可见的弹幕内容进行分词,得到词片段,将分词得到的词片段与预设的关键词库中的关键词进行匹配,以提取调整为不可见的弹幕内容中包括的关键词。
服务器可以将从调整为不可见的弹幕内容中提取的关键词反馈至计算机设备。
上述实施例中,通过本地运行的服务将调整为不可见的弹幕内容发送至服务器,从服务器中直接接收提取的关键词,减少了计算机设备这一端的数据处理,从而减少对视频播放的影响。即在自动屏蔽掉弹幕内容的同时,也保证了视频播放质量。
在一个实施例中,视频在以用户标识进行登录后播放。该方法还包括:将关键词与用户标识相关联;其中,关联的关键词,用于从用户标识登录后播放的视频所关联的弹幕内容中,过滤掉包括关联的关键词的弹幕内容。
在一个实施例中,视频可以是在以用户标识登录视频客户端后,通过视频客户端播放。
其中,用户标识登录后播放的视频,可以是以用户标识登录后播放的任意视频,并不限定于与关键词所提取自的弹幕内容对应的视频。可以理解,以用户标识登录后播放的视频,也可以是指与关键词所提取自的弹幕内容对应的视频。
在一个实施例中,计算机设备可以在获取关键词后,自身将该关键词与该用户标识关联。
在一个实施例中,计算机设备也可以通过服务器将关键词与登录的用户标识关联,获取服务器反馈的与用户标识关联的关键词。即服务器在提取关键词后,可以将关键词与用户标识关联,并向计算机设备返回与用户标识关联的关键词。具体地,服务器可以将提取的关键词保存至与用户标识对应的个人屏蔽列表中。
在以用户标识登录后播放视频时,计算机设备可以获取与以用户标识登录后播放的视频关联的弹幕内容,并从获取的弹幕内容中过滤掉包括与该用户标识关联的关键词的弹幕内容。
现举例对上述处理进行解释说明。假设以用户标识1登录后播放视频A,计算机设备可以获取从播放视频A和相应弹幕内容a时的现实场景中采集的图像帧,并识别图像帧中的目标对象的动作,当目标对象的动作与预设的弹幕移除动作类型匹配时,则触发生成与匹配的弹幕移除动作类型相应的弹幕移除操作指令,将播放的弹幕内容调整为不可见。计算机设备可以获取调整为不可见的弹幕内容中所包括的关键词n,并将该关键词n与用户标识1关联。在以用户标识1登录后播放视频B时,计算机设备也可以从与视频B关联的弹幕内容b中过滤掉包括关联的关键词n的弹幕内容。
上述实施例中,通过将关键词与用户标识关联,可以在以后以用户标识登录后播放视频时,直接自动地过滤掉包括关键词的弹幕内容,既减少了弹幕内容调整操作步骤,又能够将用户不想要的弹幕内容过滤掉,提高了播放的弹幕内容的准确性和价值量。
图7为一个实施例中弹幕内容控制方法的时序图。时序图中的视频客户端安装于计算机设备中。该时序图具体包括以下步骤:
1)视频客户端在以用户标识登录后,播放视频和相应的弹幕内容。
2)视频客户端获取摄像头在播放视频和相应的弹幕内容时从现实场景中采集的图像帧。
3)视频客户端识别图像帧中的目标对象。
4)在以摄像头为原点建立的空间直角坐标系中,确定图像帧中的目标对象所处的位置坐标;根据在相邻图像帧中的目标对象所处的位置坐标的变化,确定目标对象的动作。
5)视频客户端将表征目标对象的动作的特征参数输入预先训练的机器学习模型中;当机器学习模型根据特征参数输出预设的弹幕调整动作类型时,则判定目标对象的动作与输出的预设的弹幕调整动作类型匹配。
6)视频客户端在目标对象的动作与预设的弹幕调整动作类型匹配时,则触发生成与匹配的弹幕调整动作类型相应的弹幕操作指令。
7)视频客户端在匹配的弹幕调整动作类型为弹幕移除动作类型时,响应于弹幕操作指令,将播放的弹幕内容调整为不可见。
8)视频客户端发送调整为不可见的弹幕内容至本地运行的服务。
9)本地运行的服务将调整为不可见的弹幕内容发送至服务器。
10)服务器从调整为不可见的弹幕内容中提取关键词。
11)视频客户端接收服务器反馈的从发送至服务器的弹幕内容中提取的关键词。
可以理解,视频客户端可以通过本地运行的服务接收服务器反馈的从发送至服务器的弹幕内容中提取的关键词,这里本地运行的服务仅是起一个关键词中转作用,为了简洁示意,所以简化地画出视频客户端接收服务器反馈的关键词。
12)视频客户端将关键词与用户标识相关联。
其中,关联的关键词,用于从以用户标识登录后播放的视频所关联的弹幕内容中,过滤掉包括关联的关键词的弹幕内容。
13)视频客户端在视频的播放过程中,过滤掉包括关联的关键词的弹幕内容,并播放过滤后剩余的弹幕内容。
如图8所示,在一个实施例中,提供了一种弹幕内容控制装置800,该装置800包括:图像帧获取模块802、动作识别模块804、操作指令生成模块806以及弹幕内容调整模块808,其中:
图像帧获取模块802,用于获取在播放视频和相应的弹幕内容时从现实场景中采集的图像帧。
动作识别模块804,用于识别图像帧中的目标对象的动作。
操作指令生成模块806,用于当目标对象的动作与预设的弹幕调整动作类型匹配时,则触发生成与匹配的弹幕调整动作类型相应的弹幕操作指令。
弹幕内容调整模块808,用于响应于弹幕操作指令,按照匹配的弹幕调整动作类型调整播放的弹幕内容。
在一个实施例中,动作识别模块804还用于识别获取的图像帧中的目标对象;根据目标对象在相邻图像帧中的位置变化,确定目标对象的动作。
在一个实施例中,动作识别模块804还用于在以采集图像帧的摄像头为原点建立的空间直角坐标系中,确定图像帧中的目标对象所处的位置坐标;根据在相邻图像帧中的目标对象所处的位置坐标的变化,确定目标对象的动作。
如图9所示,在一个实施例中,该装置800还包括:
动作类型匹配模块805,用于获取表征目标对象的动作的特征参数;将特征参数输入预先训练的机器学习模型中;当机器学习模型根据特征参数输出预设的弹幕调整动作类型时,则判定目标对象的动作与输出的预设的弹幕调整动作类型匹配。
在一个实施例中,动作类型匹配模块805还用于以采集图像帧的摄像头为原点建立空间直角坐标系;获取通过摄像头从现实场景中采集的训练图像帧;根据相邻训练图像帧中的目标对象在空间直角坐标系中的位置坐标的变化,确定目标对象相应的动作;根据表征确定的动作的特征参数和相应预设的弹幕调整动作类型进行机器学习训练,得到机器学习模型。
在一个实施例中,弹幕内容调整模块808还用于当匹配的弹幕调整动作类型为弹幕移除动作类型时,响应于弹幕操作指令,将播放的弹幕内容调整为不可见。
在一个实施例中,弹幕内容调整模块808还用于当匹配的弹幕调整动作类型为弹幕快进动作类型时,响应于弹幕操作指令,加快播放的弹幕内容的滚动速度;当匹配的弹幕调整动作类型为弹幕暂停动作类型时,响应于弹幕操作指令,将播放的弹幕内容停止滚动。
在一个实施例中,弹幕内容调整模块808还用于当匹配的弹幕调整动作类型为弹幕移除动作类型时,获取调整为不可见的弹幕内容中所包括的关键词;从与视频关联的弹幕内容中过滤掉包括关键词的弹幕内容;在视频的播放过程中,播放过滤后剩余的弹幕内容。
在一个实施例中,弹幕内容调整模块808还用于通过本地运行的服务将调整为不可见的弹幕内容发送至服务器;接收服务器反馈的从发送至服务器的弹幕内容中提取的关键词。
在一个实施例中,视频在以用户标识进行登录后播放。如图10所示,该装置800还包括:
关联模块810,用于将关键词与用户标识相关联;其中,关联的关键词,用于从用户标识登录后播放的视频所关联的弹幕内容中,过滤掉包括关联的关键词的弹幕内容。
在一个实施例中,弹幕内容调整模块808还用于确定目标对象映射到弹幕内容的播放画面中的位置;在播放的弹幕内容中按照位置确定待移除的弹幕内容;将待移除的弹幕内容调整为不可见。
图11为一个实施例中计算机设备的内部结构示意图。参照图11,该计算机设备可以是图1中所示的终端110,该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质可存储操作系统和计算机程序。该计算机程序被执行时,可使得处理器执行一种弹幕内容控制方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该内存储器中可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行一种弹幕内容控制方法。计算机设备的网络接口用于进行网络通信。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏等。计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是终端外壳上设置的按键、轨迹球或触控板,也可以是外接的键盘、触控板或鼠标等。该计算机设备可以是个人计算机、移动终端或车载设备,移动终端包括手机、平板电脑、个人数字助理或可穿戴设备等中的至少一种。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的弹幕内容控制装置可以实现为一种计算机程序的形式,计算机程序可在如图11所示的计算机设备上运行,计算机设备的非易失性存储介质可存储组成该弹幕内容控制装置的各个程序模块,比如,图8所示的图像帧获取模块802、动作识别模块804、操作指令生成模块806以及弹幕内容调整模块808。各个程序模块所组成的计算机程序用于使该计算机设备执行本说明书中描述的本申请各个实施例的弹幕内容控制方法中的步骤,例如,计算机设备可以通过如图8所示的弹幕内容控制装置800中的图像帧获取模块802获取在播放视频和相应的弹幕内容时从现实场景中采集的图像帧,并通过动作识别模块804识别图像帧中的目标对象的动作。计算机设备可以通过操作指令生成模块806当目标对象的动作与预设的弹幕调整动作类型匹配时,则触发生成与匹配的弹幕调整动作类型相应的弹幕操作指令。计算机设备可以通过弹幕内容调整模块808响应于弹幕操作指令,按照匹配的弹幕调整动作类型调整播放的弹幕内容。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:获取在播放视频和相应的弹幕内容时从现实场景中采集的图像帧;识别图像帧中的目标对象的动作;当目标对象的动作与预设的弹幕调整动作类型匹配时,则触发生成与匹配的弹幕调整动作类型相应的弹幕操作指令;响应于弹幕操作指令,按照匹配的弹幕调整动作类型调整播放的弹幕内容。
在一个实施例中,识别图像帧中的目标对象的动作包括:识别获取的图像帧中的目标对象;根据目标对象在相邻图像帧中的位置变化,确定目标对象的动作。
在一个实施例中,根据目标对象在相邻图像帧中的位置变化,确定目标对象的动作包括:在以采集图像帧的摄像头为原点建立的空间直角坐标系中,确定图像帧中的目标对象所处的位置坐标;根据在相邻图像帧中的目标对象所处的位置坐标的变化,确定目标对象的动作。
在一个实施例中,计算机程序还使得处理器执行以下步骤:获取表征目标对象的动作的特征参数;将特征参数输入预先训练的机器学习模型中;当机器学习模型根据特征参数输出预设的弹幕调整动作类型时,则判定目标对象的动作与输出的预设的弹幕调整动作类型匹配。
在一个实施例中,计算机程序还使得处理器执行以下步骤:以采集图像帧的摄像头为原点建立空间直角坐标系;获取通过摄像头从现实场景中采集的训练图像帧;根据相邻训练图像帧中的目标对象在空间直角坐标系中的位置坐标的变化,确定目标对象相应的动作;根据表征确定的动作的特征参数和相应预设的弹幕调整动作类型进行机器学习训练,得到机器学习模型。
在一个实施例中,响应于弹幕操作指令,按照匹配的弹幕调整动作类型调整播放的弹幕内容包括:当匹配的弹幕调整动作类型为弹幕移除动作类型时,响应于弹幕操作指令,将播放的弹幕内容调整为不可见。
在一个实施例中,响应于弹幕操作指令,按照匹配的弹幕调整动作类型调整播放的弹幕内容还包括:当匹配的弹幕调整动作类型为弹幕快进动作类型时,响应于弹幕操作指令,加快播放的弹幕内容的滚动速度;当匹配的弹幕调整动作类型为弹幕暂停动作类型时,响应于弹幕操作指令,将播放的弹幕内容停止滚动。
在一个实施例中,计算机程序还使得处理器执行以下步骤:当匹配的弹幕调整动作类型为弹幕移除动作类型时,获取调整为不可见的弹幕内容中所包括的关键词;从与视频关联的弹幕内容中过滤掉包括关键词的弹幕内容;在视频的播放过程中,播放过滤后剩余的弹幕内容。
在一个实施例中,获取调整为不可见的弹幕内容中所包括的关键词包括:通过本地运行的服务将调整为不可见的弹幕内容发送至服务器;接收服务器反馈的从发送至服务器的弹幕内容中提取的关键词。
在一个实施例中,视频在以用户标识进行登录后播放;计算机程序还使得处理器执行以下步骤:将关键词与用户标识相关联;其中,关联的关键词,用于从用户标识登录后播放的视频所关联的弹幕内容中,过滤掉包括关联的关键词的弹幕内容。
在一个实施例中,将播放的弹幕内容调整为不可见包括:确定目标对象映射到弹幕内容的播放画面中的位置;在播放的弹幕内容中按照位置确定待移除的弹幕内容;将待移除的弹幕内容调整为不可见。
在一个实施例中,提供了一种存储有计算机程序的存储介质,计算机程序被一个或多个处理器执行时,使得一个或多个处理器执行如下步骤:获取在播放视频和相应的弹幕内容时从现实场景中采集的图像帧;识别图像帧中的目标对象的动作;当目标对象的动作与预设的弹幕调整动作类型匹配时,则触发生成与匹配的弹幕调整动作类型相应的弹幕操作指令;响应于弹幕操作指令,按照匹配的弹幕调整动作类型调整播放的弹幕内容。
在一个实施例中,识别图像帧中的目标对象的动作包括:识别获取的图像帧中的目标对象;根据目标对象在相邻图像帧中的位置变化,确定目标对象的动作。
在一个实施例中,根据目标对象在相邻图像帧中的位置变化,确定目标对象的动作包括:在以采集图像帧的摄像头为原点建立的空间直角坐标系中,确定图像帧中的目标对象所处的位置坐标;根据在相邻图像帧中的目标对象所处的位置坐标的变化,确定目标对象的动作。
在一个实施例中,计算机程序还使得处理器执行以下步骤:获取表征目标对象的动作的特征参数;将特征参数输入预先训练的机器学习模型中;当机器学习模型根据特征参数输出预设的弹幕调整动作类型时,则判定目标对象的动作与输出的预设的弹幕调整动作类型匹配。
在一个实施例中,计算机程序还使得处理器执行以下步骤:以采集图像帧的摄像头为原点建立空间直角坐标系;获取通过摄像头从现实场景中采集的训练图像帧;根据相邻训练图像帧中的目标对象在空间直角坐标系中的位置坐标的变化,确定目标对象相应的动作;根据表征确定的动作的特征参数和相应预设的弹幕调整动作类型进行机器学习训练,得到机器学习模型。
在一个实施例中,响应于弹幕操作指令,按照匹配的弹幕调整动作类型调整播放的弹幕内容包括:当匹配的弹幕调整动作类型为弹幕移除动作类型时,响应于弹幕操作指令,将播放的弹幕内容调整为不可见。
在一个实施例中,响应于弹幕操作指令,按照匹配的弹幕调整动作类型调整播放的弹幕内容还包括:当匹配的弹幕调整动作类型为弹幕快进动作类型时,响应于弹幕操作指令,加快播放的弹幕内容的滚动速度;当匹配的弹幕调整动作类型为弹幕暂停动作类型时,响应于弹幕操作指令,将播放的弹幕内容停止滚动。
在一个实施例中,计算机程序还使得处理器执行以下步骤:当匹配的弹幕调整动作类型为弹幕移除动作类型时,获取调整为不可见的弹幕内容中所包括的关键词;从与视频关联的弹幕内容中过滤掉包括关键词的弹幕内容;在视频的播放过程中,播放过滤后剩余的弹幕内容。
在一个实施例中,获取调整为不可见的弹幕内容中所包括的关键词包括:通过本地运行的服务将调整为不可见的弹幕内容发送至服务器;接收服务器反馈的从发送至服务器的弹幕内容中提取的关键词。
在一个实施例中,视频在以用户标识进行登录后播放;计算机程序还使得处理器执行以下步骤:将关键词与用户标识相关联;其中,关联的关键词,用于从用户标识登录后播放的视频所关联的弹幕内容中,过滤掉包括关联的关键词的弹幕内容。
在一个实施例中,将播放的弹幕内容调整为不可见包括:确定目标对象映射到弹幕内容的播放画面中的位置;在播放的弹幕内容中按照位置确定待移除的弹幕内容;将待移除的弹幕内容调整为不可见。
应该理解的是,虽然本申请各实施例中的各个步骤并不是必然按照步骤标号指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (18)

1.一种弹幕内容控制方法,所述方法包括:
获取在播放视频和相应的弹幕内容时从现实场景中采集的图像帧;
识别所述图像帧中的目标对象的动作,包括:对所述图像帧中的目标对象的姿态进行识别,根据所识别的目标对象的姿态,确定所述目标对象的动作;所述目标对象的动作包括通过所述目标对象的姿态所呈现的动作;
获取表征所述目标对象的动作的特征参数;
将所述特征参数输入预先训练的机器学习模型中;所述机器学习模型是预先根据表征动作的特征参数和相应预设的弹幕调整动作类型进行机器学习训练得到的;
当所述机器学习模型根据所述特征参数输出预设的弹幕调整动作类型时,则判定所述目标对象的动作与输出的所述预设的弹幕调整动作类型匹配;
当所述目标对象的动作与预设的弹幕调整动作类型匹配时,则
触发生成与匹配的弹幕调整动作类型相应的弹幕操作指令;所述匹配的弹幕调整动作类型包括弹幕移除动作类型、弹幕快进动作类型和弹幕暂停动作类型中的至少一种;
响应于所述弹幕操作指令,按照所述匹配的弹幕调整动作类型调整播放的弹幕内容,包括:当匹配的弹幕调整动作类型为弹幕快进动作类型时,响应于所述弹幕操作指令,将弹幕内容的滚动时间进行缩短处理,以加快播放的弹幕内容的滚动速度;当匹配的弹幕调整动作类型为弹幕暂停动作类型时,响应于所述弹幕操作指令,将播放的弹幕内容停止滚动。
2.根据权利要求1所述的方法,其特征在于,所述识别所述图像帧中的目标对象的动作还包括:
识别获取的所述图像帧中的目标对象;
根据所述目标对象在相邻图像帧中的位置变化,确定所述目标对象的动作。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标对象在相邻图像帧中的位置变化,确定所述目标对象的动作包括:
在以采集所述图像帧的摄像头为原点建立的空间直角坐标系中,确定所述图像帧中的目标对象所处的位置坐标;
根据在相邻图像帧中的所述目标对象所处的位置坐标的变化,确定所述目标对象的动作。
4.根据权利要求1所述方法,其特征在于,还包括:
以采集所述图像帧的摄像头为原点建立空间直角坐标系;
获取通过所述摄像头从现实场景中采集的训练图像帧;
根据相邻训练图像帧中的所述目标对象在所述空间直角坐标系中的位置坐标的变化,确定所述目标对象相应的动作;
根据表征确定的所述动作的特征参数和相应预设的弹幕调整动作类型进行机器学习训练,得到机器学习模型。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述响应于所述弹幕操作指令,按照所述匹配的弹幕调整动作类型调整播放的弹幕内容包括:
当匹配的弹幕调整动作类型为弹幕移除动作类型时,响应于所述弹幕操作指令,将播放的弹幕内容调整为不可见。
6.根据权利要求5所述的方法,其特征在于,还包括:
当匹配的弹幕调整动作类型为弹幕移除动作类型时,获取调整为不可见的弹幕内容中所包括的关键词;
从与所述视频关联的弹幕内容中过滤掉包括所述关键词的弹幕内容;
在所述视频的播放过程中,播放过滤后剩余的弹幕内容。
7.根据权利要求6所述的方法,其特征在于,所述获取调整为不可见的弹幕内容中所包括的关键词包括:
通过本地运行的服务将调整为不可见的弹幕内容发送至服务器;
接收所述服务器反馈的从发送至所述服务器的弹幕内容中提取的关键词。
8.根据权利要求6所述的方法,其特征在于,所述视频在以用户标识进行登录后播放;所述方法还包括:
将所述关键词与所述用户标识相关联;其中,关联的关键词,用于从所述用户标识登录后播放的视频所关联的弹幕内容中,过滤掉包括所述关联的关键词的弹幕内容。
9.根据权利要求5所述的方法,其特征在于,所述将播放的弹幕内容调整为不可见包括:
确定所述目标对象映射到弹幕内容的播放画面中的位置;
在播放的弹幕内容中按照所述位置确定待移除的弹幕内容;
将待移除的弹幕内容调整为不可见。
10.一种弹幕内容控制装置,其特征在于,所述装置包括:
图像帧获取模块,用于获取在播放视频和相应的弹幕内容时从现实场景中采集的图像帧;
动作识别模块,用于对所述图像帧中的目标对象的姿态进行识别,根据所识别的目标对象的姿态,确定所述目标对象的动作;所述目标对象的动作包括通过所述目标对象的姿态所呈现的动作;
动作类型匹配模块,用于获取表征所述目标对象的动作的特征参数;将所述特征参数输入预先训练的机器学习模型中;当所述机器学习模型根据所述特征参数输出预设的弹幕调整动作类型时,则判定所述目标对象的动作与输出的所述预设的弹幕调整动作类型匹配;所述机器学习模型是预先根据表征动作的特征参数和相应预设的弹幕调整动作类型进行机器学习训练得到的;
操作指令生成模块,用于当所述目标对象的动作与预设的弹幕调整动作类型匹配时,则触发生成与匹配的弹幕调整动作类型相应的弹幕操作指令;所述匹配的弹幕调整动作类型包括弹幕移除动作类型、弹幕快进动作类型和弹幕暂停动作类型中的至少一种;
弹幕内容调整模块,用于当匹配的弹幕调整动作类型为弹幕快进动作类型时,响应于所述弹幕操作指令,将弹幕内容的滚动时间进行缩短处理,以加快播放的弹幕内容的滚动速度;当匹配的弹幕调整动作类型为弹幕暂停动作类型时,响应于所述弹幕操作指令,将播放的弹幕内容停止滚动。
11.根据权利要求10所述的装置,其特征在于,所述动作识别模块还用于识别获取的所述图像帧中的目标对象;根据所述目标对象在相邻图像帧中的位置变化,确定所述目标对象的动作。
12.根据权利要求11所述的装置,其特征在于,所述动作识别模块还用于在以采集所述图像帧的摄像头为原点建立的空间直角坐标系中,确定所述图像帧中的目标对象所处的位置坐标;根据在相邻图像帧中的所述目标对象所处的位置坐标的变化,确定所述目标对象的动作。
13.根据权利要求10 所述的装置,其特征在于,所述动作类型匹配模块还用于以采集所述图像帧的摄像头为原点建立空间直角坐标系;获取通过所述摄像头从现实场景中采集的训练图像帧;根据相邻训练图像帧中的所述目标对象在所述空间直角坐标系中的位置坐标的变化,确定所述目标对象相应的动作;根据表征确定的所述动作的特征参数和相应预设的弹幕调整动作类型进行机器学习训练,得到机器学习模型。
14.根据权利要求10至13中任一项所述的装置,其特征在于,所述弹幕内容调整模块还用于当匹配的弹幕调整动作类型为弹幕移除动作类型时,响应于所述弹幕操作指令,将播放的弹幕内容调整为不可见。
15.根据权利要求14 所述的装置,其特征在于,所述弹幕内容调整模块还用于通过本地运行的服务将调整为不可见的弹幕内容发送至服务器;接收服务器反馈的从发送至服务器的弹幕内容中提取的关键词。
16.根据权利要求14所述的装置,其特征在于,所述弹幕内容调整模块还用于确定所述目标对象映射到弹幕内容的播放画面中的位置;在播放的弹幕内容中按照所述位置确定待移除的弹幕内容;将待移除的弹幕内容调整为不可见。
17.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至9 中任一项所述方法的步骤。
18.一种存储有计算机程序的存储介质,所述计算机程序被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1至9 中任一项所述方法的步骤。
CN201711176605.6A 2017-11-22 2017-11-22 弹幕内容控制方法、装置、计算机设备和存储介质 Active CN109819342B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711176605.6A CN109819342B (zh) 2017-11-22 2017-11-22 弹幕内容控制方法、装置、计算机设备和存储介质
PCT/CN2018/116190 WO2019101038A1 (zh) 2017-11-22 2018-11-19 弹幕内容控制方法、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711176605.6A CN109819342B (zh) 2017-11-22 2017-11-22 弹幕内容控制方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109819342A CN109819342A (zh) 2019-05-28
CN109819342B true CN109819342B (zh) 2022-01-11

Family

ID=66601336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711176605.6A Active CN109819342B (zh) 2017-11-22 2017-11-22 弹幕内容控制方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN109819342B (zh)
WO (1) WO2019101038A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109982128B (zh) * 2019-03-19 2020-11-03 腾讯科技(深圳)有限公司 视频的弹幕生成方法、装置、存储介质和电子装置
CN110231867A (zh) * 2019-05-31 2019-09-13 重庆爱奇艺智能科技有限公司 在虚拟现实设备中调整弹幕的显示属性的方法和装置
CN110263276B (zh) * 2019-06-14 2021-10-15 北京字节跳动网络技术有限公司 消息分发方法、装置、设备及存储介质
CN110460899B (zh) * 2019-06-28 2021-12-07 咪咕视讯科技有限公司 弹幕内容的展示方法、终端设备及计算机可读存储介质
CN113395573A (zh) * 2019-07-17 2021-09-14 刘进 一种互联网流媒体大数据弹幕处理系统
CN110740387B (zh) * 2019-10-30 2021-11-23 深圳Tcl数字技术有限公司 一种弹幕编辑方法、智能终端及存储介质
CN111163359B (zh) * 2019-12-31 2021-01-05 腾讯科技(深圳)有限公司 弹幕生成方法、装置和计算机可读存储介质
CN114173173B (zh) * 2020-09-10 2024-06-11 腾讯数码(天津)有限公司 弹幕信息的显示方法和装置、存储介质及电子设备
CN112637670B (zh) * 2020-12-15 2022-07-29 上海哔哩哔哩科技有限公司 视频生成方法及装置
CN112667081A (zh) * 2020-12-28 2021-04-16 北京大米科技有限公司 一种弹幕显示方法、装置、存储介质及终端
CN113709544B (zh) * 2021-03-31 2024-04-05 腾讯科技(深圳)有限公司 视频的播放方法、装置、设备及计算机可读存储介质
CN113365155A (zh) * 2021-04-26 2021-09-07 北京房江湖科技有限公司 弹幕管理方法及装置、设备及介质
CN113673414B (zh) * 2021-08-18 2023-09-01 北京奇艺世纪科技有限公司 弹幕生成方法、装置、电子设备及存储介质
CN114339362B (zh) * 2021-12-08 2023-06-13 腾讯科技(深圳)有限公司 视频弹幕匹配方法、装置、计算机设备和存储介质
CN114845128A (zh) * 2022-04-22 2022-08-02 咪咕文化科技有限公司 弹幕互动方法、装置、设备及存储介质
CN114915832B (zh) * 2022-05-13 2024-02-23 咪咕文化科技有限公司 一种弹幕显示方法、装置及计算机可读存储介质
CN115174957B (zh) * 2022-06-27 2023-08-15 咪咕文化科技有限公司 弹幕调用方法、装置、计算机设备及可读存储介质
CN115243068B (zh) * 2022-07-25 2024-06-07 武汉博昂泰捷科技有限公司 一种基于直播内容弹幕互动的摄像头控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179359A (zh) * 2011-12-21 2013-06-26 北京新岸线移动多媒体技术有限公司 控制视频终端的方法及装置、视频终端
CN105592331A (zh) * 2015-12-16 2016-05-18 广州华多网络科技有限公司 一种弹幕消息的处理方法、相关设备和系统
CN105635822A (zh) * 2016-01-07 2016-06-01 天脉聚源(北京)科技有限公司 一种视频弹幕处理方法及装置
CN107272890A (zh) * 2017-05-26 2017-10-20 歌尔科技有限公司 一种基于手势识别的人机交互方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221885B (zh) * 2011-06-15 2013-06-19 青岛海信电器股份有限公司 电视机及其控制方法和装置
US9606991B2 (en) * 2012-05-25 2017-03-28 Dwango Co., Ltd. Comment distribution system, and a method and a program for operating the comment distribution system
CN103956036B (zh) * 2013-10-14 2016-12-07 天津锋时互动科技有限公司 一种应用于家电的非触碰式遥控器
CN105516820A (zh) * 2015-12-10 2016-04-20 腾讯科技(深圳)有限公司 一种弹幕交互方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179359A (zh) * 2011-12-21 2013-06-26 北京新岸线移动多媒体技术有限公司 控制视频终端的方法及装置、视频终端
CN105592331A (zh) * 2015-12-16 2016-05-18 广州华多网络科技有限公司 一种弹幕消息的处理方法、相关设备和系统
CN105635822A (zh) * 2016-01-07 2016-06-01 天脉聚源(北京)科技有限公司 一种视频弹幕处理方法及装置
CN107272890A (zh) * 2017-05-26 2017-10-20 歌尔科技有限公司 一种基于手势识别的人机交互方法和装置

Also Published As

Publication number Publication date
CN109819342A (zh) 2019-05-28
WO2019101038A1 (zh) 2019-05-31

Similar Documents

Publication Publication Date Title
CN109819342B (zh) 弹幕内容控制方法、装置、计算机设备和存储介质
US11875467B2 (en) Processing method for combining a real-world environment with virtual information according to a video frame difference value to provide an augmented reality scene, terminal device, system, and computer storage medium
CN108525305B (zh) 图像处理方法、装置、存储介质及电子设备
CN105518712B (zh) 基于字符识别的关键词通知方法及设备
CN107483834B (zh) 一种图像处理方法、连拍方法及装置和相关介质产品
CN111259751B (zh) 基于视频的人体行为识别方法、装置、设备及存储介质
CN110119700B (zh) 虚拟形象控制方法、虚拟形象控制装置和电子设备
US8942510B2 (en) Apparatus and method for switching a display mode
CN109992237B (zh) 智能语音设备控制方法、装置、计算机设备和存储介质
CN111641844A (zh) 直播互动方法、装置、直播系统及电子设备
US10424116B2 (en) Display apparatus and controlling method thereof
WO2022116604A1 (zh) 拍摄图像处理方法及电子设备
CN112199016B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109582122B (zh) 增强现实信息提供方法、装置及电子设备
JP7231638B2 (ja) 映像に基づく情報取得方法及び装置
US11416068B2 (en) Method and apparatus for human-computer interaction in display device, and computer device and storage medium
CN111429338B (zh) 用于处理视频的方法、装置、设备和计算机可读存储介质
CN110705356B (zh) 功能控制方法及相关设备
JP2021034003A (ja) 人物識別方法、装置、電子デバイス、記憶媒体、及びプログラム
CN112351327A (zh) 人脸图像的处理方法、装置、终端及存储介质
CN116437137B (zh) 直播处理方法、装置、电子设备及存储介质
KR20220043004A (ko) 차폐된 이미지 검출 방법, 장치 및 매체
CN111860346A (zh) 动态手势识别方法、装置、电子设备及存储介质
CN112949689A (zh) 图像识别方法、装置、电子设备及存储介质
CN111901518B (zh) 显示方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant