CN113329260B - 一种直播处理方法、装置、存储介质及电子设备 - Google Patents

一种直播处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN113329260B
CN113329260B CN202110662255.4A CN202110662255A CN113329260B CN 113329260 B CN113329260 B CN 113329260B CN 202110662255 A CN202110662255 A CN 202110662255A CN 113329260 B CN113329260 B CN 113329260B
Authority
CN
China
Prior art keywords
tabu
live broadcast
action
live
prompt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110662255.4A
Other languages
English (en)
Other versions
CN113329260A (zh
Inventor
刘伟科
郐洪楠
韩卫召
沈俊杰
邵京平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Wodong Tianjun Information Technology Co Ltd
Priority to CN202110662255.4A priority Critical patent/CN113329260B/zh
Publication of CN113329260A publication Critical patent/CN113329260A/zh
Priority to PCT/CN2022/098645 priority patent/WO2022262719A1/zh
Application granted granted Critical
Publication of CN113329260B publication Critical patent/CN113329260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4882Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种直播处理方法、装置、存储介质及电子设备。其中方法包括获取直播端的直播展示对象以及直播数据流;对所述直播数据流进行动作识别以及物体识别,确定直播数据流中动作‑物体的识别结果;将所述动作‑物体的识别结果以及所述直播展示对象,在禁忌库中进行禁忌匹配,其中,所述禁忌库中包括各直播展示对象的禁忌行为信息;若所述动作‑物体的识别结果在所述禁忌库中匹配成功,则向所述直播端发送禁忌提示。通过设置禁忌库,包括各个国别的禁忌行为信息,保证了禁忌行为信息的全面性和准确性,避免了主播不了解其他国家的禁忌行为信息,出现直播禁忌的问题,提高了面向不同展示对象的直播规范性。

Description

一种直播处理方法、装置、存储介质及电子设备
技术领域
本发明实施例涉及直播技术领域,尤其涉及一种直播处理方法、装置、存储介质及电子设备。
背景技术
随着互联网技术的发展和社会文明的提高,直播行业日趋成熟。同时随着全球一体化和我国经济的发展,走出国门拥抱世界是我国发展的最大愿景。直播作为互动体验感最强的形式,通过直播让世界认识我们,通过国际化直播把我们的商品、我们的文化、我们的发展成就展现给全世界,是非常有效的方式。
但是在实现本发明的过程中,发明人发现现有技术中至少存在以下技术问题:世界各国有很多风俗、习惯和禁忌,由于直播的准入门槛很低,不能保证主播能够通晓全世界的风俗习惯,直播领域的实时性很容易造成恶劣的国际影响。
发明内容
本发明实施例提供一种直播处理方法、装置、存储介质及电子设备,以实现识别直播过程中的禁忌行为,对主播端进行提示。
第一方面,本发明实施例提供了一种直播处理方法,包括:
获取直播端的直播展示对象以及直播数据流;
对所述直播数据流进行动作识别以及物体识别,确定直播数据流中动作-物体的识别结果;
将所述动作-物体的识别结果以及所述直播展示对象,在禁忌库中进行禁忌匹配,其中,所述禁忌库中包括各直播展示对象的禁忌行为信息;
若所述动作-物体的识别结果在所述禁忌库中匹配成功,则向所述直播端发送禁忌提示。
第二方面,本发明实施例还提供了一种直播处理装置,包括:
直播数据流获取模块,用于获取直播端的直播展示对象以及直播数据流;
视频帧识别模块,用于对所述直播数据流进行动作识别以及物体识别,确定直播数据流中动作-物体的识别结果;
禁忌匹配模块,用于将所述动作-物体的识别结果以及所述直播展示对象,在禁忌库中进行禁忌匹配,其中,所述禁忌库中包括各直播展示对象的禁忌行为信息;
禁忌提示模块,用于若所述动作-物体的识别结果在所述禁忌库中匹配成功,则向所述直播端发送禁忌提示。
第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明任一实施例提供的直播处理方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任一实施例提供的直播处理方法。
本发明实施例提供的技术方案,通过设置禁忌库,包括各个国别的禁忌行为信息,保证了禁忌行为信息的全面性和准确性。获取直播端选择的直播展示对象在禁忌库中确定禁忌匹配范围,以保证禁忌行为匹配的针对性和精确度。对于获取的直播数据流进行动作识别以及物体识别,确定直播数据流中动作-物体的识别结果,并将动作-物体的识别结果基于所述直播展示对象在禁忌库中进行针对性地禁忌匹配,已检测直播数据流中针对直播展示对象的禁忌行为,通过将动作和物体分别进行识别,降低了行为的识别和匹配难度,提高了识别精度和匹配精度。在匹配成功时向所述直播端发送禁忌提示,避免了主播不了解其他国家的禁忌行为信息,出现直播禁忌的问题,提高了面向不同展示对象的直播规范性。
附图说明
图1为本发明实施例一提供的一种直播处理方法的流程示意图;
图2是本发明实施例提供的一种直播场景的示意图;
图3是本发明实施例提供的一种直播端生成直播数据流的过程示意图;
图4是本发明实施例二提供的一种直播处理方法的流程示意图;
图5为本发明实施例三提供的一种直播处理装置的结构示意图;
图6为本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种直播处理方法的流程示意图,本实施例可适用于在直播过程中实时检测直播过程中禁忌行为的情况,该方法可以由本发明实施例提供的直播处理装置来执行,该直播处理装置可以由软件和/或硬件来实现,该直播处理装置可以配置在诸如服务器或计算机等的电子计算设备上,具体包括如下步骤:
S110、获取直播端的直播展示对象以及直播数据流。
S120、对所述直播数据流进行动作识别以及物体识别,确定直播数据流中动作-物体的识别结果。
S130、将所述动作-物体的识别结果以及所述直播展示对象,在禁忌库中进行禁忌匹配,其中,所述禁忌库中包括各直播展示对象的禁忌行为信息。
S140、若所述动作-物体的识别结果在所述禁忌库中匹配成功,则向所述直播端发送禁忌提示。
示例性的,参见图2,图2是本发明实施例提供的一种直播场景的示意图,直播端和客户端分别与直播平台通信连接,在一些实施例中,直播端和用户端可以是分别的两端,即两个不同的电子设备;在另一些实施例中,还可以是直播端和用户端是同一电子设备,通过不同的展示界面实现不同用户权限的区分,或者通过登录不同的APP进行区分,或者通过验证不同的角色身份进行区域。直播端和客户端可以是诸如手机、平板电脑等的终端设备,分别具有不同的权限,直播端用于提供直播数据,具有直播后台管理权限、直播对象设置权限。客户端可观看直播,仅具有直播观看权限和对直播中直播对象的交易权限。
直播端需要进行注册,直播平台配置有注册模块,接收用户的注册请求以及用户信息,对用户的直播身份进行注册,注册成功后具备相应的权限。对于任一设备向直播平台发起请求时,判断该设备是否登录,登录成功后,确定该设备的权限,即确定该设备为直播端和客户端中的一项。对于直播端可开设直播,设置直播对象(例如进行介绍的物品或者游戏等),生成直播数据流,将生成的直播数据流实时传输至直播平台,便于客户端从直播平台获取直播数据流。
参见图3,图3是本发明实施例提供的一种直播端生成直播数据流的过程示意图。直播端在完成注册和登录后,设置直播展示对象,其中直播展示对象为直播所展示的国别,例如中国、日本等,任一直播端可设置一个或多个直播展示对象。直播端包括本地直播采集设备,例如直播采集设备包括但不限于摄像头、麦克风以及手机等终端设备。通过终端设备上的直播应用调用本地直播采集设备采集音视频数据,形成直播数据流,并通过终端设备上的直播应用将直播数据流发送至直播平台(例如直播服务器)。直播平台对直播端信息进行权限鉴定,若该直播端具有直播权限,则接收直播数据流并存储,在外层封装一个主播服务层用于对外服务,便于在接收到用户端发送的直播数据流的请求时,将该直播数据流发送至用户端进行展示。
本实施例中,直播平台接收直播端发送的直播展示对象,不同直播展示对象存在不同的禁忌行为,例如在直播展示对象包括泰国时,不能在直播中出现摸佛像的行为,在直播展示对象包括俄罗斯时,不能在直播中出现送双数花朵的行为。通过预先设置直播展示对象,便于针对性的进行禁忌行为的检测,以避免直播视频流中出现直播展示对象的禁忌行为。
直播平台中预先设置禁忌库,该禁忌库中包括各个国家的禁忌行为信息。在一些实施例中,禁忌库中基于{country-action(act:thing)}的数据结构进行存储,其中,country为国别信息,action为禁忌行为,act为动作,thing为物体。示例性的,禁忌库中可以包括{泰国-与佛像互动(互动-佛像)},{日本-展示花(拿/捧-荷花)}等。禁忌库中的禁忌行为信息可以是网络搜索、百科查询的方式获取,同时,禁忌库中的禁忌行为信息可以是根据需求进行编辑,例如新增国别以及新增国别的禁忌行为信息,或者,增加、修改和删除任一禁忌行为信息等。通过预先设置禁忌库,便于通过该禁忌库中的禁忌行为信息对各个直播端的直播数据流进行禁忌检测,对各个直播端的直播数据流进行禁忌提示,避免在主播不了解各国国情时出现禁忌行为的情况。
禁忌行为信息由动作和物体组合形成,对于任一直播数据流进行动作识别和物体识别,基于识别到的动作结果和物体结果进行禁忌行为信息的匹配,同时,禁忌库中存储的禁忌行为信息中包括对应的动作和物体,便于进行精准匹配,提高禁忌行为信息的高精度识别。
在一些可选实施例中,可以是对所述直播数据流中的每一个视频帧进行动作识别和物体识别,还可以是对直播数据流中的局部视频帧进行动作识别和物体识别,对此不作限定。
可选的,对所述直播数据流进行动作识别以及物体识别,确定直播数据流中动作-物体的识别结果包括:基于预设时间间隔确定所述直播数据流中进行检测的视频帧;对所述视频帧进行动作识别,得到动作识别结果;对所述视频帧进行物体识别,所述物体识别结果,其中,所述物体识别结果包括物体类型和物体属性;基于所述视频帧的动作识别结果和物体识别结果得到所述直播数据流在当前的动作-物体的识别结果。其中,预设时间间隔可以是3s-5s,可根据需求设置。直播视频流中的各视频帧中均配置有时间戳,可根据时间戳以及预设时间间隔确定进行检测的每一视频帧。通过预设时间间隔确定进行检测的局部视频帧,避免对直播数据流的全量视频帧进行检测导致的计算量过大,影响直播质量的问题。
在一些实施例中,可以是基于预先设置的动作识别模型对视频帧进行动作识别,将提取的视频帧作为输入信息输入至预先训练的动作识别模型中,得到动作识别模型输出的动作类型,示例性的,动作类型可以是包括但不限于走、吃、抽烟、捧、摸等。可选的,动作识别模型可以是关键点识别模型,用于识别视频帧中人物的关键点位置,并基于关键点位置的组合确定对应的动作类型,其中,关键点位置可以包括头、手部、腿部以及手部、腿部的各关节点。可选的,动作识别模型可以是骨骼识别模型,用于识别视频帧中人物的骨架图,基于骨架图中各骨骼的位置确定对应的动作类型。可选的,动作识别模型包括但不限于神经网络模型、提升树模型、分类器模型等,对此不作限定。
动作识别模型可以是基于样本图像和样本图像的动作标签训练得到,其中,样本图像可以是基于所需的动作分类采集得到,例如可以是通过摄像头等图像采集设备对目标对象采集特定动作在不同角度、不同位置、不同光照强度下的图像,作为样本图像,还可以是在搜索引擎中基于特定动作为搜索词得到的图像,作为样本图像。其中,特定动作可以至少包括根据禁忌库中各国别的禁忌行为信息中的动作。
在一些可选实施例中,可以是基于预先设置的物体识别模型对视频帧进行物体识别,将提取的视频帧作为输入信息输入至预先训练的物体识别模型中,得到物体识别模型输出的物体识别结果。其中,物体识别结果中可以是包括物体类型和物体属性,物体属性可以包括但不限于物体数量、物体颜色和物体尺寸等,其中,物体属性的类型可以是基于禁忌库中各国别的禁忌行为信息中的物体属性确定,示例性的,俄罗斯对应的禁忌行为信息包括送双数花朵的行为,相应的,物体属性的类型中包括物体数量;中国对应的禁忌行为信息包括送绿色帽子的行为,即相应的,物体属性的类型中包括物体颜色。
物体识别模型可以是基于样本图像和样本图像的物体标签训练得到,其中,样本图像可以是通过搜索引擎获取,该样本图像中物体可以是至少包括禁忌库中各国别的禁忌行为信息中的物体。可选的,物体识别模型包括但不限于神经网络模型、提升树模型、分类器模型等,对此不作限定。
对于任一视频帧,可以是同步执行动作识别和物体识别,即将视频帧同步输入至动作识别模型和物体识别模型,分别得到对应的识别结果,其中,该识别结果中携带有视频帧的时间戳以及所属直播视频流的直播标识,将具有相同直播标识和时间戳的动作识别结果和物体识别结果组合,得到当前的动作-物体的识别结果,避免不同视频帧或者不同直播视频流的识别结果组合动作的禁忌误匹配的情况。
将得到的动作-物体的识别结果在禁忌库中进行匹配,确定该动作-物体的识别结果是否属于禁忌行为。由于不同国别存在不同的禁忌行为信息,同一动作-物体的识别结果在不同国别存在不同的匹配结果,例如,送双数花朵的行为在中国不属于禁忌行为,而在俄罗斯属于禁忌行为,因此,根据直播端发送的直播展示对象针对性的对动作-物体的识别结果进行禁忌匹配,提高匹配精确度,避免误匹配导致的遗漏或误提醒等问题。
可选的,将所述动作-物体的识别结果以及所述直播展示对象,在禁忌库中进行禁忌匹配,包括:基于所述直播展示对象在所述禁忌库中确定匹配范围,其中,所述匹配范围被包括所述直播展示对象的禁忌行为信息;将所述动作-物体的识别结果在所述直播展示对象的匹配范围内进行匹配。具体的,在禁忌库中提取直播端选择的直播展示对象的禁忌行为信息,形成匹配范围,该匹配范围内包括直播端选择的每一个直播展示对象在禁忌库中全部禁忌行为信息,将通过视频帧识别得到的动作-物体的识别结果上述匹配范围内进行匹配,在减少匹配数据量的基础上,提高匹配的针对性和匹配精度。
分别将动作-物体的识别结果中的动作、物体以及物体属性与匹配范围内的各禁忌行为信息进行匹配,若动作、物体以及物体属性均匹配成功,则确定视频帧中包括禁忌行为,若动作、物体以及物体属性中的一项或多项未匹配成功,则确定视频帧中不包括禁忌行为,示例性的,动作-物体的识别结果为手捧-花(三朵),与送双数花朵的行为中物体属性不一致,不属于禁忌行为,动作-物体的识别结果为手捧-花(二朵),与送双数花朵的行为中动作、物体以及物体属性均一致,属于禁忌行为。
本实施例中,通过将物体和动作分别识别,提高识别精度,同时将物体和动作分别进行匹配,降低了行为匹配难度,提高了行为匹配精确度。在任一直播视频流的动作-物体的识别结果在禁忌库中匹配成功时,向该直播视频流对应的直播端发送禁忌提示,用于提示主播停止禁忌行为并改正。
可选的,向所述直播端发送禁忌提示,包括:提取所述匹配成功的禁忌行为信息的提示内容,将所述提示内容发送至所述直播端,以使所述直播端展示所述提示内容。在一些可选实施例中,禁忌库中可以是存储有各的禁忌行为信息的提示内容,该提示内容可以是包括禁忌行为的描述信息,以及禁忌行为对应的正确行为。可选的,禁忌库中可以是以{country-action(act:thing)-taboo-right}的数据结构存储,其中,taboo为禁忌行为的描述信息,right为禁忌行为对应的正确行为。示例性的,{俄罗斯-献花(送-花)-不能单数(尤其不能是2)-必须双数},{日本-展示花(拿/捧-花)-不能是荷花-其他花可以},{泰国-与佛像互动(互动-佛像)-不能摸佛像(尤其是头)-需要对佛像保持尊敬}。在动作-物体的识别结果与禁忌行为信息中的act项和thing项匹配成功时,提取taboo项和right项,形成禁忌提示信息,基于该直播视频流的直播标识将禁忌提示信息发送至直播端,以使直播端在接收到禁忌提示信息时,展示提示内容。
在一些可选实施例中,提示内容包括文本、图片和视频的至少一项。其中,禁忌行为对应的正确行为可以是文本、图片和视频中至少一种形式。其中,文本提示内容可以是基于文字弹幕、文字弹窗的形式在主播端界面进行显示,图片提示内容可以是以一定屏幕比例的形式在主播端界面展示,并悬浮显示预设时长,视频提示内容可以是在主播端界面以一定屏蔽比例反复播放画中画视频N次,具体的,可以在主播端的直播层增加一个透明蒙层,并在透明蒙层上述比例和位置播放指定视频。
本实施例的技术方案,通过设置禁忌库,包括各个国别的禁忌行为信息,保证了禁忌行为信息的全面性和准确性。获取直播端选择的直播展示对象在禁忌库中确定禁忌匹配范围,以保证禁忌行为匹配的针对性和精确度。对于获取的直播数据流进行动作识别以及物体识别,确定直播数据流中动作-物体的识别结果,并将动作-物体的识别结果基于所述直播展示对象在禁忌库中进行针对性地禁忌匹配,已检测直播数据流中针对直播展示对象的禁忌行为,通过将动作和物体分别进行识别,降低了行为的识别和匹配难度,提高了识别精度和匹配精度。在匹配成功时向所述直播端发送禁忌提示,避免了主播不了解其他国家的禁忌行为信息,出现直播禁忌的问题,提高了面向不同展示对象的直播规范性。
实施例二
图4是本发明实施例二提供的一种直播处理方法的流程示意图,在上述实施例的基础上进行了优化,可选的,在所述动作-物体的识别结果在所述禁忌库中匹配成功后,所述方法还包括:确定匹配成功的禁忌行为信息是否满足判断条件,若否,则记录所述匹配成功的禁忌行为信息,并继续对下一视频帧进行动作识别以及物体识别;若是,则执行向所述直播端发送禁忌提示的步骤。参见图4,该方法具体包括:
S210、获取直播端的直播展示对象以及直播数据流。
S220、对所述直播数据流进行动作识别以及物体识别,确定直播数据流中动作-物体的识别结果。
S230、将所述动作-物体的识别结果以及所述直播展示对象,在禁忌库中进行禁忌匹配,其中,所述禁忌库中包括各直播展示对象的禁忌行为信息。
S240、若所述动作-物体的识别结果在所述禁忌库中匹配成功,则确定匹配成功的禁忌行为信息是否满足判断条件,若是,则执行步骤S260,若否,则执行步骤S250。
S250、记录所述匹配成功的禁忌行为信息,返回执行步骤S220,对下一视频帧进行动作识别以及物体识别。
S260、向所述直播端发送禁忌提示。
为了减少误判和避免重复提醒的情况,对每一个禁忌行为信息对应设置判断条件,该判断条件用于确定禁忌行为的程度,不同的禁忌行为信息可以是对应对不同的判断条件,若满足判断条件,则触发直播端发送禁忌提示,以提示主播进行改正,在不满足判断条件时,可以是记录所述匹配成功的禁忌行为信息,并对记录的禁忌行为信息进行条件累计,对下一视频帧进行禁忌行为信息的识别和匹配,直到满足判断条件。通过设置判断条件,对不满足判断条件的直播视频流不进行提示,避免频繁提示对直播造成干扰。
可选的,判断条件包括时长条件和频次条件中的一项或两项,例如,判断条件可以是匹配成功的禁忌行为信息的累计时长超过预设时长N,和/或,匹配成功的禁忌行为信息的累计频次超过预设频次M,其中,N为大于0的自然数,M为大于或等于1的正整数。通过对不同的禁忌行为信息设置不同的判断条件,以对不同禁忌行为信息进行针对性判断,对于诸如比中指等恶劣行为设置严格判断条件,例如次数为1,提高直播文明程度,对于诸如吃炸鸡等非恶劣行为设置宽松的判断条件,降低对频繁提示对直播造成干扰。
本实施例中,根据对进行检测的每一个视频帧的动作-物体的识别结果形成识别列表,该识别列表可以是包括时长识别列表和/或频次识别列表。其中,时长识别列表可以是List[{action-startTimestamp-ts}]的数据结构,action是禁忌行为,startTimestamp是触发开始时间,ts是行为的总时长,List是指该数据结构为一个有序数组。当一个直播首次触发禁忌内容时,初始化List数组,同时保存一条记录数据至数组中,其中ts值为0。例如act为献花,startTimestamp为unix时间16021313211,则保存一条记录为:{献花-16021313211-0}。基于预设时间间隔(例如每隔3秒)对视频帧进行检测,若禁忌匹配成功,则生成一条新的记录,并与List数组中最后一条记录进行比对,比对内容包括act和startTimestamp,例如,action不变,startTimestamp间隔为3秒(允许正负300ms误差),则覆盖startTimestamp,并增加ts数据3,例如数据变为{献花-16021313214-3},其中startTimestamp增加了3,ts也增加了3。如果再次检测时,action不变,startTimestamp间隔大于3秒,则覆盖startTimestamp,但不修改ts数据。通过覆盖startTimestamp,更新每一次触发禁忌行为的起始时间,便于识别当前次触发禁忌行为与上一次触发禁忌行为是否为连续触发,若当前次触发禁忌行为的startTimestamp是上一当前次触发禁忌行为的startTimestamp与ts数据的和,表明为连续行为,可进行时长叠加,若否,表明为非连续行为。如果再次检测时,action变化,则重新建立一条记录,追加至有序列表末端。
频次识别列表可以是List[{action-count}]数据结构,其中count为累计次数。首次触发禁忌内容时,初始化List结构,并形成一条action-count数据,如{摸佛像-1},每次触发禁忌内容时,判断List中是否有同action数据,如果有,其count+1,如果没有,新增一条act-count数据。
通过设置时长识别列表和频次识别列表,记录直播数据流中已触发禁忌行为的情况,便于基于判断条件进行判断。在一些可选实施例中,确定匹配成功的禁忌行为信息是否满足判断条件,包括:基于所述匹配成功的禁忌行为信息,更新所述禁忌行为信息的时长信息和/或频次信息;确定更新后的时长信息和/或频次信息进行是否满足所述禁忌行为信息对应的判断条件。具体的,可以是基于匹配成功的禁忌行为信息更新时长识别列表和/或频次识别列表,确定当前的时长信息和/或频次信息。从禁忌库中提取匹配成功的禁忌行为信息对应的判断条件,将当前的时长信息和/或频次信息与提取的判断条件进行比对。示例性的,判断条件为累计时长大于15s,若当前的时长信息小于15s,则不满足判断条件,若当前的时长信息大于15s,则满足判断条件。
本实施例提供的技术方案,通过在动作-物体的识别结果在禁忌库中匹配成功后,确定匹配成功的禁忌行为信息是否满足判断条件,并在满足判断条件时触发对直播端的提示,对不满足判断条件的直播视频流不进行提示,避免频繁提示对直播造成干扰。
实施例三
图4为本发明实施例三提供的一种直播处理装置的结构示意图,该直播处理装置可以是配置在主播平台或者直播服务器中,该装置包括:
直播数据流获取模块310,用于获取直播端的直播展示对象以及直播数据流;
视频帧识别模块320,用于对所述直播数据流进行动作识别以及物体识别,确定直播数据流中动作-物体的识别结果;
禁忌匹配模块330,用于将所述动作-物体的识别结果以及所述直播展示对象,在禁忌库中进行禁忌匹配,其中,所述禁忌库中包括各直播展示对象的禁忌行为信息;
禁忌提示模块340,用于若所述动作-物体的识别结果在所述禁忌库中匹配成功,则向所述直播端发送禁忌提示。
在上述实施例的基础上,视频帧识别模块320用于:
基于预设时间间隔确定所述直播数据流中进行检测的视频帧;
对所述视频帧进行动作识别,得到动作识别结果;
对所述视频帧进行物体识别,所述物体识别结果,其中,所述物体识别结果包括物体类型和物体属性;
基于所述视频帧的动作识别结果和物体识别结果得到所述直播数据流在当前的动作-物体的识别结果。
在上述实施例的基础上,禁忌匹配模块330用于:
基于所述直播展示对象在所述禁忌库中确定匹配范围,其中,所述匹配范围被包括所述直播展示对象的禁忌行为信息;
将所述动作-物体的识别结果在所述直播展示对象的匹配范围内进行匹配。
在上述实施例的基础上,该装置还包括:
禁忌判断模块,用于在所述动作-物体的识别结果在所述禁忌库中匹配成功后,确定匹配成功的禁忌行为信息是否满足判断条件,若否,则记录所述匹配成功的禁忌行为信息,并继续对下一视频帧进行动作识别以及物体识别;若是,则执行向所述直播端发送禁忌提示的步骤。
在上述实施例的基础上,所述判断条件包括时长条件和频次条件中的一项或两项;
禁忌判断模块用于:
所述确定匹配成功的禁忌行为信息是否满足判断条件,包括:
基于所述匹配成功的禁忌行为信息,更新所述禁忌行为信息的时长信息和/或频次信息;
确定更新后的时长信息和/或频次信息进行是否满足所述禁忌行为信息对应的判断条件。
在上述实施例的基础上,禁忌提示模块340用于:
提取所述匹配成功的禁忌行为信息的提示内容,将所述提示内容发送至所述直播端,以使所述直播端展示所述提示内容。
在上述实施例的基础上,所述提示内容包括文本、图片和视频的至少一项。
本发明实施例所提供的直播处理装置可执行本发明任意实施例所提供的直播处理方法,具备执行方法相应的功能模块和有益效果。
实施例四
图6为本发明实施例四提供的一种电子设备的结构示意图。图6示出了适于用来实现本发明实施方式的电子设备12的框图。图6显示的电子设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。设备12典型的是承担图像分类功能的电子设备。
如图6所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器16,存储装置28,连接不同系统组件(包括存储装置28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture,ISA)总线,微通道体系结构(Micro Channel Architecture,MCA)总线,增强型ISA总线、视频电子标准协会(Video Electronics Standards Association,VESA)局域总线以及外围组件互连(Peripheral Component Interconnect,PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储装置28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory,RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory,CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory,DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块26的程序36,可以存储在例如存储装置28中,这样的程序模块26包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网关环境的实现。程序模块26通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、摄像头、显示器24等)通信,还可与一个或者多个使得用户能与该电子设备12交互的设备通信,和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,电子设备12还可以通过网关适配器20与一个或者多个网关(例如局域网(Local Area Network,LAN),广域网Wide Area Network,WAN)和/或公共网关,例如因特网)通信。如图所示,网关适配器20通过总线18与电子设备12的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks,RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储装置28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明上述实施例所提供的直播处理方法。
实施例五
本发明实施例五提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的直播处理方法。
当然,本发明实施例所提供的一种计算机可读存储介质,其上存储的计算机程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的直播处理方法。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的源代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的源代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机源代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。源代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网关——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种直播处理方法,其特征在于,包括:
获取直播端的直播展示对象以及直播数据流,其中,所述直播展示对象为直播所展示的国别;
对所述直播数据流进行动作识别以及物体识别,确定直播数据流中动作-物体的识别结果;
将所述动作-物体的识别结果以及所述直播展示对象,在禁忌库中进行禁忌匹配,其中,所述禁忌库中包括各直播展示对象的禁忌行为信息;
若所述动作-物体的识别结果在所述禁忌库中匹配成功,则向所述直播端发送禁忌提示,以使所述直播端展示所述禁忌提示的提示内容;
其中,所述禁忌提示的提示内容包括禁忌行为的描述信息以及禁忌行为对应的正确行为。
2.根据权利要求1所述的方法,其特征在于,所述对所述直播数据流进行动作识别以及物体识别,确定直播数据流中动作-物体的识别结果包括:
基于预设时间间隔确定所述直播数据流中进行检测的视频帧;
对所述视频帧进行动作识别,得到动作识别结果;
对所述视频帧进行物体识别,所述物体识别结果,其中,所述物体识别结果包括物体类型和物体属性;
基于所述视频帧的动作识别结果和物体识别结果得到所述直播数据流在当前的动作-物体的识别结果。
3.根据权利要求1所述的方法,其特征在于,所述将所述动作-物体的识别结果以及所述直播展示对象,在禁忌库中进行禁忌匹配,包括:
基于所述直播展示对象在所述禁忌库中确定匹配范围,其中,所述匹配范围被包括所述直播展示对象的禁忌行为信息;
将所述动作-物体的识别结果在所述直播展示对象的匹配范围内进行匹配。
4.根据权利要求1所述的方法,其特征在于,在所述动作-物体的识别结果在所述禁忌库中匹配成功后,所述方法还包括:
确定匹配成功的禁忌行为信息是否满足判断条件,若否,则记录所述匹配成功的禁忌行为信息,并继续对下一视频帧进行动作识别以及物体识别;
若是,则执行向所述直播端发送禁忌提示的步骤。
5.根据权利要求4所述的方法,其特征在于,所述判断条件包括时长条件和频次条件中的一项或两项;
所述确定匹配成功的禁忌行为信息是否满足判断条件,包括:
基于所述匹配成功的禁忌行为信息,更新所述禁忌行为信息的时长信息和/或频次信息;
确定更新后的时长信息和/或频次信息进行是否满足所述禁忌行为信息对应的判断条件。
6.根据权利要求1所述的方法,其特征在于,所述向所述直播端发送禁忌提示,包括:
提取所述匹配成功的禁忌行为信息的提示内容,将所述提示内容发送至所述直播端,以使所述直播端展示所述提示内容。
7.根据权利要求6所述的方法,其特征在于,所述提示内容包括文本、图片和视频的至少一项。
8.一种直播处理装置,其特征在于,包括:
直播数据流获取模块,用于获取直播端的直播展示对象以及直播数据流,其中,所述直播展示对象为直播所展示的国别;
视频帧识别模块,用于对所述直播数据流进行动作识别以及物体识别,确定直播数据流中动作-物体的识别结果;
禁忌匹配模块,用于将所述动作-物体的识别结果以及所述直播展示对象,在禁忌库中进行禁忌匹配,其中,所述禁忌库中包括各直播展示对象的禁忌行为信息;
禁忌提示模块,用于若所述动作-物体的识别结果在所述禁忌库中匹配成功,则向所述直播端发送禁忌提示,以使所述直播端展示所述禁忌提示的提示内容;
其中,所述禁忌提示的提示内容包括禁忌行为的描述信息以及禁忌行为对应的正确行为。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一所述的直播处理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的直播处理方法。
CN202110662255.4A 2021-06-15 2021-06-15 一种直播处理方法、装置、存储介质及电子设备 Active CN113329260B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110662255.4A CN113329260B (zh) 2021-06-15 2021-06-15 一种直播处理方法、装置、存储介质及电子设备
PCT/CN2022/098645 WO2022262719A1 (zh) 2021-06-15 2022-06-14 一种直播处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110662255.4A CN113329260B (zh) 2021-06-15 2021-06-15 一种直播处理方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN113329260A CN113329260A (zh) 2021-08-31
CN113329260B true CN113329260B (zh) 2024-04-09

Family

ID=77420847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110662255.4A Active CN113329260B (zh) 2021-06-15 2021-06-15 一种直播处理方法、装置、存储介质及电子设备

Country Status (2)

Country Link
CN (1) CN113329260B (zh)
WO (1) WO2022262719A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113329260B (zh) * 2021-06-15 2024-04-09 北京沃东天骏信息技术有限公司 一种直播处理方法、装置、存储介质及电子设备
CN115546824B (zh) * 2022-04-18 2023-11-28 荣耀终端有限公司 禁忌图片识别方法、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104428779A (zh) * 2012-05-07 2015-03-18 谷歌公司 实时多用户复合流中的未授权内容的检测
CN107682719A (zh) * 2017-09-05 2018-02-09 广州数沃信息科技有限公司 一种直播内容健康度的监测评估方法及装置
JP2019053384A (ja) * 2017-09-13 2019-04-04 沖電気工業株式会社 異常検知システム、情報処理装置、及び、異常検知方法
CN110059661A (zh) * 2019-04-26 2019-07-26 腾讯科技(深圳)有限公司 动作识别方法、人机交互方法、装置及存储介质
WO2020090697A1 (ja) * 2018-10-28 2020-05-07 株式会社Dapリアライズ 遠隔ライブ映像娯楽施設及び該遠隔ライブ映像娯楽施設を利用するユーザに対する課金方法
CN111147880A (zh) * 2019-12-30 2020-05-12 广州华多网络科技有限公司 视频直播的互动方法、装置、系统、电子设备及存储介质
CN111222450A (zh) * 2020-01-02 2020-06-02 广州虎牙科技有限公司 模型的训练及其直播处理的方法、装置、设备和存储介质
US10893329B1 (en) * 2019-09-03 2021-01-12 International Business Machines Corporation Dynamic occlusion of livestreaming
CN112217841A (zh) * 2020-12-09 2021-01-12 平安国际智慧城市科技股份有限公司 直播间管理的方法、装置、计算机设备及存储介质
CN112511855A (zh) * 2020-11-28 2021-03-16 南京雄雉电子商务有限公司 一种基于云计算的电子商务平台视频直播智能管理系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2760211C2 (ru) * 2013-04-19 2021-11-22 Джеймс КАРЕЙ Аналитическая система распознавания
CN106060653A (zh) * 2016-06-08 2016-10-26 武汉鸿瑞达信息技术有限公司 一种对互联网视频直播中的不雅动作过滤的方法
CN107864401A (zh) * 2017-11-08 2018-03-30 北京密境和风科技有限公司 一种基于直播的监控方法、装置、系统及终端设备
CN113329260B (zh) * 2021-06-15 2024-04-09 北京沃东天骏信息技术有限公司 一种直播处理方法、装置、存储介质及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104428779A (zh) * 2012-05-07 2015-03-18 谷歌公司 实时多用户复合流中的未授权内容的检测
CN107682719A (zh) * 2017-09-05 2018-02-09 广州数沃信息科技有限公司 一种直播内容健康度的监测评估方法及装置
JP2019053384A (ja) * 2017-09-13 2019-04-04 沖電気工業株式会社 異常検知システム、情報処理装置、及び、異常検知方法
WO2020090697A1 (ja) * 2018-10-28 2020-05-07 株式会社Dapリアライズ 遠隔ライブ映像娯楽施設及び該遠隔ライブ映像娯楽施設を利用するユーザに対する課金方法
CN110059661A (zh) * 2019-04-26 2019-07-26 腾讯科技(深圳)有限公司 动作识别方法、人机交互方法、装置及存储介质
US10893329B1 (en) * 2019-09-03 2021-01-12 International Business Machines Corporation Dynamic occlusion of livestreaming
CN111147880A (zh) * 2019-12-30 2020-05-12 广州华多网络科技有限公司 视频直播的互动方法、装置、系统、电子设备及存储介质
CN111222450A (zh) * 2020-01-02 2020-06-02 广州虎牙科技有限公司 模型的训练及其直播处理的方法、装置、设备和存储介质
CN112511855A (zh) * 2020-11-28 2021-03-16 南京雄雉电子商务有限公司 一种基于云计算的电子商务平台视频直播智能管理系统
CN112217841A (zh) * 2020-12-09 2021-01-12 平安国际智慧城市科技股份有限公司 直播间管理的方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2022262719A1 (zh) 2022-12-22
CN113329260A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
US10165307B2 (en) Automatic recognition of entities in media-captured events
CN109547819B (zh) 直播列表展示方法、装置以及电子设备
CN109145784B (zh) 用于处理视频的方法和装置
CN110784759B (zh) 弹幕信息处理方法、装置、电子设备及存储介质
CN108924608B (zh) 一种视频教学的辅助方法及智能设备
US11430265B2 (en) Video-based human behavior recognition method, apparatus, device and storage medium
CN113329260B (zh) 一种直播处理方法、装置、存储介质及电子设备
CN107786549B (zh) 音频文件的添加方法、装置、系统及计算机可读介质
CN111669612B (zh) 基于直播的信息投放方法、装置和计算机可读存储介质
US10997395B2 (en) Selective identity recognition utilizing object tracking
CN110225387A (zh) 一种信息搜索方法、装置及电子设备
CN111246232A (zh) 直播互动方法、装置、电子设备及存储介质
US20140079281A1 (en) Augmented reality creation and consumption
CN109408672B (zh) 一种文章生成方法、装置、服务器及存储介质
CN110812845B (zh) 外挂检测方法、外挂识别模型的训练方法和相关装置
US9842258B2 (en) System and method for video preview
US10701301B2 (en) Video playing method and device
US10769247B2 (en) System and method for interacting with information posted in the media
WO2021023047A1 (zh) 人脸图像的处理方法、装置、终端及存储介质
CN109286848B (zh) 一种终端视频信息的交互方法、装置及存储介质
CN111666898A (zh) 用于识别车辆所属类别的方法和装置
CN114783061B (zh) 一种吸烟行为检测方法、装置、设备和介质
CN111343508B (zh) 信息显示控制方法及装置、电子设备、存储介质
US20170171462A1 (en) Image Collection Method, Information Push Method and Electronic Device, and Mobile Phone
CN109151599B (zh) 视频处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant