CN111372091B - 一种直播内容风险信息控制方法及系统 - Google Patents

一种直播内容风险信息控制方法及系统 Download PDF

Info

Publication number
CN111372091B
CN111372091B CN202010119760.XA CN202010119760A CN111372091B CN 111372091 B CN111372091 B CN 111372091B CN 202010119760 A CN202010119760 A CN 202010119760A CN 111372091 B CN111372091 B CN 111372091B
Authority
CN
China
Prior art keywords
risk
work order
live
content
auditing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010119760.XA
Other languages
English (en)
Other versions
CN111372091A (zh
Inventor
罗海飞
向芒
王烨
武筠霏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Quwan Network Technology Co Ltd
Original Assignee
Guangzhou Quwan Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Quwan Network Technology Co Ltd filed Critical Guangzhou Quwan Network Technology Co Ltd
Priority to CN202010119760.XA priority Critical patent/CN111372091B/zh
Publication of CN111372091A publication Critical patent/CN111372091A/zh
Application granted granted Critical
Publication of CN111372091B publication Critical patent/CN111372091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种直播内容风险信息控制方法及系统，通过风险信息抓取系统抓取直播频道中的风险内容并生成第一工单，再在第一审核系统内进行一次人工审核，得到第一审核结果，若第一审核结果为疑似违规，则生成第二工单并发送至第二审核系统，在第二审核系统中结合直播频道的实时音频进行二次人工复核，避免了音频识别技术的识别误差，解决了现有的风险信息控制系统识别技术单一且误差较大，音频识别技术使得企业成本提高，无法实现准确、快速以及高效的风险信息控制的技术问题。

Description

一种直播内容风险信息控制方法及系统
技术领域
本申请涉及风险控制技术领域，尤其涉及一种直播内容风险信息控制方法及系统。
背景技术
目前市面上互联网产品的所有UGC(User Generated Content，用户生成内容)和PGC(Professional Generated Content，专业生成内容)内容，按形态可拆分为图片(含视频截图)、文本、音频这几类，为了确保平台输出的内容无违规违法等负面信息，且能通过监管部门审查，需要对平台发布的内容进行审核。
市面上较为普遍的内容审核方法是用图像识别技术、文本识别技术和音频识别技术，对互联网产品所产生的所有内容进行识别，识别后输出三种结果：黑名单(即识别为不合规内容)、白名单(即识别为合规内容)和疑似违规(介于不合规与合规之间，识别技术难以界定)，而疑似违规，一般需要人工参与判断。
现有的风险信息控制通常是将内容拆分为三种形态，分别进行内容识别，不同形态的内容无法结合起来整体、系统地形成画像，尤其是目前音频识别技术对汉语的识别并非十分精准，尤其是普通话不标准、方言多、一词多义或录音环境嘈杂不清晰的情况，对音频识别技术的精准度要求高，且音频识别技术的加入会大大提高企业的成本。
发明内容
本申请提供了一种直播内容风险信息控制方法及系统，解决了现有的风险信息控制系统识别技术单一且误差较大，音频识别技术使得企业成本提高，无法实现准确、快速以及高效的风险信息控制的技术问题。
有鉴于此，本申请第一方面提供了一种直播内容风险信息控制方法，所述方法应用于直播系统中，所述直播系统包括直播频道、风险信息抓取系统、第一审核系统以及第二审核系统，所述方法包括：
所述风险信息抓取系统根据预设风险条件，抓取所述直播频道中的风险内容并生成第一工单；
所述风险信息抓取系统向所述第一审核系统发送所述第一工单，使得所述第一审核系统在基于所述第一工单生成的审核界面中生成对所述第一工单的第一审核结果；
若所述第一审核结果为疑似违规，则所述第一审核系统生成第二工单，并向所述第二审核系统发送所述第二工单；
所述第二审核系统在基于所述第二工单生成的审核界面中获取所述直播频道的实时音频，并生成对所述第二工单的第二审核结果。
可选地，若所述第一审核结果为不违规，则所述第一审核系统忽略所述第一工单。
可选地，所述风险信息抓取系统根据预设风险条件，抓取所述直播频道中的风险内容并生成第一工单具体包括：
所述风险信息抓取系统根据预设风险条件，对所述直播频道中的频道文本信息以及图片信息进行识别，抓取所述直播频道中识别为风险内容的信息并生成第一工单。
可选地，所述风险信息抓取系统根据预设风险条件，抓取所述直播频道中的风险内容并生成第一工单具体包括：
所述风险信息抓取系统根据预设风险条件，对所述直播频道中的公屏实时聊天信息进行识别，抓取所述直播频道中识别为风险内容的信息并生成第一工单。
本申请第二方面提供一种直播内容风险信息控制系统，所述系统包括：
风险信息抓取系统、第一审核系统以及第二审核系统；
所述风险信息抓取系统根据预设风险条件，抓取直播频道中的风险内容并生成第一工单；
所述风险信息抓取系统向所述第一审核系统发送所述第一工单，使得所述第一审核系统在基于所述第一工单生成的审核界面中生成对所述第一工单的第一审核结果；
若所述第一审核结果为疑似违规，则所述第一审核系统生成第二工单，并向所述第二审核系统发送所述第二工单；
所述第二审核系统在基于所述第二工单生成的审核界面中获取所述直播频道的实时音频，并生成对所述第二工单的第二审核结果。
可选地，若所述第一审核结果为不违规，则所述第一审核系统忽略所述第一工单。
可选地，所述风险信息抓取系统根据预设风险条件，抓取所述直播频道中的风险内容并生成第一工单具体包括：
所述风险信息抓取系统根据预设风险条件，对所述直播频道中的频道文本信息以及图片信息进行识别，抓取所述直播频道中识别为风险内容的信息并生成第一工单。
可选地，所述风险信息抓取系统根据预设风险条件，抓取所述直播频道中的风险内容并生成第一工单具体包括：
所述风险信息抓取系统根据预设风险条件，对所述直播频道中的公屏实时聊天信息进行识别，抓取所述直播频道中识别为风险内容的信息并生成第一工单。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，提供了一种直播内容风险信息控制方法，通过风险信息抓取系统抓取直播频道中的风险内容并生成第一工单，再在第一审核系统内进行一次人工审核，得到第一审核结果，若第一审核结果为疑似违规，则生成第二工单并发送至第二审核系统，在第二审核系统中结合直播频道的实时音频进行二次人工复核，避免了音频识别技术的识别误差，解决了现有的风险信息控制系统识别技术单一且误差较大，音频识别技术使得企业成本提高，无法实现准确、快速以及高效的风险信息控制的技术问题。
附图说明
图1为本申请实施例中一种直播内容风险信息控制系统的一个系统结构图；
图2为本申请实施例中一种直播内容风险信息控制方法的第一个方法实施例的流程示意图；
图3为本申请实施例中一种直播内容风险信息控制方法的第二个方法实施例的流程示意图；
图4为本申请实施例中一种直播内容风险信息控制方法的第三个方法实施例的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应理解，本申请应用于一种直播内容风险信息控制系统，请参阅图1，图1为本申请实施例中一种直播内容风险信息控制系统的系统架构图，如图1所示，图1中包括风险信息抓取系统01、第一审核系统02以及第二审核系统03。
本申请设计了一种直播内容风险信息控制方法及系统，解决了现有的风险信息控制系统识别技术单一且误差较大，音频识别技术使得企业成本提高，无法实现准确、快速以及高效的风险信息控制的技术问题。
为了便于理解，请参阅图2，图2为本申请实施例中一种直播内容风险信息控制方法的第一个方法流程图，如图2所示，具体为：
201、风险信息抓取系统01根据预设风险条件，抓取直播频道中的风险内容并生成第一工单；
需要说明的是，风险信息抓取系统01中预置的预设风险条件包括但不限于：
1、图片、文本识别技术的识别结果为黑名单或疑似违规中，符合敏感条件的内容；
2、音频识别技术识别为黑名单或疑似违规的内容；
3、针对直播频道，各内容产生部位的关键词是否属于敏感词汇，产生部位包括频道名字、频道话题、频道欢迎语等频道信息；
4、拥有严重的历史违规记录的用户和频道；
5、信用分低于预设值的用户和频道。
风险信息抓取系统01在检测到直播频道中存在满足预设风险条件的内容后，将抓取直播频道中的风险内容并生成第一工单。
202、风险信息抓取系统01向第一审核系统02发送第一工单，使得第一审核系统02在基于第一工单生成的审核界面中生成对第一工单的第一审核结果；
需要说明的是，风险信息抓取系统01生成了第一工单后，将向第一审核系统02发送该第一工单，使得人工在第一审核系统02中，基于第一工单生成的审核界面中进行审核，得到对第一工单的第一审核结果并上传至第一审核系统02中。
203、若第一审核结果为疑似违规，则第一审核系统02生成第二工单，并向第二审核系统03发送第二工单；
需要说明的是，若人工初步审核的第一审核结果为疑似违规，则第一审核系统02在获取到第一审核结果后，将生成第二工单，并向第二审核系统03发送第二工单。
204、第二审核系统03在基于第二工单生成的审核界面中获取直播频道的实时音频，并生成对第二工单的第二审核结果。
需要说明的是，在人工对第一工单的第一审核结果为疑似违规的前提下，第二审核系统03接收第一审核系统02发送的第二工单，使得人工可以在基于第二工单生成的审核界面中，直接通过获取的直播频道的实时音频进行实时地监听审核，结合风险信息抓取系统01抓取的风险内容，人工确定第二工单的第二审核结果。
可以理解的是，由于语言的多样性以及音频识别技术的不稳定性，再经过风险信息抓取系统01以及第一审核系统02的两轮筛选后，通过直接获取直播频道的实时音频进行人工审核，进一步提高审核的准确性，降低风险。
进一步地，205、若第一审核结果为不违规，则第一审核系统02忽略第一工单。
本申请实施例中，提供了一种直播内容风险信息控制方法，通过风险信息抓取系统01抓取直播频道中的风险内容并生成第一工单，再在第一审核系统02内进行一次人工审核，得到第一审核结果，若第一审核结果为疑似违规，则生成第二工单并发送至第二审核系统03，在第二审核系统03中结合直播频道的实时音频进行二次人工复核，避免了音频识别技术的识别误差，解决了现有的风险信息控制系统识别技术单一且误差较大，音频识别技术使得企业成本提高，无法实现准确、快速以及高效的风险信息控制的技术问题。
请参阅图3，图3为本申请实施例中一种直播内容风险信息控制方法的第二个方法流程图，如图3所示，具体为：
301、风险信息抓取系统01根据预设风险条件，对直播频道中的频道文本信息以及图片信息进行识别，抓取直播频道中识别为风险内容的信息并生成第一工单；
需要说明的是，风险信息抓取系统01中预置的预设风险条件包括但不限于：
1、图片、文本识别技术的识别结果为黑名单或疑似违规中，符合敏感条件的内容；
2、音频识别技术识别为黑名单或疑似违规的内容；
3、针对直播频道，各内容产生部位的关键词是否属于敏感词汇，产生部位包括频道名字、频道话题、频道欢迎语等频道信息；
4、拥有严重的历史违规记录的用户和频道；
5、信用分低于预设值的用户和频道。
风险信息抓取系统01在检测到直播频道的异步内容(文本、图片)中存在满足预设风险条件的内容后，将抓取直播频道中的风险内容并生成第一工单。
302、风险信息抓取系统01向第一审核系统02发送第一工单，使得第一审核系统02在基于第一工单生成的审核界面中生成对第一工单的第一审核结果；
需要说明的是，风险信息抓取系统01生成了第一工单后，将向第一审核系统02发送该第一工单，使得人工在第一审核系统02中，基于第一工单生成的审核界面中进行审核，得到对第一工单的第一审核结果并上传至第一审核系统02中。
303、若第一审核结果为疑似违规，则第一审核系统02生成第二工单，并向第二审核系统03发送第二工单；
需要说明的是，若人工初步审核的第一审核结果为疑似违规，则第一审核系统02在获取到第一审核结果后，将生成第二工单，并向第二审核系统03发送第二工单。
304、第二审核系统03在基于第二工单生成的审核界面中获取直播频道的实时音频，并生成对第二工单的第二审核结果。
需要说明的是，在人工对第一工单的第一审核结果为疑似违规的前提下，第二审核系统03接收第一审核系统02发送的第二工单，使得人工可以在基于第二工单生成的审核界面中，直接通过获取的直播频道的实时音频进行实时地监听审核，结合风险信息抓取系统01抓取的风险内容，人工确定第二工单的第二审核结果。
可以理解的是，由于语言的多样性以及音频识别技术的不稳定性，再经过风险信息抓取系统01以及第一审核系统02的两轮筛选后，通过直接获取直播频道的实时音频进行人工审核，进一步提高审核的准确性，降低风险。
请参阅图4，图4为本申请实施例中一种直播内容风险信息控制方法的第三个方法流程图，如图4所示，具体为：
401、风险信息抓取系统01根据预设风险条件，对直播频道中的公屏实时聊天信息进行识别，抓取直播频道中识别为风险内容的信息并生成第一工单；
需要说明的是，风险信息抓取系统01中预置的预设风险条件包括但不限于：
1、图片、文本识别技术的识别结果为黑名单或疑似违规中，符合敏感条件的内容；
2、音频识别技术识别为黑名单或疑似违规的内容；
3、针对直播频道，各内容产生部位的关键词是否属于敏感词汇，产生部位包括频道名字、频道话题、频道欢迎语等频道信息；
4、拥有严重的历史违规记录的用户和频道；
5、信用分低于预设值的用户和频道。
风险信息抓取系统01在检测到直播频道中公屏的实时聊天信息中存在满足预设风险条件的内容后，将抓取直播频道中的风险内容并生成第一工单。
402、风险信息抓取系统01向第一审核系统02发送第一工单，使得第一审核系统02在基于第一工单生成的审核界面中生成对第一工单的第一审核结果；
需要说明的是，风险信息抓取系统01生成了第一工单后，将向第一审核系统02发送该第一工单，使得人工在第一审核系统02中，基于第一工单生成的审核界面中进行审核，得到对第一工单的第一审核结果并上传至第一审核系统02中。
403、若第一审核结果为疑似违规，则第一审核系统02生成第二工单，并向第二审核系统03发送第二工单；
需要说明的是，若人工初步审核的第一审核结果为疑似违规，则第一审核系统02在获取到第一审核结果后，将生成第二工单，并向第二审核系统03发送第二工单。
404、第二审核系统03在基于第二工单生成的审核界面中获取直播频道的实时音频，并生成对第二工单的第二审核结果。
需要说明的是，在人工对第一工单的第一审核结果为疑似违规的前提下，第二审核系统03接收第一审核系统02发送的第二工单，使得人工可以在基于第二工单生成的审核界面中，直接通过获取的直播频道的实时音频进行实时地监听审核，结合风险信息抓取系统01抓取的风险内容，人工确定第二工单的第二审核结果。
可以理解的是，由于语言的多样性以及音频识别技术的不稳定性，再经过风险信息抓取系统01以及第一审核系统02的两轮筛选后，通过直接获取直播频道的实时音频进行人工审核，进一步提高审核的准确性，降低风险。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种直播内容风险信息控制方法，其特征在于，所述方法应用于直播系统中，所述直播系统包括直播频道、风险信息抓取系统、第一审核系统以及第二审核系统，所述方法包括：
所述风险信息抓取系统根据预设风险条件，抓取所述直播频道中的风险内容并生成第一工单；其中，所述预设风险条件包括直播的音频内容疑似违规或包括黑名单；
所述风险信息抓取系统向所述第一审核系统发送所述第一工单，使得所述第一审核系统在基于所述第一工单生成的审核界面中生成对所述第一工单的第一审核结果；其中，所述第一审核结果包括：不违规、违规和疑似违规；
若所述第一审核结果为疑似违规，则所述第一审核系统生成第二工单，并向所述第二审核系统发送所述第二工单；
所述第二审核系统在基于所述第二工单生成的审核界面中获取所述直播频道的实时音频，并生成对所述第二工单的第二审核结果。
2.根据权利要求1所述的直播内容风险信息控制方法，其特征在于，若所述第一审核结果为不违规，则所述第一审核系统忽略所述第一工单。
3.根据权利要求1所述的直播内容风险信息控制方法，其特征在于，所述风险信息抓取系统根据预设风险条件，抓取所述直播频道中的风险内容并生成第一工单具体包括：
所述风险信息抓取系统根据预设风险条件，对所述直播频道中的频道文本信息以及图片信息进行识别，抓取所述直播频道中识别为风险内容的信息并生成第一工单。
4.根据权利要求1所述的直播内容风险信息控制方法，其特征在于，所述风险信息抓取系统根据预设风险条件，抓取所述直播频道中的风险内容并生成第一工单具体包括：
所述风险信息抓取系统根据预设风险条件，对所述直播频道中的公屏实时聊天信息进行识别，抓取所述直播频道中识别为风险内容的信息并生成第一工单。
5.一种直播内容风险信息控制系统，其特征在于，包括：
风险信息抓取系统、第一审核系统以及第二审核系统；
所述风险信息抓取系统根据预设风险条件，抓取直播频道中的风险内容并生成第一工单；其中，所述预设风险条件包括直播的音频内容疑似违规或包括黑名单；
所述风险信息抓取系统向所述第一审核系统发送所述第一工单，使得所述第一审核系统在基于所述第一工单生成的审核界面中生成对所述第一工单的第一审核结果；其中，所述第一审核结果包括：不违规、违规和疑似违规；
若所述第一审核结果为疑似违规，则所述第一审核系统生成第二工单，并向所述第二审核系统发送所述第二工单；
所述第二审核系统在基于所述第二工单生成的审核界面中获取所述直播频道的实时音频，并生成对所述第二工单的第二审核结果。
6.根据权利要求5所述的直播内容风险信息控制系统，其特征在于，若所述第一审核结果为不违规，则所述第一审核系统忽略所述第一工单。
7.根据权利要求5所述的直播内容风险信息控制系统，其特征在于，所述风险信息抓取系统根据预设风险条件，抓取所述直播频道中的风险内容并生成第一工单具体包括：
所述风险信息抓取系统根据预设风险条件，对所述直播频道中的频道文本信息以及图片信息进行识别，抓取所述直播频道中识别为风险内容的信息并生成第一工单。
8.根据权利要求5所述的直播内容风险信息控制系统，其特征在于，所述风险信息抓取系统根据预设风险条件，抓取所述直播频道中的风险内容并生成第一工单具体包括：
所述风险信息抓取系统根据预设风险条件，对所述直播频道中的公屏实时聊天信息进行识别，抓取所述直播频道中识别为风险内容的信息并生成第一工单。
CN202010119760.XA 2020-02-26 2020-02-26 一种直播内容风险信息控制方法及系统 Active CN111372091B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010119760.XA CN111372091B (zh) 2020-02-26 2020-02-26 一种直播内容风险信息控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010119760.XA CN111372091B (zh) 2020-02-26 2020-02-26 一种直播内容风险信息控制方法及系统

Publications (2)

Publication Number Publication Date
CN111372091A CN111372091A (zh) 2020-07-03
CN111372091B true CN111372091B (zh) 2022-03-29

Family

ID=71211524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010119760.XA Active CN111372091B (zh) 2020-02-26 2020-02-26 一种直播内容风险信息控制方法及系统

Country Status (1)

Country Link
CN (1) CN111372091B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985857A (zh) * 2020-09-11 2020-11-24 支付宝(杭州)信息技术有限公司 审核方法以及装置
CN113055724B (zh) * 2021-03-12 2023-01-20 北京达佳互联信息技术有限公司 直播数据处理方法、装置、服务器、终端、介质及产品
CN113068055B (zh) * 2021-03-15 2023-08-18 广州虎牙科技有限公司 数据传输方法、装置、系统、电子设备和存储介质
CN113613026B (zh) * 2021-07-22 2022-11-22 北京达佳互联信息技术有限公司 直播控制方法、装置、设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101035281B (zh) * 2007-04-19 2010-05-26 北京新岸线网络技术有限公司 分级内容审核系统
US8804915B2 (en) * 2011-11-14 2014-08-12 Gold Post Technologies, Inc. Remote virtual supervision system
WO2017146297A1 (ko) * 2016-02-22 2017-08-31 신현해 몰래카메라 영상 불법 유출 방지 및 실시간 범죄 대처를 위한 보안 시스템 및 방법
CN107623865A (zh) * 2017-09-26 2018-01-23 武汉斗鱼网络科技有限公司 一种数据校验方法及服务器
CN108170813A (zh) * 2017-12-29 2018-06-15 智搜天机（北京）信息技术有限公司 一种全媒体内容智能审核的方法及其系统
CN110493615A (zh) * 2018-05-15 2019-11-22 武汉斗鱼网络科技有限公司 一种直播视频监控方法及电子设备
CN108960782A (zh) * 2018-07-10 2018-12-07 北京木瓜移动科技股份有限公司 内容审核方法以及装置
CN109660823A (zh) * 2018-12-28 2019-04-19 广州华多网络科技有限公司 视频发布方法、装置、电子设备及存储介质
CN110418161A (zh) * 2019-08-02 2019-11-05 广州虎牙科技有限公司 视频审核方法及装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN111372091A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111372091B (zh) 一种直播内容风险信息控制方法及系统
JP5353148B2 (ja) 画像情報検索装置、画像情報検索方法およびそのコンピュータプログラム
TWI482045B (zh) 具商業規則應用之媒體內容來源偵測系統、方法與電腦可讀取式媒體
CN110139062B (zh) 一种视频会议记录的创建方法、装置及终端设备
US7606797B2 (en) Reverse value attribute extraction
CN108182211B (zh) 视频舆情获取方法、装置、计算机设备及存储介质
CN110598008B (zh) 录制数据的数据质检方法及装置、存储介质
JP2010073114A6 (ja) 画像情報検索装置、画像情報検索方法およびそのコンピュータプログラム
CN109726312B (zh) 一种正则表达式检测方法、装置、设备和存储介质
CN107633433B (zh) 广告的审核方法及装置
CN108595520B (zh) 一种生成多媒体文件的方法和装置
CN105718861A (zh) 一种识别视频流数据类别的方法及装置
US11800201B2 (en) Method and apparatus for outputting information
CN111401008A (zh) 文档审核系统、文档审核的方法及装置
CN107590150A (zh) 基于关键帧的视频分析实现方法及装置
CN112307318B (zh) 一种内容发布方法、系统及装置
CN113342942B (zh) 语料自动化获取方法、装置、计算机设备及存储介质
AU2012202280B2 (en) Information processing apparatus, information processing method, and information processing program
CN112348560A (zh) 广告素材智能审核方法、装置和电子设备
AU2015210456B2 (en) Access right estimation apparatus and access right estimation program
CN113515670B (zh) 影视资源状态识别方法、设备及存储介质
GB2500264A (en) Removing or obscuring sensitive medical image
CN111797345A (zh) 应用页面展现方法、装置、计算机设备和存储介质
CN114554131A (zh) 一种高安全性的智慧屏会议内容分享方法、系统及介质
CN112818984A (zh) 标题生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant