CN114547391A - 消息审核方法及装置 - Google Patents

消息审核方法及装置 Download PDF

Info

Publication number
CN114547391A
CN114547391A CN202210181661.3A CN202210181661A CN114547391A CN 114547391 A CN114547391 A CN 114547391A CN 202210181661 A CN202210181661 A CN 202210181661A CN 114547391 A CN114547391 A CN 114547391A
Authority
CN
China
Prior art keywords
auditing
message
image
information
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210181661.3A
Other languages
English (en)
Inventor
王丽伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202210181661.3A priority Critical patent/CN114547391A/zh
Publication of CN114547391A publication Critical patent/CN114547391A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90344—Query processing by using string matching techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种消息审核方法及装置，涉及金融技术领域；其中该方法包括：接收消息发送方上传的5G消息；5G消息中包含第一文本信息、第一图像信息、视频信息；对视频信息进行抽帧处理得到第二图像信息；利用预先训练的文本提取模型提取第一图像信息、第二图像信息中的第二文本信息；提取第一文本信息、第二文本信息中的关键字，将关键字与预先配置的审核关键字表进行字符串匹配；在字符串匹配结果小于第一预设阈值时，将第一图像信息、第二图像信息输入到图像审核模型中进行不合规内容审核；在图像审核模型输出的审核通过概率值大于第一预设阈值时，将5G消息发送至消息接收方。本发明可以节省人力成本，提高消息审核效率。

Description

消息审核方法及装置
技术领域
本发明涉及人工智能技术领域，尤其涉及消息审核方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
5G消息在使用过程中，为确保信息传播安全，需要对消息发送方上传的消息进行安全审核，审核通过后才发送给接收方。当5G消息大规模使用时，单纯的人工审核成本较大，审核效率低，准确性差。
发明内容
本发明实施例提供一种消息审核方法，用以节省人力成本，提高消息审核效率，提升消息审核的准确性，该方法包括：
接收消息发送方上传的5G消息；5G消息中包含第一文本信息、第一图像信息、视频信息；
对视频信息进行抽帧处理得到第二图像信息；
利用预先训练的文本提取模型提取第一图像信息、第二图像信息中的第二文本信息；其中，所述文本提取模型为预先根据标注了文本内容的图像样本训练得到的机器学习模型；
提取第一文本信息、第二文本信息中的关键字，将所述关键字与预先配置的审核关键字表进行字符串匹配；所述审核关键字表中配置有审核不能通过的关键字；
在字符串匹配结果为不匹配时，将第一图像信息、第二图像信息输入到图像审核模型中进行不合规内容审核；其中，所述图像审核模型是根据标注了不合规内容的图像样本训练得到的机器学习模型；
在图像审核模型输出的审核通过概率值大于第一预设阈值时，将所述5G消息发送至消息接收方。
本发明实施例还提供一种消息审核装置，用以节省人力成本，提高消息审核效率，提升消息审核的准确性，该装置包括：
接收模块，用于接收消息发送方上传的5G消息；5G消息中包含第一文本信息、第一图像信息、视频信息；
第一处理模块，用于对视频信息进行抽帧处理得到第二图像信息；
文本信息提取模块，用于利用预先训练的文本提取模型提取第一图像信息、第二图像信息中的第二文本信息；其中，所述文本提取模型为预先根据标注了文本内容的图像样本训练得到的机器学习模型；
第二处理模块，用于提取第一文本信息、第二文本信息中的关键字，将所述关键字与预先配置的审核关键字表进行字符串匹配；所述审核关键字表中配置有审核不能通过的关键字；
图像审核模块，用于在字符串匹配结果小于第一预设阈值时，将第一图像信息、第二图像信息输入到图像审核模型中进行不合规内容审核；其中，所述图像审核模型是根据标注了不合规内容的图像样本训练得到的机器学习模型；
发送模块，用于在图像审核模型输出的审核通过概率值大于第一预设阈值时，将所述5G消息发送至消息接收方。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述消息审核方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述消息审核方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述消息审核方法。
本发明实施例中，接收消息发送方上传的5G消息；5G消息中包含第一文本信息、第一图像信息、视频信息；对视频信息进行抽帧处理得到第二图像信息；利用预先训练的文本提取模型提取第一图像信息、第二图像信息中的第二文本信息；其中，所述文本提取模型为预先根据标注了文本内容的图像样本训练得到的机器学习模型；提取第一文本信息、第二文本信息中的关键字，将所述关键字与预先配置的审核关键字表进行字符串匹配；所述审核关键字表中配置有审核不能通过的关键字；在字符串匹配结果小于第一预设阈值时，将第一图像信息、第二图像信息输入到图像审核模型中进行不合规内容审核；其中，所述图像审核模型是根据标注了不合规内容的图像样本训练得到的机器学习模型；在图像审核模型输出的审核通过概率值大于第一预设阈值时，将所述5G消息发送至消息接收方。这样，根据审核策略表、以及图像审核模型就可以审核5G消息中是否存在不合规内容，不仅可以节省人力成本，还提高消息审核效率，提升消息审核的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中提供一种消息审核方法的流程图；
图2为本发明实施例中提供的一种在图像中可能包含不合规内容时的审核方法；
图3为本发明实施例中提供的一种消息审核装置的示意图；
图4为本发明实施例中提供的另一种消息审核装置的示意图；
图5为本发明实施例中提供的另一种消息审核装置的示意图；
图6为本发明实施例中提供的另一种消息审核装置的示意图；
图7为本发明实施例中提供的一种计算机设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
经研究发现，5G消息在使用过程中，为确保信息传播安全，需要对消息发送方上传的消息进行安全审核，审核通过后才发送给接收方。当5G消息大规模使用时，单纯的人工审核成本较大，审核效率低，准确性差。
针对上述研究，本发明实施例提供一种消息审核方法，如图1所示，包括：
S101：接收消息发送方上传的5G消息；5G消息中包含第一文本信息、第一图像信息、视频信息；
S102：对视频信息进行抽帧处理得到第二图像信息；
S103：利用预先训练的文本提取模型提取第一图像信息、第二图像信息中的第二文本信息；其中，所述文本提取模型为预先根据标注了文本内容的图像样本训练得到的机器学习模型；
S104：提取第一文本信息、第二文本信息中的关键字，将所述关键字与预先配置的审核关键字表进行字符串匹配；所述审核关键字表中配置有审核不能通过的关键字；
S105：在字符串匹配结果为不匹配时，将第一图像信息、第二图像信息输入到图像审核模型中进行不合规内容审核；其中，所述图像审核模型是根据标注了不合规内容的图像样本训练得到的机器学习模型；
S106：在图像审核模型输出的审核通过概率值大于第一预设阈值时，将所述5G消息发送至消息接收方。
本发明实施例中，接收消息发送方上传的5G消息；5G消息中包含第一文本信息、第一图像信息、视频信息；对视频信息进行抽帧处理得到第二图像信息；利用预先训练的文本提取模型提取第一图像信息、第二图像信息中的第二文本信息；其中，所述文本提取模型为预先根据标注了文本内容的图像样本训练得到的机器学习模型；提取第一文本信息、第二文本信息中的关键字，将所述关键字与预先配置的审核关键字表进行字符串匹配；所述审核关键字表中配置有审核不能通过的关键字；在字符串匹配结果小于第一预设阈值时，将第一图像信息、第二图像信息输入到图像审核模型中进行不合规内容审核；其中，所述图像审核模型是根据标注了不合规内容的图像样本训练得到的机器学习模型；在图像审核模型输出的审核通过概率值大于第一预设阈值时，将所述5G消息发送至消息接收方。这样，根据审核策略表、以及图像审核模型就可以审核5G消息中是否存在不合规内容，不仅可以节省人力成本，还提高消息审核效率，提升消息审核的准确性。
下面对上述消息审核方法加以详细说明。
针对上述S101～S103，第一图像信息为5G消息本身包含的图像信息，第二图像信息为对5G消息中的视频信息进行抽帧得到的图像信息。第一文本信息为5G消息本身包含的文本信息，第二文本信息为从第一图像信息、第二图像信息中提取的文本信息。
另外，针对上述S103，文本提取模型为预先根据标注了文本内容的图像样本训练得到的机器学习模型，示例性的，该机器学习模型例如包括：三层或三层以上的后向传播学习的前馈型神经网络(Back Propagation Feed-forward Neural Network，BP FNN/BPNN)、卷积神经网络等。
针对上述S104，所述审核关键字表中配置有审核不能通过的关键字。其中，审核关键字表中的关键字可以结合实际的应用场景进行配置。
此外，审核关键字表还可以随时进行配置，例如本发明一实施例中，根据配置人员的配置指令更新所述审核关键字表；其中，所述配置指令包括下述至少一种：增加关键字、删除关键字、修改关键字。
针对上述S105，在字符串不匹配时，代表文本信息中不包含审核不能通过的关键字，则利用预先训练好的图像审核模型继续对图像信息进行审核，确定图像信息中是否存在不合规内容。
此处，不合规内容例如包括企业自定义的不合规内容(例如，在某些业务场景下图像中不能包含的人脸、用户个人信息等)、以及各行各业公认的不合规内容等。
此外，图像审核模型是根据标注了不合规内容的图像样本训练得到的机器学习模型。
示例性的，预先对包含不合规内容的图像进行标注，并且设置图像对应的输出(也即审核通过概率)不大于第一预设阈值，并且根据图像中包含不合规内容的程度设置不同的输出值，得到图像训练样本、以及图像测试集，将图像训练样本输入到初始机器学习模型进行训练得到初始图像审核模型，利用图像测试集对初始图像审核模型进行测试，测试通过则得到训练好的图像审核模型，若测试不通过则继续生成新的图像训练样本对初始图像审核模型进行训练，直至训练得到的图像审核模型可以在图像测试集中测试通过后，得到训练好的图像审核模型。
针对上述S106，在图像审核模型输出的审核通过概率值大于第一预设阈值时，代表图像信息中不包含不合规内容，则将5G消息发送至对应的消息接收方。
此外，如图2所示，为本发明实施例提供的一种在图像中可能包含不合规内容时的审核方法，包括：
S201：在图像审核模型输出的审核通过概率值不大于第一预设阈值且大于第二预设阈值时，标注所述5G消息，提示审核人员进行人工审核。
此处，第一预设阈值大于第二预设阈值，在图像审核模型输出的审核通过概率值不大于第一预设阈值且大于第二预设阈值时，代表图像信息中可能存在不合规内容，为了避免审核错误影响5G消息的发送效率，可以进行人工审核，减少审核误差，提升5G消息审核的准确性。
S202：在图像审核模型输出的审核通过概率值不大于第二预设阈值时，停止发送所述5G消息，提示消息发送方所述5G消息存在不合规内容。
此处，若在图像审核模型输出的审核通过概率值不大于第二预设阈值时，则代表图像信息中存在不合规内容，可以提示消息发送方所述5G消息存在不合规内容，以便消息发送方可以及时对消息进行调整，避免消息漏发。
此外，为了进一步提升5G消息的审核效率，针对需要人工审核的图像信息，本发明另一实施例中，根据人工审核结果，生成新的图像训练样本，将新的图像训练样本更新至样本库；定时检测所述样本库，在所述样本库中新增样本数量达到预设样本数量阈值时，重新训练所述图像审核模型。
这样，可以进一步提升图像审核模型的精度，逐步减少人工审核，降低人力成本。
本发明实施例中还提供了一种消息审核装置，如下面的实施例所述。由于该装置解决问题的原理与消息审核方法相似，因此该装置的实施可以参见消息审核方法的实施，重复之处不再赘述。
如图3所示，为本发明实施例提供的一种消息审核装置的示意图，包括：接收模块301、第一处理模块302、文本信息提取模块303、第二处理模块304、图像审核模块305、以及发送模块306；其中，
接收模块301，用于接收消息发送方上传的5G消息；5G消息中包含第一文本信息、第一图像信息、视频信息；
第一处理模块302，用于对视频信息进行抽帧处理得到第二图像信息；
文本信息提取模块303，用于利用预先训练的文本提取模型提取第一图像信息、第二图像信息中的第二文本信息；其中，所述文本提取模型为预先根据标注了文本内容的图像样本训练得到的机器学习模型；
第二处理模块304，用于提取第一文本信息、第二文本信息中的关键字，将所述关键字与预先配置的审核关键字表进行字符串匹配；所述审核关键字表中配置有审核不能通过的关键字；
图像审核模块305，用于在字符串匹配结果小于第一预设阈值时，将第一图像信息、第二图像信息输入到图像审核模型中进行不合规内容审核；其中，所述图像审核模型是根据标注了不合规内容的图像样本训练得到的机器学习模型；
发送模块306，用于在图像审核模型输出的审核通过概率值大于第一预设阈值时，将所述5G消息发送至消息接收方。
在一种可能的实施方式中，如图4所示，消息审核装置还包括：第三处理模块307，用于根据配置人员的配置指令更新所述审核关键字表；其中，所述配置指令包括下述至少一种：增加关键字、删除关键字、修改关键字。
在一种可能的实施方式中，如图5所示，消息审核装置还包括：第四处理模块308，用于在图像审核模型输出的审核通过概率值不大于第一预设阈值且大于第二预设阈值时，标注所述5G消息，提示审核人员进行人工审核；在图像审核模型输出的审核通过概率值不大于第二预设阈值时，停止发送所述5G消息，提示消息发送方所述5G消息存在不合规内容。
在一种可能的实施方式中，如图6所示，消息审核装置还包括：模型训练模块309，用于根据人工审核结果，生成新的图像训练样本，将新的图像训练样本更新至样本库；定时检测所述样本库，在所述样本库中新增样本数量达到预设样本数量阈值时，重新训练所述图像审核模型。
在一种可能的实施方式中，所述不合规内容包括企业配置的自定义不合规信息。
基于前述发明构思，如图7所示，本发明还提出了一种计算机设备500，包括存储器510、处理器520及存储在存储器510上并可在处理器520上运行的计算机程序530，所述处理器520执行所述计算机程序530时实现前述消息审核方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述消息审核方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述消息审核方法。
本发明实施例中接收消息发送方上传的5G消息；5G消息中包含第一文本信息、第一图像信息、视频信息；对视频信息进行抽帧处理得到第二图像信息；利用预先训练的文本提取模型提取第一图像信息、第二图像信息中的第二文本信息；其中，所述文本提取模型为预先根据标注了文本内容的图像样本训练得到的机器学习模型；提取第一文本信息、第二文本信息中的关键字，将所述关键字与预先配置的审核关键字表进行字符串匹配；所述审核关键字表中配置有审核不能通过的关键字；在字符串匹配结果小于第一预设阈值时，将第一图像信息、第二图像信息输入到图像审核模型中进行不合规内容审核；其中，所述图像审核模型是根据标注了不合规内容的图像样本训练得到的机器学习模型；在图像审核模型输出的审核通过概率值大于第一预设阈值时，将所述5G消息发送至消息接收方。这样，根据审核策略表、以及图像审核模型就可以审核5G消息中是否存在不合规内容，不仅可以节省人力成本，还提高消息审核效率，提升消息审核的准确性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种消息审核方法，其特征在于，包括：
接收消息发送方上传的5G消息；5G消息中包含第一文本信息、第一图像信息、视频信息；
对视频信息进行抽帧处理得到第二图像信息；
利用预先训练的文本提取模型提取第一图像信息、第二图像信息中的第二文本信息；其中，所述文本提取模型为预先根据标注了文本内容的图像样本训练得到的机器学习模型；
提取第一文本信息、第二文本信息中的关键字，将所述关键字与预先配置的审核关键字表进行字符串匹配；所述审核关键字表中配置有审核不能通过的关键字；
在字符串匹配结果为不匹配时，将第一图像信息、第二图像信息输入到图像审核模型中进行不合规内容审核；其中，所述图像审核模型是根据标注了不合规内容的图像样本训练得到的机器学习模型；
在图像审核模型输出的审核通过概率值大于第一预设阈值时，将所述5G消息发送至消息接收方。
2.如权利要求1所述的消息审核方法，其特征在于，还包括：
根据配置人员的配置指令更新所述审核关键字表；其中，所述配置指令包括下述至少一种：增加关键字、删除关键字、修改关键字。
3.如权利要求1所述的消息审核方法，其特征在于，还包括：
在图像审核模型输出的审核通过概率值不大于第一预设阈值且大于第二预设阈值时，标注所述5G消息，提示审核人员进行人工审核；
在图像审核模型输出的审核通过概率值不大于第二预设阈值时，停止发送所述5G消息，提示消息发送方所述5G消息存在不合规内容。
4.如权利要求3所述的消息审核方法，其特征在于，还包括：
根据人工审核结果，生成新的图像训练样本，将新的图像训练样本更新至样本库；
定时检测所述样本库，在所述样本库中新增样本数量达到预设样本数量阈值时，重新训练所述图像审核模型。
5.如权利要求1所述的消息审核方法，其特征在于，所述不合规内容包括企业配置的自定义不合规信息。
6.一种消息审核装置，其特征在于，包括：
接收模块，用于接收消息发送方上传的5G消息；5G消息中包含第一文本信息、第一图像信息、视频信息；
第一处理模块，用于对视频信息进行抽帧处理得到第二图像信息；
文本信息提取模块，用于利用预先训练的文本提取模型提取第一图像信息、第二图像信息中的第二文本信息；其中，所述文本提取模型为预先根据标注了文本内容的图像样本训练得到的机器学习模型；
第二处理模块，用于提取第一文本信息、第二文本信息中的关键字，将所述关键字与预先配置的审核关键字表进行字符串匹配；所述审核关键字表中配置有审核不能通过的关键字；
图像审核模块，用于在字符串匹配结果小于第一预设阈值时，将第一图像信息、第二图像信息输入到图像审核模型中进行不合规内容审核；其中，所述图像审核模型是根据标注了不合规内容的图像样本训练得到的机器学习模型；
发送模块，用于在图像审核模型输出的审核通过概率值大于第一预设阈值时，将所述5G消息发送至消息接收方。
7.如权利要求6所述的消息审核装置，其特征在于，还包括：第三处理模块，用于根据配置人员的配置指令更新所述审核关键字表；其中，所述配置指令包括下述至少一种：增加关键字、删除关键字、修改关键字。
8.如权利要求6所述的消息审核装置，其特征在于，还包括：第四处理模块，用于在图像审核模型输出的审核通过概率值不大于第一预设阈值且大于第二预设阈值时，标注所述5G消息，提示审核人员进行人工审核；
在图像审核模型输出的审核通过概率值不大于第二预设阈值时，停止发送所述5G消息，提示消息发送方所述5G消息存在不合规内容。
9.如权利要求8所述的消息审核装置，其特征在于，还包括：模型训练模块，用于根据人工审核结果，生成新的图像训练样本，将新的图像训练样本更新至样本库；
定时检测所述样本库，在所述样本库中新增样本数量达到预设样本数量阈值时，重新训练所述图像审核模型。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一所述方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至5任一所述方法。
12.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至5任一所述方法。
CN202210181661.3A 2022-02-25 2022-02-25 消息审核方法及装置 Pending CN114547391A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210181661.3A CN114547391A (zh) 2022-02-25 2022-02-25 消息审核方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210181661.3A CN114547391A (zh) 2022-02-25 2022-02-25 消息审核方法及装置

Publications (1)

Publication Number Publication Date
CN114547391A true CN114547391A (zh) 2022-05-27

Family

ID=81679883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210181661.3A Pending CN114547391A (zh) 2022-02-25 2022-02-25 消息审核方法及装置

Country Status (1)

Country Link
CN (1) CN114547391A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115687568A (zh) * 2022-10-26 2023-02-03 广东东方思维科技有限公司 一种对可变情报板内容进行安全防护的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115687568A (zh) * 2022-10-26 2023-02-03 广东东方思维科技有限公司 一种对可变情报板内容进行安全防护的方法

Similar Documents

Publication Publication Date Title
US20200005117A1 (en) Artificial intelligence assisted content authoring for automated agents
CN110009430B (zh) 作弊用户检测方法、电子设备及计算机可读存储介质
CN108090218B (zh) 基于深度强化学习的对话系统生成方法和装置
CN109618236B (zh) 视频评论处理方法和装置
CN109688428B (zh) 视频评论生成方法和装置
CN111160749A (zh) 一种情报质量评估和情报融合方法及装置
CN113268610B (zh) 基于知识图谱的意图跳转方法、装置、设备及存储介质
CN113780367A (zh) 分类模型训练和数据分类方法、装置、电子设备
CN114375447A (zh) 计算系统中的语言语句处理
CN115956242A (zh) 自动知识图谱构建
CN111915086A (zh) 异常用户预测方法和设备
CN115099239A (zh) 一种资源识别方法、装置、设备以及存储介质
CN114547391A (zh) 消息审核方法及装置
CN111241843B (zh) 基于复合神经网络的语义关系推断系统和方法
CN110909174A (zh) 一种基于知识图谱的简单问答中实体链接的改进方法
US20230081891A1 (en) System and method of managing knowledge for knowledge graphs
WO2022262080A1 (zh) 一种对话关系处理方法、计算机及可读存储介质
CN115062769A (zh) 基于知识蒸馏的模型训练方法、装置、设备及存储介质
CN113901793A (zh) 结合rpa和ai的事件抽取方法及装置
CN114610576A (zh) 一种日志生成监控方法和装置
CN117121441A (zh) 使用基于图像的有噪声内容的电子消息传送方法
CN113204945A (zh) 应用题批改方法、装置、计算机可读介质及电子设备
CN111311197A (zh) 差旅数据处理方法及装置
Pi et al. Contact complexity in customer service
CN118071310B (zh) 一种基于流程引擎的业务处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination