CN111726648A - 图像数据检测的方法、装置、设备及计算机可读存储介质 - Google Patents

图像数据检测的方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111726648A
CN111726648A CN202010596713.4A CN202010596713A CN111726648A CN 111726648 A CN111726648 A CN 111726648A CN 202010596713 A CN202010596713 A CN 202010596713A CN 111726648 A CN111726648 A CN 111726648A
Authority
CN
China
Prior art keywords
image
image data
target image
information
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010596713.4A
Other languages
English (en)
Inventor
王群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010596713.4A priority Critical patent/CN111726648A/zh
Publication of CN111726648A publication Critical patent/CN111726648A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种图像数据检测的方法、装置、设备及计算机可读存储介质，涉及互联网信息管理、图像检测、信息流和视频图像处理领域。具体实现方案为：响应于包含图像数据的页面的展示请求，获取所述图像数据中当前待展示的目标图像；利用检测模型，检测所述目标图像的敏感信息；根据所述目标图像的敏感信息对应的敏感等级，对所述图像数据进行对应的干预处理，提高了图像检测的及时性和效率。

Description

图像数据检测的方法、装置、设备及计算机可读存储介质
技术领域
本申请实施例涉及计算机技术中的互联网信息管理、图像检测、信息流和视频图像处理领域，尤其涉及一种图像数据检测的方法、装置、设备及计算机可读存储介质。
背景技术
随着移动互联网技术的发展，互联网极大地方便了人们之间的信息交流。人们可以随时随地浏览网页上图片、视频，观看直播视频，也可以向网页发布图片、视频，进行视频直播，这对包含敏感内容(如涉黄)的图像的监管带来巨大的挑战。
传统依靠人工的审核监管手段，一般情况下都是敏感内容已经传播到观众后才干预，及时性差，效率低。
发明内容
本申请提供了一种图像数据检测的方法、装置、设备及计算机可读存储介质。
根据本申请的一方面，提供了一种图像数据检测的方法，应用于客户端，包括：
响应于包含图像数据的页面的展示请求，获取所述图像数据中当前待展示的目标图像；
利用检测模型，检测所述目标图像的敏感信息；
根据所述目标图像的敏感信息对应的敏感等级，对所述图像数据进行对应的干预处理。
根据本申请的一方面，提供了一种图像数据检测的方法，应用于服务端，包括：
响应于包含图像数据的页面的展示请求，获取所述图像数据中当前待展示的目标图像；
利用检测模型，检测所述目标图像的敏感信息；
根据所述目标图像的敏感信息对应的敏感等级，对所述图像数据进行对应的干预处理。
根据本申请的另一方面，提供了一种图像数据检测的装置，应用于客户端，包括：
图像采集模块，用于响应于包含图像数据的页面的展示请求，获取所述图像数据中当前待展示的目标图像；
图像检测模块，用于利用检测模型，检测所述目标图像的敏感信息；
图像干预处理模块，用于根据所述目标图像的敏感信息对应的敏感等级，对所述图像数据进行对应的干预处理。
根据本申请的另一方面，提供了一种图像数据检测的装置，应用于服务端，包括：
图像采集模块，用于响应于包含图像数据的页面的展示请求，获取所述图像数据中当前待展示的目标图像；
图像检测模块，用于利用检测模型，检测所述目标图像的敏感信息；
图像干预处理模块，用于根据所述目标图像的敏感信息对应的敏感等级，对所述图像数据进行对应的干预处理。
根据本申请的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的方法。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述所述的方法。
根据本申请的另一方面，提供了一种图像数据检测的方法，包括：
利用检测模型，检测待检测的目标图像的敏感信息；
根据所述目标图像的敏感信息对应的敏感等级，对所述目标图像进行对应的干预处理，其中不同的敏感等级对应的干预处理方式不同。
根据本申请的技术提高了图像检测的及时性和效率。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请第一实施例提供的图像数据检测的方法流程图；
图2是本申请第二实施例提供的图像数据检测的方法流程图；
图3是本申请第二实施例提供的端智能在线推理执行器的示意图；
图4是本申请第二实施例提供的干预处理的效果示意图；
图5是本申请第二实施例提供的一种图像检测的整体框架示意图；
图6是本申请第三实施例提供的图像数据检测的方法流程图；
图7是本申请第三实施例提供的干预处理的效果示意图；
图8是本申请第三实施例提供的一种图像检测的整体框架示意图；
图9是本申请第四实施例提供的图像数据检测的装置示意图；
图10为本申请第五实施例提供的图像数据检测的装置的示意图；
图11是用来实现本申请实施例的图像数据检测的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请实施例提供的图像数据检测的方法应用于作为客户端的用户终端，或者应用于服务端。此处以该方法应用于用户终端为例，对该方法的应用场景进行示例性地说明，该方法至少可以应用于以下几种场景：
一种可能的应用场景为：当用户在用户终端上打开包含图片的网页时，通过本申请实施例的方法对网页中待展示的图片进行检测，确定待展示的图片的敏感信息，根据待展示的图片的敏感信息对应的敏感等级，对图片进行干预处理，然后将干预处理后的图片在网页中显示，或者不显示图片。
另一种可能的应用场景为：当用户在用户终端上打开包含视频流的页面(例如，包含视频的网页，或者观看直播的用户页面)时，通过本申请实施例的方法对页面中待展示的视频流中当前待展示的图像帧进行检测，确定当前待展示的图像帧的敏感信息，根据当前待展示的图像帧的敏感信息对应的敏感等级，对视频流进行干预处理。例如，屏蔽部分或全部视频帧，或者对部分或全部视频帧进行模糊处理，等等。然后将干预处理后的视频流进行展示。
另一种可能的应用场景为：当直播中的主播用户在用户终端上打开主播的直播页面(包含直播视频流)时，通过本申请实施例的方法对直播页面中待展示的视频流中当前待展示的图像帧进行检测，确定当前待展示的图像帧的敏感信息，根据当前待展示的图像帧的敏感信息对应的敏感等级，对视频流进行干预处理。例如，屏蔽部分或全部视频帧，或者对部分或全部视频帧进行模糊处理，等等。然后将干预处理后的视频流进行展示。例如，将干预处理后的视频流发送到直播服务器。这样，作为直播的观看用户看到的直播视频流是被干预处理后的视频流。
本申请提供一种图像数据检测的方法、装置、设备及计算机可读存储介质，应用于计算机技术中的互联网信息管理、图像检测、信息流和视频图像处理等领域，以达到对网页上的图片和视频，或者视频直播中的视频数据进行及时地监管及时性差，效率低。
图1是本申请第一实施例提供的图像数据检测的方法流程图。本申请实施例提供的图像数据检测的方法应用于作为客户端的用户终端，或者应用于服务端的服务器。本申请以应用于用户终端为例进行示例性地说明，此处不限定该方法的执行主体。如图1所示，该方法具体步骤如下：
步骤S101、响应于包含图像数据的页面的展示请求，获取图像数据中当前待展示的目标图像。
其中，包含图像数据的页面的展示请求可以是用户打开包含图像数据的页面的请求。例如，用户在用户终端上打开包含图片的网页，或者用户在用户终端上打开包含视频流的页面(例如，包含视频的网页，或者观看直播的用户页面，或者播放器播放视频的窗口页面，等)，或者主播用户在用户终端上打开主播的直播页面，等。
本申请实施例中，响应于包含图像数据的页面的展示请求，获取图像数中当前待展示的目标图像。
示例性地，如果页面中的图像数据是图片，获取的目标图像可以是该图片。
示例性地，如果页面中的图像数据是视频，获取的目标图像可以是视频中的一个或者多个帧(本申请实施例中称为“视频帧”)。
步骤S102、利用检测模型，检测目标图像的敏感信息。
本申请实施例中，预先确定用于检测图像的敏感信息的检测模型。检测模型可以通过采集的训练数据，对神经网络模型训练得到；或者，检测模型可以采用现有技术中任意一种用于检测图像的敏感程度和/或敏感类型的算法实现，本实施例此处不做具体限定。
该步骤中，在获取到目标图像之后，将目标图像输入检测模型，输出结果为目标图像的敏感信息。
其中，检测模型可以是针对一种或者多种敏感类型进行检测的模型。例如，检测模型可以是反黄打分模型、反暴力打分模型、或者同时针对多种敏感类型能够检测出图像具体包括哪种敏感类型的内容的敏感类型检测模型等等。
步骤S103、根据目标图像的敏感信息对应的敏感等级，对图像数据进行对应的干预处理。
示例性地，图像的敏感信息可以是通过检测模型确定的图像的敏感评分。在确定目标图像的敏感信息之后，根据目标图像的敏感评分，以及各个敏感等级对应的评分范围，确定目标图像的敏感信息所在评分范围对应的敏感等级，得到目标图像对应的敏感等级。
示例性地，图像的敏感信息还可以是图像的敏感类型。在确定目标图像的敏感类型之后，根据目标图像对应的敏感类型，以及各个敏感等级对应的敏感类型集合，确定目标图像对应的敏感类型所在敏感类型集合对应的敏感等级，得到目标图像对应的敏感等级。如果目标图像对应多个敏感类型，可以确定目标图像对应多个敏感等级中最严重的一个敏感等级，作为目标图像对应的敏感等级。
示例性地，检测模型还可以直接输出的图像的敏感等级。
本申请实施例中，为不同的敏感等级配置不同的干预处理方式。在确定目标图像对应的敏感等级之后，采用与目标图像对应的敏感等级对应的干预处理方式，对图像数据进行干预处理。
本申请实施例通过响应于包含图像数据的页面的展示请求，获取图像数据中当前待展示的目标图像利用检测模型对待展示的图像数据中的目标图像进行检测，确定目标图像的敏感信息；根据目标图像的敏感信息对应的敏感等级，对图像数据进行对应的干预处理，实现了在用户终端侧对即将展示的敏感的图像数据进行实时地干预处理，通过配置不同的敏感等级对应不同的干预处理方式，使得针对敏感图像的干预处理更加合理和灵活，提高了图像检测的及时性和效率。
图2是本申请第二实施例提供的图像数据检测的方法流程图。在上述第一实施例的基础上，本实施例中，以包含图像数据的页面为包含图片的网页为例进行示例性地说明。如图2所示，本实施例的方法具体步骤如下：
步骤S201、响应于包含图片的页面的展示请求，获取图片。
本申请实施例中，当用户打开包含图片的网页时，可以获取网页中的图片，对图片进行敏感信息的检测。
示例性地，该步骤具体可以采用如下方式实现：
响应于包含图片的页面的展示请求，获取页面中预设元素的内容；其中预设元素是指网页中包含图像数据的元素，预设元素至少包括：页面中包含图片、或者视频流的元素。
其中，预设元素包括哪些页面元素可以根据实际应用场景进行设定和调整，本实施例此处不做具体限定。
通过获取预设元素的内容，能够遍历到页面中所有图像数据，不会遗漏任何一个类型的图像数据，还能够提高图像检测的效率。
例如，可以遍历网页中的包含图像数据的元素节点，以获取对应的目标图像。
本实施例中，如果网页中包含多个图片，则可以获取网页中即将展示的每个图片，分别针对每个图片进行步骤S202-S204进行图像检测处理。
步骤S202、利用检测模型，检测图片的敏感信息。
本申请实施例中，可以预先使用训练数据对预设神经网络模型进行训练，得到检测模型。
其中，训练数据可以包括样本图像和对样本图像的标注信息，对样本图像的标注信息包括样本图像的敏感信息，样本图像的标注信息可以是人工标注得到的。
具体地，预先通过训练数据对预设神经网络进行有干预的机器学习训练，训练得到的检测模型，输入可以是任意图片，输出是输入图片的敏感信息，能够提高图像检测的效率和精准度。
例如，检测模型可以是反黄打分模型，某张黄色图片(包含色情内容)经过检测模型检测得到敏感信息为0.85；更黄的图片经过检测模型检测得到敏感信息为0.9；不黄的图片(不包含色情内容)经过检测模型检测得到敏感信息为0等等。
可选地，在利用检测模型检测图片的敏感信息之前，对待展示图像进行数据预处理，将待展示图像转换成标准输入数组表示，得到图像格式化数据。将待展示图像对应的图像格式化数据作为检测模型的输入，使得检测模型输入数据更加规范，以提高检测模型的精准度。
具体地，将图像居中等比压缩至预设输入图像宽度和预设输入图像高度(如可以为：228*228)，未填满区域用0部全，每个像素由RGB(0-255，0-255，0-255)表示，整个图像便是一个固定长度的数组表示，如[[222，222，111]，[111，222，111]，……，[123，121，111]]，长度等于预设输入图像宽度×预设输入图像高度。
可选地，该步骤可以以端智能在线推理执行器的形式实现。如图3所示，端智能在线推理执行器通过加载检测模型，利用检测模型对预处理后的图像格式化数据进行检测，输出对应的敏感信息。
通过预先训练好的检测模型，检测图片的敏感信息，能够提高图片敏感信息检测的精准度和效率。
步骤S203、根据图片的敏感信息，确定图片对应的敏感等级。
一种可能的实施方式中，图像的敏感信息可以是通过检测模型确定的图像的敏感评分。在确定目标图像的敏感信息之后，根据目标图像的敏感评分，以及各个敏感等级对应的评分范围，确定目标图像的敏感信息所在评分范围对应的敏感等级，得到目标图像对应的敏感等级。
可选地，图像的敏感评分可以是0-1范围内的值。例如，在输出敏感评分之前，检测模型可以对敏感评分进行归一化处理。
另一种可能的实施方式中，图像的敏感信息还可以是图像的敏感类型。在确定目标图像的敏感类型之后，根据目标图像对应的敏感类型，以及各个敏感等级对应的敏感类型集合，确定目标图像对应的敏感类型所在敏感类型集合对应的敏感等级，得到目标图像对应的敏感等级。如果目标图像对应多个敏感类型，可以确定目标图像对应多个敏感等级中最严重的一个敏感等级，作为目标图像对应的敏感等级。
另一种可能的实施方式中，检测模型还可以直接输出的图像的敏感等级。
本申请实施例中，根据敏感信息的不同，可以配置不同的敏感等级的分级策略，不同的敏感等级能够体现敏感的严重程度，本实施例此处不做具体限定。
步骤S204、根据图片对应的敏感等级，对图片进行对应的干预处理。
其中，不同的敏感等级对应的干预处理方式不同，干预处理方式包括以下至少一项：屏蔽；模糊处理后展示；继续展示，并发出警告信息。
本申请实施例中，为不同的敏感等级配置不同的干预处理方式。在确定目标图像对应的敏感等级之后，采用与目标图像对应的敏感等级对应的干预处理方式，对图像数据进行干预处理，大大提高了图像检测中干预处理的合理性和灵活性。
示例性地，敏感等级可以包括4个等级：第一等级：最严重的等级，对应预处理方式为屏蔽；第二等级：较严重的等级，对应预处理方式为模糊处理后展示；第三等级：较轻微的等级，对应预处理方式为继续展示，并发出警告信息；第四等级：健康的等级，对应预处理方式为继续展示，不需要任何干预处理。
例如，如果图片对应的敏感等级为第一等级，则在显示该页面时，屏蔽该图片，也即不在页面中显示该图片。比如，可以直接删除该图片，或者可以将该图片替换为预设健康图片，在页面中展示替换后的预设健康图片。如果图片对应的敏感等级为第二等级，则将该图片进行模糊处理，在显示该页面时，显示模糊处理后的图片。如果对应的敏感等级为第三等级，则继续在该页面中显示该图片，但同时显示警告信息，提醒用户该图片可能涉嫌敏感内容，以提示用户进行自行判断。如果对应的敏感等级为第四等级，则说明该图片是健康的，不做任何干预处理，继续在该页面中显示该图片。
例如，如图4所示，以干预处理为模糊处理为例，未进行干预时包含图片的网页显示效果如图4中左侧图所示，经过本申请实施例对网页中的2个图片进行检测及干预处理后，网页显示效果如图4中右侧图所示。
另外，本申请实施例中，敏感等级的数量以及划分方式，以及不同的敏感等级对应的干预处理方式，均可以根据实际应用场景进行配置，本实施例此处不做具体限定。
可选地，不同的敏感等级对应的干预处理可以以触发器的方式实现，一旦确定目标图像对应的敏感等级，则触发对应触发器执行对应的干预处理。
步骤S205、获取图像数据对应的取证信息，将取证信息发送给监管服务器。
本申请实施例中，在对敏感的图像进行干预处理之后，还可以进行取证，获取图像数据对应的取证信息，并将取证信息发送给监管服务器，以向相关监管人员提供信息，使得监管人员进行进一步地监管措施。例如，对当前页面所属来源进行严格监管等。
具体地，该步骤中可以获取的取证信息至少包括：页面的地址信息，以及图像数据中的至少一个敏感图像；使得相关监管人员能够根据图像数据中的至少一个敏感图像进行复核，并根据页面的地址信息对页面来源进行进一步地监管。
本实施例中，图像检测的整体框架如图5所示，首先在网页打开时，获取网页中的目标图像，可以是网页中即将显示的图片或者视频流中的至少一个帧；对目标图像进行检测前的数据预处理；将预处理后的目标图像输入检测模型进行健康度打分，确定目标图像的敏感信息，然后根据图像数据对应的敏感信息对应的敏感等级进行图像干预判定，若确定需要对对应的图片或视频流进行干预处理，触发图像干预触发器执行对应的干预处理，并进行图像信息取证。
本申请实施例能够实现对用户端页面中即将展示的图片进行及时地检测，并根据检测到的图片对应的敏感等级，进行对应的干预处理，提高了图像检测的及时性和效率。
图6是本申请第三实施例提供的图像数据检测的方法流程图。在上述第一实施例的基础上，本实施例中，以包含视频流的页面为为例进行示例性地说明。如图6所示，本实施例的方法具体步骤如下：
步骤S301、接收包含视频流的页面的展示请求。
本申请实施例中，当用户在用户终端上打开包含视频流的页面时，用户终端接收到包含视频流的页面的展示请求。
其中，包含视频流的页面可以是用户观看直播时的包含视频流的页面；或者，用户浏览网页时打开的包含小视频等视频流的网页；或者，视频直播的主播用户打开的包含直播视频流的直播页面。
例如，当视频直播中的作为主播的用户在用户终端上打开直播页面时，用户终端接收到包含视频流的页面的展示请求。
步骤S302、在视频流中，每间隔预设时间间隔，获取一个视频帧，作为目标图像。
示例性地，在获取视频流中的目标图像时，可以获取页面中预设元素的内容。其中预设元素是指网页中包含图像数据的元素，预设元素至少包括：页面中包含图片、或者视频流的元素。
其中，预设元素包括哪些页面元素可以根据实际应用场景进行设定和调整，本实施例此处不做具体限定。
例如，可以获取到直播页面中视频画面容器中的视频流中的目标图像。
通过获取预设元素的内容，能够获取到页面中所有图像数据，不会遗漏任何一个类型的图像数据，还能够提高图像检测的效率。
本申请实施例中，无需对视频流中每个帧进行检测，而是根据预设时间间隔，每隔一段时间获取一个视频帧，根据对该视频帧的检测结果，对该视频帧所在的预设时间间隔内多个视频帧进行统一的干预处理，既能达到预期的检测效果，同时还能够提高图像检测的效率。
其中，预设时间间隔可以根据实际应用场景进行设定和调整，本实施例此处不做具体限定。
步骤S303、利用检测模型，检测目标图像的敏感信息。
该步骤与上述步骤S202中利用检测模型检测图片的敏感信息过程一致，本实施例此处不再赘述。
步骤S304、根据目标图像的敏感信息确定目标图像对应的敏感等级。
该步骤与上述步骤S203中根据图片的敏感信息确定图片对应的敏感等级过程一致，本实施例此处不再赘述。
步骤S305、根据目标图像对应的敏感等级，对目标图像对应预设时间间隔内的视频数据进行对应的干预处理。
其中，不同的敏感等级对应的干预处理方式不同。干预处理方式包括以下至少一项：屏蔽；模糊处理后展示；继续展示，并发出警告信息。
本申请实施例中，为不同的敏感等级配置不同的干预处理方式。在确定目标图像对应的敏感等级之后，采用与目标图像对应的敏感等级对应的干预处理方式，对图像数据进行干预处理，大大提高了图像检测中干预处理的合理性和灵活性。
示例性地，敏感等级可以包括4个等级：第一等级：最严重的等级，对应预处理方式为屏蔽；第二等级：较严重的等级，对应预处理方式为模糊处理后展示；第三等级：较轻微的等级，对应预处理方式为继续展示，并发出警告信息；第四等级：健康的等级，对应预处理方式为继续展示，不需要任何干预处理。
例如，如果目标图像对应的敏感等级为第一等级，则在显示该页面时，屏蔽该目标图像对应预设时间间隔内的视频帧，不在页面中播放。比如，可以直接跳过该目标图像对应预设时间间隔内的视频帧，或者可以将该目标图像对应预设时间间隔内的视频帧均替换为预设健康图片后展示。如果目标图像对应的敏感等级为第二等级，则将该目标图像对应预设时间间隔内的视频帧均进行模糊处理，在页面中播放模糊处理后的视频帧。如果对应的敏感等级为第三等级，则继续在该页面中播放目标图像对应预设时间间隔内的视频帧，但同时显示警告信息，提醒用户该视频可能涉嫌敏感内容，以提示用户进行自行判断。如果对应的敏感等级为第四等级，则说明该目标图像是健康的，认为目标图像对应预设时间间隔内的视频帧的内容都是健康的，不做任何干预处理，继续在该页面中播放目标图像对应预设时间间隔内的视频帧。
例如，如图7所示，以干预处理为模糊处理为例，未进行干预时直播页面中直播视频的显示效果如图7中左侧图所示，经过本申请实施例对直播的视频流中进行检测及干预处理后，直播视频流的显示效果如图7中右侧图所示。
另外，本申请实施例中，敏感等级的数量以及划分方式，以及不同的敏感等级对应的干预处理方式，均可以根据实际应用场景进行配置，本实施例此处不做具体限定。
本申请实施例中，如果即将打开的页面是主播用户的直播页面时，该步骤还包括：将干预处理后的目标图像对应预设时间间隔内的视频数据发送到直播服务器，通过在直播的主播用户端进行图像检测处理，能够在直播流传输到观看用户端之前，及时地对直播流进行敏感信息检测并进行对应的预处理，使得传输到直播观看用户端的直播流不包含敏感信息，提高图像检测的及时性和效果。
本申请实施例中，循环执行步骤S302-S305，直至视频流播放完毕。通过将视频流分成多个视频段，针对每个视频段中的一个视频帧进行检测，根据该视频帧的检测结果对该视频段中所有帧进行对应的干预处理后，播放干预处理后的视频段，能够实现对视频流的实时检测和处理，同时还能够提高检测效率，减少视频流播放延迟。
在本实施例的另一实施方式中，还可以从视频流中每间隔预设时间间隔，获取一个视频帧，得到多个视频帧作为目标图像；利用检测模型对目标图像中每个视频帧的敏感信息进行检测，根据目标图像中每个视频帧的敏感信息，确定每个视频帧对应的敏感等级，分别针对每个视频帧对应的敏感等级，对视频帧所在预设时间间隔内的所有视频帧进行对应的干预处理；对视频流的所有视频帧处理结束之后，进行视频流的播放。
在本实施例的另一实施方式中，还可以从视频流中每间隔预设时间间隔，获取一个视频帧，得到多个视频帧作为目标图像；利用检测模型对目标图像中每个视频帧的敏感信息进行检测，根据目标图像中每个视频帧的敏感信息，确定每个视频帧对应的敏感等级；将各个视频帧对应的敏感等级中最严重的敏感等级作为该视频流对应的敏感等级，对视频流进行对应的干预处理，对视频流的所有视频帧处理结束之后，进行视频流的播放。
步骤S306、获取图像数据对应的取证信息，将取证信息发送给监管服务器。
本申请实施例中，在对敏感的图像进行干预处理之后，还可以进行取证，获取图像数据对应的取证信息，并将取证信息发送给监管服务器，以向相关监管人员提供信息，使得监管人员进行进一步地监管措施。例如，对当前页面所属来源进行严格监管等。
示例性地，若包含图像数据的页面不是视频直播的主播用户页面，获取图像数据对应的取证信息，包括：获取页面的地址信息，以及图像数据中的至少一个敏感图像；使得相关监管人员能够根据图像数据中的至少一个敏感图像进行复核，并根据页面的地址信息对页面来源进行进一步地监管。
示例性地，若包含图像数据的页面是视频直播的主播用户页面，获取图像数据对应的取证信息，包括：获取主播用户的信息和视频直播中的至少一个敏感图像；使得相关监管人员能够根据图像数据中的至少一个敏感图像进行复核，并根据主播用户的信息对对应主播用户进行进一步地监管和处理。
本实施例中，对于直播中观看直播用户的用户终端，或者对于观看网页上的视频的用户终端，图像检测的整体框架如图5所示，详见上述第二实施例中的对应说明，本实施例此处不再赘述。
对于直播中主播用户的用户终端，图像检测的整体框架如图8所示，首先在直播打开时，获取直播视频流中的目标图像，可以是视频流中的至少一个帧；对目标图像进行检测前的数据预处理；将预处理后的目标图像输入检测模型进行健康度打分，确定目标图像的敏感信息，然后根据图像数据对应的敏感信息对应的敏感等级进行图像干预判定，若确定需要对对应的图片或视频流进行干预处理，将目标图像对应时间间隔内的视频数据暂存，触发图像干预触发器对暂存的目标图像对应时间间隔内的视频数据执行对应的干预处理，并进行取证；将干预处理后的视频数据发送到直播服务器。
本申请实施例能够实现对用户端页面中即将播放的视频流进行及时地检测，通过将视频流分成多个视频段，针对每个视频段中的一个视频帧进行检测，根据该视频帧的检测结果对该视频段中所有帧进行对应的干预处理后，播放干预处理后的视频段，能够实现对视频流的实时检测和处理，提高检测效率，同时还能够减少视频流播放延迟。
图9是本申请第四实施例提供的图像数据检测的装置示意图。本申请实施例提供的图像数据检测的装置可以执行图像数据检测的方法实施例提供的处理流程，可以应用于客户端或者服务端的设备。如图9所示，该图像数据检测的装置40包括：图像采集模块401，图像检测模块402和图像干预处理模块403。
具体地，图像采集模块401用于响应于包含图像数据的页面的展示请求，获取图像数据中当前待展示的目标图像。
图像检测模块402用于利用检测模型，检测目标图像的敏感信息。
图像干预处理模块403用于根据目标图像的敏感信息对应的敏感等级，对图像数据进行对应的干预处理。
本申请实施例提供的装置可以具体用于执行上述第一实施例所提供的方法实施例，具体功能此处不再赘述。
本申请实施例通过响应于包含图像数据的页面的展示请求，获取图像数据中当前待展示的目标图像利用检测模型对待展示的图像数据中的目标图像进行检测，确定目标图像的敏感信息；根据目标图像的敏感信息对应的敏感等级，对图像数据进行对应的干预处理，实现了在用户终端侧对即将展示的敏感的图像数据进行实时地干预处理，通过配置不同的敏感等级对应不同的干预处理方式，使得针对敏感图像的干预处理更加合理和灵活，提高了图像检测的及时性和效率。
图10为本申请第五实施例提供的图像数据检测的装置的示意图。在上述第四实施例的基础上，本实施例中，不同的敏感等级对应的干预处理方式不同，干预处理方式包括以下至少一项：屏蔽；模糊处理后展示；继续展示，并发出警告信息。
在一种可能的实施方式中，图像采集模块还用于：
响应于包含图片的页面的展示请求，获取图片。
在一种可能的实施方式中，图像采集模块还用于：
响应于包含视频流的页面的展示请求，在视频流中，每间隔一个时间间隔，获取一个视频帧，作为目标图像。
在一种可能的实施方式中，图像干预处理模块还用于：
根据目标图像的敏感信息对应的敏感等级，对目标图像对应时间间隔内的视频数据进行对应的干预处理。
在一种可能的实施方式中，如图10所示，该图像数据检测的装置40还包括：取证模块404，用于获取图像数据对应的取证信息，将取证信息发送给监管服务器。
在一种可能的实施方式中，若包含图像数据的页面是视频直播的主播用户页面，取证模块还用于：
获取主播用户的信息和视频直播中的至少一个敏感图像。
在一种可能的实施方式中，若包含图像数据的页面不是视频直播的主播用户页面，取证模块还用于：
获取页面的地址信息，以及图像数据中的至少一个敏感图像。
在一种可能的实施方式中，若包含图像数据的页面是视频直播的主播用户页面，图像干预处理模块还用于：
将干预处理后的目标图像对应时间间隔内的视频数据发送到直播服务器。
在一种可能的实施方式中，如图10所示，该图像数据检测的装置40还包括：图像数据预处理模块405，用于对待展示图像进行数据预处理，将待展示图像转换成标准输入数组表示。
在一种可能的实施方式中，如图10所示，该图像数据检测的装置40还包括：模型训练模块406，用于使用训练数据对预设神经网络模型进行训练，得到检测模型。
本申请实施例提供的装置可以具体用于执行上述第二实施例和第三实施例所提供的方法实施例，具体功能此处不再赘述。
本申请实施例能够实现对用户端页面中即将展示的图片进行及时地检测，并根据检测到的图片对应的敏感等级，进行对应的干预处理，提高了图像检测的及时性和效率。
本申请实施例能够实现对用户端页面中即将播放的视频流进行及时地检测，通过将视频流分成多个视频段，针对每个视频段中的一个视频帧进行检测，根据该视频帧的检测结果对该视频段中所有帧进行对应的干预处理后，播放干预处理后的视频段，能够实现对视频流的实时检测和处理，提高检测效率，同时还能够减少视频流播放延迟。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图11所示，是根据本申请实施例的图像数据检测的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图11所示，该电子设备包括：一个或多个处理器Y01、存储器Y02，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图11中以一个处理器Y01为例。
存储器Y02即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的图像数据检测的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像数据检测的方法。
存储器Y02作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像数据检测的方法对应的程序指令/模块(例如，附图9所示的图像采集模块401，图像检测模块402和图像干预处理模块403)。处理器Y01通过运行存储在存储器Y02中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像数据检测的方法。
存储器Y02可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像数据检测的电子设备的使用所创建的数据等。此外，存储器Y02可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器Y02可选包括相对于处理器Y01远程设置的存储器，这些远程存储器可以通过网络连接至图像数据检测的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图像数据检测的方法的电子设备还可以包括：输入装置Y03和输出装置Y04。处理器Y01、存储器Y02、输入装置Y03和输出装置Y04可以通过总线或者其他方式连接，图11中以通过总线连接为例。
输入装置Y03可接收输入的数字或字符信息，以及产生与图像数据检测的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置Y04可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算机程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算机程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过在用户终端侧部署用于进行图像敏感信息检测的检查模型，能够实时获取网页中的图片或视频流以及直播主播页面中视频流的画面内容进行实时地检测，并根据检测结果对应的敏感等级进行对应的干预处理，在用户终端上进行检测不会对主播隐私造成威胁，仅仅会对有违规行为的主播进行违规行为内容取证，一方面保证了合法直播的主播们的隐私安全，另一方面服务器和管理员仅对违规主播进行分析和处理，减少了服务器和人工成本，并且观看直播的用户所观看的直播内容是经过干预处理后的，并不会受到不良内容的危害。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (27)

1.一种图像数据检测的方法，应用于客户端，包括：
响应于包含图像数据的页面的展示请求，获取所述图像数据中当前待展示的目标图像；
利用检测模型，检测所述目标图像的敏感信息；
根据所述目标图像的敏感信息对应的敏感等级，对所述图像数据进行对应的干预处理。
2.根据权利要求1所述的方法，其中，所述响应于包含图像数据的页面的展示请求，获取所述图像数据中当前待展示的目标图像，包括：
响应于包含图片的页面的展示请求，获取所述图片。
3.根据权利要求1所述的方法，其中，所述响应于包含图像数据的页面的展示请求，获取所述图像数据中当前待展示的目标图像，包括：
响应于包含视频流的页面的展示请求，在所述视频流中，每间隔一个时间间隔，获取一个视频帧，作为所述目标图像。
4.根据权利要求3所述的方法，所述根据所述目标图像的敏感信息对应的敏感等级，对所述图像数据进行对应的干预处理，响应所述展示请求，包括：
根据所述目标图像的敏感信息对应的敏感等级，对所述目标图像对应时间间隔内的视频数据进行对应的干预处理。
5.根据权利要求1-4中任一项所述的方法，其中，不同的敏感等级对应的干预处理方式不同，所述干预处理方式包括以下至少一项：
屏蔽；
模糊处理后展示；
继续展示，并发出警告信息。
6.根据权利要求1-4中任一项所述的方法，其中，所述根据所述目标图像的敏感信息对应的敏感等级，对所述图像数据进行对应的干预处理之后，还包括：
获取所述图像数据对应的取证信息，将所述取证信息发送给监管服务器。
7.根据权利要求6所述的方法，其中，若所述包含图像数据的页面是视频直播的主播用户页面，
所述获取所述图像数据对应的取证信息，包括：
获取主播用户的信息和所述视频直播中的至少一个敏感图像。
8.根据权利要求6所述的方法，其中，若所述包含图像数据的页面不是视频直播的主播用户页面，
所述获取所述图像数据对应的取证信息，包括：
获取所述页面的地址信息，以及所述图像数据中的至少一个敏感图像。
9.根据权利要求7所述的方法，其中，若所述包含图像数据的页面是视频直播的主播用户页面，
所述根据所述目标图像的敏感信息对应的敏感等级，对所述图像数据进行对应的干预处理之后，还包括：
将干预处理后的所述目标图像对应时间间隔内的视频数据发送到直播服务器。
10.根据权利要求1-4中任一项所述的方法，其中，所述利用检测模型，检测所述目标图像的敏感信息之前，还包括：
对所述目标图像进行数据预处理，将所述目标图像转换成标准输入数组表示。
11.根据权利要求1-4中任一项所述的方法，其中，所述利用检测模型，检测所述目标图像的敏感信息之前，还包括：
使用训练数据对预设神经网络模型进行训练，得到所述检测模型。
12.一种图像数据检测的方法，应用于服务端，包括：
响应于包含图像数据的页面的展示请求，获取所述图像数据中当前待展示的目标图像；
利用检测模型，检测所述目标图像的敏感信息；
根据所述目标图像的敏感信息对应的敏感等级，对所述图像数据进行对应的干预处理。
13.一种图像数据检测的装置，应用于客户端，包括：
图像采集模块，用于响应于包含图像数据的页面的展示请求，获取所述图像数据中当前待展示的目标图像；
图像检测模块，用于利用检测模型，检测所述目标图像的敏感信息；
图像干预处理模块，用于根据所述目标图像的敏感信息对应的敏感等级，对所述图像数据进行对应的干预处理。
14.根据权利要求13所述的装置，所述图像采集模块还用于：
响应于包含图片的页面的展示请求，获取所述图片。
15.根据权利要求13所述的装置，所述图像采集模块还用于：
响应于包含视频流的页面的展示请求，在所述视频流中，每间隔一个时间间隔，获取一个视频帧，作为所述目标图像。
16.根据权利要求15所述的装置，所述图像干预处理模块还用于：
根据所述目标图像的敏感信息对应的敏感等级，对所述目标图像对应时间间隔内的视频数据进行对应的干预处理。
17.根据权利要求13-16中任一项所述的装置，其中，不同的敏感等级对应的干预处理方式不同，所述干预处理方式包括以下至少一项：
屏蔽；
模糊处理后展示；
继续展示，并发出警告信息。
18.根据权利要求13-16中任一项所述的装置，还包括：
取证模块，用于获取所述图像数据对应的取证信息，将所述取证信息发送给监管服务器。
19.根据权利要求18所述的装置，若所述包含图像数据的页面是视频直播的主播用户页面，所述取证模块还用于：
获取主播用户的信息和所述视频直播中的至少一个敏感图像。
20.根据权利要求18所述的装置，若所述包含图像数据的页面不是视频直播的主播用户页面，所述取证模块还用于：
获取所述页面的地址信息，以及所述图像数据中的至少一个敏感图像。
21.根据权利要求19所述的装置，若所述包含图像数据的页面是视频直播的主播用户页面，所述图像干预处理模块还用于：
将干预处理后的所述目标图像对应时间间隔内的视频数据发送到直播服务器。
22.根据权利要求13-16中任一项所述的装置，还包括：
图像数据预处理模块，用于对所述目标图像进行数据预处理，将所述目标图像转换成标准输入数组表示。
23.根据权利要求13-16中任一项所述的装置，还包括：
模型训练模块，用于使用训练数据对预设神经网络模型进行训练，得到所述检测模型。
24.一种图像数据检测的装置，应用于服务端，包括：
图像采集模块，用于响应于包含图像数据的页面的展示请求，获取所述图像数据中当前待展示的目标图像；
图像检测模块，用于利用检测模型，检测所述目标图像的敏感信息；
图像干预处理模块，用于根据所述目标图像的敏感信息对应的敏感等级，对所述图像数据进行对应的干预处理。
25.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的方法。
26.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-12中任一项所述的方法。
27.一种图像数据检测的方法，包括：
利用检测模型，检测待检测的目标图像的敏感信息；
根据所述目标图像的敏感信息对应的敏感等级，对所述目标图像进行对应的干预处理，其中不同的敏感等级对应的干预处理方式不同。
CN202010596713.4A 2020-06-28 2020-06-28 图像数据检测的方法、装置、设备及计算机可读存储介质 Pending CN111726648A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010596713.4A CN111726648A (zh) 2020-06-28 2020-06-28 图像数据检测的方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010596713.4A CN111726648A (zh) 2020-06-28 2020-06-28 图像数据检测的方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111726648A true CN111726648A (zh) 2020-09-29

Family

ID=72569224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010596713.4A Pending CN111726648A (zh) 2020-06-28 2020-06-28 图像数据检测的方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111726648A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651352A (zh) * 2020-12-30 2021-04-13 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113554059A (zh) * 2021-06-23 2021-10-26 北京达佳互联信息技术有限公司 图片处理方法、装置、电子设备及存储介质
CN113613035A (zh) * 2021-07-30 2021-11-05 广州繁星互娱信息科技有限公司 敏感信息的处理方法、装置、电子设备及存储介质
CN114173190A (zh) * 2021-11-22 2022-03-11 闪捷信息科技有限公司 视频数据检测方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122806A (zh) * 2017-05-16 2017-09-01 北京京东尚科信息技术有限公司 一种敏感图像识别方法及装置
CN107547555A (zh) * 2017-09-11 2018-01-05 北京匠数科技有限公司 一种网站安全监测方法及装置
CN108734184A (zh) * 2017-04-17 2018-11-02 苏宁云商集团股份有限公司 一种对敏感图像进行分析的方法及装置
CN109840543A (zh) * 2018-12-15 2019-06-04 中国大唐集团科学技术研究院有限公司 一种基于神经网络和敏感信息流的数据监控与预警方法
CN110175623A (zh) * 2019-04-10 2019-08-27 阿里巴巴集团控股有限公司 基于图像识别的脱敏处理方法以及装置
CN110856016A (zh) * 2019-11-18 2020-02-28 百度在线网络技术（北京）有限公司 视频直播的监控方法、装置、电子设备及存储介质
CN111222450A (zh) * 2020-01-02 2020-06-02 广州虎牙科技有限公司 模型的训练及其直播处理的方法、装置、设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734184A (zh) * 2017-04-17 2018-11-02 苏宁云商集团股份有限公司 一种对敏感图像进行分析的方法及装置
CN107122806A (zh) * 2017-05-16 2017-09-01 北京京东尚科信息技术有限公司 一种敏感图像识别方法及装置
CN107547555A (zh) * 2017-09-11 2018-01-05 北京匠数科技有限公司 一种网站安全监测方法及装置
CN109840543A (zh) * 2018-12-15 2019-06-04 中国大唐集团科学技术研究院有限公司 一种基于神经网络和敏感信息流的数据监控与预警方法
CN110175623A (zh) * 2019-04-10 2019-08-27 阿里巴巴集团控股有限公司 基于图像识别的脱敏处理方法以及装置
CN110856016A (zh) * 2019-11-18 2020-02-28 百度在线网络技术（北京）有限公司 视频直播的监控方法、装置、电子设备及存储介质
CN111222450A (zh) * 2020-01-02 2020-06-02 广州虎牙科技有限公司 模型的训练及其直播处理的方法、装置、设备和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651352A (zh) * 2020-12-30 2021-04-13 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN112651352B (zh) * 2020-12-30 2022-07-19 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113554059A (zh) * 2021-06-23 2021-10-26 北京达佳互联信息技术有限公司 图片处理方法、装置、电子设备及存储介质
CN113613035A (zh) * 2021-07-30 2021-11-05 广州繁星互娱信息科技有限公司 敏感信息的处理方法、装置、电子设备及存储介质
CN114173190A (zh) * 2021-11-22 2022-03-11 闪捷信息科技有限公司 视频数据检测方法、装置、电子设备和存储介质
CN114173190B (zh) * 2021-11-22 2024-05-03 闪捷信息科技有限公司 视频数据检测方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN111726648A (zh) 图像数据检测的方法、装置、设备及计算机可读存储介质
Hu et al. DVS benchmark datasets for object tracking, action recognition, and object recognition
US11961271B2 (en) Multi-angle object recognition
US9600152B2 (en) Providing feedback for screen sharing
US9372601B2 (en) Information processing apparatus, information processing method, and program
CN111782433A (zh) 异常排查方法、装置、电子设备和存储介质
US10798425B1 (en) Personalized key object identification in a live video stream
CN110856016A (zh) 视频直播的监控方法、装置、电子设备及存储介质
CN113596488B (zh) 直播间的展示方法、装置、电子设备和存储介质
CN114881708A (zh) 监测投放内容的方法、装置、系统、设备及存储介质
CN109905670A (zh) 一种多级平台监控系统
CN115273231A (zh) 信息处理方法、装置、存储介质及电子设备
CN112330335A (zh) 农业生产过程中的溯源方法及装置、存储介质及电子设备
Arul et al. Fire detection system using machine learning
CN111783613B (zh) 异常检测方法、模型的训练方法、装置、设备及存储介质
CN113781384A (zh) 视频质量评估方法和装置
CN109871465B (zh) 一种时间轴计算方法、装置、电子设备及存储介质
CN110209539B (zh) 一种测试方法、终端设备以及测试器
CN116489336A (zh) 基于虚拟制片的设备监测方法、装置、设备、介质及产品
CN114387544A (zh) 一种高空抛物检测方法、系统、电子设备及存储介质
CN115083229A (zh) 基于ai视觉识别的飞行训练设备智能识别与警示系统
CN115019462A (zh) 视频处理方法、装置、存储介质及设备
CN111783591A (zh) 异常检测方法、装置、设备和存储介质
CN114283349A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN109726026B (zh) 一种交互数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200929

RJ01 Rejection of invention patent application after publication