CN113411665A - 提供视频信息的计算装置和方法 - Google Patents

提供视频信息的计算装置和方法 Download PDF

Info

Publication number
CN113411665A
CN113411665A CN202110560400.8A CN202110560400A CN113411665A CN 113411665 A CN113411665 A CN 113411665A CN 202110560400 A CN202110560400 A CN 202110560400A CN 113411665 A CN113411665 A CN 113411665A
Authority
CN
China
Prior art keywords
video
data
portions
scores
harmful content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110560400.8A
Other languages
English (en)
Other versions
CN113411665B (zh
Inventor
尹志奂
金旼序
郑载润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170131643A external-priority patent/KR102384878B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202110560400.8A priority Critical patent/CN113411665B/zh
Publication of CN113411665A publication Critical patent/CN113411665A/zh
Application granted granted Critical
Publication of CN113411665B publication Critical patent/CN113411665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45452—Input to filtering algorithms, e.g. filtering a region of the image applied to an object-based stream, e.g. MPEG-4 streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/027—Frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供了一种提供视频信息的计算装置和方法，所述计算装置包括：存储器，包括利用多个视频训练的人工智能模型；以及至少一个处理器，其可操作地耦合到所述存储器，并且配置为：将利用多个视频训练的人工智能模型应用于视频，基于将利用多个视频训练的人工智能模型应用于视频，针对所述视频的一个或多个部分，获得与所述视频的一个或多个部分是否具有有害内容有关的多个得分，基于所述多个得分和多个预定阈值，确定所述视频的一个或多个部分是否具有有害内容，以及基于确定所述视频的所述至少一个部分具有有害内容，提供在所述视频的一个或多个部分中的具有有害内容的所述视频的所述至少一个部分。

Description

提供视频信息的计算装置和方法
本案是申请日为2017年11月16日、申请号为201780086358.2、发明名称为“用于对视频进行过滤的方法和设备”的发明专利申请的分案申请。
技术领域
本公开涉及用于对视频进行过滤的方法和设备。更具体地，本公开涉及用于根据有害或不期望内容的预测对要播放的视频进行过滤的设备和方法。
背景技术
人工智能(AI)系统是实现人类级别智能并允许机器自身学习、做出决策的计算机系统，并且与现有的基于规则的智能系统不同的是变得更加智能。当使用AI系统时，AI系统具有改进的识别速率并准确地理解用户的偏好，使得现有的基于规则的智能系统逐渐由基于深度学习的AI系统替换。
AI技术包括机器学习(深度学习)和使用机器学习的元素技术。
机器学习是通过机器对输入数据的特性进行分类/学习的算法技术，并且元素技术是通过使用机器学习算法(诸如深度学习)来模拟人脑的诸如识别、决策等的功能的技术，并且包括诸如语言理解、视觉理解、推断/预测、知识表达和操作控制等等的技术领域。
AI技术采用各种领域。例如，语言理解是识别和应用/处理人类语言/文字的技术，并且包括自然语言处理、机器翻译、对话系统、查询和应答、语音识别/合成等等。视觉理解是以与人类视觉系统相同的方式识别和处理对象的技术，并且包括对象识别、对象跟踪、图像搜索、人物识别、场景理解、空间理解、图像增强等。推理/预测是确定信息并进行逻辑推理和预测的技术，并且包括基于知识/概率的推理、最佳预测、基于偏好的计划/推荐等等。知识表达是将人类的经验信息自动处理为知识数据的技术，并且包括知识建构(数据生成/分类)、知识管理(数据利用)等等。操作控制是控制车辆的自动驾驶和机器人的运动的技术，并且包括运动控制(导航、碰撞、驾驶)、操纵控制(行为控制)等等。
深度学习还可用于对视频中所包括的有害图像进行过滤的装置，使得存在对用于有效地对用户不希望观看的有害图像进行过滤的深度学习技术的需要。
以上信息仅作为背景信息呈现，以帮助理解本公开。关于以上任何内容是否可以用作关于本公开的现有技术，没有做出决定并且没有做出断言。
发明内容
技术方案
本公开的各方面是为了解决至少上述问题和/或缺点并且提供至少下述优点。因此，本公开的一方面在于提供用于对视频进行过滤的方法和设备。
有益效果
根据本公开，有效地对有害图像进行过滤。
本发明的一方面，提供了一种提供视频信息的计算装置，所述计算装置包括：存储器，包括利用多个视频训练的人工智能模型；以及至少一个处理器，所述至少一个处理器可操作地耦合到所述存储器，并且配置为：将利用多个视频训练的人工智能模型应用于视频，基于将利用多个视频训练的人工智能模型应用于视频，针对所述视频的一个或多个部分，获得与所述视频的一个或多个部分是否具有有害内容有关的多个得分，所述多个得分中的每一个对应于多个类别中的不同的类别，基于所述多个得分和多个预定阈值，确定所述视频的一个或多个部分是否具有有害内容，所述多个预定阈值中的每一个对应于多个类别中的不同的类别，以及基于确定所述视频的所述至少一个部分具有有害内容，提供在所述视频的一个或多个部分中的具有有害内容的所述视频的所述至少一个部分，其中，具有有害内容的所述视频的所述至少一个部分中的每一个与所述视频的任何其他部分分开提供。
本发明的另一方面，提供了一种通过计算装置提供视频信息的方法，所述方法包括：通过至少一个处理器将利用多个视频训练的人工智能模型应用于视频；基于将利用多个视频训练的人工智能模型应用于所述视频，针对所述视频的一个或多个部分，通过至少一个处理器，获得与所述视频的一个或多个部分是否具有有害内容有关的多个得分，所述多个得分中的每一个对应于多个类别中的不同的类别；基于所述多个得分和多个预定阈值，通过所述至少一个处理器，确定所述视频的一个或多个部分是否具有有害内容，所述多个预定阈值中的每一个对应于多个类别中的不同的类别；以及基于确定所述视频的至少一个部分具有有害内容，通过所述至少一个处理器，提供在所述视频的一个或多个部分中的具有有害内容的视频的至少一个部分，其中，具有有害内容的所述视频的至少一个部分中的每一个与所述视频的任何其他部分分开提供。
本发明的另一方面，提供了一种非暂时性计算机的计算机可读记录介质，在其上记录有程序，所述程序在通过计算装置的至少一个处理器执行时，使所述至少一个处理器执行提供视频信息的方法，所述方法包括：将利用多个视频训练的人工智能模型应用于视频；基于利用经多个视频训练的人工智能模型应用于所述视频，针对所述视频的一个或多个部分，获得与所述视频的一个或多个部分是否具有有害内容有关的多个得分，所述多个得分中的每一个对应于多个类别中的不同的类别；基于所述多个得分和多个预定阈值，确定所述视频的一个或多个部分是否具有有害内容，所述多个预定阈值中的每一个对应于多个类别中的不同的类别；以及基于确定所述视频的至少一个部分具有有害内容，提供在所述视频的一个或多个部分中的具有有害内容的视频的至少一个部分，其中，具有有害内容的所述视频的至少一个部分中的每一个与所述视频的任何其他部分分开提供。
附图说明
通过以下结合附图的描述，本公开的某些实施例的上述和其他方面、特征和优点将更加明显，在附图中：
图1展示了根据本公开的实施例的其中装置对视频进行过滤的示例；
图2是根据本公开的实施例的由装置对视频进行过滤的方法的流程图；
图3展示了根据本公开的实施例的关于先前帧的元数据；
图4展示了根据本公开的实施例的示例，其中装置将危害性级别与过滤级别进行比较以对视频进行过滤；
图5A、图5B和图5C展示了根据本公开的各种实施例的设置过滤级别的示例；
图6是根据本公开的实施例的将下一帧的预期危害性级别与预设过滤级别进行比较的方法的流程图；
图7展示了根据本公开的实施例的示例，其中生成关于前一帧的有害区域的元数据；
图8展示了根据本公开的实施例的示例，其中基于元数据对下一帧进行过滤；
图9和图10是根据本公开的各种实施例的装置的框图；
图11是根据本公开的实施例的控制器的框图；
图12是根据本公开的实施例的学习器的框图；
图13是根据本公开的实施例的数据识别器的框图；并且
图14展示了根据本公开的实施例的示例，其中装置和服务器通过彼此交互工作来学习和识别数据。
贯穿附图，应当注意，相同参考标号用于描绘相同或相似元素、特征和结构。
具体实施方式
根据本发明的一个方面，提供一种由装置对视频进行过滤的方法。所述方法包括：从所述视频中所包括的多个帧中选择正在播放的当前帧之前的至少一个前一帧；生成关于所选择的至少一个前一帧的元数据；基于所生成的元数据来预测在回放所述当前帧之后要在所述装置上显示的至少一个下一帧的危害性；以及基于所预测的危害性来对所述下一帧进行过滤。
其中所述预测所述下一帧的所述危害性包括：预测所述下一帧针对用于预测所述危害性的多个类别中的每一个的所述危害性。
其中所述预测所述下一帧的所述危害性还包括：提供用于设置用于预测危害性的类别的图形用户界面(GUI)；接收关于所提供的GUI的用户输入；以及根据所接收输入来设置与危害性相关的新类别。
其中对所述下一帧进行过滤包括：将所预测的危害性级别与预设过滤级别进行比较；以及基于所述比较的结果来对所述下一帧进行过滤。
其中所述方法还包括：基于用户输入来改变预设过滤级别，其中所述比较包括：将预测的危害性级别与改变的过滤级别进行比较。
其中生成所述元数据包括：将所选择的前一帧的部分区域确定为包括有害内容的有害区域；以及生成用于确定所述有害区域的危害性的元数据。
其中生成所述元数据包括：基于所选择的前一帧中所包括的图像信息、语音信息和文本信息中的至少一者来生成元数据。
其中选择所述至少一个前一帧包括：基于所述视频中所包括的相邻先前帧之间的数据变化来选择具有相似性的一个或多个相邻先前帧。
其中对所述下一帧进行过滤包括：降低所述下一帧或所述下一帧的部分区域的可视性。
根据本公开的另一方面，提供一种用于对视频进行过滤的装置。所述装置包括：显示器，配置来显示所述视频；存储器，配置来存储至少一个指令；以及至少一个处理器，所述至少一个处理器通过执行所述至少一个指令配置来：从所述视频中所包括的多个帧中选择正在播放的当前帧之前的至少一个前一帧；生成关于所选择的至少一个前一帧的元数据；基于所生成的元数据来预测在回放所述当前帧之后要在所述装置上显示的至少一个下一帧的危害性；以及基于所预测的危害性来对所述下一帧进行过滤。
所述至少一个处理器进一步被配置来预测所述下一帧针对用于预测所述危害性的多个类别中的每一个的危害性。
其中所述至少一个处理器进一步被配置来：提供用于设置用于预测危害性的类别的图形用户界面(GUI)；接收关于所提供的GUI的用户输入；以及根据所接收输入来设置与危害性相关的新类别。
其中所述至少一个处理器进一步被配置来：将所预测的危害性级别与预设过滤级别进行比较；以及基于所述比较的结果来对所述下一帧进行过滤。
其中所述至少一个处理器进一步被配置来：基于用户输入来改变预设过滤级别，并且将预测的危害性级别与改变的过滤级别进行比较。
其中所述至少一个处理器进一步被配置来：将所选择的前一帧的部分区域确定为包括有害内容的有害区域；以及生成用于确定所述有害区域的危害性的元数据。
其中所述至少一个处理器进一步被配置来基于所选择的前一帧中所包括的图像信息、语音信息和文本信息中的至少一者来生成元数据。
其中所述至少一个处理器进一步被配置来基于所述视频中所包括的相邻先前帧之间的数据变化来选择具有相似性的相邻先前帧。
其中所述至少一个处理器进一步被配置来降低所述下一帧或所述下一帧的部分区域的可视性。
根据本公开的另一方面，一种非暂时性计算机可读记录介质在其上记录有程序，所述程序在由计算机执行时执行根据实施例的第一方面的方法。
通过以下结合附图来公开本公开的各种实施例的详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见。
本发明的模式
提供以下参照附图进行的描述以便有助于全面理解如由权利要求书及其等效物限定的本公开的各种实施例。本公开的实施例包括有助于全面理解的各种具体细节，但这些实施例应当被视为仅仅是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文所描述的各种实施例做出各种改变和修改。另外，为了清楚和简洁起见，可以省略对众所周知的功能和构造的描述。
以下描述和权利要求书中所使用的术语和词语不限于书目含义，而是仅供发明人用来实现对本公开的清楚且一致的理解。因此，本领域的技术人员应当明白，提供以下对本公开的各种实施例的描述仅出于说明目的，而不是出于限制如由所附权利要求书及其等效物定义的本公开的目的。
应当理解，除非上下文明确地另有说明，否则单数形式“一个(a)”、“一种(an)”以及“所述(the)”包括复数指示物。因此，例如，对“部件表面”的引用包括对一个或多个此类表面的引用。
本公开的一些实施例可以由块部件和各种处理操作表示。所有或一些此类功能块可以由执行特定功能的各种数量的硬件和/或软件部件来实现。例如，本公开的功能块可以利用用于特定功能的一个或多个微处理器或电路元件实现。本公开的功能块还可以利用各种编程或脚本语言来实现。功能块可以实现为在一个或多个处理器中执行的算法。此外，本公开可以采用任何数量的用于电子配置、信号处理和/或控制、数据处理等的常规技术。术语“机制”、“元件”、“装置”或“部件”广泛使用，并且不限于机械或物理实施例。
在附图中示出的元件之间的连接线或连接构件旨在仅展示功能连接和/或物理或电路连接。在实际装置中，元件之间的连接可以通过可替换或添加的各种功能连接、物理连接或电路连接来指示。
在下文中，将参考附图描述本公开。
图1展示了根据本公开的实施例的示例，其中装置对视频进行过滤。
参考图1，装置10可以从装置10中正播放的视频110中所包括的帧中过滤包括有害内容的帧。在一个实施例中，装置10的用户可以预设有害内容类型(例如，暴力、淫荡和恐怖)以及用于对内容进行过滤的过滤级别，并且装置10可以基于要过滤的有害内容类型和特定于所述有害内容类型的过滤级别来预期在回放当前播放的帧之后要显示的帧的危害性并且执行过滤。
例如，如果用户不希望观看视频110的淫荡场景，则用户可以针对“淫荡”类别设置低过滤级别以使得易于过滤掉淫荡场景，并且如果装置10确定在回放当前播放的帧之后要显示的帧包括淫荡场景，则装置10可以对要显示的帧进行过滤。
在一个实施例中，帧过滤降低了帧中所包括的有害内容的可视性，并且可以包括通过使用图像过滤器来处理帧。例如，装置10可以通过使帧的整个区域或其显示有害内容的部分区域模糊或变暗来对包括有害内容的帧进行过滤。
在一个实施例中，视频110中所包括的帧可以被分类成当前在装置10上播放的当前帧112、在当前帧112之前在装置10上显示的至少一个先前帧111、以及在回放当前帧112之后要在装置10上显示的至少一个后续帧113。然而，帧的分类标准不限于该示例。
通过分析先前帧111，装置10可以预期在回放当前帧112之后要在装置10上显示的下一帧113的危害性。在一个实施例中，可以针对与危害性有关的多个类别121中的每一个预期下一帧113的危害性。例如，多个类别121可以包括“暴力”、“淫荡”和“恐怖”，并且装置10可以针对“暴力”、“淫荡”和“恐怖”类别中的每一个预期下一帧113的危害性。
在一个实施例中，装置10通过将下一帧113的预期危害性级别(未示出)与预设过滤级别120进行比较来对下一帧113进行过滤。危害性级别(未示出)展示下一帧113中所包括的有害内容的程度，并且例如，可以将危害性级别(未示出)设置为整数值并且如果装置10确定下一帧113的危害性具有最高级别，则装置10可以将下一帧113的危害性级别(未示出)预期为10。过滤级别120指示下一帧113的有害内容的级别，其导致下一帧113的过滤，并且可以设置在与可以设置危害性级别(未示出)的范围相似的范围内。例如，如果危害性级别(未示出)被设置为0至10的整数值，则过滤级别120也可以被设置为0至10的整数值。当过滤级别120被设置为7时，如果危害性级别(未示出)被设置为7至10的整数值，则可以确定要对下一帧113进行过滤。
在一个实施例中，如果针对多个类别121中的每一个预期下一帧113的危害性，则装置10可以通过将相同类别的危害性级别(未示出)和过滤级别120彼此进行比较来对下一帧113进行过滤。
在一个实施例中，如果下一帧113的预期危害性级别(未示出)高于或等于预设过滤级别120，则装置10可以对下一帧113进行过滤。例如，如果下一帧113针对“淫荡”类别的危害性级别被预期为9并且因此高于设置为8的“淫荡”类别的过滤级别120，则装置10可以对下一帧113进行过滤。
装置10可以是例如但不限于智能电话、平板个人计算机(PC)、智能电视(TV)、个人数字助理(PDA)、膝上型电脑、媒体播放器、微型服务器、全球定位系统(GPS)装置、电子书(e-Book)终端、数字广播终端、导航系统、售货亭、运动图像专家组阶段1或阶段2(MPEG-1或MPEG-2)音频层3(MP3)播放器、数码相机、可穿戴装置以及其他移动或非移动计算装置。装置10还可以包括能够接收触摸输入的各种装置，诸如电子板、触摸台等。装置10还可以是手表、眼镜、发带或环，其具有通信功能和数据处理功能。
图2是根据本公开的实施例的由装置对视频进行过滤的方法的流程图。
参考图2，在操作S210中，装置10从视频中所包括的帧中选择当前播放的当前帧之前的帧中的至少一个。在一个实施例中，装置10可以基于视频中所包括的相邻先前帧之间的数据变化来选择具有相似性的多个相邻先前帧。装置10可以从外部装置或服务器接收视频。视频可以通过装置10的相机等输入到装置10。
在操作S220中，装置10生成关于所选择的前一帧的元数据。所述元数据可以包括用于确定下一帧的危害性的信息。在一个实施例中，装置10可以基于所选择的前一帧中所包括的图像信息、语音信息和文本信息中的至少一者来生成元数据。
例如，装置10可以提取所选择的前一帧的图像特性，识别所选择的前一帧中所包括的语音，并且使用包括前一帧的视频的场景信息，从而将关于前一帧中所包括的人数、人的性别、人的动作、人的面部表情、人的情绪状态和肤色暴露程度的信息生成为元数据。然而，元数据类型不限于上述示例。
在一个实施例中，装置10可以将所选择的前一帧的部分区域确定为包括有害内容的有害区域。装置10生成关于作为前一帧的部分区域的有害区域的元数据。装置10通过提取所选择的前一帧的部分区域的图像特性来生成元数据。
在操作S230中，装置10基于所生成的元数据来预期在回放当前帧之后要在装置10上显示的至少一个下一帧的危害性。
在一个实施例中，装置10预期下一帧针对与危害性相关的多个类别中的每一个的危害性。例如，多个类别可以包括“暴力”、“淫荡”和“恐怖”，并且装置10可以针对“暴力”、“淫荡”和“恐怖”类别中的每一个预期下一帧的危害性。
在操作S240中，装置10基于预期的危害性来对下一帧进行过滤。在一个实施例中，装置10通过将下一帧的预期危害性级别与预设过滤级别进行比较来对下一帧进行过滤。如果针对多个类别中的每一个预期下一帧的危害性，则装置10可以通过将相同类别的危害性级别和过滤级别彼此进行比较来对下一帧进行过滤。在一个实施例中，如果下一帧的预期危害性级别高于或等于预设过滤级别，则装置10对下一帧进行过滤。
在一个实施例中，装置10通过使用图像过滤器来对下一帧进行过滤。例如，装置10可以通过使下一帧的整个区域或其显示有害内容的部分区域模糊或变暗来对下一帧进行过滤。
装置10可以在装置10上显示经过滤的下一帧。装置10可以将经过滤的下一帧传输到外部装置或外部服务器。
图3展示了根据本公开的实施例的关于先前帧的元数据。
参考图3，关于先前帧310的元数据320可以包括用于确定下一帧的危害性的信息。在一个实施例中，装置10可以基于所选择的前一帧中所包括的图像信息、语音信息和文本信息中的至少一者来生成元数据320。然而，为了便于描述，提供了图3所示的元数据320，并且由装置10生成的元数据320不限于该描述。
为了生成关于所选择的先前帧310的元数据320，装置10可以使用自相关、尺度不变特征(SIFT)方法和加速鲁棒特征(SURF)算法作为用于提取先前帧310的图像特性的方法。装置10可以使用诸如动态时间扭曲(DTW)、隐马尔可夫建模(HMM)、神经网络等的语音识别算法来生成关于所选择的先前帧310的元数据。装置10可以通过使用关于视频的场景和脚本信息来生成元数据320。然而，本公开不限于此，并且能够指示帧中所包括并且用于区分图像的属性的图像特性的数据可以包括在元数据中。
在一个实施例中，装置10可以提取所选择的先前帧310的图像特性，识别所选择的先前帧310中所包括的语音，并且使用包括先前帧310的视频的场景信息，从而将关于先前帧310中所包括的人数、人的性别、人的动作、人的面部表情、人的情绪状态和肤色暴露程度的信息生成为元数据。
例如，如果先前帧310示出用于准备淋浴的场景，则装置10可以生成关于先前帧310的元数据320，“性别、人数：女人、一位；皮肤暴露程度：75％；动作：脱掉衣服；情绪：快乐；语音信息：“温暖”；情景信息：淋浴场景”。
在一个实施例中，装置10可以将所选择的先前帧310的部分区域确定为包括有害内容的有害区域311。装置10生成用于确定有害区域311的危害性的元数据320。
图4展示了根据本公开的实施例的示例，其中装置将危害性级别与过滤级别进行比较以对视频进行过滤。
参考图4，在装置10上播放的帧410可以包括先前帧411a和当前播放的当前帧412。
装置10可以选择当前帧412之前的先前帧411a中的至少一个。在一个实施例中，装置10可以基于相邻先前帧411a之间的数据变化来选择具有相似性的多个相邻先前帧411b。
装置10生成关于所选择的先前帧411b的元数据420。在一个实施例中，装置10可以基于所选择的先前帧411b中所包括的图像信息、语音信息和文本信息中的至少一者来生成元数据420。
装置10提取所选择的先前帧411b的图像特性，从而将关于所选择的先前帧411b中所包括的人数、人的性别、人的动作、人的面部表情以及肤色暴露程度的信息生成为元数据。例如，装置10可以将指示“一个女人、80％的肤色暴露程度、在淋浴期间、快乐的面部表情”的信息生成为关于所选择的先前帧411b的元数据420。
装置10基于生成的元数据420来预期至少一个下一帧413的危害性。在一个实施例中，装置10可以预期下一帧413针对与危害性相关的多个类别431中的每一个的危害性。在一个实施例中，多个类别431可以包括“暴力”、“淫荡”和“恐怖”，并且装置10可以针对“暴力”、“淫荡”和“恐怖”类别中的每一个预期下一帧413的危害性。例如，如果关于所选择的先前帧411b的元数据420包括“一个女人、80％的肤色暴露程度、在淋浴期间、快乐的面部表情”，并且因此包括指示淫荡的信息，但不包括指示“暴力”或“恐怖”的信息，则装置10可将“暴力：0、淫荡：8、恐怖：3”预期为下一帧413针对每个类别的危害性级别。
装置10通过将预期危害性级别430与预设过滤级别440进行比较来确定是否对下一帧413进行过滤。在一个实施例中，如果针对多个类别431中的每一个预期下一帧413的危害性，则装置10可以通过将相同类别的危害性级别430和过滤级别440彼此进行比较来对下一帧413进行过滤。例如，如果下一帧413针对“淫荡”类别的危害性级别430被预期为8并且“淫荡”类别的过滤级别440被设置为3，则危害性级别430高于过滤级别440并且因此装置10可以对下一帧413进行过滤。
同时，装置10基于用户输入来将新类别添加到预设危害性相关的类别。在一个实施例中，如果添加了要预期的新类别，则装置10通过将下一帧413针对相同类别的危害性级别430和过滤级别440彼此进行比较来对下一帧413进行过滤。
装置10基于用户输入来改变每个类别的过滤级别440。在一个实施例中，如果通过用户输入改变了特定类别的过滤级别440，则装置10通过对于特定类别将危害性级别430和过滤级别440彼此进行比较来对下一帧413进行过滤。
装置10通过将下一帧413的预期危害性级别430与预设过滤级别440进行比较来对下一帧413进行过滤。例如，装置10可以通过使下一帧413的整个区域模糊来对下一帧413进行过滤。
在一个实施例中，装置10对预设数量的后续帧进行过滤。例如，装置10可以通过使预设数量的后续帧模糊来对预设数量的后续帧进行过滤。
图5A至图5C展示了根据本公开的各种实施例的设置过滤级别的示例。
参考图5A至图5C，装置10提供用于设置要预期下一帧的危害性的类别的图形用户界面(GUI)510a、410b和520。
参考图5A，装置10通过GUI 510a接收用于设置危害性类别的用户输入511以用于预期下一帧的危害性。
参考图5B，装置10响应于用于设置危害性类别的用户输入511来提供GUI 520。在一个实施例中，装置10通过GUI 520提供预设类别和新添加类别的列表。例如，除预设类别“暴力”、“淫荡”和“恐怖”之外，装置10还可以通过GUI 520提供新类别“血迹”。
在一个实施例中，装置10可以接收用于添加新类别“血迹”的用户输入521。在一个实施例中，装置10可以通过GUI 520接收用于排除用于预期危害性的正在预设的类别的用户输入(未示出)。
参考图5C，装置10响应于用于添加新类别的用户输入521来提供GUI 410b。例如，装置10可以响应于用于添加新类别“血迹”的用户输入521来将“血迹”类别512添加到用于预期危害性的类别中。装置10通过GUI 410b提供预设的“暴力”、“淫荡”和“恐怖”类别以及新添加的“血迹”类别512的列表。
装置10基于用户输入513来改变类别的预设过滤级别。例如，装置10可以接收用户输入513，以便将“暴力”类别的过滤级别从“5”改变为“0”。
装置10可以通过将新添加类别的危害性级别和过滤级别进行比较来对下一帧进行过滤。装置10可以通过将特定类别的改变的过滤级别和危害性级别彼此进行比较来对下一帧进行过滤。
图6是根据本公开的实施例的将下一帧的预期危害性级别与预设过滤级别进行比较的方法的流程图。
参考图6，在操作S602中，装置10将下一帧的预期危害性级别与预设过滤级别进行比较。在一个实施例中，装置10可以针对与危害性相关的多个类别中的每一个将下一帧的预期危害性级别与预设过滤级别进行比较。例如，装置10可以将下一帧针对“淫荡”类别的预期危害性级别与“淫荡”类别的预设过滤级别进行比较。
下一帧的预期危害性级别可能因类别而异，并且预设过滤级别也可能因类别而异。例如，如果用户不希望观看视频的淫荡场景，则用户可以针对“淫荡”类别设置低过滤级别，并且针对“暴力”和“恐怖”类别设置高过滤级别。
下一帧的危害性级别还可以基于使用先前帧生成的元数据来确定。例如，如果将信息“一个女人、80％的肤色暴露程度、在淋浴期间、快乐的面部表情”生成为元数据，则装置10可以确定下一帧针对“淫荡”类别的高危害性级别和下一帧针对“暴力”和“恐怖”类别的低危害性级别。
在操作S604中，装置10确定至少一个类别的预期危害性级别是否高于预设过滤级别。如果由于预期要播放的下一帧的危害性级别而确定“淫荡”类别的危害性级别高于“淫荡”类别的过滤类别，则装置10前进到操作S608。如果“淫荡”类别的预期危害性级别不高于“淫荡”类别的过滤级别，则装置10前进到操作S606。
在操作S604中，装置10确定两个或更多个类别的预期危害性级别是否高于预设过滤级别或者任意组合类别的预期危害性级别是否高于预设过滤级别。例如，如果“暴力”类别和“恐怖”类别的危害性级别均高于预设过滤级别，则装置10可以对下一帧进行过滤。
如果在操作S604中确定至少一个类别的预期危害性级别不高于预设过滤级别，则装置10进入不对下一帧进行过滤的操作S606。
如果在操作S604中确定至少一个类别的预期危害性级别高于预设过滤级别，则装置10进入不对下一帧进行过滤的操作S608。
图7展示了根据本公开的实施例的示例，其中生成关于前一帧的有害区域的元数据。
在以下描述中，为方便起见，将不提供与图4的描述重叠的描述。
参考图7，装置10可以将所选择的先前帧711的部分区域确定为包括有害内容的有害区域710a。在一个实施例中，装置10可以通过提取所选择的先前帧711的图像特性来将所选择的先前帧711的部分区域确定为包括有害内容的有害区域710a。正在播放的当前帧712在图7中示出。
如果设置了与危害性相关的多个类别，则装置10可以将先前帧711的包括由所述多个类别指示的有害内容的部分区域确定为有害区域710a。例如，如果设置了作为多个类别的“淫荡”和“恐怖”类别，则装置10可以将先前帧711的包括与“淫荡”和“恐怖”相关的有害内容的部分区域确定为有害区域710a。装置10可以根据多个设置类别的类型来不同地确定包括有害内容的有害区域710a。
为了预期下一帧713的危害性，装置10生成关于有害区域710a的元数据720来代替关于先前帧711的整个区域的元数据。装置10基于所生成的元数据720来预期下一帧713的有害区域710b的危害性级别730，并且将预期过滤级别730与过滤级别740进行比较。在一个实施例中，装置10将相同类别的预期危害性级别730和过滤级别740彼此进行比较。
如果下一帧713的有害区域710b的预期危害性级别730高于过滤级别740，则装置10对整个下一帧713或下一帧713的有害区域710b进行过滤。例如，装置10可以通过使下一帧713的整个区域或有害区域710b模糊或变暗来对下一帧713进行过滤。
图8展示了根据本公开的实施例的示例，其中基于元数据对下一帧进行过滤。
如果它与上文提供的描述重叠，则将不再提供描述。
参考图8，在一个实施例中，在装置10上播放的视频可以具有包括残酷场景的帧组810和包括淫荡场景的第二帧组820。第一帧组810和第二帧组820可以包括具有相似性的多个相邻的先前帧，所述先前帧基于视频中所包括的相邻先前帧之间的数据变化来选择。可以将“淫荡”类别的过滤级别830设置为低，并且可以将“暴力”和“恐怖”类别的过滤级别830设置为高。例如，如果将每个类别的过滤级别830设置为0至10的整数值，则可以将过滤级别830设置为“暴力：10、淫荡：3、恐怖：10”。在这种情况下，如果“淫荡”类别的危害性级别813和823被确定为3至10或者“暴力”和“恐怖”类别的危害性级别813和823被确定为10，则可以对第一后续帧814和第二后续帧824进行过滤。
在一个实施例中，装置10生成关于第一帧组810中所包括的第一先前帧811的第一元数据812。在一个实施例中，装置10生成关于第二帧组820中所包括的第二先前帧821的第二元数据822。
例如，可将信息“性别、人数：女人、两位，男人、两位；皮肤暴露程度：15％；动作：男人抓着女人的头发；情绪：男人生气，女人害怕；言语信息：男人-“说话！”女人-“请帮助我”等生成为关于包括残酷场景的第一先前帧811的第一元数据812。例如，可将信息“性别，人数：女人，一位；皮肤暴露程度：75％；动作：淋浴；情绪：快乐；语音信息：“温暖”等生成为关于包括淫荡场景的第二先前帧821的第二元数据822。
在一个实施例中，装置10基于所生成的第一元数据812和第二元数据822来预期第一后续帧814和第二后续帧824的危害性。在一个实施例中，装置10可以针对“淫荡”、“暴力”和“恐怖”类别中的每一个预期第一后续帧814和第二后续帧824的危害性。
例如，如下一帧413针对每个类别的有害性级别，基于第一元数据812，可以将包括残酷场景的第一帧组810针对每个类别的第一危害性级别813预期为“暴力：9、淫荡：1、恐怖：6”。如下一帧413针对每个类别的有害性级别，基于第二元数据822，可以将包括淫荡场景的第二帧组820针对每个类别的第二危害性级别823预期为“暴力：0、淫荡：7、恐怖：0”。
装置10通过将下一帧的预期危害性级别与预设过滤级别进行比较来确定是否对下一帧进行过滤。在一个实施例中，装置10将第一后续帧814的预期第一危害性级别813与预设过滤级别830进行比较。装置10还将第二后续帧824的预期第二危害性级别823与预设过滤级别830进行比较。
例如，如果第一危害性级别813被预期为“暴力：9、淫荡：1、恐怖：6”，并且因此对应于全部危害性类别的值低于预设过滤级别830“暴力：10、淫荡：7，恐怖：10”，则装置10可以不对第一后续帧814进行过滤。如果第二危害性级别823被预期为“暴力：0、淫荡：7、恐怖：0”，并且因此对应于“淫荡”类别的值高于预设过滤级别830，则装置10可以对第二后续帧824进行过滤。
如果第二先前帧821的部分区域被确定为有害区域825a，则装置10可以过滤对应于第二后续帧824的有害区域825b。
在一个实施例中，装置10可以通过使第二后续帧824的整个区域或有害区域825b模糊或变暗来对后续帧824进行过滤。
图9和图10是根据本公开的各种实施例的装置的框图。
参考图9，根据实施例的装置10可以包括控制器910、输出接口920和存储器930。然而，图9所示的所有元件不都是装置10的必要元件。可以使用比图9所示的元件更多的元件或更少的元件来实现装置10。
例如，如图9所示，除控制器1300和输出接口1200之外，根据实施例的装置10还可以包括输入接口1100、通信器1500、传感器1400和音频/视频(A/V)输入接口1600。
用户输入接口1100是用户通过其输入用于控制装置10的数据的装置。例如，用户输入接口1100可以包括但不限于键盘、弹片开关、触摸板(电容覆盖类型、电阻覆盖类型、红外光束类型、表面声波类型、积分应变计类型、压电效应类型等)、滚轮、拨动开关等。
用户输入接口1100接收用于设置预设危害性相关的类别的用户输入和用于改变类别特定的过滤级别的用户输入。
输出接口1200输出音频信号、视频信号或振动信号，并且可以包括显示器1210、音频输出接口1220和振动电机1230。
显示器1210显示由装置10处理的信息。例如，显示器1210可以显示输入到装置10的视频中所包括的帧，或者可以显示经过滤的下一帧。
当显示器1210和触摸板被构造为呈层结构的触摸屏时，显示器1210可以用作输入装置以及输出装置。显示器1210可以包括以下中的至少一者：液晶显示器(LCD)、薄膜晶体管(TFT)LCD、有机发光二极管(OLED)、柔性显示器、三维(3D)显示器和电泳显示器。根据装置10的实现类型，装置10可以包括两个或更多个显示器1210。在这种情况下，两个或更多个显示器1210可以设置成通过使用铰链而彼此面对。
音频输出接口1220输出从通信器1500接收或存储在存储器1700中的音频数据。音频输出接口1220输出与在装置10中执行的功能(例如，呼叫信号接收声音、消息接收声音、警报声等)相关的音频信号。音频输出接口1220可以包括扬声器、蜂鸣器等。
振动电机1230输出振动信号。例如，振动电机1230可以输出对应于音频数据或视频数据(例如，呼叫信号接收声音或消息接收声音)的输出的振动信号。在将触摸输入到触摸屏时，振动电机1230输出振动信号。
控制器1300控制装置10的整体操作。例如，控制器1300可以通过执行存储在存储器1700中的程序来整体控制用户输入接口1100、输出接口1200、传感器1400、通信器1500和A/V输入接口1600。
控制器1300执行图1至图4、图5A至图5C、图6至图8和图11至图14中公开的装置10的操作。
更具体地，控制器1300从视频中所包括的帧中选择当前播放的当前帧之前的先前帧中的至少一个。在一个实施例中，控制器1300可以基于视频中所包括的相邻先前帧之间的数据变化来选择具有相似性的多个相邻先前帧。
控制器1300生成关于所选择的前一帧的元数据。在一个实施例中，控制器1300可以基于所选择的前一帧中所包括的图像信息、语音信息和文本信息中的至少一者来生成元数据。
在一个实施例中，控制器1300可以将所选择的前一帧的部分区域确定为包括有害内容的有害区域。控制器1300生成关于作为前一帧的部分区域的有害区域的元数据。
控制器1300基于所生成的元数据来预期在回放当前帧之后要在装置上显示的至少一个下一帧的危害性。
控制器1300基于预期危害性来对下一帧进行过滤。在一个实施例中，控制器1300通过将下一帧的预期危害性级别与预设过滤级别进行比较来对下一帧进行过滤。如果针对多个类别中的每一个预期下一帧的危害性，则控制器1300通过将相同类别的危害性级别和过滤级别彼此进行比较来对下一帧进行过滤。在一个实施例中，如果下一帧的预期危害性级别高于或等于预设过滤级别，则控制器1300对下一帧进行过滤。
控制器1300提供用于设置用于预期下一帧的危害性的类别的GUI。控制器1300基于用户输入来改变类别的预设过滤级别。控制器1300可以通过针对新添加类别将危害性级别和下一帧的过滤级别进行比较来对下一帧进行过滤。控制器1300可以通过将特定类别的改变的过滤级别和危害性级别彼此进行比较来对下一帧进行过滤。
控制器1300将下一帧的预期危害性级别与预设过滤级别进行比较。在一个实施例中，控制器1300确定至少一个类别的预期危害性级别是否高于预设过滤级别。如果确定至少一个类别的预期危害性级别不高于预设过滤级别，则控制器1300不对下一帧进行过滤。如果确定至少一个类别的预期危害性级别高于预设过滤级别，则控制器1300对下一帧进行过滤。
传感器1400感测装置10的状态或装置10周围的状态，并将感测到的信息输送到控制器1300。
传感器1400可以包括但不局限于以下中的至少一者：磁传感器1410、加速度传感器1420、温度/湿度传感器1430、红外传感器1440、陀螺仪传感器1450、位置传感器(例如，全球定位系统(GPS))1460、压力传感器1470、接近传感器1480和红/绿/蓝(RGB)传感器(或照度传感器)1490。每个传感器的功能可以由本领域普通技术人员从每个传感器的名称直观地解释，因此将不再详细描述。
同时，通信器1500可以包括一个或多个元件，所述一个或多个元件使得能够在装置10与外部装置(未示出)之间进行通信。例如，通信器1500可以包括短距离无线通信单元1510、移动通信单元1520和广播接收单元1530。
短距离无线通信单元1510可以包括但不限于蓝牙低功耗(BLE)通信单元、近场通信(NFC)单元、无线局域网(WLAN)通信单元或Wi-Fi通信单元、Zi gBee通信单元、红外数据协会(IrDA)通信单元、Wi-Fi直连(WFD)通信单元、超宽带(UWB)通信单元和Ant+通信单元。
移动通信单元1520通过移动通信网络将无线电信号发射到以下中的至少一者或者从以下中的至少一者接收无线电信号：基站、外部终端和服务器。在此，无线电信号可以包括与语音呼叫信号、视频通信呼叫信号或文本/多媒体消息的发射/接收相对应的各种形式的数据。
广播接收单元1530通过广播信道从外部源接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和地面信道。根据实施示例，装置10可以不包括广播接收单元1530。
通信器1500向头戴式显示器(HMD)装置(未示出)、服务器(未示出)和外围装置(未示出)发射和从其接收预期下一帧的危害性所需的信息。
A/V输入接口1600输入音频信号或视频信号，并且可以包括相机1610、麦克风1620等等。相机1610通过图像传感器以视频通信模式或拍摄模式获取诸如静止图像或运动图像的图像帧。通过图像传感器捕获的图像可以由控制器1300或单独的图像处理器(未示出)处理。
由相机1610处理的图像帧可以存储在存储器1700中或者通过通信器1500发射到外部源。根据装置的结构方面，可以提供两个或更多个相机1610。
麦克风1620接收外部音频信号，并且将接收信号处理成电子语音数据。例如，麦克风1620可以从外部装置或扬声器接收音频信号。麦克风1620使用各种噪声消除算法来消除在接收外部音频信号期间生成的噪声。
存储器1700存储用于处理和控制控制器1300的程序，并且存储输入到装置10和/或从装置输出的数据。
存储器1700可以包括以下中的至少一种类型的存储介质：快闪存储器类型、硬盘类型、微型多媒体卡类型、卡型存储器(例如，安全数字(SD)或极端数字(XD)存储器等)、随机存取存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、可编程ROM(PROM)、磁存储器、磁盘、光盘等等。
存储在存储器1700中的程序可以根据其功能被分类成多个模块，例如，用户接口(UI)模块1710、触摸屏模块1720、通知模块1730等等。
UI模块1710为每个应用提供与第一装置1000交互工作的专用UI或图形UI(GUI)。触摸屏模块1720在触摸屏上感测用户的触摸手势，并且将关于触摸手势的信息传送到控制器1300。根据一些实施例的触摸屏模块1720识别并分析触摸代码。触摸屏模块1720配置有包括控制器的单独硬件。
为了感测触摸屏上的触摸或接近触摸，可以在触摸屏内部或附近提供各种传感器。用于感测触摸屏上的触摸的传感器的示例可以是触觉传感器。触觉传感器是指感测特定对象的触摸到人感觉到触摸的程度或更大的传感器。触觉传感器感测许多信息，诸如接触表面的粗糙度、接触对象的硬度、接触点的温度等。
用于感测触摸屏上的触摸的传感器的示例可以是接近传感器。
接近传感器是指在没有机械接触的情况下通过使用电磁场的力或红外线来检测接近或邻近检测表面的对象的存在或不存在的传感器。接近传感器的示例可以包括透射光电传感器、直接反射光电传感器、镜面反射光电传感器、射频振荡接近传感器、静电电容接近传感器、磁接近传感器、红外接近传感器等等。用户的触摸手势可以包括轻击、触摸和保持、双击、拖动、平移、轻拂、拖放、挥击等等。
通知模块1730生成用于通知第一装置1000事件发生的信号。在第一装置1000中发生的事件的示例可以包括键信号输入等等。通知模块1730通过显示器1210以视频信号的形式、通过音频输出接口1220以音频信号的形式、和/或通过振动电机1230以振动信号的形式输出通知信号。
图11是根据本公开的实施例的控制器的框图。
参考图11，控制器1300可以包括数据学习器1310和数据识别器1320。
数据学习器1310学习用于预测至少一个下一帧的危害性的标准。在一个实施例中，数据学习器1310通过使用输入到数据学习器1310的训练视频来学习标准。数据学习器1310可以学习关于训练视频中所包括的哪些数据将用于预期下一帧的危害性以及关于如何使用数据确定下一帧的危害性的标准。数据学习器1310获取要用于学习的数据，并将所获取的数据应用于稍后描述的数据识别模型，从而学习预期下一帧的危害性的标准。
数据识别器1320基于数据来预期下一帧的危害性。数据识别器1320通过使用习得的数据识别模型从数据中预期下一帧的危害性。数据识别器1320根据通过学习预设的标准获取数据，并使用数据识别模型与作为输入值的所获取的数据，从而基于数据来预测下一帧的危害性。可使用从数据识别模型输出的结果和作为输入值的所获取的数据来更新数据识别模型。
数据学习器1310和数据识别器1320中的至少一者可以以至少一个硬件芯片的形式制造，并且被安装在电子装置上。例如，数据学习器1310和数据识别器1320中的至少一者可以以用于人工智能(AI)的专用硬件芯片的形式制造，或者制造为现有通用处理器的(例如，中央处理单元(CPU)或应用处理器)或图形专用处理器(例如，图形处理单元(GPU))的一部分，并且被安装在各种电子装置上。
在这种情况下，数据学习器1310和数据识别器1320可以被安装在一个电子装置上，以及被安装在单独的电子装置中。例如，数据学习器1310和数据识别器1320中的一者可以包括在一个电子装置中，而另一者可以包括在服务器中。数据学习器1310和数据识别器1320可以以有线或无线方式连接，使得由数据学习器1310建立的模型信息可以被提供给数据识别器1320，或者输入到数据识别器1320的数据可以作为另外的学习数据提供给数据学习器1310。
同时，数据学习器1310和数据识别器1320中的至少一者可以用软件模块实现。当数据学习器1310和数据识别器1320中的至少一者用软件模块(或包括指令的程序模块)实现时，所述软件模块可以存储在非暂时性计算机可读介质中。在这种情况下，至少一个软件模块由操作系统(OS)或由某一应用程序提供。可替代地，至少一个软件模块的一部分可以由OS提供，而其另一部分可以由某一应用程序提供。
图12是根据本公开的实施例的学习器的框图。
参考图12，根据一些实施例的数据学习器1310可以包括数据获取器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4、以及模型评估器1310-5。
数据获取器1310-1获取预期下一帧的危害性所需的数据。
数据获取器1310-1接收要用于获取数据的训练视频。所述训练视频可以包括多个图像(或帧)。例如，数据获取器1310-1可以通过包括数据学习器1310的电子装置的相机或能够与包括数据学习器1310的电子装置通信的外部相机(例如，闭路电视(CCTV)、黑匣子等)接收视频。在此，相机可以包括一个或多个图像传感器(例如，前置传感器或后置传感器)、透镜、图像信号处理器(ISP)或闪光灯(例如，LED或氙灯等)。
例如，数据获取器1310-1可以获取训练视频中所包括的语音数据、视频数据、文本数据或生物信号数据。数据获取器1310-1可以通过电子装置的输入装置(例如，麦克风、相机、传感器等)接收数据。可替代地，数据获取器1310-1通过能够与电子装置通信的外部装置获取数据。
预处理器1310-2对所获取的数据进行预处理，使得可以在学习中使用所获取的数据来预期下一帧的危害性。预处理器1310-2将所获取的数据处理成预设格式，使得模型学习器1310-4可以在用于预期危害性的学习中使用所获取的数据。
例如，预处理器1310-2提取并识别输入训练视频中所包括的语音数据、视频数据、文本数据或生物信号数据，并累积地学习从输入数据中提取的特性和结果值，从而学习用于预期下一帧的危害性的标准。在这种情况下，预处理器1310-2可以基于训练视频中所包括的相邻先前帧之间的数据变化来提取并识别具有相似性的相邻先前帧的语音数据、视频数据、文本数据或生物信号数据。预处理器1310-2还可以提取并识别关于作为输入训练视频中所包括的先前帧的部分区域的有害区域的语音数据、视频数据、文本数据或生物信号数据。
学习数据选择器1310-3从预处理数据中选择学习所需的数据。所选择的数据可以提供给模型学习器1310-4。学习数据选择器1310-3根据用于预测下一帧的危害性的预设标准来从预处理数据中选择学习所需的数据。学习数据选择器1310-3还可以根据由模型学习器1310-4的学习预设的标准来选择数据。
学习数据选择器1310-3从预处理数据中选择用于预测下一帧的危害性的数据。如果预设了与危害性相关的类别，则学习数据选择器1310-3针对每个预设类别选择用于预测下一帧的危害性的数据。
模型学习器1310-4基于学习数据来学习关于如何预测下一帧的危害性的标准。模型学习器1310-4还可以学习关于哪个学习数据将用于预测下一帧的危害性的标准。
例如，如果设置了与危害性相关的多个类别，则模型学习器1310-4可以学习关于类别“淫荡”、“恐怖”或“暴力”类别的标准以及关于特定的危害性相关类别的危害性级别的标准。
模型学习器1310-4使用学习数据来学习用于预测下一帧的危害性的数据识别模型。在这种情况下，数据识别模型可以是预先建立的。例如，可以使用输入的基本学习数据(例如，样本单词等)来预先建立数据识别模型。
可以基于识别模型的应用领域、学习目的、装置的计算机性能等来建立数据识别模型。数据识别模型可以基于例如神经网络。例如，可以使用诸如但不限于深度神经网络(DNN)、递归神经网络(RNN)、双向递归深度神经网络(BRDNN)等的模型作为数据识别模型。
在各种实施例中，如果存在预先建立的多个数据识别模型，则模型学习器1310-4将在输入学习数据与基本学习数据之间具有高相关性的数据识别模型确定为要学习的数据识别模型。在这种情况下，可以根据数据类型预先对基本学习数据进行分类，并且可以针对每种数据类型预先建立数据识别模型。例如，基本学习数据可以根据各种标准而分类，诸如生成学习数据的区域、生成学习数据的时间、学习数据的大小、学习数据的种类、学习数据的发生器、学习数据中的对象类型等等。
模型学习器1310-4可以使用学习算法来学习数据识别模型，所述学习算法诸如误差反向传播或梯度下降。
模型学习器1310-4致使数据识别模型使用具有学习数据作为输入值的监督学习来学习。模型学习器1310-4可以致使数据识别模型使用无监督学习来学习，其中数据识别模型通过在没有单独监督的情况下学习预测下一帧的危害性所需的数据类型来发现用于预测下一帧的危害性的标准。模型学习器1310-4基于关于基于学习的下一帧的危害性的预测结果是否正确的反馈来使用强化学习来学习数据识别模型。
当习得数据识别模型时，模型学习器1310-4存储习得的数据识别模型。在这种情况下，模型学习器1310-4将习得的数据识别模型存储在包括数据识别器1320的电子装置的存储器中。可替代地，模型学习器1310-4将习得的数据识别模型存储在包括稍后要描述的数据识别器1320的电子装置的存储器中。可替代地，模型学习器1310-4将习得的数据识别模型存储在与电子装置有线地或无线地连接的服务器的存储器中。
在这种情况下，其中存储有习得的数据识别模型的存储器还可以存储与电子装置的至少一个其他元件相关的指令或数据。存储器还可以存储软件和/或程序。程序可以包括内核、中间件、应用编程接口(API)和/或应用程序(或“应用”)等。
如果在将评估数据输入到数据识别模型之后输出的识别结果不满足预定标准，则模型评估器1310-5可以致使模型学习器1310-4再次学习。在这种情况下，评估数据可以是用于评估数据识别模型的预设数据。
例如，如果在关于评估数据的习得的数据识别模型的识别结果中，具有不准确识别结果的评估数据的数量或比率超过预设阈值，则模型评估器1310-5可以评估不满足预定标准。对于预定标准被限定为比率2％而言，如果习得的数据识别模型在总共1000个评估数据中输出20个或更多个评估数据的错误识别结果，则模型评估器1310-5可以评估为习得的数据识别模型不合适。
评估数据可以从用户的评论输入中导出。例如，用户可以输入指示对输出识别结果的满意或不满意的评论消息。评论输入可以包括关于输出识别结果的用户反馈信息。
同时，当存在多个习得的数据识别模型时，模型评估器1310-5评估每个习得的数据识别模型是否满足预定标准，并且将满足预定标准的习得的数据识别模型确定为最终数据识别模型。在这种情况下，如果多个习得的数据识别模型满足预定标准，则模型评估器1310-5将预设的任何一个模型或预定数量的模型确定为更高的评估等级序列中的一个或多个最终数据识别模型。
数据获取器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模型评估器1310-5中的至少一者可以以至少一个硬件芯片的形式制造，并且被安装在电子装置上。例如，数据获取器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模型评估器1310-5中的至少一者可以以用于AI的专用硬件芯片的形式制造，或者制造为现有通用处理器(例如，CPU或应用处理器(AP))或图形专用处理器(例如，GPU)的一部分，并且被安装在各种电子装置上。
数据获取器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模型评估器1310-5可以被安装在一个电子装置上，或者分别被安装在单独的电子装置上。例如，数据获取器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模型评估器1310-5中的一些可以包括在电子装置中，而另一些可以包括在服务器中。
数据获取器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模型评估器1310-5中的至少一者可以用软件模块实现。当数据获取器1310-1、预处理器1310-2、学习数据选择器1310-3、模型学习器1310-4和模型评估器1310-5中的至少一者用软件模块(或包括指令的程序模块)实现时，软件模块可以存储在非暂时性计算机可读介质中。在这种情况下，至少一个软件模块由OS或由某一应用程序提供。可替代地，至少一个软件模块的一部分可以由OS提供，而其另一部分可以由某一应用程序提供。
图13是根据本公开的实施例的数据识别器的框图。
参考图13，根据一些示例实施例的数据识别器1320可以包括数据获取器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型更新器1320-5。
数据获取器1320-1获取用于预测下一帧的危害性所需的数据，并且预处理器1320-2对所获取的数据进行预处理，使得可以使用所获取的数据来预测下一帧的危害性。预处理器1320-2将所获取的数据处理成预设格式，使得识别结果提供器1320-4可以使用所获取的数据来预期下一帧的危害性。
识别数据选择器1320-3从预处理数据中选择预测下一帧的危害性所需的数据。所选择的数据可以提供到识别结果提供器1320-4。识别数据选择器1320-3根据用于预测下一帧的危害性的预设标准来选择整个预处理数据或其一部分。识别数据选择器1320-3还可以根据由模型学习器1310-4的学习预设的标准来选择数据。
识别结果提供器1320-4将所选择的数据应用于数据识别模型以预测下一帧的危害性。识别结果提供器1320-4基于数据识别目的来提供识别结果。识别结果提供器1320-4通过使用由识别数据选择器1320-3选择的数据作为输入值来将所选择的数据应用于数据识别模型。识别结果可以由数据识别模型确定。
例如，可以以文本、音频、视频、图像或指令(例如，应用程序执行指令、模块功能执行指令等)的形式提供视频的识别结果。识别结果可以提供关于视频中所包括的下一帧的信息，诸如呈文本、音频、视频、图像、指令等形式的“淫荡”、“暴力”和“恐怖”。
模型更新器1320-5基于对由识别结果提供器1320-4提供的识别结果的评估来更新数据识别模型。例如，模型更新器1320-5将由识别结果提供器1320-4提供的识别结果提供给模型学习器1310-4，从而允许模型学习器1310-4更新数据识别模型。
数据获取器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型更新器1320-5中的至少一者可以以至少一个硬件芯片的形式制造，并且被安装在电子装置上。例如，数据获取器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型更新器1320-5中的至少一者可以以用于AI的专用硬件芯片的形式制造，或者制造为现有通用处理器(例如，CPU或AP)或图形专用处理器(例如，GPU)的一部分，并且被安装在各种电子装置上。
数据获取器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型更新器1320-5可以被安装在一个电子装置上，或者分别被安装在单独的电子装置上。例如，数据获取器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型更新器1320-5中的一些可以包括在电子装置中，而另一些可以包括在服务器中。
数据获取器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型更新器1320-5中的至少一者可以用软件模块实现。当数据获取器1320-1、预处理器1320-2、识别数据选择器1320-3、识别结果提供器1320-4和模型更新器1320-5中的至少一者用软件模块(或包括指令的程序模块)实现时，软件模块可以存储在非暂时性计算机可读介质中。在这种情况下，至少一个软件模块由OS或由某一应用程序提供。可替代地，至少一个软件模块的一部分可以由OS提供，而其另一部分可以由某一应用程序提供。
图14展示了根据本公开的实施例的示例，其中装置和服务器通过彼此交互工作来学习和识别。
参考图14，服务器20学习用于预测下一帧的危害性的标准，并且装置10基于服务器20的学习结果来预测下一帧的危害性。服务器20包括数据识别器2300，所述数据识别器可包括数据获取器2310、预处理器2320、学习数据选择器2330、模型学习器2340和模型评估器2350。
在这种情况下，服务器20的模型学习器2340执行图11所示的数据学习器1310的功能。服务器20的模型学习器2340可以学习关于哪个数据将用于预期下一帧的危害性以及关于如何使用数据来预测下一帧的危害性的标准。模型学习器2340获取要用于学习的数据并将所获取的数据应用于稍后描述的数据识别模型，从而学习预期下一帧的危害性的标准。
装置10的识别结果提供器1320-4通过将由识别数据选择器1320-3选择的数据应用于由服务器20生成的数据识别模型来预测下一帧的危害性。例如，装置10的识别结果提供器1320-4可以将由识别数据选择器1320-3选择的数据发射到服务器20，并且通过将由识别数据选择器1320-3选择的数据应用于识别模型来请求服务器20预测下一帧的危害性。识别结果提供器1320-4从服务器20接收由服务器20预测的关于下一帧的危害性的信息。
例如，装置10可以生成关于前一帧的元数据并将所述元数据发射到服务器20。装置10从服务器20接收关于下一帧的预测危害性的信息。
装置10的识别结果提供器1320-4接收由服务器20生成的识别模型，并且通过使用所接收的识别模型来预测下一帧的危害性。在这种情况下，装置10的识别结果提供器1320-4通过将由识别数据选择器1320-3选择的数据应用于从服务器20接收的数据识别模型来预测下一帧的危害性。
实施例可以用包括计算机可执行命令(诸如计算机可执行编程模块)的记录介质来实现。计算机可读记录介质可以是可由计算机访问的可用介质，并且包括易失性介质、非易失性介质、分离介质和非分离介质中的全部。计算机可读记录介质还可以包括计算机存储介质和通信介质两者。计算机存储介质包括暂时性介质、非暂时性介质、分离介质和非分离介质中的全部，其通过用于存储诸如计算机可读命令、数据结构编程模块或其他数据的信息的方法或技术来实现。通信介质包括计算机可读命令、数据结构、编程模块或具有诸如载波或其他传输机制的已调制数据信号的其他数据，并且包括信息输送介质。
在说明书中，术语“单元”可以是诸如处理器或电路的硬件部件，和/或由诸如处理器的硬件部件执行的软件部件。
本公开所属领域的普通技术人员将理解，在不脱离本公开的技术精神或本质特性的情况下，本公开可以以不同的详细方式实现。因此，前述实施例应被解释为仅是说明性的，而不应被构造为对所有方面的限制。例如，描述为单一类型的每个元素可以以分布式方式实现，并且同样地，被描述为分布式的元素可以实现为耦合类型。
本公开的范围由以下权利要求而不是详细描述限定，并且权利要求的含义和范围以及从其等同物衍生的所有变化或修改的形式应当被解释为落入本公开的范围内。
应该理解，本文描述的各种实施例应当仅被认为是描述性意义而不是为了限制的目的。通常应当认为每个实施例中的特征或各方面的描述可用于其他实施例中的其他类似特征或各方面。
虽然已参考本公开的各种实施例示出并描述本公开，但是本领域技术人员将理解，在不脱离如由以下权利要求及其等同物所限定的本公开的精神和范围的情况下，可以在其中对形式和细节进行各种改变。

Claims (24)

1.一种提供视频信息的计算装置，所述计算装置包括：
存储器，包括利用多个视频训练的人工智能模型；以及
至少一个处理器，所述至少一个处理器可操作地耦合到所述存储器，并且配置为：
将利用多个视频训练的人工智能模型应用于视频，
基于将利用多个视频训练的人工智能模型应用于视频，针对所述视频的一个或多个部分，获得与所述视频的一个或多个部分是否具有有害内容有关的多个得分，所述多个得分中的每一个对应于多个类别中的不同的类别，
基于所述多个得分和多个预定阈值，确定所述视频的一个或多个部分是否具有有害内容，所述多个预定阈值中的每一个对应于多个类别中的不同的类别，以及
基于确定所述视频的所述至少一个部分具有有害内容，提供在所述视频的一个或多个部分中的具有有害内容的所述视频的所述至少一个部分，
其中，具有有害内容的所述视频的所述至少一个部分中的每一个与所述视频的任何其他部分分开提供。
2.如权利要求1所述的计算装置，其中，所述视频的一个或多个部分中的每一个包括所述视频的至少一帧。
3.如权利要求1所述的计算装置，其中，所述多个类别中的至少一个与性特征有关。
4.如权利要求1所述的计算装置，其中，如果在所述视频的一个或多个部分中的视频的部分的多个得分中的至少一个得分高于相对应的预定阈值，则确定所述视频的部分具有有害内容。
5.如权利要求1所述的计算装置，其中，所述多个预定阈值中的至少一个能够由用户定制。
6.如权利要求1所述的计算装置，
其中，所述计算装置是服务器，以及
其中，所述视频是从外部装置接收的。
7.如权利要求1所述的计算装置，其中，所述多个得分的全部都在相同的预定得分范围内。
8.如权利要求1所述的计算装置，其中，所述视频的一个或多个部分中的每一个被确定为具有有害内容或不具有有害内容中的一个。
9.一种通过计算装置提供视频信息的方法，所述方法包括：
通过至少一个处理器将利用多个视频训练的人工智能模型应用于视频；
基于将利用多个视频训练的人工智能模型应用于所述视频，针对所述视频的一个或多个部分，通过至少一个处理器，获得与所述视频的一个或多个部分是否具有有害内容有关的多个得分，所述多个得分中的每一个对应于多个类别中的不同的类别；
基于所述多个得分和多个预定阈值，通过所述至少一个处理器，确定所述视频的一个或多个部分是否具有有害内容，所述多个预定阈值中的每一个对应于多个类别中的不同的类别；以及
基于确定所述视频的至少一个部分具有有害内容，通过所述至少一个处理器，提供在所述视频的一个或多个部分中的具有有害内容的视频的至少一个部分，
其中，具有有害内容的所述视频的至少一个部分中的每一个与所述视频的任何其他部分分开提供。
10.如权利要求9所述的方法，其中，所述视频的一个或多个部分中的每一个包括视频的至少一帧。
11.如权利要求9所述的方法，其中，所述多个类别中的至少一个与性特征有关。
12.如权利要求9所述的方法，其中，如果在所述视频的一个或多个部分中的视频的部分的多个得分中的至少一个得分高于相对应的预定阈值，则确定所述视频的部分具有有害内容。
13.如权利要求9所述的方法，其中，所述多个预定阈值中的至少一个能够由用户定制。
14.如权利要求9所述的方法，
其中，所述计算装置是服务器，以及
其中，所述视频是从外部装置接收的。
15.如权利要求9所述的方法，其中，所述多个得分的全部都在相同的预定得分范围内。
16.如权利要求9所述的方法，其中，所述视频的一个或多个部分中的每一个被确定为具有有害内容或不具有有害内容中的一个。
17.一种非暂时性计算机的计算机可读记录介质，在其上记录有程序，所述程序在通过计算装置的至少一个处理器执行时，使所述至少一个处理器执行提供视频信息的方法，所述方法包括：
将利用多个视频训练的人工智能模型应用于视频；
基于利用经多个视频训练的人工智能模型应用于所述视频，针对所述视频的一个或多个部分，获得与所述视频的一个或多个部分是否具有有害内容有关的多个得分，所述多个得分中的每一个对应于多个类别中的不同的类别；
基于所述多个得分和多个预定阈值，确定所述视频的一个或多个部分是否具有有害内容，所述多个预定阈值中的每一个对应于多个类别中的不同的类别；以及
基于确定所述视频的至少一个部分具有有害内容，提供在所述视频的一个或多个部分中的具有有害内容的视频的至少一个部分，
其中，具有有害内容的所述视频的至少一个部分中的每一个与所述视频的任何其他部分分开提供。
18.如权利要求17所述的非暂时性计算机的计算机可读记录介质，其中，所述视频的一个或多个部分中的每一个包括所述视频的至少一帧。
19.如权利要求17所述的非暂时性计算机的计算机可读记录介质，其中，所述多个类别中的至少一个与性特征有关。
20.如权利要求17所述的非暂时性计算机的计算机可读记录介质，其中，如果在所述视频的一个或多个部分中的视频的部分的多个得分中的至少一个得分高于相对应的预定阈值，则确定所述视频的部分具有有害内容。
21.如权利要求17所述的非暂时性计算机的计算机可读记录介质，其中，所述多个预定阈值中的至少一个能够由用户定制。
22.如权利要求17所述的非暂时性计算机的计算机可读记录介质，
其中，所述计算装置是服务器，以及
其中，所述视频是从外部装置接收的。
23.如权利要求17所述的非暂时性计算机的计算机可读记录介质，其中，所述多个得分的全部都在相同的预定得分范围内。
24.如权利要求17所述的非暂时性计算机的计算机可读记录介质，其中，所述视频的一个或多个部分中的每一个被确定为具有有害内容或不具有有害内容中的一个。
CN202110560400.8A 2016-12-19 2017-11-16 提供视频信息的计算装置和方法 Active CN113411665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110560400.8A CN113411665B (zh) 2016-12-19 2017-11-16 提供视频信息的计算装置和方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR10-2016-0173624 2016-12-19
KR20160173624 2016-12-19
KR1020170131643A KR102384878B1 (ko) 2016-12-19 2017-10-11 동영상을 필터링하는 방법 및 장치
KR10-2017-0131643 2017-10-11
CN202110560400.8A CN113411665B (zh) 2016-12-19 2017-11-16 提供视频信息的计算装置和方法
CN201780086358.2A CN110291794B (zh) 2016-12-19 2017-11-16 用于对视频进行过滤的方法和设备
PCT/KR2017/012974 WO2018117428A1 (en) 2016-12-19 2017-11-16 Method and apparatus for filtering video

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780086358.2A Division CN110291794B (zh) 2016-12-19 2017-11-16 用于对视频进行过滤的方法和设备

Publications (2)

Publication Number Publication Date
CN113411665A true CN113411665A (zh) 2021-09-17
CN113411665B CN113411665B (zh) 2023-06-02

Family

ID=62562233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110560400.8A Active CN113411665B (zh) 2016-12-19 2017-11-16 提供视频信息的计算装置和方法

Country Status (4)

Country Link
US (3) US10349126B2 (zh)
EP (1) EP4280612A1 (zh)
CN (1) CN113411665B (zh)
WO (1) WO2018117428A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
US10349126B2 (en) * 2016-12-19 2019-07-09 Samsung Electronics Co., Ltd. Method and apparatus for filtering video
US10070154B2 (en) * 2017-02-07 2018-09-04 Fyusion, Inc. Client-server communication for live filtering in a camera view
KR101932844B1 (ko) 2017-04-17 2018-12-27 주식회사 하이퍼커넥트 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
US10524016B2 (en) * 2017-12-12 2019-12-31 Stern Ip Holder I, Llc System and method for content monitoring and filtering to improve network efficiency
US20200029109A1 (en) * 2018-07-23 2020-01-23 International Business Machines Corporation Media playback control that correlates experiences of multiple users
US20200042825A1 (en) * 2018-08-02 2020-02-06 Veritone, Inc. Neural network orchestration
CN109005423A (zh) * 2018-08-10 2018-12-14 北京奇艺世纪科技有限公司 一种视频播放方法及装置
CN109660828B (zh) * 2018-09-27 2022-04-22 深圳壹账通智能科技有限公司 视频资源管理方法、设备及计算机可读存储介质
US20200133308A1 (en) * 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US20200228612A1 (en) * 2019-01-16 2020-07-16 Joshua Salters Digital assistant system providing advanced customizable services for a user
US11250461B2 (en) 2019-03-01 2022-02-15 Mastercard International Incorporated Deep learning systems and methods in artificial intelligence
US11157549B2 (en) * 2019-03-06 2021-10-26 International Business Machines Corporation Emotional experience metadata on recorded images
KR102282963B1 (ko) 2019-05-10 2021-07-29 주식회사 하이퍼커넥트 단말기, 서버 및 그것의 동작 방법
US11172257B2 (en) 2019-06-11 2021-11-09 Sony Corporation Managing audio and video content blocking
KR102158747B1 (ko) * 2019-10-30 2020-09-22 김민석 유해 콘텐츠 게시 방지 및 차단 장치
KR102287704B1 (ko) * 2020-01-31 2021-08-10 주식회사 하이퍼커넥트 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체
KR102293422B1 (ko) 2020-01-31 2021-08-26 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
US11806629B2 (en) * 2020-03-24 2023-11-07 Virtuous AI, Inc. Artificial intelligence models for moral insight prediction and methods for use therewith
US10944805B1 (en) * 2020-08-05 2021-03-09 Agora Lab, Inc. Scalable multi-level collaborative content moderation
US11533355B2 (en) 2020-08-05 2022-12-20 Agora Lab, Inc. Scalable multi-level collaborative content moderation
US11582243B2 (en) * 2020-10-08 2023-02-14 Google Llc Systems and methods for protecting against exposure to content violating a content policy
CN112788356B (zh) * 2020-12-30 2023-04-28 百果园技术(新加坡)有限公司 一种直播审核的方法、装置、服务器和存储介质
DE102021116285A1 (de) 2021-06-23 2022-12-29 Deutsche Telekom Ag Verfahren und Anordnung zum Umwandeln und Übertragen von Lehrinhalten und Präsentationen
US20230316470A1 (en) * 2022-01-10 2023-10-05 Samsung Electronics Co., Ltd. Method for correcting image by device and device therefor
US20230388584A1 (en) * 2022-05-31 2023-11-30 Sony Interactive Entertainment LLC Automated visual trigger profiling and detection
WO2024128644A1 (en) * 2022-12-13 2024-06-20 Samsung Electronics Co., Ltd. Method, and electronic device for processing a video

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1636388A (zh) * 2001-03-30 2005-07-06 皇家菲利浦电子有限公司 视频节目中基于多媒体内容信息的父母控制系统
CN1735914A (zh) * 2003-01-30 2006-02-15 电影教学系统股份有限公司 基于视频的语言学习系统
US20090234831A1 (en) * 2008-03-11 2009-09-17 International Business Machines Corporation Method and Apparatus for Semantic Assisted Rating of Multimedia Content
US20090274364A1 (en) * 2008-05-01 2009-11-05 Yahoo! Inc. Apparatus and methods for detecting adult videos
CN101631249A (zh) * 2008-05-13 2010-01-20 波尔图科技有限责任公司 在回放期间把超前内容警报插入媒体项

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6408128B1 (en) * 1998-11-12 2002-06-18 Max Abecassis Replaying with supplementary information a segment of a video
US20030037329A1 (en) * 2001-05-02 2003-02-20 Koninklijke Philips Electronics N.V. Alternative video program display control system
US20070168853A1 (en) * 2006-01-05 2007-07-19 Jarman Matthew T Apparatus, system and method for creation, delivery and utilization of recommended multimedia filter settings
CN100490532C (zh) 2006-04-30 2009-05-20 华为技术有限公司 一种视频码流过滤方法和过滤节点
KR101264297B1 (ko) 2007-12-03 2013-05-22 에스케이플래닛 주식회사 동영상 부분 선별 시스템 및 방법
US20090288131A1 (en) * 2008-05-13 2009-11-19 Porto Technology, Llc Providing advance content alerts to a mobile device during playback of a media item
KR101010523B1 (ko) 2008-08-05 2011-01-25 구진국 Ｔｖ 방송 중의 유해 컨텐츠 대체 방법 및 시스템
KR101062672B1 (ko) 2010-01-05 2011-09-06 (주)필링크 유해 동영상 검출장치 및 그 방법
US20110179436A1 (en) * 2010-01-15 2011-07-21 Sony Corporation Parental control for a mixed viewing audience using shutter glasses
US20110321075A1 (en) * 2010-06-29 2011-12-29 International Business Machines Corporation Dynamically modifying media content for presentation to a group audience
CN102360422A (zh) 2011-10-19 2012-02-22 湖南德顺电子科技有限公司 基于视频分析的暴力行为检测方法
US9355406B2 (en) * 2013-07-18 2016-05-31 GumGum, Inc. Systems and methods for determining image safety
GB201315859D0 (en) 2013-09-05 2013-10-23 Image Analyser Ltd Video analysis method and system
KR20150051711A (ko) 2013-11-05 2015-05-13 한국전자통신연구원 유해 콘텐츠 영상 차단을 위한 피부 영역 추출 장치 및 방법
KR20150092546A (ko) 2014-02-05 2015-08-13 한국전자통신연구원 무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법
KR20150108028A (ko) 2014-03-16 2015-09-24 삼성전자주식회사 컨텐츠의 재생 제어 방법 및 이를 수행하기 위한 컨텐츠 재생 장치
US9672865B2 (en) * 2014-05-30 2017-06-06 Rovi Guides, Inc. Systems and methods for temporal visualization of media asset content
KR20160104826A (ko) 2015-02-26 2016-09-06 한국전자통신연구원 유해 동영상 판단 방법 및 장치
KR20160107734A (ko) 2015-03-05 2016-09-19 한국전자통신연구원 동영상의 시간정보를 이용한 유해 동영상 분류방법 및 장치
KR20160116585A (ko) 2015-03-30 2016-10-10 한국전자통신연구원 동영상 유해 영역 차단 방법 및 장치
US20160350675A1 (en) * 2015-06-01 2016-12-01 Facebook, Inc. Systems and methods to identify objectionable content
EP3391245A1 (en) * 2015-12-17 2018-10-24 Thomson Licensing Method and apparatus for remote parental control of content viewing in augmented reality settings
US10349126B2 (en) * 2016-12-19 2019-07-09 Samsung Electronics Co., Ltd. Method and apparatus for filtering video

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1636388A (zh) * 2001-03-30 2005-07-06 皇家菲利浦电子有限公司 视频节目中基于多媒体内容信息的父母控制系统
CN1735914A (zh) * 2003-01-30 2006-02-15 电影教学系统股份有限公司 基于视频的语言学习系统
CN1742300A (zh) * 2003-01-30 2006-03-01 电影教学系统股份有限公司 通过单个媒体上的嵌入内容学习语言的系统
US20090234831A1 (en) * 2008-03-11 2009-09-17 International Business Machines Corporation Method and Apparatus for Semantic Assisted Rating of Multimedia Content
US20090274364A1 (en) * 2008-05-01 2009-11-05 Yahoo! Inc. Apparatus and methods for detecting adult videos
CN101631249A (zh) * 2008-05-13 2010-01-20 波尔图科技有限责任公司 在回放期间把超前内容警报插入媒体项

Also Published As

Publication number Publication date
US11470385B2 (en) 2022-10-11
US20180176641A1 (en) 2018-06-21
EP4280612A1 (en) 2023-11-22
US10631045B2 (en) 2020-04-21
US10349126B2 (en) 2019-07-09
US20190238934A1 (en) 2019-08-01
US20200236425A1 (en) 2020-07-23
CN113411665B (zh) 2023-06-02
WO2018117428A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
CN113411665B (zh) 提供视频信息的计算装置和方法
KR102453169B1 (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
US11042728B2 (en) Electronic apparatus for recognition of a user and operation method thereof
KR102585877B1 (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
US11783191B2 (en) Method and electronic device for providing text-related image
KR20200042739A (ko) 지식 그래프에 기초하여 콘텐트를 제공하는 시스템 및 방법
CN110291794B (zh) 用于对视频进行过滤的方法和设备
US20220083153A1 (en) System and method of determining input characters based on swipe input
US11457273B2 (en) Video playback device and control method thereof
US11188158B2 (en) System and method of determining input characters based on swipe input
KR20200094607A (ko) 영상 시퀀스에 대한 캡션 정보를 생성하는 전자 장치 및 그 동작 방법
KR20200069251A (ko) 대화형 게임을 제공하는 전자 장치 및 그 동작 방법
US20230316470A1 (en) Method for correcting image by device and device therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant