CN114514518A - 基于人工智能的有害内容阻断装置 - Google Patents

基于人工智能的有害内容阻断装置 Download PDF

Info

Publication number
CN114514518A
CN114514518A CN202080070574.XA CN202080070574A CN114514518A CN 114514518 A CN114514518 A CN 114514518A CN 202080070574 A CN202080070574 A CN 202080070574A CN 114514518 A CN114514518 A CN 114514518A
Authority
CN
China
Prior art keywords
harmful
content
url
user
harmfulness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080070574.XA
Other languages
English (en)
Inventor
金珉奭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN114514518A publication Critical patent/CN114514518A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6209—Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/033—Test or assess software

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Child & Adolescent Psychology (AREA)
  • Bioethics (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于人工智能的有害内容阻断装置，特征在于，包括：库服务器，其包括具有有害URL清单及多个有害性判断模型文件的有害性判断部；以及用户终端，其从库服务器的有害性判断部获得有害URL清单及一个以上的有害性判断模型文件的下载，并请求和运行内容，用户终端基于从库服务器下载的有害URL清单，对内容的有害URL登记进行检查，当未登记为有害URL时，基于从库服务器下载的有害性判断模型文件判断内容是否具有有害性。

Description

基于人工智能的有害内容阻断装置
技术领域
本发明涉及一种基于人工智能的有害内容阻断技术，更加详细地涉及一种基于人工智能的有害内容阻断装置，其能够在登载于网络的各种各样的内容中，快速又精准地检查出有害内容，提供符合用户要求的安全的内容。
背景技术
随着网络普及的活跃，大部分用户对网络的使用频率及使用能力增加了，从而使得通过网络暴露在有害内容中的可能性正在增加。
通常有害内容是指描述性行为的成人内容和暴力性较强的暴力内容，实际上，如果这些有害内容通过网络进行成人认证，那么男女老少都可轻易地使用，即使通过成人认证防止未成年人的进出，也可利用父母或其他成年人的信息轻松地进行成人认证。
最近，通过各种媒体，有害内容对各年龄层无差别地暴露出来。特别是，连辨别力不足的儿童也看到了有害内容，非常令人担忧。
因此，最近正在开发可以自动分析和阻断有害内容的技术。例如，基于URI(Uniform Resource Identifier，统一资源标识符)或网址进行阻断、利用淫秽物信息数据库进行阻断、通过文本分析进行探测及通过视频分析进行探测等。
但是以往的有害内容检查及阻断方式问题在于，不能反映用户的要求，以统一的标准判定有害内容并且无条件阻断。
【先行技术文献】
【专利文献】
1.韩国注册专利第10-1027617号(2011.03.30)
2.韩国公开专利第10-2014-0025113号(2014.03.04)
发明内容
本发明的一个实施例想要提供一种基于人工智能的有害内容阻断装置，能够在登载于网络的各种各样的内容中，快速又精准地检查有害内容，提供符合用户要求的安全的内容。
本发明的一个实施例想要提供一种基于人工智能的有害内容阻断装置，包括储存有害URL清单的本地数据库，并在离线的状态下实时通过与储存在本地数据库的有害URL清单相对照来对有害内容进行检查。
本发明的一个实施例想要提供一种基于人工智能的有害内容阻断装置，包括将有害性判断模型按类别细分的模型文件，对用户标准进行选择性地检查，从而减少检查所需时间，并根据个人倾向进行针对性内容阻断。
在实施例中，基于人工智能的有害内容阻断装置，特征在于，包括：库服务器，其包括具有有害URL清单及多个有害性判断模型文件的有害性判断部；以及用户终端，其从库服务器的有害性判断部获得有害URL清单及一个以上的有害性判断模型文件的下载，并请求和运行内容，用户终端基于从库服务器下载的有害URL清单，对内容的有害URL登记进行检查，当未登记为有害URL时，基于从库服务器下载的有害性判断模型文件判断内容是否具有有害性。
用户终端包括接收用户请求的内容的内容接收部、储存有害URL清单的本地数据库和存储有害性判断模型文件的本地库，还可包括判断内容接收部接收的内容是否有害的有害性判断部以及显示内容接收部接收到的内容中满足有害性判断基准的内容的内容显示部。
有害性判断部可将包含用户标准的有害内容的URL存储在库服务器提供的有害URL清单中，并用个人化的有害URL清单构成本地数据库。
有害性判断部可将用户请求的内容的URL与储存在本地数据库的有害URL清单进行对照，检查是否登记为有害URL，当登记为有害URL时，通过内容显示部显示URL检查结果，并阻断内容或代替显示用户请求的内容。
当未登记为有害URL时，有害性判断部可使用储存在本地库的有害性判断模型来检查内容是否有害，并通过多面验证以防出错。
本地库可包括实时从库服务器更新或根据用户请求从库服务器提供的按类别细分的多个有害性判断模型文件，并将多个有害性判断模型文件中由用户选择的任意一个有害性判断模型文件设置为基本模型。
有害性判断部可以以成人及淫秽物类别的有害性判断为基本进行检查，并追加标签及字符串检查和根据用户选择的类别及设置值的检查，从而验证有害性判断。
在实施例中，就基于人工智能的有害内容阻断装置而言，当未登记为有害URL时，可在内容接收部中加载内容，并在加载内容时在内容输出部显示图像或广告视频，当判断为有害性内容时，可在有害性判断部中将内容的URL以有害URL登记在本地数据库，并在内容输出部中根据用户设置，将有害性内容的文章、图像或视频等净化为其他文章、图像或视频后显示。
已公开的技术可具有以下效果。但是，特定实施例并不意味着必须全部包括以下效果或只包括以下效果，因此不能理解为已公开技术的权利范围因此而受到限制。
根据本发明的一个实施例的基于人工智能的有害内容阻断装置，其能够利用人工智能在登载于网络的各种各样的内容中，快速又精准地检查有害内容，提供符合用户要求的安全的内容。
根据本发明的一个实施例的基于人工智能的有害内容阻断装置，包括储存有害URL清单的本地数据库，并且不仅在线上，而且在线下状态下也可实时通过与储存在本地数据库的有害URL清单进行对照来检查有害内容，通过多面验证程序将检查错误最小化。
根据本发明的一个实施例的基于人工智能的有害内容阻断装置，包括将有害性判断模型按类别细分的模型文件，并对用户标准进行选择性的检查，从而可减少检查所需时间，并且用阻断及净化过的内容代替符合用户的倾向或管理者标准的内容。
附图说明
图1是概略示出根据本发明的一个实施例的基于人工智能的有害内容阻断装置的框图。
图2是示出根据本发明的一个实施例的基于人工智能的有害内容阻断装置的基本构成的框图。
图3是示出根据本发明的一个实施例的基于人工智能的有害内容阻断装置的用户终端的构成的框图。
图4是示出根据本发明的一个实施例的基于人工智能的有害内容阻断装置的库服务器的构成的框图。
图5及图6是示出根据本发明的一个实施例的基于人工智能的有害内容阻断装置的驱动过程的顺序图。
标号说明
100：基于人工智能的有害内容阻断装置
110：用户终端
120、220：库服务器
125、310、410：有害性判断部
210：内容 230：智能保护器
240：终端机
311：本地数据库 313：本地库
320：内容接收部 330：内容显示部
340：控制部
411：有害URL清单 413：有害性判断模型文件
420：内容提供部
具体实施方式
本发明的相关说明不过是用于结构性甚至功能性说明的实施例，因此不能解释为本发明的权利范围因本文说明的实施例而有所限制。即，实施例可进行多种变更，而且可以有多种形态，因此，应理解为本发明的权利范围包含可实现技术思想的均等物。另外，本发明中提出的目的或效果并不意味着特定实施例应全部包含或只包含这些效果，因此不能理解为本发明的权利范围受此限制。
另一方面，本申请中叙述的术语的含义应该理解如下。
“第一”、“第二”等术语是为了将一个构成要素与其他构成要素区分开来，并不因这些术语而限制权利范围。例如，第一构成要素可命名为第二构成要素，类似地，第二构成要素也可命名为第一构成要素。
当提到某个构成要素“连接”到另一个构成要素时，应理解为虽然可直接连接到另一个构成要素，但中间可能存在第三个构成要素。相反，当提到某个构成要素“直接连接”另一个构成要素时，应理解为中间不存在第三个构成要素。另一方面，对构成要素之间的关系进行说明的其他表达，即，“在～之间”和“就在～之间”或“与～相邻”和“与～直接相邻”等也要同样地进行解释。
应理解的是单数的表达包括多数的表达，除非上下文有明显不同的意思，“包括”或“具有”等术语应理解为要指定实施的特征、数字、步骤、动作、构成要素、元件或它们组合的存在，不是事先排除一个或一个以上的其他特征或数字、步骤、动作、构成要素、元件或它们组合的存在或者附加可能性。
在各步骤中，识别标号(例如：a、b、c等)是为了方便说明而使用的，识别标号不是说明各步骤的顺序，各步骤如果没有在上下文中明确地记载特定顺序，就可与注明的顺序不同。即，各步骤也可能与注明的顺序相同，也可能实质上同时进行，也可能按照相反的顺序进行。
本发明可作为计算机可读的记录媒体中计算机可读的代码被体现出来，计算机可读的记录媒体包括储存有计算机系统可读数据的所有种类的记录装置。计算机可读记录媒体的例子有ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等。另外，计算机可读的记录媒体分散在用网络连接的计算机系统，并以分散的方式存储和运行计算机可读的代码。
除非另有定义，在这里使用的所有术语都与在本发明所属的领域中具有一般知识的人通常所理解的含义具有相同的意义。通常使用的词典中定义的那些术语，应解释为具有与在相关技术的上下文中所具有的含义一致的意义，除非在本申请中明确定义，否则不能解释为理想的或过于形式上的意思。
图1是概略示出根据本发明的一个实施例的基于人工智能的有害内容阻断装置的框图。
参照图1，基于人工智能的有害内容阻断装置100包括用户终端110和库服务器120。
首先，用户终端110相当于通过有线和无线网络与库服务器120相连接的计算装置，例如，可体现为台式计算机、笔记本计算机、平板计算机或智能手机。用户可以通过用户终端110订阅上传到网络公告栏等的新文章、图像或视频等多种多样的内容。
库服务器120包括有害性判断部125，如果从用户终端110获得内容的请求，则实施URL检查后判断该内容是否存在有害性。有害性判断部125拥有有害URL清单及多个有害性判断模型文件。有害性判断部125将有害URL清单及多个有害性判断模型文件传递给用户终端110，实时判断用户终端110的订阅内容是否有害。
图2是示出根据本发明的一个实施例的基于人工智能的有害内容阻断装置的基本构成的框图。
参照图2，网络、广播、有线电视等内容210输入到智能保护器230，智能保护器230通过从库服务器220获得传递的有害性判断程序来判断输入的内容是否有害。只有有害性与否的判断结果判断为无害的内容才能通过多个终端机240输出。智能保护器230以分别安装在由计算机或各种设备机器构成的多个终端机240的形式运行。
图3是示出根据本发明的一个实施例的基于人工智能的有害内容阻断装置的用户终端的构成的框图。
参照图3，用户终端110包括有害性判断部310、内容接收部320、内容显示部330及控制部340。
有害性判断部310储存有从库服务器120下载的有害性判断用程序。有害性判断用程序可以制作为包含人工智能功能的插件、扩展、类、独立程序等多种多样的程序。有害性判断部310可包括储存有害URL清单的本地数据库311和储存一个以上的有害性判断模型文件的本地库313。
在一个实施例中，本地数据库311可在最初安装有害性判断用程序时或根据用户请求从库服务器120获得有害URL清单的提供并进行储存。在此，本地数据库311可以以特定的有害网址目录和用户访问的记录为根据，储存包含发现有害内容的网址在内的用户定制型有害URL清单。因此,可以通过有害URL清单的网络传输来减少网络资源，并且可以减少库服务器120的负载和容量。另外，可防止有害URL清单被反向共享。
在一个实施例中，本地库313可以从库服务器120获得按各个有害类别模块化的有害性判断模型文件的提供并进行存储。在此，本地库313可实时或根据用户请求更新各类有害性判断模型文件。
内容接收部320可以从库服务器120接收用户请求的内容。此时，有害性判断部310可以以储存在本地数据库311的有害URL清单为基础对用户请求内容的网站进行URL检查。当未登记为有害URL的网站时，内容接收部320可以接收相应内容。
内容显示部330在内容接收部320接收内容的期间和检查接收的内容的有害性的期间，为避免用户感到无聊，可以提供吸引用户的兴致和兴趣的文章、图像、广告、视频等源源不断的服务。内容显示部330可以将通过有害性判断的内容显示在画面，以便用户可以订阅。此时,有害性判断部310可以以储存在本地库313的各类别有害性判断模型文件为基础，判断符合用户标准的内容是否有害。内容显示部330可以正常显示通过用户的有害性判断标准的内容，对于未能通过用户的有害性判断标准的内容，可以以变更为其他内容的形式显示。例如，可以将禁止的术语变更为净化过的术语，或者经过模糊处理具有有害性的图像等过程后显示内容。
控制部340可以全面控制有害性判断部310、内容接收部320及内容显示部330的操作并管理它们之间的控制及数据流动，以便用户终端110利用人工智能能够在登载于网络的各种各样的内容中接收用户请求的内容并检查有害性，显示符合用户要求的安全的内容。
图4是示出根据本发明的一个实施例的基于人工智能的有害内容阻断装置的库服务器的构成的框图。
参照图4，库服务器120包括有害性判断部410和内容提供部420。
有害性判断部410可拥有有害URL清单411及多个有害性判断模型文件413，如果从用户终端110获得内容的请求，则可在在线状态下判断请求的内容是否有害。在一个实施中，有害URL清单411可储存有广播通信审议委员会提供的有害网址目录。多个有害性判断模型文件413可以以按类别区分的形式设置。例如，可以分为成人、暴力、赌博、恐怖、个人讨厌的动物和厌恶感等多种类别。将有害性判断模型文件413按类别区分并模块化，从而便于按使用、按企业构建模型。另外,由于多个有害性判断模型文件413可以各自单独进行下载并判断，因此可以减少下载时间。另外，由于不需要根据个人设置来判断不必要的类别，因此也可以减少从用户终端110请求的内容的检查时间。
并且，在库服务器120将多个有害性判断模型文件413中选择的任意一个有害性判断模型文件413设置为基本模型，设置为基本模型的有害性判断模型文件413无需另行下载即可进行检查。另外，设置为基本模型的有害性判断模型文件413在线下状态及线上状态均可进行检查。
内容提供部420可以向用户提供通过有害性判断标准的内容和未能通过有害性判断标准的内容。
图5及图6是示出根据本发明的一个实施例的基于人工智能的有害内容阻断装置的驱动过程的图。
参照图5，示出了根据用户终端110的内容请求对有害内容进行检查的过程。
首先，用户可以通过用户终端110向库服务器120请求内容(步骤S510)。在一个实施例中，用户终端110可以通过浏览器、应用程序、物联网设备等请求想要的内容。在这里，可请求的内容可包括网站、图像、视频、智能手机文字短信等多种内容。如果从用户终端110请求内容，则可通过库服务器120下载有害性判断程序到用户终端110。另外，还可以下载有害URL清单及各类有害性判断模型文件。此时，可通过只下载按类别细分的多个有害性判断模型文件中想要的类别来节省下载时间。
基于网络的有害内容阻断装置100可优先对用户请求的内容进行URL检查，并判断是否登记为有害URL(步骤S520)。在一个实施例中，用户终端110可通过有害性判断部310与储存在本地数据库311的有害URL清单进行对照，并在离线状态下实时进行URL检查。在此，本地数据库311中同时储存了库服务器120提供的公共有害URL清单和以用户个人倾向为基础登记的个人有害URL清单，有害性判断部310可进行满足用户标准的URL检查。当然，用户终端110可通过库服务器120的有害性判断部410与有害URL清单411进行对照，并在线上状态下实时进行URL检查。当URL的检查结果为登记为有害URL时，可以在用户终端110显示结果。此时，对用户设置和该有害性判断程序的分类(企业用、免费、OEM等)，在用户终端110显示的内容可以有所不同。例如，如果该有害性判断程序是个人用的情况，可阻断用户请求的内容，并移动到安全网站，如果是企业用的情况，则可以代替显示企业客户要求的内容。
就基于网络的有害内容阻断装置100而言，当URL检查结果未登记为有害URL时，可加载相应内容，并在加载中的内容上显示用户设置代替内容，以防用户感到无聊(步骤S530)。在一个实施例中，用户终端110在从库服务器120加载内容的过程中，可以显示用户设置或企业要求的图像、动画、指南、广告视频等，以防用户感到无聊。
基于网络的有害内容阻断装置100在加载内容的同时，在输出到用户终端110的画面之前，可实时判断是否具有有害性(步骤S540)。在一个实施例中，用户终端110可通过有害性判断部310以储存在本地库313的各类别有害性判断模型文件为基础，在离线状态下实时进行有害性内容检查。在此，本地库313包括按类别细分的有害性判断模型文件，因此可借助于个人或管理者设置筛选类别并判断有害性，从而节省内容的检查时间。当然,用户终端110可通过库服务器120的有害性判断部410基于有害性判断模型413，在在线状态下实时进行有害性内容检查。
基于网络的有害内容阻断装置100可运行防止内容分析错误的多面验证程序(步骤S550)。在这里，多面验证程序要想防止活用人工智能的图像识别方法中的错误，可进行字符串检查、成人淫秽物检查、用户设置有害物检查等多方面的检查。
在基于网络的有害内容阻断装置100判断为安全内容时，可以在用户终端110的画面正常显示内容，如果判断为有害内容时，则可以在本地数据库311登记为有害URL后，在用户终端110的画面将违背标准的部分更换为净化后的内容输出或屏蔽或全面阻断(步骤S560)。
参照图6，是示出多面验证程序过程的例示图。
在基于人工智能的有害内容阻断装置100中，以人工智能为基础，在对内容所包含的图像进行认知或识别时，为防止错误，可进行多面检查。例如，可能会发生把撒有番茄酱的情况误认为是血的情况等。为此，可进行标签(tag)检查及关键词等的字符串检查(步骤S610)。在标签及关键词检查中，通过发现有害性可减少以人工智能为基础的图像检查的错误。
如果在标签和关键词检查中未发现有害性，则可进行成人/淫秽物检查(步骤S620)。在这里，成人/淫秽物检查可基本进行，成人/淫秽物检查只有权限管理者才能设置是否显示。
当在成人/淫秽物检查中未发现有害性时，可根据用户请求进行检查(步骤S630)。例如，用户可根据厌恶、恐怖、赌博等个人倾向选择有害物，对这时选择的有害物可以以可变的形式设置基准值。在这里，可根据用户选择的有害物和设置基准值实施检查。例如，如果用户厌恶度达到90％以上，可设置为明显感到厌恶，如果超过70％，可设置为感到厌恶，在满足用户选择的有害物和设置基准值时，可判断为有害物。
当通过多面验证程序没有发现有害性时，可在用户终端110上正常显示用户请求的内容(步骤S640)。
当在多面验证程序过程中发现有害性时，可登记至本地数据库311的个人有害URL清单，全面阻断用户请求的内容或用净化过的内容代替显示(步骤S650)。
如上所述，通过用户终端可以在离线状态下实时检查和阻止有害内容，并且在检查过程中提供其他内容，具有防止用户感到无聊的效果。
用有害URL清单构成本地数据库，优点在于，通过有害URL清单的网络传输，可减少网络资源，并且减少库服务器的负载和容量，可防止有害URL清单被反向共享。
将有害性判断标准分为多种类别并适用，可根据个人倾向来适用标准，对分类的类别进行单独使用或合并使用，可缩短有害性判断模型文件的下载所需时间，提高检查速度。
通过多面验证程序可防止内容分析错误，从而显示出符合用户要求的安全的内容。
以上，虽然参照本发明的优选实施例进行了说明，但可理解为相应技术领域的熟练的技术人员在不脱离下列专利权利要求范围记载的本发明的思想及领域的范围内，可以对本发明进行多种修改及变更。

Claims (8)

1.一种基于人工智能的有害内容阻断装置，其特征在于，包括：
库服务器，其包括具有有害URL清单及多个有害性判断模型文件的有害性判断部；以及
用户终端，其从库服务器的有害性判断部获得有害URL清单及一个以上的有害性判断模型文件的下载，并请求和运行内容，
用户终端基于从库服务器下载的有害URL清单，对内容的有害URL登记进行检查，当未登记为有害URL时，基于从库服务器下载的有害性判断模型文件判断内容是否具有有害性。
2.根据权利要求1所述的基于人工智能的有害内容阻断装置，其特征在于，用户终端包括：
内容接收部，其对用户请求的内容进行接收；
有害性判断部，其包括储存有害URL清单的本地数据库和储存有害性判断模型文件的本地库，并且判断内容接收部接收的内容是否具有有害性；以及
内容显示部，其显示内容接收部接收到的内容中满足有害性判断基准的内容。
3.根据权利要求2所述的基于人工智能的有害内容阻断装置，其特征在于，
有害性判断部将包含用户标准的有害内容的URL存储在从库服务器提供的有害URL清单中，并用个人化的有害URL清单构成本地数据库。
4.根据权利要求3所述的基于人工智能的有害内容阻断装置，其特征在于，
有害性判断部将用户请求的内容的URL与储存在本地数据库的有害URL清单进行对照，检查是否登记为有害URL，当登记为有害URL时，通过内容显示部显示URL检查结果，并阻断内容或代替显示用户请求的内容。
5.根据权利要求4所述的基于人工智能的有害内容阻断装置，其特征在于，
当未登记为有害URL时，有害性判断部使用储存在本地库的有害性判断模型来检查内容是否有害，并通过多面验证以防出错。
6.根据权利要求5所述的基于人工智能的有害内容阻断装置，其特征在于，
本地库包括实时从库服务器更新或根据用户请求从库服务器提供的按类别细分的多个有害性判断模型文件，并将多个有害性判断模型文件中由用户选择的任意一个有害性判断模型文件设定为基本模型。
7.根据权利要求5所述的基于人工智能的有害内容阻断装置，其特征在于，
有害性判断部以成人及淫秽物类别的有害性判断为基本进行检查，并追加标签及字符串检查和根据使用者选择的类别及设定值的检查，从而验证有害性判断。
8.根据权利要求5所述的基于人工智能的有害内容阻断装置，其特征在于，
当未登记为有害URL时，在内容接收部中加载内容，并在加载内容时在内容输出部显示图像或广告视频，
当判断为有害性内容时，在有害性判断部中将内容的URL以有害URL登记在本地数据库，并在内容输出部中根据用户设定，将有害性内容的文章、图像或视频等净化为其他文章、图像或视频后显示。
CN202080070574.XA 2019-10-31 2020-10-21 基于人工智能的有害内容阻断装置 Pending CN114514518A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0137364 2019-10-31
KR1020190137364A KR102259730B1 (ko) 2019-10-31 2019-10-31 인공지능 기반의 유해 컨텐츠 차단 장치
PCT/KR2020/014382 WO2021085921A1 (ko) 2019-10-31 2020-10-21 인공지능 기반의 유해 컨텐츠 차단 장치

Publications (1)

Publication Number Publication Date
CN114514518A true CN114514518A (zh) 2022-05-17

Family

ID=75714647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080070574.XA Pending CN114514518A (zh) 2019-10-31 2020-10-21 基于人工智能的有害内容阻断装置

Country Status (6)

Country Link
US (1) US20220398314A1 (zh)
EP (1) EP4053781A4 (zh)
JP (1) JP2023500879A (zh)
KR (1) KR102259730B1 (zh)
CN (1) CN114514518A (zh)
WO (1) WO2021085921A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102572737B1 (ko) * 2021-06-15 2023-08-30 주식회사 테크노블러드코리아 동영상 공유 사이트 접속 차단 시스템
KR102461482B1 (ko) * 2021-07-27 2022-11-03 김민석 인공지능 에이전트 기반의 유해 컨텐츠 차단 서비스 플랫폼장치
KR102536659B1 (ko) * 2021-09-06 2023-05-26 (주)피플인넷 클라이언트 기반의 유해 사이트 차단 방법
KR102465368B1 (ko) 2021-11-16 2022-11-11 김민석 이미지 처리 장치 및 방법
KR102503204B1 (ko) * 2021-11-25 2023-02-24 김민석 인공지능 자연어 처리를 이용한 사이트 차단 방법 및 이를 이용하여 사이트 차단을 수행하는 단말기
KR102688150B1 (ko) * 2021-11-30 2024-07-24 (주)에이펙스 이에스씨 동영상이 있는 불법 성인사이트의 고속 탐색 방법
KR20230135815A (ko) 2022-03-17 2023-09-26 고태건 인공지능을 이용한 유해 컨텐츠 필터링 시스템 및 방법
KR102618061B1 (ko) * 2023-03-21 2023-12-27 (주)노웨어소프트 인공지능 기반 감정 분석을 활용하여 유해 컨텐츠를 필터링하는 방법 및 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010044818A1 (en) * 2000-02-21 2001-11-22 Yufeng Liang System and method for identifying and blocking pornogarphic and other web content on the internet
WO2006036170A1 (en) * 2004-09-15 2006-04-06 Pcsafe, Inc. Methods and systems for filtering urls, webpages, and content
KR100848319B1 (ko) * 2006-12-07 2008-07-24 한국전자통신연구원 웹 구조정보를 이용한 유해 사이트 차단 방법 및 장치
KR100935411B1 (ko) * 2007-11-23 2010-01-06 주식회사 가자아이 유해 사이트 차단 제어방법 및 그 시스템
KR101027617B1 (ko) 2009-05-20 2011-04-11 주식회사 엔에스에이치씨 유해물 차단 서비스 시스템 및 방법
KR20130024627A (ko) * 2011-08-31 2013-03-08 (주)옴니텔 애플리케이션 로딩 시간을 이용한 광고 실행 방법
KR20140025113A (ko) 2012-08-21 2014-03-04 한국전자통신연구원 유해 컨텐츠 고속 판단 장치 및 방법
KR20150101689A (ko) * 2014-02-27 2015-09-04 (주)소만사 모바일 단말을 위한 유해 콘텐츠 차단 방법 및 유해 콘텐츠 정보 배포 시스템
KR20160063234A (ko) * 2014-11-26 2016-06-03 한국전자통신연구원 스트리밍 uri를 이용한 컨텐츠의 유해성 판정 방법 및 이를 이용한 장치
CN106453216A (zh) * 2015-08-13 2017-02-22 阿里巴巴集团控股有限公司 恶意网站拦截方法、装置及客户端
US11301560B2 (en) * 2018-02-09 2022-04-12 Bolster, Inc Real-time detection and blocking of counterfeit websites

Also Published As

Publication number Publication date
US20220398314A1 (en) 2022-12-15
JP2023500879A (ja) 2023-01-11
KR20210051725A (ko) 2021-05-10
EP4053781A4 (en) 2022-12-14
WO2021085921A1 (ko) 2021-05-06
EP4053781A1 (en) 2022-09-07
KR102259730B1 (ko) 2021-06-02

Similar Documents

Publication Publication Date Title
CN114514518A (zh) 基于人工智能的有害内容阻断装置
US7747680B2 (en) Community-based web filtering
Yoon et al. The effects of eWOM characteristics on consumer ratings: evidence from TripAdvisor. com
US20150356165A1 (en) Method and system for providing content to users based on frequency of interaction
US9306927B2 (en) Single login procedure for accessing social network information across multiple external systems
US8463854B2 (en) Facilitating interaction between web browsers
US20130151346A1 (en) Redacting portions of advertisements delivered to underage users
CN105049421A (zh) 基于用户使用行为特征的认证方法、服务器、终端及系统
CN101251918A (zh) 广告内容生成验证信息系统及其方法
US20140068437A1 (en) Computerized system and method of communicating about digital content
WO2008093363A2 (en) Collaborative online content editing and approval
CN105101122A (zh) 验证码输入方法和装置
KR102550923B1 (ko) 유해 사이트 차단 시스템 및 그 방법
CN109451333A (zh) 一种弹幕显示方法、装置、终端及系统
US20070055775A1 (en) Method and system for controlling information access from a website via Web or WAP access
CN106682010A (zh) 朋友圈信息分类方法、装置和服务器
CN101499077A (zh) 一种根据载体内容分类信息发布信息的控制装置及方法
US20150288740A1 (en) Method and apparatus for managing internet content
CN115618120B (zh) 一种公众号信息推送方法、系统、终端设备及存储介质
WO2008078934A1 (en) Advertisment method by the terminal and advertisment system thereof
CN110489643A (zh) 一种定向投放内容的方法、装置和计算机存储介质
Cao et al. How much longer to go? The influence of waiting time and progress indicators on quality of experience for mobile visual search applied to print media
WO2021205972A1 (ja) Ｉｄ照合サーバ、ｉｄ照合方法及びプログラム
CN107222559A (zh) 信息调用方法
US20220188872A1 (en) Managing room-based hotel communication terminal content based on guest information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination