JP2023500879A - 人工知能に基づく有害コンテンツ遮断装置 - Google Patents
人工知能に基づく有害コンテンツ遮断装置 Download PDFInfo
- Publication number
- JP2023500879A JP2023500879A JP2022525728A JP2022525728A JP2023500879A JP 2023500879 A JP2023500879 A JP 2023500879A JP 2022525728 A JP2022525728 A JP 2022525728A JP 2022525728 A JP2022525728 A JP 2022525728A JP 2023500879 A JP2023500879 A JP 2023500879A
- Authority
- JP
- Japan
- Prior art keywords
- harmful
- content
- url
- user
- artificial intelligence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 40
- 230000000903 blocking effect Effects 0.000 claims abstract description 39
- 238000007689 inspection Methods 0.000 claims description 33
- 230000001988 toxicity Effects 0.000 claims description 11
- 231100000419 toxicity Toxicity 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 abstract description 12
- 238000000034 method Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 12
- 239000000463 material Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000001012 protector Effects 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 206010048909 Boredom Diseases 0.000 description 2
- 208000001613 Gambling Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000000383 hazardous chemical Substances 0.000 description 1
- 239000013056 hazardous product Substances 0.000 description 1
- 235000008960 ketchup Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6209—Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
- G06F2221/033—Test or assess software
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Entrepreneurship & Innovation (AREA)
- Computing Systems (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Child & Adolescent Psychology (AREA)
- Bioethics (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本発明は人工知能に基づく有害コンテンツ遮断装置に関するものであり、有害URLリスト及び複数の有害性判断モデルファイルを備えた有害性判断部を含むライブラリサーバーと、前記ライブラリサーバーの前記有害性判断部から有害URLリスト及び一つ以上の有害性判断モデルファイルをダウンロードし、コンテンツを要請して実行するユーザー端末とを含み、前記ユーザー端末は、前記ライブラリサーバーからダウンロードした前記有害URLリストに基づいて前記コンテンツの有害URL登録を検査し、有害URLとして登録されていない場合、前記ライブラリサーバーからダウンロードした前記有害性判断モデルファイルに基づいて前記コンテンツの有害性有無を判断することを特徴とする。【選択図】 図1
Description
本発明は人工知能に基づく有害コンテンツ遮断技術に関し、より詳しくはインターネットに掲載される多様なコンテンツのうち有害コンテンツを早くて正確に検査してユーザーの要求に合う安全なコンテンツを提供することができる人工知能に基づく有害コンテンツ遮断装置に関する。
インターネット普及が活発になり、ユーザーの大部分のインターネット使用頻度及び使用能力が増加するのに伴い、インターネットを介して有害コンテンツに露出される可能性が高くなっている。
通常有害コンテンツとは、性行為を描写するアダルト物と、暴力性がひどい暴力物とがある。このような有害コンテンツはインターネットを介してアダルト認証を通過すれば老若男女の誰でも容易に用いることができる実情であり、アダルト認証によって未成年者の出入を防止していても、親または他の大人の情報を用いて容易にアダルト認証を通過することができる。
近年、各種の媒体を介して有害コンテンツが多様な年齢層に無分別に露出されている。特に、眼力の足りない児童にまで有害コンテンツが露出されているので、極めて心配になる状況である。
よって、近来には有害コンテンツを自動で分析して遮断することができる技術が開発されている。例えば、URI(Uniform Resource Identifier)やネットワークアドレスに基づく遮断、淫乱物情報DBを用いた遮断、テキスト分析による探知、及び映像分析による探知などがある。
しかし、既存の有害コンテンツ検査及び遮断方式はユーザーの要求を反映することができず、一律的な基準で有害コンテンツを判定して無条件で遮断する問題点があった。
本発明の一実施例は、インターネットに掲載される多様なコンテンツのうち有害コンテンツを早くて正確に検査してユーザー要求に合う安全なコンテンツを提供することができる人工知能に基づく有害コンテンツ遮断装置を提供しようとする。
本発明の一実施例は、有害URLリストが保存されるローカルDBを構成し、実時間でオフライン状態でローカルDBに保存された有害URLリストと対照して有害コンテンツを検査することができる人工知能に基づく有害コンテンツ遮断装置を提供しようとする。
本発明の一実施例は、有害性判断モデルをカテゴリー別に細分化したモデルファイルから構成してユーザー基準の選別的な検査を遂行することにより、検査所要時間を減らすことができ、個人性向に合う個人別コンテンツ遮断を遂行することができる人工知能に基づく有害コンテンツ遮断装置を提供しようとする。
実施例による人工知能に基づく有害コンテンツ遮断装置は、有害URLリスト及び複数の有害性判断モデルファイルを備えた有害性判断部を含むライブラリサーバーと、前記ライブラリサーバーの前記有害性判断部から有害URLリスト及び一つ以上の有害性判断モデルファイルをダウンロードし、コンテンツを要請して実行するユーザー端末とを含み、前記ユーザー端末は、前記ライブラリサーバーからダウンロードした前記有害URLリストに基づいて前記コンテンツの有害URL登録を検査し、有害URLとして登録されていない場合、前記ライブラリサーバーからダウンロードした前記有害性判断モデルファイルに基づいて前記コンテンツの有害性有無を判断することを特徴とする。
前記ユーザー端末は、ユーザーが要請するコンテンツを受信するコンテンツ受信部と、前記有害URLリストを保存するローカルDB及び前記有害性判断モデルファイルを保存するローカルライブラリを含み、前記コンテンツ受信部で受信したコンテンツの有害性有無を判断する有害性判断部と、前記コンテンツ受信部に受信されたコンテンツのうち有害性判断基準を満たすコンテンツを表示するコンテンツ表示部とを含むことができる。
前記有害性判断部は、前記ライブラリサーバーから提供される有害URLリストにユーザー基準を含む有害コンテンツのURLを保存し、個人化した有害URLリストでローカルDBを構成することができる。
前記有害性判断部は、ユーザーが要請したコンテンツのURLを前記ローカルDBに保存された有害URLリストと対照して有害URL登録有無を検査し、有害URLとして登録された場合には、前記コンテンツ表示部を介してURL検査結果を表示し、前記コンテンツを遮断するかユーザーの要求したコンテンツに代替して表示することができる。
前記有害性判断部は、前記有害URLとして登録されていない場合、前記ローカルライブラリに保存された有害性判断モデルを用いて前記コンテンツの有害性有無を検査し、多面検証によってエラーを防止することができる。
前記ローカルライブラリは前記ライブラリサーバーから実時間でアップデートされるかユーザー要請によって前記ライブラリサーバーから提供されるカテゴリー別に細分化した複数の有害性判断モデルファイルから構成され、前記複数の有害性判断モデルファイルのうちユーザーによって選択されたいずれか一つの有害性判断モデルファイルが基本モデルに設定されることができる。
前記有害性判断部は、アダルト及び淫乱物カテゴリーの有害性判断を基本的に検査し、タグ及び文字列検査、ユーザーが選択したカテゴリー及び設定値による検査を追加して有害性判断を検証することができる。
実施例による人工知能に基づく有害コンテンツ遮断装置は、前記有害URLとして登録されていない場合、前記コンテンツ受信部で前記コンテンツをローディングし、前記コンテンツのローディング中に前記コンテンツ出力部でイメージまたは広告映像を表示し、前記有害性コンテンツと判断された場合、前記有害性判断部で前記コンテンツのURLを前記ローカルDBに有害URLとして登録し、前記コンテンツ出力部でユーザー設定によって有害性コンテンツの文、イメージまたは動画などを他の文、イメージまたは動画に純化して表示することができる。
開示の技術は次の効果を有することができる。ただ、特定の実施例が次の効果を全部含まなければならないとか次の効果のみを含まなければならないという意味ではないので、開示の技術の権利範囲はこれによって限定されるものと理解されてはいけないであろう。
本発明の一実施例による人工知能に基づく有害コンテンツ遮断装置は、人工知能を活用して、インターネットに掲載される多様なコンテンツのうち有害コンテンツを早くて正確に検査することができ、ユーザー要求に合う安全なコンテンツを提供することができる。
本発明の一実施例による人工知能に基づく有害コンテンツ遮断装置は、有害URLリストが保存されるローカルDBを構成し、実時間でオンラインだけでなくオフライン状態でもローカルDBに保存された有害URLリストと対照して有害コンテンツを検査することができ、多面検証プロセスによって検査エラーを最小化することができる。
本発明の一実施例による人工知能に基づく有害コンテンツ遮断装置は、有害性判断モデルをカテゴリー別に細分化したモデルファイルから構成してユーザー基準の選別的な検査を遂行することにより、検査所要時間を減らすことができ、ユーザーの性向または管理者の基準に合うコンテンツ遮断を遂行するか純化した内容に代替することができる。
本発明についての説明は構造的乃至機能的説明のための実施例に過ぎないので、本発明の権利範囲は本文で説明する実施例によって限定されるものと解釈されてはいけない。すなわち、実施例は多様な変更が可能であり、さまざまな形態を有することができるので、本発明の権利範囲は技術的思想を実現することができる均等物を含むものと理解されなければならない。また、本発明で提示する目的または効果は特定の実施例がこれを全部含まなければならないとかそのような効果のみを含まなければならないという意味ではないので、本発明の権利範囲はこれによって限定されるものと理解されてはいけないであろう。
一方、本出願で敍述する用語の意味は次のように理解されなければならないであろう。
「第1」、「第2」などの用語は一構成要素を他の構成要素と区別するためのものであり、これらの用語によって権利範囲が限定されてはいけない。例えば、第1構成要素は第2構成要素と言うことができ、同様に第2構成要素も第1構成要素と言うことができる。
ある構成要素が他の構成要素に「連結」されていると言及するときには、その他の構成要素に直接的に連結されることもできるが、中間に他の構成要素が存在することもあると理解されなければならないであろう。一方、ある構成要素が他の構成要素に「直接連結」されていると言及するときには、中間に他の構成要素が存在しないものと理解されなければならないであろう。一方、構成要素との関係を説明する他の表現、すなわち[~の間に]と「すぐ~の間に」または「~に隣り合う」と「~に直接隣り合う」なども同様に解釈されなければならない。
単数の表現は、文脈上明白に他に指示しない限り、複数の表現を含むものと理解されなければならなく、「含む」または「有する」などの用語は実施される特徴、数字、段階、動作、構成要素、部分品またはこれらの組合せが存在することを指定しようとするものであり、一つまたはそれ以上の他の特徴、数字、段階、動作、構成要素、部分品またはこれらの組合せなどの存在または付加の可能性を予め排除しないものと理解されなければならない。
各段階で識別符号(例えば、a、b、cなど)は説明の便宜のために使われるものであり、識別符号は各段階の手順を説明するものではなく、各段階は、文脈上明白に特定の手順を記載しない限り、明記された手順と異なるように遂行されることができる。すなわち、各段階は明記された手順と同じに遂行されることもでき、実質的に同時に遂行されることもでき、反対の順に遂行されることもできる。
本発明はコンピュータが読める記録媒体に記録されたコンピュータ可読のコードによって具現されることができ、コンピュータ可読の記録媒体はコンピュータシステムによって読められるデータが保存されるすべての種類の記録装置を含む。コンピュータ可読の記録媒体の例としては、ROM、RAM、CD-ROM、磁気テープ、フロッピーディスク、光データ記録装置などがある。また、コンピュータ可読の記録媒体はネットワークを介して連結されたコンピュータシステムに分散され、分散方式でコンピュータが読めるコードが保存されて実行されることができる。
ここで使うすべての用語は、他に定義しない限り、本発明が属する分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に使われる辞書に定義されている用語は関連技術の文脈上で有する意味と一致するものと解釈されなければならなく、この出願で明白に定義しない限り、理想的にまたは過度に形式的な意味を有するものと解釈されることができない。
図1は本発明の一実施例による人工知能に基づく有害コンテンツ遮断装置を概略的に示すブロック図である。
図1を参照すると、人工知能に基づく有害コンテンツ遮断装置100は、ユーザー端末110と、ライブラリサーバー120とを含む。
まず、ユーザー端末110は有無線ネットワークを介してライブラリサーバー120と連結されたコンピュータ装置に相当する。例えば、デスクトップ型PC、ノートブック型PC、タブレット型PCまたはスマートフォンによって具現されることができる。ユーザーはユーザー端末110を介してオンライン掲示板などにアップロードされた新しい文、イメージまたは動画などの多様なコンテンツを購読することができる。
ライブラリサーバー120は、ユーザー端末110からコンテンツの要請を受ければ、URL検査を実施した後、当該コンテンツの有害性有無を判断する有害性判断部125を含む。有害性判断部125は有害URLリスト及び複数の有害性判断モデルファイルを保有している。有害性判断部125は有害URLリスト及び複数の有害性判断モデルファイルをユーザー端末110に伝達してユーザー端末110の購読コンテンツの有害性有無を実時間で判断する。
図2は本発明の一実施例による人工知能に基づく有害コンテンツ遮断装置の基本構成を示すブロック図である。
図2を参照すると、インターネット、放送、ケーブルTVなどのコンテンツ210がスマートプロテクター230に入力され、スマートプロテクター230はライブラリサーバー220から伝達された有害性判断プログラムによって、入力されたコンテンツの有害性有無を判断する。有害性有無判断の結果、有害でないと判断されたコンテンツのみを複数の端末機240を介して出力する。スマートプロテクター230はコンピュータまたは各種のデバイス機器から構成される複数の端末機240のそれぞれに組み込まれて運営される。
図3は本発明の一実施例による人工知能に基づく有害コンテンツ遮断装置のユーザー端末の構成を示すブロック図である。
図3を参照すると、ユーザー端末110は、有害性判断部310、コンテンツ受信部320、コンテンツ表示部330、及び制御部340を含む。
有害性判断部310にはライブラリサーバー120からダウンロードされた有害性判断用プログラムが組み込まれる。有害性判断用プログラムは人工知能機能が含まれたプラグイン、エクステンション、クラス、独立プログラムなどに多様に作られることができる。有害性判断部310は、有害URLリストが保存されるローカルDB311と、一つ以上の有害性判断モデルファイルが保存されるローカルライブラリ313とを含むことができる。
一実施例で、ローカルDB311は、有害性判断用プログラムを最初に組み込むときにまたはユーザー要請に応じてライブラリサーバー120から有害URLリストを受けて保存することができる。ここで、ローカルDB311は特定の有害サイトアドレスリストとともにユーザーが訪問した記録に基づいて有害コンテンツが見つかったサイトアドレスを含むユーザー別有害URLリストを保存することができる。これにより、有害URLリストのネットワーク伝送によるネットワークリソースを減らすことができ、ライブラリサーバー120の負荷及び容量を減らすことができる。また、有害URLリストが逆に共有されることを防ぐことができる。
一実施例で、ローカルライブラリ313は、ライブラリサーバー120からそれぞれの有害カテゴリー別にモジュール化した有害性判断モデルファイルを受けて保存することができる。ここで、ローカルライブラリ313はカテゴリー別有害性判断モデルファイルを実時間でまたはユーザー要請に応じてアップデートすることができる。
コンテンツ受信部320は、ライブラリサーバー120からユーザーが要請したコンテンツを受信することができる。ここで、有害性判断部310は、ローカルDB311に保存された有害URLリストに基づいてユーザーがコンテンツを要請したサイトのURL検査を実施することができる。コンテンツ受信部320は、有害URLとして登録されたサイトではない場合、当該コンテンツを受信することができる。
コンテンツ表示部330は、コンテンツ受信部320からコンテンツを受信するうちと受信されたコンテンツの有害性を検査するうち、ユーザーが退屈さを感じないようにユーザーの興味及び楽しさをひくことができる文、イメージ、広告、動画などの絶え間のないサービスを提供することができる。コンテンツ表示部330は、有害性判断基準を通過したコンテンツをユーザーが購読することができるように画面に表示することができる。ここで、有害性判断部310は、ローカルライブラリ313に保存されたカテゴリー別有害性判断モデルファイルに基づいてユーザーの基準に合うコンテンツ有害性有無を判断することができる。コンテンツ表示部330は、ユーザーの有害性判断基準を通過したコンテンツに対しては正常に表示し、ユーザーの有害性判断基準を通過することができなかったコンテンツに対しては他のコンテンツに変更して表示することができる。例えば、禁止された用語を順化した用語に変更するか、有害性のあるイメージを仄かに処理するなどの過程によってコンテンツを表示することができる。
制御部340は、ユーザー端末110で人工知能を活用してインターネットに掲載されている多様なコンテンツのうちユーザーが要請したコンテンツを受信して有害性を検査し、ユーザーの要求に合う安全なコンテンツを示すように、有害性判断部310、コンテンツ受信部320及びコンテンツ表示部330の動作を全般的に制御し、これらの間の制御及びデータ流れを管理することができる。
図4は本発明の一実施例による人工知能に基づく有害コンテンツ遮断装置のライブラリサーバーの構成を示すブロック図である。
図4を参照すると、ライブラリサーバー120は、有害性判断部410及びコンテンツ提供部420を含む。
有害性判断部410は、有害URLリスト411及び複数の有害性判断モデルファイル413を保有することができ、ユーザー端末110からコンテンツの要請を受ければ、オンライン状態で要請したコンテンツの有害性有無を判断することができる。一実施例で、有害URLリスト411には放送通信審議委員会で提供した有害サイトアドレスリストが保存されることができる。複数の有害性判断モデルファイル510はカテゴリー別に区分されて備えられる。例えば、大人、暴力、賭博、恐怖、個人的に嫌がる動物、嫌悪感などの多様なカテゴリーに区分されることができる。有害性判断モデルファイル413をカテゴリー別に区分してモジュール化することにより、使用別、企業別のモデルを容易に構築することができる。複数の有害性判断モデルファイル413をそれぞれダウンロードして判断を遂行することができるので、ダウンロード時間を減らすことができる。また、個人別設定によって不必要なカテゴリーに対しては判断しなくても良いので、ユーザー端末110から要請したコンテンツの検査時間も減らすことができる。
そして、ライブラリサーバーには複数の有害性判断モデルファイル413の中で選択された一つの有害性判断モデルファイル413が基本モデルに設定されており、基本モデルに設定された有害性判断モデルファイル413は別途のダウンロードなしに検査を遂行することができる。また、基本モデルに設定された有害性判断モデルファイル413はオフライン状態及びオンライン状態で共に検査可能である。
コンテンツ提供部420は、有害性判断基準を通過したコンテンツと有害性判断基準を通過することができなかったコンテンツとを共にユーザーに提供することができる。
図5及び図6は本発明の一実施例による人工知能に基づく有害コンテンツ遮断装置の駆動過程を示す図である。
図5はユーザー端末110のコンテンツ要請による有害コンテンツ検査過程を示す図である。
まず、ユーザーはユーザー端末110を介してライブラリサーバー120にコンテンツを要請することができる(段階S510)。一実施例で、ユーザー端末110はウェブブラウザ、アプリ、IoTデバイスなどを介して所望のコンテンツを要請することができる。ここで、要請可能なコンテンツは、ウェブサイト、イメージ、動画、スマートフォンSMSなどを多様に含むことができる。ユーザー端末110でコンテンツを要請すれば、ライブラリサーバー120を介して有害性判断プログラムがユーザー端末110にダウンロードされることができる。また、有害URLリスト及びカテゴリー別有害性判断モデルファイルがダウンロードされることができる。ここで、カテゴリー別に細分化した複数の有害性判断モデルファイルのうち所望のカテゴリーのみをダウンロードすることによってダウンロード時間を節減することができる。
インターネットに基づく有害コンテンツ遮断装置100は、ユーザーが要請したコンテンツに対して優先的にURL検査を実施して有害URL登録有無を判断することができる(段階S520)。一実施例で、ユーザー端末110は、有害性判断部310によってローカルDB311に保存された有害URLリストと対照してオフライン状態で実時間でURL検査を実施することができる。ここで、ローカルDB311にはライブラリサーバー120で提供される公共有害URLリストとユーザー個人性向によって登録された個人有害URLリストとが一緒に保存されるので、有害性判断部310はユーザーの基準を満たすURL検査を実施することができる。もちろん、ユーザー端末110は、ライブラリサーバー120の有害性判断部410によって有害URLリスト411と対照してオンライン状態で実時間でURL検査を実施することもできる。URL検査の結果、有害URLとして登録された場合には、ユーザー端末110に結果を表示することができる。ここで、ユーザー設定と本有害性判断プログラムの分類(企業用、無料、OEMなど)によってユーザー端末110の表示内容を異にすることができる。例えば、本有害性判断プログラムが個人用の場合にはユーザー要請コンテンツを遮断して安全サイトに移動することができ、企業用の場合には企業顧客が要求した内容に代替して表示することができる。
インターネットに基づく有害コンテンツ遮断装置100は、URL検査の結果、有害URLとして登録されていない場合には、当該コンテンツをローディングし、ローディング中のコンテンツ上にユーザー設定代替コンテンツを表示することにより、ユーザーが退屈さを感じないようにすることができる(段階S530)。一実施例で、ユーザー端末110は、ライブラリサーバー120からコンテンツをローディングする過程でユーザー設定または企業で要求したイメージ、アニメーション、案内文、広告映像などを表示することにより、ユーザーが退屈さを感じないようにすることができる。
インターネットに基づく有害コンテンツ遮断装置100は、コンテンツのローディングと同時にユーザー端末110の画面に出力するに先立ち、実時間で有害性判断を遂行することができる(段階S540)。一実施例で、ユーザー端末110は、有害性判断部310によってローカルライブラリ313に保存されたカテゴリー別有害性判断モデルファイルに基づいてオフライン状態で実時間で有害性コンテンツ検査を実施することができる。ここで、ローカルライブラリ313はカテゴリー別に細分化した有害性判断モデルファイルから構成されることにより、個人別にまたは管理者設定によってカテゴリーを選別して有害性を判断することができるので、コンテンツの検査時間を節減することができる。もちろん、ユーザー端末110はライブラリサーバー120の有害性判断部410によって有害性判断モデルファイル413に基づいてオンライン状態で実時間で有害性コンテンツ検査を実施することもできる。
インターネットに基づく有害コンテンツ遮断装置100は、コンテンツ分析エラー防止のための多面検証プロセスを実施することができる(段階S550)。ここで、多面検証プロセスは、人工知能を活用したイメージ認識方法によってエラーを防ぐために、文字列検査、アダルト淫乱物検査、ユーザー設定有害物検査などの多方面の検査を実施することができる。
インターネットに基づく有害コンテンツ遮断装置100は、安全コンテンツと判断された場合にはユーザー端末110の画面に正常にコンテンツを表示することができ、有害コンテンツと判断された場合にはローカルDB311に有害URLとして登録した後、ユーザー端末110の画面に基準からはずれた部分を純化した内容に交替して出力するかスクリーニングまたは完全遮断することができる(段階S560)。
図6を参照すると、多面検証プロセス過程を示す例示図である。
人工知能に基づく有害コンテンツ遮断装置100は、人工知能に基づいてコンテンツに含まれたイメージを認知するか認識するときにエラーを防止するために多面検査を実施することができる。例えば、ケチャップが注がれている状況を血と見誤る状況などが発生することがある。このために、タグ(tag)検査及びキーワードなどの文字列検査を実施することができる(段階S610)。タグ及びキーワード検査で有害性を発見して人工知能に基づくイメージ検査のエラーを減らすことができる。
タグ及びキーワード検査で有害性が見つからなければ、アダルト/淫乱物検査を実施することができる(段階S620)。ここで、アダルト/淫乱物検査は基本的に実施することができ、アダルト/淫乱物の場合、権限管理者のみが表示可否を設定することができる。
アダルト/淫乱物検査で有害性が見つからなければ、ユーザー要請による検査を実施することができる(段階S630)。例えば、ユーザーが嫌悪、恐怖、賭博などの個人性向によって有害物を選択することができ、このときに選択した有害物に対して基準値を可変して設定することができる。ここで、ユーザーが選択した有害物と設定基準値によって検査を実施することができる。例えば、ユーザーが、嫌悪度90%以上であれば確実に嫌悪を感じることができ、70%以上であれば嫌悪を感じることもできると設定することができ、ユーザーが選択した有害物と設定基準値を満たす場合に有害物と判断することができる。
多面検証プロセスによって有害性が見つからない場合には、ユーザー端末110にユーザーが要請したコンテンツを正常に表示することができる(段階S640)。
多面検証プロセス過程で有害性が見つかった場合には、ローカルDB311の個人有害URLリストに登録し、ユーザーが要請したコンテンツを完全に遮断するか純化した内容に代替して表示することができる(段階S650)。
上述したように、ユーザー端末を介してオフライン状態で実時間で有害性コンテンツを検査及び遮断することができ、検査過程で他のコンテンツを提供することにより、ユーザーが退屈さを感じないようにする効果がある。
有害URLリストでローカルDBを構成することにより、有害URLリストのネットワーク伝送によってネットワークリソースを減らし、ライブラリサーバーの負荷及び容量を減らすことができ、有害URLリストが逆に共有されることを防ぐことができる利点がある。
有害性判断基準を多様なカテゴリーに分類して適用し、個人性向に合う基準を適用することができ、分類されたカテゴリーを個別的に使うかまたは統合して使うことができるので、有害性判断モデルファイルのダウンロード所要時間を減らし、検査速度を向上させることができる。
多面検証プロセスによってコンテンツ分析エラーを防止してユーザーの要求に合う安全なコンテンツを示すことができる。
以上では本発明の好適な実施例を参照して説明したが、当該技術分野の熟練した当業者は下記の特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で本発明を多様に修正及び変更することができるというのを理解することができるであろう。
100 人工知能に基づく有害コンテンツ遮断装置
110 ユーザー端末
120、220 ライブラリサーバー
125、310、410 有害性判断部
210 コンテンツ
230 スマートプロテクター
240 端末機
311 ローカルDB
313 ローカルライブラリ
320 コンテンツ受信部
330 コンテンツ表示部
340 制御部
411 有害URLリスト
413 有害性判断モデルファイル
420 コンテンツ提供部
110 ユーザー端末
120、220 ライブラリサーバー
125、310、410 有害性判断部
210 コンテンツ
230 スマートプロテクター
240 端末機
311 ローカルDB
313 ローカルライブラリ
320 コンテンツ受信部
330 コンテンツ表示部
340 制御部
411 有害URLリスト
413 有害性判断モデルファイル
420 コンテンツ提供部
Claims (8)
- 有害URLリスト及び複数の有害性判断モデルファイルを備えた有害性判断部を含むライブラリサーバーと、
前記ライブラリサーバーの前記有害性判断部から有害URLリスト及び一つ以上の有害性判断モデルファイルをダウンロードし、コンテンツを要請して実行するユーザー端末とを含み、
前記ユーザー端末は、前記ライブラリサーバーからダウンロードした前記有害URLリストに基づいて前記コンテンツの有害URL登録を検査し、有害URLとして登録されていない場合、前記ライブラリサーバーからダウンロードした前記有害性判断モデルファイルに基づいて前記コンテンツの有害性有無を判断することを特徴とする、人工知能に基づく有害コンテンツ遮断装置。 - 前記ユーザー端末は、
ユーザーが要請するコンテンツを受信するコンテンツ受信部と、
前記有害URLリストを保存するローカルDB及び前記有害性判断モデルファイルを保存するローカルライブラリを含み、前記コンテンツ受信部で受信したコンテンツの有害性有無を判断する有害性判断部と、
前記コンテンツ受信部に受信されたコンテンツのうち有害性判断基準を満たすコンテンツを表示するコンテンツ表示部とを含むことを特徴とする、請求項1に記載の人工知能に基づく有害コンテンツ遮断装置。 - 前記有害性判断部は、前記ライブラリサーバーから提供される有害URLリストにユーザー基準を含む有害コンテンツのURLを保存し、個人化した有害URLリストでローカルDBを構成することを特徴とする、請求項2に記載の人工知能に基づく有害コンテンツ遮断装置。
- 前記有害性判断部は、ユーザーが要請したコンテンツのURLを前記ローカルDBに保存された有害URLリストと対照して有害URL登録有無を検査し、有害URLとして登録された場合には、前記コンテンツ表示部を介してURL検査結果を表示し、前記コンテンツを遮断するかユーザーの要求したコンテンツに代替して表示することを特徴とする、請求項3に記載の人工知能に基づく有害コンテンツ遮断装置。
- 前記有害性判断部は、前記有害URLとして登録されていない場合、前記ローカルライブラリに保存された有害性判断モデルを用いて前記コンテンツの有害性有無を検査し、多面検証によってエラーを防止することを特徴とする、請求項4に記載の人工知能に基づく有害コンテンツ遮断装置。
- 前記ローカルライブラリは前記ライブラリサーバーから実時間でアップデートされるかユーザー要請によって前記ライブラリサーバーから提供されるカテゴリー別に細分化した複数の有害性判断モデルファイルから構成され、前記複数の有害性判断モデルファイルのうちユーザーによって選択されたいずれか一つの有害性判断モデルファイルが基本モデルに設定されることを特徴とする、請求項5に記載の人工知能に基づく有害コンテンツ遮断装置。
- 前記有害性判断部は、アダルト及び淫乱物カテゴリーの有害性判断を基本的に検査し、タグ及び文字列検査、ユーザーが選択したカテゴリー及び設定値による検査を追加して有害性判断を検証することを特徴とする、請求項5に記載の人工知能に基づく有害コンテンツ遮断装置。
- 前記有害URLとして登録されていない場合、前記コンテンツ受信部で前記コンテンツをローディングし、前記コンテンツのローディング中に前記コンテンツ出力部でイメージまたは広告映像を表示し、
前記有害性コンテンツと判断された場合、前記有害性判断部で前記コンテンツのURLを前記ローカルDBに有害URLとして登録し、前記コンテンツ出力部でユーザー設定によって有害性コンテンツの文、イメージまたは動画などを他の文、イメージまたは動画に純化して表示することを特徴とする、請求項5に記載の人工知能に基づく有害コンテンツ遮断装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190137364A KR102259730B1 (ko) | 2019-10-31 | 2019-10-31 | 인공지능 기반의 유해 컨텐츠 차단 장치 |
KR10-2019-0137364 | 2019-10-31 | ||
PCT/KR2020/014382 WO2021085921A1 (ko) | 2019-10-31 | 2020-10-21 | 인공지능 기반의 유해 컨텐츠 차단 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023500879A true JP2023500879A (ja) | 2023-01-11 |
Family
ID=75714647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022525728A Pending JP2023500879A (ja) | 2019-10-31 | 2020-10-21 | 人工知能に基づく有害コンテンツ遮断装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220398314A1 (ja) |
EP (1) | EP4053781A4 (ja) |
JP (1) | JP2023500879A (ja) |
KR (1) | KR102259730B1 (ja) |
CN (1) | CN114514518A (ja) |
WO (1) | WO2021085921A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102572737B1 (ko) * | 2021-06-15 | 2023-08-30 | 주식회사 테크노블러드코리아 | 동영상 공유 사이트 접속 차단 시스템 |
KR102461482B1 (ko) | 2021-07-27 | 2022-11-03 | 김민석 | 인공지능 에이전트 기반의 유해 컨텐츠 차단 서비스 플랫폼장치 |
KR102536659B1 (ko) * | 2021-09-06 | 2023-05-26 | (주)피플인넷 | 클라이언트 기반의 유해 사이트 차단 방법 |
KR102465368B1 (ko) | 2021-11-16 | 2022-11-11 | 김민석 | 이미지 처리 장치 및 방법 |
KR102503204B1 (ko) * | 2021-11-25 | 2023-02-24 | 김민석 | 인공지능 자연어 처리를 이용한 사이트 차단 방법 및 이를 이용하여 사이트 차단을 수행하는 단말기 |
KR20230135815A (ko) | 2022-03-17 | 2023-09-26 | 고태건 | 인공지능을 이용한 유해 컨텐츠 필터링 시스템 및 방법 |
KR102618061B1 (ko) * | 2023-03-21 | 2023-12-27 | (주)노웨어소프트 | 인공지능 기반 감정 분석을 활용하여 유해 컨텐츠를 필터링하는 방법 및 장치 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010044818A1 (en) * | 2000-02-21 | 2001-11-22 | Yufeng Liang | System and method for identifying and blocking pornogarphic and other web content on the internet |
WO2006036170A1 (en) * | 2004-09-15 | 2006-04-06 | Pcsafe, Inc. | Methods and systems for filtering urls, webpages, and content |
KR100848319B1 (ko) * | 2006-12-07 | 2008-07-24 | 한국전자통신연구원 | 웹 구조정보를 이용한 유해 사이트 차단 방법 및 장치 |
KR100935411B1 (ko) * | 2007-11-23 | 2010-01-06 | 주식회사 가자아이 | 유해 사이트 차단 제어방법 및 그 시스템 |
KR101027617B1 (ko) | 2009-05-20 | 2011-04-11 | 주식회사 엔에스에이치씨 | 유해물 차단 서비스 시스템 및 방법 |
KR20130024627A (ko) * | 2011-08-31 | 2013-03-08 | (주)옴니텔 | 애플리케이션 로딩 시간을 이용한 광고 실행 방법 |
KR20140025113A (ko) | 2012-08-21 | 2014-03-04 | 한국전자통신연구원 | 유해 컨텐츠 고속 판단 장치 및 방법 |
KR20150101689A (ko) * | 2014-02-27 | 2015-09-04 | (주)소만사 | 모바일 단말을 위한 유해 콘텐츠 차단 방법 및 유해 콘텐츠 정보 배포 시스템 |
KR20160063234A (ko) * | 2014-11-26 | 2016-06-03 | 한국전자통신연구원 | 스트리밍 uri를 이용한 컨텐츠의 유해성 판정 방법 및 이를 이용한 장치 |
CN106453216A (zh) * | 2015-08-13 | 2017-02-22 | 阿里巴巴集团控股有限公司 | 恶意网站拦截方法、装置及客户端 |
US11301560B2 (en) * | 2018-02-09 | 2022-04-12 | Bolster, Inc | Real-time detection and blocking of counterfeit websites |
-
2019
- 2019-10-31 KR KR1020190137364A patent/KR102259730B1/ko active IP Right Grant
-
2020
- 2020-10-21 EP EP20882678.4A patent/EP4053781A4/en not_active Withdrawn
- 2020-10-21 WO PCT/KR2020/014382 patent/WO2021085921A1/ko unknown
- 2020-10-21 JP JP2022525728A patent/JP2023500879A/ja active Pending
- 2020-10-21 US US17/772,177 patent/US20220398314A1/en active Pending
- 2020-10-21 CN CN202080070574.XA patent/CN114514518A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN114514518A (zh) | 2022-05-17 |
EP4053781A4 (en) | 2022-12-14 |
EP4053781A1 (en) | 2022-09-07 |
US20220398314A1 (en) | 2022-12-15 |
WO2021085921A1 (ko) | 2021-05-06 |
KR102259730B1 (ko) | 2021-06-02 |
KR20210051725A (ko) | 2021-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023500879A (ja) | 人工知能に基づく有害コンテンツ遮断装置 | |
US9935963B2 (en) | Shared item account selection | |
US7747680B2 (en) | Community-based web filtering | |
US9306927B2 (en) | Single login procedure for accessing social network information across multiple external systems | |
JP6267333B2 (ja) | サードパーティ・システムのためのメディア・プラグイン | |
US7562304B2 (en) | Indicating website reputations during website manipulation of user information | |
US10230717B2 (en) | Managed domains for remote content and configuration control on mobile information devices | |
US20130066975A1 (en) | Group Opt-In Links | |
US20140041055A1 (en) | System and method for online access control based on users social network context | |
US20120311705A1 (en) | System, method, and computer program product for presenting an indicia of risk reflecting an analysis associated with search results within a graphical user interface | |
US20130030922A1 (en) | System and method for syndicating a conversation | |
JP2015527629A (ja) | コンピュータ装置上のソフトウェアアプリケーションのコンポーネント分析 | |
US20130151346A1 (en) | Redacting portions of advertisements delivered to underage users | |
US10013493B1 (en) | Customized search engines | |
JP2023511477A (ja) | 有害コンテンツ掲示防止及び遮断装置 | |
AU2014393433A1 (en) | Associating user interactions across multiple applications on a client device | |
US9866520B2 (en) | Method and apparatus for managing internet content | |
US10769674B2 (en) | Generation and rendering system for advertisement objects with computer-selected conditional content | |
CN114338582A (zh) | 一种分享链接直跳应用的方法、电子设备和存储介质 | |
KR20090106770A (ko) | 동영상 출력방법 및 시스템과 동영상 출력장치와 프로그램기록매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231023 |