JP2022025013A - 研究論文に関連付けられたマルチモーダルオンラインリソースの抽出 - Google Patents
研究論文に関連付けられたマルチモーダルオンラインリソースの抽出 Download PDFInfo
- Publication number
- JP2022025013A JP2022025013A JP2021106728A JP2021106728A JP2022025013A JP 2022025013 A JP2022025013 A JP 2022025013A JP 2021106728 A JP2021106728 A JP 2021106728A JP 2021106728 A JP2021106728 A JP 2021106728A JP 2022025013 A JP2022025013 A JP 2022025013A
- Authority
- JP
- Japan
- Prior art keywords
- resource
- resources
- research paper
- content fields
- field type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/418—Document matching, e.g. of document images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/30—Writer recognition; Reading and verifying signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】 研究論文に関連付けられたマルチモーダルオンラインリソースの抽出を提供する。【解決手段】 方法は、研究論文と、メディアコンテンツを含む候補リソースセットと、を格納するステップを含む。前記方法は、前記研究論文の中の1つ以上の第1コンテンツフィールドの各々を、前記1つ以上の第1コンテンツフィールドの各々に関連付けられた第1フィールドタイプに基づき、第1ベクトルに符号化するステップを更に含む。前記方法は、パースした前記候補リソースセットの各々の中の1つ以上の第2コンテンツフィールドの各々を、前記1つ以上の第2コンテンツフィールドの各々に関連付けられた第2フィールドタイプに基づき、第2ベクトルに符号化するステップを更に含む。前記方法は、前記第1ベクトルを前記第2ベクトルと比較して、前記比較に基づき最終リソースセットを決定するステップを更に含む。前記方法は、決定した前記最終リソースセットと前記研究論文とを出力するようディスプレイスクリーンを制御するステップを更に含む。【選択図】 図9
Description
本開示で議論される実施形態は、研究論文に関連付けられたマルチモーダルオンラインリソースの抽出に関連する。
標準的に、研究者は、関心分野における最新の進捗を理解するために、膨大な数の研究論文を研究することがある。例えば、研究者は、特定の研究論文を読み、更に、該研究論文の中で引用された1つ以上の関連研究論文を識別し研究することがある。通常、研究者は、検索エンジンで1つ以上の引用研究論文を検索する。研究及び検索は時間がかかり、研究者の関心分野及び事前知識に基づき退屈な作業になり得る。特定のソリューションでは、研究者は、手動で検索して、ウェブページに散乱しているオンラインリソース(例えば、ビデオ、スライド)を見付け、識別した研究論文および関心分野の概要を得ることができる。明らかに、研究論文に関連付けられたオンラインリソースの手動検索処理は、時間がかかり、膨大な数の研究論文が存在する場合には煩わしい。従って、研究者の関心分野の効率的理解のために、研究論文に関連付けられたオンラインリソースのメディアコンテンツを検索し抽出するための改良された方法が必要である。
本開示で請求される主題は、任意の欠点を解決する実施形態なたが]上述のような環境でのみ動作する実施形態に限定されない。むしろ、この背景技術は、本開示に記載の幾つかの実施形態が実施され得る一例である技術領域を説明するためにのみ提供される。
本発明の態様によると、方法が提供され得る。前記方法は、1つ以上の第1ウェブサイトから、研究論文に関連付けられた題名に基づき、1つ以上の第1リソースを抽出するステップを含んでよい。前記方法は、前記抽出した1つ以上の第1リソースに関連付けられたリソースタイプセットを識別するステップを更に含んでよい。前記方法は、前記識別したリソースタイプセットに基づき、所定の複数のリソースタイプから、1つ以上の第1リソースタイプを決定するステップを更に含んでよい。前記リソースタイプセットは、前記決定した1つ以上の第1リソースタイプを除外してよい。前記方法は、前記研究論文に関連付けられた前記題名に基づき、前記1つ以上の第2ウェブサイトから、前記決定した1つ以上の第1リソースタイプに関連付けられた1つ以上の第2リソースを抽出するステップを更に含んでよい。前記1つ以上の第1リソース及び前記1つ以上の第2リソースの各々は、メディアコンテンツを含んでよい。前記方法は、前記研究論文の1つ以上の第1コンテンツフィールドと前記抽出した1つ以上の第1リソース及び前記抽出した1つ以上の第2リソースの1つ以上の第2コンテンツフィールドとの間の比較に基づき、最終リソースセットを決定するステップを更に含んでよい。前記方法は、前記決定した最終リソースセットと前記研究論文とを出力するようディスプレイスクリーンを制御するステップを更に含んでよい。
別の実施形態の別の態様によると、方法が提供され得る。前記方法は、候補リソースセット及び研究論文を格納するステップであって、候補リソースセット及び研究論文の各々は1つ以上のコンテンツフィールドを含んでよい、ステップを含んでよい。前記候補リソースセットは、メディアコンテンツを含んでよく、前記研究論文に関連付けられてよい。前記方法は、前記研究論文の中の1つ以上の第1コンテンツフィールドの各々を、前記1つ以上の第1コンテンツフィールドの各々に関連付けられた第1フィールドタイプに基づき、第1ベクトルに符号化するステップを更に含んでよい。前記方法は、前記格納した候補リソースセットの各々を1つ以上の第2コンテンツフィールドへとパースするステップを更に含んでよい。前記方法は、パースした前記候補リソースセットの各々の中の1つ以上の第2コンテンツフィールドの各々を、前記1つ以上の第2コンテンツフィールドの各々に関連付けられた第2フィールドタイプに基づき、第2ベクトルに符号化するステップを更に含んでよい。前記方法は、前記符号化された1つ以上の第1コンテンツフィールドの各々の前記第1ベクトルを、前記符号化された1つ以上の第2コンテンツフィールドの各々の前記第2ベクトルと比較するステップを更に含んでよい。前記方法は、前記比較に基づき、最終リソースセットを決定するステップを更に含んでよい。前記方法は、前記決定した最終リソースセットと前記研究論文とを出力するようディスプレイスクリーンを制御するステップを更に含んでよい。
実施形態の目的及び利点は、請求項において特に指摘される要素、特徴、及び組み合わせにより少なくとも実現され達成される。
前述の一般的説明及び以下の詳細な説明は両方とも例として与えられ、説明のためであり、請求される本発明の限定ではない。
例示的な実施形態は、以下の添付の図面の使用を通じて更なる特殊性及び詳細事項により記載され説明される。
全図は、本開示に記載される少なくとも1つの実施形態に従う。
本開示で説明される幾つかの実施形態は、研究論文に関連付けられたメディアコンテンツ(例えば、ビデオ、ポスター、プレゼンテーションスライド、又はプログラムコード)を含むマルチモーダルオンラインリソースの自動抽出のための方法及びシステムに関する。本開示では、1つ以上の第1リソースは、研究論文に関連付けられた題名に基づき、1つ以上の第1ウェブサイトから抽出されてよい。1つ以上の抽出した第1リソースに関連付けられたリソースタイプセットが識別されてよい。更に、1つ以上の第1リソースタイプは、識別されたリソースタイプセット(つまり、抽出されるべき所定のターゲットリソースタイプ)に基づき、所定の複数のリソースタイプから決定されてよい。1つ以上の抽出した第1リソースのリソースタイプセットは、決定した1つ以上の第1リソースタイプを除外してよい。ここで、1つ以上の第1リソースタイプは、所定の複数のリソースタイプの中で、抽出した1つ以上の第1リソースに関連付けられたリソースタイプセットから失われている(又は除外されている)可能性のあるリソースタイプに対応してよい。決定した1つ以上の第1リソースタイプに関連付けられた1つ以上の第2リソースは、研究論文に関連付けられた題名に基づき、1つ以上の第2ウェブサイト(例えば、検索エンジン)から抽出されてよい。ここで、1つ以上の第1リソース及び1つ以上の第2リソースの各々は、研究論文に関連付けられ得るメディアコンテンツを含んでよい。最終リソースセットは、研究論文の1つ以上の第1コンテンツフィールドと抽出した1つ以上の第1リソース及び抽出した1つ以上の第2リソースの各々の1つ以上の第2コンテンツフィールドとの間の比較に基づき決定されてよい。ディスプレイスクリーンは、決定した最終リソースセットと研究論文とを出力するよう更に制御されてよい。
本開示で説明される別の実施形態は、抽出されたマルチモーダルオンラインリソース(メディアコンテンツを含む)の関連付けられた研究論文との自動比較のための方法及びシステムに関連する。本開示では、候補リソースセット及び研究論文が格納されてよい。候補リソースセット及び研究論文の各々は、1つ以上のコンテンツフィールドを含んでよい。候補リソースセットは、メディアコンテンツを含んでよく、研究論文に関連付けられてよい。研究論文は、1つ以上第1コンテンツフィールドにパースされて(parsed)よく、一方で、格納された候補リソースセットの各々は、1つ以上の第2コンテンツフィールドにパースされてよい。パースした研究論文の中の1つ以上の第1コンテンツフィールドの各々は、1つ以上の第1コンテンツフィールドの各々に関連付けられた第1フィールドタイプに基づき、第1ベクトルに符号化されてよい。更に、パースした候補リソースセットの中の1つ以上の第2コンテンツフィールドの各々は、1つ以上の第2コンテンツフィールドの各々に関連付けられた第2フィールドタイプに基づき、第2ベクトルに符号化されてよい。符号化された1つ以上の第1コンテンツフィールドの各々の第1ベクトルは、符号化された1つ以上の第2コンテンツフィールドの各々の第2ベクトルと比較されてよい。最終リソースセットは、比較に基づき決定されてよい。ディスプレイスクリーンは、決定した最終リソースセット及び研究論文を出力するよう制御されてよい。
本開示の1つ以上の実施形態によると、メディアコンテンツリソース抽出の技術分野は、コンピューティングシステムが、研究論文に関連付けられたオンラインリソースを自動的に抽出し、及び抽出したリソースを関連付けられた研究論文と比較して、最終オンラインリソースセットを出力できるように、コンピューティングシステムを構成することにより改良され得る。種々のウェブサイトから研究論文に関連付けられたオンラインリソースを検索及びフィルタリングするための相当量の手動入力及び努力を必要とし得る他の従来のソリューションと比べて、コンピューティングシステムは、1つ以上のウェブサイトから、研究論文に関連付けられたオンラインリソースを、候補リソースとして自動的に抽出し、候補リソースを研究論文と比較して、研究論文に関連付けられた最終リソースセットを決定してよい。
システムは、1つ以上の第1ウェブサイトから、研究論文に関連付けられた題名に基づき、1つ以上の第1リソースを抽出するよう構成されてよい。例えば、1つ以上の第1ウェブサイトは、会議、会誌、又は前刷り研究論文出版社ウェブサイト、個人または学術機関ウェブサイト、又はリソース専用ウェブサイトであってよい。ここで、リソースは、メディアコンテンツを含んでよい。1つ以上の第1リソースの例は、限定ではなく、プレゼンテーションスライド、ポスター、ビデオ、又はプログラムコードを含んでよい。システムは、抽出した1つ以上の第1リソースに関連付けられたリソースタイプセットを識別するよう更に構成されてよい。システムは、識別したリソースタイプセットに基づき、所定の複数のリソースタイプから、1つ以上の第1リソースタイプを決定するよう更に構成されてよい。ここで、リソースタイプセットは、決定した1つ以上の第1リソースタイプを除外してよい。例えば、所定の複数のリソースタイプは、限定ではないが、研究タイプ、ポスタータイプ、プレゼンテーションスライドタイプ、ビデオタイプ、又はプログラムコードタイプ、を含んでよい。リソースタイプセットが研究タイプ(つまり研究論文自体)、ポスタータイプ、及びプレゼンテーションスライドタイプを含む場合、決定される1つ以上の第1リソースタイプは、限定ではないが、ビデオタイプ又はプログラムコードタイプを含んでよい。言い換えると、1つ以上の第1リソースタイプは、リソースタイプセットの中で欠損しているが、複数の所定のリソースタイプの中に存在してよい。
システムは、決定した1つ以上の第1リソースタイプに関連付けられた1つ以上の第2リソースを、研究論文に関連付けられた題名に基づき、1つ以上の第2ウェブサイトから抽出するよう更に構成されてよい。例えば、決定した1つ以上の第1リソースタイプがビデオタイプ及びプログラムコードタイプリソースを含む場合、1つ以上の第2ウェブサイト(例えば、検索エンジン)は、ビデオタイプ及びプログラムコードタイプのリソースを抽出するために検索されてよい。抽出した1つ以上の第2リソースは、抽出した1つ以上の第1リソースと異なってよい。
システムは、研究論文の1つ以上の第1コンテンツフィールドと、抽出した1つ以上の第1リソース及び抽出した1つ以上の第2リソースの1つ以上の第2コンテンツフィールドと、の間の比較に基づき、最終リソースセットを決定するよう更に構成されてよい。例えば、研究論文の題名は、抽出されたポスター、プレゼンテーションスライド、又はビデオの各々に関連付けられた題名と比較されてよい(つまり、抽出された1つ以上の第1リソース及び抽出された1つ以上の第2リソース)。例では、研究論文の著者は、抽出されたポスター、プレゼンテーションスライド、及びビデオの各々に関連付けられた著者と比較されてよい。更に、研究論文の中のテキスト、図、又は表は抽出されたポスター、プレゼンテーションスライド、又はビデオの中の対応するテキスト、図、及び表と比較されてよい。自動比較、及び研究論文と抽出したリソース(例えば、ポスター、プレゼンテーションスライド、ビデオ、又はプログラムコード)との間の一致に成功すること、の両方に基づき、一致したリソースは、最終リソースセットとして決定されてよい。システムは、決定した最終リソースセットと研究論文とを、集約マルチモーダルデータとして、出力するようディスプレイスクリーンを制御するよう更に構成されてよい。例えば、ポスター、プレゼンテーションスライド、ビデオ、又はプログラムコード(つまり最終リソースセット)は、研究者のために統合ユーザインタフェース(UI)上で研究論文と一緒に表示されてよい。
本開示の1つ以上の他の実施形態によると、システムは、候補リソースセット及び研究論文を格納するよう構成されてよい。候補リソースセット及び研究論文の各々は1つ以上のコンテンツフィールドを含んでよい。候補リソースセットは、メディアコンテンツを含んでよく、候補リソースセットは研究論文に関連付けられてよい。例えば、ポスター、プレゼンテーションスライド、ビデオ、又はプログラムコードに関連するコンテンツは、候補リソースセットとして格納されてよい。システムは、研究論文をパースして(parse)1つ以上第1コンテンツフィールドにするよう、及び候補リソースセットの各々を、1つ以上の第2コンテンツフィールドにするよう、更に構成されてよい。例えば、1つ以上の第1コンテンツフィールドは、限定ではないが、題名、著者、発行日、要約、全文、図、表、又は研究論文に関連付けられたメタ情報を含んでよい。例では、1つ以上の第2コンテンツフィールドは、限定ではないが、題名、著者、リソースのオンラインアップロードの日、テキスト、図、表、又は候補リソースセットに関連付けられたメタ情報を含んでよい。
システムは、研究論文の中の1つ以上の第1コンテンツフィールドの各々を、1つ以上の第1コンテンツフィールドの各々に関連付けられた第1フィールドタイプに基づき、第1ベクトルに符号化するよう構成されてよい。同様に、システムは、候補リソースセットの各々の中の1つ以上の第2コンテンツフィールドの各々を、1つ以上の第2コンテンツフィールドの各々に関連付けられた第2フィールドタイプに基づき、第2ベクトルに符号化するよう構成されてよい。第1フィールドタイプ及び第2フィールドタイプの各々は、テキストフィールドタイプ、カテゴリフィールドタイプ、日時フィールドタイプ、図フィールドタイプ、又は表フィールドタイプ、のうちの1つを含んでよい。
システムは、符号化された1つ以上の第1コンテンツフィールドの各々の第1ベクトルを、符号化された1つ以上の第2コンテンツフィールドの各々の第2ベクトルと比較するよう構成されてよい。比較に基づき、システムは、候補リソースセットから、最終リソースセットを決定するよう構成されてよい。例えば、システムは、研究論文の第1ベクトルが第1候補リソースの第2ベクトルと一致する場合、候補リソースセットからの第1候補リソースを、最終リソースセットに追加してよい。比較に基づき、システムは、第1候補リソースが研究論文に対応することを検証してよい。システムは、決定した最終リソースセットと研究論文とを、集約マルチモーダルデータとして、出力するようディスプレイスクリーンを制御するよう更に構成されてよい。例えば、最終リソースセットは、研究者のために統合UI上で研究論文と一緒に表示されてよい。
標準的に、研究者は、分野の最先端を理解するために、関心分野の複数の研究論文の概要を取得したいと望み得る。しかしながら、自動ツール(例えば、開示されるコンピューティングシステム)が無いので、研究論文は、各研究論文に関連するオンラインリソースを手動で検索し抽出する必要がある。このような手動のアプローチは、研究者がインターネット上に散乱した複数のウェブサイトに手動でアクセスしアクセスしたリソースを抽出又はダウンロードしなければならないので、煩わしく時間がかかる。研究者は、更に、各々のアクセスしたオンラインリソースの中のコンテンツが実際に研究論文に対応するかどうかを手動で検証する必要がある。明らかに、研究論文に関連付けられたオンラインリソースの手動検索処理、及びこのようなオンラインリソースの集約は、時間がかかる作業であり、膨大な数の研究論文には良好に調整されない場合がある。これに対して、開示のシステムは、研究論文に関連付けられた(メディアコンテンツを含む)マルチモーダルオンラインリソースの自動及び拡張された抽出を提供し、抽出したオンラインリソースが研究論文に対応することの自動検証を提供し得る。このような自動的なアプローチは、研究者が研究論文に関連するオンラインリソース(つまりマルチモーダルコンテンツ)を検索し、抽出し、及び/又は検証するための有意な時間を節約し得る。
本開示の実施形態は、添付の図面を参照して説明される。
図1は、本開示で説明される少なくとも1つの実施形態に従い構成される、1つ以上のウェブサイトからの研究論文に関連付けられたリソースの抽出に関連する例示的な環境を示す図である図1を参照すると、環境100が示される。環境100は、電子装置102、サーバ104、データベース106、ユーザエンド装置108、及び通信ネットワーク110を含んでよい。電子装置102、サーバ104、データベース106、及びユーザエンド装置108は、通信ネットワーク110を介して互いに通信可能に接続されてよい。図1には、1つ以上の第1ウェブサイト112、及び1つ以上の第2ウェブサイト114が更に示される。サーバ104は、1つ以上の第1ウェブサイト112、及び1つ以上の第2ウェブサイト114をホスティングしてよい。1つ以上の第1ウェブサイト112は、ウェブサイト112A、ウェブサイト112B、...、ウェブサイト112Nを含んでよい。1つ以上の第2ウェブサイト114は、ウェブサイト114A、ウェブサイト114B、...、ウェブサイト114Nを含んでよい。電子装置102又はユーザエンド装置108に関連付けられ又はそれを操作し得るユーザ116が更に示される。
電子装置102は、研究論文に関連付けられた題名に基づき、サーバ104によりホスティングされる1つ以上の第1ウェブサイトから1つ以上の第1リソースを抽出するよう構成されてよい適切なロジック、回路、インタフェース、及び/又はコードを含んでよい。例えば、1つ以上の第1ウェブサイト112は、限定ではないが、会議、会誌、又は前刷り研究論文出版社ウェブサイト、個人又は学術機関ウェブサイト、又はリソース専用ウェブサイトを含んでよい。ここで、リソースは、メディアコンテンツを含んでよい。1つ以上の第1リソースの例は、限定ではなく、プレゼンテーションスライド、ポスター、ビデオ、又はプログラムコードを含んでよい。電子装置102は、抽出した1つ以上の第1リソースに関連付けられたリソースタイプセットを識別するよう更に構成されてよい。電子装置102は、識別したリソースタイプセットに基づき、所定の複数のリソースタイプから、1つ以上の第1リソースタイプを決定するよう更に構成されてよい。ここで、例えば図4において説明されるように、リソースタイプセットは、決定した1つ以上の第1リソースタイプを除外してよい。
電子装置102は、決定した1つ以上の第1リソースタイプに関連付けられた1つ以上の第2リソースを、研究論文に関連付けられた題名に基づき、サーバ104によりホスティングされる1つ以上の第2ウェブサイト114から抽出するよう更に構成されてよい。例では、1つ以上の第2ウェブサイト114は、1つ以上の第1ウェブサイト112と異なってよい1つ以上の検索エンジンウェブサイトであってよい。電子装置102は、研究論文の1つ以上の第1コンテンツフィールドと、抽出した1つ以上の第1リソース及び抽出した1つ以上の第2リソースの1つ以上の第2コンテンツフィールドと、の間の比較に基づき、最終リソースセットを決定するよう更に構成されてよい。例えば、図5及び7に、1つ以上の第1コンテンツフィールド及び1つ以上の第2コンテンツフィールド、並びに比較が、説明される。
比較、及び研究論文と抽出したリソース(例えば、ポスター、プレゼンテーションスライド、ビデオ、又はプログラムコード)との間の一致に成功すること、の両方に基づき、電子装置102は、更に、抽出したリソースを、最終リソースセットのうちの1つであってよいリソースとして決定してよい。電子装置102は、決定した最終リソースセット及び研究論文を出力するよう、ディスプレイスクリーン(例えば、図2に示すディスプレイスクリーン212)を制御するよう更に構成されてよい。研究論文に関連付けられたオンラインリソースの抽出及び表示は、例えば、図4、5、6、及び9において更に説明される。
別の実施形態では、電子装置102は、候補リソースセット及び研究論文を格納するよう構成されてよい。候補リソースセット及び研究論文の各々は1つ以上のコンテンツフィールドを含んでよい。候補リソースセットは、メディアコンテンツを含んでよく、候補リソースセットは研究論文に関連付けられてよい。電子装置102は、研究論文をパースして(parse)1つ以上第1コンテンツフィールドにするよう、及び候補リソースセットの各々を、1つ以上の第2コンテンツフィールドにするよう、更に構成されてよい。これは、例えば図5及び7で更に説明される。
電子装置102は、研究論文の中の1つ以上の第1コンテンツフィールドの各々を、1つ以上の第1コンテンツフィールドの各々に関連付けられた第1フィールドタイプに基づき、第1ベクトルに符号化するよう更に構成されてよい。同様に、電子装置102は、候補リソースセットの各々の中の1つ以上の第2コンテンツフィールドの各々を、1つ以上の第2コンテンツフィールドの各々に関連付けられた第2フィールドタイプに基づき、第2ベクトルに符号化するよう更に構成されてよい。第1フィールドタイプ及び第2フィールドタイプの各々は、テキストフィールドタイプ、カテゴリフィールドタイプ、日時フィールドタイプ、図フィールドタイプ、又は表フィールドタイプ、のうちの1つを含んでよい。例えば、図7で、1つ以上の第1コンテンツフィールド及び1つ以上の第2コンテンツフィールドの符号化が、説明される。
電子装置102は、符号化された1つ以上の第1コンテンツフィールドの各々の第1ベクトルを、符号化された1つ以上の第2コンテンツフィールドの各々の第2ベクトルと比較するよう更に構成されてよい。比較に基づき、電子装置102は、候補リソースセットから、最終リソースセットを決定するよう構成されてよい。例えば、電子装置102は、研究論文の第1ベクトルが第1候補リソースの第2ベクトルと一致する場合、候補リソースセットからの第1候補リソースを、最終リソースセットに追加してよい。比較に基づき、電子装置102は、第1候補リソースが研究論文に対応するか否かを検証してよい。電子装置102は、決定した最終リソースセットと研究論文とを出力するようディスプレイスクリーンを制御するよう更に構成されてよい。例えば、最終リソースセットは、統合ユーザインタフェース(UI)上で研究論文と一緒に(マルチモーダルコンテンツとして)表示されてよい。研究論文による抽出したリソースの自動検証は、例えば、図7及び8において更に説明される。最終リソースセット及び研究論文を表示し得る例示的な統合UIは、例えば図9において更に説明される。
電子装置102の例は、限定ではないが、ウェブラッパー(web wrapper)装置、ウェブ検索装置、検索エンジン、モバイル装置、デスクトップコンピュータ、ラップトップ、コンピュータワークステーション、コンピューティング装置、メインフレームマシン、クラウドサーバのようなサーバ、及びサーバ群を含んでよい。1つ以上の実施形態では、電子装置102は、ユーザエンド端末装置、及びユーザエンド端末装置に通信可能に結合されたサーバを含んでよい。電子装置102は、プロセッサ、(例えば、1つ以上の動作を実行する又は実行を制御する)マイクロプロセッサ、FPGA(field-programmable gate array)、又はASIC(application-specific integrated circuit)を含むハードウェアを用いて実装されてよい。幾つかの他の例では、電子装置102は、ハードウェア及びソフトウェアの組み合わせを用いて実装されてよい。
サーバ104は、カテゴリの1つ以上のウェブサイトをホスティングするよう構成されてよい適切なロジック、回路、インタフェース及び/又はコードを含んでよい。例えば、サーバ104は、1つ以上の第1ウェブサイト112をホスティングしてよい。該1つ以上の第1ウェブサイト112から、1つ以上の第1リソースが、電子装置102により抽出されてよい。更に、サーバ104は、1つ以上の第2ウェブサイト114をホスティングしてよい。該1つ以上の第2ウェブサイト114から、1つ以上の第2リソースが、電子装置102により抽出されてよい。サーバ104の例は、限定ではないが、ウェブサーバ、データベースサーバ、ファイルサーバ、メディアサーバ、アプリケーションサーバ、メインフレームサーバ、又はクラウドコンピューティングサーバを含んでよい。1つ以上の実施形態では、電子装置102は、サーバ104を含んでよい。サーバ104は、プロセッサ、(例えば、1つ以上の動作を実行する又は実行を制御する)マイクロプロセッサ、FPGA(field-programmable gate array)、又はASIC(application-specific integrated circuit)を含むハードウェアを用いて実装されてよい。幾つかの他の例では、サーバ104は、ハードウェア及びソフトウェアの組み合わせを用いて実装されてよい。
データベース106は、電子装置102によりサーバ104上にホスティングされた1つ以上の第1ウェブサイト112及び1つ以上の第2ウェブサイト114から抽出されてよい1つ以上の第1リソース及び1つ以上の第2リソースを格納するよう構成されてよい適切なロジック、インタフェース、及び/又はコードを含んでよい。実施形態では、データベース106は、候補リソースセット及び研究論文を格納してよい。データベース106は、研究論文の1つ以上の第1コンテンツフィールド、及び1つ以上の第1リソース及び1つ以上の第2リソースの各々の1つ以上の第2コンテンツフィールド(又は候補リソースセットの1つ以上の第2コンテンツフィールド)を更に格納してよい。更に、データベース106は、研究論文に一致し得る最終リソースセットも格納してよい。
データベース106は、関係型又は非関係型データベースであってよい。また、幾つかの例では、データベース106は、クラウドサーバのようなサーバ上に格納されてよく、又は電子装置102上にキャッシュされ格納されてよい。実施形態では、データベース106のサーバは、研究論文、リソース、又は研究論文若しくはリソースのコンテンツフィールドに対する要求を、電子装置102から、通信ネットワーク110を介して受信するよう構成されてよい。それに応答して、データベース106のサーバは、受信した要求に基づき、要求された研究論文、リソース、又はコンテンツフィールドを読み出し、電子装置102へ通信ネットワーク110を介して提供するよう構成されてよい。追加又は代替として、データベース106は、プロセッサ、(例えば、1つ以上の動作を実行する又は実行を制御する)マイクロプロセッサ、FPGA(field-programmable gate array)、又はASIC(application-specific integrated circuit)を含むハードウェアを用いて実装されてよい。幾つかの他の例では、データベース106は、ハードウェア及びソフトウェアの組み合わせを用いて実装されてよい。
ユーザエンド端末装置108は、研究論文及び最終リソースセットを含む統合UIが表示され得る適切なロジック、回路、インタフェース、及び/又はコードを有してよい。ユーザエンド装置108は、統合UIを表示するためのウェブブラウザソフトウェア又は独立型ソフトウェアを含んでよい。実施形態では、ユーザエンド装置108は、ユーザ116から、研究論文の題名及びURL(Uniform Resource Locator)を含むユーザ入力を受信してよい。ユーザエンド装置108は、ユーザ入力を受信するためのGUI(graphical user interface)を含んでよい。ユーザエンド装置108は、ユーザ入力の中で示された研究論文に関連する最終リソースセットを自動的に検索し抽出するために、ユーザ入力を通信ネットワーク110を介して電子装置102に更に提供してよい。ユーザエンド装置108は、提供したユーザ入力に基づき、電子装置102から最終リソースセットを更に受信してよい。ウェブブラウザ又は独立型ソフトウェアは、ユーザ116からの研究論文の題名又はURLの受信したユーザ入力に基づき、研究論文及び最終リソースセットを含む統合UIを表示してよい。ユーザエンド装置108の例は、限定ではないが、ウェブソルトウェア開発若しくはテスト装置、検索エンジン装置、モバイル装置、デスクトップコンピュータ、ラップトップ、コンピュータワークステーション、コンピューティング装置、メインフレームマシン、クラウドサーバのようなサーバ、及びサーバ群を含んでよい。図1では、ユーザエンド装置108は電子装置102と別個であるが、しかしながら、幾つかの実施形態では、ユーザエンド装置108は、本開示の範囲から逸脱することなく、電子装置102に統合されてよい。
通信ネットワーク110は、通信媒体であって、該通信媒体を通じて電子装置102がサーバ104と通信し得る通信媒体と、データベース106を格納し得るサーバと、ユーザエンド装置108と、を含んでよい。通信ネットワーク110の例は、限定ではないが、インターネット、クラウドネットワーク、Wi-Fi(Wireless Fidelity)ネットワーク、PAN(Personal Area Network)、LAN(Local Area Network)、及び/又はMAN(Metropolitan Area Network)を含んでよい。環境100内の種々の装置は、種々の有線及び無線通信プロトコルに従い、通信ネットワーク110に接続するよう構成されてよい。このような有線及び無線通信プロトコルの例は、限定ではないが、TCP/IP(Transmission Control Protocol and Internet Protocol)、UDP(User Datagram Protocol)、HTTP(Hypertext Transfer Protocol)、FTP(File Transfer Protocol)、ZigBee、EDGE、IEEE802.11、Li-Fi(light fidelity)、802.16、IEEE802.11s、IEEE802.11g、マルチホップ通信、無線アクセスポイント(AP)、装置間通信、セルラ通信プロトコル、及び/又はBT(Bluetooth)通信プロトコル、又はそれらの組み合わせを含んでよい。
変更、追加、又は省略が、本開示の範囲から逸脱することなく図1に対して行われてよい。例えば、環境100は、図示され本開示で説明されるよりも多数又は少数の要素を含んでよい。例えば、幾つかの実施形態では、環境100は、電子装置102を含むが、データベース106及びユーザエンド装置108を含まなくてよい。さらに、幾つかの実施形態では、データベース106及びユーザエンド装置108の各々の機能は、本開示の範囲から逸脱することなく、電子装置102に組み込まれてよい。
図2は、本開示で説明される少なくとも1つの実施形態に従い構成される、1つ以上のウェブサイトからの研究論文に関連付けられたリソースの抽出のための例示的な電子装置を示すブロック図である。図2は、図1の要素と関連して説明される。図2を参照すると、電子装置102を含むシステム202のブロック図200が示される。電子装置102は、プロセッサ204、メモリ206、永久データ記憶装置2087、入力/出力(I/O)装置210、ディスプレイスクリーン212、及びネットワークインタフェース214を含んでよい。
プロセッサ204は、電子装置102により実行されるべき異なる動作に関連付けられたプログラム命令を実行するよう構成され得る、適切なロジック、回路、及び/又はインタフェースを含んでよい。例えば、動作のうちの幾つかは、1つ以上の第1リソースを抽出するステップと、リソースタイプセットを識別するステップと、1つ以上の第1リソースタイプを決定するステップと、1つ以上の第2リソースを抽出するステップと、を含んでよい。動作は、候補リソースセット及び研究論文を格納するステップと、研究論文及び格納した候補リソースセットの各々をパースするステップと、1つ以上の第1コンテンツフィールドの各々を符号化するステップと、1つ以上の第2コンテンツフィールドの各々を符号化するステップと、第1ベクトルを第2ベクトルと比較するステップと、を更に含んでよい。動作は、最終リソースセットを決定するステップと、最終リソースセットを表示するようディスプレイスクリーン(例えば、ディスプレイスクリーン212)を制御するステップと、を更に含んでよい。プロセッサ204は、種々のコンピュータハードウェア又はソフトウェアモジュールを含む、任意の適切な専用又は汎用コンピュータ、コンピューティングエンティティ、又は処理装置を含んでよく、任意の適切なコンピュータ可読記憶媒体に格納された命令を実行するよう構成されてよい。例えば、プロセッサ204は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、又はプログラム命令を解釈し及び/又は実行し及び/又はデータを処理するよう構成される任意の他のデジタル若しくはアナログ回路を含んでよい。
図2には単一のプロセッサとして示されるが、プロセッサ204は、個々に又は集合的に本開示に記載のような電子装置102の任意の数の動作を実行する又は実行を指示するよう構成される任意の数のプロセッサを含んでよいさらに、プロセッサのうちの1つ以上は、異なるサーバのような1つ以上の異なる電子装置上に存在してよい。幾つかの実施形態では、プロセッサ204は、プログラム命令を解釈し及び/又は実行し、及び/又はメモリ206及び/又は永久データ記憶装置208に格納されたデータを処理するよう構成されてよい。幾つかの実施形態では、プロセッサ204は、プログラム命令を永久データ記憶装置208からフェッチし、プログラム命令をメモリ206にロードしてよい。プログラム命令がメモリ206にロードされた後に、プロセッサ204は、プログラム命令を実行してよい。プロセッサ204の例のうちの幾つかは、GPU、CPU、RISCプロセッサ、ASICプロセッサ、CISCプロセッサ、コプロセッサ、及び/又はそれらの組み合わせであってよい。
プロセッサ206は、プロセッサ204により実行可能なプログラム命令を格納するよう構成され得る、適切なロジック、回路、インタフェース及び/又はコードを含んでよい。特定の実施形態では、メモリ206は、オペレーティングシステム及び関連する特定用途情報を格納するよう構成されてよい。メモリ206は、格納されたコンピュータ実行可能命令またはデータ構造を運ぶ又は有するコンピュータ可読記憶媒体を含んでよい。このようなコンピュータ可読記憶媒体は、プロセッサ204のような汎用又は専用コンピュータによりアクセスされ得る任意の市販の媒体を含んでよい。例として、限定ではなく、このようなコンピュータ可読記憶媒体は、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、電気的消去可能なプログラマブル読み出し専用メモリ(EEPROM)、コンパクトディスク読み出し専用メモリ(CD-ROM)、又は他の光ディスク記憶装置、磁気ディスク記憶装置、又は他の磁気記憶装置、フラッシュメモリ素子(例えば、個体メモリ装置)、又はコンピュータ実行可能命令若しくはデータ構造の形式で特定のプログラムコードを運ぶ又は格納するために使用され得る且つ汎用又は専用コンピュータによりアクセスされ得る任意の他の記憶媒体、を含む有形又は非一時的コンピュータ可読媒体を含んでよい。上記の組み合わせも、コンピュータ可読記憶媒体の範囲に含まれてよい。コンピュータ実行可能命令は、例えば、プロセッサ204に、電子装置102に関連付けられた特定動作又は一群の動作を実行させるよう構成される命令及びデータを含んでよい。
永久データ記憶装置208は、プロセッサ204により実行可能なプログラム命令、オペレーティングシステム、及び/又はログ及び特定用途データベースのような特定用途情報を格納するよう構成され得る、適切なロジック、回路、インタフェース、及び/又はコードを含んでよい。永久データ記憶装置208は、格納されたコンピュータ実行可能命令またはデータ構造を運ぶ又は有するコンピュータ可読記憶媒体を含んでよい。このようなコンピュータ可読記憶媒体は、プロセッサ204のような汎用又は専用コンピュータによりアクセスされ得る任意の市販の媒体を含んでよい。
例として、限定ではなく、このようなコンピュータ可読記憶媒体は、CD-ROM(Compact Disc Read-Only Memory)又は他の光ディスク記憶装置、磁気ディスク記憶装置、又は他の磁気記憶装置(例えばHDD(Hard-Disk Drive))、フラッシュメモリ装置(例えば、SDD(Solid State Drive)、SD(Secure Digital)カード、他の個体メモリ装置)、又は特定のプログラムコードをコンピュータ実行可能命令又はデータ構造の形式で運び又は格納するために使用されてよい且つ汎用又は専用コンピュータによりアクセスされ得る任意の他の記憶媒体を含む有形又は非一時的コンピュータ可読記憶媒体を含んでよい。上記の組み合わせも、コンピュータ可読記憶媒体の範囲に含まれてよい。コンピュータ実行可能命令は、例えば、プロセッサ204に、電子装置102に関連付けられた特定動作又は一群の動作を実行させるよう構成される命令及びデータを含んでよい。
幾つかの実施形態では、メモリ206、永久データ記憶装置208、又は組合せは、1つ以上の第1リソース、1つ以上の第2リソース、候補リソースセット、最終リソースセット、及び研究論文を格納してよい。メモリ206、永久データ記憶装置208、又は組合せのいずれかは、研究論文の1つ以上の第1コンテンツフィールド、及び1つ以上の第1リソース及び1つ以上の第2リソースの各々の1つ以上の第2コンテンツフィールド(及び/又は候補リソースセットの1つ以上の第2コンテンツフィールド)を更に格納してよい。
I/O装置210は、ユーザ入力を受信するよう構成され得る、適切なロジック、回路、インタフェース、及び/又はコードを含んでよい。例えば、I/O装置210は、研究論文の題名又は研究論文のURLを含むユーザ入力を受信してよい。I/O装置210は、ユーザ入力に応答して、出力を提供するよう更に構成されてよい。例えば、出力は、最終リソースセット及び研究論文を表示し得る統合UIを含んでよい。I/O装置210は、プロセッサ204及びネットワークインタフェース214のような他のコンポーネントと通信するよう構成され得る種々の入力及び出力装置を含んでよい。入力装置の例は、限定ではないが、タッチスクリーン、キーボード、マウス、ジョイスティック、及び/又はマイクロフォンを含んでよい。出力装置の例は、限定ではないが、ディスプレイ及び/又はスピーカを含んでよい。
ディスプレイスクリーン212は、最終リソースセット及び研究論文を表示し得る統合UIをレンダリングするよう構成され得る、適切なロジック、回路、インタフェース、及び/又はコードを含んでよい。ディスプレイスクリーン212は、ユーザ116からユーザ入力を受信するよう構成されてよい。ユーザ入力は、研究論文の題名又はURLを含んでよい。このような場合にはm、ディスプレイスクリーン212は、ユーザ入力を受信するタッチスクリーンであってよい。ディスプレイスクリーン212は、限定ではないが、液晶ディスプレイ(LCD)ディスプレイ、発光ダイオード(LED)ディスプレイ、プラズマディスプレイ、及び/又は有機LED(OLED)ディスプレイ技術、及び/又は他のディスプレイ技術のような、幾つかの知られている技術を通じて実現されてよい。
ネットワークインタフェース214は、電子装置102、サーバ104、データベース106、及びユーザエンド装置108の間の通信を通信ネットワーク110を介して確立するよう構成され得る、適切なロジック、回路、インタフェース、及び/又はコードを有してよい。ネットワークインタフェース214は、通信ネットワーク110を介して電子装置102の有線又は無線通信をサポートする種々の知られている技術の使用により実装されてよい。ネットワークインタフェース214は、限定ではないが、アンテナ、無線周波数(RF)通信機、1つ以上の増幅器、チューナ、1つ以上の発信器、デジタル信号プロセッサ、コードデコーダ(CODEC)チップセット、加入者識別モジュール(SIM)カード、及び/又はローカルバッファを含んでよい。
変更、追加、又は省略が、本開示の範囲から逸脱することなく例示的な電子装置102に対して行われてよい。例えば、幾つかの実施形態では、例示的な電子装置102は、簡単のために明示され又は記載されないことのある任意の数の他のコンポーネントを含んでよい。
図3A、3B及び3Cは、本開示で説明される少なくとも1つの実施形態に従い構成される、研究論文に関連付けられたリソースの抽出のための例示的なウェブサイトを共同で示すブロック図である。図3A、3B及び3Cは、図1及び図2の要素と関連して説明される。
図3Aを参照すると、第1ウェブサイト300Aが示される。第1ウェブサイト300Aは、研究論文及び各研究論文に関連付けられた1つ以上のリソースに関連付けられ又はそれらを格納し得る、会議、会誌、又は前刷り研究論文出版社に関連付けられたウェブサイトであってよい。図3Aには、第1ウェブサイト300Aの名称(例えば、302により示される「Conference website」(会議ウェブサイト))が示される。第1ウェブサイト300Aは、研究論文に関連付けられたメタデータ及び/又はコンテンツフィールドにより研究論文を検索するための検索ボックス(例えば、検索ボックス304A)を含んでよい。例えば、電子装置102は、ユーザ116から、検索ボックス304Aを通じてユーザ入力を受信してよい。ユーザ入力は、研究論文に関連付けられた題名を含んでよい。第1ウェブサイト300Aは、題名に基づき研究論文を検索し、検索した研究論文に関連する情報を提示してよい。
図3Aに示すように、第1ウェブサイト300Aは、検索した研究論文に関連付けられた題名(例えば、304Bにより示される「Research Paper Title: Title-1」(研究論文の題名:題名1))を表示してよい。第1ウェブサイト300Aは、検索した研究論文に関連付けられた関連リソースのリンクも表示してよい。例えば、第1ウェブサイト300Aは、検索した研究論文に関連付けられたポスターのリンク(例えば、304Cにより示される「Related Resources Links: Poster-1」(関連リソースのリンク:ポスター1))を表示してよい。第1ウェブサイト300Aは、検索した研究論文の著者の名前(例えば、「Authors:FirstNameA LastNameA, FirstNameB LastNameB, FirstNameC LastNameC, and FirstNameD LastNameD」(著者:名前A 名字A、名前B 名字B、名前C 名字C、名前D 名字D))を更に表示してよい。第1ウェブサイト300Aは、検索した研究論文の要約(例えば、304Eにより示される「Abstract Text-1」(要約 テキスト1))を更に表示してよい。更に、第1ウェブサイト300Aは、検索した研究論文の全文、又は全文を含むファイルへのリンク(例えば、304Fにより示される「Full Text Links: HTML-1 | PDF-1」(全文のリンク:HTML-1 | PDF-1))を表示してよい。例えば、第1ウェブサイト300Aは、全文のHTML(Hypertext Markup Language)ファイルへのリンク(例えば、「HTML-1」)又は全文のPDF(Portable Document Format)ファイルへのリンク(例えば、「PDF-1」)を表示してよい。第1ウェブサイト300Aは、検索した研究論文の書誌データ(例えば、306により示される)を更に表示してよい。書誌データの例は、図3Aに示すように、会議議事録の巻(例えば、「Conference C-1, Volume 1」(会議C-1、第1巻))、発行日(例えば、「April2020」(2020年4月))、頁番号(例えば、「25-28」)、及び著者情報(例えば、「FirstNameA LastNameA and FirstNameB LastNameB from ABC University, US; and FirstNameC LastNameC and FirstNameD LastNameD from XYZ Inc., US」(名前A 名字A、及び名前B 名字B、ABC大学、米国:名前C 名字C、及び名前D 名字D、XYZ社、米国))を含んでよい。
図3Bを参照すると、第2ウェブサイト300Bが示される。第2ウェブサイト300Bは、学術機関に関連付けられたウェブサイト、又は研究論文の著者の及び/又は研究論文に関連付けられた1つ以上のリソースの著者の個人ウェブページであってよい。図3Bには、第21ウェブサイト300Bの名称(例えば、308により示される「Personal website」(個人ウェブサイト))が示される。第2ウェブサイト300Bは、著者名(例えば、310により示される「Author name: FirstNameA LastNameA」(著者名:名前A 名字A))を含んでよい。第2ウェブサイト300Bは、著者の写真又は顔写真(例えば、写真312)を更に含んでよい。図3Bに示すように、第2ウェブサイト300Bは、著者の職業、称号、組織、所属、又は学術機関若しくは個人の関心を更に含んでよい。例えば、図3Bの314により示されるように、著者の紹介は、「I am a Professor of ...ImageProcessing」(私は米国ABC大学のコンピュータ科学の教授です。私の研究対象は、人工知能、クラウドコンピューティング、IoT、及び画像処理です。)であってよい。
図3Bに示すように、第2ウェブサイト300Bは、著者(例えば、「FirstNameA LastNameA」(名前A 名字A))の出版物リスト(例えば、316により示される)を更に含んでよい。例えば、出版物リスト(例えば316により示される)は、第1研究論文(例えば、316Aにより示される「Research Paper Title: Title-1」(研究論文の題名:題名1))、及び第2研究論文(例えば、316Bにより示される「Research Paper Title: Title-2」(研究論文の題名:題名2)を含んでよい。第1研究論文は「Title-1」のような題名、「FirstNameA LastNameA, FirstNameB LastNameB, FirstNameC LastNameC, and FirstNameD LastNameD」のような著者、及び「Abstract Text-1」のような要約を有してよい。第2ウェブサイト300Bは、HTMLファイルへのリンク(例えば、「HTML-1」)、及びPDFファイルへのリンク(例えば、「PDF-2」)を表示してよい。第2ウェブサイト300Bは、第1研究論文に関連する1つ以上のリソースを更に表示してよい。例えば、第2ウェブサイト300Bは、第1研究論文に関連付けられた1つ以上のリソースとして、ポスターへのリンク(例えば「Poster-1」)及びプレゼンテーションスライドへのリンク(例えば「Presentation Slides-1」)を表示してよい。
第2研究論文(例えば、316Bにより示される)は「Title-2」のような題名、「FirstNameE LastNameE, FirstNameA LastNameA, FirstNameB LastNameB, and FirstNameC LastNameC」のような著者、及び「Abstract Text-2」のような要約を有してよい。第2ウェブサイト300Bは、HTMLファイルへのリンク(例えば、「HTML-2」)、及びPDFファイルへのリンク(例えば、「PDF-3」)を表示してよい。第2ウェブサイト300Bは、第2研究論文に関連する1つ以上のリソースを更に含み表示してよい。例えば、第2ウェブサイト300Bは、第2研究論文に関連付けられた1つ以上のリソースとしてプログラムコードへのリンク(例えば「Source Code-2」)及びプレゼンテーションスライドへのリンク(例えば「Presentation Slides-2」)を表示してよい。
図3Cを参照すると、第3ウェブサイト300Cが示される。第3ウェブサイト300Cは、研究論文に関連付けられた特定のリソース(例えば、ポスター、プレゼンテーションスライド、ビデオ、プログラムコード、又は他のメディアコンテンツ)に関連付けられたウェブサイトであってよい。第3ウェブサイト300Cは、ユーザ116(例えば、研究者)により検索され得る研究論文に関連し得る特定のリソースを格納するために、データベースを含んでよい。実施形態では、第3ウェブサイト300Cは、1種類のリソース(例えばビデオ)を格納してよい。別の実施形態では、第3ウェブサイト300Cは、複数種類のリソース(例えば、ポスター、プレゼンテーションスライド、ビデオ、又はプログラムコードの組合せ)を格納してよい。
例えば、図3Cには、第3ウェブサイト300Cの名称(例えば、318により示される「Media content website」(メディアコンテンツウェブサイト))が示される。第3ウェブサイト300Cは、研究論文に関連付けられたメディアコンテンツを含むリソースを検索するための検索ボックス(例えば、検索ボックス320A)を含んでよい。例えば、電子装置102は、ユーザ116から、検索ボックス320Aを通じてユーザ入力を受信してよい。ユーザ入力は、研究論文に関連付けられた題名を含んでよい。第3ウェブサイト300Cは、題名に基づき研究論文を検索し、検索した研究論文に関連する情報を提示し、更に、検索した研究論文について第3ウェブサイト300Cで入手可能なリソースを検索してよい。
図3Cに示すように、検索結果として、第3ウェブサイト300Cは、検索した研究論文に関連付けられた題名(例えば、320Bにより示される「Title-1」を表示してよい。第3ウェブサイト300Cは、検索した研究論文の著者の名前(例えば、「Authors: FirstNameA LastNameA, FirstNameB LastNameB, FirstNameC LastNameC, and FirstNameD LastNameD」(著者:名前A 名字A、名前B 名字B、名前C 名字C、名前D 名字D))を更に表示してよい。第3ウェブサイト300Cは、検索した研究論文の書誌データ(例えば、320Dにより示される)を更に表示してよい。書誌データの例は、図3Cに示すように、会議議事録の巻(例えば、「Conference C-1, Volume 1」(会議C-1、第1巻))、発行日(例えば、「April2020」(2020年4月))、頁番号(例えば、「25-28」)、及び著者情報(例えば、「FirstNameA LastNameA and FirstNameB LastNameB from ABC University, US; and FirstNameC LastNameC and FirstNameD LastNameD from XYZ Inc., US」(名前A 名字A、及び名前B 名字B、ABC大学、米国:名前C 名字C、及び名前D 名字D、XYZ社、米国))を含んでよい。
第3ウェブサイト300Cは、検索した研究論文に関連付けられた関連リソースのリンクを更に表示してよい。例えば、第3ウェブサイト300Cは、メディアコンテンツ(例えば「Media Content-1”」)を閲覧し及び/又はダウンロードするために、リンク(例えば、322により示される)を表示してよい。メディアコンテンツは、検索した研究論文に関連付けられたリソースを含んでよい。メディアコンテンツの例は、限定ではなく、ポスター、プレゼンテーションスライド、ビデオ、及び/又はプログラムコードを含んでよい。ポスター及びプレゼンテーションスライドは、リソースとして、研究論文の迅速で有益な要約を提供してよい。ビデオは、リソースとして、検索した研究論文に含まれる分野又は概念のより良好な理解のための鮮明な情報を提供してよい。プログラムコードは、リソースとして、検索した研究論文の中で言及される概念に関連する詳細な実装に関する情報を提供してよい。
留意すべきことに、図3A~3Cに示される、第1ウェブサイト300A、第2ウェブサイト300B、及び第3ウェブサイト300Cは、単に例として提示され、本開示の範囲を限定すると考えられるべきではない。
図4は、本開示で説明される少なくとも1つの実施形態に従い構成される、研究論文に関連付けられたオンラインリソースの抽出のための例示的な方法のフローチャートを示す。図4は、図1、図2、図3A,図3B及び図3Cの要素と関連して説明される。図4を参照すると、フローチャート400が示される。フローチャート400に示される方法は、402で開始してよく、任意の適切なシステム、機器、又は装置により、例えば図1又は図2の例示的な電子装置102により、実行されてよい。別個のブロックにより示したが、フローチャート400のブロックのうちの1つ以上に関連するステップ及び動作は、特定の実装に依存して、追加ブロックに分けられ、少ないブロックに結合され、又は削除されてよい。
ブロック402で、1つ以上の第1リソースが、1つ以上の第1ウェブサイト112から抽出されてよい。実施形態では、プロセッサ204は、1つ以上の第1ウェブサイト112から、研究論文に関連付けられた題名に基づき、1つ以上の第1リソースを抽出するよう構成されてよい。1つ以上の第1ウェブサイト112の例は、限定ではないが、会議、会誌、又は前刷り研究論文出版社ウェブサイト(例えば、第1ウェブサイト300A)、個人又は学術機関ウェブサイト(例えば、第2ウェブサイト300B)、又はリソース専用ウェブサイト(例えば、第3ウェブサイト300C)を含んでよい。実施形態では、プロセッサ204は、第1ウェブサイト300Aから第1リソースセットを、第2ウェブサイト300Bから第2リソースセットを、第3ウェブサイト300Cから第3リソースセットを、抽出してよい。1つ以上の第1リソースは、1つ以上の第1ウェブサイト112から抽出された、第1リソースセット、第2リソースセット、及び第3リソースセットを含んでよい。1つ以上の第1リソースの中のリソースの例は、限定ではなく、プレゼンテーションスライド、ポスター、ビデオ、又はプログラムコードを含んでよい。実施形態では、プロセッサ204は、1つ以上の第1ウェブサイト112から、研究論文も抽出してよい。例えば、第1リソースセットと一緒に、プロセッサ204は、第1ウェブサイト300Aから研究論文を抽出してよい。実施形態では、プロセッサ204は、1つ以上の第1ウェブサイト112から、研究論文の題名に基づき、1つ以上の第1リソースを抽出してよい。例えば、プロセッサ204は、(ユーザ116又は任意の他の研究者又は知識労働者にとって関心のある可能性のある)研究論文の題名を、同じ(つまり研究論文の題名と類似する)題名を含む又はそれによりインデックス付けされ得る1つ以上の第1リソース(例えば、ポスター、プレゼンテーションスライド、ビデオ、又はプログラムコード)を抽出するために、第1ウェブサイト300A、第2ウェブサイト300B、又は第3ウェブサイト300Cへ提供してよい。幾つかの実施形態では、プロセッサ204は、1つ以上の第1ウェブサイト112から、研究論文の題名(又はURL)に基づき、研究論文を抽出してよい。他の実施形態では、プロセッサ204は、1つ以上の第1ウェブサイト112から、研究論文の他のメタ情報、例えば限定ではないが著者名、要約若しくは研究論文の説明の1つ以上のキーワード、に基づき、1つ以上の第1リソースを抽出するよう構成されてよい。
幾つかの実施形態では、プロセッサ204は、第1ウェブページセットから情報(例えば、第1リソースセット)を抽出するために、第1ウェブサイト300Aに関連付けられた第1ウェブページセット(例えば、会議、会誌、又は前刷り研究論文出版社に関連付けられたウェブサイト)をクロールするよう構成されてよい。更に、プロセッサ204は、ユーザ(例えば、ユーザ116)からのユーザ入力に基づき、クロールした第1ウェブページセットのうちのサンプルウェブページの中の1つ以上のアイテムをラベル付けし又は選択してよい。プロセッサ204は、ツリーデータ構造及び第1アイテムに関連付けられた視覚情報に基づき、サンプルウェブページのラベル付けされた1つ以上のアイテムから第1アイテムを抽出するための初期抽出ルールを生成してよい。プロセッサ204は、クロールした第1ウェブページセットの中のターゲットウェブページから第2アイテム(つまり第1アイテムに対応する)を抽出するための新たな抽出ルールを生成するために、初期抽出ルールを精緻化してよい。プロセッサ204は、抽出されるべきアイテムに関連付けられた視覚情報に基づき、他のターゲットウェブページの各々からのアイテムの抽出のために、このような他のターゲットウェブページについて、新たな抽出ルールを自動的に且つ増分的に精緻化してよい。プロセッサ204は、第1ウェブサイト300Aの中の各々のこのようなターゲットウェブページからアイテムを更に抽出してよい。抽出したアイテムは、研究論文、及び1つ以上の第1リソースの中の第1リソースセットに対応してよい。
幾つかの実施形態では、第1ウェブサイト300Aに関連付けられた第1ウェブページセットからの情報(例えば、第1リソースセット)の抽出と同様に、プロセッサ204は、第3ウェブサイト300Cに関連付けられた第2ウェブページセット(例えば、リソース専用ウェブサイト)から情報を抽出してよい。第3ウェブサイト300Cから抽出した情報は、1つ以上の第1リソースの中の第3リソースセットに対応してよい。例では、第3ウェブサイト300Cが研究論文に関連付けられたビデオリソースをホスティングする場合、第3リソースセットは、研究論文に関連付けられたビデオを含んでよい。
幾つかの実施形態では、プロセッサ204は、第2ウェブサイト300Bから、分散したオンラインリソース(例えば、第2リソースセット)を自動的に識別し抽出するよう構成されてよい。プロセッサ204は、第2ウェブサイト300Bの中の候補エントリリストページを特定するよう構成されてよい。例えば、候補エントリリストページは、第2ウェブサイト300Bのホームページ内のリンクの中でターゲットキーワードについてのキーワード検索に基づき、第2ウェブサイト300Bの中で特定されてよい。ここで、各リンクはアンカー(anchor)テキスト及び/又はURLを含んでよい。ターゲットキーワードを含むリンクのリンクリストが生成されてよく、リンクリストからのリンクは、候補エントリリストページを指すとして選択されてよい。プロセッサ204は、候補エントリリストページの文書オブジェクトモデル(Document Object Model (DOM))ツリー通じて、反復パターンを用いて、エントリリストページとして候補エントリリストページを検証するよう構成されてよい。プロセッサ204は、エントリリストページを複数のエントリアイテムにセグメント化してよい。複数のエントリアイテムから、プロセッサ204は、各エントリアイテムの中の1つ以上のリンクの識別により、複数の候補ターゲットページを抽出してよい。1つ以上のリンクの各々は、複数の候補ターゲットページのうちの対応する1つを指してよい。プロセッサ204は、候補ターゲットページのうちの少なくとも1つの視覚構造及び提示の分析に基づき、候補ターゲットページのうちの少なくとも1つを、ターゲットページとして検証して、候補ターゲットページのうちの少なくとも1つの中の1つ以上の情報ブロックを識別するよう構成されてよい。プロセッサ204は、1つ以上の情報ブロックから1つ以上のキーワード特徴を抽出してよい。プロセッサ204は、更に、1つ以上のキーワード特徴のうちの少なくとも1つに基づき、少なくとも1つの候補ターゲットページを特定ジャンルのページに対応するとして、それによりターゲットページとして、分類してよい。最終的に、プロセッサ204は、従って、ターゲットページから、第2ウェブサイト300B(つまり、学術機関又は個人ウェブページに関連付けられたウェブサイト)から抽出された第2リソースセットとして、メタデータ及び情報を抽出してよい。
例えば、FLA11-025、米国特許第9,390,166B2号、2012年12月31日出願、参照によりその全体がここに組み込まれる、は、オンラインリソース識別及び抽出を詳細に議論している。参照された出願によるウェブページから情報を抽出する方法は、単なる例であることに留意する。しかしながら、本開示の範囲から逸脱することなく、ウェブページから情報を抽出する異なる他の方法が存在し得る。
実施形態では、プロセッサ204は、研究論文及び1つ以上の第1リソースに対応する抽出したアイテムをインデックス付けし、インデックス付けした抽出したアイテムをデータベース106、メモリ206、永久データ記憶装置208、又はそれらの組合せに格納するよう更に構成されてよい。別の実施形態では、プロセッサ204は、研究論文及び/又は第1リソースセットに対応するアイテム、第2リソースセットに対応するアイテム、及び第3リソースセットに対応するアイテムを個別にインデックス付けするよう構成されてよい。このようなシナリオでは、プロセッサ204は、このように個別にインデックス付けしたアイテムを、(研究論文及び/又は第1リソースセットのための)第1データベース、(第2リソースセットのための)第2データベース、及び(第3リソースセットのための)第3データベースのような個別のデータベースに格納してよい。実施形態では、第1データベース、第2データベース、及び第3データベースは、データベース106、メモリ206、永久データ記憶装置208、又はそれらの組合せに関連付けられてよい。
実施形態では、第1データベースは、第1ウェブサイト300A(例えば、会議、会誌、又は前刷り研究論文出版社のウェブサイト)から抽出された研究論文及び第1リソースセットを含み得る中央ドメイン固有のデータのためのデータベースに対応してよい。第2データベースは、第2ウェブサイト300B(例えば、学術機関又は個人のウェブサイト)から抽出した第2リソースセットを含み得る分散ドメイン固有のデータのためのデータベースに対応してよい。第3データベースは、第3ウェブサイト300C(例えば、リソース専用ウェブサイト)から抽出した第3リソースセットを含み得る特別なリソースのためのデータベースに対応してよい。
ブロック404で、抽出した1つ以上の第1リソースに関連付けられたリソースタイプセットが識別されてよい。実施形態では、プロセッサ204は、1つ以上の第1ウェブサイト112から抽出した抽出した1つ以上の第1リソースに関連付けられたリソースタイプセットを識別するよう構成されてよい。幾つかの実施形態では、プロセッサ204は、リソースに関連付けられたURLに基づき、リソース(つまり抽出された1つ以上の第1リソース)のリソースタイプを、ビデオタイプ又はプログラムコードタイプとして識別してよい。例えば、プロセッサ204は、リソースのURLを、ビデオ又はプログラムコードタイプのリソースの既知のURLのリストと比較して、リソースがビデオタイプか又はプログラムコードタイプかをそれぞれ決定してよい。
幾つかの実施形態では、プロセッサ204は、ページレイアウト分析に基づき、研究論文、プレゼンテーションスライド、又はポスターのようなリソースのリソースタイプを更に識別してよい。プロセッサ204は、このようなリソースのリソースタイプ(つまり、リソースタイプセットの中の)を、研究論文タイプ、プレゼンテーションスライドタイプ、又はポスタータイプとして、識別してよい。プロセッサ204は、このようなリソースの中の各頁を画像に変換してよい。例えば、プロセッサ204は、スクリーンキャプチャ又は文書-画像変換技術に基づき、ページを対応する画像に変換してよい。プロセッサ204は、予めトレーニングされた画像分類器を画像に適用することにより、リソースのリソースタイプを識別してよい。画像分類器は、抽出したリソース(又は変換した画像)を、対応する画像に関連付けられたページのレイアウトに基づき、研究論文タイプ、プレゼンテーションスライドタイプ、又はポスタータイプのような対応するリソースタイプに分類するよう、深層学習技術を用いて予めトレーニングされてよい。
ブロック406で、1つ以上の第1リソースタイプは、識別されたリソースタイプセットに基づき、複数の所定のリソースタイプから決定されてよい。実施形態では、プロセッサ204は、抽出した1つ以上の第1リソースから識別されたリソースタイプセットに基づき、複数の所定のリソースタイプから、1つ以上の第1リソースタイプを決定するよう構成されてよい。実施形態では、リソースタイプセットは、1つ以上の第1リソースタイプを除外してよい。例えば、所定の複数のリソースタイプは、限定ではないが、研究論文タイプ、ポスタータイプ、プレゼンテーションスライドタイプ、ビデオタイプ、又はプログラムコードタイプ、を含んでよい。リソースタイプセットが研究論文タイプ(つまり研究論文自体)、ポスタータイプ、及びプレゼンテーションスライドタイプを含む場合、決定される1つ以上の第1リソースタイプは、ビデオタイプ又はプログラムコードタイプを含んでよい。言い換えると、1つ以上の第1リソースタイプは、リソースタイプセットの中で欠損しているが、複数の所定のリソースタイプの中に存在してよい。言い換えると、プロセッサ204は、欠損しているリソースタイプ(つまり、1つ以上の第1リソースタイプ)を決定して、ステップ402で1つ以上の第1ウェブサイト112から抽出されなくてよい又は1つ以上の第1ウェブサイト112の中で入手可能ではないリソースタイプ(例えば、ビデオタイプ又はプログラムコードタイプ)を決定してよい。
ブロック408で、1つ以上の第1リソースタイプに関連付けられた1つ以上の第2リソースは、研究論文に関連付けられた題名に基づき、1つ以上の第2ウェブサイト114から抽出されてよい。実施形態では、プロセッサ204は、(ステップ406で決定された)1つ以上の第1リソースタイプに関連付けられた1つ以上の第2リソースを、研究論文に関連付けられた題名に基づき、1つ以上の第2ウェブサイト114から抽出するよう更に構成されてよい。サーバ104は、1つ以上の第2ウェブサイト114をホスティングしてよい。1つ以上の第2ウェブサイトの例は、限定ではないが、1対所の検索エンジンウェブサイトを含んでよい。実施形態では、(ステップ402で抽出された)1つ以上の第1リソース及び(ステップ406で抽出された)1つ以上の第2リソースの各々は、例えばメディアコンテンツ、限定ではないが、プレゼンテーションスライド、ポスター、ビデオ、又はプログラムコードを含んでよい。例では、(ステップ406で決定された)1つ以上の第1リソースタイプがビデオタイプおよびプログラムコードタイプを含む場合、1つ以上の第2リソースは、ビデオ及びプログラムコード(つまり、ステップ402で1つ以上の第1ウェブサイト112から抽出された1つ以上の第1リソースの中で欠損しているリソース)を含んでよい。
例では、プロセッサ204は、研究論文の題名に基づき、ビデオコンテンツに関連付けられた検索エンジンで、ビデオリソースタイプのリソースを抽出し又は検索してよい。プログラムコードタイプのリソースの検索又は抽出のために、プロセッサ204は、検索エンジンで又は公開若しくはプライベートソースコードレポジトリを含むデータベースを検索してよい。例では、プレゼンテーションスライドタイプ又はポスタータイプとして決定された1つ以上の第1リソースタイプの場合、プロセッサ204は、一般的な検索エンジンで、研究論文の題名及び1つ以上の検索演算子(例えば、PDF(Portable Document Format)ファイルについて「filetype:pdf」、又はプレゼンテーションスライドについて「filetype:ppt」のようなファイルタイプ制限)に基づき、プレゼンテーションスライド及びポスターを検索してよい。
ブロック410で、最終リソースセットは、研究論文の1つ以上の第1コンテンツフィールドと抽出した1つ以上の第1リソース及び1つ以上の第2リソースの1つ以上の第2コンテンツフィールドとの間の比較に基づき決定されてよい。実施形態では、プロセッサ204は、研究論文の1つ以上の第1コンテンツフィールドと、抽出した1つ以上の第1リソース及び抽出した(つまりステップ402及び408で抽出された)1つ以上の第2リソースの1つ以上の第2コンテンツフィールドと、の間の比較に基づき、最終リソースセットを決定するよう構成されてよい。例えば図5で、1つ以上の第1コンテンツフィールド及び1つ以上の第2コンテンツフィールドの抽出が、更に説明される。幾つかの実施形態では、最終リソースセットは、例えば図6に更に説明されるように、同じタイプの抽出された1つ以上の第1リソース及び抽出された1つ以上の第2リソースに基づき決定されてよい。最終リソースセットの決定は、例えば図7及び図8で更に説明される。
ブロック412で、ディスプレイスクリーンは、最終リソースセットと研究論文とを出力するよう制御されてよい。実施形態では、プロセッサ204は、決定した最終リソースセット及び研究論文を出力するよう、ディスプレイスクリーン(例えば、電子装置102のディスプレイスクリーン212)を制御するよう構成されてよい。幾つかの実施形態では、プロセッサ204は、ディスプレイスクリーン212に最終リソースセット及び研究論文を一緒に表示し得る統合UIを出力してよい。最終リソースセット及び研究論文を表示し得る例示的な統合UIは、例えば図9で説明される。制御は最後まで進んでよい。
フローチャート400は、402、404、406、408、410、及び412のような個別の動作として図示された。しかしながら、特定の実施形態では、開示の実施形態の本質を損なうことなく、特定の実装に依存して、このような個別の動作は、追加動作に更に分けられ、より少数の動作に結合され、又は削除されてよい。
図5は、本開示で説明される少なくとも1つの実施形態により構成される、研究論文の1つ以上の第1コンテンツフィールド及び研究論文に関連付けられた1つ以上のリソースの各々の1つ以上の第2コンテンツフィールドの抽出のための例示的な方法のフローチャートを示す。図5は、図1、図2、図3A、図3B、図3C及び図4の要素と関連して説明される。図5を参照すると、フローチャート500が示される。フローチャート500に示される方法は、502で開始してよく、任意の適切なシステム、機器、又は装置により、例えば図1又は図2の例示的な電子装置102により、実行されてよい。別個のブロックにより示したが、フローチャート500のブロックのうちの1つ以上に関連するステップ及び動作は、特定の実装に依存して、追加ブロックに分けられ、少ないブロックに結合され、又は削除されてよい。
ブロック502で、1つ以上の第1メタフィールドが、研究論文から抽出されてよく、1つ以上の第2メタフィールドが、1つ以上の第1リソース及び1つ以上の第2リソースの各々から抽出されてよい。実施形態では、プロセッサ204は、研究論文から1つ以上の第1メタフィールドを、(図4のステップ402及び408で抽出された)1つ以上の第1リソース及び1つ以上の第2リソースのうちの少なくとも1つのリソースから1つ以上の第2メタフィールドを、抽出するよう構成されてよい。特定の実施形態では、少なくとも1つのリソースは、1つ以上の第1リソース及び1つ以上の第2リソースの各々を含んでよい。別の実施形態では、少なくとも1つのリソースは、1つ以上の第1リソース(又は単に第1ウェブサイト300Aから抽出された第1リソースセット)を含んでよい。
幾つかの実施形態では、プロセッサ204は、研究論文の題名に基づきデータベース106を検索して、研究論文に関連付けられたメタフィールドセットを決定するよう構成されてよい。例では、プロセッサ204は、研究論文の題名に基づきデータベース106の第1データベース(つまり、中央ドメイン固有のデータのためのデータベース)を検索して、研究論文に関連付けられたメタフィールドセットを決定してよい。第1データベースは、研究論文、及び第1ウェブサイト300Aから抽出されてよい第1リソースセットを含んでよい。第1ウェブサイト300Aは研究論文のより包括的なメタフィールドを含み得るので、プロセッサ204は、メタフィールドセットの中の全部の包括的なメタフィールドが、研究論文、1つ以上の第1リソース、及び/又は1つ以上の第2リソースから既に抽出さているかどうかをチェックしてよい。実施形態では、メタフィールドセットの中の全部のメタフィールドが、研究論文、1つ以上の第1リソース、及び/又は1つ以上の第2リソースについて抽出されていない場合、プロセッサ204は、ステップ502を実行して、1対所の第1メタフィールド及び1つ以上の第2メタフィールドを抽出してよい。
研究論文の1つ以上の第1メタフィールドの例は、限定ではないが、題名、著者、研究所、会議会場若しくは会誌、論文発表日、提出、又は会議、を含んでよい。実施形態では、プロセッサ204は、研究論文に関連付けられたコンテンツファイルのレイアウト分析に基づき、1つ以上の第1メタフィールドを決定してよい。例えば、プロセッサ204は、研究論文のPDFファイルからの1つ以上の第1メタフィールドの抽出のために、PDF抽出技術を用いてよい。別の例では、プロセッサ204は、研究論文のスキャンした文書からの1つ以上の第1メタフィールドの抽出のために、光学文字認識(Optical Character Recognition (OCR))技術を用いてよい。
実施形態では、1つ以上の第1メタフィールドの抽出と同様に、プロセッサ204は、研究論文に関連付けられた抽出されたリソース(例えば、ビデオ、ポスター、プレゼンテーションスライド、又はプログラムコード)から、1つ以上の第2メタフィールドを抽出してよい。プロセッサ204は、ビデオの題名、説明、著者、及び投稿日時の抽出により、ビデオの1つ以上の第2メタフィールドを抽出するよう構成されてよい。プロセッサ204は、プログラムコードの著者名、説明、Readmeテキスト、及びアップロードの日時の抽出により、プログラムコードの1つ以上の第2メタフィールドを抽出するよう構成されてよい。
ブロック504で、1つ以上の第1コンテンツフィールド及び1つ以上の第2コンテンツフィールドは、テキスト抽出に基づき抽出されてよい。実施形態では、プロセッサ204は、研究論文の1つ以上の第1コンテンツフィールド、並びに1つ以上の第1リソース及び1つ以上の第2リソースの各々の1つ以上の第2メタフィールドを、テキスト抽出に基づき抽出するよう構成されてよい。ここで、1つ以上の第1コンテンツフィールド及び1つ以上の第2コンテンツフィールドは、テキストコンテンツ(例えば、題名、著者名、又は全部の記述)を含み又はそれに対応してよい。例えば、プロセッサ204は、PDFテキスト抽出を使用して、1つ以上の第1コンテンツフィールドを研究論文のPDFファイルから抽出し、1つ以上の第2コンテンツフィールドを少なくとも1つのリソース(つまり、1つ以上の第1リソース及び/又は1つ以上の第2リソース、又は単に第1ウェブサイト300Aから抽出された第1リソースセット)のPDFファイルから抽出してよい。別の例では、プロセッサ204は、研究論文のスキャンされた文書から1つ以上の第1コンテンツフィールドを、及び少なくとも1つのリソースのスキャンされた文書から1つ以上の第2コンテンツフィールドを抽出するために、OCR技術を使用してよい。
ブロック506で、1つ以上の第1コンテンツフィールド及び1つ以上の第2コンテンツフィールドは、オブジェクト検出に基づき抽出されてよい。実施形態では、プロセッサ204は、研究論文の1つ以上の第1コンテンツフィールド、及び少なくとも1つのリソース(つまり、1つ以上の第1リソース及び/又は1つ以上の第2リソース、又は単に第1ウェブサイト300Aから抽出された第1リソースセット)の1つ以上の第2コンテンツフィールドを、オブジェクト検出に基づき抽出するよう構成されてよい。ここで、1つ以上の第1コンテンツフィールド及び1つ以上の第2コンテンツフィールドは、研究論文及び抽出されたリソースに含まれる図又は表コンテンツを(1つ以上のオブジェクトとして)含んでよい(又はそれに対応してよい)。
例えば、プロセッサ204は、研究論文またはリソースの中の(図又は表を含む)各ページを画像に変換してよい。例では、プロセッサ204は、スクリーンキャプチャ又は文書-画像変換技術を使用して、ページを対応する画像に変換してよい。プロセッサ204は、ニューラルネットワーク(例えば、深層学習)を用いて、変換された画像にオブジェクト検出を実行して、研究論文及び抽出されたリソースから図又は表コンテンツを検出し抽出してよい。ニューラルネットワークの例は、限定ではないが、深層ニューラルネットワーク(deep neural network:DNN)、畳み込みニューラルネットワーク(convolutional neural network (CNN))、リカレントニューラルネットワーク(recurrent neural network:RNN)、CNNリカレントニューラルネットワーク(CNN-recurrent neural network (CNN-RNN))、R-CNN、高速R-CNN、人工ニューラルネットワーク(artificial neural network (ANN))、YOLO(You Only Look Once)ネットワーク、LSTM(Long Short Term Memory (LSTM))ネットワークに基づくRNN、CNN+ANN、LSTM+ANN、制御されたリカレントユニット(gated recurrent unit (GRU))に基づくRNN、完全結合(fully connected)ニューラルネットワーク、CTC(Connectionist Temporal Classification (CTC))に基づくRNN、深層ベイジアンニューラルネットワーク、敵対的生成ネットワーク(Generative Adversarial Network:GAN)、及び/又はこのようなネットワークの組み合わせを含んでよい。幾つかの実施形態では、ニューラルネットワークに関連付けられた学習エンジンは、データフローグラフを用いる数値計算技術を含んでよい。特定の実施形態では、ニューラルネットワークは、複数の深層ニューラルネットワーク(Deep Neural Network (DNN))のハイブリッドアーキテクチャに基づいてよい。例では、プロセッサ204は、Detectronに基づくニューラルネットワークを用いて図を検出し抽出してよい。更に、プロセッサ204は、限定ではないが、TableBankのようなテーブルデータセットに対する転移学習(transfer learning)を使用して、研究論文及び抽出されたリソース(つまり、1つ以上の第1リソース及び1つ以上の第2リソース)から表を検出し抽出してよい。
ブロック508で、抽出された1つ以上の第1コンテンツフィールド及び1つ以上の第2コンテンツフィールドが格納されてよい。実施形態では、プロセッサ204は、研究論文の1つ以上の第1コンテンツフィールド、及び少なくとも1つのリソース(つまり、1つ以上の第1リソース及び/又は1つ以上の第2リソース、又は単に第1ウェブサイト300Aから抽出された第1リソースセット)の1つ以上の第2コンテンツフィールドを、データベース106に構造化フォーマットで格納するよう構成されてよい。例では、プロセッサ204は、研究論文の1つ以上の第1コンテンツフィールド、並びに1つ以上の第1リソースセットの1つ以上の第2コンテンツフィールドを、データベース106の第1データベースに格納してよい。更に、プロセッサ204は、第2リソースセットの1つ以上の第2コンテンツフィールドをデータベース106の第2データベースに、並びに第3リソースセットの1つ以上の第2コンテンツフィールドをデータベース106の第3データベースに格納してよい。(コンテンツフィールドの鍵-値ペア及び対応する値に対応し得る)構造化フォーマットの例は、限定ではないが、JSON(Java Script Object Notation)フォーマット、SML(eXtensible Markup Language)フォーマット、又はCSV(Comma Separated Values)フォーマットを含んでよい。制御は最後まで進んでよい。
フローチャート500は、502、504、506、及び508のような個別の動作として図示された。しかしながら、特定の実施形態では、開示の実施形態の本質を損なうことなく、特定の実装に依存して、このような個別の動作は、追加動作に更に分けられ、より少数の動作に結合され、又は削除されてよい。
図6は、本開示で説明される少なくとも1つの実施形態により構成される、1つ以上の第1リソース及び1つ以上の第2リソースからの同じリソースタイプに関連付けられた複数のリソースをマージする例示的な方法のフローチャートを示す。図6は、図1、図2、図3A、図3B、図3C、図4及び図5の要素と関連して説明される。図6を参照すると、フローチャート600が示される。フローチャート600に示される方法は、602で開始してよく、任意の適切なシステム、機器、又は装置により、例えば図1又は図2の例示的な電子装置102により、実行されてよい。別個のブロックにより示したが、フローチャート600のブロックのうちの1つ以上に関連するステップ及び動作は、特定の実装に依存して、追加ブロックに分けられ、少ないブロックに結合され、又は削除されてよい。
ブロック602で、同じリソースタイプに関連付けられた複数のリソースは、抽出された1対所の第1リソース及び1つ以上の第2リソースから決定されてよい。実施形態では、プロセッサ204は、1つ以上の第1リソース及び1つ以上の第2リソース(つまり、図4のステップ402及び408で抽出された)から、複数のリソース(つまり、同じリソースタイプに関連付けられたもの)を決定するよう構成されてよい。プロセッサ204は、図4のステップ404で説明されたリソースタイプセットの識別と同様に、1つ以上の第1リソース及び1つ以上の第2リソースの各々に関連付けられたリソースタイプを決定してよい。例えば、図3Aの第1ウェブサイト300A、及び図3Bの第2ウェブサイト300Bを参照すると、プロセッサ204は、題名「Poster-1」(例えば、304Cにより示されるリンクとして示される)を有する第1ポスター、及び題名「Poster-1」(例えば、316Aにより示される、第1刊行物の関連リソースフィールド内のリンクとして示される)を有する第2ポスターが、同じリソースタイプ、つまりポスターリソースタイプであり得ることを決定してよい。抽出された1つ以上の第1リソース及び1つ以上の第2リソースの中の全部のリソースは、決定された複数のリソースの中で同じリソースタイプを有すると考えられてよい。
ブロック604で、決定された複数のリソースは、決定された複数のリソースの中のコンテンツの類似性に基づきマージされてよい。実施形態では、プロセッサ204は、決定された複数のリソースの中のコンテンツの類似性に基づき、決定された複数のリソースをマージするよう構成されてよい。実施形態では、複数のリソースは、同じURLを有してよい。別の実施形態では、複数のリソースは、異なるURLを有してよい。幾つかの実施形態では、高い類似性のコンテンツを有するリソースは、同じ題名又はコンテンツを有してよいが、異なるウェブサイト又はURLから抽出されてよい。プロセッサ204は、ファイル比較に基づき、決定された複数のリソースの中のコンテンツの類似性をチェックしてよい。ファイル比較技術の例は、限定ではないが、ビット毎の比較、ファイル又は画像圧縮に基づく比較、MP5に基づく比較を含んでよい。リソースの2つ以上のファイルの間のコンテンツの類似性のチェックに基づき、プロセッサ204は、2つ以上のファイルをマージし、ファイルのうちの1つを、リソースに関連付けられたファイルとして選択してよい。例では、プロセッサ204は、リソースのファイルをマージするために、正確に一致する場合に2つ以上のファイルのいずれかを選択してよい。別のシナリオでは、プロセッサ204は、リソースのファイルをマージするために、より大きなサイズ又は最新の作成日又は変更日のファイルを選択してよい。プロセッサ204は、同じタイプの及び/又は同様のコンテンツの(1つ以上の第1ウェブサイト112及び1つ以上の第2ウェブサイト114から抽出された)リソースをマージして、(図4のステップ410及び412で説明した)同じリソースが冗長して又は繰り返し最終リソースセットに含まれることを回避してよい。
ブロック606で、第1リソースセットは、マージされた複数のリソースに基づき決定されてよい。実施形態では、プロセッサ204は、マージされた複数のリソースに基づき、第1リソースセットを決定するよう構成されてよい。例えば、図3A及び3Bを参照して、プロセッサ204は、第1ウェブサイト300Aの第1ポスター「Poster-1」及び第2ウェブサイト300Bの第2ポスター「Poster-1」を、第1ポスター「Poster-1」のような単一のポスターとしてマージしてよい。このような場合には、プロセッサ204は、「Poster-1」及び「Presentation Slides-1」が図3A及び3Bに示すように検索した研究論文の「Title-1」に対応するので、最終リソースセットを、第1ポスター「Poster-1」(図3Aで304により示される)及び「Presentation Slides-1」(例えば、316Aにより示されるように、第1刊行物の関連リソースフィールド内のリンクとして示される)として決定してよい。制御は最後まで進んでよい。
フローチャート600は、602、604、及び606のような個別の動作として図示された。しかしながら、特定の実施形態では、開示の実施形態の本質を損なうことなく、特定の実装に依存して、このような個別の動作は、追加動作に更に分けられ、より少数の動作に結合され、又は削除されてよい。
図7は、本開示で説明される少なくとも1つの実施形態に従い構成される、研究論文に関連付けられた最終リソースセットの決定のための例示的な方法のフローチャートを示す。図7は、図1、図2、図3A、図3B、図3C、図4、図5及び図6の要素と関連して説明される。図7を参照すると、フローチャート700が示される。フローチャート700に示される方法は、702で開始してよく、任意の適切なシステム、機器、又は装置により、例えば図1又は図2の例示的な電子装置102により、実行されてよい。別個のブロックにより示したが、フローチャート700のブロックのうちの1つ以上に関連するステップ及び動作は、特定の実装に依存して、追加ブロックに分けられ、少ないブロックに結合され、又は削除されてよい。
ブロック702で、候補リソースセット及び研究論文が格納されてよい。実施形態では、プロセッサ204は、データベース106、メモリ206、又は永久データ記憶装置208に、候補リソースセット及び研究論文の各々を格納するよう構成されてよい。候補リソースセット及び研究論文の各々は、1つ以上のコンテンツフィールド(例えば、図5で説明された1つ以上の第1コンテンツフィールド及び1つ以上の第2コンテンツフィールド)を含んでよい。ここで、候補リソースセットは、メディアコンテンツ、例えば、限定ではないが、研究論文に関連付けられた又は関連する(つまり、ユーザ116のような研究者にとって関心のある可能性がある)ビデオ、ポスター、プレゼンテーションスライド、又はプログラムコードを含んでよい。実施形態では、候補リソースセット及び研究論文は、図4で説明された1つ以上の第1ウェブサイト112又は1つ以上の第2ウェブサイト114のうちの少なくとも1つから抽出されてよい。
ブロック704で、研究論文は、1つ以上の第1コンテンツフィールドへとパース(parsed)されてよい。実施形態では、プロセッサ204は、研究論文の1つ以上の第1コンテンツフィールドへと研究論文をパースするよう構成されてよい。実施形態では、プロセッサ204は、例えば図4及び5で説明したように、ページの文書レイアウト分析、文書またはコンテンツファイル、テキスト抽出、文書から画像への変換、又はオブジェクト検出、のうちの少なくとも1つに基づき、研究論文を1つ以上の第1コンテンツフィールドへとパースしてよい。
ブロック706で、研究論文の中の1つ以上の第1コンテンツフィールドの各々は、第1ベクトルへと符号化されてよい。実施形態では、プロセッサ204は、研究論文の中のパースされた(又は抽出された)1つ以上の第1コンテンツフィールドの各々を、研究論文の1つ以上の第1コンテンツフィールドの各々に関連付けられた第1フィールドタイプに基づき、第1ベクトルに符号化するよう構成されてよい。第1フィールドタイプは、限定ではないが、テキストフィールドタイプ、カテゴリフィールドタイプ、日時フィールドタイプ、図フィールドタイプ、又は表フィールドタイプ、のうちの1つを含んでよい。実施形態では、プロセッサ204は、予めトレーニングされたコンテキスト埋め込み又はテキストフィールドタイプの予めトレーニングされた埋め込みのバッグ(bag)、カテゴリフィールドタイプのカテゴリ符号化、又は日時フィールドタイプの数値符号化、又は図フィールドタイプの若しくは表フィールドタイプの予めトレーニングされた符号化、のうちの少なくとも1つに基づき、1つ以上の第1コンテンツフィールドを符号化してよい。実施形態では、プロセッサ204は、コンテンツフィールドをベクトルに符号化して、コンテンツフィールドの長さを圧縮された長さに短縮してよい。その結果、同じ長さ及びタイプの2つの対応するコンテンツフィールドのベクトルが、対応するコンテンツフィールドを比較するために比較され得る。
例えば、プロセッサ204は、限定ではないがBERT(Bidirectional Encoder Representations from Transformer)のような短いテキストの予めトレーニングされたコンテキスト埋め込みに基づき、研究論文の題名及び要約の両方(つまり、テキストフィールドタイプの第1コンテンツフィールド)を、ベクトル(例えば、第1ベクトル)に符号化してよい。更に、プロセッサ204は、限定ではないがword2vec又はfasttextのような長いテキストの予めトレーニングされた埋め込みのバッグに基づき、研究論文の全文をベクトル(例えば第1ベクトル)に符号化してよい。例では、プロセッサ204は、カテゴリ符号化に基づき、研究論文の著者名(つまり、カテゴリフィールドタイプの第1コンテンツフィールド)をベクトル(例えば、第1ベクトル)に符号化してよい。その結果、各々の著者名及び/又は著者に関連付けられた各々の研究機関又は組織は、別個のカテゴリとして表現されてよい。更に、プロセッサ204は、数値符号化に基づき、研究論文の発行日(つまり、日時フィールドタイプの第1コンテンツフィールド)をベクトル(例えば、第1ベクトル)に符号化してよい。例えば、プロセッサ204は、所定の日時(例えば、1970年1月1日12:00AM)と発行日の12:00AM(又は実際の発行した時間)との間のミリ秒数の数値差を表してよい数値として、発行日を表現してよい。更に、プロセッサ204は、限定ではないがResNet(Residual Networks)の予めトレーニングされたモデルまたはGoogLeNetの予めトレーニングされたモデルのような予めトレーニングされた符号化に基づき、研究論文の中の図又は表(つまり、図フィールドタイプ又は表フィールドタイプの第1コンテンツフィールド)を、ベクトル(例えば、第1ベクトル)に符号化してよい。
ブロック708で、格納された候補リソースセットの各々は、1つ以上の第2コンテンツフィールドへとパースされてよい。実施形態では、プロセッサ204は、格納された候補リソースセットの各々を1つ以上の第2コンテンツフィールドへとパースするよう構成されてよい。幾つかの実施形態では、(ステップ704で説明した)研究論文のパースと同様に、プロセッサ204は、(候補リソースセットとして)ポスター及びプレゼンテーションスライドのパースを実行して、1つ以上の第2コンテンツフィールド(例えば、題名、著者名、全文、発行日、図又は表)を抽出してよい。特定の実施形態では、プロセッサ204は、題名、説明、著者、及びビデオ投稿の日時の抽出により、ビデオの1つ以上の第2コンテンツフィールドを抽出してよい。プロセッサ204は、ビデオから特徴的な画像フレームを抽出し、深層学習又は他のニューラルネットワークモデルに基づき、オブジェクト検出により、各画像フレームの中の図及び表を検出するよう更に構成されてよい。プロセッサ204は、著者名、説明、Readmeテキスト、及びプログラムコードアップロードの日時の抽出により、プログラムコードの1つ以上の第2コンテンツフィールドを抽出するよう構成されてよい。1つ以上の第2コンテンツフィールドのパースも、例えば図4及び5で説明された。
ブロック710で、パースされた候補リソースセットの各々の中の1つ以上の第2コンテンツフィールドの各々は、第2ベクトルへと符号化されてよい。実施形態では、プロセッサ204は、(パースされた候補リソースセットの各々の中の)抽出された1つ以上の第2コンテンツフィールドの各々を、1つ以上の第2コンテンツフィールドの各々に関連付けられた第2フィールドタイプに基づき、第2ベクトルに符号化するよう構成されてよい。第1フィールドタイプと同様に、第2フィールドタイプは、テキストフィールドタイプ、カテゴリフィールドタイプ、日時フィールドタイプ、図フィールドタイプ、又は表フィールドタイプ、のうちの少なくとも1つを含んでよい。実施形態では、1つ以上の第1コンテンツフィールドの符号化と同様に、プロセッサ204は、第2コンテンツフィールドの予めトレーニングされたコンテキスト埋め込み又はテキストフィールドタイプの予めトレーニングされた埋め込みのバッグ(bag)、第2コンテンツフィールドのカテゴリフィールドタイプのカテゴリ符号化、第2コンテンツフィールドの日時フィールドタイプの数値符号化、又は第2コンテンツフィールドの図フィールドタイプの若しくは表フィールドタイプの予めトレーニングされた符号化、のうちの少なくとも1つに基づき、1つ以上の第2コンテンツフィールドを符号化してよい。1つ以上の第2コンテンツフィールドの符号化は、ステップ706で説明したような、候補リソースセットの中の各コンテンツフィールドの対応するフィールドタイプに基づく1つ以上の第1コンテンツフィールドの符号化と同様であってよい。
ブロック712で、符号化された1つ以上の第1コンテンツフィールドは、第1ベクトルと第2ベクトルとの間の比較に基づき、符号化された1つ以上の第2コンテンツフィールドと比較されてよい。実施形態では、プロセッサ204は、研究論文の対応する第1コンテンツフィールドの第1ベクトルと候補リソースセットの対応する第2コンテンツフィールドの第2ベクトルとの間の比較に基づき、符号化された1つ以上の第1コンテンツフィールドを1つ以上の第2コンテンツフィールドと比較するよう構成されてよい。実施形態では、第1ベクトル(研究論文の第1コンテンツフィールドに関連する)は、テキストフィールドタイプ(例えば、題名、要約、及び全文)のコンテンツフィールドに関連付けられた第1テキスト特徴セット、及びカテゴリフィールドタイプ(例えば、著者)のコンテンツフィールドに関連付けられた第1カテゴリ特徴セットを含んでよい。第1ベクトルは、日時フィールドタイプ(例えば、発行日)のコンテンツフィールドに関連付けられた第1数値特徴セット、及び図フィールドタイプ(例えば、図)又は表フィールドタイプ(例えば、表)のコンテンツフィールドに関連付けられた第1シャムニューラルネットワーク特徴セットを更に含んでよい。同様に、第2ベクトル(候補リソースセットの第2コンテンツフィールドに関連する)は、テキストフィールドタイプのコンテンツフィールドに関連付けられた第2テキスト特徴セット、及びカテゴリフィールドタイプのコンテンツフィールドに関連付けられた第2カテゴリ特徴セットを含んでよい。第2ベクトルは、日時フィールドタイプのコンテンツフィールドに関連付けられた第2数値特徴セット、及び図又は表フィールドタイプのコンテンツフィールドに関連付けられた第2シャムニューラルネットワーク特徴セットを更に含んでよい。
プロセッサ204は、対応する特徴セットの比較に基づき、(符号化された1つ以上の第1コンテンツフィールドの各々の)第1ベクトルを、(符号化された1つ以上の第2コンテンツフィールドの各々の)第2ベクトルと比較するよう構成されてよい。例えば、プロセッサ204は、第1テキスト特徴セットを第2テキスト特徴セットと、及び第1カテゴリ特徴セットを第2カテゴリ特徴セットと、比較してよい。更に、プロセッサ204は、第1数値特徴セットを第2数値特徴セットと、及び第1シャムニューラルネットワーク特徴セットを第2シャムニューラルネットワーク特徴セットと、比較してよい。第1ベクトルの第2ベクトルとの比較は、例えば図8において更に説明される。
ブロック714で、最終リソースセットは、研究論文の符号化された1つ以上の第1コンテンツフィールドの各々の第1ベクトルと、候補リソースセットの符号化された1つ以上の第2コンテンツフィールドの各々の対応する第2ベクトルと、の間の比較に基づき、決定されてよい。実施形態では、プロセッサ204は、第1ベクトルと第2ベクトルとの間の比較に基づき、最終リソースセットを決定するよう構成されてよい。最終リソースセットの決定は、例えば図8で更に説明される。
ブロック716で、ディスプレイスクリーンは、決定された最終リソースセットと研究論文とを出力するよう制御されてよい。実施形態では、プロセッサ204は、決定した最終リソースセット及び研究論文を出力するよう、ディスプレイスクリーン(例えば、電子装置102のディスプレイスクリーン212)を制御するよう構成されてよい。幾つかの実施形態では、プロセッサ204は、ディスプレイスクリーン212に最終リソースセット及び研究論文を一緒に表示し得る統合UIを(例えば、マルチモーダル出力として)出力してよい。最終リソースセット及び研究論文を表示し得る例示的な統合UIは、例えば図9において更に説明される。制御は最後まで進んでよい。
フローチャート700は、702、704、706、708、710、712、714、及び716のような個別の動作として図示された。しかしながら、特定の実施形態では、開示の実施形態の本質を損なうことなく、特定の実装に依存して、このような個別の動作は、追加動作に更に分けられ、より少数の動作に結合され、又は削除されてよい。
図8は、本開示で説明される少なくとも1つの実施形態に従い構成される、研究論文に関連付けられた最終リソースセットの決定のための例示的な方法のフローチャートを示す。図8は、図1、図2、図3A、図3B、図3C、図4、図5、図6及び図7の要素と関連して説明される。図8を参照すると、フローチャート800が示される。フローチャート800に示される方法は、802で開始してよく、任意の適切なシステム、機器、又は装置により、例えば図1又は図2の例示的な電子装置102により、実行されてよい。別個のブロックにより示したが、フローチャート800のブロックのうちの1つ以上に関連するステップ及び動作は、特定の実装に依存して、追加ブロックに分けられ、少ないブロックに結合され、又は削除されてよい。
ブロック802で、第1ベクトルに関連付けられた第1テキスト特徴セットと第2ベクトルに関連付けられた第2テキスト特徴セットとの間のコサイン距離が計算されてよい。実施形態では、プロセッサ204は、例えば図7のステップ712で説明した比較のために、第1ベクトルに関連付けられた第1テキスト特徴セットと第2ベクトルに関連付けられた第2テキスト特徴セットとの間のコサイン距離を計算するよう構成されてよい。コサイン距離は、次式(1)により表現されてよい。
例えば、第1ベクトルに関連付けられた第1テキスト特徴セット(例えば、特徴セットベクトル「A」)と第2ベクトルに関連付けられた第2テキスト特徴セット(例えば、特徴セットベクトル「B」)との間コサイン距離の値は、「0」と「1」との間にあってよい。実施形態では、コサイン距離の値が「1」に近いほど、又は特徴セットベクトル「A」と特徴セットベクトル「B」との間のコサイン差角が小さいほど(つまり、0°に近い角度差)、第1テキスト特徴セットと第2テキスト特徴セットとの間の類似性が大きいことを示してよい。例では、プロセッサ204は、ステップ802で説明したコサイン距離の計算に基づき、研究論文の題名と候補リソースセットの各々の題名との間の類似性を決定してよい。
ブロック804で、第1ベクトルに関連付けられた第1カテゴリ特徴セットと第2ベクトルに関連付けられた第2カテゴリ特徴セットとの間の重なり合いが計算されてよい。実施形態では、プロセッサ204は、例えば図7のステップ712で説明した比較のために、第1ベクトルに関連付けられた第1カテゴリ特徴セットと第2ベクトルに関連付けられた第2カテゴリ特徴セットとの間の重なり合いを計算するよう構成されてよい。例えば、著(カテゴリフィールドタイプを有する)者のコンテンツフィールドについて、プロセッサ204は、研究論文の各々の個々の著者名を、候補リソースセットの著者名と比較して、共通の著者の人数を決定してよい。プロセッサ204は、研究論文に共通する少なくとも1人の著者と候補リソースセットとの一致に基づき、重なり合いを計算してよい。2人の著者が研究論文と候補リソースセットとの間で共通である場合、プロセッサ204は、重なり合いを2として計算してよい、等である。
ブロック806で、第1ベクトルに関連付けられた第1数値特徴セットと第2ベクトルに関連付けられた第2数値特徴セットとの間の正規化日時差が計算されてよい。実施形態では、プロセッサ204は、例えば図7のステップ712で説明した比較のために、第1ベクトルに関連付けられた第1数値特徴セットと第2ベクトルに関連付けられた第2数値特徴セットとの間の正規化日時差を計算するよう構成されてよい。実施形態では、プロセッサ204は、第1数値特徴セットおよび第2テキスト特徴セットの各々に関連付けられた日時の数値を正規化するよう構成されてよい。例えば、第1数値特徴セット及び第2数値特徴セットは、それぞれ、第1日時(つまり、研究論文の中の第1コンテンツフィールド)及び第2日時(つまり、候補リソースセットの第2コンテンツフィールド)の数値表現であってよい。第1日時及び第2日時の数値表現は、所定の日時(例えば、1970年1月1日12:00AM)と対応する日時との間のミリ秒数の数値差であってよい。プロセッサ204は、第1日時及び第2日時の各々の数値表現の所定の数値による除算に基づき、第1日時及び第2日時の数値表現を正規化してよい。プロセッサ204は、正規化された第1日時と第2日時との間の差分を実行して、第1ベクトルに関連付けられた第1数値特徴セットと第2ベクトルに関連付けられた第2数値特徴セットとの間の正規化日時差を計算してよい。
ブロック808で、第1ベクトルに関連付けられた第1シャムニューラルネットワーク特徴セットと第2ベクトルに関連付けられた第2シャムニューラルネットワーク特徴セットとの間の図又は表の類似性スコアが計算されてよい。実施形態では、プロセッサ204は、例えば図7のステップ712で説明した比較のために、第1ベクトルに関連付けられた第1シャムニューラルネットワーク特徴セットと第2ベクトルに関連付けられた第2シャムニューラルネットワーク特徴セットとの間の図又は表の類似性スコアを計算するよう構成されてよい。実施形態では、プロセッサ204は、第1シャムニューラルネットワーク特徴セット及び第2シャムニューラルネットワーク特徴セットに対する複数のニューラルネットワークモデル(例えば、深層学習)の適用に基づき、パターンマッチングを実行してよい。パターンマッチングに基づき、プロセッサ204は、研究論文の中の図又は表と候補リソースセットの中の対応するリソースとの間の類似性の指標として、類似性スコア(例えば、0と1の間の実数)を決定してよい。
ブロック810で、第1ベクトルに関連付けられた第1の複数の特徴、及び第2ベクトルに関連付けられた第2の複数の特徴は、連結特徴セットを生成するために、連結されてよい。実施形態では、プロセッサ204は、第1ベクトルに関連付けられた第1の複数の特徴、及び第2ベクトルに関連付けられた第2の複数の特徴を連結して、連結特徴セットを生成するよう構成されてよい。ここで、第1の複数の特徴及び第2の複数の特徴の各々は、テキスト特徴セット、カテゴリ特徴セット、数値特徴セット、又はシャムニューラルネットワーク特徴セットのうちの少なくとも1つを含んでよい。例えば、連結特徴セットは、第1テキスト特徴セット、第2テキスト特徴セット、第1カテゴリ特徴セット、第2カテゴリ特徴セット、第1数値特徴セット、第2数値特徴セット、第1シャムニューラルネットワーク特徴セット、第2シャムニューラルネットワーク特徴セットを含んでよい。実施形態では、連結特徴セットは、(ステップ802で)計算されたコサイン距離の値、(ステップ804で)計算された重なり合い、(ステップ806で)計算された正規化日時差、及び(ステップ808で)計算された類似性スコアも含んでよい。
ブロック812で、連結特徴セットが機械学習のために十分かどうかが決定されてよい。実施形態では、プロセッサ204は、連結特徴セットが機械学習モデルをトレーニングするのに十分かどうかを決定するよう構成されてよい。例では、プロセッサ204は、連結特徴セットが生成されるデータベース106の中の研究論文の数を決定してよい。決定された研究論文の数が所定の閾値より大きい場合、プロセッサ204は、連結特徴セットが機械学習のために十分であり得ると決定してよい。このような場合には、制御はステップ814へ進んでよい。その他の場合には、制御はステップ816へ進んでよい。
ブロック814で、複数の研究論文に関連付けられた複数のリソースを含むトレーニングデータに基づき、機械学習モデルが生成されてよい。実施形態では、プロセッサ204は、複数の研究論文に関連付けられた複数のリソースを含むトレーニングデータに基づき、機械学習モデルを生成するよう構成されてよい。複数の研究論文は研究論文を含んでよく、複数のリソースは最終リソースセットを含んでよい。例えば、トレーニングデータは、研究論文のデータセットの中の対応する研究論文との所定の関連を有するリソースのデータセットを含んでよい。プロセッサ204は、1対所の第1ウェブサイト112又は1つ以上の第2ウェブサイト114のうちの少なくとも1つから、トレーニングデータを抽出するよう構成されてよい。
機械学習モデルの例は、(研究論文及びリソースを含む)入力と(研究論文とリソースとの間の一致または不一致のような)出力ラベルとの間の関係を識別するためのトレーニングに基づき生成されてよい回帰モデル又は分類器であってよい。機械学習モデルは、そのハイパーパラメータ、例えば、重みの数値、コスト関数、入力サイズ、層の数、等により定義されてよい。機械学習モデルのコスト関数のグローバル最小値に向かって行くように、機械学習モデルのハイパーパラメータは調整されてよく、重みは更新されてよい。トレーニングデータの中の特徴情報に関するトレーニングの幾つかのエポック(epoch)の後に、機械学習モデルは、入力セット(例えば、研究論文及びリソース)について、予測/分類結果(例えば、一致又は不一致出力)を出力するようトレーニングされてよい。機械学習モデルの予測結果は、入力セットの各入力(例えば、研究論文及びリソースの新しい/未知のインスタンスから抽出される入力特徴)について、クラスラベル(例えば、一致又は不一致出力)を示してよい。
816で、連結特徴セットに基づき、ルールに基づくモデルが生成されてよい。実施形態では、プロセッサ204は、連結特徴セットに基づき、ルールに基づくモデルを生成するよう構成されてよい。例では、プロセッサ204は、テキスト特徴の計算されたコサイン距離が「0.5」より大きい、カテゴリ特徴の計算された重なり合いが「2.0」より大きい、計算された正規化日時差が「0.1」より小さい、及び計算された類似性スコアが「0.3」より大きいとき、リソースが研究論文に一致することを示してよいルールに基づくモデルを生成してよい。
818で、予めトレーニングされたモデル(例えば、機械学習モデル)又はルールに基づくモデルのうちの少なくともは、第1候補リソースが研究論文に一致するかどうかを決定するために、候補リソースセットからの1候補リソースに適用されてよい。プロセッサ204は、予めトレーニングされたモデル(例えば、機械学習モデル)又はルールに基づくモデルのうちの少なくとも1つを、候補リソースセットからの第1候補リソースに適用するよう構成されてよい。予めトレーニングされたモデル又はルールに基づくモデルのうちの1つの、第1候補リソースへの適用に基づき、プロセッサ204は、第1候補リソースが研究論文に一致するか否かを決定してよい。
ブロック820で、第1候補リソースが研究論文に一致するという決定に基づき、第1候補リソースを含む最終リソースセットが、決定されてよい。実施形態では、プロセッサ204は、第1候補リソースが研究論文に一致するという決定に基づき、最終リソースセットが第1候補リソースを含み得ることを決定してよい。第1候補リソースが研究論文に一致する場合、プロセッサ204は、第1候補リソースを最終リソースセットに追加してよい。プロセッサ204は、それにより、研究論文に一致し得る最終リソースセットを決定してよい。従って、開示の電子装置102のプロセッサ204は、ユーザ116(例えば、研究者)にとって関心のある研究論文について、マルチモーダルオンラインリソース(つまり、異なるリソースタイプのプレゼンテーションスライド、ビデオ、ポスター、又はプログラムコード)を自動的に抽出し照合してよい。プロセッサ204は、このような抽出し一致したマルチモーダルオンラインリソースを集約し、例えば図9で更に説明されるように、統合UIの中で研究論文と共にオンラインリソースを表示してよい。
フローチャート800は、802、804、806、808、810、812、814、816、818、及び820のような個別の動作として図示された。しかしながら、特定の実施形態では、開示の実施形態の本質を損なうことなく、特定の実装に依存して、このような個別の動作は、追加動作に更に分けられ、より少数の動作に結合され、又は削除されてよい。
図9は、本開示で説明される少なくとも1つの実施形態に従い構成される、研究論文と共に最終リソースセットを表示し得る例示的なユーザインタフェース(UI)を示す。図9は、図1、図2、図3A、図3B、図3C、図4、図5、図6、図7及び図8の要素と関連して説明される。図9を参照すると、統合UI900が示される。統合UI900は、第1研究論文902、第1ポスター904、第1プログラムコード906、第1ビデオ908、及び第1プレゼンテーションスライド910を含んでよい。
例えば、図9に示すように、第1研究論文902は、題名(例えば「Title-1」)、著者名(例えば「FirstNameA LastNameA, FirstNameB LastNameB, FirstNameC LastNameC, and FirstNameD LastNameD」)、所属情報(例えば、「FirstNameA LastNameA and FirstNameB LastNameB」に関連付けられた「ABC University US」、及び「FirstNameC LastNameC and FirstNameD LastNameD」に関連付けられた「XYZ Inc. US」)、会議ボリューム情報(例えば、「Conference C-1, Vol. 1」)、及び発行日(例えば「April 2020」)を含んでよい。第1研究論文902は、要約(例えば「Abstract Text-1」)及び全文(例えば「Full Text-1」)を更に含んでよい。実施形態では、統合UI900は、第1研究論文902をダウンロードするための又は第1研究論文902を別のユーザインタフェースで開くためのハイパーリンクを提供してよい。
図9は、第1研究論文902に関連するインフォグラフィックを含み得る第1ポスター904(例えば、「Poster-1」)を更に示す。例では、図9に示すように、インフォグラフィックは、研究の目的(objective)を含む第1セクション、研究に関連する先行研究(prior work)を含む第2セクション、研究に関連するアルゴリズム(algorithm)の概要(例えば、処理-出力のグラフ)を含む第3セクション、及び研究の成果(results)を含む第4セクションを含んでよい。統合UI900は、第1ポスター904をダウンロードするためのリンクを提供してよい。
図9には、特定のプログラミング言語(例えば、C、C++、Java、C# .NET、Python、又はアセンブリ言語)で記述された、代表的アルゴリズムを示し得る第1プログラムコード906(例えば、「Code-1」)、又は第1研究論文902に関連するソースコードが更に示される。実施形態では、統合UI900は、第1プログラムコード906をリアルタイムにデバッグして及び/又は実行してユーザ116に出力を提供するための、統合された又は埋め込まれたデバッガ又は実行環境(例えば、Java Virtual Machine)を含んでよい。統合UI900は、第1プログラムコード906をリアルタイム編集し第1プログラムコード906を別の統合開発環境(Integrated Development Environment (IDE))にエクスポートするためのインタフェースを、ユーザ116に更に提供してよい。実施形態では、統合UI900は、第1プログラムコード906をホスティングし得るソースコードレポジトリへのリンクを含んでよい。別の実施形態では、統合UI900は、第1プログラムコード906に関連付けられたソースコードレポジトリのウェブページを埋め込んでよい。
図9には、第1研究論文902に関連付けられたマルチメディア(例えば、オーディオ/ビデオ)コンテンツを示してよい第1ビデオ908(例えば、「Video-1」)が更に示される。統合UI900は、ユーザ116からのユーザ入力に基づき第1ビデオ908を再生するためのビデオプレイヤを含んでよい。第1ビデオ908は、第1研究論文902のコンテンツを提示してよく、及び/又は研究論文に関する概念を説明する解説(クローズドキャプションの文字を含む)を含んでよい。統合UI900は、第1ビデオ908をダウンロードするためのリンクを提供してよい。
図9には、第1研究論文902に関連付けられたマルチメディアコンテンツ(例えば、グラフィック、アニメーション、ナレータの声、解説、及び/又はテキスト)を示し得る第1プレゼンテーションスライド910(例えば「Presentation Slides-1」)が更に示される。統合UI900は、ユーザ116に第1プレゼンテーションスライド910を提示するためのスライドプレイヤを含んでよい。統合UI900は、第1プレゼンテーションスライド910をダウンロードするためのリンクを提供してよい。
留意すべきことに、図9に示される統合UI900、第1研究論文902、第1ポスター904、第1プログラムコード906、第1ビデオ908、及び第1プレゼンテーションスライド910は、単なる例として提示されるのであり、本開示の範囲を限定すると考えられるべきではない。
標準的に、研究者は、関心分野の複数の研究論文の研究により、関心分野の従来技術を理解し得る。しかしながら、全てのこのような研究論文を分析するのは退屈な場合がある。従って、研究者は、各研究論文に関連付けられたオンラインリソースを検索して、研究論文又は関連分野の概要を得ることがある。研究者は、インターネットに渡り散乱している可能性のある複数のウェブサイト又は検索エンジンから研究論文に関連する各オンラインリソースを手動で検索し抽出する必要がある。更に、研究者は、各オンラインリソースから利用可能なコンテンツを研究論文と手動で比較して、オンラインリソースと研究論文との間の相関を確立し、更に抽出したオンラインリソースが対象の特定の研究論文に実際に対応するか否かを決定する必要がある。明らかに、研究論文に関連付けられたオンラインリソースを抽出する手動処理は、時間がかかり、膨大な数の研究論文には良好に調整されない場合がある。従って、オンラインリソースの手動抽出及び検証の従来のソリューションと比べて、開示の電子装置102は、研究論文に関連し得るメディアコンテンツ(ポスター、ビデオ、スライド、又はコード)を含むマルチモーダルオンラインリソースの自動抽出を提供でき、抽出したオンラインリソースが研究論文に対応する(又は一致する)ことの自動検証を更に提供できる。更に、開示の電子装置102は、マルチモーダルオンラインリソースに関連付けられた研究論文と一緒に、マルチモーダルオンラインリソース(例えば、ポスター、ビデオ、プレゼンテーションスライド、及びプログラムコード)の統合された又はユーザフレンドリな表示のために、統合UI900(例えば、図9の統合UI900)を提供してよい。このような統合UI900は、例えば図9に示され、(ターゲット研究論文に一致する)オンラインリソースを研究論文と一緒に研究し統合UI上に表示されたオンラインリソースを効率的に体系づけるために、ダッシュボードに基づくインタフェースを研究者(つまり、ユーザ116)に提供してよい。開示の電子装置102により提供される自動抽出、検証、及び統合UIは、ユーザ116(つまり、研究者又は任意の知識労働者)がこのようなリソースを検索し照合するための相当な時間を節約しながら、研究論文及び研究論文に関連付けられた関心分野のより良好な向上された理解を更に提供できる。
本開示の種々の実施形態は、実行されることに応答してシステム(例えば、例示的な電子装置102)に動作を実行させる命令を格納するよう構成される1つ以上の非一時的コンピュータ可読記憶媒体を提供してよい。動作は、1つ以上の第1ウェブサイトから、研究論文に関連付けられた題名に基づき、1つ以上の第1リソースを抽出するステップを含んでよい。動作は、抽出した1つ以上の第1リソースに関連付けられたリソースタイプセットを識別するステップを更に含んでよい。動作は、識別したリソースタイプセットに基づき、所定の複数のリソースタイプから、1つ以上の第1リソースタイプを決定するステップを更に含んでよい。リソースタイプセットは、決定した1つ以上の第1リソースタイプを除外してよい。動作は、研究論文に関連付けられた題名に基づき、1つ以上の第2ウェブサイトから、決定した1つ以上の第1リソースタイプに関連付けられた1つ以上の第2リソースを抽出するステップを更に含んでよい。1つ以上の第1リソース及び1つ以上の第2リソースの各々は、メディアコンテンツを含む。動作は、研究論文の1つ以上の第1コンテンツフィールドと抽出した1つ以上の第1リソース及び抽出した1つ以上の第2リソースの1つ以上の第2コンテンツフィールドとの間の比較に基づき、最終リソースセットを決定するステップを更に含んでよい。動作は、決定した最終リソースセットと研究論文とを出力するようディスプレイスクリーンを制御するステップを更に含んでよい。
本開示の種々の他の実施形態は、実行されることに応答してシステム(例えば、例示的な電子装置102)に動作を実行させる命令を格納するよう構成される1つ以上の非一時的コンピュータ可読記憶媒体を提供してよい。動作は、候補リソースセット及び研究論文を格納するステップであって、候補リソースセット及び研究論文の各々は1つ以上のコンテンツフィールドを含む、ステップを含んでよい。候補リソースセットは、メディアコンテンツを含んでよく、候補リソースセットは研究論文に関連付けられてよい。動作は、研究論文の中の1つ以上の第1コンテンツフィールドの各々を、1つ以上の第1コンテンツフィールドの各々に関連付けられた第1フィールドタイプに基づき、第1ベクトルに符号化するステップを更に含んでよい。動作は、格納した候補リソースセットの各々を1つ以上の第2コンテンツフィールドへとパースするステップを更に含んでよい。動作は、パースした候補リソースセットの各々の中の1つ以上の第2コンテンツフィールドの各々を、1つ以上の第2コンテンツフィールドの各々に関連付けられた第2フィールドタイプに基づき、第2ベクトルに符号化するステップを更に含んでよい。動作は、符号化された1つ以上の第1コンテンツフィールドの各々の第1ベクトルを、符号化された1つ以上の第2コンテンツフィールドの各々の第2ベクトルと比較するステップを更に含んでよい。動作は、比較に基づき、最終リソースセットを決定するステップを更に含んでよい。動作は、決定した最終リソースセットと研究論文とを出力するようディスプレイスクリーンを制御するステップを更に含んでよい。
本開示で使用されるとき、用語「モジュール」又は「コンポーネント」は、モジュール又はコンポーネントの動作を実行するよう構成される特定ハードウェア実装、及び/又は、コンピューティングシステムの汎用ハードウェア(例えば、コンピュータ可読媒体、処理装置、等)により格納され及び/又は実行され得るソフトウェアオブジェクト又はソフトウェアルーチンを表してよい。幾つかの実施形態では、本開示に記載されたものと異なるコンポーネント、モジュール、エンジン、及びサービスが、コンピューティングシステム上で実行するオブジェクト又はプロセス(例えば、別個のスレッド)として実装されてよい。本開示に記載されたシステム及び方法のうちの一部は、概して(汎用ハードウェアに格納される及び/又はそれにより実行される)ソフトウェアで実装されるとして記載されたが、専用ハードウェア実装又はソフトウェア及び専用ハードウェア実装の組み合わせも、可能であり想定される。この記載において、「コンピューティングエンティティ」は、本開示において前述した任意のコンピューティングシステム、又はコンピューティングシステム上で実行する任意のモジュール若しくはモジュールの組み合わせであってよい。
本開示で及び特に添付の特許請求の範囲(例えば、添付の請求項本体)で使用される用語は、通常、「広義」の用語として意図される(例えば、用語「含む」は「含むが、これに限定されない」と解釈されるべきであり、用語「有する」は「有するが、これに限定されない」と解釈されるべきである、等)。
さらに、特定数の導入された請求項の列挙が意図される場合、このような意図は、請求項中に明示的に示され、このような列挙のない場合、このような意図は存在しない。例えば、理解の支援として、以下の添付の請求項は、請求項の列挙を導入するために、導入フレーズ「少なくとも1つ」及び「1つ以上」の使用を含み得る。しかしながら、このようなフレーズの使用は、同じ請求項が導入フレーズ「1つ以上」又は「少なくとも1つ」及び不定冠詞「a」又は「an」を含むときでも(例えば、「a」及び/又は「an」は「少なくとも1つ」又は「1つ以上」を意味すると解釈されるべきである)、不定冠詞「a」又は「an」による請求項の列挙の導入が、このような導入された請求項の列挙を含む任意の特定の請求項を、1つのこのような列挙のみを含む実施形態に限定することを意味すると考えられるべきではない。つまり、同じことが、請求項の列挙を導入するために使用される定冠詞の使用にも当てはまる。
さらに、特定数の導入された請求項の列挙が明示的に記載される場合、当業者は、このような列挙が、少なくとも列挙された数を意味すると解釈されるべきであることを理解する(例えば、他の修飾のない「2つの列挙」の記載は、少なくとも2つの列挙、又は2以上の列挙を意味する)。さらに、「A、B、及びC等のうちの少なくとも1つ」又は「A、B、及びC等のうちの1つ以上」と同様の記載が使用される例では、通常、このような構成は、A単独で、B単独で、C単独で、A及びBを一緒に、A及びCを一緒に、B及びCを一緒に、又はA、B、及びCを一緒に、等を含むことを意図する。
さらに、2以上の選択的な用語を表す任意の離接的な語又はフレーズは、説明、請求項、又は図面にあるかにかかわらず、用語のうちの1つ、用語のうちのいずれか、又は両方の用語を含む可能性を想定すると理解されるべきである。例えば、フレーズ「A又はB」は、「A」又は「B」又は「A及びB」の可能性を含むと理解されるべきである。
本開示に記載された全ての例及び条件付き言語は、読者が本開示及び本開示が技術を更に発展させることに貢献する概念を理解するのを支援する教示目的を意図しており、そのような具体的に列挙された例及び条件に限定されないと解釈されるべきである。本開示の実施形態は詳細に記載されたが、本開示の精神及び範囲から逸脱することなく、これらに種々の変更、代替、及び選択が行われ得る。
以上の実施形態に加えて、更に以下の付記を開示する。
(付記1) 方法であって、
1つ以上の第1ウェブサイトから、研究論文に関連付けられた題名に基づき、1つ以上の第1リソースを抽出するステップと、
抽出した前記1つ以上の第1リソースに関連付けられたリソースタイプセットを識別するステップと、
識別した前記リソースタイプセットに基づき、所定の複数のリソースタイプから、1つ以上の第1リソースタイプを決定するステップであって、前記リソースタイプセットは、決定した前記1つ以上の第1リソースタイプを除く、ステップと、
1つ以上のウェブサイトから、前記研究論文に関連付けられた前記題名に基づき、決定した前記1つ以上の第1リソースタイプに関連付けられた1つ以上の第2リソースを抽出するステップであって、前記1つ以上の第1リソースタイプ及び前記1つ以上の第2リソースの各々はメディアコンテンツを含む、ステップと、
前記研究論文の1つ以上の第1コンテンツフィールドと抽出した前記1つ以上の第1リソース及び抽出した前記1つ以上の第2リソースの1つ以上の第2コンテンツフィールドとの間の比較に基づき、最終リソースセットを決定するステップと、
決定した前記最終リソースセット及び前記研究論文を出力するよう、ディスプレイスクリーンを制御するステップと、
を含む方法。
(付記2) 前記所定の複数のリソースタイプは、研究論文タイプ、ポスタータイプ、プレゼンテーションスライドタイプ、ビデオタイプ、又はプログラムコードタイプ、のうちの少なくとも1つを含む、付記1に記載の方法。
(付記3) 前記1つ以上の第1ウェブサイトは、会議又は研究論文誌に関連付けられた第1ウェブサイト、研究論文の著者又は発行者に関連付けられた第2ウェブサイト、又はリソースタイプに関連付けられた第3ウェブサイト、のうちの少なくとも1つを含む、付記1に記載の方法。
(付記4) 前記研究論文からの1つ以上の第1メタフィールド、並びに前記1つ以上の第1リソース及び前記1つ以上の第2リソースの各々からの1つ以上の第2メタフィールドを抽出するステップを更に含む付記1に記載の方法。
(付記5) テキスト抽出に基づき、前記1つ以上の第1コンテンツフィールド及び前記1つ以上の第2コンテンツフィールドを抽出するステップであって、前記1つ以上の第1コンテンツフィールド及び前記1つ以上の第2コンテンツフィールドの各々はテキストコンテンツを含む、ステップを更に含む付記1に記載の方法。
(付記6) オブジェクト検出に基づき、前記1つ以上の第1コンテンツフィールド及び前記1つ以上の第2コンテンツフィールドを抽出するステップであって、前記1つ以上の第1コンテンツフィールド及び前記1つ以上の第2コンテンツフィールドの各々はオブジェクトとしての図コンテンツ又は表コンテンツのうちの少なくとも1つに対応する、ステップを更に含む付記1に記載の方法。
(付記7) 抽出した前記1つ以上の第1リソース及び抽出した前記1つ以上の第2リソースから、同じリソースタイプに関連付けられた複数のリソースを決定するステップと、
決定した前記複数のリソースの中のコンテンツの類似度に基づき、決定した前記複数のリソースをマージするステップと、
マージした前記複数のリソースに基づき、前記最終リソースセットを決定するステップと、
を更に含む付記1に記載の方法。
(付記8) 方法であって、
それぞれ1つ以上のコンテンツフィールドを含む候補リソースセット及び研究論文を格納するステップであって、前記候補リソースセットは、メディアコンテンツを含み、前記研究論文に関連付けられる、ステップと、
前記1つ以上の第1コンテンツフィールドの各々に関連付けられた第1フィールドタイプに基づき、前記研究論文の中の1つ以上の第1コンテンツフィールドの各々を、第1ベクトルに符号化するステップと、
格納した前記候補リソースセットの各々を、1つ以上の第2コンテンツフィールドへとパースするステップと、
パースした前記候補リソースセットの各々の中の前記1つ以上の第2コンテンツフィールドの各々を、前記1つ以上の第2コンテンツフィールドの各々に関連付けられた第2フィールドタイプに基づき、第2ベクトルに符号化するステップと、
符号化した前記1つ以上の第1コンテンツフィールドの各々の前記第1ベクトルを、符号化した前記1つ以上の第2コンテンツフィールドの各々の前記第2ベクトルと比較するステップと、
前記比較に基づき、最終リソースセットを決定するステップと、
決定した最終リソースセット及び前記研究論文を出力するよう、ディスプレイスクリーンを制御するステップと、
を含む方法。
(付記9) 文書レイアウト分析、テキスト抽出、文書から画像への変換、又はオブジェクト検出、のうちの少なくとも1つに基づき、前記研究論文を前記1つ以上の第1コンテンツフィールドへとパースするステップを更に含む付記8に記載の方法。
(付記10) 前記第1フィールドタイプ及び前記第2フィールドタイプの各々は、テキストフィールドタイプ、カテゴリフィールドタイプ、日時フィールドタイプ、図フィールドタイプ、又は表フィールドタイプ、のうちの1つを含む、付記8に記載の方法。
(付記11) 前記1つ以上の第1コンテンツフィールド及び前記1つ以上の第2コンテンツフィールドの各々は、前記テキストフィールドタイプの予めトレーニングされたコンテキスト埋め込み又は予めトレーニングされた埋め込みのバッグ(bag)、前記カテゴリフィールドタイプのカテゴリ符号化、前記日時フィールドタイプの数値符号化、又は前記図フィールドタイプの又は前記表フィールドタイプの予めトレーニングされた符号化、のうちの少なくとも1つに基づき符号化される、付記10に記載の方法。
(付記12) 前記第1フィールドタイプ及び前記第2フィールドタイプの各々がテキストフィールドタイプであるとき、前記比較は、前記第1ベクトルに関連付けられた第1テキスト特徴セットと前記第2ベクトルに関連付けられた第2テキスト特徴セットとの間のコサイン距離を計算するステップを更に含む、付記8に記載の方法。
(付記13) 前記第1フィールドタイプ及び前記第2フィールドタイプの各々がカテゴリフィールドタイプであるとき、前記比較は、前記第1ベクトルに関連付けられた第1カテゴリ特徴セットと前記第2ベクトルに関連付けられた第2カテゴリ特徴セットとの間の重なり合いを計算するステップを更に含む、付記8に記載の方法。
(付記14) 前記第1フィールドタイプ及び前記第2フィールドタイプの各々が日時フィールドタイプであるとき、前記比較は、前記第1ベクトルに関連付けられた第1数値特徴セットと前記第2ベクトルに関連付けられた第2数値特徴セットとの間の正規化日時差を計算するステップを更に含む、付記8に記載の方法。
(付記15) 前記第1フィールドタイプ及び前記第2フィールドタイプの各々が図フィールドタイプ又は表フィールドタイプであるとき、前記比較は、前記第1ベクトルに関連付けられた第1シャムニューラルネットワーク特徴セットと前記第2ベクトルに関連付けられた第2シャムニューラルネットワーク特徴セットとの間の図又は表の類似性スコアを計算するステップを更に含む、付記8に記載の方法。
(付記16) 前記第1ベクトルに関連付けられた第1の複数の特徴と、前記第2ベクトルに関連付けられた第2の複数の特徴とを連結して、連結特徴セットを生成するステップ、を更に含み、
前記第1の複数の特徴及び前記第2の複数の特徴の各々は、テキスト特徴セット、カテゴリ特徴セット、数値特徴セット、又はシャムニューラルネットワーク特徴セット、のうちの少なくとも1つを含む、付記8に記載の方法。
(付記17) 複数の研究論文に関連付けられた複数のリソースを含むトレーニングデータに基づき、機械学習モデルを生成するステップであって、前記複数の研究論文は前記研究論文を含み、前記複数のリソースは前記最終リソースセットを含む、ステップを更に含む付記16に記載の方法。
(付記18) 前記連結特徴セットに基づき、ルールに基づくモデルを生成するステップと、
生成した前記ルールに基づくモデルに基づき、前記最終リソースセットを決定するステップと、
を更に含む付記16に記載の方法。
(付記19) 機械学習モデル又はルールに基づくモデルのうちの少なくとも1つを、前記候補リソースセットからの第1候補リソースに適用して、前記第1候補リソースが前記研究論文と一致するかどうかを決定するステップと、
前記第1候補リソースが前記研究論文と一致するという決定に基づき、前記第1候補リソースを含む前記最終リソースセットを決定するステップと、
を更に含む付記16に記載の方法。
(付記20) 命令を格納するよう構成される1つ以上の非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されることに応答してシステムに動作を実行させ、前記動作は、
1つ以上の第1ウェブサイトから、研究論文に関連付けられた題名に基づき、1つ以上の第1リソースを抽出するステップと、
抽出した前記1つ以上の第1リソースに関連付けられたリソースタイプセットを識別するステップと、
識別した前記リソースタイプセットに基づき、所定の複数のリソースタイプから、1つ以上の第1リソースタイプを決定するステップであって、前記リソースタイプセットは、決定した前記1つ以上の第1リソースタイプを除く、ステップと、
1つ以上のウェブサイトから、前記研究論文に関連付けられた前記題名に基づき、決定した前記1つ以上の第1リソースタイプに関連付けられた1つ以上の第2リソースを抽出するステップであって、前記1つ以上の第1リソースタイプ及び前記1つ以上の第2リソースの各々はメディアコンテンツを含む、ステップと、
前記研究論文の1つ以上の第1コンテンツフィールドと抽出した前記1つ以上の第1リソース及び抽出した前記1つ以上の第2リソースの1つ以上の第2コンテンツフィールドとの間の比較に基づき、最終リソースセットを決定するステップと、
決定した前記最終リソースセット及び前記研究論文を出力するよう、ディスプレイスクリーンを制御するステップと、
を含む、コンピュータ可読記憶媒体。
(付記21) 命令を格納するよう構成される1つ以上の非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されることに応答してシステムに動作を実行させ、前記動作は、
それぞれ1つ以上のコンテンツフィールドを含む候補リソースセット及び研究論文を格納するステップであって、前記候補リソースセットは、メディアコンテンツを含み、前記研究論文に関連付けられる、ステップと、
前記1つ以上の第1コンテンツフィールドの各々に関連付けられた第1フィールドタイプに基づき、前記研究論文の中の1つ以上の第1コンテンツフィールドの各々を、第1ベクトルに符号化するステップと、
格納した前記候補リソースセットの各々を、1つ以上の第2コンテンツフィールドへとパースするステップと、
パースした前記候補リソースセットの各々の中の前記1つ以上の第2コンテンツフィールドの各々を、前記1つ以上の第2コンテンツフィールドの各々に関連付けられた第2フィールドタイプに基づき、第2ベクトルに符号化するステップと、
符号化した前記1つ以上の第1コンテンツフィールドの各々の前記第1ベクトルを、符号化した前記1つ以上の第2コンテンツフィールドの各々の前記第2ベクトルと比較するステップと、
前記比較に基づき、最終リソースセットを決定するステップと、
決定した最終リソースセット及び前記研究論文を出力するよう、ディスプレイスクリーンを制御するステップと、
を含む、コンピュータ可読記憶媒体。
(付記1) 方法であって、
1つ以上の第1ウェブサイトから、研究論文に関連付けられた題名に基づき、1つ以上の第1リソースを抽出するステップと、
抽出した前記1つ以上の第1リソースに関連付けられたリソースタイプセットを識別するステップと、
識別した前記リソースタイプセットに基づき、所定の複数のリソースタイプから、1つ以上の第1リソースタイプを決定するステップであって、前記リソースタイプセットは、決定した前記1つ以上の第1リソースタイプを除く、ステップと、
1つ以上のウェブサイトから、前記研究論文に関連付けられた前記題名に基づき、決定した前記1つ以上の第1リソースタイプに関連付けられた1つ以上の第2リソースを抽出するステップであって、前記1つ以上の第1リソースタイプ及び前記1つ以上の第2リソースの各々はメディアコンテンツを含む、ステップと、
前記研究論文の1つ以上の第1コンテンツフィールドと抽出した前記1つ以上の第1リソース及び抽出した前記1つ以上の第2リソースの1つ以上の第2コンテンツフィールドとの間の比較に基づき、最終リソースセットを決定するステップと、
決定した前記最終リソースセット及び前記研究論文を出力するよう、ディスプレイスクリーンを制御するステップと、
を含む方法。
(付記2) 前記所定の複数のリソースタイプは、研究論文タイプ、ポスタータイプ、プレゼンテーションスライドタイプ、ビデオタイプ、又はプログラムコードタイプ、のうちの少なくとも1つを含む、付記1に記載の方法。
(付記3) 前記1つ以上の第1ウェブサイトは、会議又は研究論文誌に関連付けられた第1ウェブサイト、研究論文の著者又は発行者に関連付けられた第2ウェブサイト、又はリソースタイプに関連付けられた第3ウェブサイト、のうちの少なくとも1つを含む、付記1に記載の方法。
(付記4) 前記研究論文からの1つ以上の第1メタフィールド、並びに前記1つ以上の第1リソース及び前記1つ以上の第2リソースの各々からの1つ以上の第2メタフィールドを抽出するステップを更に含む付記1に記載の方法。
(付記5) テキスト抽出に基づき、前記1つ以上の第1コンテンツフィールド及び前記1つ以上の第2コンテンツフィールドを抽出するステップであって、前記1つ以上の第1コンテンツフィールド及び前記1つ以上の第2コンテンツフィールドの各々はテキストコンテンツを含む、ステップを更に含む付記1に記載の方法。
(付記6) オブジェクト検出に基づき、前記1つ以上の第1コンテンツフィールド及び前記1つ以上の第2コンテンツフィールドを抽出するステップであって、前記1つ以上の第1コンテンツフィールド及び前記1つ以上の第2コンテンツフィールドの各々はオブジェクトとしての図コンテンツ又は表コンテンツのうちの少なくとも1つに対応する、ステップを更に含む付記1に記載の方法。
(付記7) 抽出した前記1つ以上の第1リソース及び抽出した前記1つ以上の第2リソースから、同じリソースタイプに関連付けられた複数のリソースを決定するステップと、
決定した前記複数のリソースの中のコンテンツの類似度に基づき、決定した前記複数のリソースをマージするステップと、
マージした前記複数のリソースに基づき、前記最終リソースセットを決定するステップと、
を更に含む付記1に記載の方法。
(付記8) 方法であって、
それぞれ1つ以上のコンテンツフィールドを含む候補リソースセット及び研究論文を格納するステップであって、前記候補リソースセットは、メディアコンテンツを含み、前記研究論文に関連付けられる、ステップと、
前記1つ以上の第1コンテンツフィールドの各々に関連付けられた第1フィールドタイプに基づき、前記研究論文の中の1つ以上の第1コンテンツフィールドの各々を、第1ベクトルに符号化するステップと、
格納した前記候補リソースセットの各々を、1つ以上の第2コンテンツフィールドへとパースするステップと、
パースした前記候補リソースセットの各々の中の前記1つ以上の第2コンテンツフィールドの各々を、前記1つ以上の第2コンテンツフィールドの各々に関連付けられた第2フィールドタイプに基づき、第2ベクトルに符号化するステップと、
符号化した前記1つ以上の第1コンテンツフィールドの各々の前記第1ベクトルを、符号化した前記1つ以上の第2コンテンツフィールドの各々の前記第2ベクトルと比較するステップと、
前記比較に基づき、最終リソースセットを決定するステップと、
決定した最終リソースセット及び前記研究論文を出力するよう、ディスプレイスクリーンを制御するステップと、
を含む方法。
(付記9) 文書レイアウト分析、テキスト抽出、文書から画像への変換、又はオブジェクト検出、のうちの少なくとも1つに基づき、前記研究論文を前記1つ以上の第1コンテンツフィールドへとパースするステップを更に含む付記8に記載の方法。
(付記10) 前記第1フィールドタイプ及び前記第2フィールドタイプの各々は、テキストフィールドタイプ、カテゴリフィールドタイプ、日時フィールドタイプ、図フィールドタイプ、又は表フィールドタイプ、のうちの1つを含む、付記8に記載の方法。
(付記11) 前記1つ以上の第1コンテンツフィールド及び前記1つ以上の第2コンテンツフィールドの各々は、前記テキストフィールドタイプの予めトレーニングされたコンテキスト埋め込み又は予めトレーニングされた埋め込みのバッグ(bag)、前記カテゴリフィールドタイプのカテゴリ符号化、前記日時フィールドタイプの数値符号化、又は前記図フィールドタイプの又は前記表フィールドタイプの予めトレーニングされた符号化、のうちの少なくとも1つに基づき符号化される、付記10に記載の方法。
(付記12) 前記第1フィールドタイプ及び前記第2フィールドタイプの各々がテキストフィールドタイプであるとき、前記比較は、前記第1ベクトルに関連付けられた第1テキスト特徴セットと前記第2ベクトルに関連付けられた第2テキスト特徴セットとの間のコサイン距離を計算するステップを更に含む、付記8に記載の方法。
(付記13) 前記第1フィールドタイプ及び前記第2フィールドタイプの各々がカテゴリフィールドタイプであるとき、前記比較は、前記第1ベクトルに関連付けられた第1カテゴリ特徴セットと前記第2ベクトルに関連付けられた第2カテゴリ特徴セットとの間の重なり合いを計算するステップを更に含む、付記8に記載の方法。
(付記14) 前記第1フィールドタイプ及び前記第2フィールドタイプの各々が日時フィールドタイプであるとき、前記比較は、前記第1ベクトルに関連付けられた第1数値特徴セットと前記第2ベクトルに関連付けられた第2数値特徴セットとの間の正規化日時差を計算するステップを更に含む、付記8に記載の方法。
(付記15) 前記第1フィールドタイプ及び前記第2フィールドタイプの各々が図フィールドタイプ又は表フィールドタイプであるとき、前記比較は、前記第1ベクトルに関連付けられた第1シャムニューラルネットワーク特徴セットと前記第2ベクトルに関連付けられた第2シャムニューラルネットワーク特徴セットとの間の図又は表の類似性スコアを計算するステップを更に含む、付記8に記載の方法。
(付記16) 前記第1ベクトルに関連付けられた第1の複数の特徴と、前記第2ベクトルに関連付けられた第2の複数の特徴とを連結して、連結特徴セットを生成するステップ、を更に含み、
前記第1の複数の特徴及び前記第2の複数の特徴の各々は、テキスト特徴セット、カテゴリ特徴セット、数値特徴セット、又はシャムニューラルネットワーク特徴セット、のうちの少なくとも1つを含む、付記8に記載の方法。
(付記17) 複数の研究論文に関連付けられた複数のリソースを含むトレーニングデータに基づき、機械学習モデルを生成するステップであって、前記複数の研究論文は前記研究論文を含み、前記複数のリソースは前記最終リソースセットを含む、ステップを更に含む付記16に記載の方法。
(付記18) 前記連結特徴セットに基づき、ルールに基づくモデルを生成するステップと、
生成した前記ルールに基づくモデルに基づき、前記最終リソースセットを決定するステップと、
を更に含む付記16に記載の方法。
(付記19) 機械学習モデル又はルールに基づくモデルのうちの少なくとも1つを、前記候補リソースセットからの第1候補リソースに適用して、前記第1候補リソースが前記研究論文と一致するかどうかを決定するステップと、
前記第1候補リソースが前記研究論文と一致するという決定に基づき、前記第1候補リソースを含む前記最終リソースセットを決定するステップと、
を更に含む付記16に記載の方法。
(付記20) 命令を格納するよう構成される1つ以上の非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されることに応答してシステムに動作を実行させ、前記動作は、
1つ以上の第1ウェブサイトから、研究論文に関連付けられた題名に基づき、1つ以上の第1リソースを抽出するステップと、
抽出した前記1つ以上の第1リソースに関連付けられたリソースタイプセットを識別するステップと、
識別した前記リソースタイプセットに基づき、所定の複数のリソースタイプから、1つ以上の第1リソースタイプを決定するステップであって、前記リソースタイプセットは、決定した前記1つ以上の第1リソースタイプを除く、ステップと、
1つ以上のウェブサイトから、前記研究論文に関連付けられた前記題名に基づき、決定した前記1つ以上の第1リソースタイプに関連付けられた1つ以上の第2リソースを抽出するステップであって、前記1つ以上の第1リソースタイプ及び前記1つ以上の第2リソースの各々はメディアコンテンツを含む、ステップと、
前記研究論文の1つ以上の第1コンテンツフィールドと抽出した前記1つ以上の第1リソース及び抽出した前記1つ以上の第2リソースの1つ以上の第2コンテンツフィールドとの間の比較に基づき、最終リソースセットを決定するステップと、
決定した前記最終リソースセット及び前記研究論文を出力するよう、ディスプレイスクリーンを制御するステップと、
を含む、コンピュータ可読記憶媒体。
(付記21) 命令を格納するよう構成される1つ以上の非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されることに応答してシステムに動作を実行させ、前記動作は、
それぞれ1つ以上のコンテンツフィールドを含む候補リソースセット及び研究論文を格納するステップであって、前記候補リソースセットは、メディアコンテンツを含み、前記研究論文に関連付けられる、ステップと、
前記1つ以上の第1コンテンツフィールドの各々に関連付けられた第1フィールドタイプに基づき、前記研究論文の中の1つ以上の第1コンテンツフィールドの各々を、第1ベクトルに符号化するステップと、
格納した前記候補リソースセットの各々を、1つ以上の第2コンテンツフィールドへとパースするステップと、
パースした前記候補リソースセットの各々の中の前記1つ以上の第2コンテンツフィールドの各々を、前記1つ以上の第2コンテンツフィールドの各々に関連付けられた第2フィールドタイプに基づき、第2ベクトルに符号化するステップと、
符号化した前記1つ以上の第1コンテンツフィールドの各々の前記第1ベクトルを、符号化した前記1つ以上の第2コンテンツフィールドの各々の前記第2ベクトルと比較するステップと、
前記比較に基づき、最終リソースセットを決定するステップと、
決定した最終リソースセット及び前記研究論文を出力するよう、ディスプレイスクリーンを制御するステップと、
を含む、コンピュータ可読記憶媒体。
102 電子装置
104 サーバ
106 データベース
108 ユーザエンド装置
110 通信ネットワーク
104 サーバ
106 データベース
108 ユーザエンド装置
110 通信ネットワーク
Claims (21)
- 方法であって、
1つ以上の第1ウェブサイトから、研究論文に関連付けられた題名に基づき、1つ以上の第1リソースを抽出するステップと、
抽出した前記1つ以上の第1リソースに関連付けられたリソースタイプセットを識別するステップと、
識別した前記リソースタイプセットに基づき、所定の複数のリソースタイプから、1つ以上の第1リソースタイプを決定するステップであって、前記リソースタイプセットは、決定した前記1つ以上の第1リソースタイプを除く、ステップと、
1つ以上のウェブサイトから、前記研究論文に関連付けられた前記題名に基づき、決定した前記1つ以上の第1リソースタイプに関連付けられた1つ以上の第2リソースを抽出するステップであって、前記1つ以上の第1リソースタイプ及び前記1つ以上の第2リソースの各々はメディアコンテンツを含む、ステップと、
前記研究論文の1つ以上の第1コンテンツフィールドと抽出した前記1つ以上の第1リソース及び抽出した前記1つ以上の第2リソースの1つ以上の第2コンテンツフィールドとの間の比較に基づき、最終リソースセットを決定するステップと、
決定した前記最終リソースセット及び前記研究論文を出力するよう、ディスプレイスクリーンを制御するステップと、
を含む方法。 - 前記所定の複数のリソースタイプは、研究論文タイプ、ポスタータイプ、プレゼンテーションスライドタイプ、ビデオタイプ、又はプログラムコードタイプ、のうちの少なくとも1つを含む、請求項1に記載の方法。
- 前記1つ以上の第1ウェブサイトは、会議又は研究論文誌に関連付けられた第1ウェブサイト、研究論文の著者又は発行者に関連付けられた第2ウェブサイト、又はリソースタイプに関連付けられた第3ウェブサイト、のうちの少なくとも1つを含む、請求項1に記載の方法。
- 前記研究論文からの1つ以上の第1メタフィールド、並びに前記1つ以上の第1リソース及び前記1つ以上の第2リソースの各々からの1つ以上の第2メタフィールドを抽出するステップを更に含む請求項1に記載の方法。
- テキスト抽出に基づき、前記1つ以上の第1コンテンツフィールド及び前記1つ以上の第2コンテンツフィールドを抽出するステップであって、前記1つ以上の第1コンテンツフィールド及び前記1つ以上の第2コンテンツフィールドの各々はテキストコンテンツを含む、ステップを更に含む請求項1に記載の方法。
- オブジェクト検出に基づき、前記1つ以上の第1コンテンツフィールド及び前記1つ以上の第2コンテンツフィールドを抽出するステップであって、前記1つ以上の第1コンテンツフィールド及び前記1つ以上の第2コンテンツフィールドの各々はオブジェクトとしての図コンテンツ又は表コンテンツのうちの少なくとも1つに対応する、ステップを更に含む請求項1に記載の方法。
- 抽出した前記1つ以上の第1リソース及び抽出した前記1つ以上の第2リソースから、同じリソースタイプに関連付けられた複数のリソースを決定するステップと、
決定した前記複数のリソースの中のコンテンツの類似度に基づき、決定した前記複数のリソースをマージするステップと、
マージした前記複数のリソースに基づき、前記最終リソースセットを決定するステップと、
を更に含む請求項1に記載の方法。 - 方法であって、
それぞれ1つ以上のコンテンツフィールドを含む候補リソースセット及び研究論文を格納するステップであって、前記候補リソースセットは、メディアコンテンツを含み、前記研究論文に関連付けられる、ステップと、
前記1つ以上の第1コンテンツフィールドの各々に関連付けられた第1フィールドタイプに基づき、前記研究論文の中の1つ以上の第1コンテンツフィールドの各々を、第1ベクトルに符号化するステップと、
格納した前記候補リソースセットの各々を、1つ以上の第2コンテンツフィールドへとパースするステップと、
パースした前記候補リソースセットの各々の中の前記1つ以上の第2コンテンツフィールドの各々を、前記1つ以上の第2コンテンツフィールドの各々に関連付けられた第2フィールドタイプに基づき、第2ベクトルに符号化するステップと、
符号化した前記1つ以上の第1コンテンツフィールドの各々の前記第1ベクトルを、符号化した前記1つ以上の第2コンテンツフィールドの各々の前記第2ベクトルと比較するステップと、
前記比較に基づき、最終リソースセットを決定するステップと、
決定した最終リソースセット及び前記研究論文を出力するよう、ディスプレイスクリーンを制御するステップと、
を含む方法。 - 文書レイアウト分析、テキスト抽出、文書から画像への変換、又はオブジェクト検出、のうちの少なくとも1つに基づき、前記研究論文を前記1つ以上の第1コンテンツフィールドへとパースするステップを更に含む請求項8に記載の方法。
- 前記第1フィールドタイプ及び前記第2フィールドタイプの各々は、テキストフィールドタイプ、カテゴリフィールドタイプ、日時フィールドタイプ、図フィールドタイプ、又は表フィールドタイプ、のうちの1つを含む、請求項8に記載の方法。
- 前記1つ以上の第1コンテンツフィールド及び前記1つ以上の第2コンテンツフィールドの各々は、前記テキストフィールドタイプの予めトレーニングされたコンテキスト埋め込み又は予めトレーニングされた埋め込みのバッグ(bag)、前記カテゴリフィールドタイプのカテゴリ符号化、前記日時フィールドタイプの数値符号化、又は前記図フィールドタイプの又は前記表フィールドタイプの予めトレーニングされた符号化、のうちの少なくとも1つに基づき符号化される、請求項10に記載の方法。
- 前記第1フィールドタイプ及び前記第2フィールドタイプの各々がテキストフィールドタイプであるとき、前記比較は、前記第1ベクトルに関連付けられた第1テキスト特徴セットと前記第2ベクトルに関連付けられた第2テキスト特徴セットとの間のコサイン距離を計算するステップを更に含む、請求項8に記載の方法。
- 前記第1フィールドタイプ及び前記第2フィールドタイプの各々がカテゴリフィールドタイプであるとき、前記比較は、前記第1ベクトルに関連付けられた第1カテゴリ特徴セットと前記第2ベクトルに関連付けられた第2カテゴリ特徴セットとの間の重なり合いを計算するステップを更に含む、請求項8に記載の方法。
- 前記第1フィールドタイプ及び前記第2フィールドタイプの各々が日時フィールドタイプであるとき、前記比較は、前記第1ベクトルに関連付けられた第1数値特徴セットと前記第2ベクトルに関連付けられた第2数値特徴セットとの間の正規化日時差を計算するステップを更に含む、請求項8に記載の方法。
- 前記第1フィールドタイプ及び前記第2フィールドタイプの各々が図フィールドタイプ又は表フィールドタイプであるとき、前記比較は、前記第1ベクトルに関連付けられた第1シャムニューラルネットワーク特徴セットと前記第2ベクトルに関連付けられた第2シャムニューラルネットワーク特徴セットとの間の図又は表の類似性スコアを計算するステップを更に含む、請求項8に記載の方法。
- 前記第1ベクトルに関連付けられた第1の複数の特徴と、前記第2ベクトルに関連付けられた第2の複数の特徴とを連結して、連結特徴セットを生成するステップ、を更に含み、
前記第1の複数の特徴及び前記第2の複数の特徴の各々は、テキスト特徴セット、カテゴリ特徴セット、数値特徴セット、又はシャムニューラルネットワーク特徴セット、のうちの少なくとも1つを含む、請求項8に記載の方法。 - 複数の研究論文に関連付けられた複数のリソースを含むトレーニングデータに基づき、機械学習モデルを生成するステップであって、前記複数の研究論文は前記研究論文を含み、前記複数のリソースは前記最終リソースセットを含む、ステップを更に含む請求項16に記載の方法。
- 前記連結特徴セットに基づき、ルールに基づくモデルを生成するステップと、
生成した前記ルールに基づくモデルに基づき、前記最終リソースセットを決定するステップと、
を更に含む請求項16に記載の方法。 - 機械学習モデル又はルールに基づくモデルのうちの少なくとも1つを、前記候補リソースセットからの第1候補リソースに適用して、前記第1候補リソースが前記研究論文と一致するかどうかを決定するステップと、
前記第1候補リソースが前記研究論文と一致するという決定に基づき、前記第1候補リソースを含む前記最終リソースセットを決定するステップと、
を更に含む請求項16に記載の方法。 - 命令を格納するよう構成される1つ以上の非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されることに応答してシステムに動作を実行させ、前記動作は、
1つ以上の第1ウェブサイトから、研究論文に関連付けられた題名に基づき、1つ以上の第1リソースを抽出するステップと、
抽出した前記1つ以上の第1リソースに関連付けられたリソースタイプセットを識別するステップと、
識別した前記リソースタイプセットに基づき、所定の複数のリソースタイプから、1つ以上の第1リソースタイプを決定するステップであって、前記リソースタイプセットは、決定した前記1つ以上の第1リソースタイプを除く、ステップと、
1つ以上のウェブサイトから、前記研究論文に関連付けられた前記題名に基づき、決定した前記1つ以上の第1リソースタイプに関連付けられた1つ以上の第2リソースを抽出するステップであって、前記1つ以上の第1リソースタイプ及び前記1つ以上の第2リソースの各々はメディアコンテンツを含む、ステップと、
前記研究論文の1つ以上の第1コンテンツフィールドと抽出した前記1つ以上の第1リソース及び抽出した前記1つ以上の第2リソースの1つ以上の第2コンテンツフィールドとの間の比較に基づき、最終リソースセットを決定するステップと、
決定した前記最終リソースセット及び前記研究論文を出力するよう、ディスプレイスクリーンを制御するステップと、
を含む、コンピュータ可読記憶媒体。 - 命令を格納するよう構成される1つ以上の非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されることに応答してシステムに動作を実行させ、前記動作は、
それぞれ1つ以上のコンテンツフィールドを含む候補リソースセット及び研究論文を格納するステップであって、前記候補リソースセットは、メディアコンテンツを含み、前記研究論文に関連付けられる、ステップと、
前記1つ以上の第1コンテンツフィールドの各々に関連付けられた第1フィールドタイプに基づき、前記研究論文の中の1つ以上の第1コンテンツフィールドの各々を、第1ベクトルに符号化するステップと、
格納した前記候補リソースセットの各々を、1つ以上の第2コンテンツフィールドへとパースするステップと、
パースした前記候補リソースセットの各々の中の前記1つ以上の第2コンテンツフィールドの各々を、前記1つ以上の第2コンテンツフィールドの各々に関連付けられた第2フィールドタイプに基づき、第2ベクトルに符号化するステップと、
符号化した前記1つ以上の第1コンテンツフィールドの各々の前記第1ベクトルを、符号化した前記1つ以上の第2コンテンツフィールドの各々の前記第2ベクトルと比較するステップと、
前記比較に基づき、最終リソースセットを決定するステップと、
決定した最終リソースセット及び前記研究論文を出力するよう、ディスプレイスクリーンを制御するステップと、
を含む、コンピュータ可読記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/947,300 US11270107B2 (en) | 2020-07-28 | 2020-07-28 | Extraction of multi-modal online resources associated with research papers |
US16/947300 | 2020-07-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022025013A true JP2022025013A (ja) | 2022-02-09 |
Family
ID=80004463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021106728A Pending JP2022025013A (ja) | 2020-07-28 | 2021-06-28 | 研究論文に関連付けられたマルチモーダルオンラインリソースの抽出 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11270107B2 (ja) |
JP (1) | JP2022025013A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023210855A1 (ko) * | 2022-04-29 | 2023-11-02 | 한국핵융합에너지연구원 | 텍스트 추출을 이용한 시뮬레이션 방법 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024030655A1 (en) * | 2022-08-04 | 2024-02-08 | nference, inc. | Apparatus and methods for expanding clinical cohorts for improved efficacy of supervised learning |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7596531B2 (en) * | 2002-06-05 | 2009-09-29 | Sun Microsystems, Inc. | Method and apparatus for protecting against side channel attacks against personal identification numbers |
US9104287B2 (en) * | 2005-10-27 | 2015-08-11 | International Business Machines Corporation | System and method for data collection interface creation and data collection administration |
US10108620B2 (en) * | 2010-04-29 | 2018-10-23 | Google Llc | Associating still images and videos |
WO2013067602A1 (en) * | 2011-11-13 | 2013-05-16 | Prepit Pty Ltd | Document processing and notating method and system |
US9053194B2 (en) * | 2012-02-01 | 2015-06-09 | Sri International | Method and apparatus for correlating and viewing disparate data |
US9461876B2 (en) * | 2012-08-29 | 2016-10-04 | Loci | System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction |
CN104516927B (zh) * | 2013-09-30 | 2017-09-12 | 腾讯科技(深圳)有限公司 | 文档处理方法、装置和终端 |
US10394939B2 (en) * | 2015-03-31 | 2019-08-27 | Fujitsu Limited | Resolving outdated items within curated content |
US10747774B2 (en) * | 2016-06-19 | 2020-08-18 | Data.World, Inc. | Interactive interfaces to present data arrangement overviews and summarized dataset attributes for collaborative datasets |
US10949474B2 (en) * | 2017-02-23 | 2021-03-16 | Innoplexus Ag | Method and system for performing topic-based aggregation of web content |
US10380650B2 (en) * | 2017-07-26 | 2019-08-13 | Jehan Hamedi | Systems and methods for automating content design transformations based on user preference and activity data |
US20190057146A1 (en) * | 2017-08-17 | 2019-02-21 | Colossio, Inc. | Non-linguistic content analysis system |
GB2572544A (en) * | 2018-03-27 | 2019-10-09 | Innoplexus Ag | System and method of crawling a wide area computer network for retrieving contextual information |
US11381579B2 (en) * | 2019-03-15 | 2022-07-05 | Yahoo Ad Tech Llc | Identifying fraudulent requests for content |
US20210026897A1 (en) * | 2019-07-23 | 2021-01-28 | Microsoft Technology Licensing, Llc | Topical clustering and notifications for driving resource collaboration |
US11269896B2 (en) * | 2019-09-10 | 2022-03-08 | Fujitsu Limited | System and method for automatic difficulty level estimation |
-
2020
- 2020-07-28 US US16/947,300 patent/US11270107B2/en active Active
-
2021
- 2021-06-28 JP JP2021106728A patent/JP2022025013A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023210855A1 (ko) * | 2022-04-29 | 2023-11-02 | 한국핵융합에너지연구원 | 텍스트 추출을 이용한 시뮬레이션 방법 |
Also Published As
Publication number | Publication date |
---|---|
US11270107B2 (en) | 2022-03-08 |
US20220036064A1 (en) | 2022-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210397980A1 (en) | Information recommendation method and apparatus, electronic device, and readable storage medium | |
US20210157972A1 (en) | Modular systems and methods for selectively enabling cloud-based assistive technologies | |
US11182433B1 (en) | Neural network-based semantic information retrieval | |
US20210097089A1 (en) | Knowledge graph building method, electronic apparatus and non-transitory computer readable storage medium | |
US10146862B2 (en) | Context-based metadata generation and automatic annotation of electronic media in a computer network | |
US20170300862A1 (en) | Machine learning algorithm for classifying companies into industries | |
US20150356174A1 (en) | System and methods for capturing and analyzing documents to identify ideas in the documents | |
US11709880B2 (en) | Method of image searching based on artificial intelligence and apparatus for performing the same | |
CN111626048A (zh) | 文本纠错方法、装置、设备及存储介质 | |
US11651014B2 (en) | Source code retrieval | |
US20180074818A1 (en) | Source code mapping through context specific key word indexes and fingerprinting | |
WO2017152051A1 (en) | Candidate selection for job search ranking | |
US9507805B1 (en) | Drawing based search queries | |
US11481202B2 (en) | Transformation templates to automate aspects of computer programming | |
JP2022025013A (ja) | 研究論文に関連付けられたマルチモーダルオンラインリソースの抽出 | |
US11232156B1 (en) | Seed expansion in social network using graph neural network | |
Baquero et al. | Predicting the programming language: Extracting knowledge from stack overflow posts | |
US11182441B2 (en) | Hypotheses generation using searchable unstructured data corpus | |
Murthy | XML URL classification based on their semantic structure orientation for web mining applications | |
US9984104B2 (en) | Indexing content and source code of a software application | |
US20180349351A1 (en) | Systems And Apparatuses For Rich Phrase Extraction | |
US9652359B1 (en) | Annotation natural keys for source code analysis | |
CN110717029A (zh) | 一种信息处理方法和系统 | |
US20240071047A1 (en) | Knowledge driven pre-trained form key mapping | |
Zhu et al. | Real-time positioning of a specific object in the big data environment |