JP2021099798A - 構造化処理方法、装置、コンピュータ機器及び媒体 - Google Patents

Abstract

【課題】自然言語処理の分野における情報処理技術分野に関する構造化処理方法、装置、コンピュータ機器及び媒体を提供する。【解決手段】構造化処理方法は、非構造化テキストを取得するステップと、非構造化テキストを属性を設定する属性値がマークされたトレーニングテキストによりトレーニングされたエンコーダ・デコーダモデルに入力して出力シーケンスを取得するステップと、出力シーケンスにおける各属性要素に対応する属性と、対応する属性要素に含まれる属性値とに基づいて、構造化表現を生成するステップと、を含む。【選択図】図１

Description

本発明は、自然言語処理の分野における情報処理技術分野に関し、特に、構造化処理方法、装置、コンピュータ機器及び媒体に関する。

各業界において、一般的に、自然言語で記録されたテキストが存在し、通常、このようなテキストを非構造化テキストと定義し、例えば、財務諸表、ニュース、カルテなどである。現在、世論分析、伝播分析、データプラットホームサービスなどのアプリケーションシナリオでは、いずれも構造化情報を抽出するニーズが存在し、すなわち、非構造化テキストから必要な構造化フィールドを抽出し、例えば財務諸表から会社名を抽出し、ニュースから攻撃事件の場所を抽出し、カルテから患者の状況を抽出するなどである。

しかし、既存の構造化情報抽出方法は、開発者によってプログラミング開発を行ってカスタマイズされたものであり、異なるアプリケーションシナリオに対して異なる抽出戦略を設定する必要があるため、抽出方法のシナリオの移植性が弱くなる。

本発明の第１の側面の実施例は、構造化処理方法を提供し、前記方法は、非構造化テキストを取得するステップと、前記非構造化テキストをエンコーダ・デコーダモデルに入力して、出力シーケンスを取得するステップであって、前記出力シーケンスには、複数の属性要素が含まれ、各属性要素が、設定された一つの属性に対応し、各属性要素には、対応する属性の属性値が含まれ、前記エンコーダ・デコーダモデルは、各属性を設定する属性値がマークされたトレーニングテキストを採用してトレーニングして取得されたものであるステップと、前記出力シーケンスにおける各属性要素に対応する属性及び対応する属性要素に含まれる属性値に基づいて、構造化表現を生成するステップと、を含む。

本発明の実施例の第１の可能な実現方式として、前記エンコーダ・デコーダモデルが、エンコーダとデコーダとを備え、前記非構造化テキストをエンコーダ・デコーダモデルに入力して、出力シーケンスを取得するステップが、前記非構造化テキストをワード分割して、複数のワード要素を取得するステップと、前記複数のワード要素を順番に並べて、入力シーケンスを取得するステップと、前記入力シーケンス内の複数のワード要素を前記エンコーダに入力して、意味エンコードを行い、対応するワード要素の暗黙的状態ベクトルを取得するステップであって、前記暗黙的状態ベクトルは、対応するワード要素及びその文脈の意味を示すためのものであるステップと、前記デコーダを採用して、各暗黙的状態ベクトルをデコードして、前記出力シーケンスにおける各属性値を取得するステップであって、前記デコーダは、既に、各属性値に対する各暗黙的状態ベクトルのアテンション重み、及び前記アテンション重みに基づいて重み付けされた暗黙的状態ベクトルと対応する属性値との間のマッピング関係を学習して取得したものであるステップと、を含む。

本発明の実施例の第２の可能な実現方式として、前記出力シーケンスはデータ交換フォーマットであり、前記データ交換フォーマットの出力シーケンスには、少なくとも一つのオブジェクトが含まれ、各オブジェクトが前記複数の属性要素を含み、前記非構造化テキストをエンコーダ・デコーダモデルに入力して、出力シーケンスを取得する前に、複数のトレーニングテキストを取得するステップであって、各前記トレーニングテキストは、対応する一つのデータ交換フォーマットのマーク情報を有し、前記マーク情報は、トレーニングテキストに記述されているエンティティに対応する少なくとも一つのオブジェクトを含み、各オブジェクトは、対応するエンティティの各属性を記述するための属性値を含み、同じオブジェクト内の各属性の属性値間の順序は、前記出力シーケンス内の対応する属性の属性要素の順序と同じであるステップと、前記エンコーダ・デコーダモデルの出力シーケンスと対応するマーク情報との間の誤差が最小化されるように、前記複数のトレーニングテキストを採用して前記エンコーダ・デコーダモデルをトレーニングするステップと、をさらに含む。

本発明の実施例の第３の可能な実現方式として、前記出力シーケンスにおける各属性要素に対応する属性及び対応する属性要素に含まれる属性値に基づいて、構造化表現を生成するステップが、前記データ交換フォーマットの出力シーケンスから、同じオブジェクトに属する属性要素を抽出するステップと、各オブジェクトに対して、抽出された属性要素に含まれる各属性の属性値に基づいて、対応するオブジェクトの構造化表現を生成するステップと、各オブジェクトの構造化表現に基づいて、前記非構造化テキストの構造化表現を生成するステップと、を含む。

本発明の実施例の第４の可能な実現方式として、各属性の属性値は、テキスト位置と実際のテキストとのうちの一つのタイプであり、前記タイプが、対応する属性の値の範囲に基づいて決定され、値の範囲が制限されている場合、対応する属性値は、実際のテキストであり、値の範囲が制限されていない場合、対応する属性値はテキスト位置であり、前記構造化表現を生成する前に、各属性要素に対して、含まれる属性値がテキスト位置である場合、対応する属性値を前記非構造化テキスト内の前記テキスト位置におけるワード要素に更新するステップをさらに含む。

本発明の実施例の第５の可能な実現方式として、前記複数のワード要素を順番に並べて、入力シーケンスを取得するステップが、前記複数のワード要素をエンティティ認識モデルにそれぞれ入力して、各ワード要素のエンティティタグを取得するステップと、各ワード要素を対応するエンティティタグとスプライスして、前記入力シーケンス内の一つの要素とするステップと、を含む。

本発明の第２の側面の実施例は、構造化処理装置を提供し、前記装置は、非構造化テキストを取得するための取得モジュールと、前記非構造化テキストをエンコーダ・デコーダモデルに入力して、出力シーケンスを取得するための処理モジュールであって、前記出力シーケンスには、複数の属性要素が含まれ、各属性要素は、設定された一つの属性に対応し、各属性要素には、対応する属性の属性値が含まれ、前記エンコーダ・デコーダモデルは、各属性を設定する属性値がマークされたトレーニングテキストを採用してトレーニングして取得されたものである処理モジュールと、前記出力シーケンスにおける各属性要素に対応する属性及び対応する属性要素に含まれる属性値に基づいて、構造化表現を生成するための生成モジュールと、を備える。

本発明の第３の側面の実施例は、コンピュータ機器を提供し、当該コンピュータ機器は、少なくとも一つのプロセッサと、該少なくとも一つのプロセッサと通信可能に接続されるメモリと、を備え、前記メモリには、前記少なくとも一つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも一つのプロセッサによって実行される場合、前記少なくとも一つのプロセッサが、上記の実施例に記載の構造化処理方法を実行する。

本発明の第４の側面の実施例は、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、コンピュータに上記の実施例に記載の構造化処理方法を実行させる。

上記の発明における一実施例は、以下のような利点又は有益な効果を有する。非構造化テキストを取得し、非構造化テキストをエンコーダ・デコーダモデルに入力して、出力シーケンスを取得し、出力シーケンスには、複数の属性要素が含まれ、各属性要素は、設定された一つの属性に対応し、各属性要素には、対応する属性の属性値が含まれ、エンコーダ・デコーダモデルは、各属性を設定する属性値がマークされたトレーニングテキストを採用してトレーニングして取得されたものであり、出力シーケンスにおける各属性要素に対応する属性と、対応する属性要素に含まれる属性値とに基づいて、構造化表現を生成する。当該方法は、非構造化テキストをエンコーダ・デコーダモデルに入力して、複数の属性要素と対応する属性の属性値とを含む出力シーケンスを取得して、出力シーケンスに基づいて構造化表現を生成することによって、異なるシナリオの非構造化テキストに対して構造化情報の抽出を行う場合、異なる属性を設定して、トレーニングテキストを手動でマークした後にモデルを再度トレーニングするだけでよく、モデルの移植性と汎用性を向上させる。

上記の選択可能な方式が有する他の効果は、以下の具体的な実施例を組み合わせて説明する。

図面は、本技術案をよりよく理解するために使用されており、本発明を限定するものではない。
本発明の実施例により提供される第１の構造化処理方法の概略フローチャートである。 本発明の実施例により提供される第２の構造化処理方法の概略フローチャートである。 本発明の実施例により提供される第３の構造化処理方法の概略フローチャートである。 本発明の実施例により提供される第４の構造化処理方法の概略フローチャートである。 本発明の実施例により提供される構造化処理装置の概略構成図である。 本発明の実施例の構造化処理方法を実現するためのコンピュータ機器のブロック図である。

以下、図面を組み合わせて本発明の例示的な実施例を説明し、理解を容易にするために、その中には本発明の実施例の様々な詳細が含まれ、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本発明の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを理解されたい。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

関連技術では、一定の抽出戦略を採用して非構造化テキストから構造化情報を抽出する場合、異なるシナリオに対して異なる抽出戦略を設定する必要があり、シナリオの移植性が弱くなる。この技術的課題に対して、本発明は、構造化処理方法を提供し、当該方法は、非構造化テキストを取得し、非構造化テキストをエンコーダ・デコーダモデルに入力して、出力シーケンスを取得し、出力シーケンスには、複数の属性要素が含まれ、各属性要素は、設定された一つの属性に対応し、各属性要素は、対応する属性の属性値を含み、エンコーダ・デコーダモデルは、各属性を設定する属性値がマークされたトレーニングテキストを採用してトレーニングして取得されたものであり、出力シーケンスにおける各属性要素に対応する属性と、対応する属性要素に含まれる属性値とに基づいて、構造化表現を生成する。これにより、エンコーダ・デコーダモデルによって非構造化テキストを抽出する場合、異なるシナリオに対して異なる属性を設定するだけで対応する構造化表現を生成することができ、モデルの移植性と汎用性が強く、より多くのの抽出ニーズに適合する。

以下、図面を参照して本発明の実施例の構造化処理方法、装置及び電子機器を説明する。

図１は、本発明の実施例により提供される第１の構造化処理方法の概略フローチャートである。

本発明の実施例は、当該構造化処理方法が構造化処理装置に構成されることを例として説明し、コンピュータ機器が構造化処理機能を実行できるように、当該構造化処理装置は、任意のコンピュータ機器に適用することができる。

その中で、コンピュータ機器は、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ、ＰＣと略称する）、クラウドデバイス、モバイルデバイスなどであってもよく、モバイルデバイスは、例えば、携帯電話、タブレットコンピュータ、携帯情報端末、又はウェアラブルデバイスなどの様々なオペレーティングシステムを有するハードウェアデバイスであってもよい。

図１に示すように、当該構造化処理方法は、以下のようなステップを含むことができる。
ステップ１０１において、非構造化テキストを取得する。

その中で、非構造化テキストとは、自然言語で記録されたテキストを指す。例えば、個人の履歴書、患者のカルテ、ニュースなどである。

可能な場合に、非構造化テキストは、ユーザによって入力されたテキストであってもよく、例えば、ユーザによって手動で入力された非構造化テキスト、又は音声の方式で入力された非構造化テキストなどであり、本発明の実施例では、ユーザが非構造化テキストを入力する方式を限定しない。

別の可能な場合に、非構造化テキストは、サーバ側からダウンロードされたテキストであってもよい。例えば、病院のカルテ管理システムから患者のカルテをダウンロードする。

なお、非構造化テキストには多くの情報が含まれているが、非構造化テキストのデータ量が大きいため、非構造化テキストからいくつかの構造化されたフィールドを抽出する必要がある。例えば、財務諸表から会社名を抽出し、カルテから患者のがんの病期状況を抽出し、個人の履歴書からユーザのスキルを抽出するなどである。

ステップ１０２において、非構造化テキストをエンコーダ・デコーダモデルに入力して、出力シーケンスを取得する。

その中で、出力シーケンスには、複数の属性要素が含まれ、各属性要素は、設定された一つの属性に対応し、各属性要素には、対応する属性の属性値が含まれる。

関連技術において、非構造化テキストから構造化情報を抽出する場合、異なる分野の非構造化テキストに対して、異なる抽出戦略を設定する必要がある。しかしながら、本発明では、異なるシナリオに対して、異なる属性を設定して、非構造化テキストがエンコーダ・デコーダモデルに入力された後、取得された出力シーケンスに、複数の属性要素が含まれ、各属性要素は、設定された一つの属性に対応し、各属性要素には、対応する属性の属性値が含まれるようにする。

例えば、非構造化テキストが「胃体から直径３ｃｍの腫瘍が見られた」であると仮定すると、当該構造化テキストをエンコーダ・デコーダモデルに入力して取得された出力シーケンスは、「｛「腫瘍の位置」：「胃体」、「腫瘍のサイズ」：「３ｃｍ」｝」であってもよい。これから分かるように、当該出力シーケンスには二つの属性要素が含まれ、それぞれ腫瘍の位置と腫瘍のサイズであり、各属性要素には対応する属性の属性値が含まれ、それぞれ胃体と３ｃｍである。

本発明の実施例では、エンコーダ・デコーダモデル（Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ）は、各属性を設定する属性値がマークされたトレーニングテキストを採用してトレーニングして取得される。これにより、非構造化テキストをエンコーダ・デコーダモデルに入力した後、取得された出力シーケンスには複数の属性要素が含まれ、各属性要素には、対応する属性の属性値が含まれる。

異なる分野の非構造化テキストに対して構造化情報を抽出する場合、各属性を設定して、トレーニングテキストを手動でマークした後にエンコーダ・デコーダモデルを再度トレーニングするだけで、トレーニングされたモデルを使用して構造化テキストを取得することができる。これにより、モデルの移植性と汎用性を向上させ、開発者の作業量を減少させる。

エンコーダ・デコーダモデルは、エンコーダとデコーダとを備え、その中で、エンコーダは、非構造化テキストをエンコードし、エンコードされたベクトルを取得するものである。デコーダは、エンコードされたベクトルをデコードし、出力シーケンスにおける各属性値を取得するものである。

可能な場合に、非構造化テキストをエンコーダ・デコーダモデルに入力して、取得された出力シーケンスはデータ交換フォーマットであり、データ交換フォーマットの出力シーケンスには、少なくとも一つのオブジェクトが含まれ、各オブジェクトには複数の属性要素が含まれる。

コンピュータの異なるプログラム間、又は異なるプログラミング言語間でデータ交換を行うには、みんなが理解できる「言語」が必要であり、これがデータ交換フォーマットであり、テキストによって特定の形式でデータを記述する。例えば、コンピュータ機器で一般的に使用されるデータ交換フォーマットは、拡張可能マークアップ言語（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、ＸＭＬと略称する）、ＪａｖａＳｃｒｉｐｔ（登録商標）オブジェクト表記法（ＪａｖａＳｃｒｉｐｔ
Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ、ＪＳＯＮと略称する）、別のマークアップ言語（ＹＡＭＬ Ａｉｎ’ｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、ＹＡＭＬと略称する）などである。

ステップ１０３において、出力シーケンスにおける各属性要素に対応する属性と、対応する属性要素に含まれる属性値とに基づいて、構造化表現を生成する。

本発明の実施例では、非構造化テキストをエンコーダ・デコーダモデルに入力して、複数の属性要素が含まれた出力シーケンスを取得した後、出力シーケンスにおける各属性要素に対応する属性と、対応する属性要素に含まれる属性値とに基づいて、構造化表現を生成することができる。

続けて上記の例を例に挙げると、出力シーケンスは、「｛「腫瘍の位置」：「胃体」、「腫瘍のサイズ」：「３ｃｍ」｝」であり、当該出力シーケンスには二つの属性要素が含まれ、それぞれ腫瘍の位置と腫瘍のサイズであり、各属性要素には対応する属性の属性値が含まれ、それぞれ胃体と３ｃｍである。これにより、出力シーケンスにおける各属性要素に対応する属性と、対応する属性要素に含まれる属性値とに基づいて、構造化表現を「腫瘍の位置：胃体＆腫瘍のサイズ：３ｃｍ」として生成することができる。

可能な場合に、各属性の属性値は、テキスト位置と実際のテキストのうちの一つのタイプであり、タイプは、対応する属性の値の範囲に基づいて決定され、値の範囲が制限されている場合、対応する属性値は、実際のテキストであり、値の範囲が制限されていない場合、対応する属性値はテキスト位置である。出力シーケンスにおける各属性要素に対応する属性と、対応する属性要素に含まれる属性値とに基づいて、構造化表現を生成する前に、各属性要素に対して、属性値がテキスト位置であるか否かを決定する。

可能な場合に、属性要素に対して、含まれる属性値がテキスト位置である場合、対応する属性値を非構造化テキスト内のテキスト位置におけるワード要素に更新する。

例えば、腫瘍のサイズという属性の値の範囲は、制限されていないので、当該属性要素に含まれる属性値は、テキスト位置である。

本発明の実施例の構造化処理方法は、非構造化テキストを取得し、非構造化テキストをエンコーダ・デコーダモデルに入力して、出力シーケンスを取得し、出力シーケンスには、複数の属性要素が含まれ、各属性要素は、設定された一つの属性に対応し、各属性要素には、対応する属性の属性値が含まれ、エンコーダ・デコーダモデルは、各属性を設定する属性値がマークされたトレーニングテキストを採用してトレーニングして取得されたものであり、出力シーケンスにおける各属性要素に対応する属性と、対応する属性要素に含まれる属性値とに基づいて、構造化表現を生成する。当該方法は、非構造化テキストをエンコーダ・デコーダモデルに入力して、複数の属性要素及び対応する属性の属性値を含む出力シーケンスを取得して、出力シーケンスに基づいて構造化表現を生成することによって、異なるシナリオの非構造化テキストに対して構造化情報の抽出を行う場合、異なる属性を設定して、トレーニングテキストを手動でマークした後にモデルを再度トレーニングするだけでよく、モデルの移植性と汎用性を向上させる。

上記の実施例に基づいて、上記のステップ１０２において、可能な実現方式として、非構造化テキストをワード分割し、複数のワード要素を取得し、複数のワード要素を順番に並べて、入力シーケンスを取得し、入力シーケンス内の複数のワード要素をエンコーダに入力し意味エンコードを行い、対応するワード要素の暗黙的状態ベクトルを取得し、さらに、デコーダを採用して、各暗黙的状態ベクトルをデコードして、出力シーケンスにおける各属性値を取得することができる。以下に、図２を組み合わせて上記のプロセスを詳細に説明し、図２は、本発明の実施例により提供される第２の構造化処理方法の概略フローチャートである。

図２に示すように、上記のステップ１０２は、さらに、以下のようなステップを含むことができる。
ステップ２０１において、非構造化テキストをワード分割し、複数のワード要素を取得する。

その中で、ワード分割とは、非構造化テキストを一つ一つの個々の単語に分割することである。

本発明の実施例では、非構造化テキストをエンコーダ・デコーダモデルに入力する前に、まず、非構造化テキストをワード分割して、非構造化テキストを複数のワード要素に分割する。

ステップ２０２において、複数のワード要素を順番に並べて、入力シーケンスを取得する。

本発明の実施例では、非構造化テキストをワード分割し、複数のワード要素を取得した後、複数のワード要素を順番に並べて、入力シーケンスを取得する。

可能な実現方式として、複数のワード要素をエンティティ認識モデルにそれぞれ入力して、各ワード要素のエンティティタグを取得し、さらに、各ワード要素を対応するエンティティタグとスプライスして、入力シーケンス内の一つの要素とすることができる。

ステップ２０３において、入力シーケンス内の複数のワード要素をエンコーダに入力して、意味エンコードを行い、対応するワード要素の暗黙的状態ベクトルを取得する。

その中で、暗黙的状態ベクトルは、対応するワード要素及びその文脈の意味を示すものである。意味エンコードとは、ワードによって情報を加工し、意味、システム分類によって言語材料を自分の言語形式で編成して要約し、材料の基本的な論点、論拠、論理構造を見つけ、意味特徴に従ってエンコードすることである。

自然言語処理では、自然言語テキストは、多くの記号が順番にスプライスされてなる不定の長さのシーケンスであり、コンピュータが理解できる数値型のデータに直接変換することが難しいため、さらなる計算処理を直接行うことができない。暗黙的状態ベクトルは、豊富な情報を含んでいるので、ディープラーニングがほとんどの自然言語処理アプリケーションを処理することができる。

本発明の実施例では、まず、入力シーケンス内の複数のワード要素をエンコーダに入力して、複数のワード要素に対して意味エンコードを行い、各ワード要素の暗黙的状態ベクトルを取得する。その中で、取得された各ワード要素の暗黙的状態ベクトルは、対応するワード要素及びその文脈の意味を示すことができる。

なお、入力シーケンス内の複数のワード要素から対応するワード要素の暗黙的状態ベクトルを生成する方法は、たくさんあるが、例えば、双方向長短期記憶ネットワーク（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ、ＢｉＬＳＴＭと略称する）、自己注意機構（Ｓｅｌｆ Ａｔｔｅｎｔｉｏｎ）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮと略称する）などを採用することができる。

本発明の実施例では、エンコーダで採用されるエンコード技術に対して制限しない。

ステップ２０４において、デコーダを採用して、各暗黙的状態ベクトルをデコードして、出力シーケンスにおける各属性値を取得する。

その中で、デコーダは、既に、各属性値に対する各暗黙的状態ベクトルのアテンション重み、及びアテンション重みに基づいて重み付けされた暗黙的状態ベクトルと対応する属性値との間のマッピング関係を学習して取得したものである。

本発明の実施例では、デコーダを採用して各暗黙的状態ベクトルをデコードする時にアテンションモデルを使用して、デコーダが各属性値に対する各暗黙的状態ベクトルのアテンション重みと、アテンション重みに基づいて重み付けされた暗黙的状態ベクトルと対応する属性値との間のマッピング関係とに基づいて、出力シーケンスにおける各属性値を取得する。

その中で、アテンションモデルは、ａｔｔｅｎｔｉｏｎアテンションメカニズムであり、空間アテンション（Ｓｐａｔｉａｌ Ａｔｔｅｎｔｉｏｎ）及び時間アテンション（Ｔｅｍｐｏｒａｌ Ａｔｔｅｎｔｉｏｎ）に分けられることができる。ソフトアテンション（Ｓｏｆｔ Ａｔｔｅｎｔｉｏｎ）及びハードアテンション（Ｈａｒｄ Ａｔｔｅｎｔｉｏｎ）に分けられることもできる。Ｓｏｆｔ Ａｔｔｅｎｔｉｏｎは、すべてのデータに注意し、対応するアテンション重みを算出し、選別条件を設定しない。Ｈａｒｄ Ａｔｔｅｎｔｉｏｎは、アテンション重みが生成された後に条件に合わない一部のアテンションを除外し、それらのアテンション重みを０にし、即ちこのような条件に合わない部分にさらに注意しないと理解できる。

本発明の実施例の構造化処理方法は、非構造化テキストをワード分割して、複数のワード要素を取得し、複数のワード要素を順番に並べて、入力シーケンスを取得し、入力シーケンス内の複数のワード要素をエンコーダに入力して、意味エンコードを行い、対応するワード要素の暗黙的状態ベクトルを取得し、デコーダを採用して、各暗黙的状態ベクトルをデコードして、出力シーケンスにおける各属性値を取得し、デコーダは、既に、各属性値に対する各暗黙的状態ベクトルのアテンション重み、及びアテンション重みに基づいて重み付けされた暗黙的状態ベクトルと対応する属性値との間のマッピング関係を学習して取得したものである。これにより、エンコーダ−デコーダによって非構造化テキストを各属性値を含む出力シーケンスに変換する。

本発明の実施例では、非構造化テキストをエンコーダ・デコーダモデルに入力して出力シーケンスを取得する前に、エンコーダ・デコーダモデルの出力シーケンスと対応するマーク情報との間の誤差が最小化されるように、複数のトレーニングテキストを採用してエンコーダ・デコーダモデルをトレーニングする必要がある。以下に、図３を組み合わせて上記のプロセスを詳細に説明し、図３は、本発明の実施例により提供される第３の構造化処理方法の概略フローチャートである。

図３に示すように、当該構造化処理方法は、さらに、以下のようなステップを含むことができる。
ステップ３０１において、複数のトレーニングテキストを取得する。

本発明の実施例では、各トレーニングテキストは、対応する一つのデータ交換フォーマットのマーク情報を有し、マーク情報は、トレーニングテキストに記述されたエンティティに対応する少なくとも一つのオブジェクトを含み、各オブジェクトは、対応するエンティティの各属性を記述するための属性値を含み、同じオブジェクト内の各属性の属性値間の順序は、出力シーケンス内の対応する属性の属性要素の順序と同じである。

トレーニングテキストも非構造化テキストであり、トレーニングテキストを使用してエンコーダ・デコーダモデルをトレーニングする時、各トレーニングテキストには対応する一つのデータ交換フォーマットのマーク情報が具備すると理解できる。

各トレーニングテキストに対して情報をマークする時、可能な場合として、マーキング作業は、タスクに分けて行うことができ、例えばデータから２０００個のデータを選択して最初のマーキングを行い、タスクに「胃癌病理の最初のマーキング」の名前をつける。その後、モデルのトレーニング時には、任意のタスクデータに基づいてトレーニングすることを選択することができる。これにより、異なる抽出タスクの異なるモデルバージョンのデータ管理を容易にする。

本発明の実施例では、トレーニングテキストに対してもワード分割して、複数のワード要素を取得し、複数のワード要素をエンティティ認識モデルにそれぞれ入力して、各ワード要素のエンティティタグを取得し、各ワード要素を対応するエンティティタグとスプライスして、入力シーケンス内の一つの要素とする。

なお、トレーニングテキストは、サーバ側からダウンロードされたテキストであってもよいし、ユーザによって手動で入力されたテキストであってもよく、ここでは制限しない。

ステップ３０２において、エンコーダ・デコーダモデルの出力シーケンスと対応するマーク情報との間の誤差が最小化されるように、複数のトレーニングテキストを採用してエンコーダ・デコーダモデルをトレーニングする。

本発明の実施例では、複数のトレーニングテキストを採用してエンコーダ・デコーダモデルをトレーニングすることは、出力シーケンスに基づいて各属性要素に対応する属性及び対応する属性要素に含まれる属性値を決定し、複数回のトレーニングを経て、エンコーダ・デコーダモデルの出力シーケンスと対応するマーク情報との間の誤差が最小化されることができる。さらに、エンコーダ・デコーダモデルの出力に基づいて構造化情報を正確に取得することができる。

本発明の実施例の構造化処理方法は、複数のトレーニングテキストを取得し、エンコーダ・デコーダモデルの出力シーケンスと対応するマーク情報との間の誤差が最小化されるように、複数のトレーニングテキストを採用してエンコーダ・デコーダモデルをトレーニングする。これにより、マーク情報を有するトレーニングテキストを採用してエンコーダ・デコーダモデルをトレーニングすることによって、非構造化テキストをエンコーダ・デコーダモデルに入力した後、エンコーダ・デコーダモデルの出力に基づいて構造化情報を正確に取得することを実現することができ、構造化情報の抽出の正確性を向上させる。

上記の実施例に基づいて、非構造化テキストを複数のトレーニングテキストを採用してトレーニングされたエンコーダ・デコーダモデルに入力して、構造化表現を生成することができる。可能な実現方式として、データ交換フォーマットの出力シーケンスから、同じオブジェクトに属する属性要素を抽出し、各オブジェクトに対して、抽出された属性要素に含まれる各属性の属性値に基づいて、対応するオブジェクトの構造化表現を生成し、さらに、各オブジェクトの構造化表現に基づいて、非構造化テキストの構造化表現を生成することができる。以下に、図４を組み合わせて上記のプロセスを詳細に説明し、図４は、本発明の実施例により提供される第４の構造化処理方法の概略フローチャートである。

図４に示すように、当該構造化処理方法は、さらに、以下のようなステップを含むことができる。
ステップ４０１において、データ交換フォーマットの出力シーケンスから、同じオブジェクトに属する属性要素を抽出する。

本発明の実施例では、非構造化テキストをエンコーダ・デコーダモデルに入力して、取得された出力シーケンスはデータ交換フォーマットであり、データ交換フォーマットの出力シーケンスには、少なくとも一つのオブジェクトが含まれ、各オブジェクトには複数の属性要素が含まれる。したがって、データ交換フォーマットの出力シーケンスから、同じオブジェクトに属する属性要素を抽出することができる。

例えば、データ交換フォーマットの出力シーケンスが「｛「腫瘍の位置」：「胃体」、「腫瘍のサイズ」：「３ｃｍ」｝」であると仮定すると、当該出力シーケンスには二つの属性要素が含まれ、それぞれ腫瘍の位置と腫瘍のサイズであり、当該出力シーケンスには、同じ腫瘍オブジェクトに属する二つの属性要素が含まれ、出力シーケンスからそれぞれ腫瘍の位置と腫瘍のサイズである同じオブジェクトに属する属性要素を抽出することができる。

なお、データ交換フォーマットの出力シーケンスに複数のオブジェクトが含まれる場合、データ交換フォーマットの出力シーケンスから、各オブジェクトに属する属性要素を抽出することができる。

ステップ４０２において、各オブジェクトに対して、抽出された属性要素に含まれる各属性の属性値に基づいて、対応するオブジェクトの構造化表現を生成する。

本発明の実施例では、データ交換フォーマットの出力シーケンスから、同じオブジェクトに属する属性要素を抽出する場合、各オブジェクトに対して、抽出された属性要素に含まれる各属性の属性値に基づいて、対応するオブジェクトの構造化表現を生成することができる。

続けて上記の例を例に挙げると、データ交換フォーマットの出力シーケンスが｛「腫瘍の位置」：「胃体」、「腫瘍のサイズ」：「３ｃｍ」｝であり、当該出力シーケンスにおいて腫瘍というオブジェクトに属する属性要素は、それぞれ腫瘍の位置と腫瘍のサイズであり、属性要素に含まれる各属性の属性値は、それぞれ胃体と３ｃｍである。この場合、抽出された属性要素に含まれる各属性の属性値に基づいて、対応するオブジェクトの構造化表現を腫瘍の位置：胃体＆腫瘍のサイズ：３ｃｍとして生成する。

ステップ４０３において、各オブジェクトの構造化表現に基づいて、非構造化テキストの構造化表現を生成する。

本発明の実施例では、各オブジェクトに対して、抽出された属性要素に含まれる各属性の属性値に基づいて、対応するオブジェクトの構造化表現を生成した後、各オブジェクトの構造化表現に基づいて、非構造化テキストの構造化表現を生成することができる。

本発明の実施例の構造化処理方法は、データ交換フォーマットの出力シーケンスから、同じオブジェクトに属する属性要素を抽出し、各オブジェクトに対して、抽出された属性要素に含まれる各属性の属性値に基づいて、対応するオブジェクトの構造化表現を生成し、各オブジェクトの構造化表現に基づいて、非構造化テキストの構造化表現を生成する。これにより、各属性を設定することによって、異なるシナリオでの非構造化テキストの構造化表現を取得することができる。

上記の実施例を実現するために、本発明の実施例は、構造化処理装置を提供する。

図５は、本発明の実施例により提供される構造化処理装置の概略構成図である。

図５に示すように、当該構造化処理装置５００は、取得モジュール５１０と、処理モジュール５２０と、生成モジュール５３０とを備えることができる。

その中で、取得モジュール５１０は、非構造化テキストを取得するものである。

処理モジュール５２０は、非構造化テキストをエンコーダ・デコーダモデルに入力して、出力シーケンスを取得するものであり、出力シーケンスには、複数の属性要素が含まれ、各属性要素は、設定された一つの属性に対応し、各属性要素には、対応する属性の属性値が含まれ、エンコーダ・デコーダモデルは、各属性を設定する属性値がマークされたトレーニングテキストを採用してトレーニングして取得されたものである。

生成モジュール５３０は、出力シーケンスにおける各属性要素に対応する属性と、対応する属性要素に含まれる属性値とに基づいて、構造化表現を生成するものである。

可能な場合として、エンコーダ・デコーダモデルは、エンコーダとデコーダとを含み、処理モジュール５２０は、さらに、非構造化テキストをワード分割して、複数のワード要素を取得し、複数のワード要素を順番に並べて、入力シーケンスを取得し、入力シーケンス内の複数のワード要素をエンコーダに入力して、意味エンコードを行い、対応するワード要素の暗黙的状態ベクトルを取得し、暗黙的状態ベクトルは、対応するワード要素及びその文脈の意味を示すものであり、デコーダを採用して、各暗黙的状態ベクトルをデコードして、出力シーケンスにおける各属性値を取得し、デコーダは、既に、各属性値に対する各暗黙的状態ベクトルのアテンション重み、及びアテンション重みに基づいて重み付けされた暗黙的状態ベクトルと対応する属性値との間のマッピング関係を学習して取得されたものである。

別の可能な場合として、出力シーケンスはデータ交換フォーマットであり、データ交換フォーマットの出力シーケンスには、少なくとも一つのオブジェクトが含まれ、各オブジェクトには複数の属性要素が含まれる。

当該構造化処理装置５００は、テキスト取得モジュールとトレーニングモジュールと、をさらに備えることができる。
テキスト取得モジュールは、複数のトレーニングテキストを取得するものであり、各トレーニングテキストは、対応する一つのデータ交換フォーマットのマーク情報を有し、マーク情報は、トレーニングテキストに記述されたエンティティに対応する少なくとも一つのオブジェクトを含み、各オブジェクトは、対応するエンティティの各属性を記述するための属性値を含み、同じオブジェクト内の各属性の属性値間の順序は、出力シーケンス内の対応する属性の属性要素の順序と同じである。

トレーニングモジュールは、エンコーダ・デコーダモデルの出力シーケンスと対応するマーク情報との間の誤差が最小化されるように、複数のトレーニングテキストを採用してエンコーダ・デコーダモデルをトレーニングするものである。

別の可能な場合として、生成モジュール５３０は、さらに、データ交換フォーマットの出力シーケンスから、同じオブジェクトに属する属性要素を抽出し、各オブジェクトに対して、抽出された属性要素に含まれる各属性の属性値に基づいて、対応するオブジェクトの構造化表現を生成し、各オブジェクトの構造化表現に基づいて、非構造化テキストの構造化表現を生成することができる。

別の可能な場合として、各属性の属性値は、テキスト位置と実際のテキストのうちの一つのタイプであり、タイプは、対応する属性の値の範囲に基づいて決定され、値の範囲が制限されている場合、対応する属性値は、実際のテキストであり、値の範囲が制限されていない場合、対応する属性値はテキスト位置であり、当該構造化処理装置５００は、各属性要素に対して、含まれる属性値がテキスト位置である場合、対応する属性値を非構造化テキスト内のテキスト位置におけるワード要素に更新するための更新モジュールをさらに備えることができる。

別の可能な場合として、処理モジュール５２０は、さらに、複数のワード要素をエンティティ認識モデルにそれぞれ入力して、各ワード要素のエンティティタグを取得し、各ワード要素を対応するエンティティタグとスプライスして、入力シーケンス内の一つの要素とすることができる。

なお、上記の構造化処理方法の実施例の説明は、当該構造化処理装置にも適用され、ここでは説明を省略する。

本発明の実施例の構造化処理装置は、非構造化テキストを取得し、非構造化テキストをエンコーダ・デコーダモデルに入力して、出力シーケンスを取得し、出力シーケンスには、複数の属性要素が含まれ、各属性要素は、設定された一つの属性に対応し、各属性要素には、対応する属性の属性値が含まれ、エンコーダ・デコーダモデルは、各属性を設定する属性値がマークされたトレーニングテキストを採用してトレーニングして取得されたものであり、出力シーケンスにおける各属性要素に対応する属性と、対応する属性要素に含まれる属性値とに基づいて、構造化表現を生成する。当該方法は、非構造化テキストをエンコーダ・デコーダモデルに入力して、複数の属性要素及び対応する属性の属性値を含む出力シーケンスを取得して、出力シーケンスに基づいて構造化表現を生成することによって、異なるシナリオの非構造化テキストに対して構造化情報の抽出を行う場合、異なる属性を設定して、トレーニングテキストを手動でマークした後にモデルを再度トレーニングするだけでよく、モデルの移植性と汎用性を向上させる。

本発明の実施例によれば、本発明は、コンピュータ機器と読み取り可能な記憶媒体とをさらに提供する。

図６に示すのは、本発明の実施例の構造化処理方法を実現するためのコンピュータ機器のブロック図である。コンピュータ機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的とする。コンピュータ機器は、パーソナルデジタルプロセッサ、携帯電話、スマートフォン、ウェアラブルデバイス、他の類似のコンピューティングデバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書で説明及び／又は要求される本発明の実現を制限するものではない。

図６に示すように、当該コンピュータ機器は、一つ又は複数のプロセッサ６０１と、メモリ６０２と、高速インターフェース及び低速インターフェースを含む各コンポーネントを接続するためのインターフェースと、を備える。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けることができる。プロセッサは、外部入力／出力装置（インターフェースに結合されたディスプレイデバイスなど）にＧＵＩの図形情報をディスプレイするためにメモリ内又はメモリに記憶されている命令を含む、コンピュータ機器内に実行される命令を処理することができる。他の実施方式では、必要に応じて、複数のプロセッサ及び／又は複数のバスを、複数のメモリと一緒に使用することができる。同様に、複数のコンピュータ機器を接続することができ、各機器が、一部の必要な動作を提供することができる（例えば、サーバアレイ、１グループのブレードサーバ、又はマルチプロセッサシステムとする）。図６では、一つのプロセッサ６０１を例とする。

メモリ６０２は、本発明により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。その中で、前記メモリには、少なくとも一つのプロセッサによって実行される命令が記憶され、前記少なくとも一つのプロセッサが本発明により提供される構造化処理方法を実行するようにする。本発明の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本発明により提供される構造化処理方法を実行させるためのコンピュータ命令が記憶されている。

メモリ６０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、本発明の実施例における構造化処理方法に対応するプログラム命令／モジュール（例えば、図５に示す取得モジュール５１０、５２０、及び生成モジュール５３０）のように、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶するものである。プロセッサ６０１は、メモリ６０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち上記の方法の実施例における構造化処理方法を実現する。

メモリ６０２は、ストレージプログラムエリアとストレージデータエリアとを含むことができる。ストレージプログラムエリアは、オペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶することができ、ストレージデータエリアは、構造化処理方法に基づくコンピュータ機器の使用によって作成されたデータなどを記憶することができる。また、メモリ６０２は、高速ランダムアクセスメモリを備えることができ、非一時的なメモリをさらに備えることができ、例えば、少なくとも一つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例で、メモリ６０２は、プロセッサ６０１に対して遠隔に設置されたメモリを選択的に備えることができ、これらの遠隔メモリは、ネットワークを介して構造化処理方法のコンピュータ機器に接続されることができる。上記のネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。

構造化処理方法のコンピュータ機器は、入力装置６０３と出力装置６０４とをさらに備えることができる。プロセッサ６０１と、メモリ６０２と、入力装置６０３と、出力装置６０４とは、バス又は他の方式を介して接続することができ、図６では、バスを介して接続することを例とする。

入力装置６０３は、入力された数字又は文字情報を受信することができ、構造化処理方法のコンピュータ機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置６０４は、ディスプレイデバイス、補助照明装置（例えば、ＬＥＤ）、及び触覚フィードバックデバイス（例えば、振動モータ）などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施方式で、ディスプレイデバイスは、タッチスクリーンであってもよい。

本明細書で説明されるシステムと技術の様々な実施方式は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳIＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施方式は、一つ又は複数のコンピュータプログラムで実施されることができ、当該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び／又は解釈されることができ、当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、ストレージシステム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置に伝送することができる。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、高レベルのプロセス及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械言語でこれらのコンピューティングプログラムを実施することができる。本明細書に使用されるように、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」との用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」との用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

ユーザとのインタラクションを提供するために、コンピュータ上で、ここで説明されるシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供するために用いられ、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施方式とインタラクションする）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。

コンピュータシステムは、クライアントとサーバとを備えることができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、且つ互いにクライアント-サーバ関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。

本発明の実施例の技術案によれば、非構造化テキストを取得し、非構造化テキストをエンコーダ・デコーダモデルに入力して、出力シーケンスを取得し、出力シーケンスには、複数の属性要素が含まれ、各属性要素は、設定された一つの属性に対応し、各属性要素には、対応する属性の属性値が含まれ、エンコーダ・デコーダモデルは、各属性を設定する属性値がマークされたトレーニングテキストを採用してトレーニングして取得されたものであり、出力シーケンスにおける各属性要素に対応する属性と、対応する属性要素に含まれる属性値とに基づいて、構造化表現を生成する。

上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができる。例えば、本発明に記載されている各ステップは、並列に実行されてもよいし、順次に実行されてもよいし、異なる順序で実行されてもよいが、本発明で開示された技術案が所望の結果を実現することができれば、本明細書では限定しない。

上記の具体的な実施方式は、本発明に対する保護範囲を制限するものではない。当業者は、設計要件と他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本発明の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本発明の保護範囲内に含まれるべきである。

Claims (15)

1. 非構造化テキストを取得するステップと、
   前記非構造化テキストをエンコーダ・デコーダモデルに入力して、出力シーケンスを取得するステップであって、前記出力シーケンスには、複数の属性要素が含まれ、各属性要素が、設定された一つの属性に対応し、各属性要素には、対応する属性の属性値が含まれ、前記エンコーダ・デコーダモデルは、各属性を設定する属性値がマークされたトレーニングテキストを採用してトレーニングして取得されたものであるステップと、
   前記出力シーケンスにおける各属性要素に対応する属性及び対応する属性要素に含まれる属性値に基づいて、構造化表現を生成するステップと、
   を含む構造化処理方法。
2. 前記エンコーダ・デコーダモデルが、エンコーダとデコーダとを備え、
   前記非構造化テキストをエンコーダ・デコーダモデルに入力して、出力シーケンスを取得するステップが、
   前記非構造化テキストをワード分割して、複数のワード要素を取得するステップと、
   前記複数のワード要素を順番に並べて、入力シーケンスを取得するステップと、
   前記入力シーケンス内の複数のワード要素を前記エンコーダに入力して、意味エンコードを行い、対応するワード要素の暗黙的状態ベクトルを取得するステップであって、前記暗黙的状態ベクトルは、対応するワード要素及びその文脈の意味を示すためのものであるステップと、
   前記デコーダを採用して、各暗黙的状態ベクトルをデコードして、前記出力シーケンスにおける各属性値を取得するステップであって、前記デコーダは、既に、各属性値に対する各暗黙的状態ベクトルのアテンション重み、及び前記アテンション重みに基づいて重み付けされた暗黙的状態ベクトルと対応する属性値との間のマッピング関係を学習して取得したものであるステップと、
   を含む請求項１に記載の構造化処理方法。
3. 前記出力シーケンスはデータ交換フォーマットであり、前記データ交換フォーマットの出力シーケンスには、少なくとも一つのオブジェクトが含まれ、各オブジェクトが前記複数の属性要素を含み、
   前記非構造化テキストをエンコーダ・デコーダモデルに入力して、出力シーケンスを取得する前に、
   複数のトレーニングテキストを取得するステップであって、各前記トレーニングテキストは、対応する一つのデータ交換フォーマットのマーク情報を有し、前記マーク情報は、トレーニングテキストに記述されているエンティティに対応する少なくとも一つのオブジェクトを含み、各オブジェクトは、対応するエンティティの各属性を記述するための属性値を含み、同じオブジェクト内の各属性の属性値間の順序は、前記出力シーケンス内の対応する属性の属性要素の順序と同じであるステップと、
   前記エンコーダ・デコーダモデルの出力シーケンスと対応するマーク情報との間の誤差が最小化されるように、前記複数のトレーニングテキストを採用して前記エンコーダ・デコーダモデルをトレーニングするステップと、
   を含む請求項１に記載の構造化処理方法。
4. 前記出力シーケンスにおける各属性要素に対応する属性及び対応する属性要素に含まれる属性値に基づいて、構造化表現を生成するステップが、
   前記データ交換フォーマットの出力シーケンスから、同じオブジェクトに属する属性要素を抽出するステップと、
   各オブジェクトに対して、抽出された属性要素に含まれる各属性の属性値に基づいて、対応するオブジェクトの構造化表現を生成するステップと、
   各オブジェクトの構造化表現に基づいて、前記非構造化テキストの構造化表現を生成するステップと、
   を含む請求項３に記載の構造化処理方法。
5. 各属性の属性値は、テキスト位置と実際のテキストとのうちの一つのタイプであり、前記タイプが、対応する属性の値の範囲に基づいて決定され、値の範囲が制限されている場合、対応する属性値は実際のテキストであり、値の範囲が制限されていない場合、対応する属性値はテキスト位置であり、
   前記構造化表現を生成する前に、
   各属性要素に対して、含まれる属性値がテキスト位置である場合、対応する属性値を前記非構造化テキスト内の前記テキスト位置におけるワード要素に更新するステップを含む請求項３に記載の構造化処理方法。
6. 前記複数のワード要素を順番に並べて、入力シーケンスを取得するステップが、
   前記複数のワード要素をエンティティ認識モデルにそれぞれ入力して、各ワード要素のエンティティタグを取得するステップと、
   各ワード要素を対応するエンティティタグとスプライスして、前記入力シーケンス内の一つの要素とするステップと、
   を含む請求項２に記載の構造化処理方法。
7. 非構造化テキストを取得するための取得モジュールと、
   前記非構造化テキストをエンコーダ・デコーダモデルに入力して、出力シーケンスを取得するための処理モジュールであって、前記出力シーケンスには、複数の属性要素が含まれ、各属性要素は、設定された一つの属性に対応し、各属性要素には、対応する属性の属性値が含まれ、前記エンコーダ・デコーダモデルは、各属性を設定する属性値がマークされたトレーニングテキストを採用してトレーニングして取得されたものである処理モジュールと、
   前記出力シーケンスにおける各属性要素に対応する属性及び対応する属性要素に含まれる属性値に基づいて、構造化表現を生成するための生成モジュールと、
   を備える構造化処理装置。
8. 前記エンコーダ・デコーダモデルが、エンコーダとデコーダとを備え、
   前記処理モジュールが、
   前記非構造化テキストをワード分割して、複数のワード要素を取得し、
   前記複数のワード要素を順番に並べて、入力シーケンスを取得し、
   前記入力シーケンス内の複数のワード要素を前記エンコーダに入力して、意味エンコードを行い、対応するワード要素の暗黙的状態ベクトルを取得し、前記暗黙的状態ベクトルは、対応するワード要素及びその文脈の意味を示すためのものであり、
   前記デコーダを採用して、各暗黙的状態ベクトルをデコードして、前記出力シーケンスにおける各属性値を取得し、前記デコーダは、既に、各属性値に対する各暗黙的状態ベクトルのアテンション重み、及び前記アテンション重みに基づいて重み付けされた暗黙的状態ベクトルと対応する属性値との間のマッピング関係を学習して取得したものである請求項７に記載の構造化処理装置。
9. 前記出力シーケンスはデータ交換フォーマットであり、前記データ交換フォーマットの出力シーケンスには、少なくとも一つのオブジェクトが含まれ、各オブジェクトが前記複数の属性要素を含み、
   前記装置が、
   複数のトレーニングテキストを取得するためのテキスト取得モジュールであって、各前記トレーニングテキストは、対応する一つのデータ交換フォーマットのマーク情報を有し、前記マーク情報は、トレーニングテキストに記述されているエンティティに対応する少なくとも一つのオブジェクトを含み、各オブジェクトは、対応するエンティティの各属性を記述するための属性値を含み、同じオブジェクト内の各属性の属性値間の順序は、前記出力シーケンス内の対応する属性の属性要素の順序と同じであるテキスト取得モジュールと、
   前記エンコーダ・デコーダモデルの出力シーケンスと対応するマーク情報との間の誤差が最小化されるように、前記複数のトレーニングテキストを採用して前記エンコーダ・デコーダモデルをトレーニングするためのトレーニングモジュールと、
   を含む請求項７に記載の構造化処理装置。
10. 前記生成モジュールが、
    前記データ交換フォーマットの出力シーケンスから、同じオブジェクトに属する属性要素を抽出し、
    各オブジェクトに対して、抽出された属性要素に含まれる各属性の属性値に基づいて、対応するオブジェクトの構造化表現を生成し、
    各オブジェクトの構造化表現に基づいて、前記非構造化テキストの構造化表現を生成する請求項９に記載の構造化処理装置。
11. 各属性の属性値は、テキスト位置と実際のテキストとのうちの一つのタイプであり、前記タイプが、対応する属性の値の範囲に基づいて決定され、値の範囲が制限されている場合、対応する属性値は実際のテキストであり、値の範囲が制限されていない場合、対応する属性値はテキスト位置であり、
    前記装置が、
    各属性要素に対して、含まれる属性値がテキスト位置である場合、対応する属性値を前記非構造化テキスト内の前記テキスト位置におけるワード要素に更新するための更新モジュールを備える請求項９に記載の構造化処理装置。
12. 前記処理モジュールが、
    前記複数のワード要素をエンティティ認識モデルにそれぞれ入力して、各ワード要素のエンティティタグを取得し、
    各ワード要素を対応するエンティティタグとスプライスして、前記入力シーケンス内の一つの要素とする請求項８に記載の構造化処理装置。
13. 少なくとも一つのプロセッサと、
    該少なくとも一つのプロセッサと通信可能に接続されるメモリと、
    を備え、
    前記メモリには、前記少なくとも一つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも一つのプロセッサによって実行される場合、前記少なくとも一つのプロセッサが、請求項１から６のいずれか一項に記載の構造化処理方法を実行するコンピュータ機器。
14. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令が、コンピュータに請求項１から６のいずれか一項に記載の構造化処理方法を実行させる非一時的なコンピュータ読み取り可能な記憶媒体。
15. コンピュータに請求項１から６のいずれかに記載の構造化処理方法を実行させるコンピュータプログラム。

Images