JP2022514842A - エンティティ意味関係分類 - Google Patents

エンティティ意味関係分類 Download PDF

Info

Publication number
JP2022514842A
JP2022514842A JP2021534922A JP2021534922A JP2022514842A JP 2022514842 A JP2022514842 A JP 2022514842A JP 2021534922 A JP2021534922 A JP 2021534922A JP 2021534922 A JP2021534922 A JP 2021534922A JP 2022514842 A JP2022514842 A JP 2022514842A
Authority
JP
Japan
Prior art keywords
entity
semantic relationship
word
training sample
vector corresponding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021534922A
Other languages
English (en)
Other versions
JP7202465B2 (ja
Inventor
芳利 樊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Publication of JP2022514842A publication Critical patent/JP2022514842A/ja
Application granted granted Critical
Publication of JP7202465B2 publication Critical patent/JP7202465B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295Named entity recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

エンティティ意味関係分類方法、モデルのトレーニング方法、及び電子機器であって、コーパスにおける各単語の、第1のエンティティとの第1の位置距離、及び第2のエンティティとの第2の位置距離によって、各単語に対応する特徴ベクトルを取得して、コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、コーパスに対応するモデル入力ベクトルを得ることで、コーパスに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として、当該コーパスに対応するエンティティ意味関係を得る。従来技術と比べて、エンティティ意味関係分類の確度を向上させることができる。【選択図】図6

Description

相関出願への相互参照
本願は、2018年12月29日に中国国家知的財産権局へ提出された出願番号が201811641958.3であり、発明の名称が「エンティティ意味関係分類方法、モデルトレーニング方法、装置及び電子機器」である中国特許出願に基づき優先権を主張し、その内容の全てが援用により本願に組み込まれる。
深層学習とは、機械学習においてデータに対する表現学習を行う方法の一つである。深層学習の実用化時に、深層学習モデルを予めトレーニングする必要がある。
深層学習モデルのトレーニングにおいて、採用されるサンプルデータは多次元の特徴データを含む。サンプルデータに基づいて、深層学習モデルをトレーニングし続けることで、正確な予測モデルを得る。当該予測モデルはオンラインでデータ予測の処理を実行するために用いられる。
図1は、本願の一実施例に係る電子機器の模式的な構成ブロック図である。 図2は、本願の一実施例に係るエンティティ意味関係分類モデルの模式的な構成図である。 図3は、本願の一実施例に係るエンティティ意味関係分類モデルのトレーニング方法の模式的なフローチャートである。 図4は、図3におけるS204のサブステップの模式的なフローチャートである。 図5は、図3におけるS204のサブステップの他の模式的なフローチャートである。 図6は、本願の一実施例に係るエンティティ意味関係分類方法の模式的なフローチャートである。 図7は、図6におけるS303のサブステップの模式的なフローチャートである。 図8は、図7におけるS3031のサブステップの模式的なフローチャートである。 図9は、本願の一実施例に係るエンティティ意味関係分類モデルトレーニング装置の模式的な構成図である。 図10は、本願の一実施例に係るエンティティ意味関係分類装置の模式的な構成図である。
100…電子機器、101…メモリ、102…プロセッサ、103…通信インターフェース、400…エンティティ意味関係分類モデルトレーニング装置、401…受送信モモジュール、402…第2の処理モジュール、403…トレーニングモジュール、500…エンティティ意味関係分類装置、501…第1の処理モジュール、502…識別モジュール。
本願の実施例の目的、技術案、及び利点をより明確にするため、以下、本願の実施例の 図面を参照して、本願の実施例の技術案を明確かつ全体的に説明する。勿論、説明される実施例は、本願の実施例の一部にすぎず、すべての実施例ではない。一般的に図面に記載及び図示される本願の実施例の構成要素は、様々な構成で配置又は設計可能である。
従って、以下、図面に係る本願の実施例に対する詳細な説明は、本願が保護請求する範囲を限定することを意図するものではなく、単に本願の選ばれた実施例を示すに過ぎない。本願の実施例に基づいて、当業者が創造的な働きをせずに得られるすべての他の実施例は、いずれも本願が保護請求する範囲に含まれる。
なお、以下の図面において、類似する符号や文字は、類似する要素を表すことに注意する必要があるため、ある要素が1つの図面において定義されと、その後の図面において、それに対する更なる定義や説明は不要である。同時に、本願の実施例に対する説明において、「第1」や「第2」などの用語は説明を区別するためのものに過ぎず、相対的な重要性を示すか又は示唆するものと理解されるべきではない。
本文では、「第1」や「第2」などのような関係用語は、1つのエンティティ又は操作を他のエンティティ又は操作と区別するためのものに過ぎず、必ずしもこれらのエンティティ又は操作の間にこのような実際の関係又は順序があることを要求又は示唆するものではない。また、用語「含む」、「備える」又はいかなる他の変形は、非排他的に含むことを目的として、これにより一連の要素を含むプロセス、方法、物品、又は装置はそれらの要素を含むだけでなく、明確に記載されていない他の要素、又はこのようなプロセス、方法、物品又は装置に固有される要素も含むことを意図している。特別に限定されない限り、「…を含む」との文により限定される要素は、前記要素を含むプロセス、方法、物品又は装置に他の同じ要素をさらに含むことを排除するものではない。
以下、図面を参照しながら、本願のいくつかの実施形態を詳しく説明する。下記の実施例及び実施例における特徴は、競合しない場合、互いに組み合わせられることができる。
テキスト情報抽出のタスクにおいて、深層学習モデルを採用して、エンティティ識別の上に、テキスト情報を深くマイニングして、非構造化文の構造化を促す。ここで、エンティティは、例えば人名や、地名や、装置名や、病気名称などの命名要素である。無論、異なる分野において、分野に対応して各エンティティのタイプを定義する。
コーパスにおけるエンティティ間の意味関係を分類するアプリケーションシナリオでは、一般的にニューラルネットワークモデルに基づく分類方法により、エンティティの意味関係を分類する。具体的な手段は、エンティティの意味関係が分類された大量のコーパスをニューラルネットワークモデルの入力として使用することで、当該ニューラルネットワークモデルをトレーニングし、そしてトレーニング済みのニューラルネットワークモデルを、新たなコーパスのエンティティの意味関係を分類するために用いられることである。例えば、RNTN(Recursive Neural Tensor Network、リカーシブニューラルテンソルネットワーク)や、PCNN(Pulse Coupled Neural Network、パルスカップルドニューラルネットワーク)などの、コンボリューショナルニューラルネットワークに基づくモデルによって、エンティティの意味関係を分類する。しかし、一部の分野でコーパスのエンティティ意味関係を分類するためのこれらのモデルの確度は要求を満たさない可能性がある。
電子カルテ(Electronic Medical Record、EMR)がテキスト情報抽出対象として使用されることを例とする。電子カルテに患者の病気および症状と、治療過程と、治療効果を記録している。確立された深層学習モデルに基づいて、電子カルテにおけるエンティティをマイニングして、エンティティ意味関係を分類する。しかし、エンティティ意味関係分類の確度が高くないため、過去の臨床情報をより効率的且つ正確に収集して履歴データとして使用し、医療上の意思決定をサポートすることができない。
図1を参照すると、図1は本願の一実施例に係る電子機器100の模式的な構成ブロック図である。電子機器100は、サーバーやパソコン(Personal Computer、PC)、タブレット、スマートフォン、パーソナルデジタルアシスタント(Personal Digital Assistant、PDA)などでもよいが、これらに限られない。電子機器100は、メモリ101とプロセッサ102と通信インターフェース103を有する。当該メモリ101とプロセッサ102と通信インターフェース103との間で、データの伝送または相互作用を実現するように、互いに直接的又は間接的に電気的に接続される。例えば、メモリ101とプロセッサ102と通信インターフェース103は、1つ又は複数の通信バス又は信号線で互いに電気的に接続される。メモリ101は、例えば、本願の実施例に係るエンティティ意味関係分類モデルトレーニング装置400に係るプログラム指令/モジュール、及びエンティティ意味関係分類装置500に係るプログラム指令/モジュールような、プログラム指令及びモジュールを格納する。プロセッサ102は、メモリ101に格納されたプログラム指令及びモジュールを実行することにより、様々の機能的アプリケーション及びデータ処理を実行する。当該通信インターフェース103は、他のノード装置とシグナリング又はデータの通信を行う。
ここで、メモリ101は、ランダムアクセスメモリ(Random Access Memory、RAM)や、読み出し専用メモリ(Read Only Memory、ROM)、プログラマブル読み出し専用メモリ(Programmable Read-Only Memory、PROM)、消去可能プログラマブル読み出し専用メモリ(Erasable Programmable Read-Only Memory、EPROM)、電気的消去可能プログラマブル読み出し専用メモリ(Electric Erasable Programmable Read-Only Memory、EEPROM)などでもよいが、これらに限られない。
プロセッサ102は、集積回路チップでもよく、信号処理能力を有する。当該プロセッサ102は、汎用プロセッサでもよく、中央処理装置(Central Processing Unit、CPU)、デジタル信号処理装置(Digital Signal Processing、DSP)、NPU(Neural-network Process Units,ニューラルネットワークプロセシングユニット)などを含むが、これらに限られない。当該プロセッサ102は、特定用途向け集積回路(Application Specific Integrated Circuit、ASIC)、現場プログラム可能ゲートアレイ(Field-Programmable Gate Array、FPGA)、又は、他のプログラマブルロジックデバイスやディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどでもよい。
図1に示す構成は、単に模式的な一例に過ぎず、電子機器100は、図1に示すものより多いか又は少ない要素を含み、或いは図1に示すものと異なる構成を有することが理解できる。図1に示す各構成要素は、ハードウェア、ソフトウェアまたはそれらの組合せで構成され得る。
以下、コーパスにおけるエンティティをマイニングして、エンティティ意味関係を分類することを例として、本願の実施例に係るエンティティ意味関係分類モデルをトレーニングする方法を説明し、トレーニング済みのエンティティ意味関係分類モデルによって、コーパスにおけるエンティティ意味関係を分類する。
一例として、図2を参照すると、図2は本願の一実施例に係るエンティティ意味関係分類モデルの模式的な構成図である。可能な実施形態として、当該エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワーク(BiGated Recurrent Unit(BiGRU)とアテンション(Attentionメカニズムとを組み合わせるモデルを使用してもよい。具体的には、当該エンティティ意味関係分類モデルは、BiGRUモデルの出力層の前に、アテンション層を加えるものである。
ここで、可能な実施形態として、当該BiGRU+Attentionモデル(即ち、エンティティ意味関係分類モデル)では、GRU層のレベルを1に設定し、GRU層におけるニューロン数が230である。実用化時に、ユーザーは、実際のニーズに応じて、GRU層のレベルを2層また他の値に設定し、それに対応して、GRU層におけるニューロン数を他の数に設定することもできる。本願の実施例は、一つの可能な実施形態を提供することに過ぎず、具体的な数を限定するものではない。
可能な実施形態として、当該BiGRU+Attentionモデルのドロップアウト(Dropout)パラメータを1に設定する。即ち、トレーニング時に、当該BiGRU+AttentionモデルにおけるGRU層の各ニューロンは破棄されない。勿論、実用化時に、ユーザーは、ニーズに応じて、Dropoutパラメータを他の値に設定して、GRU層のニューロンの一部を不活性化することを確定する。本願の実施例は、繰り返し実施することにより、1つの可能な実施形態を提供するが、具体的な数を限定するものではない。
本願の実施例における他のいくつかの形態では、当該エンティティ意味関係分類モデルは、例えばGRUモデルような他のモデルを使用してもよい。本願の実施例は、BiGRU+Attentionモデルを基に、説明される。
図3を参照すると、図3は、本願の一実施例に係るエンティティ意味関係分類モデルをトレーニングする方法の模式的なフローチャートである。当該エンティティ意味関係分類モデルをトレーニングする方法は、図1に示すような電子機器100に適用され、該電子機器100は、エンティティ意味関係分類モデルを利用して、コーパスにおけるエンティティ意味関係を分類する。当該エンティティ意味関係分類モデルをトレーニングする方法は、以下のステップを含む。
S201において、少なくとも一つのトレーニングサンプルを受信し、少なくとも1つのトレーニングサンプルにおける各トレーニングサンプルの第1のエンティティと第2のエンティティを識別する。
ここで、前記トレーニングサンプルは、1回に複数のトレーニングサンプルを受信してもよく、1回に1つのトレーニングサンプルを受信してもよい。ユーザーは、実用化時に実際のニーズによって調整できる。
S202において、各トレーニングサンプルにおける各単語と対応する第1のエンティティとの第1の位置距離、及び各トレーニングサンプルにおける各単語と対応する第2のエンティティとの第2の位置距離を取得する。
具体的に、ステップS202では、各トレーニングサンプルに対して、当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第1のエンティティとの第1の位置距離を取得し、及び当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第2のエンティティとの第2の位置距離を取得することを指す。
S203において、各トレーニングサンプルにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、各トレーニングサンプルに対応するモデル入力ベクトルを得る。
具体的に、S203では、各トレーニングサンプルに対して、当該トレーニングサンプルにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、当該トレーニングサンプルに対応するモデル入力ベクトルを得ることを指す。
ここで、各単語に対応する特徴ベクトルは、各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることにより得られるものである。各単語に対応する位置埋め込みベクトルは、各単語の第1の位置距離に対応するベクトルと各単語の第2の位置距離に対応するベクトルを含む。即ち、各単語に対して、当該単語に対応する特徴ベクトルは、当該単語に対応する単語ベクトルと位置埋め込みベクトルを組み合わせることにより得られるものであり、当該単語に対応する位置埋め込みベクトルは、当該単語の第1の位置距離に対応するベクトルと当該単語の第2の位置距離に対応するベクトルを含む。
S204において、各トレーニングサンプルに対応するモデル入力べクルトをエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルをトレーニングする。
エンティティ意味関係分類モデルをトレーニングする時に、全てのトレーニングサンプルをバッチでエンティティ意味関係分類モデルに入力する必要がある。各バッチに含まれるトレーニングサンプルの数はバッチサイズ(batch_size)と呼ばれ、各トレーニングサンプルが使用される回数はepochsと呼ばれる。
例示として、エンティティ意味関係分類モデルをトレーニングする時に、batch_sizeを50に設定し、epochsを100に設定するように、トレーニングパラメータを設定することができる。即ち、各トレーニングサンプルが使用される回数は100回であり、100回トレーニングされる度に、モデルを保存する。このトレーニングパラメータの意味は、毎回に、50個のトレーニングサンプルを使用して、エンティティ意味関係分類モデルをトレーニングし、且つ、各トレーニングサンプルが100回に使用され、100回トレーニングする度にエンティティ意味関係分類モデルを保存することである。
上記の例に従って、各バッチのトレーニングサンプルによりエンティティ意味関係分類モデルをトレーニングする時に、電子機器は、50個のトレーニングサンプルを受信し、各トレーニングサンプルの第1のエンティティと第2のエンティティを識別する必要がある。ここで、各トレーニングサンプルの第1のエンティティと第2のエンティティは、エンティティペアを構成する。
可能な実施形態として、トレーニングサンプルを使用してエンティティ意味関係分類モデルをトレーニングする前に、トレーニングサンプルにおける各エンティティはエンティティ識別子を有する。電子機器は各トレーニングサンプルのエンティティ識別子を識別して、各トレーニングサンプルの第1のエンティティと第2のエンティティを取得する。
トレーニングサンプルが電子カルテであるシナリオを例として、仮に1つのトレーニングサンプルが、
Figure 2022514842000002
であるとする。その中で、<e1></e1>を第1のエンティティの識別子として、<e2></e2>を第2のエンティティの識別子として使用する場合、電子機器は、当該トレーニングサンプルを受信すると、<e1></e1>を識別した結果、取得された第1のエンティティが「隆起」であり、タイプがsymptomであり、<e2></e2>を識別した結果、取得された第2のエンティティが「心率」であり、タイプがtestである。
本願の実施例における他のいくつかの形態では、別の手段でトレーニングサンプルの第1のエンティティと第2のエンティティを識別することもできる。例えば、1つのエンティティライブラリを予め設定し、エンティティライブラリに複数のエンティティを格納することで、当該予め設定されたエンティティライブラリに基づいて検索して、トレーニングサンプルを識別し、第1のエンティティと第2のエンティティを取得する。
例えば、上記の電子カルテのアプリケーションシナリオでは、単一のトレーニングサンプルにおいて各単語が第1のエンティティと第2のエンティティに対する位置が異なるので、第1のエンティティと第2のエンティティの両方のエンティティ意味関係タイプの識別に対して各単語の寄与も異なる。一般的に単語が2つのエンティティに近いほど、その単語は2つのエンティティのエンティティ意味関係タイプの識別に大きく貢献する可能性が高い。
そのため、本願の実施例では、位置埋め込みという概念を導入する。エンティティ意味関係分類モデルをトレーニングする時に、各トレーニングサンプルにおける各単語と対応する第1のエンティティとの第1の位置距離、及び各トレーニングサンプルにおける各単語と対応する第2のエンティティとの第2の位置距離を取得する。
そして、エンティティが通常複数の単語からなり、例えば、上記の例では「隆起」と「心率」からなるため、各トレーニングサンプルにおける各単語の第1の位置距離及び第2の位置距離を取得する時に、トレーニングサンプルにおける第1の位置距離及び第2の位置距離の計算基準を予め確定することができる。例えば、第1の位置距離を計算する時に、語順に従って第1のエンティティの最初の単語を第1の位置距離の計算基準として使用し、第2の位置距離を計算する時に、語順に従って第2のエンティティの最初の単語を第2の位置距離の計算基準として使用するように約束できる。
例えば、上記の例示的なトレーニングサンプルである、
Figure 2022514842000003
では、上記の第1の位置距離及び第2の位置距離を計算する基準によると、当該トレーニングサンプルにおいて、「心前区」の単語「前」の第1の位置距離が3であり、第2の位置距離が33であり、「心前区」の単語「区」の第1の位置距離が2であり、第2
の位置距離が32である。
異なる2つの単語が同一のエンティティに対する位置距離は、同じである可能性があるが、区別は、語順に従って、一方の単語が当該エンティティの前に位置し、他方の単語が当該エンティティの後に位置することである。例えば、上記の例示的なトレーニングサンプルでは、「心前区」の単語「区」と、第1のエンティティ「隆起」との第1の位置距離が2であり、「凹陷」の単語「凹」と、同じ第1のエンティティ「隆起」との第1の位置距離も2である。
そのため、可能な実施形態として、正の値と負の値で位置距離の方向を区別できる。語順に従って、エンティティの前の単語の位置距離を負の値で表し、エンティティの後の単語の位置距離を正の値で表す。例えば、上記例示では、語順に従って、「心前区」の単語「区」が第1のエンティティ「隆起」の前に位置し、「凹陷」の単語「凹」が第1のエンティティ「隆起」の後に位置する場合、単語「区」の第1の位置距離が-2であり、単語「凹」の第1の位置距離が2である。
他の可能な実施形態として、上記正の値と負の値で位置距離の方向を区別する上に、各位置距離の値にプリセット値を加算することにより各位置距離の値を正の値に変換することもできる。例えば、上記の例示的なトレーニングサンプルでは、プリセット値を68に設定すると、単語「区」の第1の位置距離が-2+68=66であり、単語「凹」の第1の位置距離が2+68=70である。
上記取得された各トレーニングサンプルにおける各単語の第1の位置距離と第2の位置距離に従って、単語をベクトルに変換するための単語ベクトルテーブル及び位置距離をベクトルに変換するための位置埋め込みベクトルテーブルによって、各単語をベクトル化して単語ベクトルを取得し、各第1の位置距離をベクトル化して位置埋め込みベクトルを取得し、各第2の位置距離をベクトル化して位置埋め込みベクトルを取得し、その後に各単語の単語ベクトルと、第1の位置距離に対応する位置埋め込みベクトルと、第2の位置距離に対応する位置埋め込みベクトルとを組み合わせて、各単語に対応する特徴ベクトルを得る。
例えば、上記の例示的なトレーニングサンプルでは、「心前区」の単語「前」を例として、仮に単語「前」をベクトル化して得られた単語ベクトルは[0.1、0.5、0.4、0.3]であり、単語「前」の第1の位置距離に対応するベクトルは[0.4、0.6]であり、第2の位置距離に対応するベクトルは[0.6、0.4]である場合、単語「前」に対応する特徴ベクトルは[0.1、0.5、0.4、0.3、0.4、0.6、0.6、0.4]である。
上記単語「前」をベクトル化して得た単語ベクトルが4次元のベクトル[0.1、0.5、0.4、0.3]であることはただ例示だけである。本願の実施例における他の形態では、電子機器に予め格納された他の次元の単語ベクトルテーブルを使用して、単語「前」をベクトル化して、異なる次元の単語ベクトルを得る。例えば、電子機器に予め格納された100次元の単語ベクトルテーブルを使用して、単語「前」をベクトル化して100次元の単語ベクトルを得る。
同様な理由に基づいて、上記第1の位置距離に対応するベクトルと第2の位置距離に対応するベクトルは何れも例示であり、2次元のものを使用したが、本願の実施例における他の形態では、電子機器に予め格納された他の次元の位置埋め込みベクトルテーブルを使用することもできる。例えば4次元の位置埋め込みベクトルテーブルを有する。
本願の実施例では、各単語に対応する特徴ベクトルを得た後、各トレーニングサンプルにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、各トレーニングサンプルに対応するモデル入力ベクトルを得る。可能な実施形態として、2次元マトリックス配列で各トレーニングサンプルに対応するモデル入力ベクトルを記録する。
例えば、上記の例示的なトレーニングサンプルでは、「心前区」の単語「心」に対応する特徴べクルトをモデル入力ベクトルの第1行として、「心前区」の単語「前」に対応する特徴べクルトをモデル入力ベクトルの第2行として、以下同様に、当該トレーニングサンプルにおける全ての単語に対応する特徴ベクトルを組み合わせて、当該トレーニングサンプルに対応するモデル入力ベクトルを得る。
これにより、組み合わせにより得た各トレーニングサンプルに対応するモデル入力ベクトルによって、各トレーニングサンプルに対応するモデル入力べクルトをエンティティ意味関係分類モデルの入力として使用して、エンティティ意味関係分類モデルをトレーニングする。
ここで、可能な実施形態として、モデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用する時に、複数のトレーニングサンプルのそれぞれに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として一緒に使用することもできる。例えば、上記トレーニングパラメータの設定によって、batch_sizeを50に設定すると、当該エンティティ意味関係分類モデルに、50個のトレーニングサンプルに対応するモデル入力ベクトルを1回に入力する。
例えば、上記エンティティ意味関係分類モデルに50個のトレーニングサンプルに対応するモデル入力ベクトルを1回に入力する例では、各モデル入力ベクトルは同じ次元を有する。例えば、100次元の単語べクルトと4次元の位置埋め込みベクトルを例として、トレーニングサンプル1のモデル入力ベクトルの次元数が70×108である場合、トレーニングサンプル2のモデル入力ベクトルの次元数も70×108である。ここで、70はトレーニングサンプルに70単語を含むことを表し、108は各単語に対応する特徴ベクトルに108個の要素を含むことを表す。この108個の要素に、単語べクルトの100個の要素と、第1の位置距離に対応する位置埋め込みベクトルの4つの要素と、第2の位置距離に対応する位置埋め込みベクトルの4つの要素とを含む。
また、複数のトレーニングサンプルをエンティティ意味関係分類モデルの入力として一緒に使用する場合、異なるトレーニングサンプルに含まれる単語の数が必ずしも同じではなく、例えば、トレーニングサンプル1に60単語を含み、トレーニングサンプル2に70単語を含み、トレーニングサンプル3に73単語を含むため、複数のトレーニングサンプルに対応するモデル入力ベクトルを統一化する必要がある。つまり、複数のトレーニングサンプルに対応するモデル入力ベクトルの次元数を統一する。例えば、モデル入力ベクトルの次元数を一様に70×108に設定する場合、トレーニングサンプル1における各単語に対応する特徴ベクトルを組み合わせて60×108次元のベクトルを得て、60<70である。トレーニングサンプル1の70単語より不足する部分に、例えば0ベクトルようなプリセットベクトルで充填することにより、トレーニングサンプル1に対応する70×108次元のモデル入力ベクトルを得ることができる。また、トレーニングサンプル3における各単語に対応する特徴ベクトルを組み合わせて、73×108次元のベクトルを得ると、73>70であるため、トレーニングサンプル3における70単語を超える部分を削除して、語順に従った前から70個単語に対応する特徴べクルトのみを保留することにより、トレーニングサンプル3に対応する70×108次元のモデル入力ベクトルを取得することができる。
可能な実施形態として、上記トレーニングサンプルは電子カルテを使用してもよく、且つ、トレーニングサンプルに対応するモデル入力ベクトルはn個の特徴ベクトルの組合せである。例えば、上記の例示では、モデル入力ベクトルの次元数を70×108に設定することは、当該モデル入力ベクトルに70単語に対応する特徴ベクトルを含み、各特徴ベクトルの次元数が108であることを表す。
ここで、可能な実施形態として、nは少なくとも1つの電子カルテ(即ち、上記トレーニングサンプル)に含まれる単語の平均数である。例えば、トレーニングサンプルとして合計50個の電子カルテを使用し、50個の電子カルテに含まれる単語の平均数が70である場合は、nは70になる。
本願の実施例における他の形態では、nを固定値に設定できると理解される。例えば、nを100に設定する。
本願の実施例における他の形態では、電子カルテ以外のコーパスをトレーニングサンプルとして使用してもよい。例えば、知能顧客サービス会話や問い合わせ情報などをトレーニングサンプルとして使用する。
他の可能な実施形態として、モデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用する時に、単一のトレーニングサンプルに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用することもできる。例えば、上記トレーニングパラメータの設定時に、batch_sizeを1に設定する場合、当該エンティティ意味関係分類モデルに、1つのトレーニングサンプルに対応するモデル入力ベクトルを1回に入力する。
以下、図2に示すエンティティ意味関係分類モデルを参照して、例えば、次元数が70×108であるモデル入力ベクトルのトレーニングプロセスについて、例を挙げて説明する。この時、図2に示すモデルでは、T=108であり、当該モデルの入力層は70×108次元のモデル入力ベクトルを取得し、モデル入力ベクトルは特徴埋め込み層によって前処理されてから、計算のためにGRU層に入力される。GRU層は、108個の予測エンティティ意味関係タイプをアテンション層に出力する。アテンション層は、取得した108個の予測エンティティ意味関係タイプにより、各予測エンティティ意味関係タイプの確率値を計算し、得られた108個の予測エンティティ意味関係タイプのうち確率値が最高であるエンティティ意味関係タイプを、当該トレーニングサンプルに対応するエンティティ意味関係タイプとして得る。
好ましくは、例えば、上記可能な実施形態のうちの1つでは、複数のトレーニングサンプルのそれぞれに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として一緒に使用し、エンティティ意味関係分類モデルをトレーニングする場合、トレーニング時に、エンティティ意味関係分類モデルは、各トレーニングサンプルの予測エンティティ意味関係タイプを提供する。例えば、上記の例示では、50個のトレーニングサンプルに対応するモデル入力ベクトルを入力する場合、エンティティ意味関係分類モデルは、50個のトレーニングサンプルのそれぞれに対応する予測エンティティ意味関係タイプを取得する。
図4を参照すると、図4は、図3に示すS204のサブステップの模式的なフローチャートである。可能な実施形態として、S204は以下のサブステップを含む。
S2041において、エンティティ意味関係分類モデルをトレーニングして得た各トレーニングサンプルの第1のエンティティと第2のエンティティの両方のエンティティ意味関係タイプを取得する。
ステップS2041は、各トレーニングサンプルに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルによって得られた各トレーニングサンプルに対応する予測エンティティ意味関係タイプを取得することである。予測エンティティ意味関係タイプは、各トレーニングサンプルにおける第1のエンティティと第2のエンティティの両方の予測されたエンティティ意味関係タイプである。
S2042において、各トレーニングサンプルにおけるエンティティ意味関係タイプと、各トレーニングサンプルに対応する第1のエンティティと第2のエンティティの予め格納されたエンティティ意味関係タイプとの偏差値を取得する。
ステップS2042は、各トレーニングサンプルに対応する予測エンティティ意味関係タイプと、プリセットされたエンティティ意味関係タイプとの偏差値を取得することである。プリセットされたエンティティ意味関係タイプは、各トレーニングサンプルに対応する第1のエンティティと第2のエンティティの両方の予め格納されたエンティティ意味関係タイプである。
S2043において、各トレーニングサンプルの偏差値の合計を取得する。
S2044において、偏差値の合計が第1の偏差しきい値を超えるかどうかを判定する。超えた場合、エンティティ意味関係分類モデルのパラメータを調整することで、エンティティ意味関係分類モデルをトレーニングする。一方、超えない場合、トレーニングは終了する。
例示として、クロスエントロピー関数で各トレーニングサンプルの偏差値を計算する。例えば、各トレーニングサンプルに対応する予測エンティティ意味関係タイプとプリセットされたエンティティ意味関係タイプを当該クロスエントロピー関数の入力として使用し、各トレーニングサンプルに対応して得られたクロスエントロピー関数値を各トレーニングサンプルに対応する偏差値として使用する。そして、1回のトレーニング過程において、各トレーニングサンプルの偏差値を合計して、当該トレーニング過程における各トレーニングサンプルの偏差値の合計を取得する。当該偏差値の合計は、当該トレーニング過程の全体の偏差値を表す。例えば、上記batch_sizeを50に設定する例では、当該偏差値の合計は、50個のトレーニングサンプルの偏差値を合計する計算結果である。偏差値の合計が第1の偏差しきい値を超えた場合、当該トレーニング過程の全体の偏差値が高く、エンティティ意味関係分類モデルによって予測されたエンティティ意味関係タイプと、実際のエンティティ意味関係タイプとの差異が大きいことを表す。エンティティ意味関係分類モデルのパラメータを調整することで、エンティティ意味関係分類モデルをトレーニングする。逆に、偏差値の合計が第1の偏差しきい値を超えない場合、エンティティ意味関係分類モデルによって予測されたエンティティ意味関係タイプが、実際のエンティティ意味関係タイプに近いことを表す。当該トレーニング結果はトレーニングの要求を満たしているため、モデルトレーニングが終了すると判定する。
上記トレーニング過程は、エンティティ意味関係分類モデルの一回トレーニングの全体のばらつきによって、エンティティ意味関係分類モデルのパラメータを調整することである。他の可能な実施形態として、単一トレーニングトレーニングサンプルの出力結果によって、エンティティ意味関係分類モデルのパラメータを調整することもできる。
図5を参照すると、図5は、図3に示すS204のサブステップの他の模式的なフローチャートである。S204は以下のサブステップを含んでもよい。
S2041において、エンティティ意味関係分類モデルをトレーニングして得た各トレーニングサンプルの第1のエンティティと第2のエンティティの両方のエンティティ意味関係タイプを取得する。
S2042において、各トレーニングサンプルにおけるエンティティ意味関係タイプと、各トレーニングサンプルに対応する第1のエンティティと第2のエンティティの予め格納されたエンティティ意味関係タイプとの偏差値を取得する。
S2045において、目標トレーニングサンプルの偏差値が第2の偏差しきい値を超えるかどうかを判定する。超えた場合、エンティティ意味関係分類モデルのパラメータを調整することで、エンティティ意味関係分類モデルをトレーニングする。超えない場合、トレーニングが終了する。
例えば、上記例示では、クロスエントロピー関数で各トレーニングサンプルの偏差値を計算する。エンティティ意味関係分類モデルに入力された全てのトレーニングサンプルの中から、目標トレーニングサンプルを確定する。目標トレーニングサンプルの偏差値が第2の偏差しきい値を超えた場合、当該トレーニング結果がトレーニング要求を満たしていないことを表す。この時、エンティティ意味関係分類モデルのパラメータを調整することで、当該エンティティ意味関係分類モデルをトレーニングする。逆に、目標トレーニングサンプルの偏差値が第2の偏差しきい値を超えない場合、当該トレーニング結果がトレーニング要求を満たしていることを表し、モデルトレーニングが終了すると判定する。
ここで、目標トレーニングサンプルは、エンティティ意味関係分類モデルに入力された全てのトレーニングサンプルのいずれか1つでもよく、偏差値が第2の偏差しきい値を超えたいずれか1つのトレーニングサンプルでもよく、またはエンティティ意味関係分類モデルに入力された全てのトレーニングサンプルを順番にトラバースして、各トレーニングサンプルを目標トレーニングサンプルとして判定を行う。本願の実施例における他の形態では、モデルに入力された全てのトレーニングサンプルの中偏差値が最大のトレーニングサンプルを目標トレーニングサンプルとして使用してもよい。
図4に示す形態は、1回トレーニングの全体の偏差値によって、エンティティ意味関係分類モデルのパラメータを調整することであり、図5に示す形態は、単一トレーニングトレーニングサンプルの出力結果によって、エンティティ意味関係分類モデルのパラメータを調整することである。具体的にエンティティ意味関係分類モデルのパラメータを調整する時に、ユーザーは実際のニーズに応じて異なる手段を使用することができる。
可能な実施形態として、本願の実施例では、エンティティ意味関係分類モデルが、図2に示すようなBiGRU+Attentionモデルである場合、エンティティ意味関係分類モデルのパラメータを調整することでエンティティ意味関係分類モデルをトレーニングする時に、BiGRU+AttentionモデルのGRU層の重み係数と、オフセット係数と、アテンション層のアテンションマトリックスを調整することにより、エンティティ意味関係分類モデルをトレーニングする目的を実現する。
以下、コーパスにおけるエンティティをマイニングして、エンティティ意味関係を分類することを例として、上記エンティティ意味関係分類モデルのトレーニング方法でトレーニングして得たエンティティ意味関係分類モデルを基づいて、本願の実施例に係るエンティティ意味関係分類方法を説明する。
図6を参照すると、図6は、本願の一実施例に係るエンティティ意味関係分類方法の模式的なフローチャートである。当該エンティティ意味関係分類方法は、図1に示すような電子機器に適用され、以下のステップを含む。
S301において、コーパスにおける第1のエンティティと第2のエンティティを確定する。
S302において、コーパスにおける各単語と第1のエンティティとの第1の位置距離、及びコーパスにおける各単語と第2のエンティティとの第2の位置距離を取得する。
S303において、コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、コーパスに対応するモデル入力ベクトルを取得する。各単語に対応する特徴ベクトルは、コーパスにおける各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものである。各単語に対応する位置埋め込みベクトルは、各単語の第1の位置距離に対応するベクトルと各単語の第2の位置距離に対応するベクトルとを含む。
S304において、コーパスに対応するモデル入力ベクトルをプリセットされたエンティティ意味関係分類モデルの入力として使用し、第1のエンティティと第2のエンティティの両方のエンティティ意味関係タイプを確定する。
ステップS304は、コーパスに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、第1のエンティティと第2のエンティティの両方のエンティティ意味関係タイプを確定することである。
可能な実施形態として、当該コーパスは電子カルテを使用することができる。例えば、電子カルテの
Figure 2022514842000004
をコーパスとして例を挙げて、上記エンティティ意味関係分類方法を説明する。
電子機器が当該コーパスのエンティティペア間のエンティティ意味関係タイプを取得する時、可能な実施形態として、当該コーパスに含まれるエンティティ識別子の「<e1></e1>」と「<e2></e2>」によって、当該コーパスにおける第1のエンティティが「隆起」であり、第2のエンティティが「心率」であると確定する。
又は、他の可能な実施形態として、電子機器にプリセットされたエンティティライブラリを使用することもできる。エンティティライブラリに複数のエンティティを予め格納することによって、当該プリセットされたエンティティライブラリに基づいて検索することで、当該コーパスを識別して、上記の第1のエンティティ「隆起」と第2のエンティティ「心率」を取得する。
本願の実施例では、当該コーパスにおける各単語と、第1のエンティティの「隆起」との位置距離、及び各単語と第2のエンティティの「心率」との距離によって、各単語と第1のエンティティとの第1の位置距離、及び各単語と第2のエンティティとの第2の位置距離を取得する。これによって、各単語に対応する単語ベクトルと、各単語の第1の位置距離に対応するベクトルと、各単語の第2の位置距離に対応するベクトルとを組み合わせて、各単語に対応する特徴ベクトルを取得する。そして、コーパスにおける全ての単語に対応する特徴ベクトルを組み合わせて、当該コーパスに対応するモデル入力ベクトルを取得する。当該モデル入力ベクトルを電子機器中のエンティティ意味関係分類モデルの入力として使用し、当該コーパスの第1のエンティティ「隆起」と第2のエンティティ「心率」の両方のエンティティ意味関係タイプを確定する。
上記設計に基づいて、本願の実施例に係るエンティティ意味関係分類モデルのトレーニング方法では、コーパスにおける第1のエンティティと第2のエンティティを取得して、コーパスにおける各単語と第1のエンティティとの第1の位置距離、及びコーパスにおける各単語と第2のエンティティとの第2の位置距離によって、各単語に対応する特徴ベクトルを取得して、コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、当該コーパスに対応するモデル入力ベクトルを取得することによって、当該コーパスに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、当該コーパスに対応するエンティティ意味関係タイプを取得する。従来技術と比較して、エンティティ意味関係分類の確度を向上できる。
一例として、図7を参照すると、図7は、図6に示すS303のサブステップの模式的なフローチャートである。可能な実施形態として、S303は以下のサブステップを含む。
S3031において、コーパスにおける各単語に対応する単語ベクトルと、各単語の第1の位置距離及び第2の位置距離のそれぞれに対応する第1の位置埋め込みベクトル及び第2の位置埋め込みベクトルとを取得する。
ステップS3031は、コーパスにおける各単語に対応する単語ベクトルを取得し、各単語の第1の位置距離に対応する第1の位置埋め込みベクトルと、各単語の第2の位置距離に対応する第2の位置埋め込みベクトルとを取得することである。
S3032において、各単語に対応する単語ベクトルと、第1の位置埋め込みベクトルと第2の位置埋め込みベクトルを組み合わせて、各単語に対応する特徴ベクトルを取得する。
S3033において、コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、コーパスに対応するモデル入力ベクトルを取得する。
電子機器がコーパスに対応するモデル入力ベクトルを取得する時に、上記コーパスである
Figure 2022514842000005
を例とする。まず、当該コーパスにおける各単語に対応する特徴ベクトルを取得する。「心前区」の単語「心」を例として、単語「心」をベクトル化して単語ベクトルを取得し、単語「心」と第1のエンティティ「隆起」との第1の位置距離をベクトル化して第1の位置埋め込みベクトルを取得し、単語「心」と第2のエンティティの「心率」との第2の位置距離をベクトル化して第2の位置埋め込みベクトルを取得する。単語「心」に対応する単語ベクトルと、第1の位置埋め込みベクトルと、第2の位置埋め込みベクトルとを組み合わせて、単語「心」に対応する特徴ベクトルを取得する。
同様に、上記単語「心」のような方法に応じて、当該コーパスにおける各単語に対して、各単語に対応する特徴ベクトルを取得し、その後に上記モデルをトレーニングするステップにおいてトレーニングサンプルに対応するモデル入力ベクトルを取得する方法に従って、当該コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、当該コーパスに対応するモデル入力ベクトルを得る。
一例として、図8を参照すると、図8は、図7に示すS3031のサブステップの模式的なフローチャートである。可能な実施形態として、S3031は以下のサブステップを含む。
S30311において、位置埋め込みベクトルテーブルを取得する。
S30312において、位置埋め込みベクトルテーブルでは、第1の位置距離及び第2の位置距離のそれぞれに対応する第1の位置埋め込みベクトル及び第2の位置埋め込みベクトルをそれぞれ確定する。
ステップS30312は、位置埋め込みベクトルテーブルでは、各単語の第1の位置距離に対応する第1の位置埋め込みベクトル及び各単語の第2の位置距離に対応する第2の位置埋め込みベクトルをそれぞれ確定することである。
本願の実施例では、電子機器に位置距離と位置埋め込みベクトルとの対応関係を有する位置埋め込みベクトルテーブルを格納している。当該位置埋め込みベクトルテーブルによって、第1の位置距離を第1の位置埋め込みベクトルに変換でき、第2の位置距離を第2の位置埋め込みベクトルに変換できる。
例えば、当該位置埋め込みベクトルテーブルはm×n次元のベクトルである。位置埋め込みベクトルテーブルにおける各列の要素が1つの具体的な位置埋め込みベクトルを構成する。第1の位置距離と第2の位置距離の具体的な値により、当該位置埋め込みベクトルテーブルで対応する列番号をクエリする。第1の位置距離に対応する列における全ての要素を当該第1の位置距離に対応する第1の位置埋め込みベクトルとして使用し、第2の位置距離に対応する列における全ての要素を当該第2の位置距離に対応する第2の位置埋め込みベクトルとして使用する。例えば、第1の位置距離が「3」である場合、当該位置埋め込みベクトルテーブルの第3列をクエリして、当該位置埋め込みベクトルテーブルの第3列に含まれる全ての要素を第1の位置埋め込みベクトルとする。第2の位置距離が「33」である場合、当該位置埋め込みベクトルテーブルの第33列をクエリして、当該位置埋め込みベクトルテーブルの第33列に含まれる全ての要素を第2の位置埋め込みベクトルとする。
本願の実施例における他の形態では、位置距離値で位置埋め込みベクトルを直接に表すこともできる。例えば、上記の例示では、第1の位置距離が「3」であり、第2の位置距離が「33」である場合、第1の位置埋め込みベクトルが「3」であり、第2の位置埋め込みベクトルが「33」である。
本願の実施例では、位置距離値で位置埋め込みベクトルを直接に表すことは、1次元ベクトルで位置埋め込みベクトルを表す方法と見なすことができる。
可能な実施形態として、当該位置埋め込みベクトルテーブルは、上記エンティティ意味関係分類モデルによりコーパスにおける第1のエンティティと第2のエンティティの両方のエンティティ意味関係タイプを識別する前に、バックプロパゲーション(Back Propagation,BP)アルゴリズムで生成されるものである。
例えば、BPアルゴリズムで位置埋め込みベクトルテーブルを生成する時に、ランダムに生成された初期ベクトルテーブルを、BPアルゴリズムにより連続的に最適化して、当該位置埋め込みベクトルテーブルを取得する。
Figure 2022514842000006
最適化中に、まず、複数の初期ベクトルテーブルを初期サンプルとして、それぞれに対応するサンプルラベルを入力として、隠れ層の各ニューロンの入力と出力を計算する。そして、ネットワークの期待される出力と実際出力によって、出力層の各ニューロンに対する誤差関数の偏導関数δ(m)を計算する。隠れ層から出力層までの接続重み値と、出力層の偏導関数δ(m)と、隠れ層の出力によって、隠れ層の各ニューロンに対する誤差関数の偏導関数δ(m)aを計算する。出力層の各ニューロンの偏導関数δ(m)と隠れ層の各ニューロンの出力によって、接続重み値wを修正し、隠れ層の各ニューロンの偏導関数δ(m)aと入力層の各ニューロンの入力によって、接続重み値wを修正する。そして、毎回のサイクル中に、出力層の結果に対して、グローバルエラー
Figure 2022514842000007
を計算し、ここで、サンプル数k=1,2,…,m、d(k)はk個目のサンプルの期待される出力を表し、y(k)はk個目のサンプルの実際の出力を表し、o=1,2,3…,q、qは出力層のニューロンの数を表し、mは1回のトレーニングにおけるトレーニングサンプルの合計数を表す。グローバルエラーがプリセットしきい値より小さい場合、学習を停止して、最後の学習での出力層の出力結果を位置埋め込みベクトルテーブルとする。または、グローバルエラーがプリセットしきい値以上であるが、学習回数が20000回に達した場合も、学習を停止して、最後の学習での出力層の出力結果を位置埋め込みベクトルテーブルとする。
図9を参照すると、図9は、本願の一実施例に係るエンティティ意味関係分類モデルトレーニング装置400の模式的な構成図であり、このエンティティ意味関係分類モデルトレーニング装置400は、エンティティ意味関係分類モデルを予め設置している電子機器に適用される。当該エンティティ意味関係分類モデルトレーニング装置400は、受送信モジュール401と、第2の処理モジュール402と、トレーニングモジュール403と有する。
受送信モジュール401は、少なくとも1つのトレーニングサンプルを受信し、少なくとも1つのトレーニングサンプルにおける各トレーニングサンプルの第1のエンティティと第2のエンティティを識別するために用いられる。
第2の処理モジュール402は、各トレーニングサンプルに対して、当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第1のエンティティとの第1の位置距離を取得し、及び当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第2のエンティティとの第2の位置距離を取得するために用いられる。
第2の処理モジュール402は、各トレーニングサンプルにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、各トレーニングサンプルに対応するモデル入力ベクトルを取得するためにも用いられる。各単語に対応する特徴ベクトルは、各トレーニングサンプルにおける各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものである。各単語に対応する位置埋め込みベクトルは、各単語の第1の位置距離に対応するベクトルと各単語の第2の位置距離に対応するベクトルとを含む。
トレーニングモジュール403は、各トレーニングサンプルに対応するモデル入力べクルトをエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルをトレーニングするために用いられる。
好ましく、可能な実施形態として、トレーニングモジュール403は、具体的に、
各トレーニングサンプルに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルによって得られた各トレーニングサンプルに対応する予測エンティティ意味関係タイプを取得し、予測エンティティ意味関係タイプは、各トレーニングサンプルにおける第1のエンティティと第2のエンティティの両方の予測されたエンティティ意味関係タイプであり、
各トレーニングサンプルに対応する予測エンティティ意味関係タイプとプリセットされたエンティティ意味関係タイプとの偏差値を取得し、プリセットされたエンティティ意味関係タイプは、各トレーニングサンプルに対応する第1のエンティティと第2のエンティティの両方の予め格納されたエンティティ意味関係タイプであり、
各トレーニングサンプルの偏差値の合計を取得し、
偏差値の合計が第1の偏差しきい値を超えた場合、エンティティ意味関係分類モデルのパラメータを調整することで、エンティティ意味関係分類モデルをトレーニングする、
ために用いられる。
好ましく、他の可能な実施形態として、トレーニングモジュール403は、具体的に、
各トレーニングサンプルに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルによって得られた各トレーニングサンプルに対応する予測エンティティ意味関係タイプを取得し、予測エンティティ意味関係タイプは、各トレーニングサンプルにおける第1のエンティティと第2のエンティティの両方の予測されたエンティティ意味関係タイプであり、
各トレーニングサンプルに対応する予測エンティティ意味関係タイプとプリセットされたエンティティ意味関係タイプとの偏差値を取得し、プリセットされたエンティティ意味関係タイプは、各トレーニングサンプルに対応する第1のエンティティと第2のエンティティの両方の予め格納されたエンティティ意味関係タイプであり、
少なくとも1つのトレーニングサンプルにおける目標トレーニングサンプルの偏差値が第2の偏差しきい値を超える度に、目標トレーニングサンプルの偏差値によって、エンティティ意味関係分類モデルのパラメータを調整することで、エンティティ意味関係分類モデルをトレーニングする、
ためにも用いられる。
好ましく、可能な実施形態として、エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワークBiGRUとアテンション(Attention)のメカニズムとを組み合わせるものであり、トレーニングモジュール403は、具体的に、
エンティティ意味関係分類モデルのGRU層の重み係数とオフセット係数とアテンション層のアテンションマトリックスを調整する、ために用いられる。
好ましく、可能な実施形態として、トレーニング時に、エンティティ意味関係分類モデルのGRU層の各ニューロンが破棄されない。
好ましく、可能な実施形態として、エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワークBiGRUとアテンション(Attention)のメカニズムとを組み合わせるものであり、
少なくとも1つのトレーニングサンプルは、少なくとも1つの電子カルテであり、トレーニングサンプルに対応するモデル入力ベクトルはn個の特徴ベクトルの組み合わせであり、ここで、nは少なくとも1つの電子カルテに含まれる単語の平均数である。
図10を参照すると、図10は、本願の一実施例に係るエンティティ意味関係分類装置500の模式的な構成図である。それは、エンティティ意味関係分類モデルを予め設置している電子機器に適用される。当該エンティティ意味関係分類装置500は、第1の処理モジュール501と識別モジュール502を有する。
第1の処理モジュール501は、コーパスにおける第1のエンティティと第2のエンティティを確定するために用いられる。
第1の処理モジュール501は、コーパスにおける各単語と第1のエンティティとの第1の位置距離、及びコーパスにおける各単語と第2のエンティティとの第2の位置距離を取得するためにも用いられる。
識別モジュール502は、コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、コーパスに対応するモデル入力ベクトルを取得するために用いられる。各単語に対応する特徴ベクトルは、コーパスにおける各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものである。各単語に対応する位置埋め込みベクトルは、各単語の第1の位置距離に対応するベクトルと各単語の第2の位置距離に対応するベクトルとを含む。
好ましく、可能な実施形態として、第1の処理モジュール501は、具体的に、
コーパスおける各単語に対応する単語ベクトルを取得し、各単語の第1の位置距離に対応する第1の位置埋め込みベクトルと、各単語の第2の位置距離に対応する第2の位置埋め込みベクトルとを取得し、
コーパスにおける各単語に対応する単語ベクトルと、第1の位置埋め込みベクトルと、第2の位置埋め込みベクトルを組み合わせて、各単語に対応する特徴ベクトルを取得し、
コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、コーパスに対応するモデル入力ベクトルを取得する、
ために用いられる。
好ましく、可能な実施形態として、第1の処理モジュール501は、具体的に、
位置距離と位置埋め込みベクトルとの対応関係を記録する位置埋め込みベクトルテーブルを取得し、
位置埋め込みベクトルテーブルでは、各単語の第1の位置距離に対応する第1の位置埋め込みベクトル及び各単語の第2の位置距離に対応する第2の位置埋め込みベクトルをそれぞれ確定する、
ために用いられる。
好ましく、可能な実施形態として、エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワークBiGRUとアテンション(Attention)のメカニズムとを組み合わせるものであり、コーパスは電子カルテである。
本願の1つの実施例は電子機器を提供する。当該電子機器は、メモリとプロセッサを有する。
ここで、メモリは、1つまたは複数のプログラムとプリセットされたエンティティ意味関係分類モデルを格納するために用いられる。
1つまたは複数のプログラムがプロセッサによって実行されると、
少なくとも1つのトレーニングサンプルを受信し、少なくとも1つのトレーニングサンプルにおける各トレーニングサンプルの第1のエンティティと第2のエンティティを識別することと、
各トレーニングサンプルに対して、当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第1のエンティティとの第1の位置距離を取得し、及び当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第2のエンティティとの第2の位置距離を取得することと、
各トレーニングサンプルにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、各トレーニングサンプルに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものであり、各単語に対応する位置埋め込みベクトルは、各単語の第1の位置距離に対応するベクトルと各単語の第2の位置距離に対応するベクトルとを含むことと、
各トレーニングサンプルに対応するモデル入力べクルトをエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルをトレーニングすることと、
実現する。
好ましく、1つまたは複数のプログラムがプロセッサによって実行されると、具体的に、
各トレーニングサンプルに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルによって得られた各トレーニングサンプルに対応する予測エンティティ意味関係タイプを取得し、予測エンティティ意味関係タイプは、各トレーニングサンプルにおける第1のエンティティと第2のエンティティの両方の予測されたエンティティ意味関係タイプであることと、
各トレーニングサンプルに対応する予測エンティティ意味関係タイプとプリセットされたエンティティ意味関係タイプとの偏差値を取得し、プリセットされたエンティティ意味関係タイプは、各トレーニングサンプルに対応する第1のエンティティと第2のエンティティの両方の予め格納されたエンティティ意味関係タイプであることと、
各トレーニングサンプルの偏差値の合計を取得することと、
偏差値の合計が第1の偏差しきい値を超えた場合、エンティティ意味関係分類モデルのパラメータを調整することで、エンティティ意味関係分類モデルをトレーニングすることと、
を実現する。
好ましく、1つまたは複数のプログラムがプロセッサによって実行されると、具体的に、
各トレーニングサンプルに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルによって得られた各トレーニングサンプルに対応する予測エンティティ意味関係タイプを取得し、予測エンティティ意味関係タイプは、各トレーニングサンプルにおける第1のエンティティと第2のエンティティの両方の予測されたエンティティ意味関係タイプであることと、
各トレーニングサンプルに対応する予測エンティティ意味関係タイプとプリセットされたエンティティ意味関係タイプとの偏差値を取得し、プリセットされたエンティティ意味関係タイプは、各トレーニングサンプルに対応する第1のエンティティと第2のエンティティの両方の予め格納されたエンティティ意味関係タイプであることと、
少なくとも1つのトレーニングサンプルにおける目標トレーニングサンプルの偏差値が第2の偏差しきい値を超える度に、エンティティ意味関係分類モデルのパラメータを調整することでエンティティ意味関係分類モデルをトレーニングすることと、
を実現する。
好ましく、エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワークBiGRUとアテンション(Attention)のメカニズムとを組み合わせるものであり、
1つまたは複数のプログラムがプロセッサによって実行されると、具体的に、
エンティティ意味関係分類モデルのGRU層の重み係数とオフセット係数とアテンション層のアテンションマトリックスを調整すること、を実現する。
好ましく、トレーニング時に、エンティティ意味関係分類モデルのGRU層の各ニューロンは破棄されない。
好ましく、エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワークBiGRUとアテンション(Attention)のメカニズムとを組み合わせたものであり、
少なくとも1つのトレーニングサンプルは、少なくとも1つの電子カルテでり、トレーニングサンプルに対応するモデル入力ベクトルはn個の特徴ベクトルの組合せであり、ここで、nは少なくとも1つの電子カルテに含まれる単語の平均数である。
本願の1つの実施例は電子機器を提供する。当該電子機器は、メモリとプロセッサを有する。
ここで、メモリは、1つまたは複数のプログラムとプリセットされたエンティティ意味関係分類モデルを格納するために用いられる。
1つまたは複数のプログラムがプロセッサによって実行されると、
コーパスにおける第1のエンティティと第2のエンティティを確定することと、
コーパスにおける各単語と第1のエンティティとの第1の位置距離、及びコーパスにおける各単語と第2のエンティティとの第2の位置距離を取得することと、
コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、コーパスに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、コーパスにおける各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものであり、各単語に対応する位置埋め込みベクトルは、各単語の第1の位置距離に対応するベクトルと各単語の第2の位置距離に対応するベクトルとを含むことと、
コーパスに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、第1のエンティティと第2のエンティティの両方のエンティティ意味関係タイプを確定することと、
を実現する。
好ましく、1つまたは複数のプログラムがプロセッサによって実行されると、具体的に、
コーパスおける各単語に対応する単語ベクトルを取得し、各単語の第1の位置距離に対応する第1の位置埋め込みベクトルと、各単語の第2の位置距離に対応する第2の位置埋め込みベクトルとを取得することと、
コーパスにおける各単語に対応する単語ベクトルと、第1の位置埋め込みベクトルと、第2の位置埋め込みベクトルを組み合わせて、各単語に対応する特徴ベクトルを取得することと、
コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、コーパスに対応するモデル入力ベクトルを取得することと、
を実現する。
好ましく、1つまたは複数のプログラムがプロセッサによって実行されると、具体的に、
位置距離と位置埋め込みベクトルとの対応関係を記録する位置埋め込みベクトルテーブルを取得することと、
位置埋め込みベクトルテーブルでは、各単語の第1の位置距離に対応する第1の位置埋め込みベクトル及び各単語の第2の位置距離に対応する第2の位置埋め込みベクトルをそれぞれ確定することと、
を実現する。
好ましく、エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワークBiGRUとアテンション(Attention)のメカニズムとを組み合わせたものであり、コーパスは電子カルテである。
本願の1つの実施例は、コンピュータープログラムとプリセットされたエンティティ意味関係分類モデルを格納しているコンピューター可読記憶媒体を提供する。当該コンピュータープログラムがプロセッサによって実行されると、
コーパスにおける第1のエンティティと第2のエンティティを確定することと、
コーパスにおける各単語と第1のエンティティとの第1の位置距離、及びコーパスにおける各単語と第2のエンティティとの第2の位置距離を取得することと、
コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、コーパスに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、コーパスにおける各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものであり、各単語に対応する位置埋め込みベクトルは、各単語の第1の位置距離に対応するベクトルと各単語の第2の位置距離に対応するベクトルとを含むことと、
コーパスに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、第1のエンティティと第2のエンティティの両方のエンティティ意味関係タイプを確定することと、
を実現する。
本願の1つの実施例は、コンピュータープログラムとプリセットされたエンティティ意味関係分類モデルを格納しているコンピューター可読記憶媒体を提供する。当該コンピュータープログラムがプロセッサによって実行されると、
少なくとも1つのトレーニングサンプルを受信し、少なくとも1つのトレーニングサンプルにおける各トレーニングサンプルの第1のエンティティと第2のエンティティを識別することと、
各トレーニングサンプルに対して、当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第1のエンティティとの第1の位置距離を取得し、および当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第2のエンティティとの第2の位置距離を取得することと、
各トレーニングサンプルにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、各トレーニングサンプルに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものであり、各単語に対応する位置埋め込みベクトルは、各単語の第1の位置距離に対応するベクトルと各単語の第2の位置距離に対応するベクトルとを含むことと、
各トレーニングサンプルに対応するモデル入力べクルトをエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルをトレーニングすることと、
を実現する。
本願の1つの実施例は、コンピュータープログラムを提供する。当該コンピュータープログラムがプロセッサによって実行されると、
コーパスにおける第1のエンティティと第2のエンティティを確定することと、
コーパスにおける各単語と第1のエンティティとの第1の位置距離、及びコーパスにおける各単語と第2のエンティティとの第2の位置距離を取得することと、
コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、コーパスに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、コーパスにおける各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものであり、各単語に対応する位置埋め込みベクトルは、各単語の第1の位置距離に対応するベクトルと各単語の第2の位置距離に対応するベクトルとを含むことと、
コーパスに対応するモデル入力ベクトルをプリセットされたエンティティ意味関係分類モデルの入力として使用し、第1のエンティティと第2のエンティティの両方のエンティティ意味関係タイプを確定することと、
を実現する。
本願の1つの実施例は、コンピュータープログラムも提供する。当該コンピュータープログラムがプロセッサによって実行されると、
少なくとも1つのトレーニングサンプルを受信し、少なくとも1つのトレーニングサンプルにおける各トレーニングサンプルの第1のエンティティと第2のエンティティを識別することと、
各トレーニングサンプルに対して、当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第1のエンティティとの第1の位置距離を取得し、及び当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第2のエンティティとの第2の位置距離を取得することと、
各トレーニングサンプルにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、各トレーニングサンプルに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、各単語に対応する単語ベクトルと位置埋め込みベクトルを組み合わせて取得するものであり、各単語に対応する位置埋め込みベクトルは、各単語の第1の位置距離に対応するベクトルと各単語の第2の位置距離に対応するベクトルを含むことと、
各トレーニングサンプルに対応するモデル入力べクルトをプリセットされたエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルをトレーニングすることと、
を実現する。
本願に係わる実施例では、開示された装置及び方法は、他の形態で実現されることもできる。上記説明された装置の実施例はただ例示だけである。例えば、図面におけるフローチャート及びブロック図は、本願の実施例による装置、方法、コンピュータープログラム製品の実現可能なアーキテクチャや、機能や、操作を示す。この点に関して、フローチャートやブロック図における各ブロックは、予定されるロジック機能を実現するための1つまたは複数の実行可能コマンドを含む、モジュール、プログラムセグメント、又はコードの一部を表す。いくつかの代替の実施形態では、ブロックでマークされる機能も、図面でマークされるものと異なる順序で発揮できることにも注意する必要がある。例えば、連続する2つのブロックは、実際に並行して実行される場合があり、逆順に実行される場合もあり、関連する機能によって決定できる。ブロック図及び/又はフローチャートにおける各ブロック、並びにブロック図及び/又はフローチャートにおけるブロックの組み合わせは、所定の機能や動作を実行するための専用のハードウエアによるシステムによって実現されてもよく、或いは専用のハードウエアとコンピューターコマンドとの組み合わせによって実現されてもよいことにも注意する必要がある。
また、本願の実施例における各機能モジュールが統合されて独立した部分を形成してもよく、各モジュールが単独で存在してもよく、2つ以上のモジュールが統合されて独立した部分を形成してもよい。
機能は、ソフトウエア機能モジュールによって実現され、且つ独立した製品として販売また使用される場合、コンピューター可読記憶媒体に記憶されることができる。この理解に基づいて、本願の技術案の本質的に先行技術に寄与する部分または当該技術案の一部は、ソフトウエア製品の形で具体化することができる。当該ソフトウエア製品は、記憶媒体に記憶され、1つのコンピューターデバイス(パソコン、サーバー、又はネットワーク装置などでもよい)に本願の実施例の方法のステップの全てまたは一部を実行させるためのいくつかのコマンドを含む。上記記憶媒体は、USBフラッシュディスク、読み出し専用メモリ(ROM,Read-Only Memory)、ランダムアクセスメモリ(Random Access Memory、RAM)、磁気ディスク、または光ディスクなどのプログラムコードを記憶できる媒体を含む。
上記のように、本願の実施例に係るエンティティ意味関係分類方法、モデルのトレーニング方法、装置、電子機器、記憶媒体、及びコンピュータープログラムは、コーパスにおける第1のエンティティと第2のエンティティを取得し、コーパスにおける各単語と第1のエンティティとの第1の位置距離、及び各単語と第2のエンティティとの第2の位置距離によって、各単語に対応する特徴ベクトルを取得し、そしてコーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、当該コーパスに対応するモデル入力ベクトルを取得することにより、コーパスに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、当該コーパスに対応するエンティティ意味関係タイプを得る。従来技術と比べて、エンティティ意味関係分類の確度を向上させることができる。
以上、本願の好ましい実施例にすぎず、本願を限定するためのものではない。当業者にとって、本願は種々な修正及び変更を行うことができる。本願の主旨及び原則を逸脱しない範囲でなされるいかなる修正、均等の代替、改良などは、いずれも本願の保護範囲内に含まれるべきである。
当業者にとって、本願が上記の例示する実施例の詳細に限定されず、本願の主旨及び基本的特徴を逸脱しない場合、他の具体的な形態で実現できることは明らかである。したがって、どの観点から見ても、実施例を例示的で非限定的であると見なすべきである。本願の保護範囲は、上記の説明ではなく、特許請求の範囲によって限定される。そのため、クレームと同等の要素の意味及び範囲内における全ての変更が本願に含まれることを意図する。クレーム内のいかなる符号を当該クレームを限定するものと見なすべきではない。

Claims (15)

  1. エンティティ意味関係分類モデルを予め設置している電子機器に適用されるエンティティ意味関係分類方法であって、
    コーパスにおける第1のエンティティと第2のエンティティを確定することと、
    前記コーパスにおける各単語と前記第1のエンティティとの第1の位置距離、及び前記コーパスにおける各単語と前記第2のエンティティとの第2の位置距離を取得することと、
    前記コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、
    前記コーパスに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、前記コーパスにおける各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものであり、各単語に対応する位置埋め込みベクトルは、各単語の第1の位置距離に対応するベクトルと各単語の第2の位置距離に対応するベクトルとを含むことと、
    前記コーパスに対応するモデル入力ベクトルを前記エンティティ意味関係分類モデルの入力として使用し、前記第1のエンティティと前記第2のエンティティの両方のエンティティ意味関係タイプを確定することと、
    を含むエンティティ意味関係分類方法。
  2. 前記コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、 前記コーパスに対応するモデル入力ベクトルを取得することは、
    前記コーパスにおける各単語に対応する単語ベクトルを取得し、各単語の第1の位置距離に対応する第1の位置埋め込みベクトルと、各単語の第2の位置距離に対応する第2の位置埋め込みベクトルとを取得することと、
    前記コーパスにおける各単語に対応する単語ベクトルと、第1の位置埋め込みベクトルと、第2の位置埋め込みベクトルとを組み合わせて、各単語に対応する特徴ベクトルを取得することと、
    前記コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、前記コーパスに対応するモデル入力ベクトルを取得することと、
    を含む、請求項1に記載のエンティティ意味関係分類方法。
  3. 各単語の第1の位置距離に対応する第1の位置埋め込みベクトルと、各単語の第2の位置距離に対応する第2の位置埋め込みベクトルとを取得することは、
    位置距離と位置埋め込みベクトルとの対応関係を記録する位置埋め込みベクトルテーブルを取得することと、
    前記位置埋め込みベクトルテーブルでは、各単語の第1の位置距離に対応する第1の位置埋め込みベクトル及び各単語の第2の位置距離に対応する第2の位置埋め込みベクトルをそれぞれ確定することと、
    を含む、請求項2に記載のエンティティ意味関係分類方法。
  4. エンティティ意味関係分類モデルを予め設置している電子機器に適用されるエンティティ意味関係分類モデルのトレーニング方法であって、
    少なくとも1つのトレーニングサンプルを受信し、前記少なくとも1つのトレーニングサンプルにおける各トレーニングサンプルの第1のエンティティと第2のエンティティとを識別することと、
    前記各トレーニングサンプルに対して、前記トレーニングサンプルにおける各単語と前記トレーニングサンプルの第1のエンティティとの第1の位置距離を取得し、及び前記トレーニングサンプルにおける各単語と前記トレーニングサンプルの第2のエンティティとの第2の位置距離を取得することと、
    前記各トレーニングサンプルにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、前記各トレーニングサンプルに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものであり、各単語に対応する位置埋め込みベクトルは、各単語の第1の位置距離に対応するベクトルと各単語の第2の位置距離に対応するベクトルとを含むことと、
    前記各トレーニングサンプルに対応するモデル入力べクルトを前記エンティティ意味関係分類モデルの入力として使用し、前記エンティティ意味関係分類モデルをトレーニングすることと、
    を含むエンティティ意味関係分類モデルのトレーニング方法。
  5. 前記各トレーニングサンプルに対応するモデル入力べクルトを前記エンティティ意味関係分類モデルの入力として使用し、前記エンティティ意味関係分類モデルをトレーニングすることは、
    前記各トレーニングサンプルに対応するモデル入力ベクトルを前記エンティティ意味関係分類モデルの入力として使用し、前記エンティティ意味関係分類モデルによって得られた前記各トレーニングサンプルに対応する予測エンティティ意味関係タイプを取得し、前記予測エンティティ意味関係タイプは、前記各トレーニングサンプルにおける第1のエンティティと第2のエンティティの両方の予測されたエンティティ意味関係タイプであることと、
    前記各トレーニングサンプルに対応する予測エンティティ意味関係タイプとプリセットされたエンティティ意味関係タイプとの偏差値を取得し、前記プリセットされたエンティティ意味関係タイプは、前記各トレーニングサンプルに対応する第1のエンティティと第2のエンティティの両方の予め格納されたエンティティ意味関係タイプであることと、
    前記各トレーニングサンプルの偏差値の合計を取得することと、
    前記偏差値の合計が第1の偏差しきい値を超えた場合、前記エンティティ意味関係分類モデルのパラメータを調整することで、前記エンティティ意味関係分類モデルをトレーニングすることと、
    を含む、請求項4に記載のエンティティ意味関係分類モデルのトレーニング方法。
  6. 前記各トレーニングサンプルに対応するモデル入力べクルトを前記エンティティ意味関係分類モデルの入力として使用し、前記エンティティ意味関係分類モデルをトレーニングすることは、
    前記各トレーニングサンプルに対応するモデル入力ベクトルを前記エンティティ意味関係分類モデルの入力として使用し、前記エンティティ意味関係分類モデルによって得られた前記各トレーニングサンプルに対応する予測エンティティ意味関係タイプを取得し、前記予測エンティティ意味関係タイプは、前記各トレーニングサンプルにおける第1のエンティティと第2のエンティティの両方の予測されたエンティティ意味関係タイプであることと、
    前記各トレーニングサンプルに対応する予測エンティティ意味関係タイプとプリセットされたエンティティ意味関係タイプとの偏差値を取得し、前記プリセットされたエンティティ意味関係タイプは、前記各トレーニングサンプルに対応する第1のエンティティと第2のエンティティの両方の予め格納されたエンティティ意味関係タイプであることと、
    少なくとも1つのトレーニングサンプルにおける目標トレーニングサンプルの偏差値が第2の偏差しきい値を超える度に、エンティティ意味関係分類モデルのパラメータを調整することで、エンティティ意味関係分類モデルをトレーニングすることと、
    を含む、請求項4に記載のエンティティ意味関係分類モデルのトレーニング方法。
  7. 前記エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワークBiGRUとアテンション(Attention)のメカニズムとを組み合わせるものであり、 前記エンティティ意味関係分類モデルのパラメータを調整することは、
    前記エンティティ意味関係分類モデルのゲート付き回帰型ニューラルネットワークのGRU層の重み係数とオフセット係数とアテンション層のアテンションマトリックスを調整することと、
    を含む、請求項5に記載のエンティティ意味関係分類モデルのトレーニング方法。
  8. 前記エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワークBiGRUとアテンション(Attention)のメカニズムとを組み合わせるものであり、
    前記少なくとも1つのトレーニングサンプルは、少なくとも1つの電子カルテであり、前記トレーニングサンプルに対応するモデル入力ベクトルはn個の特徴ベクトルの組合せであり、前記nは前記少なくとも1つの電子カルテに含まれる単語の平均数である、
    請求項4に記載のエンティティ意味関係分類モデルのトレーニング方法。
  9. 1つまたは複数のプログラムとプリセットされたエンティティ意味関係分類モデルを格納するためのメモリと、プロセッサと、を有する電子機器であって、
    前記1つまたは複数のプログラムが前記プロセッサによって実行されると、
    コーパスにおける第1のエンティティと第2のエンティティを確定することと、
    前記コーパスにおける各単語と前記第1のエンティティとの第1の位置距離、及び前記コーパスにおける各単語と前記第2のエンティティとの第2の位置距離を取得することと、
    前記コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、前記コーパスに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、前記コーパスにおける各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものであり、各単語に対応する位置埋め込みベクトルは、各単語の第1の位置距離に対応するベクトルと各単語の第2の位置距離に対応するベクトルとを含むことと、
    前記コーパスに対応するモデル入力ベクトルを前記エンティティ意味関係分類モデルの入力として使用し、前記第1のエンティティと前記第2のエンティティの両方のエンティティ意味関係タイプを確定することと、
    を実現する電子機器。
  10. 前記1つまたは複数のプログラムが前記プロセッサによって実行されると、
    前記コーパスにおける各単語に対応する単語ベクトルを取得し、各単語の第1の位置距離に対応する第1の位置埋め込みベクトルと、各単語の第2の位置距離に対応する第2の位置埋め込みベクトルとを取得することと、
    前記コーパスにおける各単語に対応する単語ベクトルと、第1の位置埋め込みベクトルと、第2の位置埋め込みベクトルとを組み合わせて、各単語に対応する特徴ベクトルを取得することと、
    前記コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、前記コーパスに対応するモデル入力ベクトルを取得することと、
    を実現する、請求項9に記載の電子機器。
  11. 前記1つまたは複数のプログラムが前記プロセッサによって実行されると、
    位置距離と位置埋め込みベクトルとの対応関係を有する位置埋め込みベクトルテーブルを取得することと、
    前記位置埋め込みベクトルテーブルでは、各単語の第1の位置距離に対応する第1の位置埋め込みベクトル及び各単語の第2の位置距離に対応する第2の位置埋め込みベクトルをそれぞれ確定することと、
    を実現する、請求項10に記載の電子機器。
  12. 1つまたは複数のプログラムとプリセットされたエンティティ意味関係分類モデルを格納するためのメモリと、プロセッサと、を有する電子機器であって、
    前記1つまたは複数のプログラムが前記プロセッサによって実行されると、
    少なくとも1つのトレーニングサンプルを受信し、前記少なくとも1つのトレーニングサンプルにおける各トレーニングサンプルの第1のエンティティと第2のエンティティとを識別することと、
    前記各トレーニングサンプルに対して、前記トレーニングサンプルにおける各単語と前記トレーニングサンプルの第1のエンティティとの第1の位置距離を取得し、及び前記トレーニングサンプルにおける各単語と前記トレーニングサンプルの第2のエンティティとの第2の位置距離を取得することと、
    前記各トレーニングサンプルにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、前記各トレーニングサンプルに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものであり、各単語に対応する位置埋め込みベクトルは、各単語の第1の位置距離に対応するベクトルと各単語の第2の位置距離に対応するベクトルとを含むことと、
    前記各トレーニングサンプルに対応するモデル入力べクルトを前記エンティティ意味関係分類モデルの入力として使用し、前記エンティティ意味関係分類モデルをトレーニングすることと、
    を実現する電子機器。
  13. 前記1つまたは複数のプログラムが前記プロセッサによって実行されると、
    前記各トレーニングサンプルに対応するモデル入力ベクトルを前記エンティティ意味関係分類モデルの入力として使用し、前記エンティティ意味関係分類モデルによって得られた 前記各トレーニングサンプルに対応する予測エンティティ意味関係タイプを取得し、前記予測エンティティ意味関係タイプは、前記各トレーニングサンプルにおける第1のエンティティと第2のエンティティの両方の予測されたエンティティ意味関係タイプであることと、
    前記各トレーニングサンプルに対応する予測エンティティ意味関係タイプとプリセットされたエンティティ意味関係タイプとの偏差値を取得し、前記プリセットされたエンティティ意味関係タイプは、前記各トレーニングサンプルに対応する第1のエンティティと第2のエンティティの両方の予め格納されたエンティティ意味関係タイプであることと、
    前記各トレーニングサンプルの偏差値の合計を取得することと、
    前記偏差値の合計が第1の偏差しきい値を超えた場合、前記エンティティ意味関係分類モデルのパラメータを調整することで、前記エンティティ意味関係分類モデルをトレーニングすることと、
    を実現する、請求項12に記載の電子機器。
  14. 前記1つまたは複数のプログラムが前記プロセッサによって実行されると、
    前記各トレーニングサンプルに対応するモデル入力ベクトルを前記エンティティ意味関係分類モデルの入力として使用し、前記エンティティ意味関係分類モデルによって得られた前記各トレーニングサンプルに対応する予測エンティティ意味関係タイプを取得し、前記予測エンティティ意味関係タイプは、前記各トレーニングサンプルにおける第1のエンティティと第2のエンティティの両方の予測されたエンティティ意味関係タイプであることと、
    前記各トレーニングサンプルに対応する予測エンティティ意味関係タイプとプリセットされたエンティティ意味関係タイプとの偏差値を取得し、前記プリセットされたエンティティ意味関係タイプは、前記各トレーニングサンプルに対応する第1のエンティティと第2のエンティティの両方の予め格納されたエンティティ意味関係タイプであることと、
    少なくとも1つのトレーニングサンプルにおける目標トレーニングサンプルの偏差値が第2の偏差しきい値を超える度に、エンティティ意味関係分類モデルのパラメータを調整することで、エンティティ意味関係分類モデルをトレーニングすることと、
    を実現する、請求項12に記載の電子機器。
  15. 前記エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワークBiGRUとアテンション(Attention)のメカニズムとを組み合わせるものであり、
    前記少なくとも1つのトレーニングサンプルは、少なくとも1つの電子カルテであり、前記トレーニングサンプルに対応するモデル入力ベクトルはn個の特徴ベクトルの組合せであり、ここで、前記nは前記少なくとも1つの電子カルテに含まれる単語の平均数である、
    請求項12に記載の電子機器。


JP2021534922A 2018-12-29 2019-12-23 エンティティ意味関係分類 Active JP7202465B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811641958.3A CN109754012A (zh) 2018-12-29 2018-12-29 实体语义关系分类方法、模型训练方法、装置及电子设备
CN201811641958.3 2018-12-29
PCT/CN2019/127449 WO2020135337A1 (zh) 2018-12-29 2019-12-23 实体语义关系分类

Publications (2)

Publication Number Publication Date
JP2022514842A true JP2022514842A (ja) 2022-02-16
JP7202465B2 JP7202465B2 (ja) 2023-01-11

Family

ID=66404511

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021534922A Active JP7202465B2 (ja) 2018-12-29 2019-12-23 エンティティ意味関係分類

Country Status (5)

Country Link
US (1) US20210391080A1 (ja)
EP (1) EP3985559A4 (ja)
JP (1) JP7202465B2 (ja)
CN (1) CN109754012A (ja)
WO (1) WO2020135337A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754012A (zh) * 2018-12-29 2019-05-14 新华三大数据技术有限公司 实体语义关系分类方法、模型训练方法、装置及电子设备
CN110111901B (zh) * 2019-05-16 2023-04-18 湖南大学 基于rnn神经网络的可迁移病人分类系统
CN110275928B (zh) * 2019-06-24 2022-11-22 复旦大学 迭代式实体关系抽取方法
CN110442725B (zh) * 2019-08-14 2022-02-25 科大讯飞股份有限公司 实体关系抽取方法及装置
CN110928889A (zh) * 2019-10-23 2020-03-27 深圳市华讯方舟太赫兹科技有限公司 训练模型更新方法、设备以及计算机存储介质
CN112989032A (zh) * 2019-12-17 2021-06-18 医渡云(北京)技术有限公司 实体关系分类方法、装置、介质及电子设备
US11893060B2 (en) * 2020-02-06 2024-02-06 Naver Corporation Latent question reformulation and information accumulation for multi-hop machine reading
CN111429985B (zh) * 2020-03-02 2023-10-27 北京嘉和海森健康科技有限公司 电子病历数据处理方法及系统
CN113591886B (zh) * 2020-04-30 2023-11-07 北京百度网讯科技有限公司 用于信息分类的方法、装置、设备及计算机可读存储介质
CN112199508B (zh) * 2020-08-10 2024-01-19 淮阴工学院 一种基于远程监督的参数自适应农业知识图谱推荐方法
CN114254106A (zh) * 2020-09-25 2022-03-29 北京灵汐科技有限公司 文本分类方法、装置、设备及存储介质
CN112416931A (zh) * 2020-11-18 2021-02-26 脸萌有限公司 信息生成方法、装置和电子设备
CN112786132B (zh) * 2020-12-31 2023-03-24 北京懿医云科技有限公司 病历文本数据分割方法、装置、可读存储介质及电子设备
CN113408588B (zh) * 2021-05-24 2023-02-14 上海电力大学 一种基于注意力机制的双向gru轨迹预测方法
CN113326698B (zh) * 2021-06-18 2023-05-09 深圳前海微众银行股份有限公司 检测实体关系的方法、模型训练方法及电子设备
CN114398943B (zh) * 2021-12-09 2023-04-07 北京百度网讯科技有限公司 样本增强方法及其装置
CN114239582A (zh) * 2021-12-15 2022-03-25 天津健康医疗大数据有限公司 一种基于语义信息的电子病历细项提取方法及系统
US20230317066A1 (en) * 2022-03-09 2023-10-05 Amazon Technologies, Inc. Shared encoder for natural language understanding processing
US12086552B2 (en) * 2022-03-24 2024-09-10 International Business Machines Corporation Generating semantic vector representation of natural language data
CN114780720A (zh) * 2022-03-29 2022-07-22 河海大学 一种基于小样本学习的文本实体关系分类方法
US20230334249A1 (en) * 2022-04-18 2023-10-19 Dell Products L.P. Using machine learning for individual classification
CN114881038B (zh) * 2022-07-12 2022-11-11 之江实验室 基于跨度和注意力机制的中文实体与关系抽取方法及装置
US20240089275A1 (en) * 2022-09-09 2024-03-14 International Business Machines Corporation Log anomaly detection in continuous artificial intelligence for it operations
CN115270801B (zh) * 2022-09-28 2022-12-30 浙江太美医疗科技股份有限公司 文本信息抽取模型的训练方法、文本信息抽取方法和应用
CN116151243B (zh) * 2023-04-23 2023-06-23 昆明理工大学 一种基于类型相关性表征的实体关系抽取方法
CN116665228B (zh) * 2023-07-31 2023-10-13 恒生电子股份有限公司 图像处理方法及装置
CN117057343B (zh) * 2023-10-10 2023-12-12 腾讯科技(深圳)有限公司 道路事件识别方法、装置、设备及存储介质
CN117792696A (zh) * 2023-12-07 2024-03-29 北京邮电大学 一种面向分布式系统的日志异常检测和定位的方法及装置
CN117496542B (zh) * 2023-12-29 2024-03-15 恒生电子股份有限公司 文档信息提取方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107305543A (zh) * 2016-04-22 2017-10-31 富士通株式会社 对实体词的语义关系进行分类的方法和装置
WO2019082362A1 (ja) * 2017-10-26 2019-05-02 三菱電機株式会社 単語意味関係推定装置および単語意味関係推定方法
CN109754012A (zh) * 2018-12-29 2019-05-14 新华三大数据技术有限公司 实体语义关系分类方法、模型训练方法、装置及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102167719B1 (ko) * 2014-12-08 2020-10-19 삼성전자주식회사 언어 모델 학습 방법 및 장치, 음성 인식 방법 및 장치
CN106407211B (zh) * 2015-07-30 2019-08-06 富士通株式会社 对实体词的语义关系进行分类的方法和装置
US10635563B2 (en) * 2016-08-04 2020-04-28 Oracle International Corporation Unsupervised method for baselining and anomaly detection in time-series data for enterprise systems
CN107220237A (zh) * 2017-05-24 2017-09-29 南京大学 一种基于卷积神经网络的企业实体关系抽取的方法
US10255273B2 (en) * 2017-06-15 2019-04-09 Microsoft Technology Licensing, Llc Method and system for ranking and summarizing natural language passages
US20190164064A1 (en) * 2017-11-27 2019-05-30 Shanghai Xiaoi Robot Technology Co., Ltd. Question and answer interaction method and device, and computer readable storage medium
CN108268643A (zh) * 2018-01-22 2018-07-10 北京邮电大学 一种基于多粒度lstm网络的深层语义匹配实体链接方法
CN108875809A (zh) * 2018-06-01 2018-11-23 大连理工大学 联合attention机制与神经网络的生物医学实体关系分类方法
CN108763555A (zh) * 2018-06-01 2018-11-06 北京奇虎科技有限公司 基于需求词的画像数据获取方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107305543A (zh) * 2016-04-22 2017-10-31 富士通株式会社 对实体词的语义关系进行分类的方法和装置
WO2019082362A1 (ja) * 2017-10-26 2019-05-02 三菱電機株式会社 単語意味関係推定装置および単語意味関係推定方法
CN109754012A (zh) * 2018-12-29 2019-05-14 新华三大数据技术有限公司 实体语义关系分类方法、模型训练方法、装置及电子设备

Also Published As

Publication number Publication date
CN109754012A (zh) 2019-05-14
JP7202465B2 (ja) 2023-01-11
EP3985559A4 (en) 2022-10-05
WO2020135337A1 (zh) 2020-07-02
US20210391080A1 (en) 2021-12-16
EP3985559A1 (en) 2022-04-20

Similar Documents

Publication Publication Date Title
JP2022514842A (ja) エンティティ意味関係分類
US10459954B1 (en) Dataset connector and crawler to identify data lineage and segment data
KR102570278B1 (ko) 교사 모델로부터 학생 모델을 트레이닝하는데 사용되는 학습 데이터를 생성하는 장치 및 방법
US20190243900A1 (en) Automatic questioning and answering processing method and automatic questioning and answering system
CN105740312B (zh) 使数据库查询形成聚类以用于运行时间预测
KR102135674B1 (ko) 상품 리뷰의 키워드 추출 신경망 모델 기반의 맞춤형 상품 추천 장치, 방법 및 이를 위한 기록매체
CN110765275A (zh) 搜索方法、装置、计算机设备和存储介质
WO2018089574A1 (en) Predictive analytic methods and systems
US11514315B2 (en) Deep neural network training method and apparatus, and computer device
KR102394758B1 (ko) 데이터의 특징점을 취합하여 기계 학습하는 방법 및 장치
EP3803634A1 (en) Accelerating machine learning inference with probabilistic predicates
CN110083693A (zh) 机器人对话回复方法及装置
CN109871891B (zh) 一种物体识别方法、装置和存储介质
US20170308808A1 (en) Machine learning system
CN112395396A (zh) 问答匹配和搜索方法、设备、系统及存储介质
KR20150041908A (ko) 정답 유형 자동 분류 방법 및 장치, 이를 이용한 질의 응답 시스템
CN115879508A (zh) 一种数据处理方法及相关装置
CN113164056A (zh) 睡眠预测方法、装置、存储介质及电子设备
Ilbeigipour et al. Real‐Time Heart Arrhythmia Detection Using Apache Spark Structured Streaming
US11676727B2 (en) Cohort-based predictive data analysis
US12079214B2 (en) Estimating computational cost for database queries
US20220215931A1 (en) Generating multi-dimensional recommendation data objects based on decentralized crowd sourcing
US20190108309A1 (en) Pathogenetic classification of genetic alterations
JPWO2019167240A1 (ja) 情報処理装置、制御方法、及びプログラム
Nowak-Brzezińska Enhancing the efficiency of a decision support system through the clustering of complex rule‐based knowledge bases and modification of the inference algorithm

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221223

R150 Certificate of patent or registration of utility model

Ref document number: 7202465

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150