JP2021099884A - イベント引数抽出方法、イベント引数抽出装置、電子デバイス、記憶媒体及びコンピュータプログラム製品 - Google Patents

イベント引数抽出方法、イベント引数抽出装置、電子デバイス、記憶媒体及びコンピュータプログラム製品 Download PDF

Info

Publication number
JP2021099884A
JP2021099884A JP2021044663A JP2021044663A JP2021099884A JP 2021099884 A JP2021099884 A JP 2021099884A JP 2021044663 A JP2021044663 A JP 2021044663A JP 2021044663 A JP2021044663 A JP 2021044663A JP 2021099884 A JP2021099884 A JP 2021099884A
Authority
JP
Japan
Prior art keywords
event
argument
extracted
trained
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021044663A
Other languages
English (en)
Other versions
JP7292321B2 (ja
Inventor
法遠 李
Fayuan Li
法遠 李
玉光 陳
Yuguang Chen
玉光 陳
禄 潘
Lu Pan
禄 潘
遠▲セン▼ 劉
Yuanzhen Liu
遠▲セン▼ 劉
翠雲 韓
Cuiyun Han
翠雲 韓
茜 施
Qian Shi
茜 施
佳艶 黄
Juayan Huang
佳艶 黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021099884A publication Critical patent/JP2021099884A/ja
Application granted granted Critical
Publication of JP7292321B2 publication Critical patent/JP7292321B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/43—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of news video content
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Molecular Biology (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)

Abstract

【課題】テキストからのイベント抽出における引数抽出の精度を向上させるイベント引数抽出方法、イベント引数抽出装置、電子デバイス、記憶媒体及びコンピュータプログラム製品を提供する。【解決手段】イベント引数抽出方法は、抽出すべきイベントコンテンツを取得し、トレーニング済みイベント引数抽出モデルに基づいて、抽出すべきイベントコンテンツに対して引数抽出を行い、抽出すべきイベントコンテンツの目標引数を取得する。トレーニング済みイベント引数抽出モデルは、イベントニュースラベルデータ及びイベントニュースラベルデータにおけるラベル付きの各引数の重みにより、事前トレーニングモデルをトレーニングして取得する。【選択図】図１

Description

本願はコンピュータ技術におけるナレッジグラフの技術分野に関し、特に、イベント引数抽出方法、イベント引数抽出装置、電子デバイス、記憶媒体及びコンピュータプログラム製品に関する。
イベント引数抽出とは、イベントの記述からイベントの各構成要素（時間、場所、参加者、イベントに適応する関連コンテンツなど）を抽出することであり、要素は引数であり、それぞれの引数は１つの引数役割に対応し、最終的に、構造化知識の形でユーザに表示される。
現在、一般的に使用されているイベント引数抽出モデルは分類に基づくものであるが、イベント引数役割がイベントタイプによって異なるので、現在の簡単な分類モデルに基づいて引数抽出を行うと、効果が悪い。
本願は、イベント引数抽出の効果が悪いという問題を解決するために、イベント引数抽出方法、イベント引数抽出装置、電子デバイス、記憶媒体及びコンピュータプログラム製品を提供する。
本願の第１の態様では、抽出すべきイベントコンテンツを取得することと、トレーニング済みイベント引数抽出モデルに基づいて、抽出すべき前記イベントコンテンツに対して引数抽出を行い、抽出すべき前記イベントコンテンツの目標引数を取得することとを含み、前記トレーニング済みイベント引数抽出モデルが、イベントニュースラベルデータ及び該イベントニュースラベルデータにおけるラベル付きの各引数の重みにより、事前トレーニングモデルをトレーニングして取得したものであるイベント引数抽出方法を提供する。
本態様のイベント引数抽出方法において、抽出すべきイベントコンテンツに対して引数抽出を行うためのトレーニング済みイベント引数抽出モデルは、イベントニュースラベルデータ及び前記イベントニュースラベルデータにおけるラベル付きの各引数の重みにより事前トレーニングモデルをトレーニングして取得したものである。すなわち、トレーニングプロセスにおいて、トレーニングに用いられるイベントニュースラベルデータにおけるラベル付きの各引数の重みを考慮し、それにより、トレーニング済みイベント引数抽出モデルのパフォーマンスを向上させ、さらに引数抽出の効果を上げる。
上記態様においては、少なくとも、前記イベントニュースラベルデータ及び損失関数により、前記事前トレーニングモデルをトレーニングするという方式により前記トレーニング済みイベント引数抽出モデルを取得し、前記損失関数は、前記イベントニュースラベルデータにおけるラベル付きの各前記引数に対する前記事前トレーニングモデルの予測確率値及び各前記引数の重みに関連してもよい。
これにより、イベントニュースラベルデータ及び損失関数により、事前トレーニングモデルをトレーニングする場合、損失関数はイベントニュースラベルデータにおけるラベル付きの各引数に対する事前トレーニングモデルの予測確率値に加えて、各引数の重みを考慮するため、トレーニング済みイベント引数抽出モデルのパフォーマンスを向上させ、さらに引数抽出の効果を上げる。
また、上記態様においては、前記損失関数は、前記イベントニュースラベルデータにおけるラベル付きの各前記引数に対する前記事前トレーニングモデルの前記予測確率値の負対数尤度の加重和であってもよい。
すなわち、損失関数は、イベントニュースラベルデータにおけるラベル付きの各引数の重みにより、イベントニュースラベルデータにおけるラベル付きの各引数に対する事前トレーニングモデルの予測確率値の負対数尤度を加重和して取得したものであり、加重和して取得した損失関数を用いてトレーニングを行うことにより、トレーニング済みイベント引数抽出モデルのパフォーマンスを向上させ、さらに引数抽出の効果を上げる。
また、上記態様においては、前記トレーニング済みイベント引数抽出モデルに基づいて、抽出すべき前記イベントコンテンツに対して引数抽出を行い、抽出すべき前記イベントコンテンツの前記目標引数を取得することは、前記トレーニング済みイベント引数抽出モデルに基づいて、抽出すべき前記イベントコンテンツに対して引数抽出を行い、抽出すべき前記イベントコンテンツにおける少なくとも１つの前記引数の予測確率値を取得することと、少なくとも１つの前記引数のうち前記予測確率値が最大の引数及び前記予測確率値が確率閾値より大きい引数を前記目標引数とすることとを含み、前記確率閾値は、少なくとも１つの前記引数の前記予測確率値のうち最大の予測確率値に、１以下の正数である、予め設定された係数の値を掛けたものであってもよい。
このように、最大予測確率値及び予め設定された係数に基づいて、少なくとも１つの引数から目標引数を決定することにより、目標引数の正確性を向上させる。
また、上記態様においては、前記イベントニュースラベルデータ及び前記損失関数により、前記事前トレーニングモデルをトレーニングし、前記トレーニング済みイベント引数抽出モデルを取得することは、予め設定された問答フォーマットに従って、前記イベントニュースラベルデータに対してフォーマット変換を行い、ニュース問答データを取得することと、前記ニュース問答データ及び前記損失関数により、前記事前トレーニングモデルをトレーニングし、前記トレーニング済みイベント引数抽出モデルを取得してもよい。
これにより、ニュース問答データ及び損失関数により事前トレーニングモデルをトレーニングし、前記トレーニング済みイベント引数抽出モデルを取得し、これによって、トレーニング済みイベント引数抽出モデルのパフォーマンスを向上させ、さらに引数抽出の効果を上げることができる。
また、上記態様においては、前記トレーニング済みイベント引数抽出モデルに基づいて、抽出すべき前記イベントコンテンツに対して引数抽出を行い、抽出すべき前記イベントコンテンツの前記目標引数を取得することは、トレーニング済みイベントタイプ分類モデルに基づいて、抽出すべき前記イベントコンテンツのイベントタイプを予測することと、トレーニング済みイベント文判別モデルに基づいて、抽出すべき前記イベントコンテンツのイベント記述文を予測することと、前記イベントタイプ、前記イベント記述文、前記イベントタイプに対応する引数役割及び予め設定された問答フォーマットに基づいて、抽出すべき前記イベントコンテンツに対応する抽出すべき問答データを構築することであって、抽出すべき前記問答データのフォーマットは予め設定された前記問答フォーマットにマッチングし、抽出すべき前記問答データは抽出すべき前記イベントコンテンツの前記イベント記述文、抽出すべき前記イベントコンテンツの前記イベントタイプ及び該イベントタイプに対応する前記引数役割を含むことと、抽出すべき前記問答データを前記トレーニング済み引数抽出モデルに入力し、前記トレーニング済みイベント引数抽出モデルに基づいて引数抽出を行い、前記目標引数を取得してもよい。
これにより、イベント引数抽出モデルに入力した抽出すべき問答データは、抽出すべきイベントコンテンツのイベント記述文、抽出すべきイベントコンテンツのイベントタイプ及びイベントタイプに対応する引数役割を含み、さらに、フォーマットが閲読理解データのフォーマットにマッチングする抽出すべき問答データをトレーニング済み引数抽出モデルに入力し、イベント引数抽出を行う。一方、イベント引数抽出モデルは、事前トレーニングモデルに基づいて、イベントニュースサンプルと閲読理解データを導入してトレーニングすることにより取得されるものであるため、イベント引数抽出の効果を上げることができる。
本願の第２の態様では、抽出すべきイベントコンテンツを取得する第１の取得モジュールと、トレーニング済みイベント引数抽出モデルに基づいて、抽出すべき前記イベントコンテンツに対して引数抽出を行い、抽出すべき前記イベントコンテンツの目標引数を取得する抽出モジュールとを備え、前記トレーニング済みイベント引数抽出モデルが、イベントニュースラベルデータ及び該イベントニュースラベルデータにおけるラベル付きの各引数の重みにより事前トレーニングモデルをトレーニングして取得したものであるイベント引数抽出装置を提供する。
上記態様においては、少なくとも、前記イベントニュースラベルデータ及び損失関数により、前記事前トレーニングモデルをトレーニングし、前記トレーニング済みイベント引数抽出モデルを取得するという方式により前記トレーニング済みイベント引数抽出モデルを取得し、前記損失関数は、前記イベントニュースラベルデータにおけるラベル付きの各前記引数に対する前記事前トレーニングモデルの予測確率値及び各前記引数の重みに関連してもよい。
また、上記態様においては、前記損失関数は、前記イベントニュースラベルデータにおけるラベル付きの各前記引数に対する前記事前トレーニングモデルの前記予測確率値の負対数尤度の加重和であってもよい。
また、上記態様においては、前記抽出モジュールは、前記トレーニング済みイベント引数抽出モデルに基づいて、抽出すべき前記イベントコンテンツに対して引数抽出を行い、抽出すべき前記イベントコンテンツにおける少なくとも１つの前記引数の予測確率値を取得する確率予測モジュールと、少なくとも１つの前記引数のうち前記予測確率値が最大の引数及び前記予測確率値が確率閾値より大きい引数を前記目標引数とする引数決定モジュールとを備え、前記確率閾値は、少なくとも１つの前記引数の前記予測確率値のうち最大の予測確率値に、１以下の正数である予め設定された係数の値を掛けたものであってもよい。
また、上記態様においては、前記イベントニュースラベルデータ及び前記損失関数により、前記事前トレーニングモデルをトレーニングし、前記トレーニング済みイベント引数抽出モデルを取得することは、予め設定された問答フォーマットに従って、前記イベントニュースラベルデータに対してフォーマット変換を行い、ニュース問答データを取得することと、前記ニュース問答データ及び前記損失関数により、前記事前トレーニングモデルをトレーニングし、前記トレーニング済みイベント引数抽出モデルを取得することとを含んでいてもよい。
また、上記態様においては、前記抽出モジュールは、前記トレーニング済みイベントタイプ分類モデルに基づいて、抽出すべき前記イベントコンテンツのイベントタイプを予測する第１の予測モジュールと、トレーニング済みイベント文判別モデルに基づいて、抽出すべき前記イベントコンテンツのイベント記述文を予測する第２の予測モジュールと、前記イベントタイプ、前記イベント記述文、前記イベントタイプに対応する引数役割及び予め設定された問答フォーマットに基づいて、抽出すべき前記イベントコンテンツに対応する抽出すべき問答データを構築する構築モジュールであって、抽出すべき前記問答データのフォーマットは予め設定された前記問答フォーマットにマッチングし、抽出すべき前記問答データは抽出すべき前記イベントコンテンツの前記イベント記述文、抽出すべき前記イベントコンテンツの前記イベントタイプ及び該イベントタイプに対応する前記引数役割を含む構築モジュールと、抽出すべき前記問答データを前記トレーニング済み引数抽出モデルに入力し、前記トレーニング済みイベント引数抽出モデルに基づいて引数抽出を行い、前記目標引数を取得する引数抽出モジュールとを備えていてもよい。
本願の第３の態様では、少なくとも１つのプロセッサと、少なくとも１つの前記プロセッサに通信可能に接続されたメモリとを備え、少なくとも１つの前記プロセッサに実行されて、上記のイベント引数抽出方法を少なくとも１つの前記プロセッサに実行させる、少なくとも１つの前記プロセッサにより実行可能な命令が前記メモリに格納されている電子デバイスを提供する。
本願の第４の態様では、上記のイベント引数抽出方法をコンピュータ実行させるためのコンピュータ命令を格納している非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供する。
本願の第５の態様では、コンピュータプログラムを含むコンピュータプログラム製品であって、前記コンピュータプログラムがプロセッサにより実行されると、上記のイベント引数抽出方法が実現されるコンピュータプログラム製品をさらに提供する。
図面は、本願をより理解しやすくする一例であり、本願を制限するものではない。
本願の一実施例に係るイベント引数抽出方法のフローチャートである。 本願の一実施例に係るイベント引数抽出方法の原理図である。 本願の一実施例に係るイベント引数抽出装置の構成図である。 本願の一実施例に係るイベント引数抽出方法を実現するための電子デバイスのブロック図である。
以下、図面を参照しながら本願の例示的な実施例を説明し、理解を容易にするための本願の実施例の様々な詳細を含むが、このような詳細は単に例示と見なされるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、本明細書に記載の実施例に対して様々な変更及び修正を行うことができることを理解すべきである。同様に、明確さ及び簡潔さのために、公知の機能及び構造の説明は、以下の説明では省略されている。
図１に示されるように、本願の一実施例によれば、本願は、電子デバイスに適用できるイベント引数抽出方法を提供する。このイベント引数抽出方法は、ステップＳ１０１とステップＳ１０２とを含む。
ステップＳ１０１において、抽出すべきイベントコンテンツを取得する。
イベントコンテンツはイベントニュース（例えば、ニュースタイトル、ニュース本文など）などを含む。このため、抽出すべきイベントコンテンツは抽出すべきイベントニュースを含み、引数抽出が後で抽出すべきイベントコンテンツに対して行われる。この抽出すべきイベントコンテンツは実用分野のイベントから取得できる。例えば、金融分野の場合、金融分野の抽出すべきイベントコンテンツを取得し、後で引数抽出を行う。また、例えば、インターネット技術分野の場合、インターネット技術分野のイベントニュースから抽出すべきイベントニュースを取得し、後で引数抽出を行う。
ステップＳ１０２において、トレーニング済みイベント引数抽出モデルに基づいて、抽出すべきイベントコンテンツに対して引数抽出を行い、抽出すべきイベントコンテンツの目標引数を取得する。トレーニング済みイベント引数抽出モデルは、イベントニュースラベルデータ及びイベントニュースラベルデータにおけるラベル付きの各引数の重みにより、事前トレーニングモデルをトレーニングして取得したものである。
トレーニング済みイベント引数抽出モデルを事前トレーニングにより取得し、抽出すべきイベントコンテンツを取得すると、トレーニング済みイベント引数抽出モデルにより、抽出すべきイベントコンテンツの引数を抽出し、目標引数を決定することができる。一例において、目標引数の数は少なくとも１つであり、すなわち、トレーニング済みイベント引数抽出モデルにより、抽出すべきイベントコンテンツの引数を抽出し、少なくとも１つの目標引数を決定する。
本実施例において、トレーニング済みイベント引数抽出モデルは、イベントニュースラベルデータ及びイベントニュースラベルデータにおけるラベル付きの各引数の重みによりトレーニングして取得したものであり、イベントニュースラベルデータはイベント引数ラベルデータと理解してもよい。すなわち、イベントニュースを含むだけでなく、イベントニュースにおける引数がラベルを付けられているので、引数ラベルデータをさらに含み、イベントニュースサンプルはニュース本文などと理解してもよく、実用分野におけるイベントニュースサンプル、例えば、実用分野におけるリアルタイムニュースであってもよい。一例において、重みの算出方式は複数あり、例えば、単語重要性算出モデルに基づいて正規化重みを算出できる。
本実施例に係るイベント引数抽出方法において、抽出すべきイベントコンテンツに対して引数抽出を行うためのトレーニング済みイベント引数抽出モデルは、イベントニュースラベルデータ及びイベントニュースラベルデータにおけるラベル付きの各引数の重みにより事前トレーニングモデルをトレーニングして取得したものである。すなわち、トレーニングプロセスにおいて、トレーニング用のイベントニュースラベルデータにおけるラベル付きの各引数の重みを考慮することで、トレーニング済みイベント引数抽出モデルのパフォーマンスを向上させ、さらに引数抽出の効果を上げることができる。また、本実施例は、イベントニュースラベルデータ及びイベントニュースラベルデータにおけるラベル付きの各引数の重みによりモデルをトレーニングし、それにより、一引数役割多引数の問題を解決でき、トレーニング済みイベント引数抽出モデルの多引数抽出能力を向上させ、さらに多引数抽出の効果を上げることができる。
本実施例においては、少なくとも、イベントニュースラベルデータ及び損失関数により事前トレーニングモデルをトレーニングするという方式により、トレーニング済みイベント引数抽出モデルを取得し、損失関数はイベントニュースラベルデータにおけるラベル付きの各引数に対する事前トレーニングモデルの予測確率値及び各引数の重みに関連してもよい。
事前トレーニングモデルのトレーニングプロセスにおいて、損失関数が関与し、異なる事前トレーニングモデルに対応する損失関数が異なることが理解できる。本実施例において、イベントニュースラベルデータ、イベントニュースラベルデータにおけるラベル付きの各引数の重み及び損失関数により、事前トレーニングモデルをトレーニングし、トレーニング済みイベント引数抽出モデルを取得する。
イベントニュースラベルデータ及び損失関数により、事前トレーニングモデルをトレーニングする場合、損失関数はイベントニュースラベルデータにおけるラベル付きの各引数に対する事前トレーニングモデルの予測確率値に加えて、各引数の重みを考慮するため、トレーニング済みイベント引数抽出モデルのパフォーマンスを向上させ、さらに引数抽出の効果を上げることができる。
本実施例においては、損失関数は、イベントニュースラベルデータにおけるラベル付きの各引数に対する事前トレーニングモデルの予測確率値の負対数尤度の加重和であってもよい。
すなわち、損失関数は、イベントニュースラベルデータにおけるラベル付きの各引数の重みにより、イベントニュースラベルデータにおけるラベル付きの各引数に対する事前トレーニングモデルの予測確率値の負対数尤度を加重和して取得したものである。加重和して取得した損失関数を用いてトレーニングを行うことにより、トレーニング済みイベント引数抽出モデルのパフォーマンスを向上させ、さらに引数抽出の効果を上げることができる。
本実施例においては、トレーニング済みイベント引数抽出モデルに基づいて、抽出すべきイベントコンテンツに対して引数抽出を行い、抽出すべきイベントコンテンツの目標引数を取得することは、トレーニング済みイベント引数抽出モデルに基づいて、抽出すべきイベントコンテンツに対して引数抽出を行い、抽出すべきイベントコンテンツにおける少なくとも１つの引数の予測確率値を取得することと、少なくとも１つの引数のうち予測確率値が最大の引数及び予測確率値が確率閾値より大きい引数を目標引数とすることとを含み、確率閾値は、少なくとも１つの引数の予測確率値のうち最大の予測確率値に、１以下の正数である、予め設定された係数の値を掛けたものであってもよい。
本実施例において、トレーニング済み時間引数抽出モデルを用いて、抽出すべきイベントコンテンツに対して引数抽出を行うプロセスでは、まず、抽出すべきイベントコンテンツにおける少なくとも１つの引数の予測確率値を取得し、少なくとも１つの引数のうち予測確率値が最大の引数及び予測確率値が確率閾値より大きい引数を目標引数とし、それにより、引数抽出を実現する。このように、最大予測確率値及び予め設定された係数に基づいて、少なくとも１つの引数から目標引数を決定することにより、目標引数の正確性を向上させることができる。
本実施例においては、イベントニュースラベルデータ及び損失関数により、事前トレーニングモデルをトレーニングし、トレーニング済みイベント引数抽出モデルを取得することは、予め設定された問答フォーマットに従って、イベントニュースラベルデータに対してフォーマット変換を行い、ニュース問答データを取得することと、ニュース問答データ及び損失関数により、事前トレーニングモデルをトレーニングし、トレーニング済みイベント引数抽出モデルを取得することとを含んでいてもよい。
予め設定された問答フォーマットは、記述文、質問及び質問に対応する回答（すなわち、引数）という３つの要素から構成され、すなわち、この予め設定された問答フォーマットを有するデータは、上記した３つの要素のコンテンツを含む。予め設定された問答フォーマットに従って、イベントニュースラベルデータに対してフォーマット変換を行い、ニュース問答データを取得する。すなわち、イベントニュースラベルデータを予め設定された問答フォーマットのニュース問答データに変換することができ、ニュース問答データには、予め設定された問答フォーマットの３つの要素のコンテンツが含まれる。ニュース問答データの３つの要素のコンテンツはイベントニュースラベルデータから得られ、ニュース問答データの回答要素のコンテンツはイベントニュースラベルデータにおけるラベル付きの引数であり、ニュース問答データにおける記述文要素のコンテンツはイベントニュースラベルデータにおけるイベントニュースである。そして、質問はイベントニュースラベルデータにおけるイベントタイプ及びイベントタイプの各引数役割に基づいて作成され、ニュース問答データの質問要素のコンテンツは、イベントニュースラベルデータにおけるイベントタイプ及びイベントタイプの各引数役割から取得される。具体的には、イベントニュースラベルデータにおけるイベントタイプ及びイベントタイプの各引数役割を含む。それぞれのイベントタイプに対応する引数役割は予め決定されたものであるが、イベントニュースラベルデータのイベントタイプは様々な方式により決定されてもよく、本実施例においては限定がなく、例えば、既存のイベントタイプ分類モデルに基づいてイベントニュースラベルデータに対して予測を行ってイベントタイプを取得するなどしてもよい。
本実施例において、ニュース問答データ及び損失関数により事前トレーニングモデルをトレーニングし、トレーニング済みイベント引数抽出モデルを取得し、このように、トレーニング済みイベント引数抽出モデルのパフォーマンスを向上させ、さらに引数抽出の効果を上げることができる。
本実施例においては、トレーニング済みイベント引数抽出モデルに基づいて、抽出すべきイベントコンテンツに対して引数抽出を行い、抽出すべきイベントコンテンツの目標引数を取得することは、トレーニング済みイベントタイプ分類モデルに基づいて、抽出すべきイベントコンテンツのイベントタイプを予測することと、トレーニング済みイベント文判別モデルに基づいて、抽出すべきイベントコンテンツのイベント記述文を予測することと、イベントタイプ、イベント記述文、イベントタイプに対応する引数役割及び予め設定された問答フォーマットに基づいて、抽出すべきイベントコンテンツに対応する抽出すべき問答データを構築することであって、抽出すべき問答データのフォーマットは予め設定された問答フォーマットにマッチングし、抽出すべき問答データは抽出すべきイベントコンテンツのイベント記述文、抽出すべきイベントコンテンツのイベントタイプ及びイベントタイプに対応する引数役割を含むことと、抽出すべき問答データをトレーニング済み引数抽出モデルに入力し、トレーニング済みイベント引数抽出モデルに基づいて引数抽出を行い、目標引数を取得することとを含んでいてもよい。
抽出すべきイベントコンテンツを取得した後、トレーニング済みイベントタイプ分類モデルに基づいてイベントタイプを予測する。さらに、トレーニング済みイベント文判別モデルに基づいて抽出すべきイベントニュースのイベント記述文を取得する。次に、抽出すべきイベントニュースのイベント記述文、イベントタイプ及びこのイベントタイプに対応する引数役割を用いて、予め設定された問答フォーマット（上記したように、予め設定された問答フォーマットは記述文、質問及び質問に対応する回答（すなわち、引数）という３つの要素から構成される。）に従って、この抽出すべきイベントニュースの抽出すべき問答データを構築する。ここで、抽出すべき問答データのフォーマットは予め設定された問答フォーマットにマッチングする。そして、この抽出すべき問答データをトレーニング済み引数抽出モデルに入力し、イベント引数抽出モデルに基づいて引数抽出を行い、抽出すべきイベントコンテンツの目標引数を取得することができる。なお、トレーニング済みイベント引数抽出モデルに基づいて、抽出すべきイベントコンテンツに対して引数抽出を行う。そして、抽出すべきイベントコンテンツにおける少なくとも１つの引数の予測確率値を取得するプロセスにおいて、トレーニング済みイベント引数抽出モデルに基づいて、抽出すべきイベントコンテンツの抽出すべき問答データに対して引数抽出を行い、抽出すべきイベントコンテンツにおける少なくとも１つの引数の予測確率値を取得する。すなわち、抽出すべきイベントコンテンツの抽出すべき問答データをイベント引数抽出モデルに入力して、引数確率予測を行うことができる。
本実施例において、イベント引数抽出モデルに入力した抽出すべき問答データは、抽出すべきイベントコンテンツのイベント記述文、抽出すべきイベントコンテンツのイベントタイプ及びイベントタイプに対応する引数役割を含む。さらに、フォーマットが予め設定された問答フォーマットにマッチングする抽出すべき問答データをトレーニング済み引数抽出モデルに入力し、イベント引数抽出を行う。一方、イベント引数抽出モデルは、事前トレーニングモデルに基づいて、イベントニュースサンプルと閲読理解データを導入してトレーニングして取得したものであるため、イベント引数抽出の効果を上げる。
一例において、抽出すべき問答データのフォーマットは、上記の予め設定された問答フォーマットの３つの要素の中の２つの要素である記述文と質問要素を含み、このように、抽出すべき問答データのフォーマットと閲読理解データのフォーマットがマッチングすると考えられる。抽出すべきイベントニュースにおけるイベント記述文は記述文要素のコンテンツに対応し、すなわち、抽出すべき問答データは、抽出すべきイベントニュースにおけるイベント記述文及び質問要素のコンテンツ（抽出すべき問答データにおける質問要素のコンテンツは、予測した抽出すべきイベントニュースのイベントタイプ及び抽出すべきイベントニュースのイベントタイプに対応する引数役割を含む。）を含む。
以下、具体的な実施例を通じて上記イベント引数抽出方法のプロセスを詳細に説明する。
図２には、本実施例に係るイベント引数抽出方法を実現するシステムの原理図が示されており、このシステムはデータ準備モジュール、イベント引数抽出モデルオフライントレーニングモジュール、及びイベント引数抽出サービスモジュールを備える。
まず、イベントニュースラベルデータを収集するデータ準備モジュールについて説明する。予め設定された問答フォーマット（すなわち、記述文要素（本文要素として理解できる）、質問要素及び回答要素という３つの要素を含む）に従って、イベントニュース引数ラベルデータに対してフォーマット変換を行い、ニュース問答データ（すなわち、イベントニュース引数ラベルデータにおけるイベントニュース、質問、及び質問に基づいてイベントニュース引数ラベルデータにおけるイベントニュースから決定したこの質問の回答を含む）を取得する。ｃｏｎｔｅｘｔ（本文）としてイベント記述文（すなわち、ニュース引数ラベルデータのイベントニュース）を用い、すなわち、このイベントニュースはイベントニュース本文であり、イベントタイプと各引数役割で質問を作成し、この引数役割に対応する引数を回答とし、問答フォーマットのニュース問答データを形成する。一例として、ｃｏｎｔｅｘｔは、「邱礼涛監督、劉徳華、古天楽、苗僑偉らが主演した映画「掃毒２天地対決」が７月７日に公開される。」であり、質問は「公開される映画の俳優は」であり、回答は「劉徳華、古天楽、苗僑偉」である。ここで、「公開」はイベントタイプであり、「映画の俳優」はこのイベントタイプの引数役割であり、「劉徳華、古天楽、苗僑偉」はこの引数役割の複数の引数である。イベントタイプに対応する引数役割が予め決定されたものであるので、イベントタイプが決定されると、対応する引数役割は決定可能になり、なお、質問のコンテンツはイベントタイプ及びイベントタイプに対応する引数役割を含む。
また、本実施例において、イベントニュースラベルデータにおけるイベントタイプ及びイベントタイプの各引数役割から質問を作成する。ここで、それぞれのイベントタイプに対応する引数役割は予め決定されたものであるが、イベントニュースラベルデータのイベントタイプは様々な方式により決定されてもよく、本実施例においては限定がなく、例えば、既存のイベントタイプ分類モデルに基づいて、イベントニュースラベルデータに対して予測を行ってイベントタイプを取得するなどしてもよい。
また、各引数の重みを算出し、具体的には、既存の単語重要性算出モデルに基づいて、正規化重みを算出することができる。重みはモデルトレーニングにおける損失関数の算出に用いられる。
次に、イベント引数抽出モデルのオフラインモデルトレーニングモジュールについて説明する。事前トレーニングモデルがディープ事前トレーニングモデルである場合を一例とする。ディープ事前トレーニングモデルに基づいて、イベントニュースラベルデータをディープ事前トレーニングモデルに入力して微調整を行い、モデルトレーニングプロセスにおいて、モデルは質問に応じてイベントニュース本文から回答、すなわち引数を検索し、イベントニュースラベルデータにおけるラベル付きの各引数の重み、及び予測確率値に関する損失関数をフィットすることによりトレーニングを行う。損失値を用いて、勾配降下と逆伝播により、モデルパラメータを反復的に更新し、収束トレーニングモデル、すなわち、トレーニング済み時間引数抽出モデルを取得し、これによって、モデルのイベント引数抽出能力を上げる。
さらに、イベント引数抽出サービスモジュールについて説明する。
抽出すべきイベントニュース（例えば、ニュースタイトル、ニュース本文）、すなわち、上記の抽出すべきイベントコンテンツを取得し、既存のイベントタイプ分類モデル（すなわち、トレーニング済みイベントタイプ分類モデル）に基づいてイベントタイプを予測する。そして、既存のイベント文判別モデル（すなわち、トレーニング済みイベント文判別モデル）に基づいて抽出すべきイベントニュースのイベント記述文を取得し、抽出すべきイベントニュースのイベント記述文、イベントタイプ及びこのイベントタイプに対応する引数役割を用いて、閲読理解データのフォーマットに従って、この抽出すべきイベントニュースの抽出すべき問答データを構築する。ここで、抽出すべき問答データのフォーマットは閲読理解データのフォーマットにマッチングし、なお、抽出すべき問答データのフォーマットは、上記した問答フォーマットにおける３つの要素の中の２つの要素、すなわち、記述文と質問要素を含み、このため、抽出問答データのフォーマットが問答フォーマットにマッチングすると考えられる。抽出すべきイベントニュースにおけるイベント記述文は記述文要素のコンテンツに対応する。すなわち、抽出すべき問答データは、抽出すべきイベントニュースにおけるイベント記述文及び質問要素のコンテンツ（抽出すべき問答データにおける質問要素のコンテンツは、予測した抽出すべきイベントニュースのイベントタイプ及び抽出すべきイベントニュースのイベントタイプに対応する引数役割を含む）を含む。そして、この抽出すべき問答データはトレーニング済みイベント引数抽出モデルに入力され、イベント引数抽出モデルはイベント記述文からこの抽出すべき問答データにおける問題のすべての回答の予測確率を予測し、すべての回答のうち予測確率値が最大の回答及び予測確率値が確率閾値より大きい回答を、抽出すべきイベントニュースの目標引数とする。
本願は、抽出すべきイベントニュースの問答フォーマットの抽出すべき問答データをトレーニング済み引数抽出モデルに入力し、イベント引数抽出を行う。そして、ディープ事前トレーニングモデルに基づいて、イベントニュースラベルデータ及びイベントニュースラベルデータにおけるラベル付きの各引数の重みを導入することにより、イベント引数抽出の効果を向上させ、実際のシーンではよい抽出効果を取得する。
イベント引数抽出は、イベントグラフプロジェクトにおいて重要な応用を有する。すなわち、イベント引数抽出により、構造化の形でイベントを表示し、大捜及びＦｅｅｄイベントコンテキストでイベントを表示し、ユーザがイベントを素早く理解できるようにする。また、イベント引数抽出は様々な分野、例えば金融分野に応用でき、会社のイベントを抽出することで、効果的なリスク管理などを実施する。
図３に示されるように、本願の一実施例は、電子デバイスに適用され得るイベント引数抽出装置３００をさらに提供する。
イベント引数抽出装置３００は、抽出すべきイベントコンテンツを取得する第１の取得モジュール３０１と、トレーニング済みイベント引数抽出モデルに基づいて、抽出すべきイベントコンテンツに対して引数抽出を行い、抽出すべきイベントコンテンツの目標引数を取得する抽出モジュール３０２とを備える。
トレーニング済みイベント引数抽出モデルは、イベントニュースラベルデータ及びイベントニュースラベルデータにおけるラベル付きの各引数の重みにより事前トレーニングモデルをトレーニングして取得したものである。
本実施例においては、少なくとも、イベントニュースラベルデータ及び損失関数により事前トレーニングモデルをトレーニングするという方式により、トレーニング済みイベント引数抽出モデルを取得し、損失関数はイベントニュースラベルデータにおけるラベル付きの各引数に対する事前トレーニングモデルの予測確率値及び各引数の重みに関連してもよい。
本実施例においては、損失関数は、イベントニュースラベルデータにおけるラベル付きの各引数に対する事前トレーニングモデルの予測確率値の負対数尤度の加重和であってもよい。
本実施例においては、抽出モジュールは、トレーニング済みイベント引数抽出モデルに基づいて、抽出すべきイベントコンテンツに対して引数抽出を行い、抽出すべきイベントコンテンツにおける少なくとも１つの引数の予測確率値を取得する確率予測モジュールと、少なくとも１つの引数のうち予測確率値が最大の引数及び予測確率値が確率閾値より大きい引数を目標引数とするための引数決定モジュールとを備え、確率閾値は、少なくとも１つの引数の予測確率値のうち最大の予測確率値に、１以下の正数である予め設定された係数の値を掛けたものであってもよい。
本実施例においては、イベントニュースラベルデータ及び損失関数により、事前トレーニングモデルをトレーニングし、トレーニング済みイベント引数抽出モデルを取得することは、予め設定された問答フォーマットに従って、イベントニュースラベルデータに対してフォーマット変換を行い、ニュース問答データを取得することと、ニュース問答データ及び損失関数により、事前トレーニングモデルをトレーニングし、トレーニング済みイベント引数抽出モデルを取得することとを含んでいてもよい。
本実施例においては、抽出モジュールは、トレーニング済みイベントタイプ分類モデルに基づいて、抽出すべきイベントコンテンツのイベントタイプを予測する第１の予測モジュールと、トレーニング済みイベント文判別モデルに基づいて、抽出すべきイベントコンテンツのイベント記述文を予測する第２の予測モジュールと、イベントタイプ、イベント記述文、イベントタイプに対応する引数役割及び予め設定された問答フォーマットに基づいて、抽出すべきイベントコンテンツに対応する抽出すべき問答データを構築する構築モジュールであって、抽出すべき問答データのフォーマットは予め設定された問答フォーマットにマッチングし、抽出すべき問答データは抽出すべきイベントコンテンツのイベント記述文、抽出すべきイベントコンテンツのイベントタイプ及びイベントタイプに対応する引数役割を含む構築モジュールと、抽出すべき問答データをトレーニング済み引数抽出モデルに入力し、トレーニング済みイベント引数抽出モデルに基づいて引数抽出を行い、目標引数を取得する引数抽出モジュールとを備えていてもよい。
なお、抽出すべきイベントコンテンツの抽出すべき問答データはトレーニング済み引数抽出モデルに入力され、確率予測モジュールはトレーニング済みイベント引数抽出モデルに基づいて、抽出すべきイベントコンテンツの抽出すべき問答データに対して引数抽出を行い、抽出すべきイベントコンテンツにおける少なくとも１つの引数の予測確率値を取得することに用いられ得る。
上記のイベント引数抽出装置は、上記のイベント引数抽出方法を実現する装置であり、技術的特徴、技術的効果が対応しているので、ここで詳しく説明しない。
本願の一実施例において、本願は、電子デバイス及び読み取り可能な記憶媒体をさらに提供する。
図４には、本実施例に係るイベント引数抽出方法の電子デバイスのブロック図が示されている。電子デバイスは、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及びその他の適切なコンピュータなど、様々な形式のデジタルコンピュータを指すことを意図している。電子デバイスは、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブルデバイス、及びその他の類似のコンピューティング装置など、様々な形式の移動装置を示してもよい。本明細書に示されているコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であるが、本明細書の説明及び／又は要求される本願の実現を制限する意図はしない。
図４に示されるように、この電子デバイスは、少なくとも１つのプロセッサ４０１と、メモリ４０２と、高速インターフェース及び低速インターフェースを有する様々なコンポーネントを接続するためのインターフェースとを備える。
各コンポーネントは、異なるバスを介して互いに接続され、共通のマザーボードに取り付けられ、又は必要に応じて他の方式で取り付けられ得る。プロセッサは電子デバイス内で実行される命令を処理でき、この命令には、メモリ内に格納される又はメモリ上に格納されて外部入力／出力装置（例えば、インターフェースに結合された表示デバイスなど）にＧＵＩのグラフィック情報を表示する命令が含まれる。他の実施形態では、複数のプロセッサ及び／又は複数のバスを、必要に応じて、複数のメモリとともに使用することができる。同様に、複数の電子デバイスを接続することができ、各デバイスは必要な操作の一部（たとえば、サーバアレイ、ブレードサーバのグループ、又はマルチプロセッサシステムとして）を提供する。図４では、単一のプロセッサ４０１を用いる場合が例示されている。
メモリ４０２は、本実施例に係る非一時的なコンピュータ読み取り可能な記憶媒体である。メモリ４０２は、上記のイベント引数抽出方法を少なくとも１つのプロセッサに実行させるように、少なくとも１つのプロセッサによって実行可能な命令を格納している。本実施例に係る非一時的なコンピュータ読み取り可能な記憶媒体は、上記のイベント引数抽出方法をコンピュータに実行させるためのコンピュータ命令を格納している。
非一時的なコンピュータ読み取り可能な記憶媒体としてのメモリ４０２は、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュール、例えば、本実施例に係るイベント引数抽出方法に対応するプログラム命令／モジュール（例えば、図３に示される第１の取得モジュール３０１及び抽出モジュール３０２）を格納することができる。プロセッサ４０１は、メモリ４０２に格納された非一時的なソフトウェアプログラム、命令、及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち、上記のイベント引数抽出方法を実現する。
メモリ４０２は、プログラム記憶領域及びデータ記憶領域を含むことができ、プログラム記憶領域は、オペレーティングシステム、及び少なくとも１つの機能に必要なアプリケーションプログラムを格納し、データ記憶領域は、キーボードに表示される電子デバイスの使用に従って作成されたデータなどを格納する。さらに、メモリ４０２は、高速ランダムアクセスメモリを含み、さらに、例えば、少なくとも１つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスなどの非一時的なメモリを含んでもよい。他の実施例として、メモリ４０２は、プロセッサ４０１に対して遠隔的に設置されるメモリを選択的に含んでもよく、これらの遠隔メモリは、ネットワークを介してキーボードに表示される電子デバイスに接続され得る。上記ネットワークの一例には、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせが含まれるが、これらに限定されない。
イベント引数抽出方法の電子デバイスは、入力装置４０３及び出力装置４０４をさらに備えていてもよい。プロセッサ４０１、メモリ４０２、入力装置４０３及び出力装置４０４はバス又はその他の方式で接続してもよく、図４には、バスによる接続が例示されている。
入力装置４０３は、入力される数字又は文字情報を受信すること、キーボードに表示される電子デバイス、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインタ、少なくとも１つのマウスボタン、トラックボール、及びジョイスティックなどの入力装置のユーザ設定及び機能制御に関連するキー信号入力を生成することができる。出力装置４０４は、表示デバイス、補助照明装置（例えば、ＬＥＤ）、及び触覚フィードバック装置（例えば、振動モータ）などを含む。この表示デバイスは、液晶ディスプレイ（ＬＤＣ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むが、これらに限定されない。他の実施形態として、表示デバイスはタッチスクリーンであってもよい。
ここで説明するシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、少なくとも１つのコンピュータプログラムにおいて実施され、この少なくとも１つのコンピュータプログラムは、少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステムで実行及び／又は解釈されることができる。このプログラム可能なプロセッサは専用又は汎用のプログラム可能なプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも1つの出力装置からデータ及び命令を受信し、データ及び命令をこのストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置に送信することができる。
これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）には、プログラム可能なプロセッサの機械命令が含まれ、プロセス及び/又はオブジェクト指向のプログラミング言語、及び／又はアセンブリ／機械語を用いてこれらのコンピューティングプログラムを実施できる。例えば、本明細書で使用される「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び／又はデータをプログラム可能なプロセッサの任意のコンピュータプログラム製品、デバイス、及び／又は装置（たとえば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））に提供するものを指し、機械読み取り可能な信号としての機械命令を受信するための機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、プログラム可能なプロセッサに機械命令及び／又はデータを提供するために使用される任意の信号を指す。
ユーザと対話できるように、ここで説明するシステム及び技術をコンピュータに実施することができ、このコンピュータは、ユーザに情報を表示するための表示装置（たとえば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニター）、ユーザがコンピュータに入力することを可能とするキーボード及びポインティング装置（たとえば、マウスやトラックボール）を有する。他の種類の装置も、ユーザとの対話を提供することができ、たとえば、ユーザに提供するフィードバックは、任意の形式の感覚フィードバック（たとえば、視覚的フィードバック、聴覚的フィードバック、又は触覚的フィードバック）であってもよく、そして、ユーザからの入力は、任意の形式（音響入力、音声入力、又は触覚入力を含む）で受信できる。
ここで説明するシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（たとえば、データサーバとして）、又はミドルウェアコンポーネントを含むコンピューティングシステム（たとえば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（たとえば、グラフィカルユーザインターフェース又はＷＥＢブラウザーを備えたユーザコンピュータが挙げられ、ユーザはこのグラフィカルユーザインターフェース又はこのＷＥＢブラウザーを介してここで説明するシステム及び技術の実施形態と対話できる）、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントを含む任意の組み合わせコンピューティングシステムにおいて実施できる。システムのコンポーネントは、任意の形式又は媒体のデジタルデータ通信（たとえば、通信ネットワーク）を介して相互に接続できる。通信ネットワークの例には、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及びインターネットが含まれる。
コンピュータシステムには、クライアント及びとサーバを含むことができる。クライアント及びサーバは、一般的に、互いに遠く離れており、通信ネットワークを介して互いに会話するのが一般的である。クライアントとサーバとの関係は、対応するコンピュータで実行され、互いにクライアント−サーバの関係を持つコンピュータプログラムによって生成される。
本願の一実施例の技術案によれば、抽出すべきイベントコンテンツに対して引数抽出を行うためのトレーニング済みイベント引数抽出モデルは、イベントニュースラベルデータ及びイベントニュースラベルデータにおけるラベル付きの各引数の重みにより事前トレーニングモデルをトレーニングする。すなわち、トレーニングプロセスにおいて、トレーニング用のイベントニュースラベルデータにおけるラベル付きの各引数の重みを考慮し、それによって、トレーニング済みイベント引数抽出モデルのパフォーマンスを向上させ、さらに引数抽出の効果を上げる。
なお、上記の様々な形式のプロセスを用いて、ステップを改めて並べ替えたり、追加したり、削除したりすることができる。例えば、本願に記載の各ステップは、本願開示の技術案の所望の結果が達成できる限り、並行して実施しても、順次実施しても、異なる順序で実施してもよく、本明細書では、それについて限定しない。
上記特定実施形態は、本願の特許範囲に対する制限を構成するものではない。当業者にとって明らかなように、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブ組み合わせ、及び置換を行うことができる。本願の精神及び原則の範囲内で行われた修正、同等の置換、及び改良などであれば、本願の特許範囲に含まれるものとする。

Claims (15)

  1. 抽出すべきイベントコンテンツを取得することと、
    トレーニング済みイベント引数抽出モデルに基づいて、抽出すべき前記イベントコンテンツに対して引数抽出を行い、抽出すべき前記イベントコンテンツの目標引数を取得することとを含み、
    前記トレーニング済みイベント引数抽出モデルが、イベントニュースラベルデータ及び該イベントニュースラベルデータにおけるラベル付きの各引数の重みにより、事前トレーニングモデルをトレーニングして取得したものであるイベント引数抽出方法。
  2. 少なくとも、前記イベントニュースラベルデータ及び損失関数により、前記事前トレーニングモデルをトレーニングするという方式により前記トレーニング済みイベント引数抽出モデルを取得し、
    前記損失関数は、前記イベントニュースラベルデータにおけるラベル付きの各前記引数に対する前記事前トレーニングモデルの予測確率値及び各前記引数の重みに関連する請求項１に記載のイベント引数抽出方法。
  3. 前記損失関数は、前記イベントニュースラベルデータにおけるラベル付きの各前記引数に対する前記事前トレーニングモデルの前記予測確率値の負対数尤度の加重和である請求項２に記載のイベント引数抽出方法。
  4. 前記トレーニング済みイベント引数抽出モデルに基づいて、抽出すべき前記イベントコンテンツに対して引数抽出を行い、抽出すべき前記イベントコンテンツの前記目標引数を取得することは、
    前記トレーニング済みイベント引数抽出モデルに基づいて、抽出すべき前記イベントコンテンツに対して引数抽出を行い、抽出すべき前記イベントコンテンツにおける少なくとも１つの前記引数の予測確率値を取得することと、
    少なくとも１つの前記引数のうち前記予測確率値が最大の引数及び前記予測確率値が確率閾値より大きい引数を前記目標引数とすることとを含み、
    前記確率閾値は、少なくとも１つの前記引数の前記予測確率値のうち最大の予測確率値に、１以下の正数である、予め設定された係数の値を掛けたものである請求項１に記載のイベント引数抽出方法。
  5. 前記イベントニュースラベルデータ及び前記損失関数により、前記事前トレーニングモデルをトレーニングし、前記トレーニング済みイベント引数抽出モデルを取得することは、
    予め設定された問答フォーマットに従って、前記イベントニュースラベルデータに対してフォーマット変換を行い、ニュース問答データを取得することと、
    前記ニュース問答データ及び前記損失関数により、前記事前トレーニングモデルをトレーニングし、前記トレーニング済みイベント引数抽出モデルを取得することとを含む請求項２に記載のイベント引数抽出方法。
  6. 前記トレーニング済みイベント引数抽出モデルに基づいて、抽出すべき前記イベントコンテンツに対して引数抽出を行い、抽出すべき前記イベントコンテンツの前記目標引数を取得することは、
    トレーニング済みイベントタイプ分類モデルに基づいて、抽出すべき前記イベントコンテンツのイベントタイプを予測することと、
    トレーニング済みイベント文判別モデルに基づいて、抽出すべき前記イベントコンテンツのイベント記述文を予測することと、
    前記イベントタイプ、前記イベント記述文、前記イベントタイプに対応する引数役割及び予め設定された問答フォーマットに基づいて、抽出すべき前記イベントコンテンツに対応する抽出すべき問答データを構築することであって、抽出すべき前記問答データのフォーマットは予め設定された前記問答フォーマットにマッチングし、抽出すべき前記問答データは抽出すべき前記イベントコンテンツの前記イベント記述文、抽出すべき前記イベントコンテンツの前記イベントタイプ及び該イベントタイプに対応する前記引数役割を含むことと、
    抽出すべき前記問答データを前記トレーニング済み引数抽出モデルに入力し、前記トレーニング済みイベント引数抽出モデルに基づいて引数抽出を行い、前記目標引数を取得することとを含む請求項１に記載のイベント引数抽出方法。
  7. 抽出すべきイベントコンテンツを取得する第１の取得モジュールと、
    トレーニング済みイベント引数抽出モデルに基づいて、抽出すべき前記イベントコンテンツに対して引数抽出を行い、抽出すべき前記イベントコンテンツの目標引数を取得する抽出モジュールとを備え、
    前記トレーニング済みイベント引数抽出モデルが、イベントニュースラベルデータ及び該イベントニュースラベルデータにおけるラベル付きの各引数の重みにより事前トレーニングモデルをトレーニングして取得したものであるイベント引数抽出装置。
  8. 少なくとも、前記イベントニュースラベルデータ及び損失関数により、前記事前トレーニングモデルをトレーニングし、前記トレーニング済みイベント引数抽出モデルを取得するという方式により前記トレーニング済みイベント引数抽出モデルを取得し、
    前記損失関数は、前記イベントニュースラベルデータにおけるラベル付きの各前記引数に対する前記事前トレーニングモデルの予測確率値及び各前記引数の重みに関連する請求項７に記載のイベント引数抽出装置。
  9. 前記損失関数は、前記イベントニュースラベルデータにおけるラベル付きの各前記引数に対する前記事前トレーニングモデルの前記予測確率値の負対数尤度の加重和である請求項８に記載のイベント引数抽出装置。
  10. 前記抽出モジュールは、
    前記トレーニング済みイベント引数抽出モデルに基づいて、抽出すべき前記イベントコンテンツに対して引数抽出を行い、抽出すべき前記イベントコンテンツにおける少なくとも１つの前記引数の予測確率値を取得する確率予測モジュールと、
    少なくとも１つの前記引数のうち前記予測確率値が最大の引数及び前記予測確率値が確率閾値より大きい引数を前記目標引数とする引数決定モジュールとを備え、
    前記確率閾値は、少なくとも１つの前記引数の前記予測確率値のうち最大の予測確率値に、１以下の正数である予め設定された係数の値を掛けたものである請求項７に記載のイベント引数抽出装置。
  11. 前記イベントニュースラベルデータ及び前記損失関数により、前記事前トレーニングモデルをトレーニングし、前記トレーニング済みイベント引数抽出モデルを取得することは、
    予め設定された問答フォーマットに従って、前記イベントニュースラベルデータに対してフォーマット変換を行い、ニュース問答データを取得することと、
    前記ニュース問答データ及び前記損失関数により、前記事前トレーニングモデルをトレーニングし、前記トレーニング済みイベント引数抽出モデルを取得することとを含む請求項８に記載のイベント引数抽出装置。
  12. 前記抽出モジュールは、
    前記トレーニング済みイベントタイプ分類モデルに基づいて、抽出すべき前記イベントコンテンツのイベントタイプを予測する第１の予測モジュールと、
    トレーニング済みイベント文判別モデルに基づいて、抽出すべき前記イベントコンテンツのイベント記述文を予測する第２の予測モジュールと、
    前記イベントタイプ、前記イベント記述文、前記イベントタイプに対応する引数役割及び予め設定された問答フォーマットに基づいて、抽出すべき前記イベントコンテンツに対応する抽出すべき問答データを構築する構築モジュールであって、抽出すべき前記問答データのフォーマットは予め設定された前記問答フォーマットにマッチングし、抽出すべき前記問答データは抽出すべき前記イベントコンテンツの前記イベント記述文、抽出すべき前記イベントコンテンツの前記イベントタイプ及び該イベントタイプに対応する前記引数役割を含む構築モジュールと、
    抽出すべき前記問答データを前記トレーニング済み引数抽出モデルに入力し、前記トレーニング済みイベント引数抽出モデルに基づいて引数抽出を行い、前記目標引数を取得する引数抽出モジュールとを備える請求項７に記載のイベント引数抽出装置。
  13. 少なくとも１つのプロセッサと、
    少なくとも１つの前記プロセッサに通信可能に接続されたメモリとを備え、
    少なくとも１つの前記プロセッサに実行されて、請求項１から請求項６のいずれかに記載のイベント引数抽出方法を少なくとも１つの前記プロセッサに実行させる、少なくとも１つの前記プロセッサにより実行可能な命令が前記メモリに格納されている電子デバイス。
  14. 請求項１から請求項６のいずれかに記載のイベント引数抽出方法をコンピュータ実行させるためのコンピュータ命令を格納している非一時的なコンピュータ読み取り可能な記憶媒体。
  15. コンピュータプログラムを含むコンピュータプログラム製品であって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項１から請求項６のいずれかに記載のイベント引数抽出方法が実現されるコンピュータプログラム製品。

JP2021044663A 2020-03-20 2021-03-18 イベント引数抽出方法、イベント引数抽出装置、電子デバイス、記憶媒体及びコンピュータプログラム製品 Active JP7292321B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010202897.1 2020-03-20
CN202010202897.1A CN111414482B (zh) 2020-03-20 2020-03-20 一种事件论元抽取方法、装置以及电子设备

Publications (2)

Publication Number Publication Date
JP2021099884A true JP2021099884A (ja) 2021-07-01
JP7292321B2 JP7292321B2 (ja) 2023-06-16

Family

ID=71491368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021044663A Active JP7292321B2 (ja) 2020-03-20 2021-03-18 イベント引数抽出方法、イベント引数抽出装置、電子デバイス、記憶媒体及びコンピュータプログラム製品

Country Status (5)

Country Link
US (1) US11880397B2 (ja)
EP (1) EP3882783A1 (ja)
JP (1) JP7292321B2 (ja)
KR (1) KR102677454B1 (ja)
CN (1) CN111414482B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001265B (zh) * 2020-07-29 2024-01-23 北京百度网讯科技有限公司 视频事件识别方法、装置、电子设备及存储介质
CN112231447B (zh) * 2020-11-21 2023-04-07 杭州投知信息技术有限公司 一种中文文档事件抽取的方法和系统
CN112507700A (zh) * 2020-11-26 2021-03-16 北京百度网讯科技有限公司 事件抽取方法、装置、电子设备及存储介质
CN112560462B (zh) * 2020-12-11 2023-08-01 北京百度网讯科技有限公司 事件抽取服务的生成方法、装置、服务器以及介质
CN112765980B (zh) * 2021-02-01 2023-05-12 广州市刑事科学技术研究所 一种面向警情笔录的事件论元角色抽取方法和装置
CN113032520A (zh) * 2021-02-26 2021-06-25 北京金堤征信服务有限公司 信息分析方法及装置、电子设备和计算机可读存储介质
CN112967144B (zh) * 2021-03-09 2024-01-23 华泰证券股份有限公司 一种金融信用风险事件抽取方法、可读存储介质及设备
CN113220768A (zh) * 2021-06-04 2021-08-06 杭州投知信息技术有限公司 基于深度学习的简历信息结构化方法及系统
CN113704476B (zh) * 2021-09-02 2022-03-04 中科雨辰科技有限公司 目标事件抽取数据处理系统
CN114741516A (zh) * 2021-12-08 2022-07-12 商汤国际私人有限公司 一种事件抽取方法和装置、电子设备及存储介质
CN114490953B (zh) * 2022-04-18 2022-08-19 北京北大软件工程股份有限公司 训练事件抽取模型的方法、事件抽取的方法、装置及介质
CN115982339A (zh) * 2023-03-15 2023-04-18 上海蜜度信息技术有限公司 突发事件抽取方法、系统、介质、电子设备
CN117093728B (zh) * 2023-10-19 2024-02-02 杭州同花顺数据开发有限公司 一种金融领域事理图谱构建方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014228993A (ja) * 2013-05-21 2014-12-08 日本電信電話株式会社 情報抽出方法、情報抽出装置及び情報抽出プログラム
JP2016024545A (ja) * 2014-07-17 2016-02-08 株式会社Ｎｔｔドコモ 情報管理装置、情報管理システム、及び情報管理方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110295612A1 (en) * 2010-05-28 2011-12-01 Thierry Donneau-Golencer Method and apparatus for user modelization
US9147161B2 (en) * 2013-03-14 2015-09-29 Google Inc. Determining geo-locations of users from user activities
CN103530281B (zh) 2013-10-15 2016-06-22 苏州大学 一种论元抽取方法和系统
CN104598535B (zh) * 2014-12-29 2018-03-16 中国科学院计算机网络信息中心 一种基于最大熵的事件抽取方法
CN104834718A (zh) 2015-05-11 2015-08-12 苏州大学 基于最大熵模型的事件论元识别方法及系统
US9866646B2 (en) * 2015-08-07 2018-01-09 Bento Labs Inc. Systems and methods for anticipatory push search for a homescreen browser
CN105956197A (zh) * 2016-06-15 2016-09-21 杭州量知数据科技有限公司 基于社交媒体图表示模型的社会风险事件抽取方法
CN106445990B (zh) * 2016-06-25 2019-10-11 上海大学 事件本体构建方法
CN107220352B (zh) * 2017-05-31 2020-12-08 北京百度网讯科技有限公司 基于人工智能构建评论图谱的方法和装置
EP3692470A4 (en) * 2017-10-02 2021-08-11 Sensen Networks Group Pty Ltd SYSTEM AND METHOD OF OBJECT DETECTION GUIDED BY AUTOMATIC LEARNING
US10789755B2 (en) * 2018-04-03 2020-09-29 Sri International Artificial intelligence in interactive storytelling
CN110717034A (zh) * 2018-06-26 2020-01-21 杭州海康威视数字技术股份有限公司 一种本体构建方法及装置
CN108830430A (zh) * 2018-08-01 2018-11-16 苏州大学张家港工业技术研究院 用于交通流量预测的卷积神经网络多点回归预测模型
US11983183B2 (en) * 2018-08-07 2024-05-14 Disney Enterprises, Inc. Techniques for training machine learning models using actor data
CN109635280A (zh) * 2018-11-22 2019-04-16 园宝科技(武汉)有限公司 一种基于标注的事件抽取方法
CN110032641B (zh) * 2019-02-14 2024-02-13 创新先进技术有限公司 计算机执行的、利用神经网络进行事件抽取的方法及装置
CN109978060B (zh) * 2019-03-28 2021-10-22 科大讯飞华南人工智能研究院（广州）有限公司 一种自然语言要素抽取模型的训练方法及装置
CN110134757B (zh) * 2019-04-19 2020-04-07 杭州电子科技大学 一种基于多头注意力机制的事件论元角色抽取方法
CN110597976B (zh) * 2019-09-16 2022-11-15 北京金山数字娱乐科技有限公司 一种关键句提取方法及装置
CN110619053A (zh) * 2019-09-18 2019-12-27 北京百度网讯科技有限公司 实体关系抽取模型的训练方法和抽取实体关系的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014228993A (ja) * 2013-05-21 2014-12-08 日本電信電話株式会社 情報抽出方法、情報抽出装置及び情報抽出プログラム
JP2016024545A (ja) * 2014-07-17 2016-02-08 株式会社Ｎｔｔドコモ 情報管理装置、情報管理システム、及び情報管理方法

Also Published As

Publication number Publication date
EP3882783A1 (en) 2021-09-22
CN111414482B (zh) 2024-02-20
CN111414482A (zh) 2020-07-14
KR20210037634A (ko) 2021-04-06
US11880397B2 (en) 2024-01-23
KR102677454B1 (ko) 2024-06-21
JP7292321B2 (ja) 2023-06-16
US20210295098A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
JP2021099884A (ja) イベント引数抽出方法、イベント引数抽出装置、電子デバイス、記憶媒体及びコンピュータプログラム製品
JP7228662B2 (ja) イベント抽出方法、装置、電子機器及び記憶媒体
JP7166322B2 (ja) モデルを訓練するための方法、装置、電子機器、記憶媒体およびコンピュータプログラム
US20210200947A1 (en) Event argument extraction method and apparatus and electronic device
EP3933660A1 (en) Method and apparatus for extracting event from text, electronic device, and storage medium
US20210397947A1 (en) Method and apparatus for generating model for representing heterogeneous graph node
EP3852000A1 (en) Method and apparatus for processing semantic description of text entity, device and storage medium
JP7262571B2 (ja) 知識グラフのベクトル表現生成方法、装置及び電子機器
US20210374343A1 (en) Method and apparatus for obtaining word vectors based on language model, device and storage medium
US20210406295A1 (en) Method, electronic device, and storage medium for generating relationship of events
KR102573637B1 (ko) 엔티티 링킹 방법, 장치, 전자 기기 및 기록 매체
KR20210132578A (ko) 지식 그래프를 구축하는 방법, 장치, 기기 및 저장 매체
KR20220011082A (ko) 자연 언어 처리 모델의 트레이닝 방법, 장치, 전자 기기 및 기록 매체
KR102630243B1 (ko) 구두점 예측 방법 및 장치
CN111709252B (zh) 基于预训练的语义模型的模型改进方法及装置
JP2021184255A (ja) 語義表現モデルの生成方法、語義表現モデルの生成装置、電子機器、記憶媒体及びコンピュータプログラム
JP2021096825A (ja) エンドツーエンドモデルのトレーニング方法および装置
JP2022028889A (ja) 対話生成方法、装置、電子機器及び記憶媒体
JP2024129086A (ja) 命令データを生成する方法、装置、機器及び媒体
CN114912522A (zh) 信息分类方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220830

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230315

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230315

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230320

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230606

R150 Certificate of patent or registration of utility model

Ref document number: 7292321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150