JP2019149072A - イベント時間情報特定システム - Google Patents

Abstract

【課題】自然言語処理の時間情報解析における学習データを作成し、その学習データを用いて、文章に記述されるイベントの時間情報を自動的に特定するイベント時間情報特定システムを提供する。【解決手段】文章におけるイベントの時間情報を特定するイベント時間情報特定システムは、文章におけるエンティティに対する時間情報に基づいて、エンティティ間の相対的時間関係を特定することで、時間情報解析における学習データを作成する学習データ処理部２と、作成された学習データを記憶する学習データ記憶部３と、文章におけるエンティティ間の相対的時間関係を、学習データを参照して機械学習した結果に基づいて、新たな文章におけるエンティティ間の相対的時間関係を特定し、その相対的時間関係に基づいて、新たな文章におけるイベントの時間情報を特定する時間情報処理部４と、を有する。【選択図】図１

Description

本発明は，文章に記述されるイベントの時間情報を特定するためのイベント時間情報特定システムに関する。とくに，自然言語処理の時間情報解析における学習データを作成し，その学習データを用いて，文章に記述されるイベントの時間情報を自動的に特定するイベント時間情報特定システムに関する。

ニュース記事などには，さまざまな事件，事象，出来事などのイベントが記述されている。そして，ニュース記事における文章などを分析することで，記事に記述されているイベントの時間情報を特定して時系列に整理することが可能となる。たとえばある企業の株価と，その企業に関するニュース記事に記述されたイベントとを対応づけて，その企業のイベントと株価変動との因果関係を分析することなどに用いることができる。なお時間情報とは，年，月，週，日，時，分，秒などのあらかじめ定められた時間間隔の基準単位の情報である。たとえば「日」が基準単位の時間情報であれば，文章におけるイベントを日ごとに特定して整理をする。

文章に記述されているイベントの時間情報を特定するために，多くの場合，人間が文章を読んで手作業によって特定をしている。しかし，文章数が増えた場合には，その作業はきわめて大変である。

そこで，自然言語で記述された文章をコンピュータに読み込ませ，自然言語処理における時間情報解析の技術を用いることで，読み込ませた文章に記述されているイベントの時間関係を自動的に特定することが考えられる。自然言語処理における時間情報解析とは，文章に記述されているイベント表現（イベントの存在を示す表現，たとえば名詞や動詞などがある），時間表現（時間情報を示す表現），文章の作成日時（Document Creation Time：ＤＣＴ）の時間的関係を解析することで，イベントの時間情報を自動的に特定する技術である。そして，これを実現するためには，文章に記述されているイベント間の相対的時間関係の学習データ（正解データ）を人間が大量に準備しておき，それを機械学習させる必要がある。

自然言語処理における時間情報解析の従来技術では，文章に記述されているイベント表現，時間表現，ＤＣＴ（これらを総称して「メンション」という）のペアの相対的時間関係を作業者（人間）が直接特定し，その相対的時間関係に対応するラベルをアノテーションしてコーパス（自然言語の文章を構造化し大規模に集積したもの）に記憶させている。コーパスには，文章におけるメンションのペアの相対的時間関係に対応するラベル（正しい相対的時間関係を示すラベル）が学習データとして記憶されているので，コーパスを機械学習することで，新たな文章を読み込ませた場合であっても，その新たな文章におけるメンションのペアの相対的時間関係に対応するラベルを自動的に特定し，特定したラベルに基づいて，イベントの時間情報を自動的に推論をすることができる。

従来の時間情報解析におけるコーパスの標準的な例として，TimeBank（非特許文献１），TimeBank-Dense（非特許文献２）がある。

TimeBankでは，文章におけるメンションのすべてのペアを対象として相対的時間関係をアノテーションしているのではなく，作業者が，アノテーションをすべき顕著なペアとして判断したペアだけに，相対的時間関係に対応するラベルがアノテーションされている。一方で，時間情報解析において標準的なコーパスとして，広く利用されている。

また，TimeBankにおけるアノテーションのカバレッジを改善する試みがされたTimeBank-Denseでは，同一文および隣接文中のすべてのイベント表現，時間表現のペアについて相対的時間関係に対応するラベルのアノテーションを行うことで，TimeBankよりも高密度のコーパスを実現している。

さらに，TimeBankに準拠した日本語のコーパスとして非特許文献３がある。

このように，非特許文献１乃至非特許文献３などのTimeBankに基づくコーパスでは，文章におけるメンションのペアの相対的時間関係に対応するラベルをアノテーションしている。このラベルとしては，たとえば，before，after，includes，is_included，simultaneous，vagueがある。beforeとは，あるメンションが時間軸上でほかのメンションより前に発生することを意味し，afterとは，あるメンションが時間軸上でほかのメンションより後に発生することを意味する。includesとは，あるメンションが，時間軸上でほかのメンションを含むことを意味し，is_includedとは，あるメンションが，時間軸上でほかのメンションに含まれることを意味する。またsimultaneousとは，あるメンションが，ほかのメンションと同時に発生することを意味し，vagueとは，あるメンションとほかのメンションとの相対的時間関係が特定できないことを意味する。なお，本明細書では，TimeBankに基づくコーパスで用いる相対的時間関係を総称してTLINKと呼ぶこともある。

図１２に，TLINKによる，メンションのペアの相対的時間関係に対応するラベルがアノテーションされた文章の一例を示す。図１２の例では，ＤＣＴが「２０１８年１月１０日」であって，「Ａ社は，平成３０年１月１０日，Ｂ社からＡ社に対し，携帯電話向けゲームＸの配信の差止めと損害賠償を請求する訴訟が提起された，と発表した。Ａ社によれば，Ａ社は，昨年，Ｂ社から特許権侵害の指摘を受けたという。」という文章である。

この文章においては，ＤＣＴとして「２０１８年１月１０日」，時間表現として「平成３０年１月１０日」，「昨年」，イベント表現として「提起」，「発表」，「指摘を受けた」がある。そして，これらメンションのペアについてそれぞれ相対的時間関係に対応するラベルが特定され，アノテーションされる。たとえば時間表現「平成３０年１月１０日」は，ＤＣＴ「２０１８年１月１０日」と同日であるので，その相対的時間関係に対応するラベルとして，「simultaneous」がアノテーションされる。また時間表現「平成３０年１月１０日」は，イベント表現「提起」よりも後なので，その相対的時間関係に対応するラベルとして，「after」がアノテーションされる。同様に，時間表現「平成３０年１月１０日」とイベント表現「発表」とは，「発表」されたのは１月１０日ではあるが，１月１０日のある時点であると考えられるので，その相対的時間関係に対応するラベルとして，「includes」がアノテーションされる。さらに，時間表現「平成３０年１月１０日」は，時間表現「昨年」，イベント表現「指摘を受けた」よりも後なので，それぞれ相対的時間関係に対応するラベルとして，「after」がアノテーションされる。

このように，メンションのペアの相対的時間関係に対応するラベルをアノテーションをすると図１２のようになる。

メンションのペアの相対的時間関係に対応するラベルを学習データとして記憶するTimeBankなどのコーパスを用いて機械学習することで，新たな文章を読み込ませた場合であっても，相対的時間関係に対応するラベルを自動的に特定し，そのラベルに基づいて時間情報を自動的に推論することができる。

J. Pustejovsky, P. Hanks, R. Sauri, A. See, R. Gaizauskas,A. Setzer, D. Radev, B. Sundheim, D. Day, L. Ferro, et al.，"The timebank corpus"，Corpus Linguistics 2003 T. Cassidy, B. McDowell, N. Chambers, and S. Bethard，"An annotation framework for dense event ordering"，ACL 2014 M. Asahara, S. Kato, H. Konishi, M. Imada, and K. Maekawa，"BCCWJ-Timebank: Temporal and event information annotation on Japanese text"，IJCLCLP 2014 坂口智洋， 河原大輔，黒橋禎夫，"京都大学テキストコーパスに対する網羅的な時間情報アノテーション"，情報処理学会研究報告２０１７ N. Reimers, N. Dehghani, and I. Gurevych，"Temporal anchoring of events for the timebank corpus"，ACL 2016

しかし，上述の非特許文献１乃至非特許文献３のような従来技術の場合，文章におけるメンションのペアの相対的時間関係を，文章から直接特定をして，対応するラベルをアノテーションしているので，相対的時間関係に対応するラベルをアノテーションするためにＯ（ｎ^２）の作業量が必要となる。そのため，文章量が増えた場合には，メンションのペアが多くなりきわめて大変な作業となる。またメンションのペアの相対的時間関係を特定するのは，人間でも容易でない場合がある。

また，非特許文献４および非特許文献５の従来技術では，文章におけるメンションに対して特定の日付をアノテーションし，その日付を学習データとして記憶しておく手法が提案されている。しかし，メンションに日付が直接アノテーションされているので，学習データの形式が大幅に異なり，従来の非特許文献１乃至非特許文献３とは異なるコーパスとなる。そのため，そのコーパスを用いて機械学習を行うためには，TLINKに準拠したコーパスを機械学習するシステムとは異なる機械学習のシステムが必要になる問題点がある。

本発明者は上記課題に鑑み，自然言語処理の時間情報解析において，文章に記述されているメンションなどのエンティティ間の相対的時間関係を，より少ない作業負担で特定し，学習データを作成する。そしてこのような学習データを用いて，文章に記述されているイベントの時間情報を自動的に特定するイベント時間情報特定システムを発明した。また，文章に記述されているメンションなどのエンティティ間の相対的時間関係を，より少ない作業負担で特定して，自然言語処理の時間情報解析に用いる学習データを作成できる学習システムを発明した。

第１の発明は，文章におけるイベントの時間情報を特定するイベント時間情報特定システムであって，前記イベント時間情報特定システムは，文章におけるエンティティに対する時間情報に基づいて，前記エンティティ間の相対的時間関係を特定することで，時間情報解析における学習データを作成する学習データ処理部と，文章におけるエンティティ間の相対的時間関係を，前記学習データを参照して機械学習した結果に基づいて，新たな文章におけるエンティティ間の相対的時間関係を特定し，その相対的時間関係に基づいて，前記新たな文章におけるイベントの時間情報を特定する時間情報処理部と，を有するイベント時間情報特定システムである。

自然言語処理における時間情報解析の従来技術では，TLINKと呼ばれる手法で相対的時間関係を特定し，学習データとして作成していた。しかしこの方法では，文章におけるメンションのペアについて，直接，相対的時間関係をアノテーションしているので，アノテーションをする作業に，Ｏ（ｎ^２）の作業量が必要となる。そのため，文章量が増加した場合に，作業量が著しく増加してしまう。そこで本発明では，文章のエンティティには時間情報をアノテーションし，その時間情報を比較することで相対的時間関係を特定している。文章におけるエンティティに時間情報をアノテーションする作業量はＯ（ｎ）で足りるので，文章量が増加したとしても，従来のTLINKよりも作業量の増加度合いは少なくなる。そしてアノテーションした時間情報の相対的時間関係は，時間情報の比較によって特定できるので，学習データを作成する際の作業負担を大幅に軽減することができる。

また，このように作成した学習データを用いて機械学習することで，新たな文章を読み込み，その文章に記述されているイベントの時間情報を特定する場合，その特定の精度を大幅に改善することができる。

上述の発明において，前記学習データ処理部は，前記エンティティとして，イベント表現とＤＣＴおよび／またはイベント表現と時間表現とを用いる，イベント時間情報特定システムのように構成することができる。

エンティティとして本発明の情報を用いることで，新たな文章を読み込んだ場合，その文章におけるイベントの時間情報特定の精度を向上することができる。

上述の発明において，前記学習データ処理部は，文章におけるエンティティのペアに対応づけられた時間情報を比較することで，前記相対的時間関係に対応するラベルを特定し，前記学習データとして，前記文章とその文章におけるエンティティと，前記特定したラベルとを含む，イベント時間情報特定システムのように構成することができる。

相対的時間関係は，本発明のようにラベルによって特定することで，機械学習で参照する学習データとして容易に用いることができる。

上述の発明において，前記学習データ処理部は，前記作成した学習データを，コーパスとなる学習データ記憶部に記憶させ，前記学習データ記憶部は，複数の学習データを記憶する，イベント時間情報特定システムのように構成することができる。

機械学習をする場合，学習データの数は多いことが好ましい。そこで本発明によって作成した複数の学習データを学習データ記憶部に記憶させておくことで，より適切な機械学習を行わせることができる。

上述の発明において，前記イベント時間情報特定システムは，前記文章としてニュース記事を用い，前記特定したイベントの時間情報を，経済または金融の指標情報と対応づけて表示させる，イベント時間情報特定システムのように構成することができる。

文章としては如何なる種類の文章であってもよいが，ニュース記事を用いることが好ましい。ニュース記事はＤＣＴが明確であって，かつイベント表現や時間表現が適切に記載されているからである。また，ニュース記事におけるイベントの時間表現は，ＤＣＴと同日であることが多いので，相対的時間関係の特定も適切に行われやすく，精度が向上する。さらに，経済または金融の指標情報と対応づけて表示させることで，従来は，手作業でこれら指標情報とニュースとを対応づけていたのを，自動的に行うことができる。

第６の発明は，時間情報解析における学習データを作成する学習システムであって，前記学習システムは，文章におけるエンティティに対する時間情報に基づいて，前記エンティティ間の相対的時間関係を特定することで，時間情報解析における学習データを作成し，コーパスに記憶させる学習データ作成処理部，を有する学習システムである。

本発明の学習システムを用いることで，第１の発明と同様の技術的効果を得ることができる。すなわち，本発明では，文章のエンティティには時間情報をアノテーションし，その時間情報を比較することで相対的時間関係を特定している。文章におけるエンティティに時間情報をアノテーションする作業量はＯ（ｎ）で足りるので，文章量が増加したとしても，従来のTLINKよりも作業量の増加度合いは少なくなる。そしてアノテーションした時間情報の相対的時間関係は，時間情報の比較によって特定できるので，学習データを作成する際の作業負担を大幅に軽減することができる。

また，本発明で作成された学習データを記憶するコーパスに基づいて時間情報解析の機械学習をさせた場合には，新たな文章に記述されているイベントの時間情報の特定処理について，その特定の精度が大幅に改善される。

第１の発明のイベント時間情報特定システムは，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，文章におけるエンティティに対する時間情報に基づいて，前記エンティティ間の相対的時間関係を特定することで，時間情報解析における学習データを作成する学習データ処理部，文章におけるエンティティ間の相対的時間関係を，前記学習データを参照して機械学習した結果に基づいて，新たな文章におけるエンティティ間の相対的時間関係を特定し，その相対的時間関係に基づいて，前記新たな文章におけるイベントの時間情報を特定する時間情報処理部，として機能させるイベント時間情報特定プログラムのように構成することができる。

第６の発明の学習システムは，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，文章におけるエンティティに対する時間情報に基づいて，前記エンティティ間の相対的時間関係を特定することで，時間情報解析における学習データを作成し，コーパスに記憶させる学習データ作成処理部，として機能させる学習プログラムのように構成することができる。

本発明のイベント時間情報特定システムを用いることで，文章に記述されているエンティティについて時間情報をアノテーションすることでよく，エンティティ間の相対的時間関係は時間情報の比較によって特定できる。従来のTLINKでは，直接，エンティティ間の相対的時間関係をアノテーションしていたので，その作業量としてＯ（ｎ^２）が必要であったが，時間情報のアノテーションなので，Ｏ（ｎ）の作業量で足りる。そして相対的時間関係は，アノテーションされた時間情報の比較から特定するので，学習データを作成する際の作業負担を大幅に軽減することができる。

そして本発明のイベント時間情報特定システムにより作成した学習データに基づいて機械学習をすることで，新たな文章を読み込ませた場合の文章に記述されているイベントの時間情報の特定の精度を向上することができる。

本発明のイベント時間情報特定システムの全体の概念の一例を示す図である。 本発明のイベント時間情報特定システムを実現するコンピュータのハードウェア構成の一例を示す図である。 本発明のイベント時間情報特定システムの処理プロセスの一例を示すフローチャートである。 文章に時間情報をアノテーションした状態の一例を模式的に示す図である。 文章にアノテーションされた時間情報に基づいて，メンション間の相対的時間関係を特定するための条件の一例を示す図である。 文章にアノテーションされた時間情報に基づいて，メンション間の相対的時間関係に対応するラベルを特定する一例を模式的に示す図である。 イベント時間情報特定システムに入力する新たな文章の一例を示す図である。 新たな文章におけるメンションに対して相対的時間情報のラベルを特定する処理の一例を模式的に示す図である。 新たな文章において，メンションに対する相対的時間情報のラベルに基づいて時間情報を特定する処理の一例を模式的に示す図である。 本発明による学習データを用いて機械学習をした場合と，TLINKによる学習データとを用いて機械学習をした場合とを比較する実験結果の一例を示す図である。 株価のチャートとイベントとを対応づけて同一画面に表示する場合の一例を示す図である。 TLINKにより，あるメンションとほかのメンションとの相対的時間関係に対応するラベルがアノテーションされた文章の一例を模式的に示す。

本発明のイベント時間情報特定システム１の全体の概念図の一例を図１に示す。また，イベント時間情報特定システム１で用いるコンピュータのハードウェア構成の一例を図２に示す。

イベント時間情報特定システム１は，それぞれコンピュータによって実現される。コンピュータはプログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，ディスプレイなどの表示装置７２と，情報の入力を行う入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報などの各種情報を通信する通信装置７４とを有している。なお，コンピュータがタッチパネルディスプレイを備えている場合には表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，携帯電話やスマートフォン，タブレット型コンピュータなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

イベント時間情報特定システム１は一台のコンピュータによって実現されていてもよいが，その機能が複数のコンピュータによって実現されていてもよい。この場合のコンピュータとして，たとえばクラウドサーバであってもよい。

さらに，本発明のイベント時間情報特定システム１における各処理部は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。

また後述する学習データを記憶する学習データ記憶部３（コーパス）は，イベント時間情報特定システム１とは独立したデータベースサーバに備えていてもよいし，イベント時間情報特定システム１におけるデータベースなどの各種の記憶装置７１として機能していてもよい。

イベント時間情報特定システム１は，学習データを自動的に作成するための学習データ処理部２と，作成した学習データに基づいて機械学習を行い，それに基づいて，入力を受け付けた新たな文章に記述されているイベントの時間情報を自動的に特定する時間情報処理部４とを有する。学習データ処理部２は学習システムとして，時間情報処理部４は，時間情報処理システムとして，それぞれ独立したコンピュータシステムとして機能していてもよい。

学習データ処理部２（学習システム）は，時間情報受付処理部２１と学習データ作成処理部２２とを有する。

時間情報受付処理部２１は，文章に記述されているエンティティに対する，あらかじめ定められた基準単位での時間情報（絶対的時間情報）の入力を受け付ける。エンティティとは，文章に記述されており，時間情報をアノテーションする対象としてあらかじめ定められた情報である。たとえば上述の，イベント表現，時間表現，ＤＣＴなどのいずれか一以上を含むメンションのほか，あらかじめ定められた品詞や単語など，任意に定めることができる。以下の説明では，エンティティとしてメンションを用いる場合で説明するが，エンティティとしてメンション以外の場合であっても同様に処理を実行することができる。なお，ＤＣＴは，文章に直接記述されていてもよいし，文章に対応づけた情報であってもよい。たとえば文章のメタデータなどに記述されていてもよい。

エンティティとしてメンションを用いる場合，時間情報受付処理部２１は，文章に記述されているメンションに対する，あらかじめ定められた基準単位での時間情報（絶対的時間情報）の入力を受け付ける。あらかじめ定められた基準単位の時間情報が，たとえば「日」である場合には，文章に記述されているメンションに対応する日付が時間情報となる。そして，時間情報受付処理部２１では，文章に記述されているメンションに対応する日付が時間情報としてアノテーションされ，その入力を受け付ける。文章に記述されているメンションに時間情報をアノテーションするのは，人間（作業者）であってもよいし，コンピュータが所定の方法により自動的に行ってもよい。

時間情報としては，メンションが，基準単位における一単位とできる場合（一単位メンションであって明確に特定できる場合）はその一単位でアノテーションされ，一単位であるが明確に特定できない場合（不明確な場合）はできる限り範囲を絞り，タプル（後述するafter，beforeにより定められる範囲）としてアノテーションされる。また，メンションが複数単位にまたがる場合（複数単位メンション）は，その期間がタプル（後述するbegin，end）としてアノテーションされる。複数単位メンションの期間のタプルのbegin（始期），end（終期）が不明確な場合，それぞれを不明確な場合の一単位メンションで表す。また，明確な時間情報は通常の括弧「（）」で示し，不明確な時間情報は角括弧「［after,before］」のタプルで示す。なお時間情報の表記はこれに限定するものではない。

あるメンションが，明確に特定できる一単位メンションの場合，たとえば，「（２０１８−０１−１０）」のように特定の時間情報がメンションにアノテーションされる。また一単位メンションであるものの，明確に特定できない場合には，「[２０１７−０１−０１，２０１７−１２−３１］」のように範囲を示す時間情報を，メンションにアノテーションする。ここでは「after」が「２０１７−０１−０１」であり，「before」が「２０１７−１２−３１」であり，２０１７年１月１日から２０１７年１２月３１日のいずれかではあるものの，具体的には特定できないことを示している。また，複数単位にまたがるメンションの場合，たとえば「（２０１７−０１−０１，２０１７−１２−３１）」のように，範囲を示す時間情報をメンションにアノテーションをする。ここで「begin」が「２０１７−０１−０１」であり，「end」が「２０１７−１２−３１」であり，２０１７年１月１日から２０１７年１２月３１日の期間であることを示している。また，複数単位にまたがるメンションであるが，始期または終期が明確に特定できない場合には，その部分をさらにタプルで示す。たとえば「（[２０１７−０１−０１，２０１７−１２−３１］，２０１８−０１−０９）」のように，範囲を示す時間情報をメンションにアノテーションする。この場合，始期が不明確であって，「２０１７−０１−０１」（after）から「２０１７−１２−３１」（before）のいずれかであり，終期が「２０１８年１月９日」であることを示している。

なお時間情報の表記方法は上記に限定するものではなく，いかなる表記形態をとってもよい。

文章の各メンションには，それぞれ時間情報が，たとえばＸＭＬのタグとしてアノテーションされるが，データフォーマットにはほかのフォーマットを用いることができる。

このように文章とその文章に記述されている各メンションと，それらに対応づけてアノテーションされた時間情報（絶対的時間情報）とを時間情報受付処理部２１で受け付ける。

学習データ作成処理部２２は，時間情報受付処理部２１で受け付けた文章のエンティティに対応づけられた時間情報のアノテーションに基づいて，エンティティ同士の時間情報を，後述する図５の条件式に基づいて比較することで，エンティティ間の相対的時間関係に対応するラベルを特定する。エンティティがメンションの場合，学習データ作成処理部２２は，時間情報受付処理部２１で受け付けた文章のメンションに対応づけられた時間情報のアノテーションに基づいて，メンション同士の時間情報を，後述する図５の条件に基づいて比較することで，メンション間の相対的時間関係に対応するラベルを特定する。なお，図５の条件式ｑ，ｒ，ｔについては，SAME_SPANに該当する場合を除外して条件式を適用する。

本発明で用いるラベルとしては，BEFORE，AFTER，INCLUDES，IS_INCLUDED，SAME_DAY，SAME_SPAN，VAGUE，PVAGUEが一例としてあるが，これに限定するものではない。また異なる相対的時間関係が対応づけられていてもよい。なお，区別のため，TLINKのラベルは小文字で，本発明におけるラベルは大文字で表記をする。

BEFOREは，あるメンションが時間軸上でほかのメンションより前に発生することを意味しており，AFTERは，あるメンションが時間軸上でほかのメンションより後に発生することを意味しており，従来のTLINKのbefore，afterとほぼ対応している。INCLUDESは，複数単位メンションが時間軸上でほかのメンションを包含していることを意味しており，IS_INCLUDEDは，あるメンションが時間軸上でほかの複数単位メンションに包含されることを意味し，従来のTLINKのincludes，is_includedより厳密な定義が与えられている。SAMEDAYは，ある一単位メンションが時間軸上でほかの一単位メンションと同一の単位内において発生している場合（たとえば基準単位が「日」のとき，２つのメンションが同一日の場合）を意味しており，SAME_SPANは，ある複数単位メンションが時間軸上でほかの複数単位メンションと同一の単位内において発生している場合（たとえば基準単位が「日」のとき，２つのメンションの始期と終期がいずれも同一日の場合）を意味している。VAGUEとPVAGUEは，メンション間の相対的時間関係が特定できないことを意味しており，一部の相対的時間関係が特定できない場合がPVAGUE，すべての相対的時間関係が特定できない場合がVAGUEとなる。なお，本明細書では，学習データ処理部２の学習データ作成処理部２２で特定するメンション間の相対的時間関係をTORDER（Temporal Order）と呼ぶことがある。

このようなラベルを用いることで，TLINKよりイベントの時間情報を特定する精度を向上させることができる。なおここで示したラベルは一例であり，これに限定をするものではない。たとえば従来と同様に，TLINKによるラベルを用いてもよい。

学習データ作成処理部２２は，メンション間の相対的時間関係を，図５の条件式に基づいて比較することで，対応するラベルを特定する。図５の条件式では，比較対象となるメンションの種類に応じて，時間情報の比較の条件式と，その条件式を充足した場合のメンション間の相対的時間関係およびそれに対応するラベルとを対応づけている。この条件式は学習データ作成処理部２２であらかじめ記憶している。

たとえば２つのメンションが一単位メンションであって，明確な時間情報Ｓ１，Ｓ２がそれぞれアノテーションされている場合には，学習データ作成処理部２２は，図５の条件式ａ乃至ｃに基づいて相対的時間関係を特定し，対応するラベルとしてBEFORE，AFTER，SAME_DAYのいずれかを特定する。また２つのメンションが一単位メンションであって，一つが明確な時間情報Ｓ１，もう一つが不明確な時間情報Ｓ２（after2，before2）がアノテーションされている場合には，学習データ作成処理部２２は，図５の条件式ｄ乃至ｆに基づいて相対的時間関係を特定し，対応するラベルとしてBEFORE，AFTER，VAGUEのいずれかを特定する。さらに，２つのメンションが一単位メンションであって，不明確な時間情報Ｓ１（after1，before1），Ｓ２（after2，before2）がそれぞれアノテーションされている場合には，学習データ作成処理部２２は，図５の条件式ｇ乃至ｊに基づいて相対的時間関係を特定し，対応するラベルとしてBEFORE，AFTER，PVAGUE，VAGUEのいずれかを特定する。

また２つのメンションが一単位メンションと複数メンションであって，時間情報Ｓ１，Ｍ２(begin2，end2）がアノテーションされている場合には，学習データ作成処理部２２は，図５の条件式ｋ乃至ｎに基づいて相対的時間関係を特定し，対応するラベルとしてBEFORE，AFTER，IS_INCLUDED，VAGUEのいずれかを特定する。さらに２つのメンションが複数メンションであって，時間情報Ｍ１(begin1，end1），Ｍ２(begin2，end2）がそれぞれアノテーションされている場合には，学習データ作成処理部２２は，図５の条件式ｏ乃至ｕに基づいて相対的時間関係を特定し，対応するラベルとしてBEFORE，AFTER，IS_INCLUDED，INCLUDES，SAME_SPAN，PVAGUE，VAGUEのいずれかを特定する。

従来のTLINKでは，文章のメンションのペアについて，直接，相対的時間関係をアノテーションしており，この作業量はＯ（ｎ^２）である。そしてアノテーション作業は，通常，人間が行っているので，文章量が増えた場合，アノテーションにかかる作業負担は著しく増加してしまう。しかし，本発明のTORDERでは，文章のメンションには，時間情報をアノテーションしている。この作業量はＯ（ｎ）である。そのため，文章量が増えた場合，アノテーションの作業を人間が行ったとしても，アノテーションにかかる作業負担はTLINKに比べれば大きくはない。そして，メンションのペアの相対的時間関係は，時間情報受付処理部２１で受け付けたメンションの時間情報と，あらかじめ定められた条件式（図５）とに基づいて，学習データ作成処理部２２が時間情報を比較して特定するので，学習データの作成にかかる作業負担を，従来のTLINKの場合よりも著しく軽減できる。さらに，学習データとしては従来の標準的なコーパスと同様であるので，従来のTLINKに用いていた機械学習のシステムと同様（ほぼ同様）のシステムを用いることができる。

図５の条件式は一例であって，学習データに用いるラベルによって，適宜設定可能である。

学習データ作成処理部２２は，文章とそのメンションと，以上のようにして特定した相対的時間関係に対応するラベルとを含む情報を，学習データとして学習データ記憶部３に記憶させる。

学習データ記憶部３は，文章とそのエンティティと，その文章におけるエンティティ間の相対的時間関係に対応するラベルとをコーパスとして記憶する。たとえばエンティティとしてメンションを用いる場合，学習データ記憶部３は，文章とそのメンションと，その文章におけるメンション間の相対的時間関係に対応するラベルとをコーパスとして記憶する。学習データ記憶部３では，複数の学習データを記憶している。なお，学習データ記憶部３は，学習データ処理部２で生成した学習データを記憶するほか，ほかの手段によって生成した学習データを記憶していてもよい。

時間情報処理部４（時間情報処理システム）は，機械学習処理部４１と時間情報特定処理部４２とを有する。なお，時間情報処理部４は，従来技術と同様の，時間関係認識のための機械学習モデルの処理を用いることができる。たとえば，本件出願の発明者らによる，F. Cheng and Y. Miyao，”Classifying temporal relations by bidirectional LSTM over dependency paths”，ACL 2017などの論文における処理（双方向再帰型ニューラルネットワークモデル）を用いることができる。

機械学習処理部４１は，学習データ処理部２などで作成した学習データを記憶する学習データ記憶部３を参照し，文章に記述されているメンションなどのエンティティ間の相対的時間関係を機械学習する。

時間情報特定処理部４２は，処理対象となる新たな文章の入力を受け付け，機械学習処理部４１における機械学習の結果に基づいて，当該新たな文章に記述されているメンションなどのエンティティ間の相対的時間情報を特定し，それに基づいて，新たな文章に記述されているイベントの時間情報（絶対的時間情報）を特定する。

つぎに本発明のイベント時間情報特定システム１を用いた場合の処理プロセスの一例を図３のフローチャートを用いて説明する。以下の説明では，文章におけるエンティティとして，上述のメンション（イベント表現，時間表現，ＤＣＴ）を用い，時間情報の基準単位として「日」を用いる場合を説明するが，これらに限定されないことは上述の通りである。また，一単位メンションを単一日メンション，複数単位メンションを複数日メンションとする。

まず機械学習をするための学習データを作成する場合，文章に記述されているメンションに，時間情報（絶対的時間情報）としての日付をアノテーションする（Ｓ１００）。図４は，図１２の場合と同様に，ＤＣＴが「２０１８年１月１０日」であって，「Ａ社は，平成３０年１月１０日，Ｂ社からＡ社に対し，携帯電話向けゲームＸの配信の差止めと損害賠償を請求する訴訟が提起された，と発表した。Ａ社によれば，Ａ社は，昨年，Ｂ社から特許権侵害の指摘を受けたという。」というニュース記事に記述されているメンションに対して，時間情報をアノテーションした状態の一例を模式的に示す。

図４の文章に記述されているメンションとしては，図１２と同様に，ＤＣＴとして「２０１８年１月１０日」，時間表現として「平成３０年１月１０日」，「昨年」，イベント表現として「提起」，「発表」，「指摘を受けた」がある。そしてＤＣＴ「２０１８年１月１０日」は，明確な単一日メンションであるからその時間情報は「（２０１８−０１−１０）」となる。図４では，明確な時間情報は通常の括弧「（）」で示し，不明確な時間情報は角括弧「［after,begin］」のタプルで示す。

時間表現「平成３０年１月１０日」は明確な単一日メンションであるからその時間情報は「（２０１８−０１−１０）」となる。イベント表現「提起」は，いつ提起されたかは不明であるので，不明確な単一日メンションとして，その時間情報は「［２０１７−０１−０１，２０１８−０１−０９］」となる。イベント表現「発表」は，明確な単一日メンションとして「（２０１８−０１−１０）」となる。時間表現「昨年」は，明確な複数日メンションとして「（２０１７−０１−０１，２０１７−１２−３１）」となる。イベント表現「指摘を受けた」は，指摘を受けたのはある特定の日であるが，２０１７年のいつの日付かは特定できないので，不明確な単一日メンションとして「［２０１７−０１−０１，２０１７−１２−３１］」となる。

このように，学習データ処理部２の時間情報受付処理部２１で，文章とそのメンションと，アノテーションされた時間情報との入力を受け付ける。

そして学習データ作成処理部２２は，時間情報受付処理部２１で受け付けた文章とそのメンションと，その文章におけるメンションにアノテーションされた時間情報とに基づいて，メンションのペアの時間情報を比較することで，メンション間の相対的時間関係に対応するラベルを特定する（Ｓ１１０）。

図６にこの処理の一例を模式的に示す。まず明確な単一日メンション「平成３０年１月１０日」とＤＣＴである明確な単一日メンション「２０１８年１月１０日」の相対的時間関係は条件式ｃにより，ラベルとして「SAME_DAY」がアノテーションされる。また，明確な単一日メンション「平成３０年１月１０日」と，不明確な単一日メンション「提起」は条件式ｌにより，ラベルとして「AFTER」がアノテーションされる。同様に，明確な単一日メンション「平成３０年１月１０日」と，明確な単一日メンション「発表」とは，条件式ｃにより，ラベルとして「SAME_DAY」がアノテーションされる。同様に，明確な単一日メンション「平成３０年１月１０日」と明確な複数日メンション「昨年」とは，条件式ｌにより，ラベルとして「AFTER」がアノテーションされる。同様に，明確な単一日メンション「平成３０年１月１０日」と，不明確な単一日メンション「指摘を受けた」とは，演算子ｅにより，ラベルとして「AFTER」がアノテーションされる。

このような処理を，学習データ作成処理部２２が，文章に記述されているメンションのペアごとに行い，それらの時間情報を比較して相対的時間関係に対応するラベルをそれぞれ特定する。

以上のようにして学習データ作成処理部２２が，時間情報受付処理部２１で受け付けた文章に記述されているメンション間の相対的時間関係に対応するラベルを特定すると，それを学習データとして学習データ記憶部３に記憶させる（Ｓ１２０）。

なお，学習データは，さまざまな文章に対して作成することが好ましく，複数の学習データが学習データ記憶部３に記憶されている。

学習データが記憶された学習データ記憶部３を用いて，所定のタイミングまたは任意のタイミングで，時間情報処理部４における機械学習処理部４１は，学習データ記憶部３は学習データを参照し，機械学習を行う（Ｓ１３０）。すなわちメンション間の相対的時間関係を機械学習する。

そして，時間情報処理部４における時間情報特定処理部４２は，たとえば図７に示す新たな文章の入力を受け付け（Ｓ１４０），入力を受け付けた文章について，機械学習処理部４１における機械学習の結果に基づいて，当該文章における時間情報（絶対的時間情報）を特定する（Ｓ１５０）。

たとえば図７の文章は，ＤＣＴが「２０１８−０１−１８」であり，「Ａ社は，平成３０年１月１８日，新製品αを発表した。発売日は，４月３０日を予定している。」の文章であり，時間情報特定処理部４２は，その入力を受け付けている。そこで，時間情報特定処理部４２は，機械学習処理部４１における機械学習の結果に基づいて，図８に示すように上記文章に記述されているメンションを特定し，そのメンション間の相対的時間関係に対応するラベルを特定する。そして，時間情報特定処理部４２は，特定したラベルに基づいて，図９に示すように，イベント「発表」の時間情報を「２０１８年１月１８日」，「予定」の時間情報を「２０１８年４月３０日」としてそれぞれ特定をする。これによって，新たな文章におけるイベント「発表」の時間情報が「２０１８年１月１８日」，イベント「予定」の時間情報が「２０１８年４月３０日」とそれぞれ特定をすることができ，これらのイベントを時間情報（絶対的時間情報）に基づいて時系列化して整理することができる。

このように，本発明の学習データ処理部２で作成した学習データに基づく機械学習を行った上で新たな文章を読み込むことで，当該新たな文章に記述されているイベントの時間情報を自動的に特定し，文章に記述されているイベントを時系列化して整理することができる。

本発明の学習データ処理部２により作成した学習データにより機械学習をした場合と，従来のTLINKにより生成した学習データにより機械学習をした場合とで，日付認識の精度の比較実験をした。機械学習および時間情報の特定を行う時間情報処理部４としては，いずれの場合も，上述の本件出願の発明者らによる双方向再帰型ニューラルネットワークモデルを用いた。また，評価指標として，日付表現が厳密に一致する完全一致精度と，日付表現の一部が一致する部分一致精度（たとえば明確な単一日と，不明確な単一日のbeforeが一致したものを正解とする）とを用いた。また時間情報処理部４で読み込ませる新たな文章として，新聞記事３６文書を用いた。この新聞記事３６文書は，TimeBank-Denseで用いているデータ（ニュース記事３６文書）である。

図１０に実験結果を示す。図１０（ａ）が本発明（TORDER）による場合と，従来のTLINKによる場合との一致精度をそれぞれ示す表である。ここで示す実験結果は，６分割交差検定で得られた精度の平均である。イベントの種類は，明確な日付のイベント，不明確な日付のイベント，あるいはすべてのイベントであり，それぞれを評価対象としている。また利用した相対的時間関係は，イベント表現とＤＣＴのペアのみ，イベント表現と時間表現のペアのみ，あるいは両方を用いた場合の精度にそれぞれ分けている。また，図１０（ｂ）は，本発明のTORDERによる精度の改善の度合いを示す表である。

図１０の実験結果によれば，明確な日付のイベントの場合には，完全一致の場合で１６．８ポイントから２１．６ポイント改善しており，部分一致の場合で２５．９ポイントから２９．６ポイント改善している。また不明確な日付のイベントの場合には，完全一致の場合で２．３ポイントから１１．７ポイント，部分一致の場合で８．４ポイントから２３．６ポイント改善している。さらに，すべてのイベントの場合には，完全一致の場合で１１．０ポイントから１６．３ポイント，部分一致の場合で１６．４ポイントから２６．９ポイント改善している。

このように，本発明の学習データ処理部２による学習データを用いた場合では，従来のTLINKによる学習データの場合と比較して，イベント表現とＤＣＴのペアのみ，イベント表現と時間表現のペアのみ，両方（イベント表現とＤＣＴ，イベント表現と時間表現の両方）を用いたすべての場合で，大幅に精度が向上している。とくに，学習データを作成するにあたり利用するメンションのペアの相対的時間関係として，イベント表現とＤＣＴの場合には高い改善を比較している。これは，新聞記事の場合には，そこに記述されるイベントは，ＤＣＴと同じ日に発生した場合が多いため，相対的時間関係のラベルSAME_DAYによってイベントの日付が正しく認識できたものと考えられる。

本発明のイベント時間情報特定システム１は，さまざまな文章に用いることができるが，イベントの時間情報が記述されている文章，とくにニュース記事は効果が大きい。ニュース記事はＤＣＴが明確であるほか，５Ｗ１Ｈ（When，Who，Where，Why，What，How）が文章に記述されていることが多いからである。

本発明のイベント時間情報特定システム１の応用例として，ニュース記事に記述されているイベントの時間情報を特定することで，イベントを，企業の株価や，債券の価格（または利回り），為替レート，仮想通貨レートなど，各種の経済や金融の指標情報と対応づけて表示させることが可能である。

たとえば学習データ処理部２において，複数のニュース記事，好ましくは経済記事に記述されている文章のメンションに時間情報をアノテーションし，時間情報受付処理部２１でその入力を受け付ける。そして，学習データ作成処理部２２において，ニュース記事の文章のメンションのペアの時間情報を比較することで，相対的時間関係に対応するラベルを特定する。そして学習データ処理部２２は，文章とその文章におけるメンションと，特定したラベルとを含む学習データを，学習データ記憶部３に記憶させる。なお，学習させる元となる文章は，ニュース記事以外，たとえば企業の決算発表の資料や，各種プレスリリースなどであってもよい。

そして時間情報処理部４における機械学習処理部４１が，学習データ記憶部３を参照してメンション間の相対的時間関係を機械学習しておく。

時間情報の特定を行う場合，処理対象とする企業などに関するニュース記事，たとえば経済記事の文章を時間情報特定処理部４２で受け付け，機械学習処理部４１における機械学習の結果に基づいて，当該ニュース記事におけるイベントの時間情報を特定する。すなわち，ニュース記事に記述されているイベント表現，時間表現，ＤＣＴに基づいて，それらの相対的時間関係に対応するラベルを特定し，特定した相対的時間関係に対応するラベルを用いて，各イベントの時間情報を特定する。

以上のように特定したイベントと時間情報とを用いて，当該企業の株価と日付とに対応づける。なお企業の株価，日付の情報は，たとえば金融情報提供サービスを行うコンピュータシステムから取得するほか，あらかじめデータベースに記憶していてもよい。そして，企業の株価，日付に，ニュース記事のイベントを，上記特定した時間情報（日付）に基づいて対応づけて，株価のチャートとイベントとを同一または別の画面に表示させる。株価のチャートとイベントとを同一画面に表示する場合の一例を図１１に示す。

以上のような処理を実行することで，企業の株価や，国債の価格（または利回り），為替レート，仮想通貨レートなど，各種の経済や金融の指標情報と，イベントとを対応づけて表示させることが可能である。

本発明のイベント時間情報特定システムを用いることで，文章に記述されているエンティティについて時間情報をアノテーションすることでよく，エンティティ間の相対的時間関係は時間情報の比較によって特定できる。従来のTLINKでは，直接，エンティティ間の相対的時間関係をアノテーションしていたので，その作業量としてＯ（ｎ^２）が必要であったが，時間情報のアノテーションなので，Ｏ（ｎ）の作業量で足りる。そして相対的時間関係は，アノテーションされた時間情報の比較から特定するので，学習データを作成する際の作業負担を大幅に軽減することができる。

そして本発明のイベント時間情報特定システムにより作成した学習データに基づいて機械学習をすることで，新たな文章を読み込ませた場合の文章に記述されているイベントの時間情報の特定の精度を向上することができる。

１：イベント時間情報特定システム
２：学習データ処理部
３：学習データ記憶部
４：時間情報処理部
２１：時間情報受付処理部
２２：学習データ作成処理部
４１：機械学習処理部
４２：時間情報特定処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置

Claims (8)

1. 文章におけるイベントの時間情報を特定するイベント時間情報特定システムであって，
   前記イベント時間情報特定システムは，
   文章におけるエンティティに対する時間情報に基づいて，前記エンティティ間の相対的時間関係を特定することで，時間情報解析における学習データを作成する学習データ処理部と，
   文章におけるエンティティ間の相対的時間関係を，前記学習データを参照して機械学習した結果に基づいて，新たな文章におけるエンティティ間の相対的時間関係を特定し，その相対的時間関係に基づいて，前記新たな文章におけるイベントの時間情報を特定する時間情報処理部と，
   を有することを特徴とするイベント時間情報特定システム。
2. 前記学習データ処理部は，
   前記エンティティとして，イベント表現とＤＣＴおよび／またはイベント表現と時間表現とを用いる，
   ことを特徴とする請求項１に記載のイベント時間情報特定システム。
3. 前記学習データ処理部は，
   文章におけるエンティティのペアに対応づけられた時間情報を比較することで，前記相対的時間関係に対応するラベルを特定し，
   前記学習データとして，前記文章とその文章におけるエンティティと，前記特定したラベルとを含む，
   ことを特徴とする請求項１または請求項２に記載のイベント時間情報特定システム。
4. 前記学習データ処理部は，
   前記作成した学習データを，コーパスとなる学習データ記憶部に記憶させ，
   前記学習データ記憶部は，
   複数の学習データを記憶する，
   ことを特徴とする請求項１から請求項３のいずれかに記載のイベント時間情報特定システム。
5. 前記イベント時間情報特定システムは，
   前記文章としてニュース記事を用い，
   前記特定したイベントの時間情報を，経済または金融の指標情報と対応づけて表示させる，
   ことを特徴とする請求項１から請求項４のいずれかに記載のイベント時間情報特定システム。
6. 時間情報解析における学習データを作成する学習システムであって，
   前記学習システムは，
   文章におけるエンティティに対する時間情報に基づいて，前記エンティティ間の相対的時間関係を特定することで，時間情報解析における学習データを作成し，コーパスに記憶させる学習データ作成処理部，
   を有することを特徴とする学習システム。
7. コンピュータを，
   文章におけるエンティティに対する時間情報に基づいて，前記エンティティ間の相対的時間関係を特定することで，時間情報解析における学習データを作成する学習データ処理部，
   文章におけるエンティティ間の相対的時間関係を，前記学習データを参照して機械学習した結果に基づいて，新たな文章におけるエンティティ間の相対的時間関係を特定し，その相対的時間関係に基づいて，前記新たな文章におけるイベントの時間情報を特定する時間情報処理部，
   として機能させることを特徴とするイベント時間情報特定プログラム。
8. コンピュータを，
   文章におけるエンティティに対する時間情報に基づいて，前記エンティティ間の相対的時間関係を特定することで，時間情報解析における学習データを作成し，コーパスに記憶させる学習データ作成処理部，
   として機能させることを特徴とする学習プログラム。

Images