JP2010033142A - 未来表現判別装置、未来表現判別方法およびプログラム - Google Patents
未来表現判別装置、未来表現判別方法およびプログラム Download PDFInfo
- Publication number
- JP2010033142A JP2010033142A JP2008191994A JP2008191994A JP2010033142A JP 2010033142 A JP2010033142 A JP 2010033142A JP 2008191994 A JP2008191994 A JP 2008191994A JP 2008191994 A JP2008191994 A JP 2008191994A JP 2010033142 A JP2010033142 A JP 2010033142A
- Authority
- JP
- Japan
- Prior art keywords
- sentence
- expression
- future
- feature
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
【解決手段】素性辞書に登録されている素性表現が、文章データベースに登録してある文章の各処理対象文に出現する出現回数を数え上げ、文章に固有な文章番号と、文章内において何番目であるかを示す文番号とを用い、上記出現回数と、上記素性表現の出現の有無を表す0か1の数値とに対して、文章番号が等しい処理対象文の各素性の値を、文間距離(文番号の差)に応じて変化する重みを付けて加算し、上記学習情報合成手段が出力した各素性の値のうちで、内容が未来であることが既知である文の値に基づいて機械学習を行い、判定対象文の内容が未来であるかどうかを判別する関数を作成する。
【選択図】図1
Description
たとえば、Web上に存在している大量の文章の中から、未来表現を文単位で判別することを考える。この場合、まず、未来表現の判別関数を学習するための学習用文章と判別対象の文章とを用意する。
1×(1/2)^|1−1|+0×(1/2)^|1−2|+0×(1/2)^|1−3|=1
図5に示す2番目の文における「今日」の重み付加算は、次のように演算し、「0.5」になる。
1×(1/2)^|2−1|+0×(1/2)^|2−2|+0×(1/2)^|2−3|=0.5
図5に示す3番目の文における「今日」の重み付加算は、次のように演算し、「0.25」になる。
1×(1/2)^|3−1|+0×(1/2)^|3−2|+0×(1/2)^|3−3|=0.25
図5に示す1〜3番目の文おける「明日」という形態素について、上記と同様に、上記式(1)に従って、重み付け加算すると、次のようになる。なお、定数αを1/2とする。
0×(1/2)^|1−1|+1×(1/2)^|1−2|+0×(1/2)^|1−3|=0.5
図5に示す2番目の文における「明日」の重み付加算は、次のように演算し、「1」になる。
0×(1/2)^|2−1|+1×(1/2)^|2−2|+0×(1/2)^|2−3|=1
図5に示す3番目の文における「明日」の重み付加算は、次のように演算し、「0.5」になる。
0×(1/2)^|3−1|+1×(1/2)^|3−2|+0×(1/2)^|3−3|=0.5
である。
具体例1では、学習情報合成手段A2は、同じ文章番号における他の文の素性表現に付加されている値を、重みを付けて加え合わせ、この重み付け加算に用いる文として、文章中の文全体を使用している。このようにする代わりに、重み付け加算の対象文の文番号よりも小さい文番号の文を、重み付け加算に用いる文として使用するようにしてもよい。また、重み付け加算の対象文の文番号よりも大きい文番号の文を、重み付け加算に用いる文として使用するようにしてもよい。さらに、文番号の大小だけでなく、重み付け加算の対象文との文番号の差が、n以内の文だけを、重み付け加算に用いる文として使用するようにしてもよい。
学習情報合成手段A2が重み付け加算の対象とする素性表現として、素性辞書B1に登録されている素性表現全体を用いてもよい。また、学習情報合成手段A2が重み付け加算する対象として、時間表現、可能性表現、文末表現、疑問・願望表現のいずれかの素性表現のみを限定するようにしてもよい。または、学習情報合成手段A2が重み付け加算する対象として、時間表現、可能性表現、文末表現、疑問・願望表現のうちの、特定の素性表現のみを限定するようにしてもよい。
判定対象解析手段A1が抜き出す文末表現として、文全体から抜き出すようにしてもよい。また、判定対象解析手段A1が抜き出す文末表現として、文末からn形態素以内等の特定部分を限定するようにしてもよい。
A1…判定対象文解析手段、
A2…学習情報合成手段、
A3…未来表現学習手段、
A4…未来表現抽出手段、
B1…素性辞書、
B2…文章データベース、
B3…文素性情報保持手段、
B4…学習情報保持手段、
B5…判別関数保持手段。
Claims (6)
- 素性辞書に登録されている素性表現が、文章データベースに登録してある文章の各処理対象文に出現する出現回数を数え上げる判定対象文解析手段と;
文章に固有な文章番号と、文章内において何番目であるかを示す文番号とを用い、上記判定対象文解析手段が出力した上記出現回数と、上記素性表現の出現の有無を表す0か1の数値とである素性の値に対して、文章番号が等しい処理対象文の上記各素性の値を、文間距離に応じて変化する重みを付けて加算する学習情報合成手段と;
上記学習情報合成手段が出力した各素性の値のうちで、内容が未来であることが既知である文の値に基づいて機械学習を行い、判定対象文の内容が未来であるかどうかを判別する関数を作成する未来表現学習手段と;
を有することを特徴とする未来表現判別装置。 - 請求項1において、
内容が未来であることが未知である文に対して、上記未来表現学習手段が出力した判別関数を用いて、内容が未来であるかどうかを判別し、未来であると判別されると、該当文を出力する未来表現抽出手段を有することを特徴とする未来表現判別装置。 - 請求項1において、
上記素性表現は、時間を表す表現、文末表現であり、仮定を表す表現、可能性を表す表現、疑問を表す表現、願望を表す表現のうちの少なくとも1つを有することがあることを特徴とする未来表現判別装置。 - 請求項1において、
上記判定対象文解析手段は、上記素性表現が時間を表す表現である場合、上記時間を表す表現のうちで、日付に関する表現は、年月日別に素性表現の出現回数を数え上げる手段であることを特徴とする未来表現判別装置。 - 素性辞書に登録されている素性表現が、文章データベースに登録してある文章の各処理対象文に出現する出現回数を数え上げ、記憶装置に記憶する判定対象文解析工程と;
文章に固有な文章番号と、文章内において何番目であるかを示す文番号とを用い、上記判定対象文解析工程で出力された上記出現回数と、上記素性表現の出現の有無を表す0か1の数値とに対して、文章番号が等しい処理対象文の各素性の値を、文間距離に応じて変化する重みを付けて加算し、記憶装置に記憶する学習情報合成工程と;
上記学習情報合成工程で出力された各素性の値のうちで、内容が未来であることが既知である文の値に基づいて機械学習を行い、判定対象文の内容が未来であるかどうかを判別する関数を作成し、記憶装置に記憶する未来表現学習工程と;
を有することを特徴とする未来表現判別方法。 - 請求項1〜請求項4のいずれか1項に記載の未来表現判別装置を構成する各手段としてコンピュータを機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008191994A JP5041547B2 (ja) | 2008-07-25 | 2008-07-25 | 未来表現判別装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008191994A JP5041547B2 (ja) | 2008-07-25 | 2008-07-25 | 未来表現判別装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010033142A true JP2010033142A (ja) | 2010-02-12 |
JP5041547B2 JP5041547B2 (ja) | 2012-10-03 |
Family
ID=41737579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008191994A Expired - Fee Related JP5041547B2 (ja) | 2008-07-25 | 2008-07-25 | 未来表現判別装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5041547B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013254420A (ja) * | 2012-06-08 | 2013-12-19 | Nippon Telegr & Teleph Corp <Ntt> | 質問応答装置、モデル学習装置、方法、及びプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6615392B1 (ja) * | 2019-01-09 | 2019-12-04 | 日興リサーチセンター株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0844741A (ja) * | 1994-05-25 | 1996-02-16 | Nippon Telegr & Teleph Corp <Ntt> | 日本語文時制解析装置及び日本語文時制解析方法 |
-
2008
- 2008-07-25 JP JP2008191994A patent/JP5041547B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0844741A (ja) * | 1994-05-25 | 1996-02-16 | Nippon Telegr & Teleph Corp <Ntt> | 日本語文時制解析装置及び日本語文時制解析方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013254420A (ja) * | 2012-06-08 | 2013-12-19 | Nippon Telegr & Teleph Corp <Ntt> | 質問応答装置、モデル学習装置、方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5041547B2 (ja) | 2012-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Khan et al. | A survey on the state-of-the-art machine learning models in the context of NLP | |
US20200073996A1 (en) | Methods and Systems for Domain-Specific Disambiguation of Acronyms or Homonyms | |
JP5389273B1 (ja) | 文脈解析装置および文脈解析方法 | |
JP5945062B2 (ja) | データ処理装置および物語モデル構築方法 | |
KR20160097352A (ko) | 전자 디바이스로 이미지 또는 라벨을 입력하기 위한 시스템 및 방법 | |
RU2666277C1 (ru) | Сегментация текста | |
CN108320734A (zh) | 语音信号处理方法及装置、存储介质、电子设备 | |
CN105183717A (zh) | 一种基于随机森林和用户关系的osn用户情感分析方法 | |
CN111209373A (zh) | 基于自然语义的敏感文本识别方法和装置 | |
Weld et al. | Adjusting for confounders with text: Challenges and an empirical evaluation framework for causal inference | |
Talbot et al. | Swash: A naive bayes classifier for tweet sentiment identification | |
JP5041547B2 (ja) | 未来表現判別装置及びプログラム | |
Nirmal et al. | Towards Interpretable Hate Speech Detection using Large Language Model-extracted Rationales | |
JP7216627B2 (ja) | 入力支援方法、入力支援システム、及びプログラム | |
US9940319B2 (en) | Information analysis system, information analysis method, and information analysis program | |
Jia et al. | An ensemble machine learning approach to understanding the effect of a global pandemic on Twitter users’ attitudes | |
Pasha | Multilingual sexism detection in memes, a CLIP-enhanced machine learning approach | |
JP5609292B2 (ja) | 意見分析装置、意見分析方法、および意見分析用プログラム | |
Sun et al. | Hybrid model based influenza detection with sentiment analysis from social networks | |
JP2009230173A (ja) | 同義語変換システム、同義語変換方法および同義語変換用プログラム | |
WO2015151268A1 (ja) | 反論生成方法,反論生成システム | |
Palakodety et al. | Low resource social media text mining | |
JP3996886B2 (ja) | 対訳対抽出装置及びそのためのコンピュータプログラム | |
Bai et al. | Ensemble Deep Learning (EDL) for Cyber-bullying on Social Media | |
JP7198492B2 (ja) | パーソナリティ出力装置、パーソナリティ出力方法、パーソナリティ出力プログラム、単語評価値生成装置、単語評価値生成方法および単語評価値生成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120525 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120706 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120706 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150720 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |