JP2018025956A - モデル作成装置、推定装置、方法、及びプログラム - Google Patents
モデル作成装置、推定装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP2018025956A JP2018025956A JP2016157059A JP2016157059A JP2018025956A JP 2018025956 A JP2018025956 A JP 2018025956A JP 2016157059 A JP2016157059 A JP 2016157059A JP 2016157059 A JP2016157059 A JP 2016157059A JP 2018025956 A JP2018025956 A JP 2018025956A
- Authority
- JP
- Japan
- Prior art keywords
- word
- notation
- pair
- regular
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
(2)正規表記語と崩れ表記語との音類似度が予め定めた閾値以上であること
(2)カタカナ表記はひらがなに変換する
(3)コスト設定に基づいて音類似度が計算される。例えば、以下の(3−1)〜(3−4)に示すコスト設定例に応じて音類似度が計算される。
(3−2)母音、促音(っ)、撥音(ん)、長音の削除はコスト0とする。ただし、単語の先頭における削除はコスト1とする。
(3−3)同行・同列文字の置換、母音−促音間の置換、母音−長音間、母音−母音間の置換はコスト0とする。
(3−4)上記(3−1)〜(3−3)以外の変換はコスト1とする。
ただし、「母音」は、小文字も含む(ぁ,ぃ,ぅ,ぇ,ぉ)
また、「同行・同列」は、日本語ひらがな50音表の同行、同列を指す。濁音・半濁音は濁音・半濁音化する前の文字と同一の位置として考える(例えば、ぶ、ぷ→「ふ」と同行同列(はひふへほうくすつぬむゆる)の文字列をコスト0とする)。
音類似度:0.57、意味類似度:0.76
例2:うれしい−嬉しいなあ(正しくないペア)
音類似度:0.8、意味類似度:0.80
本実施の形態は、既存の辞書に存在しないweb上の崩れ表記語を自動的に獲得するための技術である。辞書に存在する語「すごい‐形容詞」に対応する崩れ表記語の自動獲得例を図1に示す。図1に示すように、「すごい」に対して「すげー」、「すげぇ」、「すげえ」、「すっごい」、及び「すーごい」等が崩れ表記語として獲得される。
崩れ表記語:辞書に存在せず、正規表記語の異形として出現する表記の語
同義語ペア:同一の意味で表記が異なる単語のペア
正例データ:正規表記語と崩れ表記語との正解のペアデータ
負例データ:正規表記語と崩れ表記語との不正解のペアデータ
12 第2入力部
20,50 演算部
21 辞書
22 負例生成部
24,52 単語分割部
26,54 意味ベクトル計算部
28,56 類似度算出部
30 モデル作成部
40 入力部
32,60 モデル記憶部
58 ランダムウォーク部
62 推定部
70 出力部
100 モデル作成装置
200 推定装置
Claims (8)
- 正規表記語に対して揺らいだ表記である崩れ表記語を含む複数のテキストの各々について、前記テキストから単語の分割候補を複数生成する単語分割部と、
前記単語分割部によって生成された複数の前記分割候補に基づいて、各単語の意味ベクトルを計算する意味ベクトル計算部と、
複数の正規表記語が格納された辞書に基づいて、前記正規表記語と該正規表記語に対応する前記崩れ表記語とは異なる語とのペアを表す負例データを生成する負例生成部と、
正規表記語と該正規表記語に対応する前記崩れ表記語とのペアを表す予め定められた正例データの各々について、前記正例データが表す前記ペアの意味ベクトルの各々に基づいて算出される、前記ペアの意味の類似度を表す意味類似度を含む素性と、前記負例データの各々について、前記負例データが表す前記ペアの意味ベクトルの各々に基づいて算出される、前記ペアの意味類似度を含む素性とに基づいて、正規表記語と該正規表記語に対応する崩れ表記語との組み合わせであるか否かを推定するためのモデルを作成するモデル作成部と、
を含むモデル作成装置。 - 複数の正規表記語が格納された辞書に基づいて生成された、正規表記語と該正規表記語に対応する崩れ表記語とは異なる語とのペアを表す負例データの各々についての、前記負例データが表す前記ペアの意味ベクトルの各々から算出される、前記ペアの意味の類似度を表す意味類似度を含む素性と、正規表記語と該正規表記語に対応する前記崩れ表記語とのペアを表す予め定められた正例データの各々についての、前記正例データが表す前記ペアの意味ベクトルの各々から算出される、前記ペアの意味類似度を含む素性とから予め作成された、正規表記語と崩れ表記語との組み合わせであるか否かを推定するためのモデルを記憶するモデル記憶部と、
正規表記語に対応する崩れ表記語を含む複数のテキストの各々について、前記テキストから単語の分割候補を複数生成する単語分割部と、
前記単語分割部によって生成された前記複数の分割候補に基づいて、単語の意味ベクトルを計算する意味ベクトル計算部と、
前記分割候補のペアの各々について、前記分割候補のペアの意味ベクトルの各々に基づいて算出される、前記ペアの意味の類似度を表す意味類似度を含む素性と、前記モデル記憶部に記憶された前記モデルとに基づいて、前記分割候補の組み合わせが正規表記語と崩れ表記語との組み合わせであるか否かを推定する推定部と、
を含む推定装置。 - 複数の正規表記語が格納された辞書に基づいて生成された、正規表記語と該正規表記語に対応する崩れ表記語とは異なる語とのペアを表す負例データの各々についての、前記負例データが表す前記ペアの意味ベクトルの各々から算出される、前記ペアの意味の類似度を表す意味類似度を含む素性と、正規表記語と該正規表記語に対応する前記崩れ表記語とのペアを表す予め定められた正例データの各々についての、前記正例データが表す前記ペアの意味ベクトルの各々から算出される、前記ペアの意味類似度を含む素性とから予め作成された、正規表記語と崩れ表記語との組み合わせであるか否かを推定するためのモデルを記憶するモデル記憶部と、
正規表記語に対応する崩れ表記語を含む複数のテキストの各々について、前記テキストから単語の分割候補を複数生成する単語分割部と、
前記単語分割部によって生成された前記複数の分割候補に基づいて、単語の意味ベクトルを計算する意味ベクトル計算部と、
前記分割候補のペアの各々について、前記分割候補のペアの意味ベクトルの各々に基づいて算出される、前記ペアの意味の類似度を表す意味類似度に基づいて、前記分割候補の各々について、前記分割候補と類似する前記分割候補からなる近傍ノードリストを生成し、前記分割候補の各々について、各近傍ノードリストに対するランダムウォークを実施し、前記分割候補に対する隣接候補の集合を取得するランダムウォーク部と、
前記分割候補と、前記ランダムウォーク部によって取得された前記隣接候補の集合に含まれる前記隣接候補との組み合わせについて、前記モデル記憶部に記憶された前記モデルと、前記組み合わせの意味ベクトルの各々に基づいて算出される、前記意味類似度を含む素性とに基づいて、前記組み合わせが正規表記語と崩れ表記語との組み合わせであるか否かを推定する推定部と、
を含む推定装置。 - 前記負例データは、
前記辞書に格納された正規表記語と、該正規表記語とは異なる正規表記語とのペア、
前記辞書に格納された活用形をもつ正規表記語と、該正規表記語の活用形とは異なる活用形の正規表記語とのペア、及び
前記辞書からランダムに選択された正規表記語と、該正規表記語の品詞に対して予め定められたサフィックスが該正規表記語に結合された語とのペアの少なくとも1つとして生成される
請求項1に記載のモデル作成装置。 - 単語分割部、意味ベクトル計算部、負例生成部、及びモデル作成部を含むモデル作成装置におけるモデル作成方法であって、
前記単語分割部が、正規表記語に対して揺らいだ表記である崩れ表記語を含む複数のテキストの各々について、前記テキストから単語の分割候補を複数生成するステップと、
前記意味ベクトル計算部が、前記単語分割部によって生成された複数の前記分割候補に基づいて、各単語の意味ベクトルを計算するステップと、
前記負例生成部が、複数の正規表記語が格納された辞書に基づいて、前記正規表記語と該正規表記語に対応する前記崩れ表記語とは異なる語とのペアを表す負例データを生成するステップと、
前記モデル作成部が、正規表記語と該正規表記語に対応する前記崩れ表記語とのペアを表す予め定められた正例データの各々について、前記正例データが表す前記ペアの意味ベクトルの各々に基づいて算出される、前記ペアの意味の類似度を表す意味類似度を含む素性と、前記負例データの各々について、前記負例データが表す前記ペアの意味ベクトルの各々に基づいて算出される、前記ペアの意味類似度を含む素性とに基づいて、正規表記語と該正規表記語に対応する崩れ表記語との組み合わせであるか否かを推定するためのモデルを作成するステップと、
を含むモデル作成方法。 - 単語分割部、意味ベクトル計算部、推定部、及び複数の正規表記語が格納された辞書に基づいて生成された、正規表記語と該正規表記語に対応する崩れ表記語とは異なる語とのペアを表す負例データの各々についての、前記負例データが表す前記ペアの意味ベクトルの各々から算出される、前記ペアの意味の類似度を表す意味類似度を含む素性と、正規表記語と該正規表記語に対応する前記崩れ表記語とのペアを表す予め定められた正例データの各々についての、前記正例データが表す前記ペアの意味ベクトルの各々から算出される、前記ペアの意味類似度を含む素性とから予め作成された、正規表記語と崩れ表記語との組み合わせであるか否かを推定するためのモデルを記憶するモデル記憶部を含む推定装置における推定方法であって、
前記単語分割部が、正規表記語に対応する崩れ表記語を含む複数のテキストの各々について、前記テキストから単語の分割候補を複数生成するステップと、
前記意味ベクトル計算部が、前記単語分割部によって生成された前記複数の分割候補に基づいて、単語の意味ベクトルを計算するステップと、
前記推定部が、前記分割候補のペアの各々について、前記分割候補のペアの意味ベクトルの各々に基づいて算出される、前記ペアの意味の類似度を表す意味類似度を含む素性と、前記モデル記憶部に記憶された前記モデルとに基づいて、前記分割候補の組み合わせが正規表記語と崩れ表記語との組み合わせであるか否かを推定するステップと、
を含む推定方法。 - 単語分割部、意味ベクトル計算部、ランダムウォーク部、推定部、及び複数の正規表記語が格納された辞書に基づいて生成された、正規表記語と該正規表記語に対応する崩れ表記語とは異なる語とのペアを表す負例データの各々についての、前記負例データが表す前記ペアの意味ベクトルの各々から算出される、前記ペアの意味の類似度を表す意味類似度を含む素性と、正規表記語と該正規表記語に対応する前記崩れ表記語とのペアを表す予め定められた正例データの各々についての、前記正例データが表す前記ペアの意味ベクトルの各々から算出される、前記ペアの意味類似度を含む素性とから予め作成された、正規表記語と崩れ表記語との組み合わせであるか否かを推定するためのモデルを記憶するモデル記憶部を含む推定装置における推定方法であって、
前記単語分割部が、正規表記語に対応する崩れ表記語を含む複数のテキストの各々について、前記テキストから単語の分割候補を複数生成するステップと、
前記意味ベクトル計算部が、前記単語分割部によって生成された前記複数の分割候補に基づいて、単語の意味ベクトルを計算するステップと、
前記ランダムウォーク部が、前記分割候補のペアの各々について、前記分割候補のペアの意味ベクトルの各々に基づいて算出される、前記ペアの意味の類似度を表す意味類似度に基づいて、前記分割候補の各々について、前記分割候補と類似する前記分割候補からなる近傍ノードリストを生成し、前記分割候補の各々について、各近傍ノードリストに対するランダムウォークを実施し、前記分割候補に対する隣接候補の集合を取得するステップと、
前記推定部が、前記分割候補と、前記ランダムウォーク部によって取得された前記隣接候補の集合に含まれる前記隣接候補との組み合わせについて、前記モデル記憶部に記憶された前記モデルと、前記組み合わせの意味ベクトルの各々に基づいて算出される、前記意味類似度を含む素性とに基づいて、前記組み合わせが正規表記語と崩れ表記語との組み合わせであるか否かを推定するステップと、
を含む推定方法。 - コンピュータを、請求項1に記載のモデル作成装置、又は請求項2〜請求項4の何れか1項に記載の推定装置の各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016157059A JP6558863B2 (ja) | 2016-08-09 | 2016-08-09 | モデル作成装置、推定装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016157059A JP6558863B2 (ja) | 2016-08-09 | 2016-08-09 | モデル作成装置、推定装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018025956A true JP2018025956A (ja) | 2018-02-15 |
JP6558863B2 JP6558863B2 (ja) | 2019-08-14 |
Family
ID=61193846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016157059A Active JP6558863B2 (ja) | 2016-08-09 | 2016-08-09 | モデル作成装置、推定装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6558863B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109918676A (zh) * | 2019-03-18 | 2019-06-21 | 广东小天才科技有限公司 | 一种检测意图正则表达式的方法及装置、终端设备 |
CN110046254A (zh) * | 2019-04-18 | 2019-07-23 | 百度在线网络技术(北京)有限公司 | 用于生成模型的方法和装置 |
CN111339768A (zh) * | 2020-02-27 | 2020-06-26 | 携程旅游网络技术(上海)有限公司 | 敏感文本检测方法、系统、电子设备及介质 |
WO2020144736A1 (ja) * | 2019-01-08 | 2020-07-16 | 三菱電機株式会社 | 意味関係学習装置、意味関係学習方法、及び意味関係学習プログラム |
CN112256849A (zh) * | 2020-10-20 | 2021-01-22 | 深圳前海微众银行股份有限公司 | 模型训练方法、文本检测方法、装置、设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6098033A (en) * | 1997-07-31 | 2000-08-01 | Microsoft Corporation | Determining similarity between words |
JP2011118526A (ja) * | 2009-12-01 | 2011-06-16 | Hitachi Ltd | 単語意味関係抽出装置 |
JP2011138440A (ja) * | 2009-12-30 | 2011-07-14 | National Institute Of Information & Communication Technology | 異表記取得装置、異表記取得方法、およびプログラム |
-
2016
- 2016-08-09 JP JP2016157059A patent/JP6558863B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6098033A (en) * | 1997-07-31 | 2000-08-01 | Microsoft Corporation | Determining similarity between words |
JP2011118526A (ja) * | 2009-12-01 | 2011-06-16 | Hitachi Ltd | 単語意味関係抽出装置 |
JP2011138440A (ja) * | 2009-12-30 | 2011-07-14 | National Institute Of Information & Communication Technology | 異表記取得装置、異表記取得方法、およびプログラム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020144736A1 (ja) * | 2019-01-08 | 2020-07-16 | 三菱電機株式会社 | 意味関係学習装置、意味関係学習方法、及び意味関係学習プログラム |
KR20210088725A (ko) * | 2019-01-08 | 2021-07-14 | 미쓰비시덴키 가부시키가이샤 | 의미 관계 학습 장치, 의미 관계 학습 방법, 및 의미 관계 학습 프로그램 |
KR102400689B1 (ko) | 2019-01-08 | 2022-05-20 | 미쓰비시덴키 가부시키가이샤 | 의미 관계 학습 장치, 의미 관계 학습 방법, 및 의미 관계 학습 프로그램 |
CN109918676A (zh) * | 2019-03-18 | 2019-06-21 | 广东小天才科技有限公司 | 一种检测意图正则表达式的方法及装置、终端设备 |
CN110046254A (zh) * | 2019-04-18 | 2019-07-23 | 百度在线网络技术(北京)有限公司 | 用于生成模型的方法和装置 |
CN111339768A (zh) * | 2020-02-27 | 2020-06-26 | 携程旅游网络技术(上海)有限公司 | 敏感文本检测方法、系统、电子设备及介质 |
CN111339768B (zh) * | 2020-02-27 | 2024-03-05 | 携程旅游网络技术(上海)有限公司 | 敏感文本检测方法、系统、电子设备及介质 |
CN112256849A (zh) * | 2020-10-20 | 2021-01-22 | 深圳前海微众银行股份有限公司 | 模型训练方法、文本检测方法、装置、设备和存储介质 |
CN112256849B (zh) * | 2020-10-20 | 2024-02-13 | 深圳前海微众银行股份有限公司 | 模型训练方法、文本检测方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6558863B2 (ja) | 2019-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6558863B2 (ja) | モデル作成装置、推定装置、方法、及びプログラム | |
CN107480143B (zh) | 基于上下文相关性的对话话题分割方法和系统 | |
KR102057184B1 (ko) | 흥미 판정 장치, 흥미 판정 방법, 및 기억 매체 | |
CN109299228B (zh) | 计算机执行的文本风险预测方法及装置 | |
CN112906392B (zh) | 一种文本增强方法、文本分类方法及相关装置 | |
JP5710581B2 (ja) | 質問応答装置、方法、及びプログラム | |
US20180075017A1 (en) | Computer-readable recording medium, retrieval device, and retrieval method | |
JP6427466B2 (ja) | 同義語ペア獲得装置、方法、及びプログラム | |
Atia et al. | Increasing the accuracy of opinion mining in Arabic | |
Ljubešić et al. | Standardizing tweets with character-level machine translation | |
KR20180094664A (ko) | 텍스트 데이터로부터 정보를 추출하기 위한 정보 추출 방법 및 장치 | |
Etaiwi et al. | Statistical Arabic name entity recognition approaches: A survey | |
Gómez-Adorno et al. | A graph based authorship identification approach | |
WO2018072501A1 (en) | Information extraction apparatus and method | |
Elayidom et al. | Text classification for authorship attribution analysis | |
JP2016224483A (ja) | モデル学習装置、方法、及びプログラム | |
Adler et al. | Real-time claim detection from news articles and retrieval of semantically-similar factchecks | |
Gubelmann et al. | A philosophically-informed contribution to the generalization problem of neural natural language inference: Shallow heuristics, bias, and the varieties of inference | |
JP2015169947A (ja) | モデル学習装置、形態素解析装置、及び方法 | |
KR101663038B1 (ko) | 개체의 표면형 문자열 용례학습기반에 의한 텍스트에서의 개체 범위 인식 장치 및 그 방법 | |
Oudah et al. | Person name recognition using the hybrid approach | |
KR101983477B1 (ko) | 단락 기반 핵심 개체 식별을 이용한 한국어 주어의 생략 성분 복원 방법 및 시스템 | |
CN112035670B (zh) | 基于图像情感倾向的多模态谣言检测方法 | |
JP2015102914A (ja) | 不理解文判定モデル学習方法、不理解文判定方法、装置、及びプログラム | |
KR102203895B1 (ko) | 임베딩 기반의 인과 관계 탐지 시스템과 방법 및 이를 실행하기 위한 프로그램이 기록된 기록매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180905 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190715 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6558863 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |