JP2022534375A - テキスト知能化洗浄方法、装置及びコンピュータ読み取り可能な記憶媒体 - Google Patents
テキスト知能化洗浄方法、装置及びコンピュータ読み取り可能な記憶媒体 Download PDFInfo
- Publication number
- JP2022534375A JP2022534375A JP2021569240A JP2021569240A JP2022534375A JP 2022534375 A JP2022534375 A JP 2022534375A JP 2021569240 A JP2021569240 A JP 2021569240A JP 2021569240 A JP2021569240 A JP 2021569240A JP 2022534375 A JP2022534375 A JP 2022534375A
- Authority
- JP
- Japan
- Prior art keywords
- text
- vector
- matrix
- word vector
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
テキストセットを取得し、前記テキストセットに対して前処理操作を行い、単語ベクトルテキストセットを得るステップと、
前記単語ベクトルテキストセットに対して全文行列数値化操作を行い、主体単語ベクトル行列及びテキスト単語ベクトル行列を生成するステップと、
前記主体単語ベクトル行列をBiLSTMモデルに入力して中間テキストベクトルを生成するステップと、
前記テキスト単語ベクトル行列を畳み込みニューラルネットワークモデルに入力して目標テキストベクトルを生成するステップと、
前記中間テキストベクトルと前記目標テキストベクトルとを繋ぎ合わせ、結合テキストベクトルを得て、前記結合テキストベクトルを予め構築した意味認識分類器モデルに入力し、集約テキストベクトルを出力し、前記集約テキストベクトルに対してword2vecの逆アルゴリズムを用いて逆回復操作を行い、標準テキストを出力するステップと、を含む。
テキストセットを取得し、前記テキストセットに対して前処理操作を行い、単語ベクトルテキストセットを得るステップと、
前記単語ベクトルテキストセットに対して全文行列数値化操作を行い、主体単語ベクトル行列及びテキスト単語ベクトル行列を生成するステップと、
前記主体単語ベクトル行列をBiLSTMモデルに入力して中間テキストベクトルを生成するステップと、
前記テキスト単語ベクトル行列を畳み込みニューラルネットワークモデルに入力して目標テキストベクトルを生成するステップと、
前記中間テキストベクトルと前記目標テキストベクトルとを繋ぎ合わせ、結合テキストベクトルを得て、前記結合テキストベクトルを予め構築した意味認識分類器モデルに入力し、集約テキストベクトルを出力し、前記集約テキストベクトルに対してword2vecの逆アルゴリズムを用いて逆回復操作を行い、標準テキストを出力するステップと、を実現する。
テキストセットを取得し、前記テキストセットに対して前処理操作を行い、単語ベクトルテキストセットを得るステップと、
前記単語ベクトルテキストセットに対して全文行列数値化操作を行い、主体単語ベクトル行列及びテキスト単語ベクトル行列を生成するステップと、
前記主体単語ベクトル行列をBiLSTMモデルに入力して中間テキストベクトルを生成するステップと、
前記テキスト単語ベクトル行列を畳み込みニューラルネットワークモデルに入力して目標テキストベクトルを生成するステップと、
前記中間テキストベクトルと前記目標テキストベクトルとを繋ぎ合わせ、結合テキストベクトルを得て、前記結合テキストベクトルを予め構築した意味認識分類器モデルに入力し、集約テキストベクトルを出力し、前記集約テキストベクトルに対してword2vecの逆アルゴリズムを用いて逆回復操作を行い、標準テキストを出力するステップと、を実現するために、1つ又は複数のプロセッサによって実行されることができる。
Claims (20)
- テキスト知能化洗浄方法であって、
テキストセットを取得し、前記テキストセットに対して前処理操作を行い、単語ベクトルテキストセットを得るステップと、
前記単語ベクトルテキストセットに対して全文行列数値化操作を行い、主体単語ベクトル行列及びテキスト単語ベクトル行列を生成するステップと、
前記主体単語ベクトル行列をBiLSTMモデルに入力して中間テキストベクトルを生成するステップと、
前記テキスト単語ベクトル行列を畳み込みニューラルネットワークモデルに入力して目標テキストベクトルを生成するステップと、
前記中間テキストベクトルと前記目標テキストベクトルとを繋ぎ合わせ、結合テキストベクトルを得て、前記結合テキストベクトルを予め構築した意味認識分類器モデルに入力し、集約テキストベクトルを出力し、前記集約テキストベクトルに対してword2vecの逆アルゴリズムを用いて逆回復操作を行い、標準テキストを出力するステップと、を含むことを特徴とするテキスト知能化洗浄方法。 - テキストセットに対して前処理操作を行い、単語ベクトルテキストセットを得る前記ステップは、
split文字列により前記テキストセットに対してテキスト分割操作を行い、単位語句を得るステップと、
word2vecモデルを利用して前記単位語句セットを前記単語ベクトルテキストセットに変換するステップと、を含むことを特徴とする請求項1に記載のテキスト知能化洗浄方法。 - word2vecモデルを利用して前記単位語句セットを前記単語ベクトルテキストセットに変換する前記ステップは、
前記単位語句セットをワンホット形式で量子化して語彙リストベクトルを得て、前記語彙リストベクトルを前記Word2vecモデルに入力し、前記語彙リストベクトルを前記word2vecモデルにおける隠れ層を用いて圧縮処理して低次元ベクトルを形成し、前記単語ベクトルテキストを得るステップを含むことを特徴とする請求項2に記載のテキスト知能化洗浄方法。 - 前記主体単語ベクトル行列をBiLSTMモデルに入力して中間テキストベクトルを生成する前記ステップは、
前記BiLSTMモデルにおけるLSTM-targetのエンコーダにより前記主体単語ベクトル行列をエンコードし、前向き隠れ状態系列を得るステップと、
前記BiLSTMモデルにおけるLSTM-descriのエンコーダにより前記主体単語ベクトル行列をエンコードし、後向き隠れ状態系列を得るステップと、
前記前向き隠れ状態系列と前記後向き隠れ状態系列とを繋ぎ合わせ、主題単語ベクトルを得て、前記主題単語ベクトルをまとめて前記中間テキストベクトルを得るステップと、を含むことを特徴とする請求項1に記載のテキスト知能化洗浄方法。 - 前記テキスト単語ベクトル行列を畳み込みニューラルネットワークモデルに入力して目標テキストベクトルを生成する前記ステップは、
前記畳み込みニューラルネットワークの所定の畳み込みカーネルサイズにより前記テキスト単語ベクトル行列に対して畳み込み操作を行い、特徴値を得るステップと、
前記特徴値をまとめて操作を行い、畳み込み特徴行列を得て、前記畳み込み特徴行列と前記中間テキストベクトルを同じ次元空間にマッピングし、前記畳み込み特徴行列と前記中間テキストベクトルのコサイン類似度を得るステップと、
前記コサイン類似度の注意力重みを算出し、前記注意力重みをまとめて注意力重み行列を得るステップと、
前記畳み込み特徴行列中の特徴値と前記注意力重み行列に対応する注意力重みを重み付けして前記目標テキストベクトル中の特徴点を得て、前記目標テキストベクトル中の特徴点をまとめて目標テキストベクトルを得るステップと、を含むことを特徴とする請求項1に記載のテキスト知能化洗浄方法。 - 前記テキスト単語ベクトル行列を畳み込みニューラルネットワークモデルに入力して目標テキストベクトルを生成する前記ステップは、
前記畳み込みニューラルネットワークの所定の畳み込みカーネルサイズにより前記テキスト単語ベクトル行列に対して畳み込み操作を行い、特徴値を得るステップと、
前記特徴値をまとめて操作を行い、畳み込み特徴行列を得て、前記畳み込み特徴行列と前記中間テキストベクトルを同じ次元空間にマッピングし、前記畳み込み特徴行列と前記中間テキストベクトルのコサイン類似度を得るステップと、
前記コサイン類似度の注意力重みを算出し、前記注意力重みをまとめて注意力重み行列を得るステップと、
前記畳み込み特徴行列中の特徴値と前記注意力重み行列に対応する注意力重みを重み付けして前記目標テキストベクトル中の特徴点を得て、前記目標テキストベクトル中の特徴点をまとめて目標テキストベクトルを得るステップと、を含むことを特徴とする請求項2に記載のテキスト知能化洗浄方法。 - 前記テキスト単語ベクトル行列を畳み込みニューラルネットワークモデルに入力して目標テキストベクトルを生成する前記ステップは、
前記畳み込みニューラルネットワークの所定の畳み込みカーネルサイズにより前記テキスト単語ベクトル行列に対して畳み込み操作を行い、特徴値を得るステップと、
前記特徴値をまとめて操作を行い、畳み込み特徴行列を得て、前記畳み込み特徴行列と前記中間テキストベクトルを同じ次元空間にマッピングし、前記畳み込み特徴行列と前記中間テキストベクトルのコサイン類似度を得るステップと、
前記コサイン類似度の注意力重みを算出し、前記注意力重みをまとめて注意力重み行列を得るステップと、
前記畳み込み特徴行列中の特徴値と前記注意力重み行列に対応する注意力重みを重み付けして前記目標テキストベクトル中の特徴点を得て、前記目標テキストベクトル中の特徴点をまとめて目標テキストベクトルを得るステップと、を含むことを特徴とする請求項3に記載のテキスト知能化洗浄方法。 - 前記テキスト単語ベクトル行列を畳み込みニューラルネットワークモデルに入力して目標テキストベクトルを生成する前記ステップは、
前記畳み込みニューラルネットワークの所定の畳み込みカーネルサイズにより前記テキスト単語ベクトル行列に対して畳み込み操作を行い、特徴値を得るステップと、
前記特徴値をまとめて操作を行い、畳み込み特徴行列を得て、前記畳み込み特徴行列と前記中間テキストベクトルを同じ次元空間にマッピングし、前記畳み込み特徴行列と前記中間テキストベクトルのコサイン類似度を得るステップと、
前記コサイン類似度の注意力重みを算出し、前記注意力重みをまとめて注意力重み行列を得るステップと、
前記畳み込み特徴行列中の特徴値と前記注意力重み行列に対応する注意力重みを重み付けして前記目標テキストベクトル中の特徴点を得て、前記目標テキストベクトル中の特徴点をまとめて目標テキストベクトルを得るステップと、を含むことを特徴とする請求項4に記載のテキスト知能化洗浄方法。 - テキスト知能化洗浄装置であって、メモリとプロセッサとを含み、前記メモリに前記プロセッサ上で実行可能なテキスト知能化洗浄プログラムが記憶され、前記テキスト知能化洗浄プログラムは、前記プロセッサによって実行されると、
テキストセットを取得し、前記テキストセットに対して前処理操作を行い、単語ベクトルテキストセットを得るステップと、
前記単語ベクトルテキストセットに対して全文行列数値化操作を行い、主体単語ベクトル行列及びテキスト単語ベクトル行列を生成するステップと、
前記主体単語ベクトル行列をBiLSTMモデルに入力して中間テキストベクトルを生成するステップと、
前記テキスト単語ベクトル行列を畳み込みニューラルネットワークモデルに入力して目標テキストベクトルを生成するステップと、
前記中間テキストベクトルと前記目標テキストベクトルとを繋ぎ合わせ、結合テキストベクトルを得て、前記結合テキストベクトルを予め構築した意味認識分類器モデルに入力し、集約テキストベクトルを出力し、前記集約テキストベクトルに対してword2vecの逆アルゴリズムを用いて逆回復操作を行い、標準テキストを出力するステップと、を実現することを特徴とするテキスト知能化洗浄装置。 - テキストセットに対して前処理操作を行い、単語ベクトルテキストセットを得る前記ステップは、
split文字列により前記テキストセットに対してテキスト分割操作を行い、単位語句を得るステップと、
word2vecモデルを利用して前記単位語句セットを前記単語ベクトルテキストセットに変換するステップと、を含むことを特徴とする請求項9に記載のテキスト知能化洗浄装置。 - word2vecモデルを利用して前記単位語句セットを前記単語ベクトルテキストセットに変換する前記ステップは、
前記単位語句セットをワンホット形式で量子化して語彙リストベクトルを得て、前記語彙リストベクトルを前記Word2vecモデルに入力し、前記語彙リストベクトルを前記word2vecモデルにおける隠れ層を用いて圧縮処理して低次元ベクトルを形成し、前記単語ベクトルテキストを得るステップを含むことを特徴とする請求項10に記載のテキスト知能化洗浄装置。 - 前記主体単語ベクトル行列をBiLSTMモデルに入力して中間テキストベクトルを生成する前記ステップは、
前記BiLSTMモデルにおけるLSTM-targetのエンコーダにより前記主体単語ベクトル行列をエンコードし、前向き隠れ状態系列を得るステップと、
前記BiLSTMモデルにおけるLSTM-descriのエンコーダにより前記主体単語ベクトル行列をエンコードし、後向き隠れ状態系列を得るステップと、
前記前向き隠れ状態系列と前記後向き隠れ状態系列とを繋ぎ合わせ、主題単語ベクトルを得て、前記主題単語ベクトルをまとめて前記中間テキストベクトルを得るステップと、を含むことを特徴とする請求項9に記載のテキスト知能化洗浄装置。 - 前記テキスト単語ベクトル行列を畳み込みニューラルネットワークモデルに入力して目標テキストベクトルを生成する前記ステップは、
前記畳み込みニューラルネットワークの所定の畳み込みカーネルサイズにより前記テキスト単語ベクトル行列に対して畳み込み操作を行い、特徴値を得るステップと、
前記特徴値をまとめて操作を行い、畳み込み特徴行列を得て、前記畳み込み特徴行列と前記中間テキストベクトルを同じ次元空間にマッピングし、前記畳み込み特徴行列と前記中間テキストベクトルのコサイン類似度を得るステップと、
前記コサイン類似度の注意力重みを算出し、前記注意力重みをまとめて注意力重み行列を得るステップと、
前記畳み込み特徴行列中の特徴値と前記注意力重み行列に対応する注意力重みを重み付けして前記目標テキストベクトル中の特徴点を得て、前記目標テキストベクトル中の特徴点をまとめて目標テキストベクトルを得るステップと、を含むことを特徴とする請求項9に記載のテキスト知能化洗浄装置。 - 前記テキスト単語ベクトル行列を畳み込みニューラルネットワークモデルに入力して目標テキストベクトルを生成する前記ステップは、
前記畳み込みニューラルネットワークの所定の畳み込みカーネルサイズにより前記テキスト単語ベクトル行列に対して畳み込み操作を行い、特徴値を得るステップと、
前記特徴値をまとめて操作を行い、畳み込み特徴行列を得て、前記畳み込み特徴行列と前記中間テキストベクトルを同じ次元空間にマッピングし、前記畳み込み特徴行列と前記中間テキストベクトルのコサイン類似度を得るステップと、
前記コサイン類似度の注意力重みを算出し、前記注意力重みをまとめて注意力重み行列を得るステップと、
前記畳み込み特徴行列中の特徴値と前記注意力重み行列に対応する注意力重みを重み付けして前記目標テキストベクトル中の特徴点を得て、前記目標テキストベクトル中の特徴点をまとめて目標テキストベクトルを得るステップと、を含むことを特徴とする請求項10に記載のテキスト知能化洗浄装置。 - 前記テキスト単語ベクトル行列を畳み込みニューラルネットワークモデルに入力して目標テキストベクトルを生成する前記ステップは、
前記畳み込みニューラルネットワークの所定の畳み込みカーネルサイズにより前記テキスト単語ベクトル行列に対して畳み込み操作を行い、特徴値を得るステップと、
前記特徴値をまとめて操作を行い、畳み込み特徴行列を得て、前記畳み込み特徴行列と前記中間テキストベクトルを同じ次元空間にマッピングし、前記畳み込み特徴行列と前記中間テキストベクトルのコサイン類似度を得るステップと、
前記コサイン類似度の注意力重みを算出し、前記注意力重みをまとめて注意力重み行列を得るステップと、
前記畳み込み特徴行列中の特徴値と前記注意力重み行列に対応する注意力重みを重み付けして前記目標テキストベクトル中の特徴点を得て、前記目標テキストベクトル中の特徴点をまとめて目標テキストベクトルを得るステップと、を含むことを特徴とする請求項11に記載のテキスト知能化洗浄装置。 - 前記テキスト単語ベクトル行列を畳み込みニューラルネットワークモデルに入力して目標テキストベクトルを生成する前記ステップは、
前記畳み込みニューラルネットワークの所定の畳み込みカーネルサイズにより前記テキスト単語ベクトル行列に対して畳み込み操作を行い、特徴値を得るステップと、
前記特徴値をまとめて操作を行い、畳み込み特徴行列を得て、前記畳み込み特徴行列と前記中間テキストベクトルを同じ次元空間にマッピングし、前記畳み込み特徴行列と前記中間テキストベクトルのコサイン類似度を得るステップと、
前記コサイン類似度の注意力重みを算出し、前記注意力重みをまとめて注意力重み行列を得るステップと、
前記畳み込み特徴行列中の特徴値と前記注意力重み行列に対応する注意力重みを重み付けして前記目標テキストベクトル中の特徴点を得て、前記目標テキストベクトル中の特徴点をまとめて目標テキストベクトルを得るステップと、を含むことを特徴とする請求項12に記載のテキスト知能化洗浄装置。 - コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体にテキスト知能化洗浄プログラムが記憶され、前記テキスト知能化洗浄プログラムは、
テキストセットを取得し、前記テキストセットに対して前処理操作を行い、単語ベクトルテキストセットを得るステップと、
前記単語ベクトルテキストセットに対して全文行列数値化操作を行い、主体単語ベクトル行列及びテキスト単語ベクトル行列を生成するステップと、
前記主体単語ベクトル行列をBiLSTMモデルに入力して中間テキストベクトルを生成するステップと、
前記テキスト単語ベクトル行列を畳み込みニューラルネットワークモデルに入力して目標テキストベクトルを生成するステップと、
前記中間テキストベクトルと前記目標テキストベクトルとを繋ぎ合わせ、結合テキストベクトルを得て、前記結合テキストベクトルを予め構築した意味認識分類器モデルに入力し、集約テキストベクトルを出力し、前記集約テキストベクトルに対してword2vecの逆アルゴリズムを用いて逆回復操作を行い、標準テキストを出力するステップと、を実現するために、1つ又は複数のプロセッサによって実行されることができることを特徴とするコンピュータ読み取り可能な記憶媒体。 - テキストセットに対して前処理操作を行い、単語ベクトルテキストセットを得る前記ステップは、
split文字列により前記テキストセットに対してテキスト分割操作を行い、単位語句を得るステップと、
word2vecモデルを利用して前記単位語句セットを前記単語ベクトルテキストセットに変換するステップと、を含むことを特徴とする請求項17に記載のコンピュータ読み取り可能な記憶媒体。 - word2vecモデルを利用して前記単位語句セットを前記単語ベクトルテキストセットに変換する前記ステップは、
前記単位語句セットをワンホット形式で量子化して語彙リストベクトルを得て、前記語彙リストベクトルを前記Word2vecモデルに入力し、前記語彙リストベクトルを前記word2vecモデルにおける隠れ層を用いて圧縮処理して低次元ベクトルを形成し、前記単語ベクトルテキストを得るステップを含むことを特徴とする請求項18に記載のコンピュータ読み取り可能な記憶媒体。 - 前記主体単語ベクトル行列をBiLSTMモデルに入力して中間テキストベクトルを生成する前記ステップは、
前記BiLSTMモデルにおけるLSTM-targetのエンコーダにより前記主体単語ベクトル行列をエンコードし、前向き隠れ状態系列を得るステップと、
前記BiLSTMモデルにおけるLSTM-descriのエンコーダにより前記主体単語ベクトル行列をエンコードし、後向き隠れ状態系列を得るステップと、
前記前向き隠れ状態系列と前記後向き隠れ状態系列とを繋ぎ合わせ、主題単語ベクトルを得て、前記主題単語ベクトルをまとめて前記中間テキストベクトルを得るステップと、を含むことを特徴とする請求項17に記載のコンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910601253.7 | 2019-07-03 | ||
CN201910601253.7A CN110442711B (zh) | 2019-07-03 | 2019-07-03 | 文本智能化清洗方法、装置及计算机可读存储介质 |
PCT/CN2019/102204 WO2021000391A1 (zh) | 2019-07-03 | 2019-08-23 | 文本智能化清洗方法、装置及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022534375A true JP2022534375A (ja) | 2022-07-29 |
JP7286810B2 JP7286810B2 (ja) | 2023-06-05 |
Family
ID=68428499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021569240A Active JP7286810B2 (ja) | 2019-07-03 | 2019-08-23 | テキスト知能化洗浄方法、装置及びコンピュータ読み取り可能な記憶媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11599727B2 (ja) |
JP (1) | JP7286810B2 (ja) |
CN (1) | CN110442711B (ja) |
SG (1) | SG11202112454RA (ja) |
WO (1) | WO2021000391A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111191459B (zh) * | 2019-12-25 | 2023-12-12 | 医渡云(北京)技术有限公司 | 一种文本处理方法、装置、可读介质及电子设备 |
CN111274357A (zh) * | 2020-01-19 | 2020-06-12 | 深圳中泓在线股份有限公司 | 新闻舆情识别方法、设备及存储介质 |
CN113065347B (zh) * | 2021-04-26 | 2022-06-28 | 上海交通大学 | 基于多任务学习的刑事案件判决预测方法、系统及介质 |
CN113554053B (zh) * | 2021-05-20 | 2023-06-20 | 重庆康洲大数据有限公司 | 一种比较中药处方相似性的方法 |
CN115225371B (zh) * | 2022-07-18 | 2023-03-17 | 四川大学 | 一种基于对比学习的网络靶场背景流量分布式生成方法 |
CN117312506B (zh) * | 2023-09-07 | 2024-03-08 | 广州风腾网络科技有限公司 | 一种页面语义信息提取方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08292861A (ja) * | 1995-04-20 | 1996-11-05 | Fuji Xerox Co Ltd | 付箋表示制御装置 |
JP2005339295A (ja) * | 2004-05-28 | 2005-12-08 | Fuji Xerox Co Ltd | 文書処理装置、文書処理方法及び文書処理プログラム |
JP2011043895A (ja) * | 2009-08-19 | 2011-03-03 | Fuji Xerox Co Ltd | 文書処理装置、及び文書処理プログラム |
US20150301706A1 (en) * | 2012-12-20 | 2015-10-22 | Thomson Licensing | Identifiable tabbing for bookmarks in electronic books |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2488963A1 (en) * | 2009-10-15 | 2012-08-22 | Rogers Communications Inc. | System and method for phrase identification |
US10055402B2 (en) * | 2014-03-17 | 2018-08-21 | Accenture Global Services Limited | Generating a semantic network based on semantic connections between subject-verb-object units |
CN105354212A (zh) * | 2015-09-24 | 2016-02-24 | 上海车音网络科技有限公司 | 洗车装置、系统及洗车方法 |
CN107203507B (zh) * | 2016-03-17 | 2019-08-13 | 阿里巴巴集团控股有限公司 | 特征词汇提取方法及装置 |
US10606873B2 (en) * | 2016-08-16 | 2020-03-31 | Ebay Inc. | Search index trimming |
CN107808660A (zh) * | 2016-09-05 | 2018-03-16 | 株式会社东芝 | 训练神经网络语言模型的方法和装置及语音识别方法和装置 |
CN106599933A (zh) * | 2016-12-26 | 2017-04-26 | 哈尔滨工业大学 | 一种基于联合深度学习模型的文本情感分类方法 |
US10474709B2 (en) * | 2017-04-14 | 2019-11-12 | Salesforce.Com, Inc. | Deep reinforced model for abstractive summarization |
US11170287B2 (en) * | 2017-10-27 | 2021-11-09 | Salesforce.Com, Inc. | Generating dual sequence inferences using a neural network model |
US10909157B2 (en) * | 2018-05-22 | 2021-02-02 | Salesforce.Com, Inc. | Abstraction of text summarization |
CN109885826A (zh) * | 2019-01-07 | 2019-06-14 | 平安科技(深圳)有限公司 | 文本词向量获取方法、装置、计算机设备及存储介质 |
-
2019
- 2019-07-03 CN CN201910601253.7A patent/CN110442711B/zh active Active
- 2019-08-23 WO PCT/CN2019/102204 patent/WO2021000391A1/zh active Application Filing
- 2019-08-23 SG SG11202112454RA patent/SG11202112454RA/en unknown
- 2019-08-23 US US17/613,942 patent/US11599727B2/en active Active
- 2019-08-23 JP JP2021569240A patent/JP7286810B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08292861A (ja) * | 1995-04-20 | 1996-11-05 | Fuji Xerox Co Ltd | 付箋表示制御装置 |
JP2005339295A (ja) * | 2004-05-28 | 2005-12-08 | Fuji Xerox Co Ltd | 文書処理装置、文書処理方法及び文書処理プログラム |
JP2011043895A (ja) * | 2009-08-19 | 2011-03-03 | Fuji Xerox Co Ltd | 文書処理装置、及び文書処理プログラム |
US20150301706A1 (en) * | 2012-12-20 | 2015-10-22 | Thomson Licensing | Identifiable tabbing for bookmarks in electronic books |
Also Published As
Publication number | Publication date |
---|---|
US20220318515A1 (en) | 2022-10-06 |
JP7286810B2 (ja) | 2023-06-05 |
US11599727B2 (en) | 2023-03-07 |
CN110442711A (zh) | 2019-11-12 |
WO2021000391A1 (zh) | 2021-01-07 |
SG11202112454RA (en) | 2021-12-30 |
CN110442711B (zh) | 2023-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7286810B2 (ja) | テキスト知能化洗浄方法、装置及びコンピュータ読み取り可能な記憶媒体 | |
US20220292269A1 (en) | Method and apparatus for acquiring pre-trained model | |
CN108959246B (zh) | 基于改进的注意力机制的答案选择方法、装置和电子设备 | |
WO2020224219A1 (zh) | 中文分词方法、装置、电子设备及可读存储介质 | |
WO2021068339A1 (zh) | 文本分类方法、装置及计算机可读存储介质 | |
WO2020244475A1 (zh) | 用于语言序列标注的方法、装置、存储介质及计算设备 | |
CN112395385B (zh) | 基于人工智能的文本生成方法、装置、计算机设备及介质 | |
CN113434636B (zh) | 基于语义的近似文本搜索方法、装置、计算机设备及介质 | |
CN110866098B (zh) | 基于transformer和lstm的机器阅读方法、装置及可读存储介质 | |
WO2023138188A1 (zh) | 特征融合模型训练及样本检索方法、装置和计算机设备 | |
JP7417679B2 (ja) | 情報抽出方法、装置、電子機器及び記憶媒体 | |
JP7430820B2 (ja) | ソートモデルのトレーニング方法及び装置、電子機器、コンピュータ可読記憶媒体、コンピュータプログラム | |
WO2024098533A1 (zh) | 图文双向搜索方法、装置、设备及非易失性可读存储介质 | |
US11676410B1 (en) | Latent space encoding of text for named entity recognition | |
KR101717230B1 (ko) | 재귀 오토인코더 기반 문장 벡터 모델링을 이용하는 문서 요약 방법 및 문서 요약 시스템 | |
JP2023012493A (ja) | 言語モデルの事前トレーニング方法、装置、デバイスおよび記憶媒体 | |
WO2019133506A1 (en) | Intelligent routing services and systems | |
JP2022006173A (ja) | 知識事前訓練モデルの訓練方法、装置及び電子機器 | |
WO2021051934A1 (zh) | 基于人工智能的合同关键条款提取方法、装置及存储介质 | |
CN110263304B (zh) | 语句编码方法、语句解码方法、装置、存储介质及设备 | |
WO2024098623A1 (zh) | 跨媒体检索及模型训练方法、装置、设备、菜谱检索系统 | |
WO2022228127A1 (zh) | 要素文本处理方法、装置、电子设备和存储介质 | |
CN113705315A (zh) | 视频处理方法、装置、设备及存储介质 | |
WO2021068565A1 (zh) | 表格智能查询方法、装置、电子设备及计算机可读存储介质 | |
WO2021139076A1 (zh) | 智能化文本对话生成方法、装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211119 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230524 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7286810 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |