JP2023134810A - 文書検索方法 - Google Patents
文書検索方法 Download PDFInfo
- Publication number
- JP2023134810A JP2023134810A JP2023120817A JP2023120817A JP2023134810A JP 2023134810 A JP2023134810 A JP 2023134810A JP 2023120817 A JP2023120817 A JP 2023120817A JP 2023120817 A JP2023120817 A JP 2023120817A JP 2023134810 A JP2023134810 A JP 2023134810A
- Authority
- JP
- Japan
- Prior art keywords
- data
- reference text
- word
- wiring
- keyword
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title abstract description 50
- 238000004458 analytical method Methods 0.000 claims abstract description 133
- 239000013598 vector Substances 0.000 claims description 36
- 239000013604 expression vector Substances 0.000 claims description 20
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 description 95
- 210000004027 cell Anatomy 0.000 description 93
- 230000005540 biological transmission Effects 0.000 description 37
- 239000004065 semiconductor Substances 0.000 description 34
- 238000004364 calculation method Methods 0.000 description 33
- 238000004891 communication Methods 0.000 description 33
- 238000013528 artificial neural network Methods 0.000 description 28
- 210000002569 neuron Anatomy 0.000 description 27
- 229910044991 metal oxide Inorganic materials 0.000 description 26
- 150000004706 metal oxides Chemical class 0.000 description 26
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 19
- 230000015572 biosynthetic process Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 230000004913 activation Effects 0.000 description 9
- 230000008878 coupling Effects 0.000 description 7
- 238000010168 coupling process Methods 0.000 description 7
- 238000005859 coupling reaction Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 5
- 229910052738 indium Inorganic materials 0.000 description 5
- APFVFJFRJDLVQX-UHFFFAOYSA-N indium atom Chemical compound [In] APFVFJFRJDLVQX-UHFFFAOYSA-N 0.000 description 5
- 229910052710 silicon Inorganic materials 0.000 description 5
- 239000010703 silicon Substances 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- GYHNNYVSQQEPJS-UHFFFAOYSA-N Gallium Chemical compound [Ga] GYHNNYVSQQEPJS-UHFFFAOYSA-N 0.000 description 2
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 2
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical compound [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 229910052733 gallium Inorganic materials 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 239000010936 titanium Substances 0.000 description 2
- 229910052725 zinc Inorganic materials 0.000 description 2
- 239000011701 zinc Substances 0.000 description 2
- ZOXJGFHDIHLPTG-UHFFFAOYSA-N Boron Chemical compound [B] ZOXJGFHDIHLPTG-UHFFFAOYSA-N 0.000 description 1
- 229910052684 Cerium Inorganic materials 0.000 description 1
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 1
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 1
- 229910052779 Neodymium Inorganic materials 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 229910052796 boron Inorganic materials 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- GWXLDORMOJMVQZ-UHFFFAOYSA-N cerium Chemical compound [Ce] GWXLDORMOJMVQZ-UHFFFAOYSA-N 0.000 description 1
- 238000002425 crystallisation Methods 0.000 description 1
- 230000008025 crystallization Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- YZZNJYQZJKSEER-UHFFFAOYSA-N gallium tin Chemical compound [Ga].[Sn] YZZNJYQZJKSEER-UHFFFAOYSA-N 0.000 description 1
- 229910052732 germanium Inorganic materials 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- 229910052735 hafnium Inorganic materials 0.000 description 1
- VBJZVLUMGGDVMO-UHFFFAOYSA-N hafnium atom Chemical compound [Hf] VBJZVLUMGGDVMO-UHFFFAOYSA-N 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 229910052746 lanthanum Inorganic materials 0.000 description 1
- FZLIPJUXYLNCLC-UHFFFAOYSA-N lanthanum atom Chemical compound [La] FZLIPJUXYLNCLC-UHFFFAOYSA-N 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 229910052750 molybdenum Inorganic materials 0.000 description 1
- 239000011733 molybdenum Substances 0.000 description 1
- 229910021421 monocrystalline silicon Inorganic materials 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- QEFYFXOXNSNQGX-UHFFFAOYSA-N neodymium atom Chemical compound [Nd] QEFYFXOXNSNQGX-UHFFFAOYSA-N 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- KYKLWYKWCAYAJY-UHFFFAOYSA-N oxotin;zinc Chemical compound [Zn].[Sn]=O KYKLWYKWCAYAJY-UHFFFAOYSA-N 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- VSZWPYCFIRKVQL-UHFFFAOYSA-N selanylidenegallium;selenium Chemical compound [Se].[Se]=[Ga].[Se]=[Ga] VSZWPYCFIRKVQL-UHFFFAOYSA-N 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 229910052715 tantalum Inorganic materials 0.000 description 1
- GUVRBAGPIYLISA-UHFFFAOYSA-N tantalum atom Chemical compound [Ta] GUVRBAGPIYLISA-UHFFFAOYSA-N 0.000 description 1
- JBQYATWDVHIOAR-UHFFFAOYSA-N tellanylidenegermanium Chemical compound [Te]=[Ge] JBQYATWDVHIOAR-UHFFFAOYSA-N 0.000 description 1
- 229910001887 tin oxide Inorganic materials 0.000 description 1
- 229910052719 titanium Inorganic materials 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
- 229910052727 yttrium Inorganic materials 0.000 description 1
- VWQVUPCCIRVNHF-UHFFFAOYSA-N yttrium atom Chemical compound [Y] VWQVUPCCIRVNHF-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/338—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3347—Query execution using vector based model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/93—Document management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/268—Morphological analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/11—Patent retrieval
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/18—Legal services
- G06Q50/184—Intellectual property management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Molecular Biology (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Neurology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】簡便な入力方法で、精度の高い文書検索、特に知的財産に係る文書の検索を実現する。【解決手段】処理部を有する文書検索システムである。処理部は、文章データに含まれるキーワードを抽出する機能と、複数の第1の参照用文章解析データに含まれる単語の中からキーワードの関連語を抽出する機能と、キーワード及び関連語のそれぞれに対して重みを付与する機能と、複数の第2の参照用文章解析データのそれぞれに対して重みに基づいて点数を付与する機能と、点数に基づいて複数の第2の参照用文章解析データを順位づけすることでランキングデータを生成する機能と、ランキングデータを出力する機能と、を有する。【選択図】図2
Description
本発明の一態様は、文書検索システム、文書検索方法、プログラム、及び非一時的コンピュータ可読記憶媒体に関する。本発明の一態様は、知的財産に係る文書検索システム及び文書検索方法に関する。
なお、本発明の一態様は、上記の技術分野に限定されない。本発明の一態様の技術分野としては、半導体装置、表示装置、発光装置、蓄電装置、記憶装置、電子機器、照明装置、入力装置(例えば、タッチセンサなど)、入出力装置(例えば、タッチパネルなど)、それらの駆動方法、またはそれらの製造方法を一例として挙げることができる。
出願前の発明に関し先行技術調査を行うことで、関連する知的財産権が存在するか否かを調査することができる。先行技術調査を行うことで得られた国内外の特許文献及び論文などは、発明の新規性及び進歩性の確認、並びに、特許を出願するか否かの判断に、利用することができる。また、特許文献の無効資料調査を行うことで、自身の所有する特許権が無効化する恐れが無いか、或いは、他者の所有する特許権を無効化できるか、調査することができる。
例えば、特許文献を検索するシステムに、使用者がキーワードを入力することで、そのキーワードを含む特許文献を出力することができる。
このようなシステムを用いて高い精度で先行技術調査を行うためには、適切なキーワードで検索すること、さらに、出力された多くの特許文献から必要な特許文献を抽出することなど、使用者に高い技量が求められる。
また、様々な用途において、人工知能の活用が検討されている。特に、人工ニューラルネットワークなどを利用することで、従来のノイマン型コンピュータよりも高性能なコンピュータが実現できると期待されており、近年、電子回路上で人工ニューラルネットワークを構築する種々の研究が進められている。
例えば、特許文献1には、チャネル形成領域に酸化物半導体を有するトランジスタを用いた記憶装置によって、人工ニューラルネットワークを用いた計算に必要な重みデータを保持する発明が開示されている。
そこで、本発明の一態様は、高い精度で文書を検索できる文書検索システムを提供することを課題の一つとする。または、本発明の一態様は、高い精度で文書を検索できる文書検索方法を提供することを課題の一つとする。または、本発明の一態様は、簡便な入力方法で、精度の高い文書検索、特に知的財産に係る文書の検索を実現することを課題の一つとする。
なお、これらの課題の記載は、他の課題の存在を妨げるものではない。本発明の一態様は、必ずしも、これらの課題の全てを解決する必要はないものとする。明細書、図面、請求項の記載から、これら以外の課題を抽出することが可能である。
本発明の一態様は、処理部を有する文書検索システムである。処理部は、文章データに含まれるキーワードを抽出する機能と、複数の第1の参照用文章解析データに含まれる単語の中から、キーワードの関連語を抽出する機能と、キーワード及び関連語のそれぞれに対して、重みを付与する機能と、複数の第2の参照用文章解析データのそれぞれに対して、重みに基づいて点数を付与する機能と、点数に基づいて複数の第2の参照用文章解析データを順位づけすることで、ランキングデータを生成する機能と、ランキングデータを出力する機能と、を有する。
本発明の一態様は、文章データに含まれるキーワードを抽出し、複数の第1の参照用文章解析データに含まれる単語の中から、キーワードの関連語を抽出し、キーワード及び関連語のそれぞれに対して、重みを付与し、複数の第2の参照用文章解析データのそれぞれに対して、重みに基づいて点数を付与し、点数に基づいて複数の第2の参照用文章解析データを順位づけすることで、ランキングデータを生成し、ランキングデータを出力する、文書検索方法である。
本発明の一態様は、文章データに含まれるキーワードを抽出する第1のステップと、複数の第1の参照用文章解析データに含まれる単語の中からキーワードの関連語を抽出する第2のステップと、キーワード及び関連語のそれぞれに対して重みを付与する第3のステップと、複数の第2の参照用文章解析データのそれぞれに対して、第2の参照用文章解析データに含まれる単語と一致したキーワードまたは関連語の重みに基づいて点数を付与する第4のステップと、点数に基づいて複数の第2の参照用文章解析データを順位づけすることでランキングデータを生成する第5のステップと、をプロセッサに実行させるプログラムである。また、本発明の一態様は、上記プログラムが記憶された非一時的コンピュータ可読記憶媒体である。
キーワードの重みは、キーワードの、複数の第1の参照用文章解析データまたは複数の第2の参照用文章解析データにおける逆文書頻度に基づいた値であることが好ましい。関連語の重みは、関連語の分散表現ベクトルとキーワードの分散表現ベクトルとの類似度または距離に基づいた値と、キーワードの重みと、の積であることが好ましい。
キーワードまたは関連語と一致する単語を有する第2の参照用文章解析データに対して、点数を付与することが好ましい。
複数の第1の参照用文章解析データは、複数の第2の参照用文章解析データと同一であってもよい。
関連語は、複数の第1の参照用文章解析データに含まれる単語の分散表現を機械学習することで得られる分散表現ベクトルを用いて抽出することが好ましい。
関連語は、複数の第1の参照用文章解析データに含まれる単語の中から、単語の分散表現ベクトルとキーワードの分散表現ベクトルとの類似度の高さまたは距離の近さに基づいて抽出することが好ましい。単語の分散表現ベクトルは、ニューラルネットワークを用いて生成されたベクトルであることが好ましい。
文章データに含まれるキーワードを抽出する機能として、文章データの形態素解析を行うことで解析データを生成する機能と、解析データからキーワードを抽出する機能と、を有することが好ましい。キーワードは、解析データに含まれる単語の中から、複数の第1の参照用文章解析データまたは複数の第2の参照用文章解析データにおける逆文書頻度の高さに基づいて抽出することが好ましい。
重みは、ユーザが変更できると好ましい。
第1の参照用文章解析データは、第1の参照用文章データの形態素解析を行うことで生成されたデータであり、第2の参照用文章解析データは、第2の参照用文章データの形態素解析を行うことで生成されたデータであることが好ましい。
本発明の一態様の文書検索システムは、電子機器と、サーバと、を有することが好ましい。電子機器は、第1の通信部を有する。サーバは、上記処理部と、第2の通信部と、を有する。第1の通信部は、有線通信及び無線通信のうち一方または双方により、サーバに文章データを供給する機能を有する。処理部は、ランキングデータを第2の通信部に供給する機能を有する。第2の通信部は、有線通信及び無線通信のうち一方または双方により、電子機器にランキングデータを供給する機能を有する。
処理部は、チャネル形成領域に金属酸化物を有するトランジスタを有していてもよく、チャネル形成領域にシリコンを有するトランジスタを有していてもよい。
本発明の一態様により、高い精度で文書を検索できる文書検索システムを提供できる。または、本発明の一態様により、高い精度で文書を検索できる文書検索方法を提供できる。または、本発明の一態様により、簡単な入力方法で、精度の高い文書検索、特に知的財産に係る文書の検索を実現できる。
なお、これらの効果の記載は、他の効果の存在を妨げるものではない。本発明の一態様は、必ずしも、これらの効果の全てを有する必要はない。明細書、図面、請求項の記載から、これら以外の効果を抽出することが可能である。
実施の形態について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定されず、本発明の趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。
なお、以下に説明する発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。また、同様の機能を指す場合には、ハッチパターンを同じくし、特に符号を付さない場合がある。
また、図面において示す各構成の、位置、大きさ、範囲などは、理解の簡単のため、実際の位置、大きさ、範囲などを表していない場合がある。このため、開示する発明は、必ずしも、図面に開示された位置、大きさ、範囲などに限定されない。
なお、「膜」という言葉と、「層」という言葉とは、場合によっては、または、状況に応じて、互いに入れ替えることが可能である。例えば、「導電層」という用語を、「導電膜」という用語に変更することが可能である。または、例えば、「絶縁膜」という用語を、「絶縁層」という用語に変更することが可能である。
(実施の形態1)
本実施の形態では、本発明の一態様の文書検索システム及び文書検索方法について図1~図11を用いて説明する。
本実施の形態では、本発明の一態様の文書検索システム及び文書検索方法について図1~図11を用いて説明する。
本発明の一態様は、処理部を有する文書検索システムである。当該処理部は、文章データに含まれるキーワードを抽出する機能と、複数の第1の参照用文章解析データに含まれる単語の中からキーワードの関連語を抽出する機能と、キーワード及び関連語のそれぞれに対して重みを付与する機能と、複数の第2の参照用文章解析データのそれぞれに対して重みに基づいて点数を付与する機能と、点数に基づいて複数の第2の参照用文章解析データを順位づけすることでランキングデータを生成する機能と、ランキングデータを出力する機能と、を有する。
本発明の一態様の文書検索システムでは、第1の参照用文章解析データを用いてキーワードの関連語を抽出し、第2の参照用文章解析データを検索対象として、文章データに関連または類似するデータを検索することができる。
第1の参照用文章解析データと第2の参照用文章解析データは同一であってもよい。このとき、本発明の一態様の文書検索システムでは、検索対象である参照用文章解析データを用いてキーワードの関連語を抽出することができる。また、第1の参照用文章解析データは、第2の参照用文章解析データの一部または全部を含んでいてもよい。
つまり、本発明の一態様の文書検索システムが有する処理部は、文章データに含まれるキーワードを抽出する機能と、複数の参照用文章解析データに含まれる単語の中からキーワードの関連語を抽出する機能と、キーワード及び関連語のそれぞれに対して重みを付与する機能と、複数の参照用文章解析データのそれぞれに対して重みに基づいて点数を付与する機能と、点数に基づいて複数の参照用文章解析データを順位づけすることでランキングデータを生成する機能と、ランキングデータを出力する機能と、を有していてもよい。
文書検索システムにおいて、検索に用いるキーワードを使用者が選定する場合、使用者は、キーワード単体だけでなく、当該キーワードの同義語、類義語、及び表記の揺らぎなども考慮して、検索に用いるキーワードを選定することが求められる。そのため、キーワード選定は使用者にとって負担となり、また、技量による差が生じやすい。また、使用者にとって、文書検索システムにより出力された多くの文書から必要な文書を探し出すことも負担となる。
ここで、本発明の一態様の文書検索システムは、文章データに含まれるキーワードと、当該キーワードの関連語と、を抽出する機能を有する。そのため、本発明の一態様の文書検索システムの使用者は、検索に用いるキーワードを自ら選定しなくてもよい。使用者は、キーワードよりも分量の多い文章データ(テキストデータ)をそのまま文書検索システムに入力することができる。また、使用者自身がキーワード及び関連語を選定したい場合も、一から選定する必要はなく、文書検索システムが抽出したキーワード及び関連語を参照して、キーワード及び関連語の追加、修正、削除などを行えばよい。したがって、文書検索における使用者の負担を軽減し、また、使用者の技量による検索結果の差を生じにくくできる。
特に、本発明の一態様の文書検索システムは、複数の参照用文章解析データに含まれる単語の中からキーワードの関連語を抽出する機能を有する。既存の概念辞書に含まれる単語の中からキーワードの関連語を抽出する場合、検索対象であるデータに含まれる独特な表記を関連語として抽出することが困難なことがある。一方、本発明の一態様では、キーワードの関連語を抽出するために用意されたデータ(第1の参照用文章解析データ)、または、検索対象であるデータ(第2の参照用文章解析データ)に含まれる単語の中からキーワードの関連語を抽出する。これにより、当該独特な表記も関連語として抽出することが容易となり、検索漏れを低減でき、好ましい。
さらに、本発明の一態様の文書検索システムは、抽出したキーワード及び関連語のそれぞれに重みを付与する機能を有する。キーワード及び関連語のそれぞれが重みを有することで、キーワードまたは関連語がヒットした参照用文章解析データに、重みに基づいた点数を付与することができる。そして、本発明の一態様の文書検索システムは、当該点数に基づいて検索対象である参照用文章解析データを順位づけすることでランキングデータを生成し、出力する機能を有する。関連性または類似性の高さで順位づけされて検索結果が出力されるため、使用者は、検索結果から必要な文書を探しやすく作業効率が高まり、また見落としが生じにくくなる。このように、本発明の一態様の文書検索システムは、簡便かつ高精度に文書を検索することができる。
キーワードの重みは、キーワードの、複数の第1または第2の参照用文章解析データにおける逆文書頻度(Inverse Document Frequency、以下IDFと記す)に基づいた値であることが好ましい。IDFは、ある単語の文書への現れにくさを表す。多くの文書に出現する単語のIDFは小さく、一部の文書にのみ出現する単語のIDFは高くなる。したがって、IDFが高い単語は、第1または第2の参照用文章解析データにおいて特徴的な単語であるといえる。
文章データからのキーワードの抽出自体も、文章データに含まれる単語の、複数の第1のまたは第2の参照用文章解析データにおけるIDFに基づいて行うことができる。例えば、IDFがある数値以上の単語をキーワードとして抽出してもよく、IDFが高い順に任意の個数の単語をキーワードとして抽出してもよい。
キーワードは、第1の参照用文章解析データ及び第2の参照用文章解析データのどちらのIDFに基づいて抽出してもよい。検索対象である第2の参照用文章解析データにおけるIDFに基づいて、文章データからキーワードを抽出するほうが、検索対象の文書における特徴的な単語を抽出しやすいため、好ましい。ただし、検索対象となる文書が少ない場合など、第1の参照用文章解析データにおけるIDFに基づいて、文章データからキーワードを抽出するほうが、文章データにおけるキーワードを抽出しやすいこともある。
または、使用者が入力した文章データを形態素解析することで得られた単語の品詞情報などに基づき、キーワードを抽出してもよい。例えば、日本語の文章を形態素解析する場合、名詞を抽出することが好ましい。また、英語の文章を形態素解析する場合、形容詞、名詞、及び動詞を抽出することが好ましい。
関連語としては、同義語、類義語、対義語、上位語、下位語などが挙げられる。関連語は、複数の参照用文章解析データに含まれる単語の中から、当該単語の分散表現ベクトルとキーワードの分散表現ベクトルとの類似度の高さまたは距離の近さに基づいて抽出することが好ましい。使用者が入力した文章データに含まれるキーワードについて、参照用文章解析データに含まれる同義語、類義語などを関連語として抽出することができる。これにより、検索精度を高めることができる。
関連語の重みは、関連語の分散表現ベクトルとキーワードの分散表現ベクトルとの類似度または距離に基づいた値と、キーワードの重みと、の積であることが好ましい。関連語の重みが、関連語とキーワードの関連度と、キーワード自体の重みと、の双方に基づいて設定されることで、ランキングの精度をより高めることができる。
文書検索システムは、少なくとも一部の処理に人工知能(AI:Artificial Intelligence)を用いることが好ましい。
文書検索システムは、特に、人工ニューラルネットワーク(ANN:Artificial Neural Network、以下、単にニューラルネットワークとも記す)を用いることが好ましい。ニューラルネットワークは、回路(ハードウェア)またはプログラム(ソフトウェア)により実現される。
例えば、単語の分散表現ベクトルを生成する際に、機械学習を用いることが好ましく、ニューラルネットワークを用いることがさらに好ましい。具体的には、関連語は、複数の参照用文章解析データに含まれる単語の分散表現を機械学習することで得られる分散表現ベクトルを用いて抽出することが好ましい。これにより、関連語の抽出及び関連語の重みの精度を高めることができる。
本明細書等において、ニューラルネットワークとは、生物の神経回路網を模し、学習によってニューロンどうしの結合強度を決定し、問題解決能力を持たせるモデル全般を指す。ニューラルネットワークは、入力層、中間層(隠れ層)、及び出力層を有する。
本明細書等において、ニューラルネットワークについて述べる際に、既にある情報からニューロンとニューロンの結合強度(重み係数ともいう)を決定することを「学習」と呼ぶ場合がある。
本明細書等において、学習によって得られた結合強度を用いてニューラルネットワークを構成し、そこから新たな結論を導くことを「推論」と呼ぶ場合がある。
<1.文書検索システムの構成例1>
本実施の形態では、文書検索システムの一例として、知的財産の検索に用いることができる文書検索システムについて説明する。なお、本発明の一態様の文書検索システムは、知的財産の検索用途に限られず、知的財産以外の検索に使用することもできる。
本実施の形態では、文書検索システムの一例として、知的財産の検索に用いることができる文書検索システムについて説明する。なお、本発明の一態様の文書検索システムは、知的財産の検索用途に限られず、知的財産以外の検索に使用することもできる。
図1に、文書検索システム100のブロック図を示す。なお、本明細書に添付した図面では、構成要素を機能ごとに分類し、互いに独立したブロックとしてブロック図を示しているが、実際の構成要素は機能ごとに完全に切り分けることが難しく、一つの構成要素が複数の機能に係わることもあり得る。また、一つの機能が複数の構成要素に係わることもあり得、例えば、処理部103で行われる2つの処理は、互いに異なるサーバによって実行されることがある。
文書検索システム100は、少なくとも、処理部103を有する。図1に示す文書検索システム100は、さらに、入力部101、伝送路102、記憶部105、データベース107、及び出力部109を有する。
[入力部101]
入力部101には、文書検索システム100の外部からデータが供給される。入力部101に供給されたデータは、伝送路102を介して、処理部103、記憶部105、またはデータベース107に供給される。
入力部101には、文書検索システム100の外部からデータが供給される。入力部101に供給されたデータは、伝送路102を介して、処理部103、記憶部105、またはデータベース107に供給される。
[伝送路102]
伝送路102は、データを伝達する機能を有する。入力部101、処理部103、記憶部105、データベース107、及び出力部109の間のデータの送受信は、伝送路102を介して行うことができる。
伝送路102は、データを伝達する機能を有する。入力部101、処理部103、記憶部105、データベース107、及び出力部109の間のデータの送受信は、伝送路102を介して行うことができる。
[処理部103]
処理部103は、入力部101、記憶部105、データベース107などから供給されたデータを用いて、演算、推論などを行う機能を有する。処理部103は、演算結果、推論結果などを、記憶部105、データベース107、出力部109などに供給することができる。
処理部103は、入力部101、記憶部105、データベース107などから供給されたデータを用いて、演算、推論などを行う機能を有する。処理部103は、演算結果、推論結果などを、記憶部105、データベース107、出力部109などに供給することができる。
処理部103には、チャネル形成領域に金属酸化物を有するトランジスタを用いることが好ましい。当該トランジスタはオフ電流が極めて小さいため、当該トランジスタを記憶素子として機能する容量素子に流入した電荷(データ)を保持するためのスイッチとして用いることで、データの保持期間を長期にわたり確保することができる。この特性を、処理部103が有するレジスタ及びキャッシュメモリのうち少なくとも一方に用いることで、必要なときだけ処理部103を動作させ、他の場合には直前の処理の情報を当該記憶素子に待避させることにより処理部103をオフにすることができる。すなわち、ノーマリーオフコンピューティングが可能となり、文書検索システムの低消費電力化を図ることができる。
なお、本明細書等において、チャネル形成領域に酸化物半導体または金属酸化物を用いたトランジスタをOxide Semiconductorトランジスタ、あるいはOSトランジスタと呼ぶ。OSトランジスタのチャネル形成領域は、金属酸化物を有することが好ましい。
本明細書等において、金属酸化物(metal oxide)とは、広い意味での金属の酸化物である。金属酸化物は、酸化物絶縁体、酸化物導電体(透明酸化物導電体を含む)、酸化物半導体(Oxide Semiconductorまたは単にOSともいう)などに分類される。例えば、トランジスタの半導体層に金属酸化物を用いた場合、当該金属酸化物を酸化物半導体と呼称する場合がある。つまり、金属酸化物が増幅作用、整流作用、及びスイッチング作用の少なくとも1つを有する場合、当該金属酸化物を、金属酸化物半導体(metal oxide semiconductor)、略してOSと呼ぶことができる。
チャネル形成領域が有する金属酸化物はインジウム(In)を含むことが好ましい。チャネル形成領域が有する金属酸化物がインジウムを含む金属酸化物の場合、OSトランジスタのキャリア移動度(電子移動度)が高くなる。また、チャネル形成領域が有する金属酸化物は、元素Mを含む酸化物半導体であると好ましい。元素Mは、好ましくは、アルミニウム(Al)、ガリウム(Ga)またはスズ(Sn)などとする。そのほかの元素Mに適用可能な元素としては、ホウ素(B)、シリコン(Si)、チタン(Ti)、鉄(Fe)、ニッケル(Ni)、ゲルマニウム(Ge)、イットリウム(Y)、ジルコニウム(Zr)、モリブデン(Mo)、ランタン(La)、セリウム(Ce)、ネオジム(Nd)、ハフニウム(Hf)、タンタル(Ta)、タングステン(W)などがある。ただし、元素Mとして、前述の元素を複数組み合わせても構わない場合がある。元素Mは、例えば、酸素との結合エネルギーが高い元素である。例えば、酸素との結合エネルギーがインジウムよりも高い元素である。また、チャネル形成領域が有する金属酸化物は、亜鉛(Zn)を含む金属酸化物であると好ましい。亜鉛を含む金属酸化物は結晶化しやすくなる場合がある。
チャネル形成領域が有する金属酸化物は、インジウムを含む金属酸化物に限定されない。半導体層は、例えば、亜鉛スズ酸化物、ガリウムスズ酸化物などの、インジウムを含まず、亜鉛を含む金属酸化物、ガリウムを含む金属酸化物、スズを含む金属酸化物などであっても構わない。
また、処理部103には、チャネル形成領域にシリコンを含むトランジスタを用いてもよい。
また、処理部103には、チャネル形成領域に酸化物半導体を含むトランジスタと、チャネル形成領域にシリコンを含むトランジスタと、を組み合わせて用いることが好ましい。
処理部103は、例えば、演算回路または中央演算装置(CPU:Central Processing Unit)等を有する。
処理部103は、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)等のマイクロプロセッサを有していてもよい。マイクロプロセッサは、FPGA(Field Programmable Gate Array)、FPAA(Field Programmable Analog Array)等のPLD(Programmable Logic Device)によって実現された構成であってもよい。処理部103は、プロセッサにより種々のプログラムからの命令を解釈し実行することで、各種のデータ処理及びプログラム制御を行うことができる。プロセッサにより実行しうるプログラムは、プロセッサが有するメモリ領域及び記憶部105のうち少なくとも一方に格納される。
処理部103はメインメモリを有していてもよい。メインメモリは、RAM(Random Access Memory)等の揮発性メモリ、及びROM(Read Only Memory)等の不揮発性メモリのうち少なくとも一方を有する。
RAMとしては、例えばDRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)等が用いられ、処理部103の作業空間として仮想的にメモリ空間が割り当てられ利用される。記憶部105に格納されたオペレーティングシステム、アプリケーションプログラム、プログラムモジュール、プログラムデータ、及びルックアップテーブル等は、実行のためにRAMにロードされる。RAMにロードされたこれらのデータ、プログラム、及びプログラムモジュールは、それぞれ、処理部103に直接アクセスされ、操作される。
ROMには、書き換えを必要としない、BIOS(Basic Input/Output System)及びファームウェア等を格納することができる。ROMとしては、マスクROM、OTPROM(One Time Programmable Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)等が挙げられる。EPROMとしては、紫外線照射により記憶データの消去を可能とするUV-EPROM(Ultra-Violet Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュメモリ等が挙げられる。
[記憶部105]
記憶部105は、処理部103が実行するプログラムを記憶する機能を有する。また、記憶部105は、処理部103が生成した演算結果及び推論結果、並びに、入力部101に入力されたデータなどを記憶する機能を有していてもよい。
記憶部105は、処理部103が実行するプログラムを記憶する機能を有する。また、記憶部105は、処理部103が生成した演算結果及び推論結果、並びに、入力部101に入力されたデータなどを記憶する機能を有していてもよい。
記憶部105は、揮発性メモリ及び不揮発性メモリのうち少なくとも一方を有する。記憶部105は、例えば、DRAM、SRAMなどの揮発性メモリを有していてもよい。記憶部105は、例えば、ReRAM(Resistive Random Access Memory、抵抗変化型メモリともいう)、PRAM(Phase change Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)、MRAM(Magnetoresistive Random Access Memory、磁気抵抗型メモリともいう)、またはフラッシュメモリなどの不揮発性メモリを有していてもよい。また、記憶部105は、ハードディスクドライブ(Hard Disc Drive:HDD)及びソリッドステートドライブ(Solid State Drive:SSD)等の記録メディアドライブを有していてもよい。
[データベース107]
データベース107は、少なくとも、検索対象となる参照用文章解析データ、IDFデータ、及びベクトルデータを記憶する機能を有する。また、データベース107は、処理部103が生成した演算結果及び推論結果、並びに、入力部101に入力されたデータなどを記憶する機能を有していてもよい。なお、記憶部105及びデータベース107は互いに分離されていなくてもよい。例えば、文書検索システムは、記憶部105及びデータベース107の双方の機能を有する記憶ユニットを有していてもよい。
データベース107は、少なくとも、検索対象となる参照用文章解析データ、IDFデータ、及びベクトルデータを記憶する機能を有する。また、データベース107は、処理部103が生成した演算結果及び推論結果、並びに、入力部101に入力されたデータなどを記憶する機能を有していてもよい。なお、記憶部105及びデータベース107は互いに分離されていなくてもよい。例えば、文書検索システムは、記憶部105及びデータベース107の双方の機能を有する記憶ユニットを有していてもよい。
[出力部109]
出力部109は、文書検索システム100の外部にデータを供給する機能を有する。例えば、処理部103における演算結果または推論結果などを外部に供給することができる。
出力部109は、文書検索システム100の外部にデータを供給する機能を有する。例えば、処理部103における演算結果または推論結果などを外部に供給することができる。
<2.文書検索方法>
まず、図2及び図3を用いて、文書検索システム100を用いて検索を行うために事前に行う処理について説明する。図2にフローチャートを示し、図3に、図2に示す各ステップの模式図を示す。なお、図3に示す各データの図示は一例であり、これに限定されない。
まず、図2及び図3を用いて、文書検索システム100を用いて検索を行うために事前に行う処理について説明する。図2にフローチャートを示し、図3に、図2に示す各ステップの模式図を示す。なお、図3に示す各データの図示は一例であり、これに限定されない。
また、以下では、キーワードの関連語を抽出するために用いる参照用文章データと、検索対象となる参照用文章用データが同一である(参照用文章データTDrefと記す)場合を例に挙げて説明する。前述の通り、これら2つの参照用文章用データが異なっていてもよい。例えば、第1の参照用文章データを用いてベクトルデータVD(後述する)を生成し、第2の参照用文章データを検索対象としてもよい。このとき、後述するIDFデータIDは、第1の参照用文章データを用いて生成してもよく、第2の参照用文章データを用いて生成してもよい。
[ステップS1]
まず、入力部101に、参照用文章データTDrefを複数入力する(図2及び図3(A))。
まず、入力部101に、参照用文章データTDrefを複数入力する(図2及び図3(A))。
本実施の形態の文書検索方法では、事前に準備された複数の文書を検索の対象として、入力された文書に関連または類似する文書を検索することができる。参照用文章データTDrefは、文書検索システム100において検索の対象となる文書の文章データである。参照用文章データTDrefとして用いるデータは、文書検索システム100の用途に応じて適宜選択できる。
参照用文章データTDrefは、文書検索システム100の外部から入力部101に入力される。そして、参照用文章データTDrefは、入力部101から、伝送路102を介して、処理部103に供給される。または、参照用文章データTDrefは、入力部101から、伝送路102を介して、記憶部105またはデータベース107に保存され、記憶部105またはデータベース107から、伝送路102を介して、処理部103に供給されてもよい。
図3(A)では、n個(nは、2以上の整数)の参照用文章データTDrefを図示し、それぞれ、データTDref(x)(xは、1以上n以下の整数)と記す。
本実施の形態では、検索の対象が知的財産に係る文書である例を示す。参照用文章データTDrefは、知的財産に係る文書の文章データである。
なお、上述の通り、ステップS1で入力する参照用文章データが検索の対象となるデータと異なる場合もある。ステップS1で入力する参照用文章データは、知的財産に係る文書の文章データであることが好ましいが、これに限られない。また、ステップS1で入力する参照用文章データの一部が、検索の対象となるデータである場合もある。例えば、ステップS1で入力する参照用文章データが特許文献及び論文の文章データであり、検索の対象は、特許文献の文章データのみであってもよい。
ここで、知的財産に係る文書としては、具体的には、特許文献(公開特許公報、特許公報など)、実用新案公報、意匠公報、及び論文などの刊行物が挙げられる。国内で発行された刊行物に限られず、世界各国で発行された刊行物を、知的財産に係る文書として用いることができる。
特許文献に含まれる明細書、特許請求の範囲、及び要約書は、それぞれ、一部または全部を参照用文章データTDrefとして用いることができる。例えば、特定の発明を実施するための形態、実施例、または請求項を、参照用文章データTDrefとして用いてもよい。同様に、論文など他の刊行物に含まれる文章についても、一部または全部を参照用文章データTDrefとして用いることができる。
知的財産に係る文書は、刊行物に限られない。例えば、文書検索システムの使用者または使用団体が独自に有する文書ファイルも参照用文章データTDrefとして用いることができる。
さらに、知的財産に係る文書としては、発明、考案、もしくは意匠、または工業製品を説明する文章などが挙げられる。
参照用文章データTDrefは、例えば、特定の出願人の特許文献、または特定の技術分野の特許文献を有することができる。
参照用文章データTDrefは、知的財産自体の説明(例えば、明細書など)だけでなく、当該知的財産に関係する様々な情報(例えば、書誌情報など)を有することができる。当該情報としては、例えば、特許の出願人、技術分野、出願番号、公開番号、ステータス(係属中、登録済、取り下げ済など)などが挙げられる。
参照用文章データTDrefは、知的財産に係る日付情報を有することが好ましい。日付情報としては、例えば、知的財産が特許文献であれば、出願日、公開日、登録日などが挙げられ、知的財産が工業製品の技術情報であれば、発売日などが挙げられる。
このように、参照用文章データTDrefが知的財産に関係する様々な情報を有することで、文書検索システムを用いて、様々な検索範囲を選択することができる。
例えば、本実施の形態の文書検索システムを用いて、出願前の発明と関連または類似する特許文献、論文、または工業製品を検索することができる。これにより、出願前の発明に係る先行技術調査をすることができる。関連する先行技術を把握し再検討することで、発明を強化し、他社が回避困難な強い特許になる発明とすることができる。
また、例えば、本実施の形態の文書検索システムを用いて、発売前の工業製品と関連または類似する特許文献、論文、または工業製品を検索することができる。参照用文章データTDrefが自社の特許文献を有する場合、発売前の工業製品に係る技術が社内で十分に特許出願できているかを確認することができる。または、参照用文章データTDrefが他社の知的財産の情報を有する場合、発売前の工業製品が他社の知的財産権を侵害していないかを確認することができる。関連する先行技術を把握し、発売前の工業製品に係る技術を再検討することで、新たな発明を発掘し、自社の事業に貢献する強い特許になる発明とすることができる。なお、発売前の工業製品に限らず、発売後の工業製品について、検索してもよい。
また、例えば、本実施の形態の文書検索システムを用いて、特定の特許と関連または類似する特許文献、論文、または工業製品を検索することができる。特に、当該特許の出願日を基準に調べることで、当該特許が無効理由を含まないか、簡便かつ高い精度で調査することができる。
[ステップS2]
次に、複数の参照用文章データTDrefそれぞれの形態素解析を行い、参照用文章解析データADrefを複数生成する(図2及び図3(A))。
次に、複数の参照用文章データTDrefそれぞれの形態素解析を行い、参照用文章解析データADrefを複数生成する(図2及び図3(A))。
処理部103は、n個の参照用文章データTDrefそれぞれの形態素解析を行い、n個の参照用文章解析データADref(それぞれ、参照用文章解析データADref(x)(xは、1以上n以下の整数)と記す)を生成する。例えば、参照用文章データTDref(n)の形態素解析を行うことで、参照用文章解析データADref(n)を生成する。
形態素解析では、自然言語で書かれた文章を、形態素(言語として意味を持つ最小単位)に分割し、形態素の品詞などを判別することができる。これにより、例えば、参照用文章データTDrefから名詞のみを抽出することができる。
図3(A)では、入力する参照用文章データTDref(1)は長い文を含み、出力された参照用文章解析データADref(1)では、当該文が複数の単語に分けられている。
図3(A)では、生成した参照用文章解析データADrefを処理部103の外部に出力する例を示す。例えば、処理部103は、データベース107に複数の参照用文章解析データADrefを供給することができる。なお、処理部103は、複数の参照用文章解析データADrefを1つのデータにまとめたコーパスを生成し、出力してもよい。
なお、日本語の文章だけでなく、様々な言語(例えば、英語、中国語、韓国語など)の文章の解析を行うことができる。文章の解析方法は、言語に応じて様々な方法を適用できる。
[ステップS3]
ステップS2の後、複数の参照用文章解析データADrefに含まれる単語のIDFを計算し、IDFデータIDを生成する(図2及び図3(B))。ここで、IDFは、規格化することが好ましい。
ステップS2の後、複数の参照用文章解析データADrefに含まれる単語のIDFを計算し、IDFデータIDを生成する(図2及び図3(B))。ここで、IDFは、規格化することが好ましい。
参照用文章解析データADrefは、データベース107から、伝送路102を介して、処理部103に供給される。
処理部103は、n個の参照用文章解析データADrefに含まれる単語のIDFを計算し規格化することで、IDFデータIDを生成する。
図3(B)に示すように、IDFデータIDは、単語(Word)と規格化されたIDFを含む。
ある単語tのIDF(t)は、式(1)のidf(t)を規格化することで求められる。規格化の方法は特に限定されず、例えば、式(2)により、idf(t)を規格化できる。式(1)において、Nは全文書数(参照用文章解析データADrefの数、上記nと等しい)であり、df(t)はある単語tが出現する文書数(参照用文章解析データADrefの数)である。式(2)において、idfMAXは、参照用文章解析データADrefに含まれる単語のidf(t)の最大値であり、idfMINは、参照用文章解析データADrefに含まれる単語のidf(t)の最小値である。
例えば、Word Aの規格化されたIDFは0.868であり、Word Bの規格化されたIDFは0.115であり、Word Cの規格化されたIDFは0.642であることから、Word Aは、Word B及びWord Cに比べて、IDFが高く、参照用文章解析データADrefに現れにくい特徴的な単語であるといえる。なお、図3(B)では、名前順に単語を並べる例を示すが、これに限られず、IDFの高い順などに単語を並べてもよい。
図3(B)では、生成したIDFデータIDを処理部103の外部に出力する例を示す。例えば、処理部103は、伝送路102を介して、データベース107にIDFデータIDを供給することができる。
[ステップS4]
ステップS2の後、複数の参照用文章解析データADrefに含まれる単語の分散表現ベクトルを生成し、ベクトルデータVDを生成する(図2及び図3(C))。
ステップS2の後、複数の参照用文章解析データADrefに含まれる単語の分散表現ベクトルを生成し、ベクトルデータVDを生成する(図2及び図3(C))。
なお、ステップS3とステップS4はどちらを先に行ってもよく、並行して行ってもよい。
処理部103は、n個の参照用文章解析データADrefに含まれる単語の分散表現ベクトルを生成し、ベクトルデータVDを生成する。
単語の分散表現は、単語埋め込みともいわれ、単語の分散表現ベクトルは、単語を、各特徴要素(次元)に対して、定量化した連続値で表現したベクトルである。意味の近い単語どうしは、ベクトルも近くなる。
図3(C)に示すように、処理部103は、ニューラルネットワークNNを用いて、単語の分散表現ベクトルを生成することが好ましい。
ここで、ニューラルネットワークNNを用いて、単語の分散表現ベクトルを生成する方法の一例を説明する。ニューラルネットワークNNの学習は教師あり学習で行う。具体的には、ある単語を入力層に与え、当該単語の周辺語を出力層に与えて、ニューラルネットワークNNに、ある単語に対するその周辺語の確率を学習させる。中間層(隠れ層)は10次元以上1000次元以下の比較的低次元のベクトルを有することが好ましい。学習後の当該ベクトルが、単語の分散表現ベクトルである。
単語の分散表現は、例えば、オープンソース化されているアルゴリズムのWord2vecを用いて行うことができる。Word2vecは、同じ文脈で利用される単語は、同じ意味を持つという仮説に基づき、単語の特徴及び意味構造を含めて単語をベクトル化する。
単語のベクトル化において、単語の分散表現ベクトルを生成することで、ベクトル間の演算で単語間の類似度や距離などを計算することができる。2つのベクトルの類似度が高いとき、当該2つのベクトルは関係性が高いといえる。また、2つのベクトルの距離が近いとき、当該2つのベクトルは関係性が高いといえる。
また、one-hot表現が1単語に1次元を割り当てるのに対し、分散表現では単語を低次元の実数値ベクトルで表すことができるため、語彙数が増えても少ない次元数で表現することができる。したがって、コーパスに含まれる単語数が多くても計算量が増加しにくく、膨大なデータを短時間で処理することができる。
図3(C)に示すように、ベクトルデータVDは、単語(Word)とベクトル(Vector)を含む。例えば、Word AのVectorは(0.12,0.90,0.32,・・・)であり、Word BのVectorは(0.88,0.10,0.29,・・・)であり、Word CのVectorは(0.23,0.56,0.47,・・・)である。
図3(C)では、生成したベクトルデータVDを処理部103の外部に出力する例を示す。例えば、処理部103は、データベース107にベクトルデータVDを供給することができる。
以上のステップを事前に行い、参照用文章解析データADref、IDFデータID、及びベクトルデータVDを生成しておくことで、文書検索システム100を用いて、文書を検索することができる。
なお、本実施の形態では、文書検索システム100を用いて、参照用文章解析データADref、IDFデータID、及びベクトルデータVDを生成する例を示したが、文書検索システム100の外部で、参照用文章解析データADref、IDFデータID、及びベクトルデータVDのうち少なくとも1つを生成してもよい。この場合、外部で生成したデータを、文書検索システム100の入力部101に入力し、データベース107に保存することで、文書検索システム100を用いた検索が可能となる。
次に、文書検索システム100を用いた検索方法について説明する。図4、図5、図8、及び図9にフローチャートを示し、図6、図7(A)、及び図10に、フローチャートに示す各ステップの模式図を示す。なお、図6、図7(A)、及び図10に示す各データの図示は一例であり、これに限定されない。
[ステップS11]
まず、入力部101に、文章データTDを入力する(図4、図5、及び図6(A))。
まず、入力部101に、文章データTDを入力する(図4、図5、及び図6(A))。
本実施の形態の文書検索方法では、参照用文章データTDrefの中から、文章データTDに関連または類似する文章データを検索することができる。
文章データTDは、文書検索システム100の外部から入力部101に入力される。そして、文章データTDは、入力部101から、伝送路102を介して、処理部103に供給される。または、文章データTDは、伝送路102を介して、記憶部105またはデータベース107に保存され、記憶部105またはデータベース107から、伝送路102を介して、処理部103に供給されてもよい。
本実施の形態では、検索の対象が知的財産に係る文書である例を示す。文章データTDは、知的財産に係る文書のデータである。知的財産に係る文書の例は上述の通りである。
文章データTDは、例えば、出願前の発明、考案もしくは意匠、発売前の工業製品、技術情報、または技術的思想を説明する文章などを有することができる。
特に、文章データTDとして、特許請求の範囲、要約書、または発明の概要を説明する文章などを好適に用いることができる。このような文章量が比較的少ない(明細書全文に比べて文章量が少ない)文章データTDは、文章データTDに含まれる特徴的なキーワードを抽出しやすいため好ましい。本実施の形態の文書検索システムは、特徴的なキーワードの関連語を抽出することができるため、文章データTDの語彙数が少なくても、高精度の検索を行うことができる。
[ステップS12]
次に、文章データTDの形態素解析を行い、文章解析データADを生成する(図4、図5、及び図6(A))。
次に、文章データTDの形態素解析を行い、文章解析データADを生成する(図4、図5、及び図6(A))。
処理部103は、文章データTDの形態素解析を行い、文章解析データADを生成する。
図6(A)では、入力する文章データTDは長い文を含み、出力された文章解析データADでは、当該文が複数の単語に分けられている。
図6(A)では、生成した文章解析データADを処理部103の外部に出力する例を示す。例えば、処理部103は、記憶部105またはデータベース107に、文章解析データADを供給することができる。
[ステップS13、S33]
次に、文章解析データADをIDFデータIDと照合することで、キーワードデータKDを生成する(図4、図5、及び図6(B))。
次に、文章解析データADをIDFデータIDと照合することで、キーワードデータKDを生成する(図4、図5、及び図6(B))。
文章解析データADは、記憶部105またはデータベース107から、伝送路102を介して、処理部103に供給される。IDFデータIDは、データベース107から、伝送路102を介して、処理部103に供給される。
処理部103は、文章解析データADとIDFデータIDとを照合し、文章解析データADに含まれる単語をIDFの高い順に並べることで、キーワードデータKDを生成する。
キーワードデータKDは、キーワードKWとそのIDFとを含む。ここでは、規格化されたIDFを用いる例を示す。
キーワードKWは、文章解析データADに含まれる特徴的な単語であるといえる。キーワードKWは、例えば、文章解析データAD及びIDFデータIDの双方に含まれている単語全てであってもよく、IDFが所定の値以上の単語であってもよく、IDFが高い上位の所定の個数の単語であってもよい。文章データTDの文章量に応じて、キーワードKWの抽出基準を設定することが好ましい。例えば、キーワードKWの数は、2個以上100個以下が好ましく、5個以上30個以下がより好ましい。
ここで、キーワードKWの規格化されたIDFは、後に参照用文章解析データADrefに点数を付与する際に用いる、キーワードKWの重みに相当する。
図6(B)では、Word Dの重みが0.873、Word Aの重みが0.868、Word Eの重みが0.867である例を示している。
図6(B)では、キーワードデータKDを処理部103の外部に出力する例を示す。例えば、処理部103は、伝送路102を介して、記憶部105またはデータベース107に、キーワードデータKDを供給することができる。
[ステップS14、S34]
次に、文章解析データADまたはキーワードデータKDと、ベクトルデータVDと、を用いて、関連語データRDを生成する(図4、図5、及び図6(C))。
次に、文章解析データADまたはキーワードデータKDと、ベクトルデータVDと、を用いて、関連語データRDを生成する(図4、図5、及び図6(C))。
文章解析データADまたはキーワードデータKDは、記憶部105またはデータベース107から、伝送路102を介して、処理部103に供給される。ベクトルデータVDは、データベース107から、伝送路102を介して、処理部103に供給される。
ステップS14の場合、処理部103は、キーワードKWの分散表現ベクトルと、参照用文章解析データADrefに含まれる単語の分散表現ベクトルと、の類似度の高さまたは距離の近さに基づいて、キーワードKWの関連語RWを抽出する。そして、関連語RWを類似度の高い順または距離の近い順に並べることで、関連語データRDを生成する。具体的には、1つのキーワードKWに対して、関連語RWを1個以上10個以下抽出することが好ましく、2個以上5個以下抽出することがより好ましい。関連語RWは、例えば、類似度が所定の値以上の単語であってもよく、距離が所定の値以下の単語であってもよく、類似度が高い上位の所定の個数の単語であってもよく、距離が近い上位の所定の個数の単語であってもよい。キーワードKWによって、同義語、類義語、対義語、上位語、下位語などの数は異なるため、キーワードKWによって、関連語RWの数は異なっていてもよい。参照用文章解析データADrefに含まれる単語の中からキーワードKWの関連語RWを抽出することで、参照用文章解析データADrefが独特の表記でキーワードKWを表現している場合であっても、当該表記を関連語RWとして抽出することができる。したがって、表記の揺らぎによる検索漏れが低減でき、好ましい。
ステップS34の場合、処理部103は、文章解析データADに含まれる単語の分散表現ベクトルと、参照用文章解析データADrefに含まれる単語の分散表現ベクトルと、の類似度の高さまたは距離の近さに基づいて、関連語RWを抽出する。それ以外は、ステップS14と同様である。
2つのベクトルの類似度は、コサイン類似度、共分散、不偏共分散、ピアソンの積率相関係数などを用いて求めることができる。特に、コサイン類似度を用いることが好ましい。
2つのベクトルの距離は、ユークリッド距離、標準(標準化、平均)ユークリッド距離、マハラノビス距離、マンハッタン距離、チェビシェフ距離、ミンコフスキー距離などを用いて求めることができる。
関連語データRDは、関連語RWとその関連度RSとを含む。
関連語RWは、文章解析データADに含まれる単語またはキーワードKWと関連する単語であるといえる。
関連度RSは、上記類似度の高さもしくは距離の近さを示す値、またはこれらを規格化した値である。関連度RSは、後に参照用文章解析データADrefに点数を付与する際に用いる、関連語の重みの算出に利用する。具体的には、キーワードKWの規格化されたIDFと関連語RWの関連度RSとの積が、関連語の重みに相当する。
図6(C)では、Word Dの関連語RWとして、関連度RSが高い順にWord X(関連度RSが0.999)、Word Y(関連度RSが0.901)、Word Z(関連度RSが0.712)が抽出された例を示す。
図6(C)では、関連語データRDを処理部103の外部に出力する例を示す。例えば、処理部103は、伝送路102を介して、記憶部105またはデータベース107に、関連語データRDを供給することができる。
なお、キーワードデータKDを用いて関連語を抽出する場合、図4に示すように、ステップS13の後に、ステップS14を行う。一方、文章解析データADを用いて関連語を抽出する場合、図5に示すように、ステップS33とステップS34はどちらを先に行ってもよく、並行して行ってもよい。
さらに、関連語RWが、概念辞書に含まれている単語か否かを判断し、当該関連語RWの重みを決定するステップを有していてもよい。関連語RWが概念辞書に含まれている場合、当該関連語RWはキーワードKWとの関連度が高いといえる。そのため、概念辞書に含まれる場合は、含まれない場合に比べて、関連語RWの重みが大きくなるように設定してもよい。例えば、判断結果に応じて、類似度の高さまたは距離の近さを示す値に、所定の値を加えた値または減らした値を、関連語RWの重みとして用いてもよい。または、関連語RWが概念辞書に含まれる場合または含まれない場合の一方において、類似度の高さまたは距離の近さに関わらず、所定の値を関連語RWの重みとして用いてもよい。例えば、関連語RWが概念辞書に含まれる場合、関連語RWの重みを、キーワードKWと同じ重みにしてもよい。
[ステップS15]
次に、参照用文章解析データADrefに含まれる単語と一致したキーワードKWまたは関連語RWの重みに基づいて、参照用文章解析データADrefに点数を付与する(図4、図5、及び図7(A))。
次に、参照用文章解析データADrefに含まれる単語と一致したキーワードKWまたは関連語RWの重みに基づいて、参照用文章解析データADrefに点数を付与する(図4、図5、及び図7(A))。
参照用文章解析データADrefは、データベース107から、伝送路102を介して、処理部103に供給される。キーワードデータKD及び関連語データRDは、記憶部105またはデータベース107から、伝送路102を介して、処理部103に供給される。処理部103は、点数づけ(スコアリングともいう)の結果を、伝送路102を介して、記憶部105またはデータベース107に供給することができる。
まず、図7(B)を用いて、点数づけの具体例を説明する。図7(B)では、3種類のキーワードKWと、キーワードKW1つに対して4種類の関連語RWと、を用いる例を示す。
スコアの分母はキーワードKWの重みの総和であり、図7(B)の場合、0.9+0.9+0.8=2.6である。
スコアの分子は参照用文章解析データADrefに含まれる単語と一致したキーワードKWまたは関連語RWの重みの総和であり、図7(B)の場合、Word D、Word e、及びWord fの重みの和である1.95である。
このことから、スコアは、1.95/2.6=0.75(75%)と求めることができる。
図8を用いてステップS15を詳細に説明する。図8に示すように、ステップS15は、ステップS21からステップS27を有する。なお、キーワードKWの数がp個、各キーワードKWの関連語RWの数がq個である場合、xは1以上p以下の整数を表し、yは1以上q以下の整数を表す。
[ステップS21]
まず、点数づけしていない参照用文章解析データADrefを1件選択する。
まず、点数づけしていない参照用文章解析データADrefを1件選択する。
[ステップS22]
次に、参照用文章解析データADrefにおいて、キーワードKWxがヒットするか判断する。ヒットする場合、ステップS25に進む。ヒットしない場合、ステップS23に進む。
次に、参照用文章解析データADrefにおいて、キーワードKWxがヒットするか判断する。ヒットする場合、ステップS25に進む。ヒットしない場合、ステップS23に進む。
[ステップS23]
次に、参照用文章解析データADrefにおいて、キーワードKWxの関連語RWxyがヒットするか判断する。ヒットする場合、ステップS25に進む。ヒットしない場合、ステップS24に進む。
次に、参照用文章解析データADrefにおいて、キーワードKWxの関連語RWxyがヒットするか判断する。ヒットする場合、ステップS25に進む。ヒットしない場合、ステップS24に進む。
[ステップS24]
次に、キーワードKWxの全ての関連語RWで検索したか判断する。検索した場合、ステップS26に進む。検索していない場合、ステップS23に進む。例えば、キーワードKWxの関連語RWが2つあり、先のステップS23で関連語RWx1がヒットするか判断していた場合、ステップS23に戻って関連語RWx2がヒットするか判断する。
次に、キーワードKWxの全ての関連語RWで検索したか判断する。検索した場合、ステップS26に進む。検索していない場合、ステップS23に進む。例えば、キーワードKWxの関連語RWが2つあり、先のステップS23で関連語RWx1がヒットするか判断していた場合、ステップS23に戻って関連語RWx2がヒットするか判断する。
[ステップS25]
ステップS25では、ヒットした単語に対応する重みをスコアに加算する。ステップS22でヒットした場合、キーワードKWxのIDFをスコアに加算する。ステップS23でヒットした場合、キーワードKWxのIDFと、関連語RWxyの関連度RSと、の積をスコアに加算する。なお、上述の点数づけの例では、スコアの分子に加算する。
ステップS25では、ヒットした単語に対応する重みをスコアに加算する。ステップS22でヒットした場合、キーワードKWxのIDFをスコアに加算する。ステップS23でヒットした場合、キーワードKWxのIDFと、関連語RWxyの関連度RSと、の積をスコアに加算する。なお、上述の点数づけの例では、スコアの分子に加算する。
[ステップS26]
次に、全てのキーワードKWで検索したか判断する。検索した場合、ステップS27に進む。検索していない場合、ステップS22に進む。例えば、キーワードKWxが2つあり、先のステップS22でキーワードKW1がヒットするか判断していた場合、ステップS22に戻ってキーワードKW2がヒットするか判断する。
次に、全てのキーワードKWで検索したか判断する。検索した場合、ステップS27に進む。検索していない場合、ステップS22に進む。例えば、キーワードKWxが2つあり、先のステップS22でキーワードKW1がヒットするか判断していた場合、ステップS22に戻ってキーワードKW2がヒットするか判断する。
[ステップS27]
次に、全ての参照用文章解析データADrefの点数づけをしたか判断する。全ての点数づけが終わった場合、ステップS16に進む。終わっていない場合、ステップS21に進む。
次に、全ての参照用文章解析データADrefの点数づけをしたか判断する。全ての点数づけが終わった場合、ステップS16に進む。終わっていない場合、ステップS21に進む。
[ステップS16]
そして、参照用文章解析データADrefを順位づけし、ランキングデータLDを生成し、出力する(図4、5、及び図7(A))。
そして、参照用文章解析データADrefを順位づけし、ランキングデータLDを生成し、出力する(図4、5、及び図7(A))。
処理部103は、ランキングデータLDを、伝送路102を介して、記憶部105またはデータベース107に供給することができる。また、処理部103は、ランキングデータLDを、伝送路102を介して、出力部109に供給することができる。これにより、出力部109は、文書検索システム100の外部にランキングデータLDを供給することができる。
ランキングデータLDは、順位(Lank)、参照用文章データTDrefの情報(名称や識別番号など)(Doc)、スコア(Score)などを含むことができる。なお、データベース107などに参照用文章データTDrefが保存されている場合、ランキングデータLDは、参照用文章データTDrefへのファイルパスを含むことが好ましい。これにより、使用者は、ランキングデータLDから、目的の文書に容易にアクセスすることができる。
参照用文章解析データADrefのスコアが高いほど、当該参照用文章解析データADrefに対応する参照用文章データTDrefは、文章データTDと関連または類似しているといえる。
図7(A)に示す例では、ランキングデータLDから、n個の参照用文章データTDrefのうち、文章データTDと最も関連または類似しているデータは、参照用文章データTDref(7)であり、二番目に関連または類似しているデータは、参照用文章データTDref(4)であり、三番目に関連または類似しているデータは、参照用文章データTDref(13)であるとわかる。
以上により、文書検索システム100を用いて、検索を行うことができる。
なお、ステップS14で出力したキーワードKW、キーワードKWの重み(IDF)、関連語RW、及び関連語RWの重み(IDF×RS)を、手作業で編集してから、ステップS15に進んでもよい。
図9に編集のステップを含むフローチャートを示し、図10に図9に示すステップの模式図を示す。なお、図10に示すデータの図示は一例であり、これに限定されない。
[ステップS41]
ステップ14の後、ステップS15で使用予定のキーワードデータKD及び関連語データRDの一覧を出力する(図9及び図10(A))。
ステップ14の後、ステップS15で使用予定のキーワードデータKD及び関連語データRDの一覧を出力する(図9及び図10(A))。
図10(A)から、キーワードKWとして、Word D、Word A、Word Eが挙げられており、それぞれの重み(IDF)が0.9、0.9、0.8であることがわかる。
Word Dの関連語RWとしては、Word X、Word Y、Word Z、及びWord aが挙げられており、それぞれの重み(IDF×RS)は0.9、0.8、0.6、0.5であることがわかる。
Word Aの関連語RWとしては、Word b、Word c、Word d、及びWord eが挙げられており、それぞれの重み(IDF×RS)は0.5、0.5、0.45、0.3であることがわかる。
Word Eの関連語RWとしては、Word f、Word g、Word h、及びWord iが挙げられており、それぞれの重み(IDF×RS)は0.75、0.75、0.75、0.75であることがわかる。
[ステップS42]
次に、キーワードデータKD及び関連語データRDを編集する(図9及び図10(B))。
次に、キーワードデータKD及び関連語データRDを編集する(図9及び図10(B))。
図10(B)では、3か所の編集を行った例を示す。具体的には、Word A及びその関連語RWの削除と、Word a(重み0.5)からWord x(重み0.8)への変更と、Word fの重みの変更(0.75から0.8へ)である。
このように、使用者が単語及び重みの少なくとも一方を編集することで、検索精度の向上を図ってもよい。
その後、ステップS15では、編集済みのキーワードデータKD及び関連語データRDを用いて参照用文章解析データADrefに点数を付与し、ステップS16でランキングデータLDを生成し、出力する。
[ステップS43]
次に、ランキングデータLDが期待した結果であるか確認する(図9)。期待した結果であれば、検索を終了する。期待した結果が得られなかった場合、ステップS41に戻って、編集済みのキーワードデータKD及び関連語データRDの一覧を出力し、ステップS42にて、再度編集してもよい。
次に、ランキングデータLDが期待した結果であるか確認する(図9)。期待した結果であれば、検索を終了する。期待した結果が得られなかった場合、ステップS41に戻って、編集済みのキーワードデータKD及び関連語データRDの一覧を出力し、ステップS42にて、再度編集してもよい。
なお、単語及び重みの編集は、手作業に限らず、辞書データ、自然言語処理により生成した解析データ等を用いて、自動で行われてもよい。編集により、検索精度の向上を図ることができる。
<3.文書検索システムの構成例2>
次に、図11に示す文書検索システム150について説明する。
次に、図11に示す文書検索システム150について説明する。
図11に、文書検索システム150のブロック図を示す。文書検索システム150は、サーバ151と、端末152(パーソナルコンピュータなど)とを有する。
サーバ151は、通信部161a、伝送路162、処理部163a、及びデータベース167を有する。図11では図示しないが、さらに、サーバ151は、記憶部、入出力部などを有していてもよい。
端末152は、通信部161b、伝送路168、処理部163b、記憶部165、及び入出力部169を有する。図11では図示しないが、端末152は、さらに、データベースなどを有していてもよい。
文書検索システム150の使用者は、端末152から、文章データTDを、サーバ151に入力する。文章データTDは、通信部161bから通信部161aに送信される。
通信部161aが受信した文章データTDは、伝送路162を介して、データベース167または記憶部(図示しない)に保存される。または、文章データTDは、通信部161aから、直接、処理部163aに供給されてもよい。
上記<2.文書検索方法>で説明した各種処理は、処理部163aにて行われる。これらの処理は、高い処理能力が求められるため、サーバ151が有する処理部163aで行うことが好ましい。
そして、処理部163aによりランキングデータLDが生成される。ランキングデータLDは、伝送路162を介して、データベース167または記憶部(図示しない)に保存される。または、ランキングデータLDは、処理部163aから、直接、通信部161aに供給されてもよい。その後、サーバ151から、ランキングデータLDが、端末152に出力される。ランキングデータLDは、通信部161aから通信部161bに送信される。
[入出力部169]
入出力部169には、文書検索システム150の外部からデータが供給される。入出力部169は、文書検索システム150の外部にデータを供給する機能を有する。なお、文書検索システム100のように、入力部と出力部が分かれていてもよい。
入出力部169には、文書検索システム150の外部からデータが供給される。入出力部169は、文書検索システム150の外部にデータを供給する機能を有する。なお、文書検索システム100のように、入力部と出力部が分かれていてもよい。
[伝送路162及び伝送路168]
伝送路162及び伝送路168は、データを伝達する機能を有する。通信部161a、処理部163a、及びデータベース167の間のデータの送受信は、伝送路162を介して行うことができる。通信部161b、処理部163b、記憶部165、及び入出力部169の間のデータの送受信は、伝送路168を介して行うことができる。
伝送路162及び伝送路168は、データを伝達する機能を有する。通信部161a、処理部163a、及びデータベース167の間のデータの送受信は、伝送路162を介して行うことができる。通信部161b、処理部163b、記憶部165、及び入出力部169の間のデータの送受信は、伝送路168を介して行うことができる。
[処理部163a及び処理部163b]
処理部163aは、通信部161a及びデータベース167などから供給されたデータを用いて、演算、推論などを行う機能を有する。処理部163bは、通信部161b、記憶部165、及び入出力部169などから供給されたデータを用いて、演算などを行う機能を有する。処理部163a及び処理部163bは、処理部103の説明を参照できる。特に、処理部163aは、上記<2.文書検索方法>で説明した各種処理を行うことができる。そのため、処理部163aは、処理部163bに比べて処理能力が高いことが好ましい。
処理部163aは、通信部161a及びデータベース167などから供給されたデータを用いて、演算、推論などを行う機能を有する。処理部163bは、通信部161b、記憶部165、及び入出力部169などから供給されたデータを用いて、演算などを行う機能を有する。処理部163a及び処理部163bは、処理部103の説明を参照できる。特に、処理部163aは、上記<2.文書検索方法>で説明した各種処理を行うことができる。そのため、処理部163aは、処理部163bに比べて処理能力が高いことが好ましい。
[記憶部165]
記憶部165は、処理部163bが実行するプログラムを記憶する機能を有する。また、記憶部165は、処理部163bが生成した演算結果、通信部161bに入力されたデータ、及び入出力部169に入力されたデータなどを記憶する機能を有する。
記憶部165は、処理部163bが実行するプログラムを記憶する機能を有する。また、記憶部165は、処理部163bが生成した演算結果、通信部161bに入力されたデータ、及び入出力部169に入力されたデータなどを記憶する機能を有する。
[データベース167]
データベース167は、参照用文章解析データADref、IDFデータID、及びベクトルデータVDを記憶する機能を有する。また、データベース167は、処理部163aが生成した演算結果、及び通信部161aに入力されたデータなどを記憶する機能を有していてもよい。または、サーバ151は、データベース167とは別に記憶部を有し、当該記憶部が、処理部163aが生成した演算結果、及び通信部161aに入力されたデータなどを記憶する機能を有していてもよい。
データベース167は、参照用文章解析データADref、IDFデータID、及びベクトルデータVDを記憶する機能を有する。また、データベース167は、処理部163aが生成した演算結果、及び通信部161aに入力されたデータなどを記憶する機能を有していてもよい。または、サーバ151は、データベース167とは別に記憶部を有し、当該記憶部が、処理部163aが生成した演算結果、及び通信部161aに入力されたデータなどを記憶する機能を有していてもよい。
[通信部161a及び通信部161b]
通信部161a及び通信部161bを用いて、サーバ151と端末152との間で、データの送受信を行うことができる。通信部161a及び通信部161bとしては、ハブ、ルータ、モデムなどを用いることができる。データの送受信には、有線を用いても無線(例えば、電波、赤外線など)を用いてもよい。
通信部161a及び通信部161bを用いて、サーバ151と端末152との間で、データの送受信を行うことができる。通信部161a及び通信部161bとしては、ハブ、ルータ、モデムなどを用いることができる。データの送受信には、有線を用いても無線(例えば、電波、赤外線など)を用いてもよい。
以上のように、本実施の形態の文書検索システムでは、事前に準備された文書を検索の対象として、入力された文書に関連または類似する文書を検索することができる。検索に用いるキーワードを使用者が選択する必要がなく、キーワードよりも分量の多い文章データを用いて検索することができるため、検索精度の個人差を低減することができ、簡便かつ高精度に、文書を検索できる。また、本実施の形態の文書検索システムは、キーワードの関連語を、事前に準備された文書の中から抽出するため、当該文書に含まれる独特な表記も関連語として抽出することができ、検索漏れを低減できる。また、本実施の形態の文書検索システムは、関連性または類似性の高さで順位づけして検索結果を出力することができるため、使用者にとっては、検索結果から必要な文書を探しやすく、かつ、見落としにくくなる。
本実施の形態は、他の実施の形態と適宜組み合わせることができる。また、本明細書において、1つの実施の形態の中に、複数の構成例が示される場合は、構成例を適宜組み合わせることが可能である。
(実施の形態2)
本実施の形態では、ニューラルネットワークに用いることが可能な半導体装置の構成例について説明する。
本実施の形態では、ニューラルネットワークに用いることが可能な半導体装置の構成例について説明する。
本実施の形態の半導体装置は、例えば、本発明の一態様の文書検索システムの処理部に用いることができる。
図12(A)に示すように、ニューラルネットワークNNは入力層IL、出力層OL、中間層(隠れ層)HLによって構成することができる。入力層IL、出力層OL、中間層HLはそれぞれ、1または複数のニューロン(ユニット)を有する。なお、中間層HLは1層であってもよいし2層以上であってもよい。2層以上の中間層HLを有するニューラルネットワークはDNN(ディープニューラルネットワーク)と呼ぶこともでき、ディープニューラルネットワークを用いた学習は深層学習と呼ぶこともできる。
入力層ILの各ニューロンには入力データが入力され、中間層HLの各ニューロンには前層または後層のニューロンの出力信号が入力され、出力層OLの各ニューロンには前層のニューロンの出力信号が入力される。なお、各ニューロンは、前後の層の全てのニューロンと結合されていてもよいし(全結合)、一部のニューロンと結合されていてもよい。
図12(B)に、ニューロンによる演算の例を示す。ここでは、ニューロンNと、ニューロンNに信号を出力する前層の2つのニューロンを示している。ニューロンNには、前層のニューロンの出力x1と、前層のニューロンの出力x2が入力される。そして、ニューロンNにおいて、出力x1と重みw1の乗算結果(x1w1)と出力x2と重みw2の乗算結果(x2w2)の総和x1w1+x2w2が計算された後、必要に応じてバイアスbが加算され、値a=x1w1+x2w2+bが得られる。そして、値aは活性化関数hによって変換され、ニューロンNから出力信号y=h(a)が出力される。
このように、ニューロンによる演算には、前層のニューロンの出力と重みの積を足し合わせる演算、すなわち積和演算が含まれる(上記のx1w1+x2w2)。この積和演算は、プログラムを用いてソフトウェア上で行ってもよいし、ハードウェアによって行われてもよい。積和演算をハードウェアによって行う場合は、積和演算回路を用いることができる。この積和演算回路としては、デジタル回路を用いてもよいし、アナログ回路を用いてもよい。積和演算回路にアナログ回路を用いる場合、積和演算回路の回路規模の縮小、または、メモリへのアクセス回数の減少による処理速度の向上及び消費電力の低減を図ることができる。
積和演算回路は、チャネル形成領域にシリコン(単結晶シリコンなど)を含むトランジスタ(「Siトランジスタ」ともいう)によって構成してもよいし、チャネル形成領域に金属酸化物の一種である酸化物半導体を含むトランジスタ(「OSトランジスタ」ともいう)によって構成してもよい。特に、OSトランジスタはオフ電流が極めて小さいため、積和演算回路のメモリを構成するトランジスタとして好適である。なお、SiトランジスタとOSトランジスタの両方を用いて積和演算回路を構成してもよい。以下、積和演算回路の機能を備えた半導体装置の構成例について説明する。
<半導体装置の構成例>
図13に、ニューラルネットワークの演算を行う機能を有する半導体装置MACの構成例を示す。半導体装置MACは、ニューロン間の結合強度(重み)に対応する第1のデータと、入力データに対応する第2のデータの積和演算を行う機能を有する。なお、第1のデータ及び第2のデータはそれぞれ、アナログデータまたは多値のデジタルデータ(離散的なデータ)とすることができる。また、半導体装置MACは、積和演算によって得られたデータを活性化関数によって変換する機能を有する。
図13に、ニューラルネットワークの演算を行う機能を有する半導体装置MACの構成例を示す。半導体装置MACは、ニューロン間の結合強度(重み)に対応する第1のデータと、入力データに対応する第2のデータの積和演算を行う機能を有する。なお、第1のデータ及び第2のデータはそれぞれ、アナログデータまたは多値のデジタルデータ(離散的なデータ)とすることができる。また、半導体装置MACは、積和演算によって得られたデータを活性化関数によって変換する機能を有する。
半導体装置MACは、セルアレイCA、電流源回路CS、カレントミラー回路CM、回路WDD、回路WLD、回路CLD、オフセット回路OFST、及び活性化関数回路ACTVを有する。
セルアレイCAは、複数のメモリセルMC及び複数のメモリセルMCrefを有する。図13には、セルアレイCAがm行n列(m,nは1以上の整数)のメモリセルMC(MC[1,1]乃至MC[m,n])と、m個のメモリセルMCref(MCref[1]乃至MCref[m])を有する構成例を示している。メモリセルMCは、第1のデータを格納する機能を有する。また、メモリセルMCrefは、積和演算に用いられる参照データを格納する機能を有する。なお、参照データはアナログデータまたは多値のデジタルデータとすることができる。
メモリセルMC[i,j](iは1以上m以下の整数、jは1以上n以下の整数)は、配線WL[i]、配線RW[i]、配線WD[j]、及び配線BL[j]と接続されている。また、メモリセルMCref[i]は、配線WL[i]、配線RW[i]、配線WDref、配線BLrefと接続されている。ここで、メモリセルMC[i,j]と配線BL[j]間を流れる電流をIMC[i,j]と表記し、メモリセルMCref[i]と配線BLref間を流れる電流をIMCref[i]と表記する。
メモリセルMC及びメモリセルMCrefの具体的な構成例を、図14に示す。図14には代表例としてメモリセルMC[1,1]、MC[2,1]及びメモリセルMCref[1]、MCref[2]を示しているが、他のメモリセルMC及びメモリセルMCrefにも同様の構成を用いることができる。メモリセルMC及びメモリセルMCrefはそれぞれ、トランジスタTr11、トランジスタTr12、容量素子C11を有する。ここでは、トランジスタTr11及びトランジスタTr12がnチャネル型のトランジスタである場合について説明する。
メモリセルMCにおいて、トランジスタTr11のゲートは配線WLと接続され、ソースまたはドレインの一方はトランジスタTr12のゲート、及び容量素子C11の第1の電極と接続され、ソースまたはドレインの他方は配線WDと接続されている。トランジスタTr12のソースまたはドレインの一方は配線BLと接続され、ソースまたはドレインの他方は配線VRと接続されている。容量素子C11の第2の電極は、配線RWと接続されている。配線VRは、所定の電位を供給する機能を有する配線である。ここでは一例として、配線VRから低電源電位(接地電位など)が供給される場合について説明する。
トランジスタTr11のソースまたはドレインの一方、トランジスタTr12のゲート、及び容量素子C11の第1の電極と接続されたノードを、ノードNMとする。また、メモリセルMC[1,1]、MC[2,1]のノードNMを、それぞれノードNM[1,1]、NM[2,1]と表記する。
メモリセルMCrefも、メモリセルMCと同様の構成を有する。ただし、メモリセルMCrefは配線WDの代わりに配線WDrefと接続され、配線BLの代わりに配線BLrefと接続されている。また、メモリセルMCref[1]、MCref[2]において、トランジスタTr11のソースまたはドレインの一方、トランジスタTr12のゲート、及び容量素子C11の第1の電極と接続されたノードを、それぞれノードNMref[1]、NMref[2]と表記する。
ノードNMとノードNMrefはそれぞれ、メモリセルMCとメモリセルMCrefの保持ノードとして機能する。ノードNMには第1のデータが保持され、ノードNMrefには参照データが保持される。また、配線BL[1]からメモリセルMC[1,1]、MC[2,1]のトランジスタTr12には、それぞれ電流IMC[1,1]、IMC[2,1]が流れる。また、配線BLrefからメモリセルMCref[1]、MCref[2]のトランジスタTr12には、それぞれ電流IMCref[1]、IMCref[2]が流れる。
トランジスタTr11は、ノードNMまたはノードNMrefの電位を保持する機能を有するため、トランジスタTr11のオフ電流は小さいことが好ましい。そのため、トランジスタTr11としてオフ電流が極めて小さいOSトランジスタを用いることが好ましい。これにより、ノードNMまたはノードNMrefの電位の変動を抑えることができ、演算精度の向上を図ることができる。また、ノードNMまたはノードNMrefの電位をリフレッシュする動作の頻度を低く抑えることが可能となり、消費電力を削減することができる。
トランジスタTr12は特に限定されず、例えばSiトランジスタまたはOSトランジスタなどを用いることができる。トランジスタTr12にOSトランジスタを用いる場合、トランジスタTr11と同じ製造装置を用いて、トランジスタTr12を作製することが可能となり、製造コストを抑制することができる。なお、トランジスタTr12はnチャネル型であってもpチャネル型であってもよい。
電流源回路CSは、配線BL[1]乃至BL[n]及び配線BLrefと接続されている。電流源回路CSは、配線BL[1]乃至BL[n]及び配線BLrefに電流を供給する機能を有する。なお、配線BL[1]乃至BL[n]に供給される電流値と配線BLrefに供給される電流値は異なっていてもよい。ここでは、電流源回路CSから配線BL[1]乃至BL[n]に供給される電流をIC、電流源回路CSから配線BLrefに供給される電流をICrefと表記する。
カレントミラー回路CMは、配線IL[1]乃至IL[n]及び配線ILrefを有する。配線IL[1]乃至IL[n]はそれぞれ配線BL[1]乃至BL[n]と接続され、配線ILrefは、配線BLrefと接続されている。ここでは、配線IL[1]乃至IL[n]と配線BL[1]乃至BL[n]の接続箇所をノードNP[1]乃至NP[n]と表記する。また、配線ILrefと配線BLrefの接続箇所をノードNPrefと表記する。
カレントミラー回路CMは、ノードNPrefの電位に応じた電流ICMを配線ILrefに流す機能と、この電流ICMを配線IL[1]乃至IL[n]にも流す機能を有する。図13には、配線BLrefから配線ILrefに電流ICMが排出され、配線BL[1]乃至BL[n]から配線IL[1]乃至IL[n]に電流ICMが排出される例を示している。また、カレントミラー回路CMから配線BL[1]乃至BL[n]を介してセルアレイCAに流れる電流を、IB[1]乃至IB[n]と表記する。また、カレントミラー回路CMから配線BLrefを介してセルアレイCAに流れる電流を、IBrefと表記する。
回路WDDは、配線WD[1]乃至WD[n]及び配線WDrefと接続されている。回路WDDは、メモリセルMCに格納される第1のデータに対応する電位を、配線WD[1]乃至WD[n]に供給する機能を有する。また、回路WDDは、メモリセルMCrefに格納される参照データに対応する電位を、配線WDrefに供給する機能を有する。回路WLDは、配線WL[1]乃至WL[m]と接続されている。回路WLDは、データの書き込みを行うメモリセルMCまたはメモリセルMCrefを選択するための信号を、配線WL[1]乃至WL[m]に供給する機能を有する。回路CLDは、配線RW[1]乃至RW[m]と接続されている。回路CLDは、第2のデータに対応する電位を、配線RW[1]乃至RW[m]に供給する機能を有する。
オフセット回路OFSTは、配線BL[1]乃至BL[n]及び配線OL[1]乃至OL[n]と接続されている。オフセット回路OFSTは、配線BL[1]乃至BL[n]からオフセット回路OFSTに流れる電流量、及び/または、配線BL[1]乃至BL[n]からオフセット回路OFSTに流れる電流の変化量を検出する機能を有する。また、オフセット回路OFSTは、検出結果を配線OL[1]乃至OL[n]に出力する機能を有する。なお、オフセット回路OFSTは、検出結果に対応する電流を配線OLに出力してもよいし、検出結果に対応する電流を電圧に変換して配線OLに出力してもよい。セルアレイCAとオフセット回路OFSTの間を流れる電流を、Iα[1]乃至Iα[n]と表記する。
オフセット回路OFSTの構成例を図15に示す。図15に示すオフセット回路OFSTは、回路OC[1]乃至OC[n]を有する。また、回路OC[1]乃至OC[n]はそれぞれ、トランジスタTr21、トランジスタTr22、トランジスタTr23、容量素子C21、及び抵抗素子R1を有する。各素子の接続関係は図15に示す通りである。なお、容量素子C21の第1の電極及び抵抗素子R1の第1の端子と接続されたノードを、ノードNaとする。また、容量素子C21の第2の電極、トランジスタTr21のソースまたはドレインの一方、及びトランジスタTr22のゲートと接続されたノードを、ノードNbとする。
配線VrefLは電位Vrefを供給する機能を有し、配線VaLは電位Vaを供給する機能を有し、配線VbLは電位Vbを供給する機能を有する。また、配線VDDLは電位VDDを供給する機能を有し、配線VSSLは電位VSSを供給する機能を有する。ここでは、電位VDDが高電源電位であり、電位VSSが低電源電位である場合について説明する。また、配線RSTは、トランジスタTr21の導通状態を制御するための電位を供給する機能を有する。トランジスタTr22、トランジスタTr23、配線VDDL、配線VSSL、及び配線VbLによって、ソースフォロワ回路が構成される。
次に、回路OC[1]乃至OC[n]の動作例を説明する。なお、ここでは代表例として回路OC[1]の動作例を説明するが、回路OC[2]乃至OC[n]も同様に動作させることができる。まず、配線BL[1]に第1の電流が流れると、ノードNaの電位は、第1の電流と抵抗素子R1の抵抗値に応じた電位となる。また、このときトランジスタTr21はオン状態であり、ノードNbに電位Vaが供給される。その後、トランジスタTr21はオフ状態となる。
次に、配線BL[1]に第2の電流が流れると、ノードNaの電位は、第2の電流と抵抗素子R1の抵抗値に応じた電位に変化する。このときトランジスタTr21はオフ状態であり、ノードNbはフローティング状態となっているため、ノードNaの電位の変化に伴い、ノードNbの電位は容量結合により変化する。ここで、ノードNaの電位の変化をΔVNaとし、容量結合係数を1とすると、ノードNbの電位はVa+ΔVNaとなる。そして、トランジスタTr22のしきい値電圧をVthとすると、配線OL[1]から電位Va+ΔVNa-Vthが出力される。ここで、Va=Vthとすることにより、配線OL[1]から電位ΔVNaを出力することができる。
電位ΔVNaは、第1の電流から第2の電流への変化量、抵抗素子R1の抵抗値、及び電位Vrefに応じて定まる。ここで、抵抗素子R1の抵抗値と電位Vrefは既知であるため、電位ΔVNaから配線BLに流れる電流の変化量を求めることができる。
上記のようにオフセット回路OFSTによって検出された電流量、及び/または電流の変化量に対応する信号は、配線OL[1]乃至OL[n]を介して活性化関数回路ACTVに入力される。
活性化関数回路ACTVは、配線OL[1]乃至OL[n]、及び、配線NIL[1]乃至NIL[n]と接続されている。活性化関数回路ACTVは、オフセット回路OFSTから入力された信号を、あらかじめ定義された活性化関数に従って変換するための演算を行う機能を有する。活性化関数としては、例えば、シグモイド関数、tanh関数、softmax関数、ReLU関数、しきい値関数などを用いることができる。活性化関数回路ACTVによって変換された信号は、出力データとして配線NIL[1]乃至NIL[n]に出力される。
<半導体装置の動作例>
上記の半導体装置MACを用いて、第1のデータと第2のデータの積和演算を行うことができる。以下、積和演算を行う際の半導体装置MACの動作例を説明する。
上記の半導体装置MACを用いて、第1のデータと第2のデータの積和演算を行うことができる。以下、積和演算を行う際の半導体装置MACの動作例を説明する。
図16に半導体装置MACの動作例のタイミングチャートを示す。図16には、図14における配線WL[1]、配線WL[2]、配線WD[1]、配線WDref、ノードNM[1,1]、ノードNM[2,1]、ノードNMref[1]、ノードNMref[2]、配線RW[1]、及び配線RW[2]の電位の推移と、電流IB[1]-Iα[1]、及び電流IBrefの値の推移を示している。電流IB[1]-Iα[1]は、配線BL[1]からメモリセルMC[1,1]、MC[2,1]に流れる電流の総和に相当する。
なお、ここでは代表例として図14に示すメモリセルMC[1,1]、MC[2,1]及びメモリセルMCref[1]、MCref[2]に着目して動作を説明するが、他のメモリセルMC及びメモリセルMCrefも同様に動作させることができる。
[第1のデータの格納]
まず、時刻T01-時刻T02の期間において、配線WL[1]の電位がハイレベル(High)となり、配線WD[1]の電位が接地電位(GND)よりもVPR-VW[1,1]大きい電位となり、配線WDrefの電位が接地電位よりもVPR大きい電位となる。また、配線RW[1]、及び配線RW[2]の電位が基準電位(REFP)となる。なお、電位VW[1,1]はメモリセルMC[1,1]に格納される第1のデータに対応する電位である。また、電位VPRは参照データに対応する電位である。これにより、メモリセルMC[1,1]及びメモリセルMCref[1]が有するトランジスタTr11がオン状態となり、ノードNM[1,1]の電位がVPR-VW[1,1]、ノードNMref[1]の電位がVPRとなる。
まず、時刻T01-時刻T02の期間において、配線WL[1]の電位がハイレベル(High)となり、配線WD[1]の電位が接地電位(GND)よりもVPR-VW[1,1]大きい電位となり、配線WDrefの電位が接地電位よりもVPR大きい電位となる。また、配線RW[1]、及び配線RW[2]の電位が基準電位(REFP)となる。なお、電位VW[1,1]はメモリセルMC[1,1]に格納される第1のデータに対応する電位である。また、電位VPRは参照データに対応する電位である。これにより、メモリセルMC[1,1]及びメモリセルMCref[1]が有するトランジスタTr11がオン状態となり、ノードNM[1,1]の電位がVPR-VW[1,1]、ノードNMref[1]の電位がVPRとなる。
このとき、配線BL[1]からメモリセルMC[1,1]のトランジスタTr12に流れる電流IMC[1,1],0は、次の式で表すことができる。ここで、kはトランジスタTr12のチャネル長、チャネル幅、移動度、及びゲート絶縁膜の容量などで決まる定数である。また、VthはトランジスタTr12のしきい値電圧である。
IMC[1,1],0=k(VPR-VW[1,1]-Vth)2 (E1)
また、配線BLrefからメモリセルMCref[1]のトランジスタTr12に流れる電流IMCref[1],0は、次の式で表すことができる。
IMCref[1],0=k(VPR-Vth)2 (E2)
次に、時刻T02-時刻T03の期間において、配線WL[1]の電位がローレベル(Low)となる。これにより、メモリセルMC[1,1]及びメモリセルMCref[1]が有するトランジスタTr11がオフ状態となり、ノードNM[1,1]及びノードNMref[1]の電位が保持される。
なお、前述の通り、トランジスタTr11としてOSトランジスタを用いることが好ましい。これにより、トランジスタTr11のリーク電流を抑えることができ、ノードNM[1,1]及びノードNMref[1]の電位を正確に保持することができる。
次に、時刻T03-時刻T04の期間において、配線WL[2]の電位がハイレベルとなり、配線WD[1]の電位が接地電位よりもVPR-VW[2,1]大きい電位となり、配線WDrefの電位が接地電位よりもVPR大きい電位となる。なお、電位VW[2,1]はメモリセルMC[2,1]に格納される第1のデータに対応する電位である。これにより、メモリセルMC[2,1]及びメモリセルMCref[2]が有するトランジスタTr11がオン状態となり、ノードNM[2,1]の電位がVPR-VW[2,1]、ノードNMref[2]の電位がVPRとなる。
このとき、配線BL[1]からメモリセルMC[2,1]のトランジスタTr12に流れる電流IMC[2,1],0は、次の式で表すことができる。
IMC[2,1],0=k(VPR-VW[2,1]-Vth)2 (E3)
また、配線BLrefからメモリセルMCref[2]のトランジスタTr12に流れる電流IMCref[2],0は、次の式で表すことができる。
IMCref[2],0=k(VPR-Vth)2 (E4)
次に、時刻T04-時刻T05の期間において、配線WL[2]の電位がローレベルとなる。これにより、メモリセルMC[2,1]及びメモリセルMCref[2]が有するトランジスタTr11がオフ状態となり、ノードNM[2,1]及びノードNMref[2]の電位が保持される。
以上の動作により、メモリセルMC[1,1]、MC[2,1]に第1のデータが格納され、メモリセルMCref[1]、MCref[2]に参照データが格納される。
ここで、時刻T04-時刻T05の期間において、配線BL[1]及び配線BLrefに流れる電流を考える。配線BLrefには、電流源回路CSから電流が供給される。また、配線BLrefを流れる電流は、カレントミラー回路CM、メモリセルMCref[1]、MCref[2]へ排出される。電流源回路CSから配線BLrefに供給される電流をICref、配線BLrefからカレントミラー回路CMへ排出される電流をICM,0とすると、次の式が成り立つ。
ICref-ICM,0=IMCref[1],0+IMCref[2],0 (E5)
配線BL[1]には、電流源回路CSからの電流が供給される。また、配線BL[1]を流れる電流は、カレントミラー回路CM、メモリセルMC[1,1]、MC[2,1]へ排出される。また、配線BL[1]からオフセット回路OFSTに電流が流れる。電流源回路CSから配線BL[1]に供給される電流をIC,0、配線BL[1]からオフセット回路OFSTに流れる電流をIα,0とすると、次の式が成り立つ。
IC-ICM,0=IMC[1,1],0+IMC[2,1],0+Iα,0 (E6)
[第1のデータと第2のデータの積和演算]
次に、時刻T05-時刻T06の期間において、配線RW[1]の電位が基準電位よりもVX[1]大きい電位となる。このとき、メモリセルMC[1,1]、及びメモリセルMCref[1]のそれぞれの容量素子C11には電位VX[1]が供給され、容量結合によりトランジスタTr12のゲートの電位が上昇する。なお、電位VX[1]はメモリセルMC[1,1]及びメモリセルMCref[1]に供給される第2のデータに対応する電位である。
次に、時刻T05-時刻T06の期間において、配線RW[1]の電位が基準電位よりもVX[1]大きい電位となる。このとき、メモリセルMC[1,1]、及びメモリセルMCref[1]のそれぞれの容量素子C11には電位VX[1]が供給され、容量結合によりトランジスタTr12のゲートの電位が上昇する。なお、電位VX[1]はメモリセルMC[1,1]及びメモリセルMCref[1]に供給される第2のデータに対応する電位である。
トランジスタTr12のゲートの電位の変化量は、配線RWの電位の変化量に、メモリセルの構成によって決まる容量結合係数を乗じて得た値となる。容量結合係数は、容量素子C11の容量、トランジスタTr12のゲート容量、及び寄生容量などによって算出される。以下では便宜上、配線RWの電位の変化量とトランジスタTr12のゲートの電位の変化量が同じ、すなわち容量結合係数が1であるとして説明する。実際には、容量結合係数を考慮して電位VXを決定すればよい。
メモリセルMC[1,1]及びメモリセルMCref[1]の容量素子C11に電位VX[1]が供給されると、ノードNM[1,1]及びノードNMref[1]の電位がそれぞれVX[1]上昇する。
ここで、時刻T05-時刻T06の期間において、配線BL[1]からメモリセルMC[1,1]のトランジスタTr12に流れる電流IMC[1,1],1は、次の式で表すことができる。
IMC[1,1],1=k(VPR-VW[1,1]+VX[1]-Vth)2 (E7)
すなわち、配線RW[1]に電位VX[1]を供給することにより、配線BL[1]からメモリセルMC[1,1]のトランジスタTr12に流れる電流は、ΔIMC[1,1]=IMC[1,1],1-IMC[1,1],0増加する。
また、時刻T05-時刻T06の期間において、配線BLrefからメモリセルMCref[1]のトランジスタTr12に流れる電流IMCref[1],1は、次の式で表すことができる。
IMCref[1],1=k(VPR+VX[1]-Vth)2 (E8)
すなわち、配線RW[1]に電位VX[1]を供給することにより、配線BLrefからメモリセルMCref[1]のトランジスタTr12に流れる電流は、ΔIMCref[1]=IMCref[1],1-IMCref[1],0増加する。
また、配線BL[1]及び配線BLrefに流れる電流について考える。配線BLrefには、電流源回路CSから電流ICrefが供給される。また、配線BLrefを流れる電流は、カレントミラー回路CM、メモリセルMCref[1]、MCref[2]へ排出される。配線BLrefからカレントミラー回路CMへ排出される電流をICM,1とすると、次の式が成り立つ。
ICref-ICM,1=IMCref[1],1+IMCref[2],0 (E9)
配線BL[1]には、電流源回路CSから電流ICが供給される。また、配線BL[1]を流れる電流は、カレントミラー回路CM、メモリセルMC[1,1]、MC[2,1]へ排出される。さらに、配線BL[1]からオフセット回路OFSTにも電流が流れる。配線BL[1]からオフセット回路OFSTに流れる電流をIα,1とすると、次の式が成り立つ。
IC-ICM,1=IMC[1,1],1+IMC[2,1],1+Iα,1 (E10)
そして、式(E1)乃至式(E10)から、電流Iα,0と電流Iα,1の差(差分電流ΔIα)は次の式で表すことができる。
ΔIα=Iα,1-Iα,0=2kVW[1,1]VX[1] (E11)
このように、差分電流ΔIαは、電位VW[1,1]とVX[1]の積に応じた値となる。
その後、時刻T06-時刻T07の期間において、配線RW[1]の電位は基準電位となり、ノードNM[1,1]及びノードNMref[1]の電位は時刻T04-時刻T05の期間と同様になる。
次に、時刻T07-時刻T08の期間において、配線RW[1]の電位が基準電位よりもVX[1]大きい電位となり、配線RW[2]の電位が基準電位よりもVX[2]大きい電位となる。これにより、メモリセルMC[1,1]、及びメモリセルMCref[1]のそれぞれの容量素子C11に電位VX[1]が供給され、容量結合によりノードNM[1,1]及びノードNMref[1]の電位がそれぞれVX[1]上昇する。また、メモリセルMC[2,1]、及びメモリセルMCref[2]のそれぞれの容量素子C11に電位VX[2]が供給され、容量結合によりノードNM[2,1]及びノードNMref[2]の電位がそれぞれVX[2]上昇する。
ここで、時刻T07-時刻T08の期間において、配線BL[1]からメモリセルMC[2,1]のトランジスタTr12に流れる電流IMC[2,1],1は、次の式で表すことができる。
IMC[2,1],1=k(VPR-VW[2,1]+VX[2]-Vth)2 (E12)
すなわち、配線RW[2]に電位VX[2]を供給することにより、配線BL[1]からメモリセルMC[2,1]のトランジスタTr12に流れる電流は、ΔIMC[2,1]=IMC[2,1],1-IMC[2,1],0増加する。
また、時刻T07-時刻T08の期間において、配線BLrefからメモリセルMCref[2]のトランジスタTr12に流れる電流IMCref[2],1は、次の式で表すことができる。
IMCref[2],1=k(VPR+VX[2]-Vth)2 (E13)
すなわち、配線RW[2]に電位VX[2]を供給することにより、配線BLrefからメモリセルMCref[2]のトランジスタTr12に流れる電流は、ΔIMCref[2]=IMCref[2],1-IMCref[2],0増加する。
また、配線BL[1]及び配線BLrefに流れる電流について考える。配線BLrefには、電流源回路CSから電流ICrefが供給される。また、配線BLrefを流れる電流は、カレントミラー回路CM、メモリセルMCref[1]、MCref[2]へ排出される。配線BLrefからカレントミラー回路CMへ排出される電流をICM,2とすると、次の式が成り立つ。
ICref-ICM,2=IMCref[1],1+IMCref[2],1 (E14)
配線BL[1]には、電流源回路CSから電流ICが供給される。また、配線BL[1]を流れる電流は、カレントミラー回路CM、メモリセルMC[1,1]、MC[2,1]へ排出される。さらに、配線BL[1]からオフセット回路OFSTにも電流が流れる。配線BL[1]からオフセット回路OFSTに流れる電流をIα,2とすると、次の式が成り立つ。
IC-ICM,2=IMC[1,1],1+IMC[2,1],1+Iα,2 (E15)
そして、式(E1)乃至式(E8)、及び、式(E12)乃至式(E15)から、電流Iα,0と電流Iα,2の差(差分電流ΔIα)は次の式で表すことができる。
ΔIα=Iα,2-Iα,0=2k(VW[1,1]VX[1]+VW[2,1]VX[2]) (E16)
このように、差分電流ΔIαは、電位VW[1,1]と電位VX[1]の積と、電位VW[2,1]と電位VX[2]の積と、を足し合わせた結果に応じた値となる。
その後、時刻T08-時刻T09の期間において、配線RW[1]、[2]の電位は基準電位となり、ノードNM[1,1]、NM[2,1]及びノードNMref[1]、NMref[2]の電位は時刻T04-時刻T05の期間と同様になる。
式(E11)及び式(E16)に示されるように、オフセット回路OFSTに入力される差分電流ΔIαは、第1のデータ(重み)に対応する電位VWと、第2のデータ(入力データ)に対応する電位VXの積の項を有する式から算出することができる。すなわち、差分電流ΔIαをオフセット回路OFSTで計測することにより、第1のデータと第2のデータの積和演算の結果を得ることができる。
なお、上記では特にメモリセルMC[1,1]、MC[2,1]及びメモリセルMCref[1]、MCref[2]に着目したが、メモリセルMC及びメモリセルMCrefの数は任意に設定することができる。メモリセルMC及びメモリセルMCrefの行数mを任意の数iとした場合の差分電流ΔIαは、次の式で表すことができる。
ΔIα=2kΣiVW[i,1]VX[i] (E17)
また、メモリセルMC及びメモリセルMCrefの列数nを増やすことにより、並列して実行される積和演算の数を増やすことができる。
以上のように、半導体装置MACを用いることにより、第1のデータと第2のデータの積和演算を行うことができる。なお、メモリセルMC及びメモリセルMCrefとして図14に示す構成を用いることにより、少ないトランジスタ数で積和演算回路を構成することができる。そのため、半導体装置MACの回路規模の縮小を図ることができる。
半導体装置MACをニューラルネットワークにおける演算に用いる場合、メモリセルMCの行数mは一のニューロンに供給される入力データの数に対応させ、メモリセルMCの列数nはニューロンの数に対応させることができる。例えば、図12(A)に示す中間層HLにおいて半導体装置MACを用いた積和演算を行う場合を考える。このとき、メモリセルMCの行数mは、入力層ILから供給される入力データの数(入力層ILのニューロンの数)に設定し、メモリセルMCの列数nは、中間層HLのニューロンの数に設定することができる。
なお、半導体装置MACを適用するニューラルネットワークの構造は特に限定されない。例えば半導体装置MACは、畳み込みニューラルネットワーク(CNN)、再帰型ニューラルネットワーク(RNN)、オートエンコーダ、ボルツマンマシン(制限ボルツマンマシンを含む)などに用いることもできる。
以上のように、半導体装置MACを用いることにより、ニューラルネットワークの積和演算を行うことができる。さらに、セルアレイCAに図14に示すメモリセルMC及びメモリセルMCrefを用いることにより、演算精度の向上、消費電力の削減、または回路規模の縮小を図ることが可能な集積回路を提供することができる。
本実施の形態は、他の実施の形態と適宜組み合わせることができる。
AD:文章解析データ、ADref:参照用文章解析データ、C11:容量素子、C21:容量素子、ID:IDFデータ、KD:キーワードデータ、KW:キーワード、KW1:キーワード、KW2:キーワード、KWx:キーワード、LD:ランキングデータ、NN:ニューラルネットワーク、R1:抵抗素子、RD:関連語データ、RS:関連度、RW:関連語、RWx1:関連語、RWx2:関連語、RWxy:関連語、TD:文章データ、TDref:参照用文章データ、Tr11:トランジスタ、Tr12:トランジスタ、Tr21:トランジスタ、Tr22:トランジスタ、Tr23:トランジスタ、VD:ベクトルデータ、100:文書検索システム、101:入力部、102:伝送路、103:処理部、105:記憶部、107:データベース、109:出力部、150:文書検索システム、151:サーバ、152:端末、161a:通信部、161b:通信部、162:伝送路、163a:処理部、163b:処理部、165:記憶部、167:データベース、168:伝送路、169:入出力部
Claims (1)
- 入力部に、参照用文章データを複数入力する第1のステップと、
前記複数の参照用文章データそれぞれの形態素解析を行い、参照用文章解析データを複数生成する第2のステップと、
前記複数の参照用文章解析データに含まれる単語の逆文書頻度を計算し、逆文書頻度データを生成する第3のステップと、
前記複数の参照用文章解析データに含まれる単語の分散表現ベクトルを生成し、ベクトルデータを生成する第4のステップと、を有し、
前記第2のステップの後で、前記第3のステップと、前記第4のステップとが、同時に行われる文書検索方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018055934 | 2018-03-23 | ||
JP2018055934 | 2018-03-23 | ||
PCT/IB2019/052022 WO2019180546A1 (ja) | 2018-03-23 | 2019-03-13 | 文書検索システム、文書検索方法、プログラム、及び非一時的コンピュータ可読記憶媒体 |
JP2020508098A JP7321143B2 (ja) | 2018-03-23 | 2019-03-13 | 文書検索システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020508098A Division JP7321143B2 (ja) | 2018-03-23 | 2019-03-13 | 文書検索システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023134810A true JP2023134810A (ja) | 2023-09-27 |
Family
ID=67986795
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020508098A Active JP7321143B2 (ja) | 2018-03-23 | 2019-03-13 | 文書検索システム |
JP2020154415A Withdrawn JP2021072102A (ja) | 2018-03-23 | 2020-09-15 | 文書検索方法、文書検索装置 |
JP2020158272A Active JP6916941B2 (ja) | 2018-03-23 | 2020-09-23 | 文書検索方法、文書検索システム、プログラム |
JP2023120817A Pending JP2023134810A (ja) | 2018-03-23 | 2023-07-25 | 文書検索方法 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020508098A Active JP7321143B2 (ja) | 2018-03-23 | 2019-03-13 | 文書検索システム |
JP2020154415A Withdrawn JP2021072102A (ja) | 2018-03-23 | 2020-09-15 | 文書検索方法、文書検索装置 |
JP2020158272A Active JP6916941B2 (ja) | 2018-03-23 | 2020-09-23 | 文書検索方法、文書検索システム、プログラム |
Country Status (6)
Country | Link |
---|---|
US (2) | US11789953B2 (ja) |
JP (4) | JP7321143B2 (ja) |
KR (1) | KR20200134265A (ja) |
CN (1) | CN112136126A (ja) |
DE (1) | DE112019001497T5 (ja) |
WO (1) | WO2019180546A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11409754B2 (en) * | 2019-06-11 | 2022-08-09 | International Business Machines Corporation | NLP-based context-aware log mining for troubleshooting |
JP7476201B2 (ja) | 2019-07-19 | 2024-04-30 | 株式会社半導体エネルギー研究所 | テキスト生成方法およびテキスト生成システム |
US20230244705A1 (en) * | 2020-06-11 | 2023-08-03 | Shimadzu Corporation | Method, System, and Device for Evaluating Performance of Document Search |
CN114691965A (zh) * | 2020-12-29 | 2022-07-01 | 北京达佳互联信息技术有限公司 | 简历推荐方法、岗位推荐方法、电子设备 |
CN115329051B (zh) * | 2022-10-17 | 2022-12-20 | 成都大学 | 一种多视角新闻信息快速检索方法、系统、存储介质及终端 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2742115B2 (ja) * | 1989-12-01 | 1998-04-22 | 日本電信電話株式会社 | 類似文書検索装置 |
JPH08263521A (ja) | 1995-03-24 | 1996-10-11 | Fuji Xerox Co Ltd | 文書登録検索システム |
JP2000207422A (ja) * | 1999-01-13 | 2000-07-28 | Fujitsu Ltd | 概念シソ―ラスを用いた文書の検索及び格付けシステム並びに方法 |
JP2007065745A (ja) | 2005-08-29 | 2007-03-15 | Canon Inc | 文書検索方法および文書検索装置、プログラム |
CN201000602Y (zh) * | 2007-01-05 | 2008-01-02 | 鸿富锦精密工业(深圳)有限公司 | 电脑关机节能电路 |
JP5186453B2 (ja) * | 2009-08-07 | 2013-04-17 | ヤフー株式会社 | 検索装置及び方法 |
US9280595B2 (en) * | 2012-08-30 | 2016-03-08 | Apple Inc. | Application query conversion |
US20140324808A1 (en) | 2013-03-15 | 2014-10-30 | Sumeet Sandhu | Semantic Segmentation and Tagging and Advanced User Interface to Improve Patent Search and Analysis |
JP6130270B2 (ja) * | 2013-08-21 | 2017-05-17 | Kddi株式会社 | メディアコンテンツに対応するコメント集合をソートして明示するコメントリスト公開サーバ、プログラム及び方法 |
JP6674838B2 (ja) | 2015-05-21 | 2020-04-01 | 株式会社半導体エネルギー研究所 | 電子装置 |
CN105631009A (zh) * | 2015-12-25 | 2016-06-01 | 广州视源电子科技股份有限公司 | 基于词向量相似度的检索方法和系统 |
JP6639040B2 (ja) * | 2016-01-28 | 2020-02-05 | 日本放送協会 | 情報検索装置及びプログラム |
US11645317B2 (en) | 2016-07-26 | 2023-05-09 | Qualtrics, Llc | Recommending topic clusters for unstructured text documents |
CN107247780A (zh) * | 2017-06-12 | 2017-10-13 | 北京理工大学 | 一种基于知识本体的专利文献相似性度量方法 |
US10810214B2 (en) * | 2017-11-22 | 2020-10-20 | Facebook, Inc. | Determining related query terms through query-post associations on online social networks |
US11182806B1 (en) * | 2018-01-04 | 2021-11-23 | Facebook, Inc. | Consumer insights analysis by identifying a similarity in public sentiments for a pair of entities |
US10891943B2 (en) | 2018-01-18 | 2021-01-12 | Citrix Systems, Inc. | Intelligent short text information retrieve based on deep learning |
US11086857B1 (en) | 2018-05-15 | 2021-08-10 | Intuit Inc. | Method and system for semantic search with a data management system |
-
2019
- 2019-03-13 WO PCT/IB2019/052022 patent/WO2019180546A1/ja active Application Filing
- 2019-03-13 DE DE112019001497.8T patent/DE112019001497T5/de active Pending
- 2019-03-13 US US16/979,197 patent/US11789953B2/en active Active
- 2019-03-13 KR KR1020207029794A patent/KR20200134265A/ko unknown
- 2019-03-13 JP JP2020508098A patent/JP7321143B2/ja active Active
- 2019-03-13 CN CN201980033402.2A patent/CN112136126A/zh active Pending
-
2020
- 2020-09-15 JP JP2020154415A patent/JP2021072102A/ja not_active Withdrawn
- 2020-09-23 JP JP2020158272A patent/JP6916941B2/ja active Active
- 2020-10-07 US US17/064,871 patent/US20210026861A1/en active Pending
-
2023
- 2023-07-25 JP JP2023120817A patent/JP2023134810A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JPWO2019180546A1 (ja) | 2021-03-11 |
DE112019001497T5 (de) | 2021-01-07 |
JP2021072102A (ja) | 2021-05-06 |
CN112136126A (zh) | 2020-12-25 |
KR20200134265A (ko) | 2020-12-01 |
US20200409963A1 (en) | 2020-12-31 |
JP7321143B2 (ja) | 2023-08-04 |
JP2021007024A (ja) | 2021-01-21 |
US11789953B2 (en) | 2023-10-17 |
US20210026861A1 (en) | 2021-01-28 |
JP6916941B2 (ja) | 2021-08-11 |
WO2019180546A1 (ja) | 2019-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7321143B2 (ja) | 文書検索システム | |
US20220207070A1 (en) | Document search system and document search method | |
US20210011956A1 (en) | Information search system, intellectual property information search system, information search method, and intellectual property information search method | |
Zhang et al. | A quantum-inspired sentiment representation model for twitter sentiment analysis | |
Dai et al. | The supervised hierarchical Dirichlet process | |
Govindarajan | Sentiment analysis of restaurant reviews using hybrid classification method | |
Lin et al. | Factors affecting text mining based stock prediction: Text feature representations, machine learning models, and news platforms | |
Lin et al. | Multi-modality weakly labeled sentiment learning based on explicit emotion signal for Chinese microblog | |
Mankolli et al. | Machine learning and natural language processing: Review of models and optimization problems | |
Islam et al. | Technical approach in text mining for stock market prediction: A systematic review | |
CN116804998A (zh) | 基于医学语义理解的医学术语检索方法和系统 | |
Mahmoud et al. | Hybrid Attention-based Approach for Arabic Paraphrase Detection | |
Srivastava et al. | State-of-the-art methods in healthcare text classification system: AI paradigm | |
Qi et al. | Semi-supervised sequence labeling with self-learned features | |
Siddique et al. | A review of reverse dictionary: Finding words from concept description | |
Zhu et al. | A named entity recognition model based on ensemble learning | |
D’Silva et al. | Automatic text summarization of Konkani Folk tales using supervised machine learning algorithms and language independent features | |
JP2023076598A (ja) | 情報検索の方法 | |
Yang et al. | Extractive text summarization model based on advantage actor-critic and graph matrix methodology | |
WO2022090849A1 (ja) | 読解支援システム及び読解支援方法 | |
He et al. | Bootstrapped multi-level distant supervision for relation extraction | |
WO2021079230A1 (ja) | 文書検索システム | |
Xu et al. | Graph enhanced memory networks for sentiment analysis | |
Geng | Clinical name entity recognition using conditional random field with augmented features | |
Sharma et al. | Deep Neural Models for Key-Phrase Indexing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230807 |