JP2006190235A - Document classifying method, document classifying program and document classifying device - Google Patents
Document classifying method, document classifying program and document classifying device Download PDFInfo
- Publication number
- JP2006190235A JP2006190235A JP2005058100A JP2005058100A JP2006190235A JP 2006190235 A JP2006190235 A JP 2006190235A JP 2005058100 A JP2005058100 A JP 2005058100A JP 2005058100 A JP2005058100 A JP 2005058100A JP 2006190235 A JP2006190235 A JP 2006190235A
- Authority
- JP
- Japan
- Prior art keywords
- document
- documents
- inter
- classification
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、複数の分類対象文書をそれぞれの内容に応じて分類する文書分類方法に関するものである。 The present invention relates to a document classification method for classifying a plurality of documents to be classified according to their contents.
従来の文書分類装置としては、例えば特許文献1ないし3,2に記載されたものがある。特許文献4は、予め組み合わせが決められているノードとアークを視覚的に好適なバランスでディスプレイ空間に配置するグラフィックス作成方法に関する技術である。特許文献1に記載された文書分類装置においては、複数の分類対象文書について、文書間の距離に応じて、各文書を予め与えられた複数のカテゴリの何れかに分類している。また、特許文献2に記載された文書分類装置においては、複数の分類対象文書について各文書の語句ベクトルと、2次元的に配列されたセルの語句ベクトルとの距離に応じて、各文書を上記セルの何れかに分類している。
特許文献1,2に記載された文書分類装置では、カテゴリ単位或いはセル単位で各文書を分類している。これによれば、複数の分類対象文書全体において文書間の内容に応じた位置関係を大まかに知ることができる。しかしながら、これらの文書分類装置では、同一のカテゴリ或いはセルに分類された複数の文書間の位置関係まで知ることができない。仮に、同一のカテゴリ或いはセル内の文書を更に詳細に分類しようとすれば、それらの文書の内容をユーザが一つ一つ確認する必要があり、人手による作業負担が大きくなってしまう。
特許文献3に記載されたスプリングモデルには配置が収束するまでの計算量が膨大になるという問題点があった。また、特許文献4にはディスプレイ空間にノードを順次追加しながら配置する方法が開示されている。しかし、特許文献4のグラフィックス作成方法は、ノード間の相互関係をノード間の距離として表すものではなく、本発明におけるように新規の配置点(ノード、文書)を追加することにより既存の全ての配置点の位置を再構成しなければならないものではない。特許文献4で開示されているノードの追加方法は、基本的には既存のノードを固定しつつ新規のノードを追加していくものであり、追加の際、近傍の既存ノードの位置のみが再構成されるというものである。特許文献4のグラフィックス作成方法には、これを文書分類に適用すると配置点を一つ加えるごとに全ての配置点の位置を再構成しなければならないのでかえって計算量が増大するという問題点があった。
本発明は、上記課題に鑑みてなされたものであり、複数の分類対象文書内における文書間の位置関係を詳細に知ることを可能ならしめ、加えて分類対象文書の数が多くなっても計算量の増大を抑制することを可能ならしめる文書分類方法、文書分類プログラム及び文書分類装置を提供することを目的とする。
In the document classification apparatuses described in
The spring model described in
The present invention has been made in view of the above problems, and makes it possible to know in detail the positional relationship between documents in a plurality of classification target documents, and in addition, even if the number of classification target documents increases. An object of the present invention is to provide a document classification method, a document classification program, and a document classification device that make it possible to suppress an increase in the amount.
本発明の文書分類方法は、複数の分類対象文書をそれぞれの内容に応じて分類する文書分類方法であって、前記分類対象文書のうちの各2文書間の安定文書間距離を、両文書が類似する程度に応じて算出する第1のステップと、前記分類対象文書から初期配置文書を選択する第2のステップと、各前記初期配置文書が表示座標系上で当初配置される位置座標を算出する第3のステップと、配置された前記初期配置文書のうちの各2文書間について、現処理時点(第4ないし6のステップの繰返処理(又は第10及び11のステップの繰返処理)中のある回における第6のステップ(又は第11のステップ)実行前のある時点)における前記表示座標系上の一方の文書から他方の文書への離間ベクトルを算出し、各配置された前記初期配置文書について、前記離間ベクトルの長さと前記安定文書間距離との差及び前記離間ベクトルの方向に基づいて、他のある初期配置文書から受ける文書間力ベクトルを算出する第4のステップと、各配置された前記初期配置文書について、他の各前記初期配置文書から受ける文書間力ベクトルを総和して総和文書間力ベクトルを算出する第5のステップと、各配置された前記初期配置文書について、前記総和文書間力ベクトルに応じて次回処理時点(第4ないし6のステップの繰返処理(又は第10及び11のステップの繰返処理)中の前記ある回の次の回における第6のステップ(又は第11のステップ)実行前のある時点)における位置座標を算出する第6のステップと、前記第4ないし6のステップの繰返処理の実行中に前記初期配置文書の位置座標の収束を判断し、当該繰返処理を終了させる第7のステップと、前記分類対象文書から新たに前記表示座標系に組み入れる次期配置文書を選択する第8のステップと、各前記次期配置文書が前記表示座標系において当初配置される位置座標を算出する第9のステップと、新たに配置された前記次期配置文書について、既存の配置文書から受ける文書間力ベクトルを総和して総和文書間力ベクトルを算出する第10のステップと、新たに配置された前記次期配置文書について、前記総和文書間力ベクトルに応じて次回処理時点における位置座標を算出する第11のステップと、前記第10及び11のステップの繰返処理の実行中に前記次期配置文書の位置座標の収束を判断し、当該繰返処理を終了させる第12のステップとを備えることを特徴とする。 The document classification method of the present invention is a document classification method for classifying a plurality of classification target documents according to their contents, and the distance between stable documents between two documents among the classification target documents is determined by both documents. A first step of calculating according to the degree of similarity; a second step of selecting an initially arranged document from the classification target documents; and calculating position coordinates at which each of the initially arranged documents is initially arranged on a display coordinate system And the current processing point (repeating process of the fourth to sixth steps (or repeating process of the tenth and eleventh steps)) between each of the two documents among the arranged initial placement documents. A distance vector from one document to the other document on the display coordinate system at a certain time before execution of the sixth step (or eleventh step) at a certain time in Placement document A fourth step of calculating an inter-document force vector received from some other initially placed document based on the difference between the length of the spacing vector and the stable inter-document distance and the direction of the spacing vector; A fifth step of calculating a total document inter-force vector by summing up inter-document force vectors received from each of the other initial-arranged documents for the initial-arranged document; According to the inter-document force vector, the sixth step (or the next step after the certain time during the next processing time point (repeating process of the fourth to sixth steps (or repeating process of the tenth and eleventh steps)) (or An eleventh step) a sixth step of calculating position coordinates at a certain point in time) and the execution of the initial arrangement document during the repetition of the fourth to sixth steps. A seventh step of determining the convergence of the position coordinates and terminating the repetition process; an eighth step of selecting a next layout document to be newly incorporated into the display coordinate system from the classification target document; and each next layout A ninth step of calculating a position coordinate at which the document is initially arranged in the display coordinate system; and a sum of inter-document force vectors received from existing arranged documents for the newly arranged next arranged document A tenth step of calculating a force vector; an eleventh step of calculating a position coordinate at the next processing time according to the total inter-document force vector for the newly placed next-placed document; And a twelfth step of determining convergence of the position coordinates of the next arranged document during execution of the repeating process of the eleventh step and ending the repeating process. It is characterized by.
一連のステップを実行することにより、表示座標系において他の分類対象文書と安定文書間距離を保とうとする力が均衡するように分類対象文書が分配される。安定文書間距離は二つの分類対象文書の間の類似度に応じて算出されるので、分類対象文書の分布は、類似度の高い分類対象文書同士が近くに位置し、類似度の低い分類対象文書同士が遠くに位置するようになる。 By executing a series of steps, the classification target document is distributed so that the force to maintain the stable inter-document distance with other classification target documents in the display coordinate system is balanced. Since the stable inter-document distance is calculated according to the similarity between two documents to be classified, the distribution of the documents to be classified is classified objects with a high similarity between the documents to be classified close to each other. Documents are located far away.
単純に全ての分類対象文書について移動処理を一度に行うと、分類対象文書の数が多いとき膨大な計算量になる。また、類似度の大きい分類対象文書の間にこれらの分類対象文書との類似度の小さい分類対象文書が多数存在するとき、移動処理を繰り返してもこれらの分類対象文書が互いに近づかないという問題が生じる。しかし、まず少数の分類対象文書について移動処理を実行し、その後順次別の分類対象文書を加えて移動処理を行うことにより上記のような問題を回避することができる。なお、第9ないし12のステップは、時期配置文書中の全ての文書について一度に行う方法と、一つずつの文書について順次行う方法の両方が考えられる。
本発明の文書分類方法の別の側面は、複数の分類対象文書をそれぞれの内容に応じて分類する文書分類方法であって、前記分類対象文書のうちの各2文書間の安定文書間距離を、両文書が類似する程度に応じて算出する第1のステップと、前記分類対象文書から初期配置文書を選択する第2のステップと、各前記初期配置文書が表示座標系上で当初配置される位置座標を算出する第3のステップと、配置された前記初期配置文書のうちの各2文書間について、現処理時点における前記表示座標系上の一方の文書から他方の文書への離間ベクトルを算出し、各配置された前記初期配置文書について、前記離間ベクトルの長さと前記安定文書間距離との差及び前記離間ベクトルの方向に基づいて、他のある初期配置文書から受ける文書間力ベクトルを算出する第4のステップと、各配置された前記初期配置文書について、他の各前記初期配置文書から受ける文書間力ベクトルを総和して総和文書間力ベクトルを算出する第5のステップと、各配置された前記初期配置文書について、前記総和文書間力ベクトルに応じて次回処理時点における位置座標を算出する第6のステップと、前記第4ないし6のステップの繰返処理の実行中に前記初期配置文書の位置座標の収束を判断し、当該繰返処理を終了させる第7のステップと、前記分類対象文書から新たに前記表示座標系に組み入れる複数の次期配置文書を選択する第8のステップと、前記次期配置文書中の一つについて前記表示座標系において当初配置される位置座標を算出してこれを配置する第9のステップと、前記第9のステップで配置された前記次期配置文書について、既存の配置文書から受ける文書間力ベクトルを総和して総和文書間力ベクトルを算出する第10のステップと、前記第9のステップで配置された前記次期配置文書について、前記総和文書間力ベクトルに応じて次回処理時点における位置座標を算出する第11のステップと、前記第10及び11のステップの繰返処理の実行中に前記第9のステップで配置された前記次期配置文書の位置座標の収束を判断し、この時点での位置を前記第9のステップで配置された前記次期配置文書の仮決め位置とする第12のステップと、前記第9ないし12のステップを前記第8のステップで選択された次期配置文書の全てについて実行した後、全ての配置文書について前記第4ないし7のステップにおける繰返処理を実行する第13のステップと、残存している前記分類対象文書について、前記第8ないし13のステップを実行する第14のステップとを備えることを特徴とする。
本発明の文書分類方法の別の側面によれば、新規の分類対象文書が追加されるごとに行われるのは当該追加文書の位置の仮決めであり、第8のステップで選択された複数の次期配置文書が配置されるごとに全ての配置済み文書の位置の再構成が実行されるので、逆に計算量が増大するのを防止することができる。
本発明の文書分類方法は、各前記分類対象文書が自文書を識別する文書番号を有し、前記第1のステップにおける両文書が類似する程度を当該両文書が引用する前記分類対象文書の文書番号を用いて算出することが好適である。この文書分類方法によると、異なる言語で記載された分類対象文書を対象にすることができる。また、この文書分類方法において自文書を自文書が引用する前記分類対象文書の一つとみなすのが好適である。これにより、類似度の評価対象である2文書のうちの片方が他方を引用している事実を類似度の算出に反映させることができる。
If the transfer processing is simply performed for all the classification target documents at once, the amount of calculation becomes large when the number of classification target documents is large. In addition, there is a problem that when there are many classification target documents with low similarity to these classification target documents among classification target documents with high similarity, these classification target documents do not approach each other even if the moving process is repeated. Arise. However, the above-described problem can be avoided by first executing the movement process for a small number of classification target documents and then sequentially adding another classification target document and performing the movement process. Note that the ninth to twelfth steps may be both a method of performing all the documents in the time-arranged document at once and a method of sequentially performing each of the documents.
Another aspect of the document classification method of the present invention is a document classification method for classifying a plurality of classification target documents according to their contents, wherein a stable inter-document distance between each two documents of the classification target documents is determined. A first step of calculating according to the degree of similarity between the two documents, a second step of selecting an initially placed document from the classification target documents, and each of the initially placed documents is initially placed on a display coordinate system A third step of calculating position coordinates and a distance vector from one document to the other document on the display coordinate system at the time of the current processing is calculated between each two documents of the arranged initial arranged documents. Then, for each of the initially arranged documents arranged, the inter-document force vector received from some other initially arranged document based on the difference between the distance vector length and the stable inter-document distance and the direction of the separation vector. A fifth step of calculating a total inter-document force vector by summing the inter-document force vectors received from each of the other initial arranged documents for each of the arranged initial arranged documents; For each of the initially arranged documents arranged, the sixth step of calculating the position coordinates at the next processing time according to the total inter-document force vector and the execution of the repetition process of the fourth to sixth steps A seventh step of determining convergence of the position coordinates of the initially arranged document and terminating the repetition process; and an eighth step of selecting a plurality of next arranged documents to be newly incorporated in the display coordinate system from the classification target document. A ninth step of calculating a position coordinate that is initially arranged in the display coordinate system for one of the next arranged documents and arranging the position coordinate; A tenth step of calculating the total inter-document force vector by summing up the inter-document force vectors received from the existing arranged document, and the next arranged document arranged in the ninth step. For the eleventh step of calculating the position coordinates at the next processing time according to the total inter-document force vector, and the ninth step during the repetition of the tenth and eleventh steps. A twelfth step of determining the convergence of the position coordinates of the next arranged document and setting the position at this time as a provisional decision position of the next arranged document arranged in the ninth step; After the step is executed for all the next arranged documents selected in the eighth step, the repeating process in the fourth to seventh steps is performed for all the arranged documents. A thirteenth step to be executed and a fourteenth step to execute the eighth to thirteenth steps for the remaining classification target document.
According to another aspect of the document classification method of the present invention, each time a new document to be classified is added, provisional determination of the position of the additional document is performed, and the plurality of documents selected in the eighth step are performed. Every time the next arranged document is arranged, the reconstruction of the positions of all the arranged documents is executed, so that it is possible to prevent the calculation amount from increasing.
In the document classification method of the present invention, each of the classification target documents has a document number for identifying the document itself, and the documents of the classification target documents that the two documents cite the degree of similarity between the two documents in the first step. It is preferable to calculate using a number. According to this document classification method, classification target documents described in different languages can be targeted. Further, in this document classification method, it is preferable to regard the own document as one of the classification target documents cited by the own document. As a result, the fact that one of the two documents that are the evaluation target of the similarity quotes the other can be reflected in the calculation of the similarity.
本発明の好適な形態は、特許請求の範囲中の独立項で特定される形態に、従属項中の構成要素のうち任意のもの(従属項中の構成要素のあらゆる組み合わせ)を付加した形態を含む。 The preferred form of the present invention is a form obtained by adding any of the constituent elements in the dependent claims (any combination of constituent elements in the dependent claims) to the form specified by the independent claims in the claims. Including.
複数の分類対象文書内における文書間の位置関係を詳細に知ることができる。 It is possible to know in detail the positional relationship between documents in a plurality of classification target documents.
以下、添付図面を参照して、本発明の好適な実施形態を詳細に説明する。図1は、本発明による文書分類装置の一実施形態を示すブロック図である。文書分類装置1は、複数の分類対象文書を、各分類対象文書の内容に応じて分類するものである。文書分類装置1は、データベース10、安定文書間距離算出部22、配置文書選択部23、位置座標初期値設定部24、文書間力ベクトル算出部26、及び位置座標更新部28を備えている。データベース10は、分類対象文書DB12、安定文書間距離DB14、位置座標DB16及び文書間力ベクトルDB18を有している。分類対象文書DB12は、複数の分類対象文書を各文書を特定する文書コードに関連付けて格納している。分類対象文書は、分類対象文書DB12に予め格納されているが、適宜の入力手段により必要に応じて入力することもできる。
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a block diagram showing an embodiment of a document classification apparatus according to the present invention. The
安定文書間距離DB14は、安定文書間距離算出部22により算出される安定文書間距離を文書コードに関連付けて格納する。図2は、文書間距離DB14のデータベースの一例を示す構成図である。この図に示すように、各2文書間の安定文書間距離が、それらの文書コード(P0001,P0002,・・・)に関連付けられて格納されている。例えば、この場合、文書(P0001)と文書(P0002)との間の安定文書間距離は、0.005である。
The stable
位置座標DB16は、位置座標初期値設定部24により設定される各文書の位置座標の初期値、及び位置座標更新部28により更新された位置座標を文書コードに関連付けて格納する。図3は、位置座標DB16のデータベースの一例を示す構成図である。この図に示すように、各文書の位置座標(X座標,Y座標)が文書コードに関連付けられて格納されている。例えば、この場合、文書(P0003)の位置座標は、(0.5155,0.3417)である。
The position coordinate
文書間力ベクトルDB18は、文書間力ベクトル算出部26により算出される総和文書間力ベクトルを文書コードに関連付けて格納する。図4は、総和文書間力ベクトルDB18のデータベースの一例を示す構成図である。この図に示すように、各文書に働く総和文書間力ベクトル(FX,FY)が文書コードに関連付けられて格納されている。例えば、この場合、文書(P0002)の総和文書間力ベクトルは(0.007,‐0.003)である。
The inter-document
安定文書間距離算出部22は、分類対象文書DB12に格納されている複数の分類対象文書について、各2文書間の安定文書間距離を、両文書の類似する程度に応じて算出する。この安定文書間距離は、両文書の内容が類似する程度が高いほど小さく、類似する程度が低いほど大きくなる。
The stable inter-document
位置座標初期値設定部24は、2次元座標平面上における各文書の位置座標の初期値を設定する。位置座標初期値設定部24における初期値の設定方法の一例を説明する。説明の便宜のため、分類対象文書数をN(Nは2以上の整数)とし、各文書をTi(i=1,2,・・・,N)と表すことにする。まず、文書Tiと文書Tj(j=1,2,・・・,N、j≠i)との間の安定文書間距離L0(i,j)をテーブルLaに読み込む。全ての(i,j)の組について安定文書間距離L0(i,j)を読み込んだ後、L0(i,j)の平均値Lavgを求める。そして、各文書Tiの位置座標(Xi,Yi)を下記式、
Xi=Lavg×rnd
Yi=Lavg×rnd
から求める。ここで、rndは乱数を表している。これにより、各文書の位置座標の初期値が設定される。なお、安定文書間距離L0(i,j)は平均値Lavgで除されることにより、正規化される。
The position coordinate initial value setting unit 24 sets the initial value of the position coordinate of each document on the two-dimensional coordinate plane. An example of an initial value setting method in the position coordinate initial value setting unit 24 will be described. For convenience of explanation, the number of documents to be classified is N (N is an integer of 2 or more), and each document is represented as T i (i = 1, 2,..., N). First, the document T i and the document T j reads (j = 1,2, ···, N , j ≠ i) stable document distance L 0 (i, j) between the in table L a. After reading the stable inter-document distance L 0 (i, j) for all (i, j) pairs, the average value L avg of L 0 (i, j) is obtained. Then, the position coordinates (X i , Y i ) of each document T i are expressed by the following equation:
X i = L avg × rnd
Y i = L avg × rnd
Ask from. Here, rnd represents a random number. Thereby, the initial value of the position coordinate of each document is set. The stable inter-document distance L 0 (i, j) is normalized by dividing by the average value L avg .
文書間力ベクトル算出部26は、各文書に働く総和文書間力ベクトルを算出する。総和文書間力ベクトルとは、各文書が他の文書から受ける文書間力のベクトル和である。また、文書間力とは、各2文書の位置座標から求められる座標平面上における距離が上記の文書間距離よりも大きい場合には両文書間に引力が働き、逆に座標平面上における距離が文書間距離よりも小さい場合には両文書間に斥力が働くと仮定して導入した概念である。これらの力の大きさは、座標平面上における距離と文書間距離との差の絶対値が増加するにつれて大きくなり、上記絶対値が減少するにつれて小さくなる。また、座標平面上における距離が安定文書間距離と一致する場合には、両文書間に働く文書間力は0である。
The inter-document force
文書間力ベクトル算出部26における文書間力ベクトルの算出方法の一例を説明する。まず、文書Tiと文書Tjの距離L(i,j)をその処理時点(現処理時点)(特に本実施形態では、位置座標の更新について「現処理時点」、「次回処理時点」というとき、「現処理時点」とは、移動処理(全部又は一部の配置文書の各々について、総和文書間力ベクトルを算出してこれに基づき位置座標を更新する処理を位置座標の収束が判断されるまで繰り返す処理)の繰返処理において、ある回が開始する時点を指し、「次回処理時点」とは、当該ある回の次の回が開始する時点を指すものとする。)における両者の位置座標に基づいて、下記式、
L(i,j)={(Xi−Yi)2+(Xj−Yj)2}0.5
から求める。なお、「その処理時点における両者の位置座標に基づいて」とあるのは、後述するように、各文書Tiの位置座標は必要に応じて更新されるため、常に同じ値をとるとは限らないからである。次に、文書Tiと文書Tjの文書間力f(i,j)を下記式、
f(i,j)=(L0(i,j)−L(i,j))/(L0(i,j)+ε1)α
から求める。ここで、ε1は、L0(i,j)が0のときに対応するための定数であり、例えば1×10−12とされる。αは、安定文書間距離L0(i,j)が小さくなるに連れて文書間力f(i,j)が指数関数的に大きくように設定される。こうすることにより、文書間の類似度が高いときにより大きな文書間力が働くようになる。その結果、類似する文書の集団を形成するのが容易になると共に集団が配置される位置が人間の感覚に近いものになり、また分類対象文書数Nが多くなっても容易に収束させることができる。分類対象文書数が比較的少数である場合(Nが50未満の場合)にはα=0.8〜2.3の何れかの値に設定される。Nが100を超える場合にはα=1.8〜2.2の何れかの値に設定することにより容易に収束させることができる。特に、N=101〜3000の場合にはα=2とするのが好適である。特に、分類対象文書を2次元空間にマッピングする場合、αが上記範囲より小さい場合は、移動処理の繰返処理の過程で一部文書の座標が収束せず発散するケースが多くなり、上記範囲より大きい場合は、個々の文書の内容を反映しない均一な文書の集団を形成しやすくなる。αは、例えば0.8〜2.3の何れかの値に設定され、好ましくは2である。次に、文書Tiが文書Tjから受ける文書間力のX成分fX(i,j)及びY成分fY(i,j)を下記式、
fX(i,j)=f(i,j)×(Xi−Xj)/(L(i,j)+ε2)β
fY(i,j)=f(i,j)×(Yi−Yj)/(L(i,j)+ε2)β
から求める。ここで、ε2は、L(i,j)が0のときに対応するための定数であり、例えば1×10−12とされる。また、βは、例えば0.5に設定される。最後に、各文書Tiに働く文書間力の総和のX成分FXi及びY成分FYiを下記式、
FXi=ΣjfX(i,j)
FYi=ΣjfY(i,j)
から求める。ここで、Σjは、全ての配置済み文書についての和をとることを意味する。このようにして算出されたFXi及びFYiを成分とするベクトルが上述の総和文書間力ベクトルである。
An example of a method for calculating the inter-document force vector in the inter-document force
L (i, j) = {(X i −Y i ) 2 + (X j −Y j ) 2 } 0.5
Ask from. Incidentally, the term "based on the position coordinates of the two in the processing time," as will be described later, the position coordinates are updated as required in each document T i, always take the same value Because there is no. Next, the inter-document force f (i, j) between the document T i and the document T j is expressed by the following equation:
f (i, j) = (L 0 (i, j) −L (i, j)) / (L 0 (i, j) + ε1) α
Ask from. Here, ε1 is a constant to cope with when L 0 (i, j) is 0, and is set to 1 × 10 −12 , for example. α is set so that the inter-document force f (i, j) increases exponentially as the stable inter-document distance L 0 (i, j) decreases. By doing so, a greater inter-document force works when the similarity between documents is high. As a result, it becomes easy to form a group of similar documents, the position where the group is arranged is close to the human sense, and it can be easily converged even if the number of classified documents N increases. it can. When the number of classification target documents is relatively small (when N is less than 50), α is set to any value between 0.8 and 2.3. When N exceeds 100, it can be easily converged by setting α to any value of 1.8 to 2.2. In particular, when N = 101 to 3000, α = 2 is preferable. In particular, when mapping a document to be classified into a two-dimensional space, if α is smaller than the above range, there are many cases where the coordinates of some documents do not converge and diverge in the course of repeated movement processing. If it is larger, it becomes easier to form a uniform document group that does not reflect the contents of individual documents. α is set to any value between 0.8 and 2.3, for example, and is preferably 2. Next, the X component fX (i, j) and the Y component fY (i, j) of the inter-document force that the document T i receives from the document T j are expressed by the following equations:
fX (i, j) = f (i, j) × (X i -X j) / (L (i, j) + ε2) β
fY (i, j) = f (i, j) × (Y i -Y j) / (L (i, j) + ε2) β
Ask from. Here, ε2 is a constant to cope with L (i, j) being 0, for example, 1 × 10 −12 . Β is set to 0.5, for example. Finally, the X component FX i and the Y component FY i of the sum of the inter-document forces acting on each document T i are expressed by the following equations:
FX i = Σ j fX (i, j)
FY i = Σ j fY (i, j)
Ask from. Here, Σ j means taking the sum of all placed documents. The vector having FX i and FY i calculated in this way as components is the above-described total inter-document force vector.
位置座標更新部28は、文書間力ベクトル算出部26により算出された総和文書間力ベクトルの絶対値が小さくなるように、各文書の位置座標を更新する。位置座標更新部28における位置座標の更新方法の一例を説明する。すなわち、各文書Tiの位置座標(Xi,Yi)は、文書間力ベクトル算出部26により算出された文書間力ベクトル(FXi,FYi)に基づいて、下記式、
Xi’=Xi−k×FXi
Yi’=Yi−k×FYi
により更新される。ここで、(Xi’,Yi’)は、更新後の位置座標を表す。また、kは移動係数であり、例えば1×10−23以上1×10−22以下の定数とされる。上記式は、各文書Tiを、文書間力ベクトルの向きに、そのベクトルの絶対値の大きさに比例した距離だけ移動させることを意味している。更新された位置座標は、位置座標DB16に格納され、それまで格納されていた位置座標に対して上書きされる。本実施形態において位置座標更新部28は、位置座標の更新と併せて、各文書Tiの移動距離の平均値MLを下記式、
ML=Σ{(k×FXi)2+(k×FYi)2}0.5
から求める。この平均値MLは、後述する収束条件判定部30による収束条件の判定の際に用いられる。
The position coordinate
X i ′ = X i −k × FX i
Y i ′ = Y i −k × FY i
Updated by Here, (X i ′, Y i ′) represents the updated position coordinates. Further, k is a movement coefficient, for example, a constant not less than 1 × 10 −23 and not more than 1 × 10 −22 . The above formula, each document T i, in the direction of the document between the force vector, which means that is moved by a distance proportional to the magnitude of the absolute value of the vector. The updated position coordinates are stored in the position coordinate
ML = Σ {(k × FX i ) 2 + (k × FY i ) 2 } 0.5
Ask from. This average value ML is used when determining the convergence condition by the convergence
文書分類装置1は、収束条件判定部30、表示部32(出力手段)、及び入力部34をさらに備えている。収束条件判定部30は、位置座標更新部28により位置座標が更新された後に、収束条件の判定を行う。例えば、上述の位置座標更新部28において求められた平均値MLが規定値以下になることを収束条件として設定することができる。この収束条件が満たされないときは、収束条件判定部30は、文書間力ベクトル算出部26に更新後の位置座標を用いて再度総和文書間力ベクトルを算出させるとともに、位置座標更新部28にその総和文書間力ベクトルを用いて再度位置座標を更新させる。したがって、位置座標更新部28による位置座標の更新は、上述の収束条件が満たされるまで実行される。
The
表示部32は、上述の収束条件が満たされ、位置座標更新部28による位置座標の更新が終了した後、決定した位置座標に基づいて、各文書Ti間の座標平面上における相対的な位置関係を可視化して表示する。表示部32における表示方法の一例を説明する。図5は、表示部32による結果表示画面の一例を示す図である。本例では、まず、表示エリア50をm×n個(ここではm=n=4)のセルに区切る。また、後述する入力部34により表示エリアを規定するX座標、Y座標それぞれの最大値(Xmax、Ymax)及び最小値(Xmin、Ymin)を入力する。なお、これらの値を入力せずに、既に決定されている全文書の位置座標から、X座標及びY座標それぞれについて、最大のもの及び最小のものをデフォルト値として用いることもできる。次に、表示部32は、入力されたこれらの値をから、各セルに相当する座標範囲を求める。そして、各セルに含まれる文書の数を、図5に示すように表示する。例えば、この場合、一番右上のセルに含まれる文書数は1である。さらに本例では、各セルに含まれる文書のイメージを作成するとともに、各セルにそのイメージをハイパーリンクさせる。図5に示すように、注目するセルにマウスポインタ52を合わせると、そのセルに含まれる文書を、該当文書リストとして表示させることができる。ここでは、分類対象文書として公開特許公報等の特許文献を想定しており、該当文書リストには特許文献の種別と公報番号とを表示させている。また、これらの表示にはハイパーリンクが貼られているので、例えば「特開平8−○○○○○○号公報」と表示されている部分を画面上でクリックすれば、その公開特許公報のイメージにアクセスして、その内容を見ることができる。
入力部34は、表示部32により表示される対象となる座標平面上における表示エリア等を入力するためのものであり、例えばキーボードやマウス等が用いられる。例えば、図5の例では、表示エリア50を規定するXmax、Ymax、Xmin、Yminの値を入力部34から入力することができる。入力された情報は、表示部32へと渡される。
The
次に、文書分類装置1の動作を説明し、併せて本発明による文書分類方法の一実施形態を説明する。図6は、初期処理及び二次元表示座標系において初期配置文書を配置・移動する処理を示すフローチャートである。先ず、安定文書間距離算出部22が、分類対象文書DB12に格納されている分類対象文書を読み込んで各2文書間の安定文書間距離を算出し、算出した安定文書間距離を安定文書間距離DB14に格納させる(S61)。続いて、安定文書間距離算出部22が、文書間距離DB14に格納されている安定文書間距離を読み込んで平均値を算出し(S62)、各安定文書間距離をこの平均値で除することにより正規化して安定文書間距離DB14のデータを更新する(S63)。配置文書選択部23が、最初に表示座標系に配置する分類対象文書である初期配置文書Tkをint√N(分類対象文書の総数Nの平方根の小数点以下を切り捨てた値)個選択する(S64)。位置座標初期値設定部24は、上記平均値を用いて各文書の位置座標の初期値を設定し、設定した位置座標の初期値を位置座標DB16に格納させる(S65)。そして、文書間力ベクトル算出部26が、文書間距離DB14に格納されている安定文書間距離及び位置座標DB16に格納されている位置座標を読み込み、それらの値を用いて、各文書に働く総和文書間力ベクトルを算出し、算出した総和文書間力ベクトルを文書間力ベクトルDB18に格納する(S66)。その後、位置座標更新部28が、文書間力ベクトルDB18に格納されている総和文書間力ベクトルを読み込み、そのベクトルに基づいて各文書の位置座標を更新し、更新した位置座標を位置座標DB16に格納させる(S67)。位置座標が更新されると、収束条件判定部30が収束条件の判定を行い、収束条件が満たされていない場合には上記ステップ(S66〜S67)を繰返し実行させる。収束条件が満たされている場合には、新たな分類対象文書を追加していく処理に移る。
Next, the operation of the
続いて、本実施形態の効果を説明する。文書分類装置1においては、座標平面上において複数の分類対象文書の位置座標を決定するに際し、各2文書間の座標平面上における距離が安定文書間距離算出部22により算出された安定文書間距離よりも大きければそれらの差に比例した引力が文書間力として両文書間に働き、逆に座標平面上における距離が安定文書間距離よりも小さければそれらの差に比例した斥力が文書間力として両文書間に働くものと仮定したときに、各文書が他の文書から受ける文書間力のベクトル和が文書間力ベクトル算出部26により算出される。ここで、2文書間の文書間力は、両文書の座標平面上における距離が安定文書間距離算出部22により算出される文書間距離から離れるほど大きくなるものであるから、文書間力が極力小さくなるように各文書の位置座標を決定することが望ましい。そこで、各文書の位置座標は、文書間力ベクトルの絶対値が小さくなるように、位置座標更新部28によって更新される。この位置座標の更新は、所定の収束条件が満たされるまで、1回若しくは複数回実行される。位置座標の更新が複数回実行される場合には、2回目以降の各回の更新前に、その時点における各文書の位置座標、すなわち前回の更新後の位置座標に基づいて文書間力ベクトル算出部26による文書間力ベクトルの算出が実行される。これにより、全ての分類対象文書間で整合をとりつつ、各2文書間の座標平面上における距離を安定文書間距離算出部22により算出される文書間距離に近づけることができる。したがって、本実施形態に係る文書分類装置1及び文書分類方法によれば、各2文書間で算出した文書間距離に基づいて各文書の位置座標を決定することができるので、複数の分類対象文書内における文書間の位置関係を詳細に知ることが可能となる。
Then, the effect of this embodiment is demonstrated. In the
また、文書分類装置1は、表示部32を備えている。これにより、ユーザは、表示部32による表示を見ることにより、容易に文書間の相対的な位置関係を知ることができる。なお、文書分類装置1に表示部32を設けない構成としてもよい。この場合、例えば、表示部32の代わりに分類結果を出力する出力部を設け、その出力内容を外部のディスプレイ等により表示、或いは外部のプリンタにより印刷させることとしてもよい。
The
また、文書分類装置1は、表示エリア50(図5参照)に表示される範囲を規定するX座標及びY座標それぞれの最大値及び最小値を入力することのできる入力部34を備えている。これにより、ユーザは、座標平面上の所望の範囲を表示させ、その範囲における文書間の位置関係を詳細に知ることができる。
In addition, the
なお、位置座標更新部28は、各文書に働く文書間力ベクトルの絶対値を全ての分類対象文書について和をとった値が極小となるまで、位置座標の更新を実行することが好適である。この場合、全ての分類対象文書間で特に高い整合性を保ちつつ、各文書の位置座標を決定することができる。
Note that the position coordinate
図7は、図1の安定文書間距離算出部22の構成の一例を示すブロック図である。安定文書間距離算出部22は、各種文書からワードを抽出するワード抽出部70と、ワード抽出部70によって抽出されたワードを格納する各種データベース80とを備えている。
FIG. 7 is a block diagram showing an example of the configuration of the stable inter-document
ワード抽出部70は、キー文書からワードをキーワードとして抽出するキーワード抽出部71と、参照文書からワードを参照ワードとして抽出する参照ワード抽出部72と、検索文書からワードを検索ワードとして抽出する検索ワード抽出部73とを有している。ここで、「キー文書」及び「検索文書」の区分は便宜的なものであり、安定文書間距離算出部22においては、文書間距離を求めたい2文書のうちの一方がキー文書、他方が検索文書とされる。また、参照文書とは、キーワード評価値、すなわち各キーワードがキー文書に固有に含まれる程度を表す値を設定する際に参照される文書である。参照文書としては、例えば分類対象文書DB12(図1参照)内の全文書、或いは予めランダムに抽出した分類対象文書DB12内の一部の文書を用いることができる。参照文書は、適宜の入力手段により、必要に応じて安定文書間距離算出部22に入力することができる。また、安定文書間距離算出部22は、参照文書を格納する格納手段(図示せず)を備えている。
The
抽出部71〜73はいずれも、日本語にあっては、ひらがな、句読点、特殊記号及びスペースを区切記号として或いは形態素解析ツール等を利用して文書内のワードを抽出する機能を有する。また、抽出部71〜73は、いずれも一の文書から重複してワードを抽出しないように、文書から切り出されたワードは、同じ文書から既に切り出されたワードと照合され、一致しないワードのみを抽出する機能を有する。また、抽出部71〜73はいずれも、英語等のアルファベット表記がなされる言語にあっては、特殊記号及び/又はスペースを区切記号として或いは形態素解析ツール等を利用して文書内のワードを抽出する機能を有する。 Each of the extraction units 71 to 73 has a function of extracting words in a document using hiragana, punctuation marks, special symbols, and spaces as delimiters or using a morphological analysis tool or the like in Japanese. In addition, the extraction units 71 to 73 collate words cut out from the document with words already cut out from the same document so that words are not extracted redundantly from one document, and only the words that do not match are extracted. Has a function to extract. In addition, the extraction units 71 to 73 extract words in a document by using special symbols and / or spaces as delimiters or using a morphological analysis tool or the like in a language in which alphabets such as English are used. It has the function to do.
データベース(DB)80は、キーワードDB81、全ワードDB82、評価値DB83、検索ワードDB84、及び類似度DB85を有している。キーワードDB81は、キー文書から抽出したキーワードを格納する。キーワードは、抽出元であるキー文書を特定するキー文書コードに関連付けて格納されている。全ワードDB82は、キー文書から抽出されたキーワードと参照文書から抽出された参照ワードとを格納する。キーワード及び参照ワードは、それぞれの抽出元であるキー文書を特定するキー文書コード及び参照文書を特定する参照文書コードに関連付けて格納されている。評価値DB83は、後述するキーワード評価値計算部91により算出される評価値を格納する。検索ワードDB84は、検索文書から抽出される検索ワードを格納する。検索ワードは、抽出元である検索文書を特定する検索文書コードに関連付けて格納されている。類似度DB85は、後述する類似度計算部92により算出される類似度を格納する。
The database (DB) 80 includes a
なお、上記のキーワード、参照ワード、及び検索ワードは、それぞれ抽出対象となる文書の全体から抽出してもよいし、一部から抽出してもよい。例えば、抽出対象となる文書が特許文献であれば、書誌的事項、要約、請求項、又は実施例等に抽出範囲を限定してもよい。特に、データ量に制限がある場合には、抽出範囲を文書の一部に絞ることが有効となる。また、参照ワードは参照文書の一部から抽出し、キーワード及び検索ワードはそれぞれキー文書及び検索文書の全体から抽出するというように、各ワード毎に適宜抽出範囲を変えることより、いわゆるノイズと漏れの関係を調整することができる。 Note that the keyword, reference word, and search word may be extracted from the entire document to be extracted, or may be extracted from a part thereof. For example, if the document to be extracted is a patent document, the extraction range may be limited to bibliographic items, summaries, claims, or examples. In particular, when the data amount is limited, it is effective to narrow the extraction range to a part of the document. In addition, the reference word is extracted from a part of the reference document, the keyword and the search word are extracted from the entire key document and the search document, respectively. Can be adjusted.
また、安定文書間距離算出部22は、キーワード評価値計算部91、類似度計算部92、及び文書間距離計算部93を備えている。キーワード評価値計算部91は、キー文書と参照文書とを合わせた全文書に共通のキーワードが出現する出現率を算出する機能を有する。参照文書がN個で、その内のB個に共通のキーワードが存在する場合には、全文書内キーワード出現率は、B/(1+N)で算出される。キーワード評価値計算部91は、全ワードDB82に格納されたキーワード及び参照ワードを検索して、同一のキーワード及びキーワードと同一の参照ワードが何個存在するか算出する。ここで、「参照ワード」とは参照文書から抽出したワードに便宜的に付与した名称であるので、「キーワードと同一の参照ワード」とは、すなわち参照文書に含まれるキーワードを意味する。算出されたキーワード数を全文書の数で除することによって、全文書内キーワード出現率を算出する。さらに、キーワード評価値計算部91は、全文書内キーワード出現率の逆数をとって、キーワード評価値を算出する機能を有する。すなわち、キーワード評価値は、(1+N)/Bで算出され、各キーワードがキー文書に固有に含まれる程度を示すものである。
The stable inter-document
類似度計算部92は、検索文書に含まれる全てのキーワードの評価値を加算し、加算した値を当該検索文書に含まれるキーワードの数で除することにより、キー文書と検索文書とが類似する程度を表す類似度を算出する機能を有する。また、類似度計算部92は、算出した類似度を類似度DB85に格納させる。
The
文書間距離計算部93は、類似度DB85に格納されている類似度を用いて文書Tiと文書Tjとの間の安定文書間距離L0(i,j)を算出する機能を有する。ここで、安定文書間距離L0(i,j)は、下記式、
L0(i,j)=2/(Sij+Sji)
から求められる。ここで、Sijは、文書Tiをキー文書とし、文書Tjを検索文書としたときの類似度を表し、Sjiは、文書Tjをキー文書とし、文書Tiを検索文書としたときの類似度を表す。つまり、上記式は、文書Tiと文書Tjとの間で、キー文書と検索文書の関係を入れ替えて算出された類似度の平均値をとり、さらにその平均値の逆数をとることを意味している。キー文書と検索文書の関係を入れ替えて算出された類似度の平均値を用いるのは、上記のSijとSjiとは必ずしも一致しないからである。このようにして算出される安定文書間距離L0(i,j)は、両文書間の類似度が高いほど小さくなり、類似度が低いほど大きくなる。
The inter-document
L 0 (i, j) = 2 / (S ij + S ji )
It is requested from. Here, S ij represents the similarity when the document T i is the key document and the document T j is the search document. S ji is the document T j is the key document and the document T i is the search document. Represents the degree of similarity. That is, the above expression means that the average value of the similarity calculated by switching the relationship between the key document and the search document is taken between the document T i and the document T j, and further, the inverse of the average value is taken. is doing. The reason why the average value of similarity calculated by switching the relationship between the key document and the search document is used is that S ij and S ji do not necessarily match. The stable inter-document distance L 0 (i, j) calculated in this way decreases as the similarity between the two documents increases, and increases as the similarity decreases.
図8は、安定文書間距離を算出する処理(図6の安定文書間距離算出ステップ(S61)のサブルーチン)を示すフローチャートである。まず、キーワード抽出部71がキー文書からキーワードを抽出し、抽出したキーワードをキーワードDB81に格納させる(S81)。また、参照ワード抽出部72が参照文書から参照ワードを抽出し、抽出した参照ワードを全ワードDB82に格納させる(S82)。なお、全ワードDB82には、キーワード抽出部71により抽出されたキーワードも格納される。次に、キーワード評価値計算部91が、全ワードDB82に格納されているキーワード及び参照ワードを読み込み、各キーワードの評価値を計算し、その評価値を評価値DB83に格納させる(S83)。また、文書間距離計算部93が検索文書から検索ワードを抽出し、抽出した検索ワードを検索ワードDB84に格納させる(S84)。次に、類似度計算部92が、評価値DB83に格納されている評価値及び検索ワードDB84に格納されている検索ワードを読み込み、キー文書と検索文書との間の類似度を計算し、その類似度を類似度DB85に格納させる(S85)。最後に、文書間距離計算部93が、類似度DB85に格納されている類似度を読み込み、各文書間の安定文書間距離を計算する(S86)。
FIG. 8 is a flowchart showing a process for calculating a stable inter-document distance (a subroutine of the stable inter-document distance calculating step (S61) in FIG. 6). First, the keyword extraction unit 71 extracts keywords from the key document, and stores the extracted keywords in the keyword DB 81 (S81). Further, the reference
本実施形態例の安定文書間距離算出部22によれば、各キーワードがキー文書に固有に含まれる程度を示す評価値を用いて2文書間の安定文書間距離を算出するので、両文書が類似する程度を高精度に反映した安定文書間距離を求めることができる。なお、安定文書間距離は、本実施形態例に示す算出方法により算出されるものに限らず、例えば特許文献1,2に記載されているような、語句ベクトル等のベクトル間の距離として算出されるものであってもよい。ただし、2文書の類似する程度を精度良く反映させるためには、本実施形態例に示す算出方法を用いることが好ましい。
本発明が特許文献の分類表示に適用される場合における安定文書間距離を算出する処理の別の実施形態として、重複引用文献を利用する方法が考えられる。図19は、重複引用文献を利用する実施形態の説明を補助するための図である。図20は、この実施形態における処理を示すフローチャートである。まず、文書Tiと文書Tjとが重複して引用する文献を検出する(S201)。例えば、図19に示されるように、US6713520B2を文書Tiとし、US6433090B1を文書Tjとする。文書Tiには、3つの文献が引用されている(ただし、自文書も引用文献として扱われている。)。文書Tjには、23の文献が引用されている(ただし、自文書も引用文献として扱われている。)。これらのうちUS6433090(文書Tj)のみが重複引用文献として検出される。次に、重複引用文献US6433090の評価値を算出する(S202)。具体的には、他の分類対象文書で当該文献を引用しているものの数の逆数を評価値とする。例えば、重複引用文献US6433090を引用している分類対象文書が文書Tiに加えて一つだけ存在すると仮定すると、重複引用文献US6433090の評価値は1/2=0.5となる。次に、こうして算出された重複引用文献の評価値に基づいて文書Tiと文書Tjとの類似度を算出する(S203)。具体的には、重複引用文献の評価値を合算して得られる値を文書Tiの引用文献数と文書Tjの引用文献数との和で除した値を類似度とする。本例では、重複引用文献はUS6433090のみであり、その評価値は0.5である。したがって、重複引用文献の評価値を合算して得られる値は0.5である。文書Tiの引用文献数と文書Tjの引用文献数との和は、3+23=26である。したがって、文書Tiと文書Tjとの類似度は0.5/26≒0.019となる。最後に、類似度に基づいて文書Tiと文書Tjとの間の安定文書間距離を算出する(S204)。具体的には、類似度の逆数(26/0.5=52)を安定文書間距離とする。なお、この実施形態では、重複引用文献を引用している他の分類対象文書の数の逆数を評価値としたが、この方法は分類対象文書の件数が100件未満(好ましくは50件未満)の場合に特に有用である。これに代えて、分類対象文書の件数が2000件未満の場合には、重複引用文献を引用している他の分類対象文書の数の平方根の逆数を評価値とすることもできる。また、100件を超える場合は評価値を1に固定するのが望ましい。S201において処理時間を短縮するために、予め分類対象文書ごとに自文書の文献番号とこれを引用する他の分類対象文書の文献番号とを示すテーブルを用意しておくことが考えられる。
According to the stable inter-document
As another embodiment of the process for calculating the stable inter-document distance when the present invention is applied to the classification display of patent documents, a method using duplicate citations can be considered. FIG. 19 is a diagram for assisting the description of the embodiment using the duplicate citations. FIG. 20 is a flowchart showing the processing in this embodiment. First, a document cited by duplicating the document T i and the document T j is detected (S201). For example, as shown in FIG. 19, the US6713520B2 the document T i, the document T j of US6433090B1. The
図9は、図6の総和文書間力ベクトル算出ステップ(S66)のサブルーチンを示すフローチャートである。まず、文書間力ベクトル算出部26が、位置座標DB16に格納されている各文書の位置座標を読み込み、その位置座標から各2文書間の座標平面上における距離(離間ベクトルの長さ)を算出する(S91)。また、文書間力ベクトル算出部26は、文書間距離DB14に格納されている安定文書間距離を読み込み、その安定文書間距離と前ステップS91で計算した距離とを用いて、文書間力を算出する(S92)。さらに、文書間力ベクトル算出部26は、離間ベクトルに基づいて文書間力のX成分及びY成分を算出し(S93)、ある文書に対して他の配置済み文書から働く文書間力の総和をベクトル和として求めることにより、総和文書間力ベクトルを算出する(S94)。そして、全ての配置済み文書について総和文書間力ベクトルが算出された場合にはフローが終了し、総和文書間力ベクトルが算出されていない文書がある場合には、上記ステップ(S91〜S94)が繰り返される(S95)。
FIG. 9 is a flowchart showing a subroutine of the total inter-document force vector calculation step (S66) of FIG. First, the inter-document force
図10は、図6の位置座標の更新ステップ(S67)のサブルーチンを示すフローチャートである。まず、位置座標更新部28が、文書間力ベクトルDB18に格納されている文書間力ベクトルを読み込み、そのベクトルに応じて各文書の移動、すなわち位置座標の変更を行う(S101)。その後、位置座標更新部28は、収束条件の判定に用いられる、各文書の移動距離の平均値を算出する(S102)。S68において、移動距離の平均値が閾値を下回ることを収束条件とすることができる。また、これに代えてint√N回位置座標の更新ステップを繰り返したことを収束条件とすることもできる。
FIG. 10 is a flowchart showing a subroutine of the position coordinate update step (S67) of FIG. First, the position coordinate
図11は、表示座標系に追加の配置文書を加えていく処理を示すフローチャートである。図11を参照して、図6に示した初期配置文書の配置・移動処理が終了してから、順次追加の配置文書を加えていって、全ての分類対象文書の配置・移動を完了させる処理を説明する。 FIG. 11 is a flowchart showing processing for adding an additional arrangement document to the display coordinate system. Referring to FIG. 11, after the arrangement / movement process of the initial arrangement document shown in FIG. 6 is completed, additional arrangement documents are sequentially added to complete the arrangement / movement of all the classification target documents. Will be explained.
配置文書選択部23が、次に表示座標系に加える時期配置文書を、int(mm/10)(ただし、mmは既に表示座標系に配置済みの分類対象文書の数)個無作為に選択する(S111)。ただし、分類対象文書の残りの個数がint(mm/10)に満たない場合には、残存している分類対象文書全てが時期配置文書になる。初期配置文書の配置・移動処理の直後に追加される時期配置文書の数は、int{(int√N)/10}個となる。
The arrangement
位置座標初期値設定部24が、時期配置文書が最初に設置される表示座標系上の位置座標を算出する(S112)。本実施形態では、時期配置文書は、最も安定文書間距離が短い配置済み分類対象文書の近傍に位置するように初期設定される。具体的には、位置座標初期値設定部24は、安定文書間距離DB14を参照して、L0(c,mm+k)が最小値となるcを求め(ただし、c=1〜mm)、時期配置文書Tkの位置座標の初期値を(Xk,Yk)=(Xc+ε,Yc+ε)(ε:定数)とする。また、以上に代えて初期配置文書の場合と同様に時期配置文書の初期値を乱数により決定してもよい。
The position coordinate initial value setting unit 24 calculates the position coordinates on the display coordinate system where the time placement document is first installed (S112). In the present embodiment, the time-arranged document is initially set so as to be positioned in the vicinity of the arranged classification target document having the shortest stable inter-document distance. Specifically, the position coordinate initial value setting unit 24 refers to the stable
ある時期配置文書の位置座標が初期値に設定された後、文書間力ベクトル算出部26が、当該時期配置文書が他の配置済み分類対象文書から受ける現在の総和文書間力ベクトルを算出する(S113)。位置座標更新部28が、この総和文書間力ベクトルに基づき当該時期配置文書の位置座標を更新する(S114)。収束条件判定部30が、当該時期配置文書の今回の移動量が閾値以下であること又はS113〜S115の処理が所定の回数実行されたことをもって当該時期配置文書の位置座標の収束を判断する(S115)。収束が判断されなかった場合には、当該時期配置文書について再びS113〜S115の処理が繰り返される。
After the position coordinates of a certain time-arranged document are set to initial values, the inter-document force
時期配置文書のうちの他の文書についても、順次S112〜S115の処理が行われる。時期配置文書中の全ての文書について配置・移動処理が完了した場合には、今回表示座標系に加えられた時期配置文書を含む全ての配置済み文書について位置計算(S66〜S68の処理)が√N回行われる(S117)。このように、時期配置文書の全てを一度に配置して移動処理(全部又は一部の配置文書の各々について、総和文書間力ベクトルを算出してこれに基づき位置座標を更新する処理を位置座標の収束が判断されるまで繰り返す処理)を行う代わりに、他の配置済み文書の位置座標を固定しつつ一つずつ順次時期配置文書の配置・移動処理を行って全ての時期配置文書の位置座標を仮決めし、さらに今回の時期配置文書を含む全ての配置済み文書についての配置・移動処理を行うことにより、移動処理の繰返回数を減少させることができる。未配置の分類対象文書についてS111〜S117の処理が行われる。ただし、未配置の分類対象文書がなくなった場合には、この時点で配置・移動処理が終了する。 The processes of S112 to S115 are sequentially performed for other documents among the time-arranged documents. When the arrangement / movement processing is completed for all the documents in the time-arranged document, the position calculation (processing in S66 to S68) is performed for all the arranged documents including the time-arranged document added to the display coordinate system this time. This is performed N times (S117). In this way, all the time-arranged documents are arranged at a time and moved (the process of calculating the total inter-document force vector and updating the position coordinates based on the total or part of the arranged documents is performed using the position coordinates. Instead of repeating the process until the convergence is determined, the position coordinates of all the time-arranged documents are processed one by one by sequentially placing and moving the time-arranged documents one by one while fixing the position coordinates of the other arranged documents. , And the placement / movement process for all the arranged documents including the current time-arranged document is performed, whereby the number of repetitions of the movement process can be reduced. The processing of S111 to S117 is performed on the unallocated classification target document. However, when there is no unallocated classification target document, the arrangement / movement process ends at this point.
図12は、図11の結果表示ステップ(出力ステップ)のサブルーチンを示すフローチャートである。まず、表示部32が、表示エリアをm×n個のセルに区切る(S121)。ここで、入力部34により表示エリアを規定するX座標及びY座標それぞれの最大値及び最小値を入力する(S122)。この入力は、ユーザが行うものである。次に、表示部32は、入力部34より入力された上記の値に基づいて、各セルに相当する座標範囲を算出する(S123)。そして、表示部32は、各セルの座標範囲内に位置座標を有する文書数を表示エリアに表示する(S124)。また、表示部32は、各セルに含まれる文書のイメージを作成するとともに(S125)、各セルに文書のイメージをハイパーリンクさせる(S126)。
FIG. 12 is a flowchart showing a subroutine of the result display step (output step) in FIG. First, the
図13(a)及び図13(b)は、図1の表示部32による結果表示の変形例を説明するための図である。図に示される表示エリア50は、図5に対応するものである。本例では、表示エリア50内の一部を新たな表示エリアとして指定することにより、その部分を表示エリア50全体に再表示させることができる。例えば、図13(a)において中央の4つのセル(外枠を太線で示している)を指定した場合、この指定した部分が、図13(b)に示すように、表示エリア50全体に再表示される。このとき、表示エリア50内のセル数は不変であるので、指定した部分はより細かいセルに分割されている。例えば、図13(a)において文書数が「5」と表示されているセルは、図13(b)において右上の4つのセルに対応している。したがって、この4つのセルの文書数の和は5となっている。表示エリアの指定は、例えば図1の入力部34に座標値を入力することにより、或いは画面上においてマウスで選択することにより行うことができる。
FIGS. 13A and 13B are diagrams for explaining a modification of the result display by the
図14は、図1の表示部32による結果表示の変形例を説明するための図である。本例において表示部32は、表示エリア54d内のプロットエリア54pに、各文書の表示座標系(二次元表示座標系)における位置座標をプロットして表示する。各プロット56には、対応する文書を特定できるように、各文書のタイトル等がテキストボックス53(「テキストボックス」とは、プロットされた文書の属性を表示するための一定の形状及び大きさの小エリアをいう。ただし、属性情報の表示量に応じて何段階かの異なる形状又は大きさのテキストボックスを設定することも考えられる。)内に表示される。テキストボックス53が表示エリア54dからはみ出すことがないように、プロットエリア54pは表示エリア54aからテキストボックス53のサイズ分(複数段階の形状又は大きさのテキストボックスが設定されている場合には、最も長い縦径又は横径の分)だけ内側に縮小されている。すなわち、表示エリア54aの各角に位置する点線と表示エリア54aの枠で囲われる領域はテキストボックス53と同じ大きさ及び形状になっている。ここでは、分類対象文書として公開特許公報を想定しており、その文献番号として出願番号が表示されている。また、表示されているテキストボックス53あるいは文献番号には、ハイパーリンクが貼られており、画面上で文献番号をクリックすることによりその文書のイメージにアクセスすることができる。また、テクストボックス53には文献番号の他に発明の名称や出願人、要約から切り出したキーワードを表示させることができ、これを行えば分類内容の把握が一層容易となる。
FIG. 14 is a diagram for explaining a modified example of the result display by the
図15は、図14の変形例に係るフローチャートを示している。まず、ユーザが表示エリア54aを規定するX座標及びY座標それぞれの最大値及び最小値を入力する(S151)。この入力は、図1の入力部34より行うことができる。表示部32はプロットエリア54pを設定する(S152)。表示部32は、プロットエリア54p内にある各文書の位置座標をプロットし、プロット56と関連付けてテキストボックス53を表示する(S153)。さらに、表示部32は、各プロットに文書イメージをハイパーリンクさせる(S154)。なお、図14の表示例では、表示の一部領域を指定し、これを新たな表示エリアとして拡大表示する、或いは、表示エリアの一点、例えばエリア中心部のテキストボックスをマウスポインタで指定し、これを中心に拡大/縮小表示することができる。また、指定した1又は2以上のテキストボックスの内容を表計算ソフト等のワークシート上にコピーすることで、分類に続く作業をより一層容易にすることができる。
FIG. 15 shows a flowchart according to a modification of FIG. First, the user inputs the maximum value and the minimum value of the X coordinate and the Y coordinate that define the display area 54a (S151). This input can be performed from the
図16は、図1の表示部32による結果表示の変形例を説明するための図である。本例において、表示部32は、ユーザが指定した基準文書の位置座標を基点として、座標平面上において表示半径内に位置座標をもつ文書を該当文書として表示する。基準文書及び表示半径の指定は、図1の入力部34より行うことができる。また、基準文書は、分類対象文書DB12に格納されている分類対象文書の中から選ばれる。図16において表示画面57内の右側に、該当文書リストが表示されている。これらの表示には、ハイパーリンクが貼られている。ここでは、基準文書から表示半径内に4つの文書が存在する。また、このリストは、基準文書からの距離が近い順にソートされて表示されている。さらに、本例では、表示画面57内の左側に、表示エリア58が設けられている。この表示エリア58には、基準文書を中心として各文書の位置座標がプロットされ、併せて基準文書を中心として表示半径を半径とする円59が表示される。この円59は、表示半径を再指定する際の目安とすることができる。各プロットに付されている数字は、該当文書リストにおける番号に対応している。本例によれば、基準文書に類似する文書を検索することができる。また、この場合、基準文書を色又は字体等を変える所謂ハイライト表示で表示することにより、目標とする基準文書とそれに類似する文書の位置関係の把握が容易になる。
FIG. 16 is a diagram for explaining a modification of the result display by the
図17は、図16の変形例に係るフローチャートを示している。まず、ユーザが図1の入力部34より基準文書、及び表示変形を入力する(S171,S172)。すると、表示部32は、位置座標DB16に格納されている各文書の位置座標を読み込み、基準文書から表示半径内の距離にある文書を該当文書リストとして表示する(S173)。さらに、表示部32は、該当文書リストに表示される文書のイメージをハイパーリンクさせる(S174)。ここで、ユーザは、必要に応じて、ハイパーリンクを辿ることにより表示された文書のイメージにアクセスし、その内容を確認する(S175)。そして、表示半径を再指定して検索し直すときは、上記ステップ(S172〜S175)を繰り返し実行し、検索し直さないときはフローを終了する(S176)。
FIG. 17 shows a flowchart according to a modification of FIG. First, the user inputs a reference document and display deformation from the
最後に、図18を参照して、文書分類装置1のハードウェア構成について説明する。図18は、図1の文書分類装置1のハードウェア構成を示すブロック図である。図18に示すように、文書分類装置1は、物理的には、制御装置1a、メモリ1b、格納装置1c、入力装置1d、及び表示装置1eを備えて構成される。これら各装置は、バス1fを介して相互に各種信号の入出力が可能な様に電気的に接続されている。
Finally, the hardware configuration of the
具体的には、制御装置1aは例えばCPU(CentralProcessing Unit)であり、メモリ1bはRAM(RandomAccess Memory)といった揮発性の半導体メモリである。格納装置1cはHDD(Hard Disc Drive)を始めとする不揮発性の磁気ディスクである。入力装置1dは例えばキーボードやマウスであり、表示装置1eはLCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)ディスプレイである。
Specifically, the
上記ハードウェア構成と機能的構成との対応関係を以下に示す。文書分類装置1に関して、データベース10の有する機能は、物理的な構成要素としての格納装置1cにより実現される。安定文書間距離算出部22、位置座標初期値設定部24、文書間力ベクトル算出部26、位置座標更新部28、収束条件判定部30の有する各機能は、制御装置1aが所定のプログラムを実行することにより実現される。入力部34の有する各機能は入力装置1dにより実現される。なお、表示部32の有する各機能は、制御装置1a及び表示装置1eにより実現される。すなわち、制御装置1aが所定の演算を施すことにより分類結果の表示内容を確定し、表示装置1eがその内容に従って分類結果を表示する。
The correspondence between the hardware configuration and the functional configuration is shown below. Regarding the
本発明による文書分類装置及び文書分類方法は、上記実施形態に限定されるものではなく、様々な変形が可能である。例えば、2次元の座標平面上において各文書の位置座標を決定する構成を示したが、その座標平面は1次元であってもよい。このとき、各文書は1本の直線上に位置座標を有することになるが、この場合も便宜的に1次元の「座標平面」と呼ぶことにする。また、3次元以上に拡張して、各文書の位置座標を決定する構成としてもよい。 The document classification apparatus and the document classification method according to the present invention are not limited to the above-described embodiments, and various modifications can be made. For example, although the configuration in which the position coordinates of each document are determined on a two-dimensional coordinate plane is shown, the coordinate plane may be one-dimensional. At this time, each document has position coordinates on one straight line. In this case, too, it is referred to as a one-dimensional “coordinate plane” for convenience. Alternatively, the position coordinates of each document may be determined by extending to three or more dimensions.
また、各文書の移動距離の平均値が規定値以下となることを収束条件としたが、収束条件はこれに限られない。例えば、各文書の移動距離の最大値が規定値以下となることを収束条件としてもよい。 Further, although the convergence condition is that the average value of the moving distance of each document is equal to or less than a specified value, the convergence condition is not limited to this. For example, the convergence condition may be that the maximum value of the moving distance of each document is not more than a specified value.
また、位置座標の更新の際に用いられる移動係数kは、常に一定の値である必要はない。ある程度収束が進んだ後、収束速度を上げるために、各文書の移動距離の平均値の増減如何によって移動係数kを加減する構成としてもよい。例えば、移動距離の平均値が前回の更新後よりも大きければk’=k×0.01(k’:加減後の移動係数)とし、小さければk’=k×1.03とする。 Further, the movement coefficient k used for updating the position coordinates does not always need to be a constant value. After the convergence has progressed to some extent, the movement coefficient k may be adjusted depending on whether the average value of the movement distance of each document is increased or decreased in order to increase the convergence speed. For example, if the average value of the movement distance is larger than that after the previous update, k ′ = k × 0.01 (k ′: movement coefficient after addition / subtraction), and if it is smaller, k ′ = k × 1.03.
複数の特許文献の間の類似度の関係を視覚で認識できるように示すことができる。 It can show so that the relationship of the similarity between several patent documents can be recognized visually.
1…文書分類装置、10…データベース、12…分類対象文書DB、14…文書間距離DB、16…位置座標DB、18…文書間力ベクトルDB、22…安定文書間距離算出部、23…配置文書選択部、24…位置座標初期値設定部、26…文書間力ベクトル算出部、28…位置座標更新部、30…収束条件判定部、32…表示部、34…入力部、53…テキストボックス、54a…表示エリア、54p…プロットエリア、56…プロット。
DESCRIPTION OF
Claims (20)
前記分類対象文書のうちの各2文書間の安定文書間距離を、両文書が類似する程度に応じて算出する第1のステップと、
前記分類対象文書から初期配置文書を選択する第2のステップと、
各前記初期配置文書が表示座標系上で当初配置される位置座標を算出する第3のステップと、
配置された前記初期配置文書のうちの各2文書間について、現処理時点における前記表示座標系上の一方の文書から他方の文書への離間ベクトルを算出し、各配置された前記初期配置文書について、前記離間ベクトルの長さと前記安定文書間距離との差及び前記離間ベクトルの方向に基づいて、他のある初期配置文書から受ける文書間力ベクトルを算出する第4のステップと、
各配置された前記初期配置文書について、他の各前記初期配置文書から受ける文書間力ベクトルを総和して総和文書間力ベクトルを算出する第5のステップと、
各配置された前記初期配置文書について、前記総和文書間力ベクトルに応じて次回処理時点における位置座標を算出する第6のステップと、
前記第4ないし6のステップの繰返処理の実行中に前記初期配置文書の位置座標の収束を判断し、当該繰返処理を終了させる第7のステップと、
前記分類対象文書から新たに前記表示座標系に組み入れる次期配置文書を選択する第8のステップと、
各前記次期配置文書が前記表示座標系において当初配置される位置座標を算出する第9のステップと、
新たに配置された前記次期配置文書について、既存の配置文書から受ける文書間力ベクトルを総和して総和文書間力ベクトルを算出する第10のステップと、
新たに配置された前記次期配置文書について、前記総和文書間力ベクトルに応じて次回処理時点における位置座標を算出する第11のステップと、
前記第10及び11のステップの繰返処理の実行中に前記次期配置文書の位置座標の収束を判断し、当該繰返処理を終了させる第12のステップとを備えることを特徴とする文書分類方法。 A document classification method for classifying a plurality of documents to be classified according to their contents,
A first step of calculating a stable inter-document distance between each two documents of the classification target document according to the degree of similarity between both documents;
A second step of selecting an initially arranged document from the classification target documents;
A third step of calculating position coordinates where each of the initial placement documents is initially placed on a display coordinate system;
A distance vector from one document on the display coordinate system to the other document at the time of the current processing is calculated between each two documents of the arranged initial arranged documents, and the arranged initial arranged documents are calculated. A fourth step of calculating an inter-document force vector received from a certain other initial arrangement document based on a difference between a length of the separation vector and the stable inter-document distance and a direction of the separation vector;
A fifth step of calculating a total inter-document force vector by summing up inter-document force vectors received from each other initial-arranged document for each of the initially arranged documents;
A sixth step of calculating the position coordinates at the next processing time according to the total inter-document force vector for each of the arranged initial arranged documents;
A seventh step of determining convergence of the position coordinates of the initially arranged document during execution of the repetition process of the fourth to sixth steps and terminating the repetition process;
An eighth step of selecting a next layout document to be newly incorporated into the display coordinate system from the classification target document;
A ninth step of calculating a position coordinate at which each next placement document is initially placed in the display coordinate system;
A tenth step of calculating a total document inter-force vector by summing up inter-document force vectors received from existing arranged documents for the newly arranged next-arranged document;
An eleventh step of calculating the position coordinates at the next processing time in accordance with the total inter-document force vector for the newly placed next-placed document;
A document classification method comprising: a twelfth step of determining convergence of position coordinates of the next arranged document during execution of the repetition processing of the tenth and eleventh steps and ending the repetition processing. .
前記文書間力ベクトルの長さは、前記離間ベクトルの長さと前記安定文書間距離との差の絶対値の大きさに応じ、
前記文書間力ベクトルの方向は、前記離間ベクトルと同一方向又はその反対方向であり、前記離間ベクトルの長さが前記安定文書間距離よりも大きい場合に前記他のある初期配置文書に引き寄せられる方向となり、前記離間ベクトルの長さが前記安定文書間距離よりも小さい場合に前記他のある初期配置文書に反発する方向となることを特徴とする請求項1記載の文書分類方法。 In the fourth step,
The length of the inter-document force vector depends on the absolute value of the difference between the distance vector length and the stable inter-document distance.
The direction of the inter-document force vector is the same direction as the separation vector or the opposite direction, and the direction of the separation vector is drawn toward the other initial arrangement document when the length of the separation vector is larger than the stable inter-document distance. 2. The document classification method according to claim 1, wherein when the length of the separation vector is smaller than the stable inter-document distance, the document classification method is repelled by the other initial arranged document.
前記分類対象文書の数をNとしたとき、
√N回前記第4ないし6のステップの繰返処理が行われたことをもって収束が判断されることを特徴とする請求項1記載の文書分類方法。 In the seventh step,
When the number of classification target documents is N,
2. The document classification method according to claim 1, wherein convergence is determined when the fourth to sixth steps are repeated N times.
従前に前記表示座標系に配置された前記分類対象文書の数をNkとしたとき、次期の配置文書の数をNkの0.01倍以上1倍以下とすることを特徴とする請求項4記載の文書分類方法。 When the number of classification target documents is N, the number of the initially arranged documents is not less than √N and not more than (√N + 100).
When the number of the classifying target document disposed in the display coordinate system previously with N k, claims, characterized in that the number of next placement document than 1 times 0.01 times the N k 4. The document classification method according to 4.
前記第12のステップにおいて、
処理中の前記時期配置文書について前記第11のステップで算出された総和文書間力ベクトルが閾値以下であったときに収束が判断されることを特徴とする請求項1記載の文書分類方法。 Steps 10 to 12 are sequentially performed on the next arranged document one by one.
In the twelfth step,
2. The document classification method according to claim 1, wherein convergence is determined when the total inter-document force vector calculated in the eleventh step is less than or equal to a threshold value for the time-arranged document being processed.
各前記次期配置文書が前記表示座標系において当初配置される位置座標を乱数で決定することを特徴とする請求項6記載の文書分類方法。 In the ninth step,
The document classification method according to claim 6, wherein the position coordinates at which each of the next arranged documents is initially arranged in the display coordinate system are determined by random numbers.
各前記次期配置文書が前記表示座標系において当初配置される位置座標を、最も前記安定文書間距離が小さい従前に配置された文書の近傍とすることを特徴とする請求項6記載の文書分類方法。 In the ninth step,
7. The document classification method according to claim 6, wherein a position coordinate at which each next arranged document is initially arranged in the display coordinate system is set to a neighborhood of a previously arranged document having the smallest stable inter-document distance. .
前記プロットエリアが、前記表示エリアの枠から前記テキストボックスのサイズ分だけ内側に縮小されることを特徴とする請求項1記載の文書分類方法。 A mark of the converged position coordinates of the classification target document on the display coordinate system is plotted in a plot area in the display area of the display means, and a text box including a label of each of the plotted classification target documents is associated with the mark Step to display in the display area,
The document classification method according to claim 1, wherein the plot area is reduced inward by a size of the text box from a frame of the display area.
前記分類対象文書のうちの各2文書間の安定文書間距離を、両文書が類似する程度に応じて算出する第1のステップと、
前記分類対象文書から初期配置文書を選択する第2のステップと、
各前記初期配置文書が表示座標系上で当初配置される位置座標を算出する第3のステップと、
配置された前記初期配置文書のうちの各2文書間について、現処理時点における前記表示座標系上の一方の文書から他方の文書への離間ベクトルを算出し、各配置された前記初期配置文書について、前記離間ベクトルの長さと前記安定文書間距離との差及び前記離間ベクトルの方向に基づいて、他のある初期配置文書から受ける文書間力ベクトルを算出する第4のステップと、
各配置された前記初期配置文書について、他の各前記初期配置文書から受ける文書間力ベクトルを総和して総和文書間力ベクトルを算出する第5のステップと、
各配置された前記初期配置文書について、前記総和文書間力ベクトルに応じて次回処理時点における位置座標を算出する第6のステップと、
前記第4ないし6のステップの繰返処理の実行中に前記初期配置文書の位置座標の収束を判断し、当該繰返処理を終了させる第7のステップと、
前記分類対象文書から新たに前記表示座標系に組み入れる複数の次期配置文書を選択する第8のステップと、
各前記次期配置文書中の一つについてが前記表示座標系において当初配置される位置座標を算出してこれを配置する第9のステップと、
新たに前記第9のステップで配置された前記次期配置文書について、既存の配置文書から受ける文書間力ベクトルを総和して総和文書間力ベクトルを算出する第10のステップと、
新たに前記第9のステップで配置された前記次期配置文書について、前記総和文書間力ベクトルに応じて次回処理時点における位置座標を算出する第11のステップと、
前記第10及び11のステップの繰返処理の実行中に前記次期配置文書前記第9のステップで配置された前記次期配置文書の位置座標の収束を判断し、当該繰返処理を終了させこの時点での位置を前記第9のステップで配置された前記次期配置文書の仮決め位置とする第12のステップと、
前記第9ないし12のステップを前記第8のステップで選択された次期配置文書の全てについて実行した後、全ての配置文書について前記第4ないし7のステップにおける繰返処理を実行する第13のステップと、
残存している前記分類対象文書について、前記第8ないし13のステップを実行する第14のステップとを備えることを特徴とする文書分類方法。 A document classification method for classifying a plurality of documents to be classified according to their contents,
A first step of calculating a stable inter-document distance between each two documents of the classification target document according to the degree of similarity between both documents;
A second step of selecting an initially arranged document from the classification target documents;
A third step of calculating position coordinates where each of the initial placement documents is initially placed on a display coordinate system;
A distance vector from one document on the display coordinate system to the other document at the time of the current processing is calculated between each two documents of the arranged initial arranged documents, and the arranged initial arranged documents are calculated. A fourth step of calculating an inter-document force vector received from a certain other initial arrangement document based on a difference between a length of the separation vector and the stable inter-document distance and a direction of the separation vector;
A fifth step of calculating a total inter-document force vector by summing up inter-document force vectors received from each other initial-arranged document for each of the initially arranged documents;
A sixth step of calculating the position coordinates at the next processing time according to the total inter-document force vector for each of the arranged initial arranged documents;
A seventh step of determining convergence of the position coordinates of the initially arranged document during execution of the repetition process of the fourth to sixth steps and terminating the repetition process;
An eighth step of selecting a plurality of next arranged documents to be newly incorporated into the display coordinate system from the classification target documents;
A ninth step of calculating and arranging position coordinates initially arranged in the display coordinate system for one of the next arranged documents;
A tenth step of calculating a total inter-document force vector by summing up inter-document force vectors received from existing arranged documents for the next-arranged document newly arranged in the ninth step;
An eleventh step of calculating position coordinates at the next processing time in accordance with the total inter-document force vector for the next arranged document newly arranged in the ninth step;
During the execution of the repeating process of the tenth and eleventh steps, the convergence of the position coordinates of the next arranged document arranged in the ninth step is determined, and the repeating process is terminated at this time. A twelfth step in which the position at is a provisionally determined position of the next arranged document arranged in the ninth step;
After executing the ninth to twelfth steps for all the next arranged documents selected in the eighth step, the thirteenth step for executing the repeating process in the fourth to seventh steps for all the arranged documents. When,
A document classification method comprising: a fourteenth step of executing the eighth to thirteenth steps for the remaining classification target document.
前記第1のステップにおける両文書が類似する程度を当該両文書が引用する前記分類対象文書の文書番号を用いて算出することを特徴とする請求項1ないし12のいずれか1項に記載の文書分類方法。 Each classification target document has a document number for identifying its own document,
The document according to any one of claims 1 to 12, wherein a degree of similarity between both documents in the first step is calculated using a document number of the classification target document cited by both documents. Classification method.
前記第1のステップにおける両文書が重複して引用する前記分類対象文書の評価値の和を当該両文書のそれぞれにおける引用数の和で除した値を当該両文書が類似する程度を表す値とすることを特徴とする請求項13に記載の文書分類方法。 The reciprocal of the number of classification target documents that cite a certain classification target document is used as the evaluation value of the classification target document,
A value representing a degree of similarity between the two documents obtained by dividing the sum of the evaluation values of the classification target documents cited by both documents in the first step by the sum of the number of citations in each of the documents; The document classification method according to claim 13, wherein:
自文書を基礎とする優先権が主張された外国特許出願に係る外国特許文献で引用されている前記分類対象文書を自文書が引用する前記分類対象文書の一つとみなすことを特徴とする請求項13ないし15のいずれか1項に記載の文書分類方法。 The classification target document is a patent document,
The classification object document cited in a foreign patent document related to a foreign patent application for which priority is claimed based on the own document is regarded as one of the classification object documents cited by the own document. The document classification method according to any one of 13 to 15.
前記分類対象文書のうちの各2文書間の安定文書間距離を、両文書が類似する程度に応じて算出する第1のステップを実行する手段と、
前記分類対象文書から初期配置文書を選択する第2のステップを実行する手段と、
各前記初期配置文書が表示座標系上で当初配置される位置座標を算出する第3のステップを実行する手段と、
配置された前記初期配置文書のうちの各2文書間について、現処理時点における前記表示座標系上の一方の文書から他方の文書への離間ベクトルを算出し、各配置された前記初期配置文書について、前記離間ベクトルの長さと前記安定文書間距離との差及び前記離間ベクトルの方向に基づいて、他のある初期配置文書から受ける文書間力ベクトルを算出する第4のステップを実行する手段と、
各配置された前記初期配置文書について、他の各前記初期配置文書から受ける文書間力ベクトルを総和して総和文書間力ベクトルを算出する第5のステップを実行する手段と、
各配置された前記初期配置文書について、前記総和文書間力ベクトルに応じて次回処理時点における位置座標を算出する第6のステップを実行する手段と、
前記第4ないし6のステップの繰返処理の実行中に前記初期配置文書の位置座標の収束を判断し、当該繰返処理を終了させる第7のステップを実行する手段と、
前記分類対象文書から新たに前記表示座標系に組み入れる次期配置文書を選択する第8のステップを実行する手段と、
各前記次期配置文書が前記表示座標系において当初配置される位置座標を算出する第9のステップを実行する手段と、
新たに配置された前記次期配置文書について、既存の配置文書から受ける文書間力ベクトルを総和して総和文書間力ベクトルを算出する第10のステップを実行する手段と、
新たに配置された前記次期配置文書について、前記総和文書間力ベクトルに応じて次回処理時点における位置座標を算出する第11のステップを実行する手段と、
前記第10及び11のステップの繰返処理の実行中に前記次期配置文書の位置座標の収束を判断し、当該繰返処理を終了させる第12のステップを実行する手段とを備えることを特徴とする文書分類装置。 A document classification device for classifying a plurality of classification target documents according to their contents,
Means for executing a first step of calculating a stable inter-document distance between each two documents of the classification target documents according to the degree of similarity between the two documents;
Means for executing a second step of selecting an initially arranged document from the classification target documents;
Means for performing a third step of calculating position coordinates at which each of the initial placement documents is initially placed on a display coordinate system;
A distance vector from one document on the display coordinate system to the other document at the time of the current processing is calculated between each two documents of the arranged initial arranged documents, and the arranged initial arranged documents are calculated. Means for performing a fourth step of calculating an inter-document force vector received from some other initial placed document based on a difference between a length of the separation vector and the stable inter-document distance and a direction of the separation vector;
Means for performing a fifth step of calculating a total inter-document force vector by summing up inter-document force vectors received from each other initial-arranged document for each of the initially arranged documents;
Means for executing a sixth step for calculating the position coordinates at the next processing time in accordance with the total inter-document force vector for each placed initial placed document;
Means for determining a convergence of the position coordinates of the initially arranged document during execution of the repetition process of the fourth to sixth steps, and executing a seventh step of ending the repetition process;
Means for executing an eighth step of selecting a next layout document to be newly incorporated into the display coordinate system from the classification target document;
Means for performing a ninth step of calculating a position coordinate at which each next placement document is initially placed in the display coordinate system;
Means for executing a tenth step of calculating a total inter-document force vector by summing up inter-document force vectors received from existing arranged documents for the newly arranged next-arranged document;
Means for executing an eleventh step of calculating position coordinates at the next processing time in accordance with the total inter-document force vector for the newly arranged next arranged document;
Means for executing a twelfth step of determining the convergence of the position coordinates of the next arranged document during the execution of the repeating process of the tenth and eleventh steps and ending the repeating process. Document classification device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005058100A JP4545614B2 (en) | 2004-12-09 | 2005-03-02 | Document classification program and document classification apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004357206 | 2004-12-09 | ||
JP2005058100A JP4545614B2 (en) | 2004-12-09 | 2005-03-02 | Document classification program and document classification apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006190235A true JP2006190235A (en) | 2006-07-20 |
JP4545614B2 JP4545614B2 (en) | 2010-09-15 |
Family
ID=36797364
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005058100A Expired - Fee Related JP4545614B2 (en) | 2004-12-09 | 2005-03-02 | Document classification program and document classification apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4545614B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008090510A (en) * | 2006-09-29 | 2008-04-17 | Shin Etsu Polymer Co Ltd | Document classification device and method |
CN112818823A (en) * | 2021-01-28 | 2021-05-18 | 建信览智科技(北京)有限公司 | Text extraction method based on bill content and position information |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08255173A (en) * | 1995-03-16 | 1996-10-01 | Fuji Xerox Co Ltd | Clustering device |
JPH11219369A (en) * | 1998-02-03 | 1999-08-10 | Fujitsu Ltd | Information presentation device |
JP2000082068A (en) * | 1998-09-07 | 2000-03-21 | Hitachi Ltd | Document retrieval system |
-
2005
- 2005-03-02 JP JP2005058100A patent/JP4545614B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08255173A (en) * | 1995-03-16 | 1996-10-01 | Fuji Xerox Co Ltd | Clustering device |
JPH11219369A (en) * | 1998-02-03 | 1999-08-10 | Fujitsu Ltd | Information presentation device |
JP2000082068A (en) * | 1998-09-07 | 2000-03-21 | Hitachi Ltd | Document retrieval system |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008090510A (en) * | 2006-09-29 | 2008-04-17 | Shin Etsu Polymer Co Ltd | Document classification device and method |
CN112818823A (en) * | 2021-01-28 | 2021-05-18 | 建信览智科技(北京)有限公司 | Text extraction method based on bill content and position information |
CN112818823B (en) * | 2021-01-28 | 2024-04-12 | 金科览智科技(北京)有限公司 | Text extraction method based on bill content and position information |
Also Published As
Publication number | Publication date |
---|---|
JP4545614B2 (en) | 2010-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5079367B2 (en) | Hierarchical clustering with real-time updates | |
US8918348B2 (en) | Web-scale entity relationship extraction | |
US7769771B2 (en) | Searching a document using relevance feedback | |
US9916304B2 (en) | Method of creating translation corpus | |
JP2007133516A (en) | Document sorting method, document sorting program and document sorting device | |
US10255355B2 (en) | Method and system for information retrieval and aggregation from inferred user reasoning | |
JP6888484B2 (en) | A search program, a search method, and an information processing device on which the search program operates. | |
AU2018205185A1 (en) | Scalable font pairing with asymmetric metric learning | |
US20120054601A1 (en) | Methods and systems for automated creation, recognition and display of icons | |
US20210056304A1 (en) | Document information evaluating device, document information evaluating method, and document information evaluating program | |
US20040070624A1 (en) | Program and method for displaying a radar chart | |
CN114287000A (en) | Information retrieval and/or visualization method | |
US20170132484A1 (en) | Two Step Mathematical Expression Search | |
US20190303437A1 (en) | Status reporting with natural language processing risk assessment | |
JP3356519B2 (en) | Document information retrieval device | |
JP2021064132A (en) | Question sentence output method, computer program and information processing device | |
JP4545614B2 (en) | Document classification program and document classification apparatus | |
JP5141152B2 (en) | Text analysis program, text analysis method, and text analysis apparatus | |
JP2016110256A (en) | Information processing device and information processing program | |
JP6303669B2 (en) | Document retrieval device, document retrieval system, document retrieval method, and program | |
JP4453440B2 (en) | Visual information classification method and apparatus, program, and storage medium recording visual information classification program | |
JP4994199B2 (en) | Machine learning apparatus and machine learning method | |
Yousif et al. | Shape clustering using k-medoids in architectural form finding | |
Aalam et al. | Comparative study of data mining tools used for clustering | |
JP2008090510A (en) | Document classification device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070815 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100413 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100629 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100630 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |