JP2001014300A - 冪分布比較方法及び冪分布比較プログラムを記録した記録媒体 - Google Patents
冪分布比較方法及び冪分布比較プログラムを記録した記録媒体Info
- Publication number
- JP2001014300A JP2001014300A JP11188830A JP18883099A JP2001014300A JP 2001014300 A JP2001014300 A JP 2001014300A JP 11188830 A JP11188830 A JP 11188830A JP 18883099 A JP18883099 A JP 18883099A JP 2001014300 A JP2001014300 A JP 2001014300A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- power distribution
- power
- comparison
- distributions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Complex Calculations (AREA)
Abstract
(57)【要約】
【課題】 冪分布を呈する複数対象の比較・解析などに
有益な冪分布比較方法及び冪分布比較プログラムを記録
した記録媒体を提供する。 【解決手段】 比較対象Ａ，Ｂ，Ｃがそれぞれある事象
の集合と該集合の要素ｔiに対応する数量ＦA，ＦB，ＦC
とを有するとともに、該数量の大きさに基づく順位付け
が互いに同じ冪の冪分布を呈している状況において、各
冪分布間における順位付けの差異に基づくとともに順位
の高低による重み付けをして順位付けに関する第１距離
を算出し、各冪分布の数量的差異に基づき規模に関する
第２距離を算出し、前記第１距離と第２距離とを第１距
離を大きくとる重み付けをして合算することにより冪分
布間距離を算出し、この冪分布間距離により冪分布を数
量的に比較するので、同じ冪分布を呈している対象であ
れば、対象の特性を知らなくても、どのようなものでも
対象比較が容易となる。
有益な冪分布比較方法及び冪分布比較プログラムを記録
した記録媒体を提供する。 【解決手段】 比較対象Ａ，Ｂ，Ｃがそれぞれある事象
の集合と該集合の要素ｔiに対応する数量ＦA，ＦB，ＦC
とを有するとともに、該数量の大きさに基づく順位付け
が互いに同じ冪の冪分布を呈している状況において、各
冪分布間における順位付けの差異に基づくとともに順位
の高低による重み付けをして順位付けに関する第１距離
を算出し、各冪分布の数量的差異に基づき規模に関する
第２距離を算出し、前記第１距離と第２距離とを第１距
離を大きくとる重み付けをして合算することにより冪分
布間距離を算出し、この冪分布間距離により冪分布を数
量的に比較するので、同じ冪分布を呈している対象であ
れば、対象の特性を知らなくても、どのようなものでも
対象比較が容易となる。
Description
【０００１】
【発明の属する技術分野】本発明は、データ，システ
ム，物理又は社会現象などの種々の対象からその特徴を
与える数値（の集合）が得られたとき、その数値（の集
合）をもとに対象の比較や分類といった処理を行う情報
処理に関するものである。
ム，物理又は社会現象などの種々の対象からその特徴を
与える数値（の集合）が得られたとき、その数値（の集
合）をもとに対象の比較や分類といった処理を行う情報
処理に関するものである。
【０００２】
【従来の技術】このような情報処理の対象として英文書
を例にして説明する。いま、ある英文書中に現れる単語
の集合を｛ｔi｝i=1,2...とする。このとき、ｔiの出現
頻度Ｆiと、この出現頻度に基づく順位（ランキング）
Ｒiとの間には、 Ｆi∝Ｒi -1 という関係が成立するという経験則（Ｚｉｐｆの法則）
が知られている（Zipf,G.K.: Human Behavior and the
Principle of Least-Effort, Addison-Wesley,Massachu
setts(1949)）。
を例にして説明する。いま、ある英文書中に現れる単語
の集合を｛ｔi｝i=1,2...とする。このとき、ｔiの出現
頻度Ｆiと、この出現頻度に基づく順位（ランキング）
Ｒiとの間には、 Ｆi∝Ｒi -1 という関係が成立するという経験則（Ｚｉｐｆの法則）
が知られている（Zipf,G.K.: Human Behavior and the
Principle of Least-Effort, Addison-Wesley,Massachu
setts(1949)）。
【０００３】一般に、数量ｘと、ｘに付随して決まる数
量ｙとの間に、 ｙ∝ｘ-p，ｐ＞０ という関係が成立している場合、ｘとｙには冪法則が成
り立っているといい、このｘの変化に伴うｙの変化の様
子を冪分布という（図１参照）。冪法則は、前述したよ
うな文書における単語の出現頻度と順位との関係だけで
なく、都市の人口と順位との関係、レンタルビデオの貸
出頻度と人気順位との関係など多くの事象に当てはまる
ことが知られている（高安秀樹:フラクタル,朝倉書店(1
986)）。また、生体でよく観測される１／ｆゆらぎと
は、周波数とパワースペクトルの強さが冪法則に従って
いる状態を指しているものである。
量ｙとの間に、 ｙ∝ｘ-p，ｐ＞０ という関係が成立している場合、ｘとｙには冪法則が成
り立っているといい、このｘの変化に伴うｙの変化の様
子を冪分布という（図１参照）。冪法則は、前述したよ
うな文書における単語の出現頻度と順位との関係だけで
なく、都市の人口と順位との関係、レンタルビデオの貸
出頻度と人気順位との関係など多くの事象に当てはまる
ことが知られている（高安秀樹:フラクタル,朝倉書店(1
986)）。また、生体でよく観測される１／ｆゆらぎと
は、周波数とパワースペクトルの強さが冪法則に従って
いる状態を指しているものである。
【０００４】多くの場合、冪法則はスケーラブルに、す
なわち、集計の母集合の規模に依存せずに成立する。例
えば、Ｚｉｐｆの法則は、文書としてある小説全体の単
語を数え上げても成立するが、第一章に出現する単語だ
け数え上げても成立する。
なわち、集計の母集合の規模に依存せずに成立する。例
えば、Ｚｉｐｆの法則は、文書としてある小説全体の単
語を数え上げても成立するが、第一章に出現する単語だ
け数え上げても成立する。
【０００５】データ、システム、あるいは物理、社会現
象などの対象を解析した結果何らかの数量の分布が得ら
れたとき、それらに基づき当該対象の特徴付けを行うと
いう情報処理（データ処理）は従来から行われている。
例えば、文書の特徴付けをするのに、単語の出現頻度が
呈する冪分布を利用することが考えられる。しかし、実
際には冪分布をそのまま利用せず、対象（この場合に
は、文書とそこに現れる単語）の特性を考慮したデータ
の解釈、加工などにより特徴抽出が行われる。その一例
として、キーワードの自動抽出などのために広く使われ
ている手法であるｔｆ・ｉｄｆ法が知られている（Salt
on,G., MacGill,M.J.: Introduction to Modern Inform
ation Retrieval, McGraw-Hill(1983)）。
象などの対象を解析した結果何らかの数量の分布が得ら
れたとき、それらに基づき当該対象の特徴付けを行うと
いう情報処理（データ処理）は従来から行われている。
例えば、文書の特徴付けをするのに、単語の出現頻度が
呈する冪分布を利用することが考えられる。しかし、実
際には冪分布をそのまま利用せず、対象（この場合に
は、文書とそこに現れる単語）の特性を考慮したデータ
の解釈、加工などにより特徴抽出が行われる。その一例
として、キーワードの自動抽出などのために広く使われ
ている手法であるｔｆ・ｉｄｆ法が知られている（Salt
on,G., MacGill,M.J.: Introduction to Modern Inform
ation Retrieval, McGraw-Hill(1983)）。
【０００６】ｔｆ・ｉｄｆ法は、文書中の単語の当該文
書における重要度（キーワードとしての適性度）を計算
する方法である。Ｎ個の文書集合に属する文書Ｘにおい
て、単語ｔの重要度は次の式で与えられる。
書における重要度（キーワードとしての適性度）を計算
する方法である。Ｎ個の文書集合に属する文書Ｘにおい
て、単語ｔの重要度は次の式で与えられる。
【０００７】Ｆt,X ×ｌｏｇ（Ｎ／ｆt） ここで、Ｆt,Xはｔの文書Ｘにおける出現頻度である。
また、ｆtはｔを含む文書の数である。このｔｆ・ｉｄ
ｆ法の基本的なアイディアは「文書中に多く現れる単語
が当該文書の特徴をよく表している」というものであ
る。しかし実際には、多くの文書に共通して現れるあり
ふれた単語の出現頻度が非常に高い。これらはキーワー
ドとしては不適切であり、それらを排除しなくてはなら
ない。そこで、ｔｄ・ｉｄｆ法は、単語の出現頻度が冪
分布に従うことを考慮しｌｏｇ（Ｎ／ｆt）により適性
度を補正している。
また、ｆtはｔを含む文書の数である。このｔｆ・ｉｄ
ｆ法の基本的なアイディアは「文書中に多く現れる単語
が当該文書の特徴をよく表している」というものであ
る。しかし実際には、多くの文書に共通して現れるあり
ふれた単語の出現頻度が非常に高い。これらはキーワー
ドとしては不適切であり、それらを排除しなくてはなら
ない。そこで、ｔｄ・ｉｄｆ法は、単語の出現頻度が冪
分布に従うことを考慮しｌｏｇ（Ｎ／ｆt）により適性
度を補正している。
【０００８】
【発明が解決しようとする課題】このｔｆ・ｉｄｆ法
は、ある意味で文書の特徴を絶対的に表現するための手
段である。従って、特徴表現の他の方法である「文書Ａ
は文書Ｂより文書Ｃに似ている」というような相対的な
比較には不適当である。また、ｔｆ・ｉｄｆ法は、１）
複数文書の集合である文書集合を予め設定する必要があ
る、２）少数の文書間の関係を得るためであっても文書
集合全体を処理する必要がある、３）対象（例えば文
書）の特徴を考慮した補正を行う必要がある、という問
題がある。
は、ある意味で文書の特徴を絶対的に表現するための手
段である。従って、特徴表現の他の方法である「文書Ａ
は文書Ｂより文書Ｃに似ている」というような相対的な
比較には不適当である。また、ｔｆ・ｉｄｆ法は、１）
複数文書の集合である文書集合を予め設定する必要があ
る、２）少数の文書間の関係を得るためであっても文書
集合全体を処理する必要がある、３）対象（例えば文
書）の特徴を考慮した補正を行う必要がある、という問
題がある。
【０００９】本発明は、上記事情に鑑みてなされたもの
であり、その目的とするところは、冪分布を呈する複数
対象の比較・解析などに有益な冪分布比較方法及び冪分
布比較プログラムを記録した記録媒体を提供することに
ある。
であり、その目的とするところは、冪分布を呈する複数
対象の比較・解析などに有益な冪分布比較方法及び冪分
布比較プログラムを記録した記録媒体を提供することに
ある。
【００１０】
【課題を解決するための手段】上記目的を達成するため
に、請求項１では、複数の比較対象がそれぞれある事象
の集合と該集合の要素に対応する数量とを有するととも
に、該数量の大きさに基づく順位付けが互いに同じ冪の
冪分布を呈している状況において、各比較対象の有する
冪分布を数量的に比較する冪分布比較方法であって、各
冪分布間における順位付けの差異に基づくとともに順位
の高低による重み付けをして順位付けに関する第１距離
を算出し、各冪分布の数量的差異に基づき規模に関する
第２距離を算出し、前記第１距離と第２距離とを第１距
離を大きくとる重み付けをして合算することにより冪分
布間距離を算出し、この冪分布間距離により冪分布を数
量的に比較することを特徴とするものを提案する。
に、請求項１では、複数の比較対象がそれぞれある事象
の集合と該集合の要素に対応する数量とを有するととも
に、該数量の大きさに基づく順位付けが互いに同じ冪の
冪分布を呈している状況において、各比較対象の有する
冪分布を数量的に比較する冪分布比較方法であって、各
冪分布間における順位付けの差異に基づくとともに順位
の高低による重み付けをして順位付けに関する第１距離
を算出し、各冪分布の数量的差異に基づき規模に関する
第２距離を算出し、前記第１距離と第２距離とを第１距
離を大きくとる重み付けをして合算することにより冪分
布間距離を算出し、この冪分布間距離により冪分布を数
量的に比較することを特徴とするものを提案する。
【００１１】本発明によれば、比較対象が有する冪分布
に対して冪分布の距離という数量的な基準を得ることが
できるので、対象を数量的且つ相対的に比較することが
できる。この距離の算出では、各冪分布間における順位
付けの差異という観点から第１距離が算出され、各冪分
布の数量的差異という観点から第２距離が算出される。
ここで第１距離の算出は順位の高低による重み付けが行
われる。そして、算出された第１距離と第２距離の合算
により冪分布の距離が算出される。ここで、距離の合算
は第１距離を大きくとる重み付けが行われる。これによ
り、冪分布間の距離という数量的な値を得ることができ
る。従って、同じ冪分布を呈している対象であれば、ど
のようなものであっても対象比較が容易となる。また、
対象の特性を知らなくても、特性に応じた補正や考慮等
を行うことなく容易に対象比較が可能となる。
に対して冪分布の距離という数量的な基準を得ることが
できるので、対象を数量的且つ相対的に比較することが
できる。この距離の算出では、各冪分布間における順位
付けの差異という観点から第１距離が算出され、各冪分
布の数量的差異という観点から第２距離が算出される。
ここで第１距離の算出は順位の高低による重み付けが行
われる。そして、算出された第１距離と第２距離の合算
により冪分布の距離が算出される。ここで、距離の合算
は第１距離を大きくとる重み付けが行われる。これによ
り、冪分布間の距離という数量的な値を得ることができ
る。従って、同じ冪分布を呈している対象であれば、ど
のようなものであっても対象比較が容易となる。また、
対象の特性を知らなくても、特性に応じた補正や考慮等
を行うことなく容易に対象比較が可能となる。
【００１２】また、請求項２では、請求項１記載の冪分
布比較方法において、前記第１距離の算出では、各冪分
布で同順位の要素に対応する数量に基づき順位付けに関
する第１距離を算出することを特徴とするものを提案す
る。
布比較方法において、前記第１距離の算出では、各冪分
布で同順位の要素に対応する数量に基づき順位付けに関
する第１距離を算出することを特徴とするものを提案す
る。
【００１３】本発明によれば、冪分布の性質を利用する
ことにより、各冪分布で同順位の要素に対応する数量に
基づいて順位付けに関する前記第１距離が算出されるの
で、距離の算出が容易となる。
ことにより、各冪分布で同順位の要素に対応する数量に
基づいて順位付けに関する前記第１距離が算出されるの
で、距離の算出が容易となる。
【００１４】さらに、請求項３〜４では、請求項１〜２
の冪分布比較方法を実行するコンピュータプログラムを
記録した記録媒体を提案する。
の冪分布比較方法を実行するコンピュータプログラムを
記録した記録媒体を提案する。
【００１５】
【発明の実施の形態】まず、本発明が適用可能な対象の
モデルについて図２を参照して説明する。図２は本発明
の対象となるモデルを説明する図である。ここで想定し
ているのは、比較対象（Ａ，Ｂ，Ｃ）において各々ある
事象（事柄）の集合｛ｔi｝に対応する数量が決まり、
その数量の大きさに基づく順位付け（ランキング）が同
じ冪法則に従っている（冪が等しい）という状況であ
る。すなわち、比較対象Ｘ（∈｛Ａ，Ｂ，Ｃ｝）ごとに
｛ｔi｝から正の実数への写像ＦX（ｔi）が決まってい
て、その値の大きさの順に｛ｔi｝を並べたときに決ま
る順位（ランク）をＲX（ｔ i）とすると、（Ｒ
X（ｔi），ＦX（ｔi））が冪分布となる場合である（図
２では、Ｘ軸にはＲX（ｔi）の代わりにｔiと書いてあ
る）。文書を対象として比較する例でいえば、Ａ，Ｂ，
Ｃは文書であり、｛ｔi｝は単語の集合である。また、
ＦX（ｔi）は、文書Ｘにおける単語ｔiの出現頻度に対
応する。Ｚｉｐｆの法則によりこの分布の冪はみなほぼ
−１に等しい。以下、簡単のため（ＲX（ｔi），Ｆ
X（ｔi））の分布を略して、ＦXの分布と表記する。
モデルについて図２を参照して説明する。図２は本発明
の対象となるモデルを説明する図である。ここで想定し
ているのは、比較対象（Ａ，Ｂ，Ｃ）において各々ある
事象（事柄）の集合｛ｔi｝に対応する数量が決まり、
その数量の大きさに基づく順位付け（ランキング）が同
じ冪法則に従っている（冪が等しい）という状況であ
る。すなわち、比較対象Ｘ（∈｛Ａ，Ｂ，Ｃ｝）ごとに
｛ｔi｝から正の実数への写像ＦX（ｔi）が決まってい
て、その値の大きさの順に｛ｔi｝を並べたときに決ま
る順位（ランク）をＲX（ｔ i）とすると、（Ｒ
X（ｔi），ＦX（ｔi））が冪分布となる場合である（図
２では、Ｘ軸にはＲX（ｔi）の代わりにｔiと書いてあ
る）。文書を対象として比較する例でいえば、Ａ，Ｂ，
Ｃは文書であり、｛ｔi｝は単語の集合である。また、
ＦX（ｔi）は、文書Ｘにおける単語ｔiの出現頻度に対
応する。Ｚｉｐｆの法則によりこの分布の冪はみなほぼ
−１に等しい。以下、簡単のため（ＲX（ｔi），Ｆ
X（ｔi））の分布を略して、ＦXの分布と表記する。
【００１６】本発明は、対象Ｚと比較対象Ｘ，Ｙに付随
する冪分布ＦX，ＦYに対して距離ｄ（ＦX，ＦY）を定義
し、「ｄ（ＦZ，ＦX）＞ｄ（ＦZ，ＦY）であれば、Ｚは
ＸよりＹに似ている」という相対的比較を可能にするも
のである。ｄ（ＦX，ＦY）の算出は以下の方針に基づい
て行う。 （１）２つの比較基準 図２においてグラフだけを見るとＡはＢよりＣに似てい
ると思える。しかし、｛ｔi｝のランキングに注目する
と、ＡとＢはほぼ同じ順序になっているのに対してＣは
全く異なった順序となっている。これを文書を比較する
例で言えば、グラフ（曲線）の位置の違いは、文書のサ
イズの違いに対応する。しかし、文書の内容を比較する
際サイズの違いは本質的でなく、むしろ単語のランキン
グに注目すべきである。そこで、まず｛ｔi｝のランキ
ングの違いを調べ、付加的要素としてグラフの位置の違
いを調べることにより、分布を比較する。 （２）順位の高低に対する考慮 ｛ｔi｝の位置ずれとは、基本的には順序の違いであ
る。具体的には、Ａ，Ｂ間のｔiに関するランクのずれ
は、ＡにおけるランクＲA（ｔi）とＢにおけるランクＲ
B（ｔi）の隔たり｜ＲA（ｔi）−ＲB（ｔi）｜として定
義できる。ただ、順位１つのずれでも、１位と２位との
違いと１００位と１０１位の違いでは、意味的に隔たり
の度合いが異なる。明らかに前者の違いの方が大きい。
そこで、｜ＲA（ｔi）−ＲB（ｔi）｜に対して適切な変
換を施し、高順位でのずれは低順位でのずれに比べて大
きいものとして計算する。
する冪分布ＦX，ＦYに対して距離ｄ（ＦX，ＦY）を定義
し、「ｄ（ＦZ，ＦX）＞ｄ（ＦZ，ＦY）であれば、Ｚは
ＸよりＹに似ている」という相対的比較を可能にするも
のである。ｄ（ＦX，ＦY）の算出は以下の方針に基づい
て行う。 （１）２つの比較基準 図２においてグラフだけを見るとＡはＢよりＣに似てい
ると思える。しかし、｛ｔi｝のランキングに注目する
と、ＡとＢはほぼ同じ順序になっているのに対してＣは
全く異なった順序となっている。これを文書を比較する
例で言えば、グラフ（曲線）の位置の違いは、文書のサ
イズの違いに対応する。しかし、文書の内容を比較する
際サイズの違いは本質的でなく、むしろ単語のランキン
グに注目すべきである。そこで、まず｛ｔi｝のランキ
ングの違いを調べ、付加的要素としてグラフの位置の違
いを調べることにより、分布を比較する。 （２）順位の高低に対する考慮 ｛ｔi｝の位置ずれとは、基本的には順序の違いであ
る。具体的には、Ａ，Ｂ間のｔiに関するランクのずれ
は、ＡにおけるランクＲA（ｔi）とＢにおけるランクＲ
B（ｔi）の隔たり｜ＲA（ｔi）−ＲB（ｔi）｜として定
義できる。ただ、順位１つのずれでも、１位と２位との
違いと１００位と１０１位の違いでは、意味的に隔たり
の度合いが異なる。明らかに前者の違いの方が大きい。
そこで、｜ＲA（ｔi）−ＲB（ｔi）｜に対して適切な変
換を施し、高順位でのずれは低順位でのずれに比べて大
きいものとして計算する。
【００１７】次に、本発明の具体的な実施例について説
明する。いま比較対象として２つの文書Ｘ，Ｙが与えら
れているとする。各文書においてはＺｉｐｆの法則が成
り立っている。すなわち、単語の出現頻度と出現頻度に
よるランクは冪法則に従っている。この２つの文書に対
して本発明を適用し、２者間の距離を計算する手順を以
下に説明する。以下でもまた、今まで用いてきた記号な
どをそのまま用いる。例えば、文書に出現する単語の集
合を｛ｔi｝、文書Ｘにおけるｔiの出現頻度をＦ
X（ｔi）などとする。
明する。いま比較対象として２つの文書Ｘ，Ｙが与えら
れているとする。各文書においてはＺｉｐｆの法則が成
り立っている。すなわち、単語の出現頻度と出現頻度に
よるランクは冪法則に従っている。この２つの文書に対
して本発明を適用し、２者間の距離を計算する手順を以
下に説明する。以下でもまた、今まで用いてきた記号な
どをそのまま用いる。例えば、文書に出現する単語の集
合を｛ｔi｝、文書Ｘにおけるｔiの出現頻度をＦ
X（ｔi）などとする。
【００１８】１．冪関数を利用したランクのずれの計算 今、ＦXとＦYのグラフが一致していると仮定する。この
とき、ｘ1 ＜ｘ2 ならば ｘ1 -p−（ｘ1＋α）-p＞ｘ2
-p−（ｘ2＋α）-pという冪分布の特徴（図３）を利用
して、 ｜ＲX（ｔi）−ＲY（ｔi）｜→｜ＦX（ｔi）−ＦY（ｔi）｜ …（１） という変換を行いランクのずれを計算する。
とき、ｘ1 ＜ｘ2 ならば ｘ1 -p−（ｘ1＋α）-p＞ｘ2
-p−（ｘ2＋α）-pという冪分布の特徴（図３）を利用
して、 ｜ＲX（ｔi）−ＲY（ｔi）｜→｜ＦX（ｔi）−ＦY（ｔi）｜ …（１） という変換を行いランクのずれを計算する。
【００１９】２．基準となる分布への変換 しかし、一般には２つの文書の大きさは異なり、それゆ
えＦX，ＦYのグラフは一致しない。前記（１）の変換を
利用するために、ＦX，ＦYそれぞれを基準となる分布に
変換し、変換後の分布Ｆ′X，Ｆ′Y同士を比較する。具
体的には、 Ｆ′X（ｔi）＝ＦX（ｔi）／ΣjＦX（ｔj） という式によりＦ′Xを計算する。なお、Ｆ′Yについて
も同様である。また、この変換は近似的なものであり、
分布がこの変換により完全に一致するわけではない。
えＦX，ＦYのグラフは一致しない。前記（１）の変換を
利用するために、ＦX，ＦYそれぞれを基準となる分布に
変換し、変換後の分布Ｆ′X，Ｆ′Y同士を比較する。具
体的には、 Ｆ′X（ｔi）＝ＦX（ｔi）／ΣjＦX（ｔj） という式によりＦ′Xを計算する。なお、Ｆ′Yについて
も同様である。また、この変換は近似的なものであり、
分布がこの変換により完全に一致するわけではない。
【００２０】３．個々のランクのずれの集計 このようにして得られたｔiのランクのずれを合算、あ
るいは平均をとることでランクのずれ全体を計算する。
ここでは二乗平均 ｄ0＝（Σi（Ｆ′X（ｔi）−Ｆ′Y（ｔi））2）1/2 をもってずれの総量とする。
るいは平均をとることでランクのずれ全体を計算する。
ここでは二乗平均 ｄ0＝（Σi（Ｆ′X（ｔi）−Ｆ′Y（ｔi））2）1/2 をもってずれの総量とする。
【００２１】４．規模の比較 規模の違いの測り方はいろいろあるが、ここでは、両対
数グラフが２つの平行な直線となる（図４）ことを利用
し、この２つの直線の隔たりを測り、これを規模の違い
とする。これは、 ｄ1＝｜ｌｏｇΣiＦX（ｔi）−ｌｏｇΣiＦY（ｔi）｜ という式により近似的に計算できる。
数グラフが２つの平行な直線となる（図４）ことを利用
し、この２つの直線の隔たりを測り、これを規模の違い
とする。これは、 ｄ1＝｜ｌｏｇΣiＦX（ｔi）−ｌｏｇΣiＦY（ｔi）｜ という式により近似的に計算できる。
【００２２】５．２つの距離の合算 以上で得たｄ0とｄ1を合算する。ｄ0に対してｄ1は付加
的な要素となるように重み付けをする。具体的には、 ｄ（ＦX，ＦY）＝ｄ0＋０．０１ｄ1 によって距離を算出する。
的な要素となるように重み付けをする。具体的には、 ｄ（ＦX，ＦY）＝ｄ0＋０．０１ｄ1 によって距離を算出する。
【００２３】このような手順をコンピュータプログラム
により実行する際の具体的手順について図５を参照して
説明する。図５は文書Ｘ及びＹ間の距離を算出する手順
を説明するフローチャートである。
により実行する際の具体的手順について図５を参照して
説明する。図５は文書Ｘ及びＹ間の距離を算出する手順
を説明するフローチャートである。
【００２４】まず、文書Ｘを読み込み（ステップＳ
１）、文書を単語に分解して単語集合Ｔ X＝｛ｔi｝を得
る（ステップＳ２）。次いで、単語集合ＴXから文書Ｘ
における単語ｔiの出現頻度を集計してＦX｛ｔi｝を得
る（ステップＳ３）。
１）、文書を単語に分解して単語集合Ｔ X＝｛ｔi｝を得
る（ステップＳ２）。次いで、単語集合ＴXから文書Ｘ
における単語ｔiの出現頻度を集計してＦX｛ｔi｝を得
る（ステップＳ３）。
【００２５】同様にして、文書Ｙを読み込み（ステップ
Ｓ４）、文書を単語に分解して単語集合ＴY＝｛ｔj｝を
得る（ステップＳ５）。次いで、単語集合ＴYから文書
Ｙにおける単語ｔjの出現頻度を集計してＦY｛ｔj｝を
得る（ステップＳ６）。
Ｓ４）、文書を単語に分解して単語集合ＴY＝｛ｔj｝を
得る（ステップＳ５）。次いで、単語集合ＴYから文書
Ｙにおける単語ｔjの出現頻度を集計してＦY｛ｔj｝を
得る（ステップＳ６）。
【００２６】次いで、ステップＳ７〜Ｓ１１において距
離ｄ（ＦX，ＦY）を算出する。具体的には、まず、単語
集合ＴXと単語集合ＴYの和集合Ｔを求める（ステップＳ
７）。次いで、文書Ｘの出現頻度ＦX｛ｔi｝の総和ＳX
を求めるとともに、同様に、文書Ｙの出現頻度Ｆ
Y｛ｔj｝の総和ＳYを求める（ステップＳ８）。次い
で、出現頻度をその総和で補正し、全ての単語集合Ｔに
属する全ての単語について文書Ｘと文書Ｙとの間におけ
るランキングの相違を数量化する（ステップＳ９）。す
なわち、ランクにより重みづけられたランキングの相違
に基づき第１距離ｄ0を算出する。一方、前記総和Ｓx及
びＳYから両文書の規模の相違を算出して第２距離ｄ1を
得る（ステップＳ１０）。最後に、第１距離ｄ0と第２
距離ｄ1を、第１距離ｄ0を大きくとるように重み付けを
して合算し、文書ＸとＹとの間の距離ｄを得る（ステッ
プＳ１１）。
離ｄ（ＦX，ＦY）を算出する。具体的には、まず、単語
集合ＴXと単語集合ＴYの和集合Ｔを求める（ステップＳ
７）。次いで、文書Ｘの出現頻度ＦX｛ｔi｝の総和ＳX
を求めるとともに、同様に、文書Ｙの出現頻度Ｆ
Y｛ｔj｝の総和ＳYを求める（ステップＳ８）。次い
で、出現頻度をその総和で補正し、全ての単語集合Ｔに
属する全ての単語について文書Ｘと文書Ｙとの間におけ
るランキングの相違を数量化する（ステップＳ９）。す
なわち、ランクにより重みづけられたランキングの相違
に基づき第１距離ｄ0を算出する。一方、前記総和Ｓx及
びＳYから両文書の規模の相違を算出して第２距離ｄ1を
得る（ステップＳ１０）。最後に、第１距離ｄ0と第２
距離ｄ1を、第１距離ｄ0を大きくとるように重み付けを
して合算し、文書ＸとＹとの間の距離ｄを得る（ステッ
プＳ１１）。
【００２７】本発明によれば、比較対象が有する冪分布
に対して冪分布の距離ｄという数量的な基準を得ること
ができるので、対象を数量的且つ相対的に比較すること
ができる。この距離ｄは、各冪分布間における順位付け
の差異という観点から第１距離ｄ0が算出され、各冪分
布の数量的差異という観点から第２距離ｄ1が算出され
る。ここで第１距離ｄ0の算出は順位の高低による重み
付けが行われる。そして、算出された第１距離ｄ0と第
２距離ｄ1の合算により冪分布の距離ｄが算出される。
ここで、距離の合算は第１距離ｄ0を大きくとる重み付
けが行われる。これにより、冪分布間の距離ｄという数
量的な値を得ることができる。
に対して冪分布の距離ｄという数量的な基準を得ること
ができるので、対象を数量的且つ相対的に比較すること
ができる。この距離ｄは、各冪分布間における順位付け
の差異という観点から第１距離ｄ0が算出され、各冪分
布の数量的差異という観点から第２距離ｄ1が算出され
る。ここで第１距離ｄ0の算出は順位の高低による重み
付けが行われる。そして、算出された第１距離ｄ0と第
２距離ｄ1の合算により冪分布の距離ｄが算出される。
ここで、距離の合算は第１距離ｄ0を大きくとる重み付
けが行われる。これにより、冪分布間の距離ｄという数
量的な値を得ることができる。
【００２８】従って、同じ冪分布を呈している対象であ
れば、どのようなものであっても対象比較が容易とな
る。すなわち適用範囲が広いという特徴を有する。ま
た、冪分布の特性を利用して出現頻度ＦX及びＦYの値だ
けから距離ｄを計算できるので、対象の比較が容易であ
る。さらに、対象の特性を知らなくても、特性に応じた
補正や考慮等を行うことなく容易に対象比較が可能とな
る。すなわち、前述したｔｆ・ｉｄｆ法ではありふれた
単語を除去するために補正を行っていた。しかし、本発
明による比較においては、各比較対象がそれぞれ同様に
ありふれた単語を多く含んでいるため、それらは自動的
に相殺され、従って補正の必要がない。以上のように、
本発明を用いれば、多くの対象を簡易に比較できるよう
になる。
れば、どのようなものであっても対象比較が容易とな
る。すなわち適用範囲が広いという特徴を有する。ま
た、冪分布の特性を利用して出現頻度ＦX及びＦYの値だ
けから距離ｄを計算できるので、対象の比較が容易であ
る。さらに、対象の特性を知らなくても、特性に応じた
補正や考慮等を行うことなく容易に対象比較が可能とな
る。すなわち、前述したｔｆ・ｉｄｆ法ではありふれた
単語を除去するために補正を行っていた。しかし、本発
明による比較においては、各比較対象がそれぞれ同様に
ありふれた単語を多く含んでいるため、それらは自動的
に相殺され、従って補正の必要がない。以上のように、
本発明を用いれば、多くの対象を簡易に比較できるよう
になる。
【００２９】また、本発明によれば従来の尺度とは違っ
た観点からの比較が可能である。以下、その例について
説明する。
た観点からの比較が可能である。以下、その例について
説明する。
【００３０】例えば、前述のｔｆ・ｉｄｆ法は文書の特
徴を表す単語を抽出するのに用いられる。しかし、明ら
かに、そのような単語を連ねただけでは意味は伝わらな
い。意味を伝えるには、文法というルールに則らなけれ
ばならないし、また、意味が伝わるように文の構造（順
序、章立てなど）を作らなければならない。その作業の
結果が冪分布として現れていると考えることができる。
つまり、この分布は「綴る」という作業を含んでいると
考えられる。従って、例えば、ある作家の作品を他の作
家の作品から区別するというようなことを従来の方法に
比べてうまく行うことができると考えられる。実際に従
来の方法と比較した結果を図６及び図７を参照して説明
する。
徴を表す単語を抽出するのに用いられる。しかし、明ら
かに、そのような単語を連ねただけでは意味は伝わらな
い。意味を伝えるには、文法というルールに則らなけれ
ばならないし、また、意味が伝わるように文の構造（順
序、章立てなど）を作らなければならない。その作業の
結果が冪分布として現れていると考えることができる。
つまり、この分布は「綴る」という作業を含んでいると
考えられる。従って、例えば、ある作家の作品を他の作
家の作品から区別するというようなことを従来の方法に
比べてうまく行うことができると考えられる。実際に従
来の方法と比較した結果を図６及び図７を参照して説明
する。
【００３１】まず、比較対象として４つの英文の小説
（それぞれ、ａ，ｍ，ｏ，ｃとする）を用意し、これら
を章ごとに分け（ａの第１章をａ０１とする）、文書の
集合Ｄ＝｛ａ０１，ａ０２，...，ｍ０１，...，ｏ０
１，...，ｃ０１，...｝を作る。Ｄに属する任意の２要
素に対して本実施例で示した処理を施し、得られた距離
ｄを基にクラスタ分析したものが図６である。４つの小
説に対応するクラスタが生成されているのが分かる。
（それぞれ、ａ，ｍ，ｏ，ｃとする）を用意し、これら
を章ごとに分け（ａの第１章をａ０１とする）、文書の
集合Ｄ＝｛ａ０１，ａ０２，...，ｍ０１，...，ｏ０
１，...，ｃ０１，...｝を作る。Ｄに属する任意の２要
素に対して本実施例で示した処理を施し、得られた距離
ｄを基にクラスタ分析したものが図６である。４つの小
説に対応するクラスタが生成されているのが分かる。
【００３２】一方、図７では、ｔｆ・ｉｄｆ法を用いて
文書の特徴を示すベクトルを生成しその内積によって類
似度を測る従来の方法を利用して文書間の距離を計算
し、同じようにクラスタ分析した結果である。図６及び
図７から分かるように、小説を分離することに関して
は、本発明の方が優れていることが分かる。
文書の特徴を示すベクトルを生成しその内積によって類
似度を測る従来の方法を利用して文書間の距離を計算
し、同じようにクラスタ分析した結果である。図６及び
図７から分かるように、小説を分離することに関して
は、本発明の方が優れていることが分かる。
【００３３】なお、本実施の形態では、文書を比較対象
と、文書に含まれる単語の集合に関して、単語の出現頻
度と該出現頻度に基づく順位付けが冪分布となっている
状況において、該冪分布を距離という数量的な値で比較
したが、本発明の適用可能な対象はこれに限定されるも
のではない。すなわち、比較対象において各々ある事象
（事柄）の集合に対応する数量が決まり、その数量の大
きさに基づく順位付け（ランキング）が同じ冪法則に従
っている（冪が等しい）という状況であれば、他の対象
でも良い。例えば、前述したように、都市の人口と順位
との関係、レンタルビデオの貸出頻度と人気順位との関
係など多くの事象に適用できる。また、本実施の形態に
おける距離の算出式は一例にすぎず、他の算出式を用い
ても本発明を実施できる。
と、文書に含まれる単語の集合に関して、単語の出現頻
度と該出現頻度に基づく順位付けが冪分布となっている
状況において、該冪分布を距離という数量的な値で比較
したが、本発明の適用可能な対象はこれに限定されるも
のではない。すなわち、比較対象において各々ある事象
（事柄）の集合に対応する数量が決まり、その数量の大
きさに基づく順位付け（ランキング）が同じ冪法則に従
っている（冪が等しい）という状況であれば、他の対象
でも良い。例えば、前述したように、都市の人口と順位
との関係、レンタルビデオの貸出頻度と人気順位との関
係など多くの事象に適用できる。また、本実施の形態に
おける距離の算出式は一例にすぎず、他の算出式を用い
ても本発明を実施できる。
【００３４】
【発明の効果】以上詳述したように、本発明によれば、
比較対象が有する冪分布に対して冪分布の距離という数
量的な基準を得ることができるので、対象を数量的且つ
相対的に比較することができる。この距離の算出では、
各冪分布間における順位付けの差異という観点から第１
距離が算出され、各冪分布の数量的差異という観点から
第２距離が算出される。ここで第１距離の算出は順位の
高低による重み付けが行われる。そして、算出された第
１距離と第２距離の合算により冪分布の距離が算出され
る。ここで、距離の合算は第１距離を大きくとる重み付
けが行われる。これにより、冪分布間の距離という数量
的な値を得ることができる。
比較対象が有する冪分布に対して冪分布の距離という数
量的な基準を得ることができるので、対象を数量的且つ
相対的に比較することができる。この距離の算出では、
各冪分布間における順位付けの差異という観点から第１
距離が算出され、各冪分布の数量的差異という観点から
第２距離が算出される。ここで第１距離の算出は順位の
高低による重み付けが行われる。そして、算出された第
１距離と第２距離の合算により冪分布の距離が算出され
る。ここで、距離の合算は第１距離を大きくとる重み付
けが行われる。これにより、冪分布間の距離という数量
的な値を得ることができる。
【００３５】従って、同じ冪分布を呈している対象であ
れば、どのようなものであっても対象比較が容易とな
る。すなわち適用範囲が広いという特徴を有する。ま
た、冪分布の特性を利用して、各冪分布で同順位の要素
に対応する数量に基づいて第１距離を計算できるので、
対象の比較が容易である。さらに、対象の特性を知らな
くても、特性に応じた補正や考慮等を行うことなく容易
に対象比較が可能となる。すなわち、前述したｔｆ・ｉ
ｄｆ法ではありふれた単語を除去するために補正を行っ
ていた。しかし、本発明による比較においては、各比較
対象がそれぞれ同様にありふれた単語を多く含んでいる
ため、それらは自動的に相殺され、従って補正の必要が
ない。以上のように、本発明を用いれば、多くの対象を
簡易に比較できるようになる。
れば、どのようなものであっても対象比較が容易とな
る。すなわち適用範囲が広いという特徴を有する。ま
た、冪分布の特性を利用して、各冪分布で同順位の要素
に対応する数量に基づいて第１距離を計算できるので、
対象の比較が容易である。さらに、対象の特性を知らな
くても、特性に応じた補正や考慮等を行うことなく容易
に対象比較が可能となる。すなわち、前述したｔｆ・ｉ
ｄｆ法ではありふれた単語を除去するために補正を行っ
ていた。しかし、本発明による比較においては、各比較
対象がそれぞれ同様にありふれた単語を多く含んでいる
ため、それらは自動的に相殺され、従って補正の必要が
ない。以上のように、本発明を用いれば、多くの対象を
簡易に比較できるようになる。
【図１】冪分布の一例を示すグラフ
【図２】本発明の対象となるモデルを説明する図
【図３】冪分布の特徴を説明するグラフ
【図４】冪分布を両対数グラフで示した図
【図５】文書Ｘ及びＹ間の距離を算出する手順を説明す
るフローチャート
るフローチャート
【図６】本発明により算出した距離を用いて文書をクラ
スタ分析した図
スタ分析した図
【図７】従来の方法を用いて文書をクラスタ分析した図
Ａ，Ｂ，Ｃ…比較対象、Ｘ，Ｙ…文書、Ｔ，ＴX，ＴY…
単語集合、ｔj…単語、ＦX，ＦY…出現頻度、ＲX，ＲY
…ランク、ｄ…距離、ｄ0…第１距離、ｄ1…第２距離
単語集合、ｔj…単語、ＦX，ＦY…出現頻度、ＲX，ＲY
…ランク、ｄ…距離、ｄ0…第１距離、ｄ1…第２距離
Claims (4)
- 【請求項１】 複数の比較対象がそれぞれある事象の集
合と該集合の要素に対応する数量とを有するとともに、
該数量の大きさに基づく順位付けが互いに同じ冪の冪分
布を呈している状況において、各比較対象の有する冪分
布を数量的に比較する冪分布比較方法であって、 各冪分布間における順位付けの差異に基づくとともに順
位の高低による重み付けをして順位付けに関する第１距
離を算出し、各冪分布の数量的差異に基づき規模に関す
る第２距離を算出し、前記第１距離と第２距離とを第１
距離を大きくとる重み付けをして合算することにより冪
分布間距離を算出し、この冪分布間距離により冪分布を
数量的に比較することを特徴とする冪分布比較方法。 - 【請求項２】 前記第１距離の算出では、各冪分布で同
順位の要素に対応する数量に基づき順位付けに関する第
１距離を算出することを特徴とする請求項１記載の冪分
布比較方法。 - 【請求項３】 複数の比較対象がそれぞれある事象の集
合と該集合の要素に対応する数量とを有するとともに、
該数量の大きさに基づく順位付けが互いに同じ冪の冪分
布を呈している状況において、各比較対象の有する冪分
布を数量的に比較する冪分布比較プログラムを記録した
記録媒体であって、 前記冪分布比較プログラムは、各冪分布間における順位
付けの差異に基づくとともに順位の高低による重み付け
をして順位付けに関する第１距離を算出し、各冪分布の
数量的差異に基づき規模に関する第２距離を算出し、前
記第１距離と第２距離とを第１距離を大きくとる重み付
けをして合算することにより分布間距離を算出し、この
分布間距離により冪分布を数量的に比較することを特徴
とする冪分布比較プログラムを記録した記録媒体。 - 【請求項４】 前記第１距離の算出では、各冪分布で同
順位の要素に対応する数量に基づき順位付けに関する第
１距離を算出することを特徴とする請求項３記載の冪分
布比較プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11188830A JP2001014300A (ja) | 1999-07-02 | 1999-07-02 | 冪分布比較方法及び冪分布比較プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11188830A JP2001014300A (ja) | 1999-07-02 | 1999-07-02 | 冪分布比較方法及び冪分布比較プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001014300A true JP2001014300A (ja) | 2001-01-19 |
Family
ID=16230592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11188830A Pending JP2001014300A (ja) | 1999-07-02 | 1999-07-02 | 冪分布比較方法及び冪分布比較プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001014300A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006323785A (ja) * | 2005-05-20 | 2006-11-30 | Fujitsu Ltd | 集合間関連性判定プログラム |
-
1999
- 1999-07-02 JP JP11188830A patent/JP2001014300A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006323785A (ja) * | 2005-05-20 | 2006-11-30 | Fujitsu Ltd | 集合間関連性判定プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8380727B2 (en) | Information processing device and method, program, and recording medium | |
| US20060265362A1 (en) | Federated queries and combined text and relational data | |
| US9177249B2 (en) | Scientometric methods for identifying emerging technologies | |
| KR101897080B1 (ko) | 의료 기록 문서에서의 의료 단어의 연관 규칙 생성 방법 및 그 장치 | |
| KR101955244B1 (ko) | 논문 평가 방법 및 전문가 추천 방법 | |
| CN112988980B (zh) | 目标产品查询方法、装置、计算机设备和存储介质 | |
| Briggs | Economics notes: handling uncertainty in economic evaluation | |
| CN112632396A (zh) | 一种文章推荐方法、装置、电子设备及可读存储介质 | |
| JP2007323315A (ja) | 協調フィルタリング方法、協調フィルタリング装置、および協調フィルタリングプログラムならびにそのプログラムを記録した記録媒体 | |
| Chen | Tagnet: Toward tag-based sentiment analysis of large social media data | |
| Wei et al. | Finding related publications: extending the set of terms used to assess article similarity | |
| JP7041299B1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
| Stakhiyevich et al. | An experimental study of building user profiles for movie recommender system | |
| Stevens et al. | Predicting real estate price using text mining | |
| WO2016189606A1 (ja) | データ分析システム、制御方法、制御プログラム、および記録媒体 | |
| CN110851708A (zh) | 负样本的抽取方法、装置、计算机设备和存储介质 | |
| Zhang et al. | An effective health indicator for rolling elements bearing based on data space occupancy | |
| Silva et al. | Data mining for prediction of length of stay of cardiovascular accident inpatients | |
| JP2001014300A (ja) | 冪分布比較方法及び冪分布比較プログラムを記録した記録媒体 | |
| JP7416091B2 (ja) | 映像検索システム、映像検索方法、及びコンピュータプログラム | |
| US20180276294A1 (en) | Information processing apparatus, information processing system, and information processing method | |
| US10346759B2 (en) | Probabilistic inference engine based on synthetic events from measured data | |
| CN112712866A (zh) | 一种确定文本信息相似度的方法及装置 | |
| US7035861B2 (en) | System and methods for providing data management and document data retrieval | |
| JP6509391B1 (ja) | 計算機システム |