JP2021034047A - Method and system for document clustering with long-term relevance - Google Patents
Method and system for document clustering with long-term relevance Download PDFInfo
- Publication number
- JP2021034047A JP2021034047A JP2020138408A JP2020138408A JP2021034047A JP 2021034047 A JP2021034047 A JP 2021034047A JP 2020138408 A JP2020138408 A JP 2020138408A JP 2020138408 A JP2020138408 A JP 2020138408A JP 2021034047 A JP2021034047 A JP 2021034047A
- Authority
- JP
- Japan
- Prior art keywords
- cluster
- issue
- clusters
- similarity
- merged
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000007774 longterm Effects 0.000 title abstract description 12
- 239000013598 vector Substances 0.000 claims description 65
- 230000015654 memory Effects 0.000 claims description 24
- 238000003672 processing method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 208000006930 Pseudomyxoma Peritonei Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229920000306 polymethylpentene Polymers 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000699 topical effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
以下の説明は、文書クラスタリングのための技術に関する。 The following description relates to techniques for document clustering.
近年、情報の検索および推薦などの知能型情報サービスのために、文書を体系的に分類してグループ化するための多様な研究が行われている。 In recent years, various studies have been conducted to systematically classify and group documents for intelligent information services such as information retrieval and recommendation.
グループ化、すなわちクラスタリングとは、データマイニングの1つであって、多数の項目の属性を基準にその類似性を演算してグループ化する技法である。 Grouping, that is, clustering, is one of data mining, and is a technique of calculating and grouping similarities based on the attributes of a large number of items.
クラスタリングは、与えられたデータ集合を、互いに類似性をもつ複数のクラスタ(Cluster)に分割していく過程であって、1つのグループに属するデータは、互いに異なるグループ内のデータとは区分される類似性をもつようになる。 Clustering is the process of dividing a given data set into multiple clusters (Crusters) that have similarities to each other, and data belonging to one group is separated from data in different groups. It will have similarities.
このような文書クラスタリング方法として、情報検索分野では、K−meansクラスタリング方法やオントロジー(ontology)を利用したクラスタリング方法などを始めとした多様な方法が研究されている。 As such a document clustering method, various methods such as a K-means clustering method and a clustering method using an ontology are being studied in the field of information retrieval.
例えば、特許文献1(公告日2011年9月27日)には、文書のキーワードを含むオントロジーを利用して文書をクラスタリングする技術が開示されている。 For example, Patent Document 1 (publication date: September 27, 2011) discloses a technique for clustering documents by using an ontology including a keyword of a document.
時間帯別に生成された短期クラスタのうちで連関性が高い短期クラスタを併合し、中/長期的に関連のあるイシュー単位のクラスタグループとしてイシュークラスタを生成することができる方法およびシステムを提供する。 We provide a method and system that can merge short-term clusters that are highly related among short-term clusters generated by time zone and generate issue clusters as cluster groups of issue units that are related in the medium to long term.
コンピュータシステムが実行する文書クラスタリング方法であって、前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、前記文書クラスタリング方法は、前記少なくとも1つのプロセッサにより、類似文書としてクラスタリングされたクラスタを時間基準で収集する段階、および前記少なくとも1つのプロセッサにより、前記クラスタ間の類似度に基づいて前記クラスタを併合することにより、クラスタグループとしてイシュークラスタを生成する段階を含む、文書クラスタリング方法を提供する。 A document clustering method performed by a computer system, wherein the computer system includes at least one processor configured to execute a computer-readable instruction contained in memory, and the document clustering method is the at least one. Issue clusters as cluster groups by collecting clusters clustered as similar documents on a time basis by one processor, and by merging the clusters based on the similarity between the clusters by at least one processor. A document clustering method including a generation step is provided.
一側面によると、前記生成する段階は、前記イシュークラスタと前記クラスタ間の類似度に基づいて前記イシュークラスタと前記クラスタを併合する段階を含んでよい。 According to one aspect, the generating step may include merging the issue cluster with the cluster based on the similarity between the issue cluster and the cluster.
他の側面によると、前記生成する段階は、前記イシュークラスタと他のイシュークラスタ間の類似度に基づいて前記イシュークラスタと前記他のイシュークラスタを併合する段階を含んでよい。 According to another aspect, the generating step may include merging the issue cluster with the other issue cluster based on the similarity between the issue cluster and the other issue cluster.
また他の側面によると、前記イシュークラスタと前記他のイシュークラスタを併合する段階は、前記イシュークラスタと前記他のイシュークラスタのうちで文書件数がより多いクラスタに他のクラスタの文書を併合してよい。 According to another aspect, the stage of merging the issue cluster and the other issue cluster is to merge the documents of the other cluster into the cluster having the larger number of documents among the issue cluster and the other issue cluster. Good.
また他の側面によると、前記生成する段階は、前記クラスタのベクトル間の類似度を比較し、事前に定められたクラスタ併合の基準に適ったベクトル類似度をもつクラスタを1つのクラスタとして併合して前記イシュークラスタを生成してよい。 According to another aspect, in the generation stage, the similarity between the vectors of the clusters is compared, and the clusters having the vector similarity suitable for the predetermined cluster merger criteria are merged as one cluster. The issue cluster may be generated.
また他の側面によると、前記生成する段階は、前記クラスタに文書が追加される場合、該当のクラスタに対して以前に計算されたベクトルを利用することで文書が追加されたクラスタのベクトルを計算する段階を含んでよい。 According to another aspect, when a document is added to the cluster, the generation stage calculates the vector of the cluster to which the document is added by using the vector previously calculated for the cluster. It may include a step to do.
また他の側面によると、前記生成する段階は、前記イシュークラスタに他のクラスタが併合される場合、該当のイシュークラスタに対して以前に計算されたベクトルを利用することで他のクラスタが併合されたイシュークラスタのベクトルを計算する段階を含んでよい。 According to another aspect, in the generation stage, when another cluster is merged with the issue cluster, the other cluster is merged by using the vector previously calculated for the issue cluster. It may include the step of calculating the vector of the issue cluster.
また他の側面によると、前記生成する段階は、並列処理方式により、各クラスタ別に該当のクラスタ以後に生成されたクラスタと比較して最も類似するクラスタを併合対象として選定する段階、および直列処理方式により、前記併合対象として選定されたクラスタを順に併合する段階を含んでよい。 According to another aspect, the generation stage is a stage in which the cluster that is most similar to the cluster generated after the corresponding cluster is selected as the merge target for each cluster by the parallel processing method, and the serial processing method. This may include a step of sequentially merging the clusters selected as the merging targets.
また他の側面によると、前記生成する段階は、前記併合されたクラスタが前記併合対象として再選定されないように除外する段階をさらに含んでよい。 According to another aspect, the generation step may further include excluding the merged cluster so that it is not reselected for the merged target.
さらに他の側面によると、前記収集する段階は、文書間の類似度に基づいて類似文書としてクラスタリングされたクラスタを収集してよい。 According to yet another aspect, the collecting step may collect clusters clustered as similar documents based on the similarity between the documents.
前記文書クラスタリング方法を前記コンピュータシステムに実行させるために非一時的なコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラムを提供する。 Provided is a computer program recorded on a non-temporary computer-readable recording medium for causing the computer system to perform the document clustering method.
前記文書クラスタリング方法をコンピュータに実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体を提供する。 Provided is a non-temporary computer-readable recording medium in which a program for causing a computer to execute the document clustering method is recorded.
コンピュータシステムであって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサは、類似文書としてクラスタリングされたクラスタを時間基準で収集するクラスタ収集部、および前記クラスタ間の類似度に基づいて前記クラスタを併合することにより、クラスタグループとしてイシュークラスタを生成するクラスタ生成部を含む、コンピュータシステムを提供する。 A computer system that includes at least one processor configured to execute computer-readable instructions contained in memory, said at least one processor collecting clusters clustered as similar documents on a time basis. Provided is a computer system including a cluster collecting unit and a cluster generating unit that generates an issue cluster as a cluster group by merging the clusters based on the similarity between the clusters.
本発明の実施形態によると、時間帯別に生成された短期クラスタをクラスタ間の類似度に基づいて併合することにより、中/長期的に関連のあるイシュー単位のクラスタグループとしてイシュークラスタを生成することができる。 According to the embodiment of the present invention, an issue cluster is generated as a cluster group of issue units that are related in the medium to long term by merging the short-term clusters generated for each time zone based on the similarity between the clusters. Can be done.
以下、本発明の実施形態について、添付の図面を参照しながら詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
本発明の実施形態は、文書クラスタリング技術に関する。 Embodiments of the present invention relate to document clustering techniques.
本明細書で具体的に開示される事項を含む実施形態は、時間帯別に生成された短期クラスタをクラスタ間の類似度に基づいて併合することにより、中/長期的に関連のあるイシュー単位のクラスタグループとしてイシュークラスタを生成することができ、これによってクラスタリングの品質と性能を向上させることができる。 Embodiments, including the matters specifically disclosed herein, are medium / long-term relevant issue units by merging short-term clusters generated by time zone based on similarity between clusters. Issue clusters can be created as cluster groups, which can improve the quality and performance of clustering.
また、本明細書で具体的に開示される事項を含む実施形態は、クラスタ間の類似度に基づいてクラスタを併合してイシュークラスタを生成することにより、時間の経過によって主題や内容が変わって文書間の類似度が低下したとしても、関連のあるイシューの文書を効果的にクラスタリングすることができる。 Moreover, in the embodiment including the matters specifically disclosed in the present specification, the subject and contents change with the passage of time by merging the clusters based on the similarity between the clusters to generate an issue cluster. Documents of related issues can be effectively clustered even if the similarity between documents is reduced.
また、本明細書で具体的に開示される事項を含む実施形態は、以前に計算されたクラスタのベクトル値を利用して文書が追加されたクラスタや他のクラスタと併合されたクラスタのベクトル値を計算する方式でクラスタ併合を実行することにより、計算量を飛躍的に減らし、迅速かつ安定的なクラスタリング性能を提供することができる。 In addition, embodiments including matters specifically disclosed herein include vector values for clusters to which documents have been added or clusters merged with other clusters using previously calculated vector values for clusters. By executing cluster merging by the method of calculating, the amount of calculation can be dramatically reduced and quick and stable clustering performance can be provided.
図1は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図1のネットワーク環境は、複数の電子機器110、120、130、140、複数のサーバ150、160、およびネットワーク170を含む例を示している。このような図1は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図1のように限定されることはない。
FIG. 1 is a diagram showing an example of a network environment according to an embodiment of the present invention. The network environment of FIG. 1 shows an example including a plurality of
複数の電子機器110、120、130、140は、コンピュータシステムによって実現される固定端末や移動端末であってよい。複数の電子機器110、120、130、140の例としては、AIスピーカ、スマートフォン、携帯電話、ナビゲーション、PC(personal computer)、ノート型PC、デジタル放送用端末、PDA(Personal Digital Assistant)、PMP(Portable Multimedia Player)、タブレット、ゲームコンソール、ウェアラブルデバイス、IoT(internet of things)デバイス、VR(virtual reality)デバイス、AR(augmented reality)デバイスなどがある。一例として、図1では、電子機器110の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器110は、実質的に無線または有線通信方式を利用し、ネットワーク170を介して他の電子機器120、130、140および/またはサーバ150、160と通信することのできる多様な物理的なコンピュータシステムのうちの1つを意味してよい。
The plurality of
通信方式が限定されることはなく、ネットワーク170が含むことのできる通信網(一例として、移動通信網、有線インターネット、無線インターネット、放送網、衛星網など)を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてよい。例えば、ネットワーク170は、PAN(personal area network)、LAN(local area network)、CAN(campus area network)、MAN(metropolitan area network)、WAN(wide area network)、BBN(broadband network)、インターネットなどのネットワークのうちの1つ以上の任意のネットワークを含んでよい。さらに、ネットワーク170は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター−バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の1つ以上を含んでもよいが、これらに限定されることはない。
The communication method is not limited, and not only the communication method using the communication network (for example, mobile communication network, wired Internet, wireless Internet, broadcasting network, satellite network, etc.) that can be included in the
サーバ150、160それぞれは、複数の電子機器110、120、130、140とネットワーク170を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する1つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ150は、ネットワーク170を介して接続した複数の電子機器110、120、130、140に第1サービスを提供するシステムであってよく、サーバ160も、ネットワーク170を介して接続した複数の電子機器110、120、130、140に第2サービスを提供するシステムであってよい。より具体的な例として、サーバ150は、複数の電子機器110、120、130、140においてインストールされて実行されるコンピュータプログラムであるアプリケーションを通じ、該当のアプリケーションが目的とするサービス(一例として、ニュースサービスなど)を第1サービスとして複数の電子機器110、120、130、140に提供してよい。他の例として、サーバ160は、上述したアプリケーションのインストールおよび実行のためのファイルを複数の電子機器110、120、130、140に配布するサービスを第2サービスとして提供してよい。
Each of the
図2は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図2では、電子機器に対する例として電子機器110の内部構成およびサーバ150の内部構成について説明する。また、他の電子機器120、130、140やサーバ160も、上述した電子機器110またはサーバ150と同一または類似の内部構成を有してよい。
FIG. 2 is a block diagram for explaining the internal configurations of the electronic device and the server according to the embodiment of the present invention. FIG. 2 describes the internal configuration of the
電子機器110およびサーバ150は、メモリ211、221、プロセッサ212、222、通信モジュール213、223、および入力/出力インタフェース214、224を含んでよい。メモリ211、221は、非一時的なコンピュータ読み取り可能な記録媒体であって、RAM(random access memory)、ROM(read only memory)、ディスクドライブ、SSD(solid state drive)、フラッシュメモリ(flash memory)などのような永続的大容量記録装置を含んでよい。ここで、ROM、SSD、フラッシュメモリ、ディスクドライブのような永続的大容量記録装置は、メモリ211、221とは区分される別の永続的記録装置として電子機器110やサーバ150に含まれてもよい。また、メモリ211、221には、オペレーティングシステムと、少なくとも1つのプログラムコード(一例として、電子機器110においてインストールされて実行されるブラウザや、特定のサービスの提供のために電子機器110にインストールされるアプリケーションなどのためのコード)が記録されてよい。このようなソフトウェア構成要素は、メモリ211、221とは別のコンピュータ読み取り可能な記録媒体からロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー(登録商標)ドライブ、ディスク、テープ、DVD/CD−ROMドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信モジュール213、223を通じてメモリ211、221にロードされてもよい。例えば、少なくとも1つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム(一例として、上述したサーバ160)がネットワーク170を介して提供するファイルによってインストールされるコンピュータプログラム(一例として、上述したアプリケーション)に基づいてメモリ211、221にロードされてよい。
The
プロセッサ212、222は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ211、221または通信モジュール213、223によって、プロセッサ212、222に提供されてよい。例えば、プロセッサ212、222は、メモリ211、221のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
通信モジュール213、223は、ネットワーク170を介して電子機器110とサーバ150とが互いに通信するための機能を提供してもよいし、電子機器110および/またはサーバ150が他の電子機器(一例として、電子機器120)または他のサーバ(一例として、サーバ160)と通信するための機能を提供してもよい。一例として、電子機器110のプロセッサ212がメモリ211のような記録装置に記録されたプログラムコードにしたがって生成した要求が、通信モジュール213の制御にしたがってネットワーク170を介してサーバ150に伝達されてよい。これとは逆に、サーバ150のプロセッサ222の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール223とネットワーク170を経て電子機器110の通信モジュール213を通じて電子機器110に受信されてよい。例えば、通信モジュール213を通じて受信されたサーバ150の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ212やメモリ211に伝達されてよく、コンテンツやファイルなどは、電子機器110がさらに含むことのできる記録媒体(上述した永続的記録装置)に記録されてよい。
The
入力/出力インタフェース214は、入力/出力装置215とのインタフェースのための手段であってよい。例えば、入力装置は、キーボード、マウス、マイクロフォン、カメラなどの装置を、出力装置は、ディスプレイ、スピーカ、触覚フィードバックデバイスなどのような装置を含んでよい。他の例として、入力/出力インタフェース214は、タッチスクリーンのように入力と出力のための機能が1つに統合された装置とのインタフェースのための手段であってもよい。入力/出力装置215は、電子機器110と1つの装置で構成されてもよい。また、サーバ150の入力/出力インタフェース224は、サーバ150に接続するかサーバ150が含むことのできる入力または出力のための装置(図示せず)とのインタフェースのための手段であってよい。より具体的な例として、電子機器110のプロセッサ212がメモリ211にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ150や電子機器120が提供するデータを利用して構成されるサービス画面やコンテンツが、入力/出力インタフェース214を通じてディスプレイに表示されてよい。
The input /
また、他の実施形態において、電子機器110およびサーバ150は、図2の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器110は、上述した入力/出力装置215のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器110がAIスピーカである場合、一般的にAIスピーカが含んでいる各種センサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力/出力ポート、振動のための振動器などのような多様な構成要素が、電子機器110にさらに含まれるように実現されてよい。
Also, in other embodiments, the
以下では、長期間の連関性が高い文書クラスタリングのための方法およびシステムの具体的な実施形態について説明する。 In the following, specific embodiments of methods and systems for document clustering that are highly relevant over a long period of time will be described.
本明細書において、文書とは、インターネット上で検索や推薦などの対象となる情報単位を意味してよい。 In the present specification, the document may mean an information unit to be searched or recommended on the Internet.
本実施形態では、ニュースサービスを通じて提供される記事(news)を文書の代表的な例として説明するが、クラスタリングの対象が記事に限定されてはならず、インターネット上に情報単位で提供されるすべての形態の文書に拡大した適用が可能である。 In this embodiment, articles (news) provided through a news service will be described as a typical example of a document, but the target of clustering should not be limited to articles, and all provided on the Internet in units of information. It can be expanded and applied to documents in the form of.
文書クラスタリング技術は、多くの記事を主題別に効果的に分類して伝達するために利用されており、クラスタリングされた記事の集結規模や重要度などに基づき、所定のアルゴリズムを用いて特定のクラスタ記事をサービス画面の上位に表示する方式を使用したりもする。 Document clustering technology is used to effectively classify and convey many articles by subject, and based on the size and importance of clustered articles, a specific clustered article is used using a predetermined algorithm. Is also used to display at the top of the service screen.
このようなクラスタリング技術は、内容が似ている記事をクラスタリングするものであり、主に最新の記事を中心として使用する場合には品質は高まるが、時間範囲が広がるほどクラスタリングの品質は低下する。また、時間によって主題が変わる時事的な記事をクラスタリングするには限界があり、記事の件数が増えるほど処理時間が急激に増加するという問題がある。 Such a clustering technique clusters articles having similar contents, and the quality is improved when mainly the latest articles are used, but the quality of clustering is lowered as the time range is widened. In addition, there is a limit to clustering topical articles whose subject changes with time, and there is a problem that the processing time increases sharply as the number of articles increases.
本発明の実施形態は、時間帯別に生成された短期クラスタを併合することにより、中/長期的に関連のあるイシュー単位のクラスタグループとしてイシュークラスタを生成することを目的とする。 An object of the present invention is to generate an issue cluster as a cluster group of issue units that are related in the medium to long term by merging the short-term clusters generated for each time zone.
図3は、本発明の一実施形態における、サーバのプロセッサが含むことのできる構成要素の例を示したブロック図であり、図4は、本発明の一実施形態における、サーバが実行することのできる方法の例を示したフローチャートである。 FIG. 3 is a block diagram showing an example of components that the processor of the server can include in one embodiment of the present invention, and FIG. 4 is a block diagram of what the server executes in one embodiment of the present invention. It is a flowchart which showed the example of the possible method.
本実施形態に係るサーバ150は、記事を提供するニュースサービスプラットフォームの役割を担ってよい。特に、サーバ150は、中/長期的に続くイシューに該当する記事を効果的にクラスタリングして提供してよい。
The
サーバ150のプロセッサ222は、図4に係る文書クラスタリング方法を実行するための構成要素として、図3に示すように、クラスタ収集部310、クラスタ生成部320、およびクラスタ表示部330を含んでよい。実施形態によって、プロセッサ222の構成要素は、選択的にプロセッサ222に含まれても除外されてもよい。また、実施形態によって、プロセッサ222の構成要素は、プロセッサ222の機能の表現のために分離されても併合されてもよい。
As shown in FIG. 3, the
このようなプロセッサ222およびプロセッサ222の構成要素は、図4の文書クラスタリング方法が含む段階410〜450を実行するようにサーバ150を制御してよい。例えば、プロセッサ222およびプロセッサ222の構成要素は、メモリ221が含むオペレーティングシステムのコードと少なくとも1つのプログラムのコードとによる命令(instruction)を実行するように実現されてよい。
ここで、プロセッサ222の構成要素は、サーバ150に記録されたプログラムコードが提供する命令にしたがってプロセッサ222によって実行される互いに異なる機能(different functions)の表現であってよい。例えば、サーバ150が短期クラスタを収集するように上述した命令にしたがってサーバ150を制御するプロセッサ222の機能的表現として、クラスタ収集部310が利用されてよい。
Here, the components of the
プロセッサ222は、サーバ150の制御と関連する命令がロードされたメモリ221から必要な命令を読み取ってよい。この場合、前記読み取られた命令は、以下で説明する段階410〜450をプロセッサ222が実行するように制御するための命令を含んでよい。以下で説明する段階410〜450は、図4に示した順序とは異なる順序で実行されてもよく、段階410〜450の一部が省略されても、追加の過程がさらに含まれてもよい。
The
以下では、時間を基準として連関性の高い記事で束ねられたクラスタは「短期クラスタ」とし、連関性の高いクラスタとして束ねられて1つのイシュー単位が生成される場合、イシュー単位に該当するクラスタグループは「イシュークラスタ」とする。 In the following, clusters that are bundled in articles that are highly related based on time are referred to as "short-term clusters", and if one issue unit is generated by being bundled as a cluster that is highly related, the cluster group that corresponds to the issue unit. Is an "issue cluster".
図4を参照すると、段階410で、クラスタ収集部310は、記事間の類似度に基づいて類似記事としてクラスタリングされた短期クラスタを収集してよい。クラスタ収集部310は、ここ最近の一定時間内の記事をクラスタリングして生成された短期クラスタを収集してよい。短期クラスタを生成するための記事クラスタリング方法としては、広く利用されているクラスタリング技法のうちの少なくとも1つが利用されてよい。このとき、各短期クラスタに対しては、クラスタ生成過程で固有の識別子(ID)が付与されてよい。記事クラスタリングの作業中に、以前に生成された既存のクラスタでは以前に付与された識別子が維持されてよい。
Referring to FIG. 4, at step 410, the
例えば、図5を参照すると、クラスタ収集部310は、互いに異なる記事50のベクトル間の類似度が一定レベル以上の場合に、1つのクラスタとして束ねて短期クラスタ501を生成してよい。このとき、各記事50のベクトルとは、該当の記事50に含まれた単語のベクトル平均を意味してよい。クラスタ収集部310は、ここ最近36時間以内の類似記事を短期クラスタ501として束ねてよい。短期クラスタ501に対して以前に付与された識別子(ID)が維持されていたとしても、36時間が経過した記事は該当のクラスタから削除し、ここ最近36時間以内の記事だけがサービス対象として表示されてよい。本発明の実施形態では、短期クラスタ501を収集するにあたり、短期クラスタ501から時間の経過によって削除された記事も、既存の識別子(ID)ですべて累積して収集してよい。
For example, referring to FIG. 5, the
図4を参照すると、段階420で、クラスタ生成部320は、クラスタ間の類似度に基づいて短期クラスタを併合することにより、イシュークラスタを生成してよい。短期クラスタのうちの一部は類似する主題の記事で構成されているが、1つのクラスタとして束ねられていなかったり、記事の時間差のせいで互いに異なるクラスタとして存在したりする場合が多い。このような問題を解決するために、クラスタ生成部320は、短期クラスタがクラスタ併合の基準を満たす場合、つまり、短期クラスタ間の類似度が一定レベル以上の場合、1つのイシュークラスタとして束ねてよい。
Referring to FIG. 4, at step 420, the
例えば、図6を参照すると、クラスタ生成部320は、短期クラスタ501のうち、短期クラスタ501のベクトル間の類似度が一定レベル以上の場合、1つのクラスタとして併合してイシュークラスタ602を生成してよい。短期クラスタ501のベクトルとは、該当のクラスタに含まれた記事のベクトル平均を意味してよい。
For example, referring to FIG. 6, when the similarity between the vectors of the short-
クラスタ併合の基準としてクラスタ間の類似度を適用するが、一例として、クラスタベクトルどうしを比較し、ユークリッド(Euclid)値とコサイン(cosine)値のうちの少なくとも1つが定められた範囲にあるクラスタを1つのクラスタとして束ねてよい。例えば、2つのクラスタのベクトル間のコサイン類似度が0.98以上の場合、および/または2つのクラスタのベクトル間のユークリッド類似度が0.71以上の場合、2つのクラスタを1つのクラスタとして束ねてよい。このとき、ベクトル間の類似度は、「1/(1+2つのベクトル間の距離)」のように定義されてよい。 Similarity between clusters is applied as a criterion for cluster merging, but as an example, cluster vectors are compared and clusters in which at least one of the Euclid value and the cosine value is within a defined range are selected. It may be bundled as one cluster. For example, if the cosine similarity between the vectors of two clusters is 0.98 or higher, and / or if the Euclidean similarity between the vectors of the two clusters is 0.71 or higher, the two clusters are bundled as one cluster. You can. At this time, the similarity between the vectors may be defined as "1 / (distance between 1 + 2 vectors)".
クラスタのベクトル値を求めるために、従来は、クラスタに記事が追加される場合、全体記事のベクトルを用いて全体の平均を新たに求める方法を適用していたが、このような場合には多数のAPIの呼び出しと多数の計算を含むようになり、記事が増加するほどその計算量も増加していた。 In order to obtain the vector value of the cluster, in the past, when articles were added to the cluster, the method of newly calculating the overall average using the vector of the entire article was applied, but in such cases, there are many cases. It came to include API calls and a large number of calculations, and the amount of calculations increased as the number of articles increased.
本実施形態では、短期クラスタcに記事nが追加される場合、短期クラスタcに対して以前に計算されたベクトルvを利用して新規ベクトルv’を一度に求めることができるが、これは数式(1)のように定義されてよい。 In the present embodiment, when the article n is added to the short-term cluster c, the new vector v'can be obtained at once by using the vector v previously calculated for the short-term cluster c. It may be defined as (1).
v’=(vn+(v×mc))/(1+mc)・・・(1) v '= (v n + ( v × m c)) / (1 + m c) ··· (1)
ここで、vnは追加される記事nのベクトル値、mcは短期クラスタcに含まれた既存の記事件数を意味する。 Here, v n vector values of articles n to be added, m c denotes the existing article number included in the short-term cluster c.
このような方式により、以前に計算された短期クラスタのベクトル値を利用することで、記事が追加された短期クラスタの新規ベクトル値を容易かつ迅速に求めることができる。 By using the vector value of the short-term cluster calculated previously by such a method, it is possible to easily and quickly obtain the new vector value of the short-term cluster to which the article is added.
図4を参照すると、段階430で、クラスタ生成部320は、クラスタ間の類似度に基づいて新たに生成された短期クラスタを、段階420で生成されたイシュークラスタと併合してよい。
Referring to FIG. 4, at
図7に示すように、クラスタ生成部320は、段階420で生成されたイシュークラスタ602のベクトルと新たに生成される短期クラスタ501’のベクトルとを比較し、クラスタ併合の基準を満たすベクトル類似度をもつ場合、短期クラスタ501’をイシュークラスタ602に含ませてよい。このとき、イシュークラスタのベクトルとは、該当のクラスタに含まれた短期クラスタのベクトル平均を意味してよく、短期クラスタとイシュークラスタの併合基準は、上述した短期クラスタ間の併合基準と等しい。
As shown in FIG. 7, the
図4を参照すると、段階440で、クラスタ生成部320は、クラスタ間の類似度に基づいて以前に生成されたイシュークラスタを、段階430で生成されたイシュークラスタと併合してよい。イシュークラスタとイシュークラスタ間の併合基準は、上述した短期クラスタ間の併合基準と等しい。
Referring to FIG. 4, at step 440, the
図8に示すように、クラスタ生成部320は、短期クラスタの併合によって生成されたイシュークラスタのベクトルと以前に生成されたイシュークラスタ602’のベクトルとを比較し、クラスタ併合の基準を満たすベクトル類似度をもつ場合、1つのイシュークラスタ602として併合してよい。言い換えれば、クラスタ生成部320は、イシュークラスタ間のベクトルを互いに比較し、クラスタ併合の基準に適えば1つのイシュークラスタ602として束ねてよい。このとき、クラスタ生成部320は、クラスタ併合の基準を満たすイシュークラスタの記事件数を比較し、記事件数が多いイシュークラスタに残りのイシュークラスタの記事を併合してよい。
As shown in FIG. 8, the
本実施形態では、イシュークラスタCに新たな短期クラスタcが追加されるか、(記事件数がより少ない)小さいイシュークラスタC’を(記事件数がより多い)大きいイシュークラスタCに併合する場合、イシュークラスタCに対して以前に計算されたベクトルVを利用して新規ベクトルV’を一度に求めることができるが、これは数式(2)または数式(3)のように定義されてよい。 In the present embodiment, when a new short-term cluster c is added to the issue cluster C, or a small issue cluster C'(with a smaller number of articles) is merged with a large issue cluster C (with a larger number of articles), an issue is issued. A new vector V'can be obtained at once using the previously calculated vector V for the cluster C, which may be defined as math (2) or math (3).
V’=((vc×mc)+(V×mC))/(mc+mC)・・・(2) V'= ((v c x m c ) + (V x m C )) / (m c + m C ) ... (2)
ここで、vcは短期クラスタcのベクトル値、mcは短期クラスタcに含まれた記事件数、mCはイシュークラスタCに含まれた既存の記事件数を意味する。 Here, v c is a vector value of the short-term cluster c, m c is article number included in the short-term cluster c, m C denotes the existing article number included in the issue cluster C.
V’=((vC’×mC’)+(V×mC))/(mC’+mC)・・・(3) V '= ((v C' × m C ') + (V × m C)) / (m C' + m C) ··· (3)
ここで、vC’は小さいイシュークラスタC’のベクトル値、mC’は小さいイシュークラスタC’に含まれた記事件数、mCはイシュークラスタCに含まれた既存の記事件数を意味する。 Here, v C 'is smaller issue cluster C' vector value, m C 'is smaller issue cluster C' article number included in, m C denotes the existing article number included in the issue cluster C.
このような方式により、以前に計算されたイシュークラスタのベクトル値を利用することで、短期クラスタあるいは小さいイシュークラスタが併合されたイシュークラスタの新規ベクトル値を容易かつ迅速に求めることができる。 By using the previously calculated vector value of the issue cluster by such a method, it is possible to easily and quickly obtain a new vector value of the issue cluster in which the short-term cluster or the small issue cluster is merged.
クラスタに対して全体記事のベクトル平均を毎回のように求める場合に比べ、以前の過程で予め計算されたベクトル値を利用することにより、記事が追加されるか他のクラスタと併合されるクラスタの新規ベクトルを飛躍的に迅速に求めることができる。 For clusters where articles are added or merged with other clusters by using the vector values pre-computed in the previous process, compared to finding the vector average of the entire article for the cluster every time. New vectors can be obtained dramatically and quickly.
上述したイシュークラスタの生成過程410〜440は例示的なものに過ぎず、これに限定されることはない。 The issue cluster generation processes 410 to 440 described above are merely exemplary and are not limited thereto.
また、A、B、C、Dの短期クラスタあるいはイシュークラスタが存在すると仮定するとき、クラスタ間の併合過程420〜440で、A−B、A−C、B−C、C−Dがクラスタ併合の条件を満たす場合に併合を一度に行うようになれば、A、B、C、Dがすべて1つのクラスタとして併合される。 Also, assuming that there are short-term clusters or issue clusters of A, B, C, and D, AB, AC, BC, and CD are cluster merged in the merge process 420 to 440 between the clusters. If the merging is performed at once when the above conditions are satisfied, A, B, C, and D are all merged as one cluster.
しかし、クラスタ併合の条件を満たすクラスタを一度に併合する場合、次のような問題が発生することがある。 However, when merging clusters that satisfy the conditions for cluster merging at once, the following problems may occur.
先ず、クラスタAとBの併合結果、併合されたクラスタABのベクトルとクラスタD間のベクトル距離が遠くなってクラスタ併合の条件を満たすことができなくなることがあり、クラスタ併合の条件にまったく適わなかったクラスタEと併合クラスタABとのベクトル距離が近くなってクラスタ併合の条件を満たすようになることがある。 First, as a result of merging clusters A and B, the vector distance between the vector of the merged cluster AB and the vector D may become too long to satisfy the condition of cluster merging, which is completely unsuitable for the condition of cluster merging. The vector distance between the cluster E and the merged cluster AB may become close to each other, and the condition of cluster merge may be satisfied.
次に、クラスタ併合プロセスを並列進行する場合、クラスタAとBがクラスタBに併合されると同時に、クラスタBとCがクラスタBに併合されることがある。 Next, when the cluster merge process is carried out in parallel, clusters A and B may be merged into cluster B, and at the same time, clusters B and C may be merged into cluster B.
このような2つの問題を解決するためのクラスタ併合方法の一例は、図9に示すとおりである。 An example of a cluster merging method for solving these two problems is shown in FIG.
図9を参照すると、クラスタ生成部320は、すべてのクラスタを対象に、各クラスタ別に該当のクラスタ以後に生成されたクラスタと比較し、そのうちベクトル距離が最も近いクラスタ(短期クラスタあるいはイシュークラスタ)だけを併合対象として選定する(S901)。この段階901は、並列処理方式で行われる。
Referring to FIG. 9, the
クラスタ生成部320は、段階901で併合対象として選定されたクラスタを、直列処理方式によって1つ1つ順に併合する(S902)。既に併合されたクラスタは、次の過程で併合対象として再選定されたとしても無視し、併合後には併合対象として選定されないように除外してよい。
The
クラスタ生成部320は、段階902の実行結果、併合されるクラスタの件数が0であるかを判断し(S903)、併合されるクラスタが1つ以上存在する場合には、併合されたクラスタを含んだ全体クラスタを対象として再び段階901からの段階を繰り返す。
As a result of executing step 902, the
クラスタ生成部320は、併合されるクラスタの個数が0になるまで前記過程901〜902を繰り返した後、併合されるクラスタの件数が0になれば、クラスタ併合を終了させる(S904)。
The
本実施形態では、クラスタ併合の以前と以後の結果に影響を及ぼさずに計算量が多い部分を並列処理することにより、迅速かつ安定的にクラスタ併合を実行することができる。 In the present embodiment, cluster merging can be executed quickly and stably by parallel processing a portion having a large amount of calculation without affecting the results before and after the cluster merging.
クラスタ併合方法は、同じ記事の存在可否、ベクトルユークリッド、ベクトルコサインなどのように類似度を示す多様な特徴を活用してよく、広く利用されている併合方式のうちの少なくとも1つの方式を利用してよく、各方式による併合結果で記事件数、クラスタ数、クラスタ内の記事の類似度あるいは関連性などのような要件に応じて選択的に適用されてよい。 The cluster merging method may utilize various features that show similarity, such as the existence of the same article, vector Euclidean, vector cosine, etc., and uses at least one of the widely used merging methods. The merged result of each method may be selectively applied according to requirements such as the number of articles, the number of clusters, and the similarity or relevance of articles in the cluster.
本実施形態では、記事を提供するサービスを通じて揮発性であるクラスタデータと破片化されたクラスタデータを併合することにより、中/長期的に関連のあるイシュー単位のクラスタグループとしてイシュークラスタを生成することができる。 In the present embodiment, an issue cluster is generated as a cluster group of issue units that are related in the medium to long term by merging volatile cluster data and fragmented cluster data through a service that provides articles. Can be done.
従来には、長期にわたって収集した記事をクラスタリングする場合、テキストを中心とし、テキストが似ている記事を束ね、結局は似たような文書の集合体を生成するだけであったが、本発明では時間を基準として束ねたクラスタをクラスタ間の類似度に基づいて併合していくことにより、イシュー単位のクラスタグループを生成することができ、文書上の内容が変わるが脈絡的には共通するイシューをもつ文書の集合体を生成することができる。クラスタ間の類似度に基づいてクラスタを併合してイシュークラスタを生成することにより、記事間の類似度では併合が困難であった記事を、共通するイシューをもつ1つのクラスタとして束ねることができる。 In the past, when clustering articles collected over a long period of time, it was only necessary to bundle articles with similar texts around the text and eventually generate a collection of similar documents, but in the present invention, By merging clusters bundled based on time based on the similarity between clusters, it is possible to generate cluster groups for each issue, and issues that change in the document but are common in terms of context. It is possible to generate a collection of documents that have. By merging clusters based on the similarity between clusters to generate an issue cluster, articles that were difficult to merge based on the similarity between articles can be bundled as one cluster having a common issue.
図4を参照すると、段階450で、クラスタ表示部330は、段階440で最終併合されたイシュークラスタの記事を、記事提供サービスを通じて表示してよい。クラスタ表示部330は、イシュークラスタを利用した記事タイムラインとしてインターネット上の記事のうちでイシュークラスタに含まれた記事に対するタイムラインを提供してよい。言い換えれば、クラスタ表示部330は、イシュークラスタを利用してイシュークラスタに含まれた記事を時系列で表示してよい。
Referring to FIG. 4, at step 450, the
クラスタ表示部330は、イシュークラスタのうちで事前に定められた表示条件を満たす少なくとも1つのイシュークラスタを、サービスを通じて表示してよい。一例として、クラスタ表示部330は、コンテンツ提供者(content provider)(例えば、報道機関など)によって特定された記事あるいはサービスを利用するユーザの選択や設定によって特定された記事が存在するイシュークラスタをサービス表示対象として決定してよい。言い換えれば、クラスタ表示部330は、報道機関が取り扱う主要イシューやユーザ個人が関心のあるイシューに対応するイシュークラスタに対し、サービスページ上にイシュータイムラインを表示してよい。他の例として、クラスタ表示部330は、文書の件数、クラスタリング後の経過時間、コメント数のうちの少なくとも1つが事前に定められた条件に該当するイシュークラスタをサービス表示対象として決定してよい。イシュークラスタの表示条件は、例えば、クラスタに含まれた記事のうち最初にクラスタリングされた記事が2日以上経過した場合、あるいはクラスタに含まれた記事の総数が200件以上の場合、コメント数が100件以上の記事が1日あたり3件以上であり該当の条件の日が2日以上である場合などが含まれてよい。上述したイシュークラスタの表示条件とともに、報道機関イシューや個人イシューを結合させてサービス表示対象を決定することも可能である。
The
上述イシュークラスタを利用したイシュータイムラインのインタフェース画面の例は、図10〜12に示すとおりである。 An example of the interface screen of the issue timeline using the above-mentioned issue cluster is shown in FIGS. 10 to 12.
図10を参照すると、クラスタ表示部330は、イシュークラスタ、すなわち、中/長期的に連関性の高い記事を時系列で表示するためのイシュータイムライン画面1000を、ニュースサービスを通じて表示してよい。イシュータイムライン画面1000には、イシュークラスタに含まれた単位時間(例えば、1day)別に記事件数をグラフ形態で示す時間領域1010、およびイシュークラスタに含まれた記事リストを単位時間別に区分して示す記事領域1020が含まれてよい。
Referring to FIG. 10, the
イシュータイムライン画面1000は、中/長期的に連関性の高い記事を一目で把握することができ、時間領域1010と記事領域1020とが有機的に連結された構造によって記事確認のためのナビゲーション機能を提供してよい。
The
イシュータイムライン画面1000の一部領域、例えば上端には、イシュークラスタが生成された期間情報1001、イシュークラスタと関連するイシュータイトル1002などが含まれてよい。イシュータイトル1002は、イシュークラスタに含まれた少なくとも1つの記事の題目やタグなどを活用して生成されるものであって、例えば、コメント数が最も多い記事の題目がイシュータイトル1002として表示されてもよいし、あるいは記事の題目やタグなどに主に登場するキーワードの組み合わせによってイシュータイトル1002が生成されて表示されてもよい。
A part of the
時間領域1010は、イシュークラスタに含まれた各単位時間の時間情報と記事件数が含まれるものであって、例えば、一軸には時間情報を示し、他の軸には記事件数を棒の長さで示す棒グラフの形態が表示されてよい。このとき、記事件数により、グラフバーのディスプレイ要素(例えば、色や明るさなど)が区分されて表示されてよい。例えば、記事件数が多いほどグラフバーの色は濃く、記事件数が少ないほどグラフバーの色は薄く表示されてよい。
The
記事領域1020は、1つのイシュークラスタとして併合された単位時間別の記事リストが日付順、記事件数順などの一定の基準によって整列されてよく、例えば、ここ最近のクラスタが最上位に表示されてもよいし、あるいは最も多くの記事を含んだクラスタが最上位に表示されてもよい。
In the
図11を参照すると、イシュータイムライン画面1000において、時間領域1010は、一方向(例えば、左右方向)のスクロール1101が可能であり、記事領域1020は、時間領域1010と同一あるいは他の方向(例えば、上下方向)のスクロール1102が可能となるようにインタフェースを構成してよい。
Referring to FIG. 11, in the
イシュークラスタがサービスを通じて表示されることにより、ユーザは、イシュークラスタの時間領域1010に対するスクロール1101により、該当のイシューが登場した後にクラスタリングされた全体期間内で単位時間別の記事件数を確認することができ、イシュー登場時点、最もイシューとなった時点などのように時間経過によるイシューの変化を一目で確認することができる。
By displaying the issue cluster through the service, the user can check the number of articles by unit time within the entire clustered period after the issue appears by scrolling 1101 to the
また、記事領域1020に対するスクロール1102により、イシュークラスタに含まれた単位時間別の記事リストを事前に定められた整列順に示すことができ、ユーザは、単位時間別にクラスタリングされた記事を確認することができる。記事領域1020には、単位時間別に一定の件数(例えば、3件)の一部記事だけを示し、ユーザから特定の日付の記事リストに対して別途の要求(例えば、もっと見る、全体表示など)が入力されれば、全体記事を示してよい。
Further, by scrolling 1102 to the
記事領域1020に対してスクロール1102がなされるとき、記事リストの画面表示に合わせて時間領域1010が自動でスクロールされてよい。一例として、記事領域1020に対するスクロール1102により、時間領域1010で画面の事前に定められた基準範囲(例えば、中央線など)に表示された記事リストの単位時間グラフバーが中央に自動でスクロールされ、他の単位時間グラフバーと区別されるように表示されてよい。
When scrolling 1102 is performed on the
図12を参照すると、記事領域1020に対するスクロール1102により、単位時間別の記事リストを確認する過程において、時間領域1010が初期状態(図10)に比べて簡略化されてよい。例えば、記事領域1020に対するスクロール1102が一定時間(例えば、1秒)以上続けば、時間領域1010のサイズが小さくなるか、時間領域1010のグラフバーが縮小された形態で表示されてよい。記事領域1020のスクロール1102によって最上端に整列された記事リストが画面に再び表示される場合、時間領域1010は初期状態(図10)に復元されてよい。
Referring to FIG. 12, the
また、記事領域1020に対するスクロール1102の方向によって時間領域1010の表示の可否、つまり、表示状態または隠し状態が選択的に適用されてよい。例えば、記事領域1020が下方向にスクロールされる場合には時間領域1010が隠し処理される反面、記事領域1020が上方向にスクロールされる場合には時間領域1010が再び表示されてよい。
Further, whether or not the
同じように、時間領域1010に対するスクロール1101時に、単位時間グラフバーの画面表示に合わせて記事領域1020が自動でスクロールされてよい。言い換えれば、時間領域1010と記事領域1020とが相互に連結され、一領域のスクロールに合わせて他の領域が自動でスクロールされてよい。
Similarly, at the time of scrolling 1101 with respect to the
他の例として、記事領域1020に対してスクロール1102がなされるときに時間領域1010が自動でスクロールされる反面、時間領域1010に対してスクロール1101がなされるときに記事領域1020が既存の位置で固定状態を維持することも可能であり、その反対も可能であることはもちろんである。
As another example, the
時間領域1010に対してスクロール1101がなされるときに記事領域1020が自動でスクロールされずに固定状態を維持するようにインタフェースが構成された場合、時間領域1010で特定の日付のグラフ、例えば、7月26日のグラフバーを選択すれば、記事領域1020では7月26日付けの記事リストに自動でスクロールされて表示されてよい。時間領域1010では、選択された日付のグラフバーが他の単位時間グラフバーとは区別されるように表示されてよい。時間領域1010の初期状態(図10)で特定の日付のグラフバーが選択された場合、選択された日付の記事リストが記事領域1020に表示されると同時に、時間領域1010は簡略化されて表示されてよい。
If the interface is configured to keep the
このように、本発明の実施形態によると、時間帯別に生成された短期クラスタをクラスタ間の類似度に基づいて併合することにより、中/長期的に関連のあるイシュー単位のクラスタグループとしてイシュークラスタを生成することができる。クラスタ間の類似度に基づいてクラスタを併合してイシュークラスタを生成することにより、時間の経過によって主題や内容が変わって記事間の類似度が低下したとしても、関連のあるイシューの記事を効果的にクラスタリングすることができる。以前に計算されたクラスタのベクトル値を利用して記事が追加されたクラスタや他のクラスタと併合されたクラスタのベクトル値を計算する方式でクラスタ併合を実行することにより、計算量を飛躍的に減らし、迅速かつ安定的なクラスタリング性能を提供することができる。 As described above, according to the embodiment of the present invention, by merging the short-term clusters generated for each time zone based on the similarity between the clusters, the issue cluster is formed as a cluster group of issue units that are related in the medium to long term. Can be generated. By merging clusters based on the similarity between clusters to generate an issue cluster, articles with related issues will be effective even if the subject or content changes over time and the similarity between articles decreases. Can be clustered. By performing cluster merging by using the vector value of the previously calculated cluster to calculate the vector value of the cluster to which the article was added or the cluster merged with other clusters, the amount of calculation is dramatically increased. It can be reduced to provide fast and stable clustering performance.
さらに、本発明の実施形態によると、イシュークラスタを利用することで、中/長期的に連関性の高い記事を時系列で示すことのできる記事タイムラインを提供することができる。イシュークラスタによって単位時間に対する表示領域と各単位時間別にクラスタリングされた記事を表示することにより、長期間に連関性の高い記事を一目で把握することができ、時間領域と記事領域とが有機的に連結される構造で記事確認のためのナビゲーション機能を提供することにより、ユーザの利便性を向上させることができる。 Further, according to the embodiment of the present invention, by using the issue cluster, it is possible to provide an article timeline capable of showing articles with high relevance in the medium / long term in chronological order. By displaying the display area for each unit time and the articles clustered for each unit time by the issue cluster, it is possible to grasp the articles that are highly related for a long period of time at a glance, and the time area and the article area are organically separated. By providing a navigation function for checking articles in a connected structure, it is possible to improve user convenience.
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および/またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)およびOS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。 The devices described above may be implemented by hardware components, software components, and / or combinations of hardware components and software components. For example, the devices and components described in the embodiments include a processor, a controller, an ALU (arithmetic logic unit), a digital signal processor, a microcomputer, an FPGA (field programgate array), a PLU (programmable log unit), a microprocessor, and the like. Alternatively, it may be implemented using one or more general purpose computers or special purpose computers, such as various devices capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the OS. The processing device may also respond to the execution of the software, access the data, and record, manipulate, process, and generate the data. For convenience of understanding, one processor may be described as being used, but one of ordinary skill in the art may appreciate that the processor may include multiple processing elements and / or multiple types of processing elements. You can understand. For example, the processing device may include multiple processors or one processor and one controller. Other processing configurations, such as parallel processors, are also possible.
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。 The software may include computer programs, code, instructions, or a combination of one or more of these, configuring the processing equipment to operate at will, or instructing the processing equipment independently or collectively. You may do it. The software and / or data is embodied in any type of machine, component, physical device, computer recording medium or device to be interpreted based on the processing device or to provide instructions or data to the processing device. Good. The software is distributed on a networked computer system and may be recorded or executed in a distributed state. The software and data may be recorded on one or more computer-readable recording media.
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。このとき、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピディスク、磁気テープのような磁気媒体、CD−ROM、DVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体も挙げられる。 The method according to the embodiment may be realized in the form of program instructions that can be executed by various computer means and recorded on a computer-readable medium. At this time, the medium may be a continuous recording of a computer-executable program, or a temporary recording for execution or download. Further, the medium may be various recording means or storage means in the form of a combination of a single piece of hardware or a plurality of pieces of hardware, and is not limited to a medium directly connected to a certain computer system, and is distributed on a network. It may exist. Examples of media include hard disks, floppy disks, magnetic media such as magnetic tapes, optical media such as CD-ROMs and DVDs, optical magnetic media such as floptic discs, and ROMs, RAMs. It may be configured to record program instructions, including a flash memory and the like. Other examples of media include recording media or storage media managed by application stores that distribute applications, sites that supply or distribute various other software, servers, and the like.
以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能である。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。 As described above, the embodiments have been described based on the limited embodiments and drawings, but those skilled in the art can make various modifications and modifications from the above description. For example, the techniques described may be performed in a different order than the methods described, and / or components such as the systems, structures, devices, circuits described may be in a form different from the methods described. Appropriate results can be achieved even if they are combined or combined, or confronted or replaced by other components or equivalents.
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。 Therefore, even if the embodiments are different, they belong to the attached claims as long as they are equal to the claims.
222:プロセッサ
310:クラスタ収集部
320:クラスタ生成部
330:クラスタ表示部
222: Processor 310: Cluster collection unit 320: Cluster generation unit 330: Cluster display unit
Claims (20)
前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、
前記文書クラスタリング方法は、
前記少なくとも1つのプロセッサにより、類似文書としてクラスタリングされたクラスタを時間基準で収集する段階、および
前記少なくとも1つのプロセッサにより、前記クラスタ間の類似度に基づいて前記クラスタを併合することにより、クラスタグループとしてイシュークラスタを生成する段階
を含む、文書クラスタリング方法。 A document clustering method performed by a computer system
The computer system includes at least one processor configured to execute computer-readable instructions contained in memory.
The document clustering method is
As a cluster group, the stage of collecting clusters clustered as similar documents by the at least one processor on a time basis, and by merging the clusters based on the similarity between the clusters by the at least one processor. A document clustering method that includes the steps to generate an issue cluster.
前記イシュークラスタと前記クラスタ間の類似度に基づいて前記イシュークラスタと前記クラスタを併合する段階
を含む、請求項1に記載の文書クラスタリング方法。 The generation stage is
The document clustering method according to claim 1, further comprising a step of merging the issue cluster and the cluster based on the similarity between the issue cluster and the cluster.
前記イシュークラスタと他のイシュークラスタ間の類似度に基づいて前記イシュークラスタと前記他のイシュークラスタを併合する段階
を含む、請求項1または2に記載の文書クラスタリング方法。 The generation stage is
The document clustering method according to claim 1 or 2, comprising merging the issue cluster with the other issue cluster based on the similarity between the issue cluster and the other issue cluster.
前記イシュークラスタと前記他のイシュークラスタのうち、文書の件数がより多いクラスタに他のクラスタの文書を併合すること
を特徴とする、請求項3に記載の文書クラスタリング方法。 The stage of merging the issue cluster with the other issue cluster is
The document clustering method according to claim 3, wherein documents of the other cluster are merged into a cluster having a larger number of documents among the issue cluster and the other issue cluster.
前記クラスタのベクトル間の類似度を比較し、事前に定められたクラスタ併合の基準を満たすベクトル類似度をもつクラスタを1つのクラスタとして併合して前記イシュークラスタを生成すること
を特徴とする、請求項1に記載の文書クラスタリング方法。 The generation stage is
The claim is characterized in that the similarity between the vectors of the clusters is compared and the clusters having the vector similarity satisfying the predetermined criteria for cluster merging are merged as one cluster to generate the issue cluster. Item 4. The document clustering method according to item 1.
前記クラスタに文書が追加される場合、該当のクラスタに対して以前に計算されたベクトルを利用することで文書が追加されたクラスタのベクトルを計算する段階
を含む、請求項5に記載の文書クラスタリング方法。 The generation stage is
The document clustering according to claim 5, wherein when a document is added to the cluster, the document clustering comprises the step of calculating the vector of the cluster to which the document is added by using the vector previously calculated for the cluster. Method.
前記イシュークラスタに他のクラスタが併合される場合、該当のイシュークラスタに対して以前に計算されたベクトルを利用することで他のクラスタが併合されたイシュークラスタのベクトルを計算する段階
を含む、請求項5または6に記載の文書クラスタリング方法。 The generation stage is
If another cluster is merged into the issue cluster, the claim includes the step of calculating the vector of the issue cluster to which the other clusters are merged by using the vector previously calculated for the issue cluster. Item 5. The document clustering method according to Item 5.
並列処理方式により、各クラスタ別に、該当のクラスタ以後に生成されたクラスタと比較し、最も類似するクラスタを併合対象として選定する段階、および
直列処理方式により、前記併合対象として選定されたクラスタを順に併合する段階
を含む、請求項1〜7のうちのいずれか一項に記載の文書クラスタリング方法。 The generation stage is
By the parallel processing method, each cluster is compared with the clusters generated after the corresponding cluster, and the most similar cluster is selected as the merge target, and the clusters selected as the merge target by the serial processing method are selected in order. The document clustering method according to any one of claims 1 to 7, which includes a step of merging.
前記併合されたクラスタが前記併合対象として再選定されないように除外する段階
をさらに含む、請求項8に記載の文書クラスタリング方法。 The generation stage is
The document clustering method according to claim 8, further comprising a step of excluding the merged cluster from being reselected as the merged object.
文書間の類似度に基づいて類似文書としてクラスタリングされたクラスタを収集すること
を特徴とする、請求項1〜9のうちのいずれか一項に記載の文書クラスタリング方法。 The collecting stage is
The document clustering method according to any one of claims 1 to 9, wherein clusters clustered as similar documents are collected based on the degree of similarity between documents.
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサ
を含み、
前記少なくとも1つのプロセッサは、
類似文書としてクラスタリングされたクラスタを時間基準で収集するクラスタ収集部、および
前記クラスタ間の類似度に基づいて前記クラスタを併合することにより、クラスタグループとしてイシュークラスタを生成するクラスタ生成部
を含む、コンピュータシステム。 It ’s a computer system,
Contains at least one processor configured to execute computer-readable instructions contained in memory.
The at least one processor
A computer including a cluster collection unit that collects clusters clustered as similar documents on a time basis, and a cluster generation unit that generates an issue cluster as a cluster group by merging the clusters based on the similarity between the clusters. system.
前記イシュークラスタと前記クラスタ間の類似度に基づいて前記イシュークラスタと前記クラスタを併合すること
を特徴とする、請求項13に記載のコンピュータシステム。 The cluster generator
The computer system according to claim 13, wherein the issue cluster and the cluster are merged based on the similarity between the issue cluster and the cluster.
前記イシュークラスタと他のイシュークラスタ間の類似度に基づいて前記イシュークラスタと前記他のイシュークラスタを併合すること
を特徴とする、請求項13または14に記載のコンピュータシステム。 The cluster generator
The computer system according to claim 13 or 14, wherein the issue cluster and the other issue cluster are merged based on the similarity between the issue cluster and the other issue cluster.
前記クラスタのベクトル間の類似度を比較し、事前に定められたクラスタ併合の基準を満たすベクトル類似度をもつクラスタを1つのクラスタとして併合して前記イシュークラスタを生成すること
を特徴とする、請求項13に記載のコンピュータシステム。 The cluster generator
The claim is characterized in that the similarity between the vectors of the clusters is compared and the clusters having the vector similarity satisfying the predetermined criteria for cluster merging are merged as one cluster to generate the issue cluster. Item 13. The computer system according to item 13.
前記クラスタに文書が追加される場合、該当のクラスタに対して以前に計算されたベクトルを利用することで文書が追加されたクラスタのベクトルを計算すること
を特徴とする、請求項16に記載のコンピュータシステム。 The cluster generator
16. The 16th aspect of claim 16, wherein when a document is added to the cluster, the vector of the cluster to which the document is added is calculated by using the previously calculated vector for the cluster. Computer system.
前記イシュークラスタに他のクラスタが併合される場合、該当のイシュークラスタに対して以前に計算されたベクトルを利用することで他のクラスタが併合されたイシュークラスタのベクトルを計算すること
を特徴とする、請求項16または17に記載のコンピュータシステム。 The cluster generator
When another cluster is merged into the issue cluster, the vector of the issue cluster in which the other clusters are merged is calculated by using the previously calculated vector for the corresponding issue cluster. The computer system according to claim 16 or 17.
並列処理方式により、各クラスタ別に、該当のクラスタ以後に生成されたクラスタと比較し、最も類似するクラスタを併合対象とて選定した後、
直列処理方式により、前記併合対象として選定されたクラスタを順に併合すること
を特徴とする、請求項13〜18のうちのいずれか一項に記載のコンピュータシステム。 The cluster generator
After comparing each cluster with the clusters generated after the corresponding cluster by the parallel processing method and selecting the most similar cluster as the merge target,
The computer system according to any one of claims 13 to 18, wherein the clusters selected as the merge targets are merged in order by a serial processing method.
文書間の類似度に基づいて類似文書としてクラスタリングされたクラスタを収集すること
を特徴とする、請求項13〜19のうちのいずれか一項に記載のコンピュータシステム。 The cluster collection unit
The computer system according to any one of claims 13 to 19, wherein clusters clustered as similar documents are collected based on the similarity between documents.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2019-0102546 | 2019-08-21 | ||
KR20190102546 | 2019-08-21 | ||
KR1020190131265A KR102349522B1 (en) | 2019-08-21 | 2019-10-22 | Method and system for long-term relevant document clustering |
KR10-2019-0131265 | 2019-10-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021034047A true JP2021034047A (en) | 2021-03-01 |
JP7165165B2 JP7165165B2 (en) | 2022-11-02 |
Family
ID=74677555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020138408A Active JP7165165B2 (en) | 2019-08-21 | 2020-08-19 | Method and system for long-term highly relevant document clustering |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7165165B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006331089A (en) * | 2005-05-26 | 2006-12-07 | Toshiba Corp | Method and device for generating time series data from webpage |
JP2008234338A (en) * | 2007-03-20 | 2008-10-02 | Nec Corp | Season degree analysis system, in-season degree analysis method, and season degree analysis program |
JP2011086032A (en) * | 2009-10-14 | 2011-04-28 | Hitachi Solutions Ltd | Apparatus and method for extracting change of topic |
JP2014109852A (en) * | 2012-11-30 | 2014-06-12 | Ubic:Kk | Document management system and document management method and document management program |
US20170235820A1 (en) * | 2016-01-29 | 2017-08-17 | Jack G. Conrad | System and engine for seeded clustering of news events |
-
2020
- 2020-08-19 JP JP2020138408A patent/JP7165165B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006331089A (en) * | 2005-05-26 | 2006-12-07 | Toshiba Corp | Method and device for generating time series data from webpage |
JP2008234338A (en) * | 2007-03-20 | 2008-10-02 | Nec Corp | Season degree analysis system, in-season degree analysis method, and season degree analysis program |
JP2011086032A (en) * | 2009-10-14 | 2011-04-28 | Hitachi Solutions Ltd | Apparatus and method for extracting change of topic |
JP2014109852A (en) * | 2012-11-30 | 2014-06-12 | Ubic:Kk | Document management system and document management method and document management program |
US20170235820A1 (en) * | 2016-01-29 | 2017-08-17 | Jack G. Conrad | System and engine for seeded clustering of news events |
Non-Patent Citations (1)
Title |
---|
与儀 涼子 外: "Twitter上で行われる議論構造可視化のための段階的クラスタリングに関する検討", 言語処理学会第18回年次大会発表論文集 チュートリアル 本会議 [CD−ROM], JPN6021024724, 31 March 2012 (2012-03-31), JP, pages 571 - 574, ISSN: 0004716558 * |
Also Published As
Publication number | Publication date |
---|---|
JP7165165B2 (en) | 2022-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11720633B2 (en) | Aggregating personalized suggestions from multiple sources | |
US20100169326A1 (en) | Method, apparatus and computer program product for providing analysis and visualization of content items association | |
US11537657B2 (en) | Systems, methods, and computer-readable products for track selection | |
WO2014070297A1 (en) | Ranking music search results | |
JP6808851B2 (en) | Topic structuring method, search result provision method, computer program and topic structuring system | |
CN104731896A (en) | Data processing method and system | |
US20140215003A1 (en) | Data processing method, distributed processing system, and program | |
US7756798B2 (en) | Extensible mechanism for detecting duplicate search items | |
KR102349522B1 (en) | Method and system for long-term relevant document clustering | |
US20240152265A1 (en) | Browsing hierarchical datasets | |
Choi et al. | Intelligent reconfigurable method of cloud computing resources for multimedia data delivery | |
KR20100083778A (en) | Acquisition and expansion of storage area network interoperation relationships | |
JP7068404B2 (en) | A method and system for providing a document timeline using clusters of issue units that are relevant over a long period of time. | |
JP2021034047A (en) | Method and system for document clustering with long-term relevance | |
US9542457B1 (en) | Methods for displaying object history information | |
CN106951434B (en) | Search method and device for search engine and programmable device | |
JP2020155108A (en) | Method and system for grouping channels in plural social network services and non-temporary computer-readable storage medium | |
JP6339249B2 (en) | Method and system for personalizing notification times in content services | |
JP2021170308A (en) | Method and system for providing breakout search terms | |
CN112148461A (en) | Application scheduling method and device | |
WO2017095421A1 (en) | Automatic selection of neighbor lists to be incrementally updated | |
JP7254880B2 (en) | CONTENT ARRANGEMENT METHOD AND COMPUTER DEVICE | |
JP6075051B2 (en) | Server apparatus, electronic conference system, and program | |
Roy | A Survey of Big Data Tools and Technologies | |
WO2013136621A1 (en) | Ft diagram data management system, client and server used in ft diagram data management system, and ft diagram data management method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200819 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221021 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7165165 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |