JP2006189918A - データマイニング支援装置 - Google Patents

Abstract

【課題】データマイニングにおいて、動画像情報や音響情報等といった人間の感覚によって定性的にクラスタリングされるのに適した情報を、判断者が効率良く、かつ高い精度でクラスタリングできるように判断者を支援すること。
【解決手段】本発明は、データマイニングのために判断者８が複数の情報群から共通の知見を抽出する場合に、効率的に抽出できるよう支援する装置である。ここで、複数の情報群は、時間的に表示内容が変化する動画像情報２ａ〜２ｃを含んでいる。そして、動画像情報２ａ〜２ｃを含む複数の画像情報のうち、判断者８によって、視覚的に類似性または共通性があり、同一のグループに属するものと判断された結果に従って、複数の画像情報のグループ化、及びこのグループを階層化して管理するクラスタリング処理部１１を備えている。
【選択図】図１

Description

本発明は、データマイニングのために人間である判断者が複数の情報群から共通の知見をクラスタリングする場合に、効率的にクラスタリングできるように支援するデータマイニング支援装置に関する。

データマイニングとは、多くのデータの中から、ある隠された法則を発見するための手法である。この種のデータマイニングでは、データを分類し、精製し、人間系では見つけることができない情報を自動的に見つけ出す「発見的アプローチ」などの方法が提案されている。

係るデータマイニングでは、計算機の性能向上により、データの処理速度や保存できるデータ容量が向上した。更には、例えば、特許文献１に示すように、数学的なアプローチによって、データマイニングを効率良く、かつ精度良く行なう方法なども発明されている。
特開２００１−２８２８１９号公報

しかしながら、このような従来のデータマイニングでは、動画像情報や音響情報からの共通性の発見については、効率良く実施することが難しく、その手法は未だに確立されていない。

例えば、上記特許文献１による従来の発明では、ある程度まとまりのある情報で統計的に共通性が見出せる情報や、マハラノビス距離などの数学的、又は幾何学的に情報の類似度が定量化される場合には、自動的かつ高速なクラスタリングが可能で、情報の共通性の発見が可能である。しかしながら、処理対象とするデータが膨大であると、それらのデータから共通的な法則を発見することが困難になる。動画像情報や音響情報には、非常に多くのパラメータが含まれており、それらのパラメータを独立に評価することが困難であるため、従来のクラスタリング手法では共通性の発見が困難である。

ところが、人間系では、動画像情報や音響情報の類似性や共通性を直感的に判断したり、見出すことが比較的容易である。ただし、人間系では、それぞれの情報にどのような属性情報（例えば、動画像情報が収集された日時情報や場所情報、あるいはサンプリング速度等）があるか、また、情報の共通的なパラメータや共通的な属性情報が具体的に何であるかを多くの情報から検索することが難しい。

本発明はこのような事情に鑑みてなされたものであり、データマイニングにおいて、動画像情報や音響情報等といった人間の感覚によって定性的にクラスタリングされるのに適した情報を、判断者が効率良く、かつ高い精度でクラスタリングできるように判断者を支援するデータマイニング支援装置を提供することを目的とする。

上記の目的を達成するために、本発明では、以下のような手段を講じる。

すなわち、本発明は、データマイニングのために判断者が複数の情報群から共通の知見を抽出する場合に、効率的に抽出できるよう支援する装置であって、複数の情報群は、時間的に表示内容が変化する動画像情報を含んでいる。更には、動画像情報に加えて、及び時間的に表示内容が変化しない静止画像情報を含めることもできる。ここで、動画像情報としては、例えば、撮像手段によって撮像された画像を連続表示してなる動画像情報、センサによる計測データを時系列にしたがって連続表示してなる動画像情報、計測データを所定の変換処理にしたがって変換した後に連続表示してなる動画像情報等である。このように、本発明は、従来の方法ではデータマイニングが困難であった時間的変化を伴う情報の分類を判断者が行うにあたり、その判断を支援するツールや情報を提供するものである。

更に本発明は、動画像情報を含む複数の画像情報のうち、判断者によって、視覚的に類似性または共通性があり、同一のグループに属するものと判断された結果に従って、複数の画像情報のグループ化、及びこのグループを階層化して管理する階層化手段と、複数の情報群に含まれる各情報の属性情報を、対応する情報に関連付けて記憶する記憶手段と、入力された抽出条件にしたがって、記憶手段から、対応する属性情報に関連付けられた情報を抽出する抽出手段とを更に備えることもできる。更にまた、階層化手段によるグループ化、及び階層化の結果から、各グループ及び階層に属する画像情報の属性情報を統計処理する統計処理手段を備えることもできる。

このような階層化手段、記憶手段、抽出手段、及び統計処理手段によって、判断者のクラスタリングの支援を効率的に行うことができるようになる。特に、統計処理手段によって、グループ化及び階層化された画像情報について、属性情報に対して統計的処理を実施することによって、判断者は、複数の画像情報についての共通性や類似性をより容易に発見できるようになる。

更には、判断者から見て全天周視界内に配置されたように複数の画像情報を表示する画像表示手段と、画像表示手段から表示された画像情報のうち、判断者によって、視覚的に類似性または共通性があり、同一のグループに属すると判断された画像情報同士を、判断者からの指示に基づいて、このグループに対して指定された、全天周視界内の所定領域内に再配置する再配置手段とを更に備えるようにしても良い。これによって、判断者は、複数の画像情報を対象としたグループ分けを、精度良く、かつ容易に行うことができるようになる。

なお、画像情報の全体又は一部に対して、色調変更、拡大、縮小、変形、回転、鏡像処理、モザイク処理、及びガンマ補正のうちの何れかの画像処理を行う画像処理手段を更に備えるようにしても良い。このような画像処理を施すことによって、複数の画像情報の共通性や類似性の判断を実行する場合に、それぞれの比較をより容易に行うことが可能となる。

更には、同一のグループに属するものとされた判断が、複数の判断者によってなされた場合には、各判断者によってなされた判断結果についての論理和及び論理積を算出し、算出結果を出力する論理計算手段を更に備えるようにしても良い。このような論理計算結果を参照することによって、個々の判断者によってなされた評価のばらつきを抑えることができ、より精度の高いデータマイニングが実現されるように支援することができる。

また、複数の動画像情報の表示タイミングを調整する調整手段と、調整手段によって表示タイミングが調整された複数の動画像情報をあわせて表示する場合における時間同期をとる同期手段とを更に備えるようにしても良い。これによって、複数の動画像情報の時間的変化を正規化することができ、もって、判断者によってなされるデータマイニングの精度を高めることができる。

更に、本発明のデータマイニング支援装置は、画像情報のみならず、時間的に音圧が変化する音響情報とすることもできる。また、この音響情報を画像情報に付帯させて取り扱うこともできる。そして、音響情報及び画像情報のうちの少なくとも何れかに対して、フィルタリング処理、フーリエ変換、及びウェーブレット変換のうちの何れかの信号処理を行い、その結果を出力することもできる。このように信号処理された結果を参照することによって、判断者は、複数の画像情報の共通性や類似性を判断する場合に、それぞれの比較をより容易に行うことが可能となる。

本発明のデータマイニング支援装置によれば、データマイニングにおいて、動画像情報や音響情報等といった人間の感覚によって定性的にクラスタリングされるのに適した情報を、判断者が効率良く、かつ高い精度でクラスタリングできるように判断者を支援することが可能となる。

以下に、本発明を実施するための最良の形態について図面を参照しながら説明する。

図１は、本発明の実施の形態に係るデータマイニング支援装置の一例を示す機能ブロック図である。

すなわち、本発明の実施の形態に係るデータマイニング支援装置は、データベース１と、データ同期再生部５と、画像表示部６と、音響発生部７と、インタフェース部９と、信号処理部１０と、クラスタリング処理部１１と、統計情報処理部１２とを備えている。

データベース１は、時間的に表示が変化する動画像情報２ａ〜２ｃを格納している。動画像情報２としては、例えば、カメラ等の図示しない撮像手段によって予め撮像された画像を連続表示してなる動画像情報、図示しないセンサによる計測データを時系列にしたがって連続表示してなる動画像情報、この計測データを所定の変換処理にしたがって変換した後に連続表示してなる動画像情報、音圧の時間的な変化を表す動画像情報等がある。

それぞれの動画像情報２ａ〜２ｃには、時間的に音圧が変化する音響情報３ａ〜３ｃが付随しており、さらに、動画像情報２ａ〜２ｃ及び音響情報３ａ〜３ｃの収集日時や収集場所、及びサンプリング速度等からなる属性情報４ａ〜４ｃが付随している。データベース１は、このような動画像情報２と、それに付随する音響情報３及び属性情報４を一組として格納している。なお、動画像情報のみならず静止画像情報を格納することもできる。更には、動画像情報２と、音響情報３及び属性情報４とからなる一組の情報に限られるものではなく、別の情報、あるいは４つ以上の情報からなる一組の情報であっても同実施の形態に係るデータマイニング支援装置は取り扱うことが可能である。

図２（ａ）、図２（ｂ）、及び図３は、データベース１に格納されている動画像情報２、音響情報３、及び属性情報４の一例である。図２（ａ）に示すような動画像情報２の例で対象としているものは、電動機の振動時系列データであり、横軸が時刻で、縦軸が振動振幅である。また、図２（ｂ）に示す例の音響情報３は、電動機から発生している音響をサンプリングした音圧データであり、横軸が時刻で、縦軸が音響強度である。

更に、属性情報４は、図３に示すように、電動機諸元、振動時系列データ諸元、音圧データ諸元からなる。電動機諸元としては、稼働日開始日、電源種別、メンテナンス実施日、巻き線種別、定格電圧、定格電流、定格回転数、極数、軸受種別、用途に関する情報を含んでいる。振動時系列データ諸元としては、センサ種類、計測レンジ、サンプリング周波数、量子化分解能、測定位置、センサ固定方法に関する情報を含んでいる。音圧データ諸元としては、センサ種類、計測レンジ、サンプリング周波数、量子化分解能、測定位置、測定距離、フィルタ種類に関する情報を含んでいる。

なお、同実施の形態では、３組の動画像情報２ａ〜２ｃを格納している例を示しているが、当然のことながら、データベース１はそれよりも多量の動画像情報２を格納することができる。またその場合、その全てが同様のデータ構造を有することは言うまでも無い。データベース１が格納している動画像情報２、音響情報３、及び属性情報４は、操作者８によってインタフェース部９から入力された例えば日時情報等の抽出条件にしたがって抽出され、信号処理部１０、クラスタリング処理部１１、及び統計情報処理部１２のうちの何れかを介した後に、データ同期再生部５に送られ、そこから更に画像表示部６と音響発生部７とに伝達されるようにしている。

データ同期再生部５は、データベース１に格納された複数の動画像情報２ａ〜２ｃを画像表示部６にて再生する際、操作者８からの操作指令に基づいて、それぞれの動画像情報２ａ〜２ｃの再生速度及び再生タイミングを同期させる機能を持つ。また、データベース１に格納された複数の音響情報３ａ〜３ｃを音響発生部７にて発生する際もまた、操作者８からの操作指令に基づいて、それぞれの音響情報３ａ〜３ｃの再生速度及び再生タイミングを同期させる機能を持つ。

このようにして画像表示部６は動画像情報２を、音響発生部７は音響情報３を、それぞれ操作者８に提示する。これに対して、操作者８は、同実施の形態に係るデータマイニング支援装置が備えているデータ同期再生機能、信号処理機能、クラスタリング処理機能、及び統計情報処理機能を行うための操作指令を、インタフェース部９から入力する。このようにしてインタフェース部９に入力された操作指令は、その指令内容に応じて信号処理部１０、クラスタリング処理部１１、及び統計情報処理部１２に伝達されるようにしている。

データ同期再生機能とは、複数の動画像情報２及び音響情報３を、画像表示部６及び音響発生部７から表示及び発生する速度やタイミングを調整し、調整された複数の動画像情報２や音響情報３を同期させる機能であり、データ同期再生部５にて実現される。操作者８が、インタフェース部９からこのような同期再生機能に関する操作指令を入力すると、インタフェース部９は、入力された操作指令を、データ同期再生部５に伝達する。すると、データ同期再生部５は、この操作指令に基づいて、複数の動画像情報２及び音響情報３を、画像表示部６及び音響発生部７から表示及び発生する速度やタイミングを同期させる。

信号処理機能とは、動画像情報２に対して画像の色調変更や拡大、縮小などの画像処理を行う機能であり、信号処理部１０にて実現される。操作者８が、インタフェース部９からこのような信号処理機能に関する操作指令を入力すると、インタフェース部９は、入力された操作指令を、信号処理部１０に伝達する。すると、信号処理部１０は、この操作指令に基づいて、動画像情報２の全体又は一部に対して色調変更、拡大、縮小、変形、回転、鏡像処理、モザイク処理、及びガンマ補正などの画像処理を行い、画像処理後の動画像情報２をデータ同期再生部５に送る。これを受けてデータ同期再生部５が、画像処理後の動画像情報２を画像表示部６から表示させることにより、操作者８に提示する。さらに、操作者８は、提示された画像を認識し、新たな画像処理のニーズがある場合は、新たな操作指令をインタフェース部９に入力する。インタフェース部９は、新たな操作指令が入力された場合も、入力された操作指令を信号処理部１０に出力する。そして、信号処理部１０が、この新たな操作指令に従って動画像情報２に対して画像処理を行い、画像処理後の動画像情報２をデータ同期再生部５に送る。このようなフィードバックを実施することで、操作者８が、動画像情報２の中から共通的な特徴を効率的に見つけることができるように支援する。

また、信号処理部１０は、画像表示部６から表示された動画像情報２が、振動信号など時系列的に変化する動画像情報２である場合、操作者８からの要求に応じてフィルタリング処理、フーリエ変換、ウェーブレット変換などの信号変換を行い、時間的に変化する周波数解析結果の動画像情報を生成し、画像表示部６から再生させる。操作者８は、このような信号変換を要求する場合には、信号変換処理に関する操作指令をインタフェース部９に入力する。インタフェース部９は、このような操作指令が入力されると、入力された操作指令を信号処理部１０に出力する。すると、信号処理部１０は、この操作指令に従って動画像情報２に対して信号変換処理を行い、信号変換処理した動画像情報２をデータ同期再生部５に送る。そして、データ同期再生部５が、信号変換処理された動画像情報２を画像表示部６から表示させることにより、操作者８に提示する。これによって、操作者８が行うデータマイニングを支援する。

クラスタリング処理機能とは、操作者８によって類似性や共通性があると判断された動画像情報２をクラスタリングし、クラスタリングされた各動画像情報２をそれぞれグループ化し、さらに各グループを階層化して管理する機能であり、クラスタリング処理部１１によって実現される。操作者８が、複数の動画像情報２を比較した結果、これら動画像情報２に類似性や共通性があると判断した場合には、その判断情報（例えば、類似性や共通性があると判断した動画像情報のデータ名）を、インタフェース部９に入力する。すると、インタフェース部９は、入力された判断情報を、クラスタリング処理部１１に伝達する。クラスタリング処理部１１では、この判断情報に基づいて、該当する動画像情報２をクラスタリングしてグループ毎に分類し、更に、分類された各グループを階層化して管理する。このように階層化して管理されたグループは、要求された場合には、データ同期再生部５に送られ、更に画像表示部６から表示されるようにしている。

図４は、画像表示部６から表示された複数の電動機の振動時系列データに対して、クラスタリング処理部１１で行われたクラスタリングの結果の一例を示す図である。図５に示すように、画像表示部６は、複数の動画像情報２ａ〜２ｉを同時に表示する。これにより、操作者８が、類似性や共通性がある動画像情報と、そうではない動画像情報とを容易に判断できるようにしている。操作者８は、この判断に基づいて、複数の動画像情報２ａ〜２ｉのクラスタリングの指示をインタフェース部９に入力する。

例えば、振動時系列データの波形の振幅が、ゆっくりと変動するものと、あまり変動しないものとがある場合、操作者８は、インタフェース部９に対して並列な２つのエリアを作成するよう指示する。この指示は、インタフェース部９からクラスタリング処理部１１に送られ、クラスタリング処理部１１は、並列な２つのエリアを作成し、画像表示部６は、作成された２つのエリアを形成し、表示する。図４中に示すエリアＡ及びエリアＢが、この２つのエリアに相当する。すなわち、エリアＡが、振動時系列データの波形の振幅がゆっくりと変動する動画像情報のためのエリアであり、エリアＢが、振動時系列データの波形の振幅があまり変動しない動画像情報のためのエリアである。操作者８は、インタフェース部９に操作情報を入力することによって、画像表示部６から表示されているエリア（エリアＡ、エリアＢ、エリアＡとエリアＢとの共通エリアＣ、エリアＡにもエリアＢにも該当しないエリアＤ）のいずれかに各動画像情報２ａ〜２ｉのそれぞれを移動させることによって、これら複数の動画像情報２ａ〜２ｉをグループ分けする。図４に示す例では、ゆっくりと変動するエリアＡには動画像情報２ａ〜２ｅが、あまり変動しないエリアＢには動画像情報２ｇ〜２ｈがそれぞれグループ分けされている。また、動画像情報２ｆは、ゆっくりと変動するものと、あまり変動しないものとの共通エリアＣに、動画像情報２ｉは、ゆっくりと変動するものにも、あまり変動しないものにも該当しないエリアＤにそれぞれグループ分けされている。

統計情報処理機能とは、クラスタリング処理部１１でグループ分けされ、階層化して管理されている動画像情報２ａ〜２ｉに付随する属性情報４ａ〜４ｉを統計処理する機能であり、統計情報処理部１２にて実現される。すなわち、統計情報処理部１２は、クラスタリング処理部１１でグループ分けされ、階層化して管理されている動画像情報２ａ〜２ｉに付随する属性情報４ａ〜４ｉを統計処理する。統計処理される属性情報４ａ〜４ｉは、対応する動画像情報２ａ〜２ｉが収集された日時や条件等の属性であり、具体的な統計処理内容としては、これら動画像情報２ａ〜２ｉのヒストグラムや平均値、ヒストグラムから求められた確率密度関数に基づく分散や標準偏差、ひずみ度や尖り度などの統計量等である。また、統計情報処理部１２は、複数の操作者８によって評価された結果の統計処理を行うことも可能である。

図６及び図７は、グループ別の属性情報４を、統計情報処理部１２で処理した結果の一例を示す図である。図６は、振動時系列データがゆっくり変動する（図４に示すエリアＡに相当する）グループＡと、振動時系列データがほとんど変動しない（図４に示すエリアＢに相当する）グループＢとについて、定格回転数と台数との関係を示すヒストグラムの一例である。図７は、振動時系列データがゆっくり変動する（図４に示すエリアＡに相当する）グループＡと、振動時系列データがほとんど変動しない（図４に示すエリアＢに相当する）グループＢとについて、電動機の極数と台数との関係を示すヒストグラムの一例である。

図６（ａ）及び図６（ｂ）から、グループＡとグループＢとの間に、定格回転数には有意な差は無いことがわかる。一方、図７（ａ）及び図７（ｂ）から、グループＡとグループＢとの間には、極数に有意な差があることが分かる。したがって、このように統計処理した結果を検討することにより、操作者８は、各グループ別の共通的な因子を発見することができるようになる。同実施の形態に係るデータマイニング支援装置は、このようにして操作者８が行うデータマイニングを支援する。

図８は、複数の操作者８によるクラスタリング結果を統計情報処理部１２で処理した結果の例である。図８に示す例は、４人の操作者８（＃１〜＃４）によってなされたクラスタリングの結果をまとめたものである。例えば、操作者８（＃１）は、グループＡ（ゆっくりと変動する）には、動画像情報２ａ，２ｂ，２ｃ，２ｄが該当し、グループＢ（あまり変動しない）には動画像情報２ｅ，２ｆ，２ｇ，２ｈが該当し、グループＤ（その他）には動画像情報２ｉが該当するものと判断している。それに対して別の操作者８（＃２〜＃４）は、それぞれ大筋似ているものの、一部が若干異なる判断をしている。すなわち、人間系の定性的な評価は、個人差が含まれているため、クラスタリングの結果は必ずしも常に同一となるとは限らないという例を図８は示している。

このため、統計情報処理部１２は更に、複数の操作者８（＃１〜＃４）の評価結果情報を、論理和や論理積などで代数処理し、再クラスタリングすることによって、人間系による評価のばらつきを抑制する。図８に示すように、これら複数の操作者８（＃１〜＃４）の評価結果の論理和をとると、これら操作者８（＃１〜＃４）のうちのいずれかによってグループＡに属すると判断された動画像情報は２ａ，２ｂ，２ｃ，２ｄ，２ｅ，２ｆ，２ｉであり、同様にグループＢに属すると判断された動画像情報は２ｅ，２ｆ，２ｇ，２ｈであり、同様にグループＤに属すると判断された動画像情報は２ａ，２ｂ，２ｃ，２ｉであると把握できるようになる。また、これら複数の操作者８（＃１〜＃４）の評価結果の論理積をとると、これら操作者８（＃１〜＃４）の全員によってグループＡに属すると判断された動画像情報は２ｄであり、同様にグループＢに属すると判断された動画像情報は２ｇ，２ｈであり、同様にグループＤに属すると判断された動画像情報は存在しないと把握できるようになる。同実施の形態に係るデータマイニング支援装置は、このような論理和及び論理積の結果を参照することにより、操作者８が、より精度良く再クラスタリングできるようにしている。

更に、再クラスタリングされたグループに対して、図６及び図７で示したような統計処理を実施することによって、操作者８が、再クラスタリングの結果を確認できるようにしている。

以上は、動画像情報２のクラスタリングについて記載したが、上述したようなクラスタリング方法は、動画像情報２のクラスタリングに限るものではなく、人間系によって定性的にクラスタリングされるものであればその他の情報であっても適用可能である。例えば、時間的に音圧が変化する音響情報３も、人間の聴覚によって定性的にクラスタリングされる情報であるため、適用することが可能である。

次に、以上のように構成した本発明の実施の形態に係るデータマイニング支援装置の動作について図９及び図１０に示すフローチャートを用いて説明する。

図１に示す例では、データベース１には、時間的に表示が変化する動画像情報２ａ〜２ｃと、それに付随する音響情報３ａ〜３ｃ及び属性情報４ａ〜４ｃとが組になって格納されている。

このようにデータベース１に格納されている複数の動画像情報２ａ〜２ｃに対して、操作者８がデータマイニングを行う場合には、操作者８は、データマイニングの対象とする動画像情報２ａ〜２ｃを抽出するための抽出条件をインタフェース部９から入力する。インタフェース部９に抽出条件が入力されると、入力された抽出条件に該当する動画像情報２及びそれに付随する音響情報３及び属性情報４がデータベース１から抽出される（Ｓ１）。

ステップＳ１で抽出された情報は、信号処理部１０、クラスタリング処理部１１、及び統計情報処理部１２のうちの何れかを介した後にデータ同期再生部５に送られる。そして、そのうちの動画像情報２は、更にデータ同期再生部５から画像表示部６に送られ、そこから表示される。一方、データ同期再生部５に送られた情報のうち音響情報３は、更にデータ同期再生部５から音響発生部７に送られ、そこから音声出力される（Ｓ２）。

このようにして画像表示部６から動画像情報２が、音響発生部７から音響情報３が、それぞれ操作者８に提示される。これに対して、操作者８は、同実施の形態に係るデータマイニング支援装置が備えているデータ同期再生機能、信号処理機能、クラスタリング処理機能、及び統計情報処理機能を行うための操作指令を、インタフェース部９から入力する。

例えば、操作者８が、画像表示部６から表示される複数の動画像情報２の表示速度やタイミングの同期を調整したり、あるいは音響発生部７から出力される複数の音響情報３の発生速度やタイミングの同期を調整したりする場合（Ｓ３：Ｙｅｓ）には、操作者８によって、これら同期再生機能に関する操作指令がインタフェース部９に入力される（Ｓ４）。

この操作指令は、インタフェース部９からデータ同期再生部５に送られる。そして、データ同期再生部５では、この操作指令に基づいて、画像表示部６から表示する動画像情報２や、音響発生部７から発生される音響情報３の速度や、タイミングの同期化が図られる（Ｓ５）。これによって、複数の動画像情報２や音響情報３の時間的変化を正規化することができ、もって、操作者８は、複数の動画像情報２や音響情報３の類似点や共通点を容易に把握することが可能となる。

また、操作者８が、画像表示部６から表示される動画像情報２の色調変更や拡大、縮小、変形、回転、鏡像処理、モザイク処理、及びガンマ補正などの画像処理を行う場合（Ｓ６：Ｙｅｓ）には、操作者８によって、これら信号処理機能に関する操作指令がインタフェース部９に入力される（Ｓ７）。

この操作指令は、インタフェース部９から信号処理部１０に送られる。そして、信号処理部１０では、この操作指令に基づいて、動画像情報２の全体又は一部に対して画像処理が行われ、画像処理後の動画像情報２がデータ同期再生部５に送られ、更に画像表示部６から表示される（Ｓ８）。このように、操作者８の要求に応じて、動画像情報２を画像処理することができるので、操作者８は、複数の動画像情報２の中から共通的な特徴を効率的に見つけることが可能となる。

また、画像表示部６から表示される動画像情報２が、振動信号など時系列的に変化する情報である場合、操作者８は、フィルタリング処理、フーリエ変換、ウェーブレット変換などの信号変換を行うことができる。この場合（Ｓ９：Ｙｅｓ）には、操作者８によって、これら信号変換処理に関する操作指令がインタフェース部９に入力される（Ｓ１０）。

この操作指令は、インタフェース部９から信号処理部１０に送られる。そして、信号処理部１０では、この操作指令に基づいて、動画像情報２に対して信号変換処理が行われ、信号変換処理後の動画像情報２がデータ同期再生部５に送られ、更に画像表示部６から表示される（Ｓ１１）。このように信号変換処理された動画像情報２を操作者８が見ることによって、操作者８は、複数の動画像情報２の中から共通的な特徴を効率的に見つけることが可能となる。

以上説明したように、ステップＳ５においてタイミングが同期化されて表示された動画像情報２や音響情報３、ステップＳ８において画像処理されて表示された動画像情報２、ステップＳ１１において信号変換処理された表示された動画像情報２を操作者８が参照することによって、操作者８は、複数の動画像情報２の中から、類似性や共通性のある動画像情報２を精度良く判断できるようになる。操作者８は、この判断を行う（Ｓ１２）と、次に、クラスタリング処理部１１によって、動画像情報２のクラスタリングが行われる。

このクラスタリング処理を行う場合は、まず、操作者８によって、インタフェース部９に、ステップＳ１２で行われた判断の内容である判断情報（例えば、類似性や共通性があると判断した動画像情報のデータ名）が入力される（Ｓ１３）。

この判断情報は、インタフェース部９からクラスタリング処理部１１に送られる。そして、クラスタリング処理部１１では、この判断情報に基づいて、該当する動画像情報２がクラスタリングされて、グループ毎に分類される。そして、この分類された各グループは、階層化して管理される（Ｓ１４）。このように管理された動画像情報２は、操作者８からインタフェース部９を介して表示要求があった場合には、データ同期再生部５に送られ、更に画像表示部６から表示される。

同実施の形態に係るデータマイニング支援装置は、統計情報処理部１２によって、ステップＳ１４のように階層化して管理された動画像情報２ａ〜２ｉに付随する属性情報４ａ〜４ｉに対して、ヒストグラムや平均値、ヒストグラムから求められた確率密度関数に基づく分散や標準偏差、ひずみ度や尖り度などの種々の統計処理を行うことも可能である。このように統計処理した結果を検討することにより、操作者８は、各グループ別の共通的な因子をより詳細に発見することも可能となる。

更には、統計情報処理部１２によって、複数の操作者８によって評価された結果に対して、論理積や論理和ととるというような統計処理を行うことも可能である。したがって、複数の操作者８によって、それぞれ異なるクラスタリングの判断がなされている場合であっても、各操作者８によって行われた判断の内容を客観的に評価できるようになる。

以上説明したように、同実施の形態に係るデータマイニング支援装置を利用することにより、操作者８は、動画像情報２や音響情報３といった人間の感覚によって定性的にクラスタリングせざるを得ない情報についても、その類似性や共通性を客観的に判断できるようになる。このように、同実施の形態に係るデータマイニング支援装置は、操作者８が、動画像情報２や音響情報３といった人間の感覚によって定性的にクラスタリングする情報のクラスタリングであっても、容易にかつ、高い精度で実施することができるように支援することが可能となる。

以上、本発明を実施するための最良の形態について、添付図面を参照しながら説明したが、本発明はかかる構成に限定されない。特許請求の範囲の発明された技術的思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の技術的範囲に属するものと了解される。

例えば、図１１は、同実施の形態に係るデータマイニング支援装置の画像表示部６の表示方法の一例を示す図である。この例では、操作者８の周りを取り囲むような全周型の画像表示部６としている。更に、画像表示部６の表面には、複数のサブ表示画面１３を配置している。これらサブ表示画面１３は、操作者８からの指示によって、その配置場所を、画像表示部６の任意の場所に移動できるようにしている。

サブ表示画面１３は、データマイニングする情報（例えば、動画像情報２）を、個別単位で表示するように備えられている。そして、図１２に示すように、データマイニングする動画像情報２等の画像情報を表示する主画面１７と、主画面１７に組み込まれて配置された子画面１４、プロパティ表示画面１５、及び音響再生スイッチ１６とを備えている。

このような構成によって、主画面１７からは、例えば時系列変化を表す動画像情報２を表示し、子画面１４からは、主画面１７から表示されている動画像情報２に対応する時系列データの周波数分析結果を表示し、プロパティ表示画面１５からは、表示されている時系列データの収集日などの属性情報を表示することもできる。このように、サブ表示画面１３は、いくつかの情報を同時に表示する機能がある。また、サブ表示画面１３は、操作者８から、音響再生スイッチ１６の動作指示を受けると、主画面１７から表示されている動画像情報２に付随した音響情報３を音響として再生する。

このような画像表示部６を備えたデータマイニング支援装置を利用することによって、操作者８は、各サブ表示画面１３の主画面１７から表示された動画像情報２を見比べたり、子画面１４から所望の情報を表示させて、それを見比べたりすることができるようになる。これによって、視覚的に類似性または共通性がある情報を、容易に、かつ精度良く判断することが可能となる。更に、各サブ表示画面１３は、操作者８からの指示によって、その配置場所を、画像表示部６の任意の場所に移動することができるので、操作者８は、類似性や共通性があると判断した情報が表示されているサブ表示画面１３同士を、互いに近接させて再配置することができる。これによって、操作者８によるより効率的なクラスタリングを支援することが可能となる。

本発明の実施の形態に係るデータマイニング支援装置の一例を示す機能ブロック図。 動画像情報を時刻に対する振動振幅として示した波形図の例と、音響情報を時刻に対する音響強度として示した波形図の例。 データベースに格納されている属性情報の一例を示すデータ構成図。 クラスタリングされた複数の振動時系列データが画像表示部から表示された状態の一例を示す概念図。 クラスタリングされる前の複数の振動時系列データが画像表示部から表示された状態の一例を示す図。 グループ別の属性情報を、統計情報処理した結果の一例を示すヒストグラム（定格回転数に対する台数）。 グループ別の属性情報を、統計情報処理した結果の一例を示すヒストグラム（極数に対する台数）。 複数の操作者によるクラスタリング結果を統計情報処理した結果の一例を示す図。 本発明の実施の形態に係るデータマイニング支援装置の動作を示すフローチャート（前半）。 本発明の実施の形態に係るデータマイニング支援装置の動作を示すフローチャート（後半）。 本発明の実施の形態に係るデータマイニング支援装置の画像表示部の表示方法の一例を示す概念図。 サブ表示画面の詳細構成例を示す概念図。

符号の説明

１…データベース、２…動画像情報、３…音響情報、４…属性情報、５…データ同期再生部、６…画像表示部、７…音響発生部、８…操作者、９…インタフェース部、１０…信号処理部、１１…クラスタリング処理部、１２…統計情報処理部、１３…サブ表示画面、１４…子画面、１５…プロパティ表示画面、１６…音響再生スイッチ、１７…主画面

Claims (13)

1. データマイニングのために判断者が複数の情報群から共通の知見を抽出する場合に、効率的に抽出できるよう支援する装置であって、
   前記複数の情報群は、時間的に表示内容が変化する動画像情報を含んでいることを特徴とするデータマイニング支援装置。
2. データマイニングのために判断者が複数の情報群から共通の知見を抽出する場合に、効率的に抽出できるよう支援する装置であって、
   前記複数の情報群は、時間的に表示内容が変化する動画像情報、及び時間的に表示内容が変化しない静止画像情報を含んでいることを特徴とするデータマイニング支援装置。
3. 請求項１または請求項２に記載のデータマイニング支援装置において、
   前記動画像情報を含む複数の画像情報のうち、前記判断者によって、視覚的に類似性または共通性があり、同一のグループに属するものと判断された結果に従って、前記複数の画像情報のグループ化、及びこのグループを階層化して管理する階層化手段を備えたことを特徴とするデータマイニング支援装置。
4. 請求項３に記載のデータマイニング支援装置において、
   前記複数の情報群に含まれる各情報の属性情報を、対応する情報に関連付けて記憶する記憶手段と、
   入力された抽出条件にしたがって、前記記憶手段から、対応する属性情報に関連付けられた情報を抽出する抽出手段と
   を更に備えたことを特徴とするデータマイニング支援装置。
5. 請求項４に記載のデータマイニング支援装置において、
   前記階層化手段によるグループ化、及び階層化の結果から、各グループ及び階層に属する画像情報の属性情報を統計処理する統計処理手段を更に備えたことを特徴するデータマイニング支援装置。
6. 請求項３乃至５のうちいずれか１項に記載のデータマイニング支援装置において、
   前記同一のグループに属するものとされた判断が、複数の判断者によってなされた場合には、前記各判断者によってなされた判断結果についての論理和及び論理積を算出し、算出結果を出力する論理計算手段を更に備えたことを特徴とするデータマイニング支援装置。
7. 請求項１または請求項２に記載のデータマイニング支援装置において、
   前記判断者から見て全天周視界内に配置されたように複数の画像情報を表示する画像表示手段と、
   前記画像表示手段から表示された画像情報のうち、前記判断者によって、視覚的に類似性または共通性があり、同一のグループに属すると判断された画像情報同士を、前記判断者からの指示に基づいて、このグループに対して指定された、前記全天周視界内の所定領域内に再配置する再配置手段と
   を更に備えたことを特徴とするデータマイニング支援装置。
8. 請求項３乃至７のうちいずれか１項に記載のデータマイニング支援装置において、
   複数の動画像情報の表示タイミングを調整する調整手段と、
   前記調整手段によって表示タイミングが調整された複数の動画像情報をあわせて表示する場合における時間同期をとる同期手段と
   を更に備えたことを特徴とするデータマイニング支援装置。
9. 請求項１乃至８のうち何れか１項に記載のデータマイニング支援装置において、
   前記動画像情報は、撮像手段によって撮像された画像を連続表示してなる動画像情報、センサによる計測データを時系列にしたがって連続表示してなる動画像情報、前記計測データを所定の変換処理にしたがって変換した後に連続表示してなる動画像情報のうちの何れかを含んでいることを特徴とするデータマイニング支援装置。
10. 請求項１乃至９のうち何れか１項に記載のデータマイニング支援装置において、
    前記データマイニングの対象とされた画像情報の全体又は一部に対して、色調変更、拡大、縮小、変形、回転、鏡像処理、モザイク処理、及びガンマ補正のうちの何れかの画像処理を行う画像処理手段を更に備えたことを特徴するデータマイニング支援装置。
11. 請求項１乃至１０のうち何れか１項に記載のデータマイニング支援装置において、
    前記動画像情報に、時間的に音圧が変化する音響情報を付帯させたことを特徴とするデータマイニング支援装置。
12. データマイニングのために判断者が複数の情報群から共通の知見を抽出する場合に、効率的に抽出できるよう支援する装置であって、
    データマイニングする対象情報を、時間的に音圧が変化する音響情報、又は前記音圧の時間的な変化を表す動画像情報としたことを特徴とするデータマイニング支援装置。
13. 請求項１１又は請求項１２に記載のデータマイニング支援装置において、
    前記音響情報及び画像情報のうちの少なくとも何れかに対して、フィルタリング処理、フーリエ変換、及びウェーブレット変換のうちの何れかの信号処理を行う信号処理手段を更に備えたことを特徴とするデータマイニング支援装置。

Images