JP2014092878A - 分類モデル更新支援装置及び方法及びプログラム - Google Patents

Abstract

【課題】 実サービスを継続しながら、過去データへの影響度合いをある程度、確認しつつ、分類モデルを改善する。
【解決手段】 本発明は、新学習データ記憶手段の新モデルの分類結果と、外部のデータ分類結果記憶手段から取得した現行モデル分類結果の差分比較結果を、ユーザ端末に対して提示する。また、現行モデルと新モデルの要素の差分をユーザ端末に提示し、ユーザに確認させる。さらに、現行モデルの誤検出の要因について、学習用データ記憶手段の情報を抽出し、ユーザ端末に提示する。
【選択図】 図１

Description

本発明は、分類モデル更新支援装置及び方法及びプログラムに係り、特に、ドキュメントに記載されている内容をいくつかのクラス（カテゴリ）に分類するための分類モデル更新支援装置及び方法及びプログラムに関する。

入力されるドキュメント群を予め決められた分野に仕分けするために、クラス分類という技術があり、機械学習を使って分類モデルを作成し、そのモデルに基づいて分類する技術がある（例えば、非特許文献1参照）。

Taku Kudo, Yuji Matsumoto (2004). A Boosting Algorithm for Classification of Semi-Structured Text, EMNLP 2004.

しかしながら、分類モデルを機械学習を用いて学習するためには、正解データを十分に用意する必要があり、正解データを作成することがクラス分類を実サービスで利用する場合の1つの課題となる。というのは、まず、実サービスにおいて分類したいドキュメントが予め全て入手できるわけではなく、また、場合によってはサービスを開始した後に、当初、想定したクラス分類とは異なるクラスが必要であることが判明する場合もある。

さらに、正解データを人手で作成する時にヒューマンエラーによる誤分類や、分類基準のブレによる正解データ間の矛盾等も生じ得る。

また、分類モデルをサービスの途中で変更しようとした場合、モデルの変更が過去のデータにどのような影響を及ぼすか不明なため、新しいモデルで全ての過去データを再分類し直すことが検討されるが、しかし、一般的に過去データはすでに固定されて外部に提供済みである場合が多く、実サービスとしては非現実的であることが多い。したがって、一般的にはサービス途中でのモデルの変更は全く実施されないことが多い。

本発明は、上記の課題に鑑みてなされたもので、実サービスを継続しながら、過去データへの影響度合いをある程度、確認しつつ、分類モデルを改善していくための分類モデル更新支援装置及び方法及びプログラムを提供することを目的とする。

上記の課題を解決するため、本発明（請求項１）は、入力される文書の内容をカテゴリに分類するための分類モデル更新支援装置であって、
現行モデルを保持する学習データ記憶手段と、
新モデルを保持する新学習用データ記憶手段と、
前記新学習データ記憶手段の前記新モデルの分類結果と、外部のデータ分類結果記憶手段から取得した現行モデル分類結果の差分比較結果をユーザ端末に対して提示する分類差分検証手段と、を有する。

また、本発明（請求項２）は、前記分類差分検証手段において、前記現行モデルと前記新モデルの要素の差分を前記ユーザ端末に提示する手段を含む。

また、本発明（請求項３）は、前記現行モデルの誤検出の要因について、分類モデルを機械学習する際に用いたデータを格納する学習用データ記憶手段の情報を抽出し、前記ユーザ端末に提示する分類根拠抽出手段を含む。

本発明により、学習データの不備または最新データへの追随を、過去データに対する影響度合いをある程度確認しながら、現実的に実施していくことにより、分類モデルの精度をデータに合わせてメンテナンスしていくことができる。

本発明の一実施の形態における分類モデル更新支援装置の構成図である。 本発明の一実施の形態における分類モデル更新支援装置の処理のフローチャートである。 本発明の一実施の形態における商品名を用いたカテゴリ分類の例である。 本発明の一実施の形態におけるモデル差分提示例である。

以下、図面と共に本発明の実施の形態を説明する。

図１は、本発明の一実施の形態における分類モデル更新支援装置の構成を示す。

同図に示す分類モデル更新支援装置１は、データ制御＆提示部（GUI）１１、分類根拠抽出部１２、新学習用データ生成部１３、分類モデル学習部１４、分類差異検証部１５、学習用データ記憶部１６、新学習用データ記憶部１７、新学習結果記憶部１８、学習結果記憶部１９を有し、データ制御＆提示部１１は、外部のデータ分類結果記憶部２とユーザ端末３に接続されている。

学習用データ記憶部１６には分類モデルを機械学習する際に用いたデータ群が保持されている。また、学習された分類モデルは、要素とその要素の重みスコアで構成されているものとし、その内容は学習結果記憶部１９に保持される。なお、実際のサービスでデータ分類を実行する際には、この学習結果をバイナリ化して処理速度を向上させて使うことが一般的である。

データ制御＆提示部１１は、分類根拠抽出部１２、新学習用データ生成部１３、分類モデル学習部１４、分類差異検証部１５と接続され、分類モデルを管理するユーザの指示を受けて、接続される各部と連携して動作し、ユーザ端末３に対して様々なデータを表示するための機能であり、WebアプリなどのGUIで実現されることを想定している。データ制御＆提示部１１は、ユーザからの要求に基づいて、外部に接続されているデータ分類結果記憶部２からサンプル的にデータを抽出し、ユーザ端末３に出力する。これにより、ユーザは、分類結果が正しいかどうか、確認することができる。分類結果が正しくなかった場合は、ユーザ端末３から分類根拠が要求される。

分類根拠抽出部１２は、データ制御＆提示部１１を介して分類根拠の要求を受け取ると、そのデータをそのカテゴリに分類した根拠を、学習結果記憶部１９を参照して抽出し、データ制御＆提示部１１を介してユーザ端末３に提示する。その結果、ユーザが学習データを変更することによって学習モデルに改善の余地があると判断した場合には、データ制御＆提示部１１に、追加したい学習データを指示する。

新学習用データ生成部１３は、データ制御＆提示部１１を介して追加したい学習データを受け取ると、新学習用データの生成を行い、新学習用データ記憶部１７に格納する。

分類モデル学習部１４は、データ制御＆提示部１１からの指示により、新学習用データ記憶部１７に格納されたこの新学習用データを元に機械学習を行い、その結果を新学習結果記憶部１８に保持する。

分類差異検証部１５は、データ制御＆提示部１１を介してユーザより指定されたデータについて、学習データ記憶部１６の現行モデルと新学習用データ記憶部１７の新モデルの要素の差分を抽出する機能と、新学習結果記憶部１８の新モデルによるカテゴリ分類を実施し、その結果とデータ分析結果記憶部２の過去の分類結果を比較し差分の有無を検証する機能を有する。但し、そのデータの分類結果を生成した以降に学習モデルを変更しているなど、過去の分類結果が現行のモデルとは異なる場合もあり得るので、分類モデル学習部１４において、指定されたデータを現行モデルによる分類を再度実行してから比較してもよい。

分類モデル更新支援装置１の外部にあるデータ分類結果記憶部２は、実際のサービスで分類対象として入力されたデータとその分類結果を保持している。

図２は、本発明の一実施の形態における分類モデル更新支援装置の処理のフローチャートである。

ユーザ端末３から過去の分類結果に対する調査要求があった場合（ステップ１０１,Yes）、分類モデル更新支援装置１の分類根拠抽出部１２は、学習結果記憶部１９の分類モデル（要素,要素の重みのスコア）を参照し、抽出された分類根拠の結果を、データ制御＆提示部１１を介してユーザ端末３に提示する（ステップ１０２）。

その結果、ユーザ端末３から学習データとして追加したいデータの条件の指定があった場合（ステップ１０３,Yes）、学習用データ記憶部１６の学習用データもしくはデータ分類結果記憶部２の実データから条件を満たす候補データを抽出し、ユーザに提示する（ステップ１０４）。追加データ条件の指定がない場合は（ステップ１０３,No）、次のデータ要求があるかを判定し、ある場合は（ステップ１０９,有り）、ステップ１０２に移行して上記の処理を繰り返す。ない場合は（ステップ１０９,無し）、当該処理を終了する。

さらにユーザから新学習用データとして採用すべきデータの指定があった場合には（ステップ１０５,あり）、新学習用データ生成部１３は、そのデータを追加した新学習用データを生成して新学習用データ記憶部１７に格納する。次に、分類モデル学習部１４が新学習用データ記憶部１７の新学習用データを元に機械学習して新しい分類モデルを生成し、新学習結果記憶部１８に格納する。分類差異検証部１５において、新学習結果記憶部１８の新しい分類モデルと学習結果記憶部１９の現行の分類モデルの差分を抽出し、データ制御＆提示部１１を介してユーザに提示する（ステップ１０６）。

ユーザは、提示された新しい分類モデルに特に問題が無さそうであれば、差分検証の実施を指示する（ステップ１０７,有り）。差分検証の条件として、検証データ範囲、停止差異カウント数、検証時間を指定することができる。分類差異検証部１５は、ユーザから提示された過去データについて、新学習用データ記憶部１７の新モデルによる分類の実施と、その分類結果とデータ分類結果記憶部２の過去の分類結果との比較を実施し、差分があればそれをユーザに提示する（ステップ１０８）。

一方、ユーザが、新しい分類モデルと現行の分類モデルで問題があると判断すれば（ステップ１０７,無し）、追加する学習データの指定を変更するか、または、追加データの条件を変更し、新たな追加候補データを抽出して、新学習データの生成からやり直すことができる（ステップ１０５）。

分類差異検証部１５による新モデルの差分検証の結果、一部の分類結果が悪化することもあり得るが、全体として新モデルの方が望ましい分類結果を出すことが判断できた場合、ユーザは新モデルへの更新を指示し、分類モデル更新支援装置１は、学習用データ記憶部１６の内容を新学習用データ記憶部１７の学習データで更新し、学習結果記憶部１９の内容を新学習結果記憶部１８のモデルで更新する。

また、分類差異検証部１５の差分検証は大量データで実施することが望ましく、時間のかかる処理であるため、複数の誤分類データの調査を実施し対応できるような新モデルに対して差分検証を要求することもできる。

なお、誤分類の根拠を確認し、学習データの精査では解決が難しいと判断された場合には、このデータへの対応を実施しないという判断もある。

図３は、本発明の一実施の形態における商品名を用いたカテゴリ分類の例を示す。

ユーザが、「ストール」カテゴリに分類されたデータID：50929027について調査要求を指示すると（ステップ１０１,Yes）、分類根拠抽出部１２は、学習結果記憶部１９を参照し、当該ID:50929027に対応する分類結果をデータ制御＆提示部１１を介してユーザ端末３に提示する（ステップ１０２）。例えば、ユーザからの要求が同図（ｂ）（商品名：チェック柄ポケット付きショールカラーロンパース）であるとする。「ストール」カテゴリの分類モデルが同図（ａ）である場合に（ｂ）のデータを適用した結果、同図（ｃ）に示すような判定結果がユーザに提示される。ここで、同図（ａ）の『（全体）-0.92466732』はそのカテゴリの基準となる値であり、カテゴリのスコアを求める際に全てのデータに加算される値である。同図（ｃ）の太字で記載されているカテゴリ要素の値を加算すると当該「ストール」のカテゴリのスコアは0.002217となり、「ストール」のカテゴリのスコアが、他のカテゴリのスコアと比較して高いため、判定結果として提示される。

本来、図３（ｂ）に記載の商品（チェック柄ポケット付ショールカラーロンパース）は、「ベビー服」に分類されるべきであるが、同図（ａ）では「ショール」という要素の正のスコアが高く、「ショール」と「カラー」の両方が要素として含まれた場合の負のスコアが相対的に低く、また「ストール」に多用されるチェック柄が要素に含まれているために、「ストール」カテゴリに誤判定されたことが確認できる。

この場合、新学習用データ生成部１３において、「ショールカラー」の負例を学習データに増やすことによって、新学習用データ記憶部１７の「ショール＆カラー」要素に対する負のスコアを高くすることが期待できる。

ユーザが「ショールカラー」を含むデータを分類モデル更新支援装置１に要求し、結果として提示されたデータの一部または全部を新しい学習データとして追加することを指示する（ステップ１０５,有り）。

図４は、本発明の一実施の形態における新学習用データ生成部によって生成された分類モデルの差分の例を示す。

同図（a）の表は、学習用データ記憶部１６の現行モデルと新学習用データ記憶部１７の新しいモデルの要素の比較結果を示したものであり、新学習用データ記憶部１７に『ストール」に分類されない学習データを増やしたことにより、そのカテゴリの（全体）スコアが下がり、また、「チェック柄」のスコアも下がり、新たに「ポケット」が負の要素として追加されている。そして期待どおりに「ショール＆カラー」の負のスコアが高くなっていることが確認できる。

この例では、現行モデルには存在しなかった要素が追加されたが、逆に現行モデルにあった要素が消えることもあり得る。

ユーザは、分類モデル学習部１４において、新学習用データ記憶部１７の新データで作成されたモデルで問題無いと判断できれば、比較検証の実施を分類モデル更新支援装置１に指示するが、その際、図４（ｂ）に示すように、比較検証の条件として、データ範囲や検証時間、また、現行モデルとの分類結果の差異があまりに多い場合に検証を中止できるよう、停止差異カウント数などを指定できる。この例では、データ分類結果記憶部２に格納されている過去の分類済みデータの中からデータIDが59000001〜60000000である範囲を指定し、最大の検証時間を8時間、停止差異カウント数として10000を指定している。

分類差異検証部１５の差分検証処理は、全データ範囲を実行するか、8時間経つか、または差分が10000件を超えた場合に停止し、差分比較結果をユーザに提示する。図４（ｃ）の表は提示された差分結果の例である。この例では「ショールカラージャケット」は現行と同じく「ジャケット」カテゴリに分類されているが、そのスコアは上がっており、また「ショールカラーロンパース」は「ストール」カテゴリのスコアが下がった結果、正しいカテゴリである「ベビー服」に分類されるようになっている。また、「チェック柄ウールストール」は、「チェック柄」のスコアが下がった結果、新スコアが下がっているが、現行モデルと同じく新モデルでも「ストール」に分類できていることが確認できる。

ここで、想定外の差分が生じているようであれば、新学習用データ生成部１３の新モデルのデータの生成に戻ってやり直すことができ、ユーザが更新しても問題無いと判断できる新モデルが生成できた場合には、分類モデル学習部１４において、実サービスの分類モデルを変更する。

本発明は、図１に示す分類モデル更新支援装置１の各構成要素の動作をプログラムとして構築し、分類モデル更新支援装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１ 分類モデル更新支援装置
２ データ分類結果記憶部
３ ユーザ端末
１１ データ制御＆提示部
１２ 分類根拠抽出部
１３ 新学習用データ生成部
１４ 分類モデル学習部
１５ 分類差異検証部
１６ 学習用データ記憶部
１７ 新学習用データ記憶部
１８ 新学習結果記憶部
１９ 学習結果記憶部

Claims (7)

1. 入力される文書の内容をカテゴリに分類するための分類モデル更新支援装置であって、
   現行モデルを保持する学習データ記憶手段と、
   新モデルを保持する新学習用データ記憶手段と、
   前記新学習データ記憶手段の前記新モデルの分類結果と、外部のデータ分類結果記憶手段から取得した現行モデル分類結果の差分比較結果をユーザ端末に対して提示する分類差分検証手段と、
   を有することを特徴とする分類モデル更新支援装置。
2. 前記分類差分検証手段は、
   前記現行モデルと前記新モデルの要素の差分を前記ユーザ端末に提示する手段を含む
   請求項１記載の分類モデル更新支援装置。
3. 前記現行モデルの誤検出の要因について、分類モデルを機械学習する際に用いたデータを格納する学習用データ記憶手段の情報を抽出し、前記ユーザ端末に提示する分類根拠抽出手段を含む
   請求項１記載の分類モデル更新支援装置。
4. 入力される文書の内容をカテゴリに分類するための分類モデル更新支援方法であって、
   現行モデルを保持する学習データ記憶手段、新モデルを保持する新学習用データ記憶手段、分類差分検証手段を有する装置において、
   前記分類差分検証手段が、前記新学習データ記憶手段の前記新モデルの分類結果と、外部のデータ分類結果記憶手段から取得した現行モデル分類結果の差分比較結果をユーザ端末に対して提示する分類差分検証ステップを行う
   ことを特徴とする分類モデル更新支援方法。
5. 前記分類差分検証ステップにおいて、
   前記現行モデルと前記新モデルの要素の差分を前記ユーザ端末に提示するステップを含む
   請求項４記載の分類モデル更新支援方法。
6. 分類モデルを機械学習する際に用いたデータを格納する学習用データ記憶手段と分類根拠抽出手段を更に有する装置において、
   前記分類根拠抽出手段が、前記現行モデルの誤検出の要因について、前記学習用データ記憶手段の情報を抽出し、前記ユーザ端末に提示する分類根拠抽出ステップを更に行う
   請求項４記載の分類モデル更新支援方法。
7. コンピュータを、
   請求項１乃至３のいずれかの分類モデル更新支援装置の各手段として機能させるための分類モデル更新支援プログラム。

Images