JP2011039831A - サポートベクトルマシンの再学習方法 - Google Patents

Abstract

【課題】良質で少数のサンプルを用いて再学習させることにより、ＳＶＭの精度向上と計算量の削減を達成できるＳＶＭの再学習方法を提供する。
【解決手段】反復学習機能８にて、既知のラベルを有する初期学習用訓練サンプルの集合を用いてＳＶＭを学習する第１の段階と、摂動対象選択機能４が、該ＳＶＭ学習により得られたサポートベクトル情報３を基に、摂動対象の学習用訓練サンプルを選択する第２の段階と、画像処理機能５が該選択された摂動対象の学習用訓練サンプルを摂動する第３の段階と、反復学習機能８が該摂動処理されたサンプルを追加用訓練サンプルとしてＳＶＭを再学習する第４の段階とからなり、メモリ９に記憶された情報を参照して前記第２〜第４の段階を複数回繰り返す。反復学習機能８は、所定の条件が成立すると前記繰り返しを終了し、サポートベクトル情報（最終結果）７に移行する。
【選択図】図１

Description

本発明はサポートベクトルマシンの再学習方法に関し、特に識別性能の向上と演算量の削減を図ることができるサポートベクトルマシンの再学習方法に関する。

映像アーカイブ（動画素材集）の検索や管理を行うシステムにとって、既存の映像ファイルから編集作業で生じたショットの境界を検出するショット境界検出の機能は必須の機能である。このため、サポートベクトルマシン（以下、ＳＶＭと記す）を適用する、高性能のショット境界検出器が実現されている。

下記の特許文献１には、ショット境界を検出するための特徴量抽出方法が開示されている。該文献１に明示されているように、得られた特徴量はＳＶＭなどのパターン認識装置によって識別が行われる。ＳＶＭの場合、予め用意した訓練サンプルで学習を行い、識別用のＳＶＭを構築することを前提にしている。また、特許文献２には、能動学習法を用いて行われた学習結果に基づいて、ＳＶＭがデータ分類を行うデータ分類装置についての発明が開示されている。

また、半自動学習（semi-supervised learning）と呼ばれる従来技術がある。半自動学習では、既知のラベル付サンプル集合から構築した学習器を使って、アンラベルのサンプル集合の中からラベル付与済みの事例に近いものを抽出し、抽出がほぼうまくいったことを前提にさらなる学習（「再学習」と呼ぶ）を行うことで、識別器の性能向上を目指すものである。この技術をSVMに適用する場合の拡張手法が非特許文献１で述べられている。

特開２００７−１４２６３３号公報 特開２００４−２１５９０号公報

日本オペレーションズ・リサーチ学会「SVMを基にしたSemi-Supervised Learning」日本オペレーションズ・リサーチ学会秋期研究発表会アブストラクト集、Vol.2005(20050914) pp.32-33

前記特許文献１と非特許文献１の技術を組み合わせる、つまり、ショット検出用の識別器（ＳＶＭ）に半自動学習の技術を適用すれば、識別性能が向上する可能性はある。しかし、通常の半自動学習では、再学習のために追加するサンプルのラベルは、再学習前の識別器が付与するために誤っているものを含む場合も多い。誤ってラベル付けされたものを含むサンプルを学習すると、再学習後の性能は十分に向上しないという問題がある。また、非特許文献１、２が提示した手法では、追加するサンプル数が膨大になり、再学習が非常に困難になるといった問題もある。

そこで、本発明者は、初期学習用訓練サンプルを摂動処理して得た訓練サンプルを初期学習用訓練サンプルに追加して、ＳＶＭを再学習する方法を発明し、特許出願した（特願２００８−０５７９２１号、以下先願発明という）。この先願発明によれば、良質で少数のサンプルを用いてＳＶＭを再学習させることができる。

本発明の目的は、前記した先願発明を改良し、さらに良質で少数のサンプルを用いて再学習させることにより、ＳＶＭの精度向上と計算量の削減を達成できるＳＶＭの再学習方法を提供することにある。

前記の目的を達成するために、本発明は、ＳＶＭの再学習方法であって、既知のラベルを有する初期学習用訓練サンプルの集合を用いてＳＶＭを学習する第１の段階と、前記第１の段階のＳＶＭ学習により得られたサポートベクトル情報を基に、摂動対象の学習用訓練サンプルを選択する第２の段階と、該第２の段階で選択された摂動対象の学習用訓練サンプルを摂動する第３の段階と、該摂動処理されたサンプルを追加用訓練サンプルとして、前記学習されたＳＶＭを再学習する第４の段階とからなり、前記第４の段階の再学習で得られたサポートベクトル情報を前記第２の段階のサポートベクトル情報とすることにより、前記第２〜第４の段階を複数回繰り返して実行するようにした点に特徴がある。

また、本発明は、前記第２〜第４の段階の複数回の繰り返しを終了する条件として、下記の(1)〜(3)のいずれか１つまたは複数を用いるようにした点に他の特徴がある。

(1)前回のサポートベクトル情報の有効サンプル集合と、今回生成したサポートベクトル情報の有効サンプル集合とが一致すること。

(2)今回の性能評価結果は、前回の性能評価結果に比べて、一定値以上の性能向上が得られること。

(3)前記複数回の繰り返し回数が規定数に達すること。

また、本発明は、前記第３の段階において、オリジナルの事例と新たに追加したサポートベクトルの事例とでできる摂動方向のベクトルを参照し、次に生成する学習用サンプルの位置を該ベクトルとほぼ同方向に調整するようにした点に他の特徴がある。

この発明によれば、ＳＶＭの再学習で得られたサポートベクトル情報を基に摂動対象の学習用訓練サンプルを選択し、摂動し、該摂動処理されたサンプルを追加用訓練サンプルとしてさらに前記ＳＶＭを再学習するといった処理を繰り返すようにしたので、ＳＶＭの精度向上に役立つ良質のサンプルを容易に増やすことができるようになる。

また、前記(1)〜(3)の終了条件で前記の繰り返しを終了するようにしたので、ＳＶＭの学習時間が爆発的に増大することがなくなる。

さらに、オリジナルの事例と新たに追加したサポートベクトルの事例とでできる摂動方向のベクトルを参照し、次に生成する学習用サンプルの位置を該ベクトルとほぼ同方向に調整するようにしたので、ＳＶＭの精度向上に役立つサンプルの質をさらに向上させることができるようになる。

本発明の一実施形態の反復型摂動学習方法の概略の構成を示す機能ブロック図である。 本実施形態の要部の機能を示すフローチャートである。 摂動の一例である画質変換を示す図である。 摂動パラメータの限定についての説明図である。 先願発明の摂動学習方法の概略の構成を示す機能ブロック図である。 ソフトマージンを表す超平面とサポートベクトルとの写像空間上での位置関係を説明する図である。

まず、前記先願発明の概略を、図５のブロック図を参照して説明する。図５は、先願発明の機能を示すブロック図である。

初期学習用訓練サンプル集合１は、ＳＶＭの学習に用いる既知のクラスラベルをもった事例、例えば正例や負例などの集合である。初期学習機能２は、前記初期学習用訓練サンプル集合１を用いて、ＳＶＭの初期学習（パイロット学習）を行う。

サポートベクトル情報３は、前記初期学習機能２から出力される情報であり、学習用のクラスラベル付き事例の集合にＳＶＭ学習を適用して得られる。該サポートベクトル情報には、学習サンプル毎に得られるパラメータ（α値、０≦α≦Ｃ、ただし、Ｃは学習時に与えられるコストの最大値）が含まれている。ここに、α値は、分類関数φ(x)（ｘはサンプル）の内部パラメータであり、前記先願発明に説明されている。図６に示されているように、α＝０ならば、対応するサンプルは、該当サンプルのクラスの領域内に位置し、非サポートベクトルと呼ばれ、識別用の境界面Ｓから十分離れている。０＜α＜Ｃならば、対応するサンプルは、マージンを表す超平面Ｈ１，Ｈ２上に位置する。さらに、α＝Ｃならば、対応するサンプルは、該当サンプルのクラスの領域外に位置する。

摂動対象選択機能４は、良質なサンプルを得るために、前記初期学習用訓練サンプルの中から摂動対象サンプルを次の方法で絞り込む。１）α＞０となるサンプルのみを選択する。２）ラベル付与の誤りや外れ値が含まれる場合は、０＜α＜Ｃのサンプルのみを選択する。３）クラス間でサンプル数に偏りがある場合は、判別性能の良くないクラスに属する０＜α＜Ｃのサンプルを選択する。なお、上記のような絞り込みを行わずに全てのサンプルに対して摂動を行うと、学習に時間が掛かり過ぎるからである。

画像処理機能５では、摂動対象選択機能４で選択された摂動対象サンプルに対して、明度（又は、輝度）変換、コントラスト変換等のクラスラベルを変えない画像処理を行い、摂動対象サンプルの特徴量を僅かに変化させる、つまり、摂動対象サンプルを摂動させる。画像処理機能５は、初期学習用サンプル集合１に、該摂動で得られたサンプル集合を追加し、これを新たな学習用サンプル集合として出力する。なお、摂動されたサンプルのラベルは、摂動前のサンプルのラベルを引き継いでいる。

再学習機能６では、画像処理機能５が出力した学習用サンプル集合を用いて、ＳＶＭの再学習を行う。処理内容は初期学習機能２と同じであり、学習に用いるサンプル集合および出力するサポートベクトルの形式も初期学習機能２と同じである。再学習機能６からは、サポートベクトル情報７が出力される。

ここで、前記摂動により学習用サンプルを得る一具体例を説明する。摂動の一例として、映像の画質変換が考えられる。画質変換は、輝度を全体的に上げたり下げたりする場合（明度変換）と、コントラストを強めたり弱めたりする場合（コントラスト変換）がある。それぞれの場合の輝度変換の式を以下に示す。
・明度変換の場合
Z´＝256.0 ×〔Z÷256.0〕^δ
Z：入力輝度情報（0〜255）
Z´：出力輝度情報（0〜255）
δ：明度変換調整パラメータ
・コントラスト変換の場合
Z´= 256.0 ÷ ( 1.0 + exp(-η×( Z −128.0 ) ) )
Z：入力輝度情報（0〜255）
Z´：出力輝度情報（0〜255）
η：コントラスト変換調整パラメータ

前記明度変換調整パラメータδおよび／またはコントラスト変換調整パラメータηを変化させることにより、摂動されたサンプルを得ることができる。

上記の先願発明は、摂動による訓練サンプルの追加過程が１回だけであったのに対して、本発明はこれを複数回にして訓練サンプルを効率良く増やすようにした点に特徴があり、以下に本発明の実施形態を説明する。

図１は、本発明の一実施形態の反復型摂動学習方法の機能ブロック図であり、図５と同じ符号は同一又は同等の機能を示す。図１が図５と異なる所は、反復学習機能８とメモリ９とを設けた点であり、他の機能は同じであるので、以下では、反復学習機能８とメモリ９についてのみ説明する。

反復学習機能８では、摂動による訓練サンプルを追加してＳＶＭ学習を複数回繰り返す働きをするが、摂動を繰り返してサンプル数を増やし続けると、学習時間が爆発的に増加してしまうので、以下の終了条件が成り立つ場合には、生成したサポートベクトル情報７を最終結果として出力し、成り立たない場合には、生成したサポートベクトル情報３を摂動対象選択機能４に渡す。

（終了条件１）反復学習機能８で生成した前回のサポートベクトル情報の有効サンプル集合（α＞０となるサンプルの集合）と、今回生成したサポートベクトル情報の有効サンプル集合が一致する場合、

（終了条件２）初期学習用サンプル集合に対し、前回の学習時に作成したサポートベクトル情報でＦ値（又は、Ｆ尺度）等の評価値を求め（いわゆる、クローズ評価）、該評価値と今回の学習で得たサポートベクトル情報による評価値とを比較した時に、精度向上の差が一定値以下の場合、

（終了条件３）反復学習の回数が規定数に達した場合、

ここに、前記Ｆ値（又は、Ｆ尺度）は、例えば社団法人電子情報通信学会発行の「電子情報通信学会論文誌 Ｄ−Ｉ Ｖｏｌ．Ｊ８６−Ｄ−Ｉ Ｎｏ．５ ｐｐ２９３−３００ ２００３年５月」の２９４頁の「２．２ 再現率と精度の要約値」の冒頭に記されているように、当該技術分野においては周知の事項である。また、前記クローズ評価は、学習に使用したサンプルデータを評価用データとして使用する評価実験を意味する。

図２は、反復学習機能８の機能の詳細例を示すフローチャートである。ステップＳ１では、反復学習機能８は、学習で得たサポートベクトル情報をメモリ９に記憶する。ステップＳ２では、学習で得たサポートベクトル情報を性能評価（前記Ｆ値等の評価）し、性能評価結果をメモリ９に記憶する。ステップＳ３では、反復学習の回数をメモリ９に記憶する。

ステップＳ４，Ｓ５及びＳ６では、前記した終了条件１，２または３が成立しているか否かを判断し、いずれか一つの終了条件が成立すればステップＳ８に進み、反復学習を終了し、サポートベクトル情報７を出力する。一方、前記終了条件１，２および３が不成立の場合には、ステップＳ７に進み、サポートベクトル情報３を出力する。そして、ステップＳ１に戻り、前記した機能を再度実行する。

この実施形態によれば、摂動による訓練サンプルの追加過程が複数回となるので、訓練サンプルを効率良く増やすことができるようになる。

次に、本発明の第２実施形態を説明する。この実施形態は、画像処理機能５で行う摂動方向を限定することにより、精度向上に役立つ訓練サンプルを追加し、ＳＶＭの学習効率を向上するようにしたものであり、以下に説明する。

図３は、明度（又は輝度）変換やコントラスト変換といった摂動操作を行って得られる画像を表示したものである。中央の画像がソフトマージン超平面上にある訓練用サンプルの画像であり、上段の画像は明度が高くされ、下段の画像は明度が低くされている。また、右列の画像はコントラストが弱くされ、左列の画像はコントラストが強くされている。なお、前記明度変換、コントラスト変換以外にも、ぼかし変換、エッジ強調などの摂動をしてもよい。

図３から分かるように、ある画像から画像変換操作で得られる新規画像の特徴量は、オリジナルサンプル（図３の中央の画像）の特徴量の周辺に分布する。こうしてオリジナルサンプルの周辺に位置する新サンプルは、初期学習用サンプル集合に追加されて反復学習機能８にてＳＶＭ学習が行われることになるが、摂動対象選択機能４で選ばれた新サンプル事例と、前回のサンプル事例とを比較し、効果のあった摂動方向を見つけることができる。そこで、効果のあった方向への摂動方向のベクトルの方向に重みをおき、新たな摂動方向を限定する。

例えば、図４に示すように、摂動１回後の性能評価の良い事例１１とオリジナル事例１０とを比較し、効果のあった摂動方向１２方向に重みをおいて２回目の摂動方向の候補１３を見つける。

このようにすることにより、ＳＶＭの精度向上に役立つ訓練サンプルを効率的に追加することができるようになる。

１・・・初期学習用訓練サンプル集合、２・・・初期学習機能、３・・・サポートベクトル情報、４・・・摂動対象選択機能、５・・・画像処理機能、７・・・サポートベクトル情報（最終結果）、８・・・反復学習機能、９・・・メモリ、１０・・・オリジナル事例、１１・・・摂動１回後の性能評価の良い事例。

Claims (4)

1. サポートベクトルマシンの再学習方法であって、
   既知のラベルを有する初期学習用訓練サンプルの集合を用いてサポートベクトルマシンを学習する第１の段階と、
   前記第１の段階のサポートベクトルマシン学習により得られたサポートベクトル情報を基に、摂動対象の学習用訓練サンプルを選択する第２の段階と、
   該第２の段階で選択された摂動対象の学習用訓練サンプルを摂動する第３の段階と、
   該摂動処理されたサンプルを追加用訓練サンプルとして、前記学習されたサポートベクトルマシンを再学習する第４の段階とからなり、
   前記第４の段階の再学習で得られたサポートベクトル情報を前記第２の段階のサポートベクトル情報とすることにより、前記第２〜第４の段階を複数回繰り返して実行するようにしたサポートベクトルマシンの再学習方法。
2. 請求項１に記載のサポートベクトルマシンの再学習方法であって、
   前記第２の段階では、前記サポートベクトル情報に含まれるパラメータ（α値）が、α＞０の学習用サンプルを選択することを特徴とするサポートベクトルマシンの再学習方法。
3. 請求項１または２に記載のサポートベクトルマシンの再学習方法であって、
   前記第２〜第４の段階の複数回の繰り返しを終了する条件として、下記の(1)〜(3)のいずれか１つまたは複数を用いることを特徴とするサポートベクトルマシンの再学習方法。
   (1)前回のサポートベクトル情報の有効サンプル集合と、今回生成したサポートベクトル情報の有効サンプル集合とが一致すること。
   (2)今回の性能評価結果は、前回の性能評価結果に比べて、一定値以上の性能向上が得られること。
   (3)前記複数回の繰り返し回数が規定数に達すること。
4. 請求項１ないし３のいずれかに記載のサポートベクトルマシンの再学習方法であって、
   前記第３の段階は、オリジナルの事例と新たに追加したサポートベクトルの事例とでできる摂動方向のベクトルを参照し、次に生成する学習用サンプルの位置を該ベクトルとほぼ同方向に調整することを特徴とするサポートベクトルマシンの再学習方法。