JP2017111731A - 情報処理システム、情報処理方法、プログラム - Google Patents

Abstract

【課題】画像認識における誤検出結果へのフィードバックを目的とした、追加学習の候補となる画像を選定できる仕組みを提供する【解決手段】教師あり画像分類器により検証用画像の分類をする情報処理システムであって、検証用画像の入力をし、入力された検証用画像と類似する画像を抽出する。抽出した画像にラベルを付与することで教師データを作成し、作成された教師データを用いて、教師あり画像分類器を学習させる。【選択図】図４

Description

本発明は、情報処理システム、情報処理方法、プログラムに関する。

ここ数年、教師あり学習による画像認識技術として、ディープラーニングの研究が盛んにおこなわれている。ディープラーニングは、従来からあるニューラルネットワークを多層に重ねた機械学習の一つであり、学習用画像を用いて事前に学習させることで、画像分類などの問題を解決する。

ディープラーニングによる画像認識で精度を高めるためには、学習用画像の確保、選定が重要になる。学習用画像は、事前学習や認識精度向上のための追加学習として使用するために、画像とそのコンテンツ情報をデータセットとして大量に用意しなければならない。例えば、「猫」というデータセットであれば、猫が写る画像とそのコンテンツ情報（品種名など。ラベル。）を対として、数百セットもしくはそれ以上用意する必要がある。

しかし、上記のようなデータセットを用意するには、非常に作業コストがかかることが多い。その理由としては、大量の画像を用意すること、それらのコンテンツ情報を対応付ける必要があること、そしてそのコンテンツ情報の対応付けは基本的に手動でおこなわなければならないことが挙げられる。

以上のことから、ディープラーニングの事前・追加学習用画像の確保、選定が大きな課題の一つとなっており、それらの作成コストの軽減が強く望まれている。

特許文献１には、画像・映像類似検索に使用するための学習辞書の質を向上させるために、追加画像の候補を選定する技術について記載がされている。

特開２０１３−２５０８８１号公報

特許文献１の技術では、学習辞書である画像群の平均特徴量と、候補画像の特徴量から類似度を算出し、その類似度が閾値よりも大きい場合に追加画像として選定する。

この方法によると、学習辞書が本来持っていた特徴量の傾向を変化させることなく、学習辞書の画像数を増やすことができるが、平均特徴量と傾向が異なる画像を候補として選定することはできない。

そのため、ディープラーニング等を用いた画像認識をおこなった際の、特徴量の傾向が異なることに起因する誤検出結果へのフィードバックをおこなうようなシステムには適用できない。

そこで、本発明では、画像認識における誤検出結果へのフィードバックを目的とした、追加学習の候補となる画像を選定できる仕組みを提供することを目的とする。

本発明の情報処理システムは、教師あり画像分類器により検証用画像の分類をする情報処理システムであって、検証用画像の入力をする画像入力手段と、前記画像入力手段により入力された検証用画像と類似する画像を抽出する類似画像抽出手段と、前記類似画像抽出手段により抽出した画像にラベルを付与することで教師データを作成する教師データ作成手段と、前記教師データ作成手段により作成された教師データを用いて、前記教師あり画像分類器を学習させる学習手段と、を備えることを特徴とする。

また、本発明の情報処理方法は教師あり画像分類器により検証用画像の分類をする情報処理システムにおける情報処理方法であって、検証用画像の入力をする画像入力工程と、前記画像入力工程により入力された検証用画像と類似する画像を抽出する類似画像抽出工程と、前記類似画像抽出工程により抽出した画像にラベルを付与することで教師データを作成する教師データ作成工程と、前記教師データ作成工程により作成された教師データを用いて、前記教師あり画像分類器を学習させる学習工程と、を備えることを特徴とする。

また、本発明のプログラムは、教師あり画像分類器により検証用画像の分類をする情報処理システムにおいて実行可能なプログラムであって、前記情報処理システムを、検証用画像の入力をする画像入力手段と、前記画像入力手段により入力された検証用画像と類似する画像を抽出する類似画像抽出手段と、前記類似画像抽出手段により抽出した画像にラベルを付与することで教師データを作成する教師データ作成手段と、前記教師データ作成手段により作成された教師データを用いて、前記教師あり画像分類器を学習させる学習手段として機能させることを特徴とする。

本発明によれば、画像認識における誤検出結果へのフィードバックを目的とした、追加学習の候補となる画像を選定することが可能となる。

本発明の情報処理システムの構成を示す図 図１に示した操作端末ＰＣ１０１、アプリケーションサーバ１０２、教師あり画像分類サーバ１０３、教師なし画像分類サーバ１０４、画像データベース１０５に適用可能な情報処理装置のハードウェア構成を示すブロック図 操作端末ＰＣ１０１、アプリケーションサーバ１０２、教師あり画像分類サーバ１０３、教師なし画像分類サーバ１０４、画像データベース１０５の機能を説明するための機能ブロック図 教師なし画像分類器を用いた教師あり画像分類器への学習用画像の選定処理を示すフローチャート 類似画像取得処理（ステップＳ４０９）を示すフローチャート 画像データの管理レコード情報テーブルのデータ構成例 ステップＳ４１１において操作端末ＰＣ１０１に表示される画面の一例 ステップＳ４０５において操作端末ＰＣ１０１に表示される画面の一例

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明の追加学習用画像の選定支援機能を適用した、情報処理システムの構成の一例を示すシステム構成図である。

情報処理システムは、１または複数の操作端末ＰＣ１０１、１または複数のアプリケーションサーバ１０２、１または複数の教師あり画像分類サーバ１０３、１または複数の教師なし画像分類サーバ１０４、１または複数の画像データベース１０５が、ネットワークを介して接続される構成となっている。

なお、本実施形態においてはアプリケーションサーバ１０２、教師あり画像分類サーバ１０３、教師あり画像分類サーバ１０４、データベース１０５をそれぞれ別の筐体として説明しているが、同じ筐体にこれらのサーバ、データベースの機能を備えるように構成しても良い。

操作端末ＰＣ１０１は、画像分類、画像分類器学習、候補画像登録の各操作をおこなうための端末であり、ネットワーク上に存在する。画像の分類と学習の操作にはウェブ操作画面（ウェブブラウザ上で操作）を使用し、ネットワークを介してアプリケーションサーバ１０２に接続する。

アプリケーションサーバ１０２は、画像分類、画像分類器学習、候補画像登録の制御をおこなうためのサーバであり、ネットワーク上に構築されている。アプリケーションサーバ１０２へは、操作端末ＰＣ１０１が接続する。アプリケーションサーバ１０２は、操作端末ＰＣ１０１から画像分類操作が行われた場合は教師あり画像分類サーバ１０３へ画像を送信し、分類結果を受信する。操作端末ＰＣ１０１から分類器の学習操作が行われた場合は、教師なし画像分類サーバ１０４へ画像を送信して学習候補となる類似画像クラスを受信し、そのクラス情報をもとに画像データベース１０５から学習に使用する画像データを取得し、取得した画像データを教師あり画像分類サーバ１０３へ送信する。操作端末ＰＣ１０１から候補画像登録操作が行われた場合は画像データベース１０５へ画像データを送信する。

教師あり画像分類サーバ１０３は、画像分類、画像分類器の学習をおこなうためのサーバであり、ネットワーク上に構築されている。教師あり画像分類サーバ１０３は、操作端末ＰＣ１０１から分類対象の画像データを受信した場合、その分類結果を送信する。操作端末ＰＣ１０１から分類器学習のための画像データを受信した場合、受信した画像データを用いて分類器を学習する。

教師なし画像分類サーバ１０４は、教師あり画像分類サーバ１０３にある画像分類器を学習するための候補画像の選定をおこなうためのサーバであり、ネットワーク上に構築されている。教師なし画像分類サーバ１０４は、操作端末ＰＣ１０１から学習対象の画像データを受信した場合、その画像データと類似した類似画像クラスを送信する。

画像データベース１０５は、アプリケーションサーバ１０２の操作にもとづいて画像データを記憶、管理するサーバであり、ネットワーク上に構築されている。画像データベース１０５は、画像データのほかに、画像を管理レコード情報も記憶する。

以下、図２を用いて図１に示した操作端末ＰＣ１０１、アプリケーションサーバ１０２、教師あり画像分類サーバ１０３、教師なし画像分類サーバ１０４、画像データベース１０５に適用可能な情報処理装置のハードウェア構成について説明する。

図２は、図１に示した操作端末ＰＣ１０１、アプリケーションサーバ１０２、教師あり画像分類サーバ１０３、教師なし画像分類サーバ１０４、画像データベース１０５に適用可能な情報処理装置のハードウェア構成を示すブロック図である。

図２に示すように、情報処理装置では、システムバス２００を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、記憶装置２０４、入力コントローラ２０５、音声入力コントローラ２０６、ビデオコントローラ２０７、メモリコントローラ２０８、よび通信Ｉ／Ｆコントローラ２０９が接続される。

ＣＰＵ２０１は、システムバス２００に接続される各デバイスやコントローラを統括的に制御する。

ＲＯＭ２０２あるいは記憶装置２０４は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは記憶装置２０４からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

入力コントローラ２０５は、キーボード／タッチパネル２１０などの入力装置からの入力を制御する。入力装置はこれに限ったものでなく、マウスやマルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができる。

この入力装置を用いて各種通信装置で利用可能な通信宛先に対する宛先を入力するようになっている。

音声入力コントローラ２０６は、マイク２１１からの入力を制御する。マイク２１１から入力された音声を音声認識することが可能となっている。

ビデオコントローラ２０７は、ディスプレイ２１２などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作により受け付け可能な装置については、キーボード／タッチパネル２１０からの入力を受け付けることも可能となる。

なおビデオコントローラ２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。

本発明では、ユーザが情報処理装置を通常する場合の表示に用いられる第１のビデオメモリ領域と、所定の画面が表示される場合に、第１のビデオメモリ領域の表示内容に重ねての表示に用いられる第２のビデオメモリ領域を有している。ビデオメモリ領域は２つに限ったものではなく、情報処理装置の資源が許す限り複数有することが可能なものとする。

メモリコントローラ２０８は、外部メモリ２１３へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。

通信Ｉ／Ｆコントローラ２０９、ネットワーク２１４を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。

なお、記憶装置２０４は情報を永続的に記憶するための媒体であって、その形態をハードディスク等の記憶装置に限定するものではない。例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの媒体であってもよい。

また本実施形態における通信端末で行われる各種処理時の一時的なメモリエリアとしても利用可能である。

図３は、図１に示した操作端末ＰＣ１０１、アプリケーションサーバ１０２、教師あり画像分類サーバ１０３、教師なし画像分類サーバ１０４、画像データベース１０５の機能を説明するための機能ブロック図である。

情報処理システムにおいて、主に、操作端末ＰＣ１０１では画像分類や分類器学習の操作および処理結果の表示、アプリケーションサーバ１０２では画像分類処理と分類器学習処理の制御、教師あり画像分類サーバ１０３では画像分類および分類器学習の実行、教師なし画像分類サーバ１０４では分類器学習に用いる画像候補選定の実行、画像データベース１０５は分類器学習に用いる画像データの管理をおこなう。
操作端末ＰＣ１０１は、操作結果表示部３０１を持つ。

操作結果表示部３０１は、ウェブブラウザから専用ＵＲＬにアクセスするウェブ管理画面により実現され、アプリケーションサーバ１０２に操作で入力した画像の分類表示要求を送信することにより、表示データを受信し、画像分類情報を表示する。また、ウェブ管理画面では、画像分類情報のほか、分類器学習操作、分類器学習に用いる候補画像の確認などについて確認できる。

アプリケーションサーバ１０２は、操作制御部３１１、画像分類制御部３１２、分類器学習制御部３１３から構成される。

アプリケーションサーバ１０２は操作端末ＰＣ１０１から各操作の表示要求を受信すると、操作制御部３１１が操作内容を解析する。操作制御部３１１は受信した要求から、画像の分類表示の操作、画像分類器の学習操作、分類学習に用いる候補画像の確認操作であるかを判断する。

画像分類制御部３１２は、操作制御部３１１で画像の分類表示の操作がおこなわれたと判断した場合、画像分類対象の画像データを教師あり画像分類サーバ１０３に送信し、その結果となる分類情報を受信する。受信した分類情報は、操作制御部３１１を介して操作端末ＰＣ１０１に送信する。

分類器学習制御部３１３は、操作制御部３１１で分類学習に用いる候補画像の確認操作がおこなわれたと判断した場合、教師なし画像分類サーバ１０４へ候補画像を選定する際の基となる画像データを送信して画像分類処理を実行させ、類似画像クラスを受信する。受信した類似画像クラスは、操作制御部３１１を介して操作端末ＰＣ１０１に送信する。操作制御部３１１で教師あり画像分類サーバ１０３への学習操作がおこなわれたと判断した場合、類似画像クラスを基に画像データベース１０５から該当する画像データを取得し、取得した画像データと類似画像クラスを分類器学習用データとして、教師あり画像分類サーバ１０３へ送信し、分類器の学習処理を実行させる。また、教師なし画像分類サーバ１０４への学習操作もおこなうことが可能であり、その場合は操作端末ＰＣ１０１から操作制御部３１１を介して受信した画像データを学習用データとして、教師なし画像分類サーバ１０４へ送信する。

教師あり画像分類サーバ１０３は、データ送受信制御部３２１、画像分類解析部３２２、分類器制御部３２３、教師あり学習制御部３２４から構成される。

教師あり画像分類サーバ１０３は、アプリケーションサーバ１０２から画像分類対象の画像データ、または分類器学習用データを受信する。データ送受信制御部３２１は、受信したデータが画像分類対象の画像データであるか、分類器学習用データであるかを判断する。

画像分類解析部３２２は、データ送受信制御部３２１で画像分類対象の画像データを受信したと判断した場合に、画像分類解析をおこなう。画像分類解析では、分類器制御部３２３に分類対象の画像データを入力し、その分類結果を取得する。取得した結果は、データ送受信制御部３２１を介して、アプリケーションサーバ１０２に送信する。

分類器制御部３２３は、画像分類解析部３２２から画像データを入力された場合は分類結果を出力する。教師あり学習制御部３２４から分類器学習用データを入力された場合は分類器の教師あり学習をおこなう。

教師あり学習制御部３２４は、データ送受信制御部３２１で分類器学習用データを受信したと判断した場合、分類器の教師あり学習をおこなう。分類器の教師あり学習では、分類器制御部３２３に学習用データを入力し、分類器を学習させる。

教師なし画像分類サーバ１０４は、データ送受信制御部３３１、画像選定制御部３３２、分類器制御部３３３、教師なし学習制御部３３４から構成される。

教師なし画像分類サーバ１０４は、アプリケーションサーバ１０２から教師あり学習データの候補画像選定の基となる画像データ、分類器学習用データを受信する。データ送受信部３３１は、受信したデータが候補画像選定の基となる画像データであるか、分類器学習用データであるかを判断する。

画像選定制御部３３２は、データ送受信制御部３３１で教師あり学習データの候補画像選定の基となる画像データを受信したと判断した場合に、候補画像の選定処理をおこなう。候補画像の選定では、分類制御部３３３に選定基の画像データを入力し、その結果である類似画像クラスを取得する。取得したクラス情報は、データ送受信制御部３３１を介して、アプリケーションサーバ１０２に送信する。

分類器制御部３３３は、画像選定制御部３３２から画像データを入力された場合はその画像の類似画像クラスを出力する。教師なし学習制御部３３４から分類器学習用データを入力された場合は、分類器の教師なし学習をおこなう。

教師なし学習制御部３３４は、データ送受信制御部３２１で分類器学習用データを受信したと判断した場合、分類器の教師なし学習をおこなう。分類器の教師なし学習では、分類器制御部３３３に学習用データを入力し、分類器を学習させる。

画像データベース１０５は、データ送受信制御部３４１、レコート管理制御部３４２、画像データ用記憶領域３４３、管理レコード用記憶領域３４４から構成される。

画像データベース１０５は、アプリケーションサーバ１０２から画像データの登録または取得、管理情報更新の要求を受信する。データ送受信部３４１は、受信したデータが画像データ登録または取得要求、管理情報更新要求であるかを判断する。

レコード管理制御部３４２は、データ送受信部３４１の判断内容により、画像データの登録、取得、管理情報の更新をおこなう。画像データの登録と判断した場合、画像データ用記憶領域３４３に画像データを保存し、管理レコード用記憶領域３４４に新規管理レコード情報を作成する。画像データの取得と判断した場合、管理レコード用記憶領域３４４から条件に合う画像データを検索し、その検索結果を基に画像データ用記憶領域３４３から画像データを取得し、データ送受信制御部３４１を介してアプリケーションサーバ１０２に取得した画像データを送信する。管理情報の更新と判断した場合、管理レコード用記憶領域３４４から該当する管理レコードの更新をおこなう。

次に図４に示すフローチャートを用いて、教師なし画像分類器を用いた教師あり画像分類器への学習用画像の選定処理について説明する。

なお、図４においてはアプリケーションサーバ１０２は図示していないが、操作端末ＰＣ１０１と教師あり画像分類サーバ１０３との間の通信、操作端末ＰＣ１０１と教師なし画像分類サーバ１０４との間の通信については、アプリケーションサーバ１０２が介在するものである。

ステップＳ４０１では、操作端末ＰＣ１０１のＣＰＵ２０１は、ユーザからの指示により検証用画像を受け付け、当該画像を教師あり画像分類サーバ１０３に送信する。

検証用画像は、画像分類の精度検証を行うための画像データである。

ステップＳ４０２では、教師あり画像分類サーバ１０３のＣＰＵ２０１は、ステップＳ４０１で操作端末ＰＣ１０１から送信された検証用画像を取得する。

ステップＳ４０３では、教師あり画像分類サーバ１０３のＣＰＵ２０１は、ステップＳ４０２で取得した画像に対して、分類推定を行う。

分類推定は、教師あり画像分類器を使用する。教師あり画像分類器は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの公知の技術を利用するものとする。

ステップＳ４０４では、教師あり画像分類サーバ１０３のＣＰＵ２０１は、ステップＳ４０３の処理の結果を操作端末ＰＣ１０１に送信する。

ステップＳ４０５では、操作端末ＰＣ１０１のＣＰＵ２０１は、教師あり画像分類サーバ１０３から送信された結果を受信し、表示部に表示する。

ステップＳ４０６では、操作端末ＰＣ１０１のＣＰＵ２０１は、ユーザからステップＳ４０５で受信した結果に対する評価を受け付ける。具体的には、図８に示す画面を介して、分類推定結果が適切である否かの選択を受け付ける。

ステップＳ４０７であ、操作端末ＰＣ１０１のＣＰＵ２０１は、ステップＳ４０６において受け付けた評価が、分類推定結果が適切である旨の評価であったかを判定する。

分類推定結果が適切である旨の評価の場合（ステップＳ４０７：ＹＥＳ）は、本フローチャートの処理を終了する。

分類推定結果が適切ではない旨の評価の場合（ステップＳ４０７：ＮＯ）は、処理をステップＳ４０８に移行する。

ステップＳ４０８では、操作端末ＰＣ１０１のＣＰＵ２０１は、教師なし画像分類サーバ１０４に対して、教師あり画像分類器の学習に用いる画像を抽出する旨の指示を送信する。

ステップＳ４０９では、教師なし画像分類サーバ１０４のＣＰＵ２０１は、教師あり画像分類器の学習に用いる画像の候補を、画像データベース１０５から抽出する。候補画像の抽出は、教師なし画像分類器を使用し、検証用画像と類似する画像を抽出する。類似画像として判断するのに使用する特徴は、色やテクスチャ、形状などのほか、類似性を表す他の特徴であってもよい。それらの特徴から画像を自動抽出できるよう、教師なし画像分類器を事前に学習しておくものとする。なお、教師なし画像分類器は、ＳＯＭ（Ｓｅｌｆ Ｏｒｇａｎｉｚｉｎｇ Ｍａｐ）などの公知の技術を用いるものとする。

ステップＳ４０９の処理の詳細については、図５を用いて後述する。

ステップＳ４１０では、教師なし画像分類サーバ１０４のＣＰＵ２０１は、ステップＳ４０９で抽出した候補画像のデータを操作端末ＰＣ１０１に対して送信する。

ステップＳ４１１では、操作端末ＰＣ１０１のＣＰＵ２０１は、ステップＳ４１０で教師なし画像分類サーバ１０４から送信された画像を受信し、表示部に表示する。本ステップで表示される画面の一例を図７に示す。

ステップＳ４１２では、操作端末ＰＣ１０１のＣＰＵ２０１は、ユーザの指示に従い、教師データを作成する。具体的な処理は、図７を用いて後述する。

ステップＳ４１３では、操作端末ＰＣ１０１のＣＰＵ２０１は、ステップＳ４１２で作成した教師データを教師あり画像分類サーバ１０３に送信する。

ステップＳ４１４では、教師あり画像分類サーバ１０３のＣＰＵ２０１は、ステップＳ４１３で操作端末ＰＣ１０１から送信された教師データを受信し、当該教師データを教師あり分類器に入力して学習させる。

ステップＳ４１５では、教師あり画像分類サーバ１０３のＣＰＵ２０１は、ステップＳ４１４で学習に使用した画像データが、学習用画像の候補から取り除かれるよう、画像データベース１０５の管理レコードに記録する。学習に使用したことを記録することで、次回以降の学習の候補画像の抽出対象から除外されるようにし、誤って学習に再利用されることを防ぐ。

そして、処理をステップＳ４０３に戻す。ここで処理をステップＳ４０３に戻すのは、ステップＳ４１４における学習の効果を検証するためである。そのため、次のステップＳ４０３の処理では、再度同じ検証用画像を用いて分類推定処理を実行する。

次に、図５を参照して、本実施形態の類似画像取得処理（ステップＳ４０９）について説明する。

ステップＳ５０１では、教師なし画像分類サーバ１０４のＣＰＵ２０１は、検証用画像の特徴量を算出する。算出する特徴量は、色やテクスチャ、形状などのほか、画像の類似性を表す他の特徴であってもよい。これらはユーザにより設定されるものとする。

例えば、色特徴に重み付けをして検証用画像の特徴量を算出し、当該特徴量を用いて類似する画像を抽出することで、教師あり画像分類器に対して色特徴による分類を学習させることが可能となる。このように、教師あり画像分類器に対してどのような学習をさせたいかにより、どの特徴を用いるかを決定する。

ステップＳ５０２では、教師なし画像分類サーバ１０４のＣＰＵ２０１は、ステップＳ５０１で算出した特徴量を基に、教師なし画像学習器を用いて、検証用画像を類似画像クラスに分類する。類似画像クラスは、画像が持つ特徴量により、類似しているものを取りまとめるための情報であり、類似していると判断された画像は同一のクラスに所属する。この情報は、画像データベース１０５に記憶されている各画像データの管理レコードに類似画像クラス情報として、事前に分類、記録されているものとする。管理レコードの記載例は、図６の説明で後述する。

類似画像クラスの分類に使用する教師なし画像分類器は、ＳＯＭなど、教師なし学習による分類器であればいずれでもよい。

ステップＳ５０３では、教師なし画像分類サーバ１０４のＣＰＵ２０１は、ステップＳ５０２で分類した類似画像クラスを基に、画像データベース１０５から同一クラスに所属する画像データを取得し、候補画像リストを作成する。候補画像リストは、各画像データと管理レコードを対にしたリストで構成される。

また、同一クラスに所属する画像データだけでなく、閾値より類似度の高いクラスの画像データも候補画像としてリストにする。この処理により、図７において、同一の類似画像クラスに所属する画像のみを表示したり、類似度が閾値より近い類似画像クラスも含めて候補画像を表示したりすることが可能となる。

また、本実施形態では、候補画像を類似画像クラス情報を基にして抽出したが、その他の情報（例えば、画像カテゴリ情報など）を各画像にあらかじめ付与しておき、それらを組み合わせた条件を基に抽出してもよい。

ステップＳ５０４では、教師なし画像分類サーバ１０４のＣＰＵ２０１は、ステップＳ５０３で作成した候補画像リストに登録されている各画像データについて、既に教師あり分類器の学習に使用されているかを判断する。

学習に使用済みであるかの情報は、各画像データの管理レコードに記録されているものとする（図６）。

学習に使用済みである場合（ステップＳ５０４：ＹＥＳ）は、処理をステップＳ５０５に移行する。

学習にしようしていない場合（ステップＳ５０４：ＮＯ）は、本フローチャートの処理を終了し、ステップＳ４１０の処理に移行する。

ステップＳ５０５では、教師なし画像分類サーバ１０４のＣＰＵ２０１は、ステップＳ５０４で学習に使用済みと判断された各画像データを、候補画像リストから削除する。
そして、ステップＳ４１０の処理に移行する。

以上説明したように、本発明では、教師あり画像分類器の分類精度を向上させるための学習において、検証用画像に類似する画像を教師なし画像分類器により抽出する。

このような処理により、大量の候補画像の中から教師あり画像分類器の分類精度向上に適した画像を抽出することが可能となる。

具体的には、従来は認識精度の悪かった形態の「自動車」について、当該自動車と類似する形態の自動車の画像を学習させることで、当該形態の自動車について認識精度を高めることが可能となる。その結果、様々な形態の自動車を認識できるようになり、画像分類の精度を高めることが可能となる。

また、ユーザは抽出された画像の中から学習用画像を選定することになるため、学習用画像を選定する作業の効率化を図ることが可能となる。

次に図６を用いて、画像データの管理レコード情報テーブルのデータ構成例について説明する。

図６は、画像データベース１０５に記録している画像データを管理するための、管理レコードのデータ構成例である。

図６（Ａ）は、画像データの所属する類似画像クラスを表現するデータ構成例である。

画像データを識別する情報である画像ＩＤと、当該画像データが属する類似画像クラス（ノード）を識別するノードＩＤとが対応付けて登録されている。

画像データは、類似画像クラス情報により、類似する画像同士を関連付けて管理される。同じ類似画像クラスに所属していれば、それらの画像は類似する物として取り扱われる。

図６（Ｂ）は、画像データの教師あり画像分類器学習への使用状況を表現するデータ構成例である。

画像ＩＤと学習済みであるかを示す情報が対応付けて登録されている。図６（Ｂ）の例では、ｔｒｕｅが登録されていれば学習済みであることを、ｆａｌｓｅが登録されていれば学習済みではないことを意味している。

図６（Ｃ）は、画像データの類似画像クラス情報を表現するデータ構成例である。

類似画像クラスを識別する情報であるノードＩＤと当該類似画像クラスに所属する画像データの特徴を示す情報（特徴Ａ〜特徴Ｚ）とが対応付けて登録されている。

図６（Ｃ）における特徴は、教師なし画像分類器で分類する際に指標となる特徴量である。特徴量の数は任意である。また、特徴量の値は、同じ類似画像クラスに所属する画像データの平均値や、その他の指標から算出した値のいずれであってもよい。この特徴量は、教師なし画像分類器の種類により、分類辞書としても使用してもよい。

次に、図７を用いて、ステップＳ４１１において操作端末ＰＣ１０１に表示される画面について説明する。

図７に示す画面は、ユーザからの教師データ作成の指示を受け付ける画面である。図７の画面において入力された情報に従い、教師あり画像分類器の学習に使用するための教師データの作成が行われる。

図７に示す画面は、ステップＳ４０１で入力を受け付けた検証用画像を表示する領域７０１、当該画像に対する分類推定結果を表示する領域７０２、当該検証用画像に対して付与されるラベルの選択を受け付ける領域７０３、画像表示範囲の指定を受け付ける領域７０４、ステップＳ４０９の処理により抽出された画像を表示する領域７０５等から構成される。

ラベルの選択を受け付ける領域７０３では、検証用画像の正しい分類結果の選択を受け付ける。例えば、図７の例では、「自動車」、「乗用車」のラベルが選択されていることを示している。指定できるラベルは、教師あり分類器が分類できるものとする。また指定する分類ラベルは、単一指定のほか、複数指定も可能である。

また、画像表示領域に表示されチェックがなされた画像に対しても、領域７０３で選択されたラベルの画像として学習される。

画像表示範囲の指定領域７０４は、画像表示領域７０５に表示される画像の範囲を指定できる。

候補画像は、検証用画像を教師なし画像分類した結果である類似画像クラス情報を基に選定される。

その際、範囲の指定領域７０４において指定された条件に従い、例えば、同一の類似画像クラスに所属する画像のみを表示したり、類似度が閾値より近い類似画像クラスも含めて候補画像を表示したりする。

画像表示領域７０５は、表示範囲の指定７０４で指定された内容に従い、教師あり画像分類器の学習に使用する候補画像の一覧を表示する。学習に使用する画像は、画像を選択されることで（チェックをされることで）指定される。一括選択ボタン７０６が押下されると、表示された全ての画像が選択されたことになる。指定後、学習実行ボタン７０７が押下されると、当該選択された画像に対して、領域７０３において選択されたラベルが付与され、教師あり画像分類器の学習が実行される。

図８は、ステップＳ４０５において操作端末ＰＣ１０１に表示される画面の一例である。

図８に示す画面を介して、ユーザから分類推定結果が適切であったか否か、学習が必要であるかの指示を受け付ける（Ｓ４０６）。

図８に示す通り、ステップＳ４０１で入力を受け付けた検証用画像８０１と、その分類推定結果８０２とが表示されている。

適切ボタン８０３が押下されることで、分類推定結果が適切であった旨の結果を受け付ける（ステップＳ４０７：ＹＥＳ）。学習ボタン８０４が押下されることで、分類推定結果が適切ではない旨の結果を受け付ける（ステップＳ４０７：ＮＯ）。

また、本発明におけるプログラムは、図４、図５の処理をコンピュータに実行させるプログラムである。なお、本発明におけるプログラムは、図４、図５の各処理ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０１ 操作端末ＰＣ
１０２ アプリケーションサーバ
１０３ 教師あり画像分類サーバ
１０４ 教師なし画像分類サーバ
１０５ 画像データベース

Claims (8)

1. 教師あり画像分類器により検証用画像の分類をする情報処理システムであって、
   検証用画像の入力をする画像入力手段と、
   前記画像入力手段により入力された検証用画像と類似する画像を抽出する類似画像抽出手段と、
   前記類似画像抽出手段により抽出した画像にラベルを付与することで教師データを作成する教師データ作成手段と、
   前記教師データ作成手段により作成された教師データを用いて、前記教師あり画像分類器を学習させる学習手段と、
   を備えることを特徴とする情報処理システム。
2. 前記類似画像抽出手段は、教師なし画像分類器を用いて前記検証用画像と類似する画像を抽出することを特徴とする請求項１に記載の情報処理システム。
3. 前記類似画像抽出手段により抽出された画像から、ユーザにより前記学習手段による学習に用いる画像の選択を受け付ける選択受付手段をさらに備え、
   前記教師データ作成手段は、前記選択受付手段により選択された画像にラベルを付与することで教師データを作成することを特徴とする請求項１または２に記載の情報処理システム。
4. ユーザから、前記検証用画像に対する教師あり画像分類器での分類結果に対する評価結果を受け付ける評価受付手段をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
5. 類似画像抽出手段は、前記評価受付手段により受け付けた評価結果が、学習が必要な旨の結果であった場合、当該検証用画像に類似する画像を抽出することを特徴とする請求項４に記載の情報処理システム。
6. 類似画像抽出手段は、前記教師データ作成手段によりすでに教師データの作成に用いられた画像については抽出しないことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
7. 教師あり画像分類器により検証用画像の分類をする情報処理システムにおける情報処理方法であって、
   検証用画像の入力をする画像入力工程と、
   前記画像入力工程により入力された検証用画像と類似する画像を抽出する類似画像抽出工程と、
   前記類似画像抽出工程により抽出した画像にラベルを付与することで教師データを作成する教師データ作成工程と、
   前記教師データ作成工程により作成された教師データを用いて、前記教師あり画像分類器を学習させる学習工程と、
   を備えることを特徴とする情報処理方法。
8. 教師あり画像分類器により検証用画像の分類をする情報処理システムにおいて実行可能なプログラムであって、
   前記情報処理システムを、
   検証用画像の入力をする画像入力手段と、
   前記画像入力手段により入力された検証用画像と類似する画像を抽出する類似画像抽出手段と、
   前記類似画像抽出手段により抽出した画像にラベルを付与することで教師データを作成する教師データ作成手段と、
   前記教師データ作成手段により作成された教師データを用いて、前記教師あり画像分類器を学習させる学習手段として機能させることを特徴とするプログラム。
   

Images