JP2019114018A - 情報処理システム、情報処理システムの制御方法、およびプログラム - Google Patents

Abstract

【課題】画像データに含まれる検出物体のカテゴリを分類する際の正確性及び作業効率を向上させることが可能な仕組みを提供すること。【解決手段】画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付け、領域の指定を受け付けた検出物体を、カテゴリごとに分けた画面を表示するように制御する。その際、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示する。【選択図】図４

Description

本発明は、情報処理システム、情報処理システムの制御方法、およびプログラムに関し、特に、画像データに含まれる検出物体のカテゴリを分類する際の正確性及び作業効率を向上させることが可能な仕組みに関する。

近年、ディープラーニングと呼ばれる機械学習技術を応用した画像認識技術が発展しており、画像に写っている物体（カテゴリ）が何か、またその位置（画像中座標）はどこにあるのか、を検出する手法が数多く提案されている。

ディープラーニング技術を用いた物体検出器を構築するためには、大量の画像と教師データ（画像中のどこに、何のカテゴリの物体があるかを示すアノテーションデータ）が必要となる。

また、当該教師データの品質も担保される必要があり、教師データの質が低いと、正しく学習が行われず、検出精度の低い物体検出器が構築されてしまう。

したがって、１枚の画像に写っている検出対象の物体（以下、検出物体や、検出対象物とも呼ぶ）を精度よくラベル付け（検出物体が写っている領域の指定と、その物体が属するカテゴリの指定）することが、非常に重要となっている。

ラベル付けの精度を向上させるために、すでにラベル付けを完了した各カテゴリの画像データを表示して、今回ラベル付けを行う画像データをどのカテゴリにラベル付けすべきかの判断を容易にする技術がある。

特許文献１には、カテゴリが未分類の画像データをユーザが指定すると、カテゴリ候補を表示する技術が開示されている。

特開２００１−１５６１３５号公報

しかしながら、カテゴリ毎の画像データを表示するだけの場合、ユーザは全てのカテゴリの画像データと今回ラベル付けする画像データとを見比べる必要があるため、ユーザの作業効率が落ちてしまうという問題がある。

本発明は、画像データに含まれる検出物体のカテゴリを分類する際の正確性及び作業効率を向上させることが可能な仕組みを提供することを目的とする。

本発明は、画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付手段と、前記受付手段により、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御する表示制御手段とを備え、前記表示制御手段は、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示することを特徴とする。

また、本発明は、情報処理システムの制御方法であって、画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付工程と、前記受付工程で、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御する表示制御工程とを備え、前記表示制御工程は、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示することを特徴とする。

また、本発明は、情報処理システムで読み取り実行可能なプログラムであって、前記情報処理システムを、画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付手段と、前記受付手段により、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御する表示制御手段として機能させ、前記表示制御手段は、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示することを特徴とする。

本発明によると、画像データに含まれる検出物体のカテゴリを分類する際の正確性及び作業効率を向上させることができる。

本発明における情報処理システムの構成の一例を示す図 本発明の情報処理装置（クライアント端末１０１、サーバ装置１０２）のハードウェア構成の一例を示すブロック図 ラベル付け作業をする画面の一例を示す図 基本画面の一例を示す図 基本画面の一例を示す図 ラベル付け処理のフローチャートの一例を示す図 ラベル付け処理のフローチャートの一例を示す図 ラベル付け処理のフローチャートの一例を示す図 ラベル付け処理のフローチャートの一例を示す図 各種データテーブルの一例を示す図 周辺領域の座標を計算するイメージを示す図

以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。

図１は、本発明における情報処理システムの構成の一例を示す図である。図１に示すように、本発明における情報処理システムは、クライアント端末１０１とサーバ装置１０２が通信可能に接続された構成となっている。

クライアント端末１０１は、検出物体に対してラベル付け作業をするユーザが利用する端末であり、俯瞰画像や拡大画像等を表示し、ラベル付けの指示を受け付ける。

ラベル付け作業は、表示された画像において、検出物体が写っている領域の指定と、当該検出物体の属するカテゴリ（ラベル）の指定を受け付ける作業である。なお、後述する検出物体矩形とは、検出物体が写っているとして指定された領域を囲む矩形のことである。

例えば、図３に示す画面では、画像に写っている人物の顔が男性であるか女性であるか、およびおおよその年齢（例えば、１０代か２０代か等）のラベル付けをした例を示している。人間の顔に相当する領域を矩形で囲み、その矩形内の顔が男性であるか女性であるか、およびおおよその年齢のラベル付けを行う。

サーバ装置１０２は、ラベル付けの結果を管理したり、後述する図４等の画面をクライアント端末１０１に送信する機能を有する。

クライアント端末１０１、サーバ装置１０２が実行する処理の詳細は、図６以降の図面を用いて後述する。

次に、図２を用いて、図１に示したクライアント端末１０１とサーバ装置１０２に適用可能な情報処理装置のハードウェア構成について説明する。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。

また、２０５は入力コントローラで、キーボード（ＫＢ）２０９等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ディスプレイ２１０（液晶、ブラウン管を問わない）等の表示器への表示を制御する。

２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。以上で、図２の説明を終了する。

次に、図４、図５を用いて、図３の画面上で、ある画像についてラベル付け作業を行った結果を確認するための画面（基本画面）について説明する。

図４、図５は、本発明における、基本画面の一例を示す図である。

４０１は、今回のラベル付け作業によりラベル付けされた検出物体が表示される表示エリアを示す。

４０２は、カテゴリ（ラベル）の名前を示し、図４の例では、男性２０代というカテゴリと、男性３０代というカテゴリにラベル付けされた検出物体の切り出し画像（検出物体を元画像から切り出した画像）４０３が各カテゴリ４０２の下に表示されている。カテゴリ４０２は、ドラッグ＆ドロップで、表示順を変更することが可能（例えば、男性２０代を男性３０代の右に移動することが可能）である。また、「×」ボタンが選択されると、対象のカテゴリが表示エリア４０１から消去されるため、分類が完了したカテゴリを容易に画面から消すことができる。

４０３は、画像から検出物体を切り出した、切り出し画像である。切り出し画像４０３のカテゴリ４０２を変更したい場合には、変更先のカテゴリ４０２の下に、切り出し画像４０３をドラッグ＆ドロップすることにより、他のカテゴリ４０２に変更することが可能である。つまり、わざわざ元画像の画面（図３）に戻ってカテゴリを変更しなおす必要がないため、ユーザのラベル付け作業の効率が向上する。

切り出し画像４０３上でマウスオーバーを所定時間以上行うと、図５の５０１に示すとおり、検出物体の周辺の画像（周辺領域画像）が表示される。その際、検出物体矩形も表示されるため、矩検出物体矩形の位置やサイズを修正することも可能である。

検出物体の周辺の画像が表示されることにより、切り出し画像４０３を見るだけではカテゴリの判断がしづらい場合に、判断を容易にする効果がある。

例えば、植物の花のラベル付け（桜の枝についているのが、つぼみであるか、開花しているかのラベル付け）等において、切り出し画像４０３に花が映っているが、１つの花なのか、２つの花なのか切り出し画像だけではわかりにくい場合があるため、そのような場合に、検出物体の周辺の画像が表示されることにより、１つの花なのか否かの判断を容易に行うことができる。

４０４は、ページング要素であり、切り出し画像４０３が多い場合に表示される。なお、ページングではなく縦にスクロールバーを表示しても良い。

４０５は、リストボックスであり、最上部はテキストが入力可能になっており、入力されたテキストと、前方一致するカテゴリ名のみ表示される。

リストボックス４０５に入力がされていないときは、すべてのカテゴリ名が表示される。表示されたカテゴリ名を選択して、リストボックス４０５の右隣の追加ボタンが選択されることにより、追加されたカテゴリの切り出し画像４０３が表示エリア４０１や、表示エリア４０７に表示される。

つまり、リストボックス４０５により、ユーザは見比べたいカテゴリを容易に表示エリアに表示できるため、ユーザのラベル付け作業の効率が向上する。

４０６は、表示エリア４０７に表示する切り出し画像４０３の対象を切り替えるラジオボタンであり、「全画像の切り出し画像を表示」が選択されると、現在ラベル付けを行っている画像を除く、ラベル付けが完了しているすべての画像の切り出し画像４０３が時系列順に表示され、「全切り出し画像からランダムに表示」が選択されると、表示エリアに所定枚数（例えば５枚等）の切り出し画像４０３がランダムで表示される。その場合、ページング要素４０４は表示されない。「現在作業中の画像から切り出した画像のみ表示」が選択されると、表示エリア４０７に切り出し画像が表示されない。

「全切り出し画像からランダムに表示」を選択するメリットは、当該選択がされると、異なる時間に撮影された複数の画像からランダムに切り出し画像がピックアップされ表示エリア４０７に表示されるため、ある１つの画像の切り出し画像が表示されるよりも、色々な画像の切り出し画像と比較することができる点である。

上述したメリットは、たとえば、植物の花のラベル付け（桜の枝についているのが、つぼみであるか、開花しているかのラベル付け）等の、時系列的に変化の少ない画像のラベル付けにおいて、より顕著である。

４０７は、今回のラベル付け作業の対象となっている画像とは異なる他の画像の切り出し画像が表示される表示エリアである。

表示エリア４０１に複数のカテゴリ４０２を並列して表示したり、表示エリア４０７に他の画像の同一カテゴリ切り出し画像を表示したりすることで、ユーザは現在ラベル付け作業中の検出物体と過去の画像の検出物体とを比較できるため、より適切なカテゴリにラベル付けし直しやすくなる。以上で、図４、図５の説明を終了する。

次に、図６〜図９を用いて、本発明の、ラベル付け処理について説明する。図６〜１０は、本発明における、ラベル付け処理のフローチャートの一例を示す図である。

各フローチャートに示す処理は、クライアント端末１０１、またはサーバ装置１０２のＣＰＵ２０１が実行する。まず、図６について説明する。

ステップＳ６０１において、クライアント端末１０１は、ラベル付けを行うユーザから、これからラベル付けを行う画像の選択を受け付け、選択を受け付けた画像をサーバ装置１０２から取得する。

ステップＳ６０２において、クライアント端末１０１は、ステップＳ６０１で取得した画像に対するラベル付けを、クライアント端末１０１のディスプレイ２１０に表示される図３の画面上で受け付ける。

ステップＳ６０２は、本発明における、画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付手段の一例である。

ステップＳ６０３において、クライアント端末１０１は、ステップＳ６０２でラベル付けを受け付けた後に、図４の基本画面ボタン３０１がユーザにより選択されることで、クライアント端末１０１のディスプレイ２１０に、図４の基本画面を表示する処理を実行する。ステップＳ６０３の処理の詳細は、図７を用いて後ほど説明する。

ステップＳ６０３は、本発明における、前記受付手段により、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御し、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示する表示制御手段の一例である。

なお、他の実施形態として、「次の画像へ」ボタンや「前の画像へ」ボタンが選択されることで、基本画面を表示する処理を実行しても良いし、すべてのラベル付け作業が完了したタイミングで基本画面を表示する処理を実行しても良い。

ステップＳ６０４において、クライアント端末１０１は、基本画面上でユーザから操作を受け付ける。

ステップＳ６０５において、クライアント端末１０１は、図４の基本画面を介して、ユーザによりリストボックス４０５の右隣の追加ボタンが選択されたかを判定する。クライアント端末１０１は、追加ボタンが選択されたならば、ステップＳ６０６に処理を移行し、追加ボタンが選択されたのでなければステップＳ６０７に処理を移行する。

ステップＳ６０６において、クライアント端末１０１は、カテゴリ追加処理を行う。ステップＳ６０６の処理の詳細は、図８を用いて後ほど説明する。

ステップＳ６０７において、クライアント端末１０１は、図４の基本画面を介して、ユーザによりラジオボタン４０６が選択されたかを判定する。クライアント端末１０１は、ラジオボタン４０６が選択されたならば、ステップＳ６０８に処理を移行し、ラジオボタン４０６が選択されたのでなければステップＳ６０９に処理を移行する。

ステップＳ６０８において、クライアント端末１０１は、基本画面の表示（更新）処理を行う。ステップＳ６０８の処理の詳細は、図７を用いて後ほど説明する。

ステップＳ６０９において、クライアント端末１０１は、図４の基本画面の切り出し画像４０３上で所定時間以上マウスオーバーされたかを判定する。クライアント端末１０１は、所定時間以上マウスオーバーされたならば、ステップＳ６１０に処理を移行し、所定時間以上マウスオーバーされたのでなければステップＳ６１１に処理を移行する。

ステップＳ６１０において、クライアント端末１０１は、所定時間以上マウスオーバーされた切り出し画像４０３の周辺画像を表示する処理を実行する。ステップＳ６１０の処理の詳細は、図９を用いて後ほど説明する。

ステップＳ６１１において、クライアント端末１０１は、図４の基本画面を介して、ユーザによりカテゴリ変更指示がされたかを判定する。クライアント端末１０１は、カテゴリ変更指示がされたならば、ステップＳ６１２に処理を移行し、カテゴリ変更指示がされたのでなければステップＳ６１３に処理を移行する。カテゴリ変更指示は、変更先のカテゴリ４０２の下に、切り出し画像４０３をドラッグ＆ドロップする操作をユーザから受け付けることによりなされる。

ステップＳ６１２において、クライアント端末１０１は、カテゴリ変更指示を受け付け切り出し画像４０３のカテゴリを変更する。具体的には、切り出し画像テーブル１００３中の、ステップＳ６１１でカテゴリ変更指示を受け付けた切り出し画像４０３の「カテゴリ名」を変更する。

ステップＳ６１３において、クライアント端末１０１は、ユーザから終了指示を受け付けたかを判定する。クライアント端末１０１は、終了指示を受け付けたならば、本処理を終了し、終了指示を受け付けなければ、ステップＳ６０１に処理を戻す。

以上で図６の説明を終了し、次に図７について説明する。

ステップＳ７０１において、クライアント端末１０１は、サーバ装置１０２に対して、基本画面の取得要求を送信する。

なお、図６のステップＳ６０７本処理に移行する場合、クライアント端末１０１からは、現在の表示設定（どのラジオボタン４０６が選択されたかの情報を含む）、カテゴリ４０２に表示しているカテゴリのリスト（ステップＳ６０６で追加されたカテゴリ含む）、現在ラベル付け作業中の画像の画像ＩＤ、表示エリア４０１の１エリアに表示可能な切り出し画像４０３の枚数も送信される。また、図６のステップＳ６０２から本処理に移行する場合には、ステップＳ６０２で受け付けたラベル付けの結果（図１０の切り出し画像テーブル１００３に記憶される情報）を送信する。

ステップＳ７０２において、サーバ装置１０２は、ステップＳ７０１でクライアント端末１０１から送信された基本画面の取得要求を受信し、ステップＳ７０３〜ステップＳ７０７までの各処理を、基本画面に表示するカテゴリごとに実行する。

サーバ装置１０２は、図６のステップＳ６０７から本処理に移行する場合には、クライアント端末１０１から送信されたリストに含まれるカテゴリごとにステップＳ７０３〜ステップＳ７０７までの各処理を実行する。一方、図６のステップＳ６０２から本処理に移行する場合には、ステップＳ６０２のラベル付け作業で指定されたすべてのカテゴリに対して、ステップＳ７０３〜ステップＳ７０７までの各処理を実行するとしても良いし、ステップＳ７０３〜ステップＳ７０７までの各処理を実行することなく、表示エリア４０１や、表示エリア４０７に何も表示しないとしても良い。表示エリア４０１や、表示エリア４０７に何も表示しない場合には、ステップＳ６０６でカテゴリが追加されて始めて、表示エリア４０１や、表示エリア４０７に切り出し画像４０３を表示する。

ステップＳ７０３において、サーバ装置１０２は、図６のステップＳ６０２で受け付けたラベル付け作業の結果、処理対象のカテゴリにラベル付けされた検出物体の切り出し画像（表示エリア４０１に表示する切り出し画像）を取得する。

ステップＳ７０４において、サーバ装置１０２は、図４の基本画面上で、「現在作業中の画像から切り出した画像のみ表示」のラジオボタン４０６が選択されていたかを判定する。サーバ装置１０２は、「現在作業中の画像から切り出した画像のみ表示」のラジオボタン４０６が選択されていなければ、ステップＳ７０５に処理を移行する。なお、図６のステップＳ６０２から本処理に移行する場合には、デフォルトの設定が「現在作業中の画像から切り出した画像のみ表示」になっているか否か判定する。「現在作業中の画像から切り出した画像のみ表示」のラジオボタン４０６が選択されている場合とは、例えば、表示エリア４０７に切り出し画像を表示しない場合である。

ステップＳ７０５において、サーバ装置１０２は、今回のラベル付け作業の対象となっている画像とは異なる他の画像において、処理対象のカテゴリにラベル付けされた検出物体の切り出し画像を取得する。

ステップＳ７０６において、サーバ装置１０２は、図４の基本画面上で、「全切り出し画像からランダムに表示」のラジオボタン４０６が選択されていたかを判定する。サーバ装置１０２は、「全切り出し画像からランダムに表示」のラジオボタン４０６が選択されていれば、ステップＳ７０７に処理を移行する。なお、図６のステップＳ６０２から本処理に移行する場合には、デフォルトの設定が「全切り出し画像からランダムに表示」になっているか否か判定する。

ステップＳ７０６で、「全切り出し画像からランダムに表示」のラジオボタン４０６が選択されていない場合とは、図４の基本画面上で、「全画像の切り出し画像を表示」のラジオボタン４０６が選択されていた場合であるため、ステップＳ７０６−１で、サーバ装置１０２は、現在ラベル付けを行っている画像を除く、ラベル付けが完了しているすべての画像の切り出し画像を取得する。

ステップＳ７０７において、サーバ装置１０２は、ステップＳ７０５で取得した切り出し画像からランダムで表示エリア４０７に表示可能な枚数分取得する。

なお、ステップＳ７０５、ステップＳ７０６−１、ステップＳ７０７で取得する切り出し画像は、サーバ装置１０２の外部メモリ２１１で記憶する切り出し画像テーブル１００３に記憶される情報をもとに、画像テーブル１００２に記憶する画像データから切り出した画像である。どの切り出し画像が表示対象カテゴリに該当するのかは、切り出し画像テーブル１００３の「カテゴリ名」を参照することで特定可能である。

ステップＳ７０８において、サーバ装置１０２は、ステップＳ７０３、ステップＳ７０５、ステップＳ７０６−１、ステップＳ７０７で取得した切り出し画像を含む基本画面を生成し、クライアント端末１０１に送信する。

ステップＳ７０９において、クライアント端末１０１は、ステップＳ７０８でサーバ装置１０２から送信された基本画面を受信し、ステップＳ７１０で、クライアント端末１０１のディスプレイ２１０に表示する。

以上で図７の説明を終了し、次に図８について説明する。

ステップＳ８０１において、クライアント端末１０１は、リストボックス４０５に表示されたカテゴリの中で、ステップＳ６０５で追加ボタンが選択されたときに、選択されていたカテゴリの切り出し画像の取得要求をサーバ装置１０２に送信する。

また、このとき、クライアント端末１０１からは、現在の表示設定、現在ラベル付け作業中の画像の画像ＩＤ、表示エリア４０１の１エリアに表示可能な切り出し画像４０３の枚数も送信される。

ステップＳ８０２において、サーバ装置１０２は、ステップＳ８０１でクライアント端末１０１から送信された切り出し画像の取得要求を受信し、追加するカテゴリ（表示対象カテゴリ）に関して、ステップＳ８０３〜ステップＳ８０７の処理を実行する。ステップＳ８０３〜ステップＳ８０７までの各処理は、図７のステップＳ７０３〜ステップＳ７０７までの各処理と同様の処理であるため説明を省略する。

ステップＳ８０８において、サーバ装置１０２は、ステップＳ８０３、ステップＳ８０５で取得した切り出し画像をクライアント端末１０１に送信する。

ステップＳ８０９において、クライアント端末１０１は、ステップＳ８０８でサーバ装置１０２から送信された切り出し画像を受信し、基本画面に反映させて表示する。

以上で図８の説明を終了し、次に図９について説明する。

ステップＳ９０１において、クライアント端末１０１は、所定時間以上マウスオーバーされてた切り出し画像４０３の画像ＩＤをサーバ装置１０２に送信することで、切り出し元画像の取得要求を行う。

ステップＳ９０２において、サーバ装置１０２は、クライアント端末１０１から送信された元画像の取得要求を受信する。

ステップＳ９０３において、サーバ装置１０２は、クライアント端末１０１から送信された元画像の取得要求に含まれる画像ＩＤをもとに元画像を取得する。

具体的には、切り出し画像テーブル１００３の「ＩＤ」のうち、切り出し画像４０３の画像ＩＤと一致したＩＤと同じ行の画像パスを特定する。次に、画像テーブル１００２の「画像パス」の中から、特定した画像パスと一致する画像を特定することで、元画像を特定し、取得する。

ステップＳ９０４において、サーバ装置１０２は、切り出し画像の座標（切り出し画像テーブル１００３の「切り出し画像位置」）と、元画像の解像度（画像テーブル１００２の「解像度」）とを用いて、表示する周辺領域の座標を計算する。具体的には、例えば、図１１を一例とすると、切り出し画像を中心に、切り出し画像の９倍のサイズになるような元画像の座標を計算する（はみ出す場合にはカット）。

ステップＳ９０５において、サーバ装置１０２は、元画像と周辺領域座標、切り出し画像の切り出し位置をクライアント端末１０１に送信する。

ステップＳ９０６において、クライアント端末１０１は、元画像と周辺領域座標、切り出し画像の切り出し位置（検出物体矩形の位置）をサーバ装置１０２から受信する。

ステップＳ９０７において、クライアント端末１０１は、元画像から周辺領域を切り出し、切り出し画像位置に枠（検出物体矩形）を描画する。

ステップＳ９０８において、クライアント端末１０１は、図５の５０１に示す切り出し位置編集用の周辺領域画像を表示する。

以上で図９の説明を終了し、次に図１０について説明する。

図１０は、各種データテーブルの一例を示す図である。図１０の各種データテーブルは、サーバ装置１０２の外部メモリ２１１に記憶される。ただし、切り出し画像テーブル１００３については、クライアント端末１０１の外部メモリ２１１にも記憶される。

カテゴリテーブル１００１は、検出物体のカテゴリ（何であるかを示す情報）が登録されたテーブルである。登録するカテゴリ名は、何を検出する物体検出器を構築するかにより異なるものである。本実施例のように画像に含まれる人物の性別および年代を検出する検出器を構築する場合には、男性・女性、１０代・２０代といったカテゴリを登録する。

画像テーブル１００２は、ラベル付けを行う元画像を管理するテーブルであり、画像テーブル１００２は、画像を識別するためのＩＤ（画像ＩＤ），画像の保管先を示す画像パス、画像の解像度を含む。

切り出し画像テーブル１００３は、どの画像のどの領域にどのカテゴリの検出物体が存在するのかを示す情報が登録されるテーブルである。例えば、ＩＤ：１で特定される検出物体は、画像：１．ｊｐｇの（１４，２０，３０，５０）で特定される領域（切り出し画像位置）に３０代の男性の顔が存在することを示す。以上で図１０の説明を終了する。

以上、本発明によると、画像データに含まれる検出物体のカテゴリを分類する際の正確性及び作業効率を向上させることができる。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ クライアント端末
１０２ サーバ装置

Claims (8)

1. 画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付手段と、
   前記受付手段により、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御する表示制御手段と
   を備え、
   前記表示制御手段は、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示することを特徴とする情報処理システム。
2. 前記表示制御手段で表示するように制御される前記画面を介して、前記検出物体のカテゴリの変更を受け付ける変更受付手段を備えることを特徴とする請求項１に記載の情報処理システム。
3. 前記画面上で、前記検出物体の指定を受け付ける指定受付手段を備え、
   前記表示制御手段は、前記指定受付手段で指定を受け付けた前記検出物体の前記受付手段で受け付けた領域の周辺の領域を含む前記画像データを表示するように制御することを特徴とする請求項１または２に記載の情報処理システム。
4. 前記画面に表示するカテゴリの指定を受け付けるカテゴリ指定受付手段を備え、
   前記表示制御手段は、前記受付手段によりカテゴリの指定を受け付けた前記検出物体のうち、前記カテゴリ指定受付手段により指定を受け付けたカテゴリの検出物体を表示するように制御することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
5. 前記表示制御手段は、前記他の画像において、前記カテゴリに指定された検出物体のうち、所定の数の検出物体をランダムで抽出した前記画面を表示するように制御することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
6. 前記他の画像は、撮像された時間が異なる複数の画像であることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
7. 情報処理システムの制御方法であって、
   画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付工程と、
   前記受付工程で、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御する表示制御工程と
   を備え、
   前記表示制御工程は、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示することを特徴とする情報処理システムの制御方法。
8. 情報処理システムで読み取り実行可能なプログラムであって、
   前記情報処理システムを、
   画像データに含まれる複数の検出物体の領域の指定および当該検出物体のカテゴリの指定を受け付ける受付手段と、
   前記受付手段により、領域の指定を受け付けた前記検出物体を、カテゴリごとに分けた画面を表示するように制御する表示制御手段として機能させ、
   前記表示制御手段は、更に、他の画像において、前記カテゴリに指定された検出物体をカテゴリごとに分けた前記画面を表示することを特徴とするプログラム。

Images