JP2018120320A - 画像処理装置，画像処理方法，画像処理プログラム - Google Patents

Abstract

【課題】人と機械の協働により画像分類の最適化処理を効率化する画像処理技術を提供する。【解決手段】画像データ群を分類する画像処理装置１００であって，画像データ群を複数のクラスに分類する分類処理部２２と，各クラスに属する画像データの中から当該クラスを代表する代表画像を決定する代表画像决定部２３と，各クラスに属する画像データの中から当該クラスの境界又はその近傍に位置付けられた複数の境界画像を決定する境界画像决定部２４と，複数の境界画像の中から代表画像と同類又は非同類のものをユーザに選択させるために代表画像及び複数の境界画像をユーザ端末２００に表示させる画像表示部２５と，ユーザ端末２００からユーザによる境界画像の選択情報を取得する選択情報取得部２６と，選択情報に基づいて１以上のクラスの境界を再構築する再構築部２７と，を有する。【選択図】図１

Description

本発明は，画像群を複数のクラスに分類するための画像処理装置，画像処理方法，及び画像処理プログラムに関する。

近年，動画や静止画から文字や顔などの特定のオブジェクトをパターン認識し自動的に検出する画像認識技術が普及している。画像認識技術では，多量の学習用画像（トレーニングデータ）を特徴点のパターンごとに予め分類しておき，検出対象の画像が入力されたときに，分類済みの学習用画像と検出対象の画像をマッチングすることによって，その画像を自動的に認識及び検出する。例えば，監視カメラや車載カメラによって撮影された動画や静止画に何が写っているかを自動的に認識したり，あるいはその動画内に含まれている特定のオブジェクトを瞬時に検出することができる。

上記のような画像認識の精度を高めるためには，まず多量の学習用画像を精度良く分類することが必要となる。例えば，特許文献１には，画像データの分類の精度を高めるために，機械学習を利用して画像データの分類を行う画像分類学習装置などが開示されている。特許文献１に記載の画像分類学習装置は，画像ＤＢから画像取得部が分類対象となる画像データ群を取得し，代表画像決定部により分類クラスに対応した代表画像を決定する。また，事例収集部の画像検索部が，代表画像をクエリとして類似画像を検索し，その取得された画像データから画像データ抽出部が事例データを抽出して，事例データ記憶部に記憶させる。識別関数生成部は，抽出した事例データに基づいて学習を行い，分類を判定するための識別関数を算出する。識別処理部は，算出された識別関数を用いて画像データ群をクラスに分類する。このように，ユーザ環境下の画像データに基づいて機械学習用の事例データを収集し，識別関数を生成して画像データを分類することにより，個々のユーザ環境に合った適切な分類を提供することができると共に，その分類方法を学習することができる。

特開２０１０−９２４１３号公報

上記特許文献１のように機械学習を利用して画像の分類を行うこともできるが，元々の学習用画像にノイズが含まれていたり，あるいはインターネットから自動収集した類似画像にノイズが含まれていることも考えられる。その場合には画像の分類にエラーが発生する可能性がある。このため，現在の技術では，エラーなく完全に画像を分類することは難しい。そこで，画像分類及び意味づけの精度をさらに高めるために，各クラスに含まれている画像を人が目視によって確認し，その画像がそのクラスに含まれていることが適切であるか不適切であるかを人が判断するという作業も行われている。

しかしながら，各クラスに多量の画像が含まれている場合，目視で一つひとつ確認することは現実的には不可能である。また，各クラスに含まれている画像をランダムでピックアップして確認することも考えられるが，非効率的である。

そこで，本発明は，人と機械との協働による画像分類の最適化作業を効率良く行うことのできる画像処理技術を提供することを目的とする。

本発明の発明者らは，上記問題の解決手段について鋭意検討した結果，画像群を複数のクラスに分類した後，各クラスの中から代表画像と複数の境界画像とを決定し，代表画像と共に複数の境界画像両者をユーザに提示することとした。これにより，ユーザは代表画像と複数の境界画像を見比べて，複数の境界画像から代表画像と同類ものを選択することができ，その結果，その境界画像がクラスに属することの当否を簡単に判断することができる。また，ユーザによって選択されなかった境界画像がある場合には，その境界画像を除くようにクラスの境界を再構築することができるため，効率的に画像の分類を最適化することができる。そして，本発明者らは，上記知見に基づけば，従来技術の問題を解決できることに想到し，本発明を完成させた。具体的に説明すると，本発明は以下の構成又は工程を有する。

本発明の第１の側面は，画像データ群（複数の画像データを含む）を分類する画像処理装置に関する。画像処理装置は，分類処理部と，代表画像决定部と，境界画像决定部と，画像表示部と，選択情報取得部と，再構築部とを有する。なお，これらの各機能部は，１つのコンピュータに備わっていてもよいし，複数のコンピュータに分散されていてもよい。すなわち，本発明に係る画像処理装置は，１つのコンピュータにより実現される場合だけでなく，ネットワークによって接続された複数のコンピュータにより実現される場合も含む。分類処理部は，画像データ群に含まれる複数の画像データを複数のクラスに分類する。代表画像决定部は，各クラスに属する画像データの中から，当該クラスを代表する代表画像を決定する。境界画像决定部は，各クラスに属する画像データの中から，当該クラスの境界又はその近傍に位置付けられた複数の境界画像を決定する。画像表示部は，複数の境界画像の中から代表画像と同類のものをユーザに選択させるために，代表画像及び複数の境界画像をユーザ端末に表示させる。すなわち，代表画像と同類の境界画像を選択するようにユーザに促してもよいし，代表画像と同類でない境界画像を選択するようにユーザに促してもよい。選択情報取得部は，ユーザ端末からユーザによる境界画像の選択情報を取得する。ここにいう選択情報には，境界画像が代表画像と同類であるか非同類であるかを特定する情報が含まれる。再構築部は，ユーザ端末から取得した選択情報に基づいて１以上のクラスの境界を再構築する。

上記のように，各クラスの代表画像と境界画像をユーザに提示して，その境界画像が代表画像と同類のものであるか否かをユーザに判断させることにより，画像分類及び意味づけの最適化を効率良く行うことができる。また，代表画像と境界画像を同時又は連続的にユーザに提示することができるため，ユーザは代表画像と境界画像の対比を行いやすいというメリットがある。

本発明に係る画像処理装置において，分類処理部は，分類の判断基準となる特徴量に基づいて特徴空間を生成し，当該特徴空間内で複数の画像データを複数のクラスに分類する。特徴空間は，２次元であってもよいし３次元であってもよい。特徴空間の例は色空間であり，ＲＧＢ，ＹＵＶ，ＬＡＢ，又は同様の特徴量に基づいて生成できる。このように，複数の画像データを特徴空間内で分類することにより，代表画像と境界画像を精度良く決定することができる。

本発明に係る画像処理装置において，代表画像决定部は，特徴空間における各クラスの領域の重心又はその最も近傍に位置する画像データを代表画像として決定することが好ましい。また，境界画像决定部は，特徴空間における各クラスの領域の重心からの距離に基づいて複数の境界画像を決定することが好ましい。このように，クラスの領域の重心からの距離に基づいて代表画像と境界画像を決定することで，両画像を精度良く決定することができ，またその処理の負荷を軽減し，瞬時に両画像を決定することができる。

本発明に係る画像処理装置において，再構築部は，ユーザにより代表画像と同類であると判断された境界画像が当該代表画像の代表するクラスに含まれ，ユーザにより代表画像と非同類であると判断された境界画像が当該代表画像の代表するクラスに含まれないように，当該クラスの境界を再構築することが好ましい。このように，境界画像が代表画像同類であるか否かをユーザに判断させて，その判断結果に基づいて各クラスの境界を再構築することで，各クラスの分類の最適化処理を効率良く行うことができる。

本発明に係る画像処理装置において，分類処理部は，画像データ群を取得した撮影装置が備えるセンサから得られたセンシングデータを利用して，当該画像データ群を複数のクラスに分類することが好ましい。撮影装置が備えるセンサには，例えば，照度センサ，加速度センサ，磁気センサ，ＧＰＳセンサ，ジャイロセンサなどが含まれる。このように，画像データが保持する元々の特徴量に加えて，各種のセンサから得られたセンシングデータに基づいて画像データを分類することで，分類処理の精度を高めることができる。

本発明の第２の側面は，画像データ群を分類する画像処理方法に関する。画像処理方法は，分類処理工程と，代表画像决定工程と，境界画像决定工程と，画像表示工程と，選択情報取得工程と，再構築工程を含む。分類処理工程は，画像データ群を複数のクラスに分類する工程である。分類処理工程は，各クラスに属する画像データの中から，当該クラスを代表する代表画像を決定する工程である。境界画像决定工程は，各クラスに属する画像データの中から，当該クラスの境界又はその近傍に位置付けられた複数の境界画像を決定する工程である。画像表示工程は，複数の境界画像の中から代表画像と同類又は非同類のものをユーザに選択させるために，代表画像及び複数の境界画像をユーザ端末に表示する工程である。選択情報取得工程は，ユーザ端末からユーザによる境界画像の選択情報を取得する工程である。再構築工程は，選択情報に基づいて１以上のクラスの境界を再構築する工程である。

本発明の第３の側面は，画像データ群を複数のクラスに分類するための画像処理プログラムに関する。画像処理プログラムは，上記した分類処理工程と，代表画像决定工程，境界画像决定工程，画像表示工程，選択情報取得工程，及び再構築工程をコンピュータに実行させるための画像処理プログラムである。

本発明の画像処理技術によれば，人と機械との協働による画像分類の最適化作業を効率良く行うことができる。

図１は，本発明に係る画像処理装置の例を示したブロック図である。 図２は，本発明に係る画像処理方法の概要を示したフロー図である。 図３は，分類処理のサブフローの例を示したフロー図である。 図４は，入力画像の特徴ベクトルを求める方法の一例を示している。 図５は，代表画像と境界画像をユーザに提示するＵＩの一例を示している。 図６は，代表画像と同類の境界画像がユーザによって選択される様子を示している。 図７は，ユーザの選択情報に基づいてクラスの境界を再構成する様子を模式的に示している。 図８は，ユーザの選択情報に基づいてクラスの境界を再構成する様子を模式的に示している。 図９は，再構成後のクラスごとにダイジェスト動画を作成する処理を示している。

以下，図面を用いて本発明を実施するための形態について説明する。本発明は，以下に説明する形態に限定されるものではなく，以下の形態から当業者が自明な範囲で適宜変更したものも含む。

図１は，本発明に係る画像処理装置１００全体の機能構成を示している。また，図２は，画像処理装置１００が実行する画像処理方法のメインフローを示している。画像処理装置１００は，１つのコンピュータにより構成されていてもよいし，ネットワークによって接続された複数のコンピュータにより構成されていてもよい。画像処理装置１００は，複数の画像データを解析して，同類の画像データを同じクラスに分類する処理を行う。画像処理装置１００に入力される画像データは，静止画であってもよいし，動画であってもよい。動画は複数のフレーム画像によって構成されたものである。動画が入力された場合，画像処理装置１００は，動画を構成する複数のフレーム画像を分類する。画像処理装置１００は，基本的に，入力画像に対して分類処理を行った後，各クラスの代表画像及び複数の境界画像を決定した後それらをユーザに提示し，複数の境界画像の中から代表画像と同類のものをユーザに選択させることで，各クラスの境界の最適化を行う。その後，分類処理とユーザの操作を各クラスの境界が最適化されるまで行う。また，画像処理装置１００は，分類された画像データをクラスごとに繋ぎ合わせることで，ダイジェスト動画を生成することができる。本発明によれば，例えば，ある動画の中から特定の人物が写っているシーンを抜き出したダイジェスト動画を精度良く生成することができる。

図１に示されるように，画像処理装置１００は，入力画像ＤＢ（データベース）１１，最適化分類画像ＤＢ１２，及び出力画像ＤＢ１３を有する。これらのデータベース１１〜１３は，画像データを記憶するためのものであり，記憶装置によって実現できる。記憶装置の例は，ＨＤＤ及びＳＤＤなどの不揮発性メモリ，またはＲＡＭ及びＤＲＡＭなどの揮発性メモリである。また，画像処理装置１００は，画像取得部２１，分類処理部２２，代表画像决定部２３，境界画像决定部２４，画像表示部２５，選択情報取得部２６，境界面最適化部２７，画像処理部２８を有している。これらの機能部２１〜２８は，制御演算装置によって実現できる。制御演算装置の例は，ＣＰＵ又はＧＰＵ又は専用ハードウェアといったプロセッサである。画像処理装置１００の記憶部には，制御演算装置に画像処理方法を実行させるためのプログラムが記録されている。制御演算装置は，所定の演算処理の結果を記憶部に書き出したり記憶部から読み出したりしながら，記憶部に記録されているプログラムに従って演算処理及び制御処理を実行する。

入力画像ＤＢ１１には，分類処理の対象となる複数の画像データ（静止画又は動画）が記録されている。入力画像ＤＢ１１は，画像処理装置１００を構成するコンピュータに備わっていてもよいし，外部記憶装置であってもよい。また，入力画像ＤＢ１１としては，インターネット上で公開されている画像ＤＢを利用することもできる。画像取得部２１は，入力画像ＤＢ１１から分類処理の対象となる画像データを取得して，分類処理部２２に送出する。

分類処理部２２は，画像取得部２１が取得した画像データ群を複数のクラスに分類する分類処理を行う（ステップＳ１）。分類処理部２２は，前処理部２２ａ，特徴空間生成部２２ｂ，特徴分類部２２ｃを有することが好ましい。本願の図３には，分類処理部２２によって実行される分類処理の一例が示されている。分類処理部２２は，画像データ群に対して，任意の前処理を行った後，特徴ベクトルの計算を行い，特徴空間を生成する。ただし，画像データ群の分類処理は，基本的に公知の処理を利用することができ，図３に示したものに限定されない。

前処理部２２ａが行う前処理（ステップ１−１）は，任意の工程である。前処理部２２ａは，例えば，分類処理の対象となる画像データに元から含まれている既存データ（ＲＧＢやＬＡＢなどの色調データ）に加えて，各種センサから得られたセンシングデータを分析して，これらの既存データ及びセンシングデータを特徴空間の基準となる特徴量とする。センサの例は，画像データ群を取得した撮影装置が備えるセンサである。センサには，照度センサ，加速度センサ，磁気センサ，ＧＰＳセンサ，ジャイロセンサなどが含まれる。このようなセンサから得られたセンシングデータを利用して画像データを分類することで，その画像を撮影した状況を分類処理に反映させることができる。例えば，照度センサからは，画像を撮影したシーンの明るさに関する情報が得られる。また，加速度センサ，磁気センサ，ジャイロセンサからは，画像を撮影したときの撮影装置の動きに関する情報が得られる。また，ＧＰＳセンサからは，画像を撮影したときの撮影装置の位置（緯度・経度）に関する情報が得られる。これらのセンシングデータを特徴空間の生成に利用することで，各画像データを精度良く分類することができ，また画像データの分類を細分化することができる。センシングデータは，入力画像ＤＢ１１に記録されていてもよい。また，画像処理装置１００に撮影装置（不図示）を接続しておき，撮影装置が備える各種センサのセンシングデータをリアルタイムに前処理部２２ａに入力することもできる。

特徴空間生成部２２ｂは，入力画像ＤＢ１１から取得した画像データ，又は入力画像ＤＢ１１から取得した画像データに上記の前処理を行ったデータに対して特徴量計算を行う。特徴空間生成部２２ｂは，基本的に，画像データごとに特徴ベクトルを求めて，特徴空間を生成する（ステップＳ１−２）。図４には，特徴空間生成部２２ｂによる処理の一例が示されている。特徴空間生成部２２ｂは，画像データのサイズを変更するリサイズ処理を行った後，画像全体に対してぼかしを施すブラーの処理を行う。その後，画像データが保有するＲＧＢの各値を（Ｒ＋Ｇ＋Ｂ）の値で除算して，正規化されたＲＧＢ値を求める。また，特徴空間生成部２２ｂは，図４（ｂ）のように，正規化されたＲＧＢ値をＲＧＢの正規化ベクトルとして連結することで，特徴ベクトルを生成する。この場合，特徴ベクトルは，ＲＧＢの３値に３次元ベクトルとなる。特徴ベクトルを３次元ベクトルとする場合，特徴空間は３次元空間となる。また，前処理（ステップ２−１）を行った場合には，ＲＧＢのうちの全部又は一部の成分をセンシングデータに置き換えたり，あるいはＲＧＢにセンシングデータを加えて４次元ベクトルとすることもできる。また，ＲＧＢの中から選択した成分，例えばＲ／Ｇの様な２値による２次元ベクトルとすることもできる。また，特徴ベクトルは，ＲＧＢに限られず，ＹＵＶ，ＬＡＢやＣＭＹＫなどの色成分とすること可能である。

特徴空間生成部２２ｂは，上記の演算により求めた特徴ベクトルを基準として特徴空間を生成し，その特徴空間内に各画像データを配置する。特徴空間は，２次元空間，３次元空間，４次元空間，又はより高次の多次元空間であってもよい。特徴空間に関する情報は，メモリに一時的に記憶される。

特徴分類部２２ｃは，上記のようにして生成された特徴空間に対して分類処理を行う（ステップ２−３）。特徴分類部２２ｃは，特徴空間において，特徴量同士の距離が近い画像データを同じクラスに分類する。初期の分類処理においては，例えば，公知のK-means法などの非階層的手法や，最短距離法，最長距離法，群平均法，及びウォード法などの階層的手法といった公知のクラスタリング手法を利用することができる。例えば，K-means法では以下の手順で画像データの分類を行う。
１）各特徴ベクトルに対してランダムに分類の種別を２，３個程度割り当てる。
２）各分類に対して重心の位置を計算する。
３）上記２）で求められた重心の位置から特徴ベクトルまでの距離を計算し，最短の重心の分類に当該特徴ベクトルの分類を更新する。
４）上記２），３）のプロセスを分類の変化がなくなるまで繰り返す。

特徴分類部２２ｃは，上記のようにして各画像データを特徴空間内で複数のクラスに分類する。各クラスに関する情報は，メモリに一時的に記憶される。

画像データの初期の分類処理（ステップＳ１）が完了すると，代表画像决定部２３は，各クラスに属する画像データの中から，当該クラスを代表する代表画像を決定する（ステップＳ２）。代表画像を決定する方法としては，例えば，特徴空間における各クラスの重心を求め，その重心に位置する画像データ，又はその重心に最も近い画像データを代表画像として決定することができる。ただし，代表画像の決定方法は，これに限定されず，その他のアルゴリズムで各クラスの中から１つの代表画像を決定すればよい。

次に，境界画像决定部２４は，各クラスに属する画像データの中から，複数の境界画像を決定する（ステップＳ３）。境界画像とは，各クラスの境界に位置付けられた画像，又はその境界の近傍に位置付けられた画像である。例えば，図５（ａ）には，境界画像を決定する方法の一例が示されている。例えば，１つの代表画像とともにｎ枚（ｎは２以上の整数）の境界画像をユーザに提示することとした場合，特徴空間内のクラスをその重心を中心としてｎ個の領域に分割する。例えば，図５に示された例は，１つの代表画像とともに６枚の境界画像をユーザに提示する仕様であるため，特徴空間内のクラスを重心の座標から６０度ずつに６等分して，６つの分割領域を求める。そして，ｎ個の分割領域のそれぞれにおいて，クラスの重心から最も遠い距離に位置する画像を境界画像として決定する。これにより，１つのクラスから，１つの代表画像と，ｎ個の境界画像が抽出される。ただし，境界画像の決定方法は，これに限定されず，その他のアルゴリズムで各クラスの中から複数の境界画像を決定してもよい。

続いて，画像表示部２５は，代表画像决定部２３が求めた１つの代表画像とともに，境界画像决定部２４が求めた複数の境界画像をユーザ端末２００の表示装置に表示させる（ステップＳ４）。すなわち，画像表示部２５は，代表画像と境界画像のデータと，これらのデータを表示させるための制御信号をユーザ端末２００に送信する。図５（ｂ）には，ユーザ端末２００の表示画面の一例が示されている。この例では，１つの代表画像と６つの境界画像が一画面上に同時に表示されている。ただし，代表画像の後に境界画像を表示するといったように，代表画像と境界画像を連続的に表示することとしてもよい。また，ユーザ端末２００に表示される画像は静止画でもいいし，画像の前後数枚のフレームを含めた動画の切り出しとして表示されてもいい。

ユーザは，ユーザ端末２００の表示画面上に表示された代表画像と境界画像を見比べて，境界画像が代表画像と同類の画像であるか否かを判断する。図６に示されるように，例えば，ユーザは，ユーザ端末２００の操作部を介して，画面上に表示された複数の境界画像の中から代表画像と同類のものを選択する。画面上の境界画像の全てが，代表画像と同類のものであると選択される場合もある。なお，画面上に表示された複数の境界画像のうち，代表画像と同類でないものを選択するように，ユーザに促すことも可能である。いずれにしても，ユーザが各境界画像を代表画像と同類と認識しているか否かを判別できればよい。

また，ユーザは，代表画像と同類の境界画像を選択するとともに，その境界画像又はその境界画像が属するクラスに関するメタデータをユーザ端末２００に入力することもできる。例えば，境界画像の態様（例：「人が手を振っている」）などをテキストデータとして入力してもよい。また，境界画像が属するクラスのタイトルなどをテキストデータとして入力することもできる。その場合，ユーザ端末２００は，上記のメタデータを選択情報取得部２６に対して送信する。なお，このメタデータは，後述する最適化分類画像ＤＢ１２に記録される。

続いて，選択情報取得部２６は，ユーザ端末２００からユーザによる境界画像の選択情報を取得する（ステップＳ５）。図５に示した例では，ユーザ端末２００から選択情報取得部２６に対して，ユーザが代表画像と同類であると認識している境界画像の選択情報が入力される。このため，画像処理装置１００は，ユーザにより選択された境界画像が代表画像と同類であり，選択されなかった境界画像が代表画像と同類ではない（非同類）であると判断できる。なお，前述したとおり，ユーザ端末２００から選択情報取得部２６には，ユーザが代表画像と非同類であると認識している境界画像の選択情報が入力されてもよい。

続いて，再構築部２７は，ユーザ端末２００から取得した選択情報に基づいて，識別子空間におけるクラスの境界を再構築する（ステップＳ６）。図７及び図８は，あるクラスの境界が再構築される場合の例を示している。再構築部２７は，ユーザによる選択情報に基づいて，あるクラスの境界画像のうち，代表画像と同類であると判断された境界画像と，代表画像と非同類であると判断された境界画像を特定する。そして，再構築部２７は，ユーザにより代表画像と同類であると判断された境界画像が当該代表画像の代表するクラスに含まれ，ユーザにより代表画像と非同類であると判断された境界画像が当該代表画像の代表するクラスに含まれないように，当該クラスの境界を再構築する。例えば，図７に示した例では，あるクラスの領域は，再構築部２７によって２つの領域に分割されている。なお，ユーザによる選択の結果によっては，あるクラスの領域は分割されないこともあるし，または３つ以上の領域に分割されることもあり得る。また，分類境界の再構築にあたっては，上記したk-meansなどの公知のクラスタリング手法を採用できる。

その後，再構築部２７は，今回の再構築処理によって，各クラスの境界が最適化されたか否かを判断する（ステップＳ７）。十分な最適化がなされたか否かの判断は，ユーザに行わせることもできる。例えば，ユーザ端末２００から画像処理装置１００に対して最適化完了を知らせる制御信号が入力された場合に，再構築部２７は，十分な最適化がなされたと判断する。また，再構築処理（ステップＳ６）の前後での分類領域の差分を定量化し，その差分が予め設定した閾値以下となった場合に，再構築部２７は，十分な最適化がなされたと判断してもよい。また，例えば，ユーザに提示されたすべての境界画像が代表画像と同類であると判断された場合に，再構築部２７は，十分な最適化がなされたと判断してもよい。

他方で，最適化処理が未だ完了していないと再構築部２７が判断した場合，画像処理装置１００は，分類処理（ステップＳ１）以降の処理を再度実行する。この処理を最適化が完了するまで繰り返し行う。

分類境界の最適化が完了した場合，再構築部２７は，最適化後の境界に基づいて分類された各クラスに関する情報を最適化分類画像ＤＢ１２に記録する。最適化分類画像ＤＢ１２には，図１に示されるように，最適化後のクラスごとに，そのクラスに属する画像データに関する情報が記録されている。また，最適化分類画像ＤＢ１２には，ユーザ端末２００に入力された画像やクラスのメタデータを記録しておくこともできる。

続いて，図９に示されるように，画像処理部２８は，最適化分類画像ＤＢ１２においてクラスごとに分類して記録されている画像データを読み出して，ダイジェスト動画を生成する（ステップＳ８）。例えば，最適化分類画像ＤＢ１２から，ある特定のクラスに属する複数の画像データを読み出し，この画像データを繋ぎ合わせることで，同類の画像をまとめたダイジェスト動画が生成される。例えば，ある動画（入力画像）の中から特定の人物が写っているシーンを抜き出したダイジェスト動画を精度良く生成することができる。また，動画生成にあたって，最適化分類画像ＤＢ１２に記録されているメタデータを利用してもよい。例えば，メタデータを利用すれば，ダイジェスト動画のタイトルを自動生成できる。

画像処理部２８は，ここで生成したダイジェスト動画を出力画像ＤＢ１３に記録する。出力画像ＤＢ１３は，画像処理装置１００を構成するコンピュータに備わっていてもよいし，外部記憶装置であってもよい。また，出力画像ＤＢ１３としては，インターネット上で公開されている画像ＤＢを利用することもできる。また，ダイジェスト動画をインターネット上のサーバ装置に自動的にアップロードすることもできる。

また，最適化分類画像ＤＢ１２の利用方法は，上記したダイジェスト動画の生成に限られない。最適化分類画像ＤＢ１２は，ユーザの選択情報に基づいて画像データが精度良く分類されている。このため，例えば，ある入力画像を，この最適化分類画像ＤＢ１２に分類されている画像データとパターンマッチングすることで，その入力画像を精度良く画像認識することができる。例えば，本発明によって生成された最適化分類画像ＤＢ１２を，監視カメラシステムや車載カメラに取って撮影された動画に適用することで，分類処理の高度化，通常と違う危険状態の検出の精度を高めることができる。

以上，本願明細書では，本発明の内容を表現するために，図面を参照しながら本発明の実施形態の説明を行った。ただし，本発明は，上記実施形態に限定されるものではなく，本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。

本発明は，画像群を複数のクラスに分類するための画像処理において好適に利用することができる。

１１…入力画像ＤＢ １２…最適化分類画像ＤＢ
１３…出力画像ＤＢ ２１…画像取得部
２２…分類処理部 ２２ａ…前処理部
２２ｂ…特徴空間生成部 ２２ｃ…特徴分類部
２３…代表画像决定部 ２４…境界画像决定部
２５…画像表示部 ２６…選択情報取得部
２７…再構築部 ２８…画像処理部
１００…画像処理装置 ２００…ユーザ端末

Claims (7)

1. 画像データ群を分類する画像処理装置であって，
   画像データ群を複数のクラスに分類する分類処理部と，
   各クラスに属する画像データの中から当該クラスを代表する代表画像を決定する代表画像决定部と，
   各クラスに属する画像データの中から当該クラスの境界又はその近傍に位置付けられた複数の境界画像を決定する境界画像决定部と，
   前記複数の境界画像の中から前記代表画像と同類又は非同類のものをユーザに選択させるために，前記代表画像及び前記複数の境界画像をユーザ端末に表示させる画像表示部と，
   前記ユーザ端末から前記ユーザによる前記境界画像の選択情報を取得する選択情報取得部と，
   前記選択情報に基づいて１以上のクラスの境界を再構築する再構築部と，を有する
   画像処理装置。
2. 前記分類処理部は，分類の判断基準となる特徴量に基づいて特徴空間を生成し，当該特徴空間内で複数の画像データを複数のクラスに分類する
   請求項１に記載の画像処理装置。
3. 前記代表画像决定部は，前記特徴空間における各クラスの領域の重心又はその最も近傍に位置する画像データを代表画像として決定し，
   前記境界画像决定部は，前記特徴空間における各クラスの領域の重心からの距離に基づいて複数の境界画像を決定する
   請求項２に記載の画像処理装置。
4. 前記再構築部は，前記ユーザにより前記代表画像と同類であると判断された境界画像が当該代表画像の代表するクラスに含まれ，前記ユーザにより前記代表画像と非同類であると判断された境界画像が当該代表画像の代表するクラスに含まれないように，当該クラスの境界を再構築する
   請求項１に記載の画像処理装置。
5. 前記分類処理部は，前記画像データ群を取得した撮影装置が備えるセンサから得られたセンシングデータを利用して，当該画像データ群を複数のクラスに分類する
   請求項１に記載の画像処理装置。
6. 画像データ群を分類する画像処理方法であって，
   画像データ群を複数のクラスに分類する分類処理工程と，
   各クラスに属する画像データの中から当該クラスを代表する代表画像を決定する代表画像决定工程と，
   各クラスに属する画像データの中から当該クラスの境界又はその近傍に位置付けられた複数の境界画像を決定する境界画像决定工程と，
   前記複数の境界画像の中から前記代表画像と同類又は非同類のものをユーザに選択させるために，前記代表画像及び前記複数の境界画像をユーザ端末に表示する画像表示工程と，
   前記ユーザ端末から前記ユーザによる前記境界画像の選択情報を取得する選択情報取得工程と，
   前記選択情報に基づいて１以上のクラスの境界を再構築する再構築工程と，を含む
   画像処理方法。
7. 画像データ群を複数のクラスに分類するための画像処理プログラムであって，
   各クラスに属する画像データの中から当該クラスを代表する代表画像を決定する代表画像决定工程と，
   各クラスに属する画像データの中から当該クラスの境界又はその近傍に位置付けられた複数の境界画像を決定する境界画像决定工程と，
   前記複数の境界画像の中から前記代表画像と同類又は非同類のものをユーザに選択させるために，前記代表画像及び前記複数の境界画像をユーザ端末に表示させる画像表示工程と，
   前記ユーザ端末から前記ユーザによる前記境界画像の選択情報を取得する選択情報取得工程と，
   前記選択情報に基づいて１以上のクラスの境界を再構築する再構築工程を，
   コンピュータに実行させるための画像処理プログラム。

Images