JP2006139418A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】ノイズの少ない特徴量を抽出し、撮影画像から撮影画像に含まれる撮影対象を正しく判別する画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理サーバ１は、任意の数の領域に分割された撮影画像の各領域において、撮影対象が写る確率を推定する確率推定手段３０と、推定された確率を元に、各領域における画像の表現方法を変更する表現変更手段３１と、変更された表現方法を用いて、特徴ベクトルを抽出する特徴量抽出手段１３と、抽出された各領域における特徴ベクトルを組み合わせることにより、撮影画像全体の特徴ベクトルを作成する特徴ベクトル作成手段３２と、撮影画像全体の特徴ベクトルを元に、画像の学習、又は判別の少なくとも一方を行う手段１２、１５とを備える。
【選択図】図２

Description

本発明は、撮影画像から撮影画像に含まれる撮影対象を学習、又は判別する画像処理装置及び画像処理方法に関する。

従来、撮影画像から当該撮影画像に含まれる撮影対象を判別する際に用いられる特徴量には様々なものがある。色の特徴量や形状（構図）の特徴量などが、その例である。近年、これら複数の画像特徴量を組み合わせて高次元特徴量を作成し、撮影対象の判別を行う方法が提案されている（例えば、特許文献１参照）。これらの手法においては、画像から特徴量を抽出する際に、画面全体もしくは画面中の特定の認識領域に対して、一定の次元数を用いて特徴量が抽出されている。
特開２００３−２８９５５１号公報（「００８９」〜「００９１」段落、図１０）

しかしながら、撮影対象を画像中央部に位置するように対象を撮影すると、画像の縁の部分には対象以外の背景が写ることが多く、縁の部分の背景の影響で、特徴量に含まれるノイズが多くなる。このため、特徴量を用いた判別の正解率が低下する。

そこで、本発明は、上記の課題に鑑み、ノイズの少ない特徴量を抽出し、撮影画像から撮影画像に含まれる撮影対象を正しく判別する画像処理装置及び画像処理方法を提供することを目的とする。

上記目的を達成するため、本発明の第１の特徴は、撮影画像から撮影画像に含まれる撮影対象の学習、又は判別の少なくとも一方を行う画像処理装置であって、（ａ）任意の数の領域に分割された撮影画像の各領域において、撮影対象が写る確率を推定する確率推定手段と、（ｂ）確率推定手段によって推定された確率を元に、各領域における画像の表現方法を変更する表現変更手段と、（ｃ）表現変更手段によって変更された表現方法を用いて、特徴ベクトルを抽出する特徴量抽出手段と、（ｄ）特徴量抽出手段によって抽出された各領域における特徴ベクトルを組み合わせることにより、撮影画像全体の特徴ベクトルを作成する特徴ベクトル作成手段と、（ｅ）撮影画像全体の特徴ベクトルを元に、撮影画像の学習、又は判別の少なくとも一方を行う手段とを備える画像処理装置であることを要旨とする。

第１の特徴に係る画像処理装置によると、領域毎の表現を変化させることにより、ノイズの少ない特徴量を抽出し、撮影画像から撮影画像に含まれる撮影対象を正しく判別することができる。

又、第１の特徴に係る画像処理装置の確率推定手段は、撮影対象の大きさに関する事前情報を元に、撮影対象が撮影画像中に写る各領域の統計量を求めて、確率を推定してもよい。

この画像処理装置によると、撮影対象の大きさに応じて、確率を推定することができる。

又、第１の特徴に係る画像処理装置の表現変更手段は、各領域から得られる特徴ベクトルの頻度、あるいは、特徴ベクトルの次元数を用いて、画像の表現方法を変更してもよい。

この画像処理装置によると、特徴ベクトルの情報を用いて、画像の表現方法を変更することができる。

又、第１の特徴に係る画像処理装置において、学習、又は判別の少なくとも一方を行う撮影対象を、撮影を行った端末装置の位置情報及び撮影対象の位置情報により選択してもよい。

この画像処理装置によると、端末装置の位置情報と撮影対象の位置情報から、処理が必要な撮影対象を絞り込むことができる。

本発明の第２の特徴は、撮影画像から撮影画像に含まれる撮影対象の学習、又は判別の少なくとも一方を行う画像処理方法であって、（ａ）任意の数の領域に分割された撮影画像の各領域において、撮影対象が写る確率を推定するステップと、（ｂ）推定された確率を元に、各領域における画像の表現方法を変更するステップと、（ｃ）変更された表現方法を用いて、特徴ベクトルを抽出するステップと、（ｄ）抽出された各領域における特徴ベクトルを組み合わせることにより、撮影画像全体の特徴ベクトルを作成するステップと、（ｅ）撮影画像全体の特徴ベクトルを元に、撮影対象の学習、又は判別の少なくとも一方を行うステップとを含む画像処理方法であることを要旨とする。

第２の特徴に係る画像処理方法によると、領域毎の表現を変化させることにより、ノイズの少ない特徴量を抽出し、撮影画像から撮影画像に含まれる撮影対象を正しく判別することができる。

本発明によると、ノイズの少ない特徴量を抽出し、撮影画像から撮影画像に含まれる撮影対象を正しく判別する画像処理装置及び画像処理方法を提供することができる。

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。ただし、図面は模式的なものであることに留意すべきである。

（画像処理システム）
本実施形態に係る画像処理システムは、図１に示すように、ユーザの入力を受け付けて画像処理サーバ１（画像処理装置）に処理を依頼し、画像処理サーバ１での処理結果を出力する端末装置２ａ、２ｂ、２ｃと、通信ネットワーク（移動通信網、ＬＡＮ、インターネット等）３を介して、端末装置２ａ、２ｂ、２ｃからの処理依頼を受け付けて処理を行い、端末装置２ａ、２ｂ、２ｃに処理結果を送信する画像処理サーバ１とを備える。

ユーザは、端末装置２ａ、２ｂ、２ｃを、学習モードと判別モードの２種類のモードを切り換えて使用することができる。「学習モード」とは、既知である撮影対象を撮影し、この撮影画像と撮影対象を特定する情報を画像処理サーバ１へ送信することにより、画像処理サーバ１が撮影画像を学習するモードである。一方、「判別モード」とは、未知である撮影対象を撮影し、この撮影画像を画像処理サーバ１へ送信することにより、画像処理サーバ１が撮影対象を判別し、判別結果を、端末装置２ａ、２ｂ、２ｃへ送信するモードである。

学習モードである場合、画像処理サーバ１は、端末装置２ａ、２ｂ、２ｃから受信した、登録対象情報、登録対象関連情報、撮影対象を撮影した撮影画像から、撮影対象のグルーピングを行い、各撮影対象情報及び画像を記憶する。ここで、「登録対象情報」とは、撮影画像に写っている撮影対象を特定するための情報である。又、「登録対象関連情報」とは、撮影対象の位置情報、撮影対象に関連する情報（名称、ＵＲＬなど）などである。

判別モードである場合、画像処理サーバ１は、端末装置２ａ、２ｂ、２ｃの位置情報と、端末装置２ａ、２ｂ、２ｃから受信した撮影画像が撮影された位置に近い、予め登録された撮影対象の登録対象情報、登録対象関連情報などを取り出し、撮影画像に含まれる撮影対象を確率的に判別する。又、画像処理サーバ１は、判別結果となる複数の撮影対象の候補と、各候補が撮影対象である確率と、それら撮影対象に関連する情報を端末装置２ａ、２ｂ、２ｃに送信する。

画像処理サーバ１は、図２に示すように、通信手段１１と、判別手段１２と、特徴量抽出手段１３と、登録手段１４と、学習手段１５と、演算装置１６と、記憶装置１７と、重み付け手段１８と、確率推定手段３０と、表現変更手段３１と、特徴ベクトル作成手段３２とを備える。

通信手段１１は、通信ネットワーク３（移動通信網、ＬＡＮ、インターネット等）を介し、端末装置２ａ、２ｂ、２ｃから、撮影画像及び撮影対象の情報を受信する。又、通信手段１１は、判別モードである場合、通信ネットワーク３（移動通信網、ＬＡＮ、インターネット等）を介し、端末装置２ａ、２ｂ、２ｃへ撮影対象の情報及び判別結果を送信する。

確率推定手段３０は、任意の数の領域に分割された撮影画像の各領域において、撮影対象が写る確率を推定する。この各領域における確率は、後に詳述するが、例えば、図１３や図１６に示すような値となる。このような確率を推定する際、確率推定手段３０は、例えば、図１０に示すような、撮影対象の大きさに関する事前情報を元に、撮影対象が撮影画像中に写る各領域の統計量を求めて、確率を推定する。尚、撮影対象の大きさに関する事前情報は、記憶装置１７に予め登録されていてもよい。又、予め、撮影対象の大きさに関する事前情報が登録されていなくても、確率推定手段３０は、図１１〜図１３に示すような、後に詳述する方法を用いて、確率を推定することができる。

表現変更手段３１は、確率推定手段３０によって推定された確率を元に、各領域における画像の表現方法を変更する。又、表現変更手段３１は、例えば、各領域から得られる特徴ベクトルの頻度、あるいは、特徴ベクトルの次元（あるいは、特徴ベクトルの頻度と特徴ベクトルの次元の両方）を用いて、画像の表現方法を変更する。この変更方法については、後に詳述する。

特徴量抽出手段１３は、任意の数の領域に分割された撮影画像の各領域において、撮影対象を判別する際の指標となる特徴量（特徴ベクトル）を抽出する。このとき、特徴量抽出手段１３は、表現変更手段３１によって変更された表現方法を用いて、特徴ベクトルを抽出する。

特徴ベクトル作成手段３２は、特徴量抽出手段１３によって抽出された各領域における特徴ベクトルを組み合わせることにより、撮影画像全体の特徴ベクトルを作成する。

又、特徴量抽出手段１３は、例えば、撮影画像の任意の領域毎に、均等色空間で表現された撮影画像の信号を量子化し、均等色空間における各軸の量子化レベルの値の頻度を色ヒストグラムとして抽出する。ここで、「色空間」には、均等色空間（Ｌ^*、ａ^*、ｂ^*空間）、ＲＧＢ色空間、ＣＭＹＫ色空間、Ｌ^*、ｕ^*、ｖ^*空間、ＹＵＶ空間、ＸＹＺ空間などの様々な色空間が含まれる。そして、特徴量抽出手段１３は、任意の領域毎の色ヒストグラムを結合し、撮影画像全体の特徴量を抽出する。即ち、特徴量抽出手段１３は、既知の撮影画像１枚毎に、次元数（V）分の要素を有する撮影画像全体の特徴量（x）を抽出する。特徴量（x）は、一定の要素数を有するベクトルである。以下の説明において、x、x’は、ベクトルである。又、lを既知の撮影対象の番号、nを撮影画像毎に付与した番号、vを特徴量の次元の番号とすると、複数の既知の撮影対象に属する撮影画像の特徴量Xは、各要素x^(l) _(n,v)からなるマトリクスで表される。

学習手段１５（パラメータ算出手段）は、式（１）を用いて、特徴量抽出手段１３によって抽出された特徴量に基づいて、学習パラメータΘを算出する。Vを特徴量の最大次元、Lを既知の撮影対象の数とすると、学習パラメータΘは、各要素θ_(v,l)をV×L個並べたマトリクスである。

式（１）において、lは既知の撮影対象の番号、Lは既知の撮影対象の数、N^(l)はl番目の既知の撮影対象に対する撮影画像の数、vは特徴量の次元の番号、Vは特徴量の最大次元数、x^(l) _(n,v)はl番目の既知の撮影対象に属するｎ番目の撮影画像のv番目の次元の特徴量、γは任意の値、θ_(v,l)はl番目の既知の撮影対象に属する特徴量のv番目の次元における学習パラメータである。

上記の説明において、v、l、n（小文字）は変数であり、V、L、N（大文字）は固定値である。又、x、x’（小文字）は、ベクトルであり、X及びΘ（大文字）は、マトリクスである。

具体的には、学習手段１５（パラメータ算出手段）は、式（１）を用いて、l番目の既知の撮影対象に属する特徴量のv番目の次元の学習パラメータθ _(v,l)を算出する。

判別手段１２は、判別モードの際に受信した撮影画像について、式（２）を用いて、学習手段１５（パラメータ算出手段）によって算出された学習パラメータを用いることにより、未知の撮影対象を判別する。

式（２）において、x’_(v)は未知の撮影対象が含まれる撮影画像のv番目の次元の特徴量、Ｆ_(l)は未知の撮影対象がl番目の既知の撮影対象に属する度合いを示す判別値である。

具体的には、判別手段１２は、l番目の既知の撮影対象に属する特徴量のv番目の次元の学習パラメータθ _(v,l)を用いて、未知の撮影対象が含まれる撮影画像に属する特徴量x’が、l番目の既知の撮影対象に属する度合いを示すＦ_(l)の値を算出する。ここで、Ｆ_(l)の値が大きいほど、未知の撮影対象は、l番目の既知の撮影対象である確率が高いと判断する。

このように、式（２）によるＦ_(l)の算出をL回行えば、Ｆ_(l)の値に応じて、未知の撮影対象がL種類の撮影対象のどれに属するかを順位付けて判別することができる。

登録手段１４は、演算装置１６を介して記憶装置１７に撮影画像毎の特徴量や学習パラメータを登録する。

重み付け手段１８は、任意の領域毎の色ヒストグラムに、任意の重みを掛け合わせる。特徴量抽出手段１３は、重み付け手段１８によって、重みを掛け合わされた任意の領域毎の色ヒストグラムを結合する。任意の重みは、例えば、任意の領域毎の色ヒストグラムの頻度の値の合計値の逆数とすることができる。

演算装置１６は、通信手段１１と、判別手段１２と、特徴量抽出手段１３と、登録手段１４と、学習手段１５と、記憶装置１７、重み付け手段１８の動作を制御する。

又、本発明の実施の形態に係る画像処理サーバ１は、処理制御装置（ＣＰＵ）を有し、通信手段１１、判別手段１２、特徴量抽出手段１３、登録手段１４、学習手段１５、重み付け手段１８、確率推定手段３０、表現変更手段３１、特徴ベクトル作成手段３２などをモジュールとしてＣＰＵに内蔵する構成とすることができる。これらのモジュールは、パーソナルコンピュータ等の汎用コンピュータにおいて、所定のプログラム言語を利用するための専用プログラムを実行することにより実現することができる。

又、記憶装置１７は、複数の撮影画像の特徴量、複数の撮影画像それぞれに基づいて算出された複数の所定の学習パラメータ、撮影画像データ、登録対象情報、登録対象関連情報、判定値、撮影対象の大きさに関する事前情報などを保存する記録媒体である。記録媒体は、例えば、ＲＡＭ、ＲＯＭ、ハードディスク、フレキシブルディスク、コンパクトディスク、ＩＣチップ、カセットテープなどが挙げられる。このような記録媒体によれば、撮影画像データ、学習パラメータ、登録対象情報などの保存、運搬、販売などを容易に行うことができる。

端末装置２ａ、２ｂ、２ｃは、学習モードと判別モードの２種類のモードを切り換えることができる。

学習モードである場合、端末装置２ａ、２ｂ、２ｃは、搭載されたカメラによって、既知の撮影対象を撮影する。端末装置２ａ、２ｂ、２ｃは、予めユーザによって登録された登録対象情報と登録対象関連情報とともに、撮影画像を画像処理サーバ１に送信する。又、画像処理サーバ１は、学習処理を行う撮影対象を、撮影を行った端末装置２の位置情報及び登録対象関連情報に含まれる撮影対象の位置情報により選択する。

一方、判別モードである場合、端末装置２ａ、２ｂ、２ｃは、搭載されたカメラによって、未知の撮影対象を撮影する。端末装置２ａ、２ｂ、２ｃは、登録対象関連情報とともに、撮影画像を画像処理サーバ１に送信する。又、画像処理サーバ１は、判別処理を行う撮影対象を、撮影を行った端末装置２の位置情報及び登録対象関連情報に含まれる撮影対象の位置情報により選択する。そして、端末装置２ａ、２ｂ、２ｃは、画像処理サーバ１から判別結果となる複数の撮影対象の候補と、各候補が撮影対象である確率と、それら撮影対象に関連する情報を受信し、上述したＦ_(l)の値を元に「登録対象情報」と「登録対象関連情報」を順位付けて、ユーザに提示する。ユーザは、それら順位付けされた候補の中から所望のデータを簡単に取り出すことができる。

端末装置２は、図３に示すように、入力手段２１と、通信手段２２と、出力手段２３と、撮影手段２４と、測位手段２５と、演算装置２６と、記憶装置２７とを備える。

通信手段２２は、通信ネットワーク３（移動通信網、ＬＡＮ、インターネット等）を介し、画像処理サーバ１へ、撮影画像及び撮影対象の情報を送信する。又、通信手段２２は、判別モードである場合、通信ネットワーク３（移動通信網、ＬＡＮ、インターネット等）を介し、画像処理サーバ１から、撮影対象の情報及び判別結果を受信する。

撮影手段２４は、具体的には、搭載されたカメラなどを指し、対象を撮影し、撮影画像を取得する。

測位手段２５は、端末装置２の位置や撮影対象の位置を測位する。測位手段２５は、例えば、ＧＰＳ、基地局との連動、超音波、電子コンパスなどを組み合わせて測位を行ってもよい。

入力手段２１は、タッチパネル、キーボード、マウス、携帯電話のボタン等の機器を指す。入力手段２１から入力操作が行われると対応するキー情報が演算装置２６に伝達される。出力手段２３は、モニタなどの画面を指し、液晶表示装置（ＬＣＤ）、発光ダイオード（ＬＥＤ）パネル、エレクトロルミネッセンス（ＥＬ）パネル等が使用可能である。

演算装置２６は、入力手段２１と、通信手段２２と、出力手段２３と、撮影手段２４と、測位手段２５と、記憶装置２７の動作を制御する。又、演算装置２６は、入力手段２１から入力されたキー情報などによって、学習モードと判別モードを切り換える切換手段として動作する。

記憶装置２７は、撮影画像、登録対象情報、登録対象関連情報などを保存する記録媒体である。

（画像処理方法）
次に、本実施形態に係る画像処理方法について、図４〜２１を用いて説明する。

まず、撮影画像の登録方法について、図４を用いて説明する。

（イ）まず、ステップＳ１０１において、端末装置２は、学習モードにおいて既知の登録対象を撮影し、その撮影画像を取得する。

（ロ）次に、ステップＳ１０２において、端末装置２は、登録対象情報を入力し、ステップＳ１０３において、端末装置２は、登録対象関連情報を入力する。登録対象情報及び登録対象関連情報の入力は、撮影前に予め行っていても構わない。例えば、撮影した画像が図９に示すような洋菓子店舗の場合、「登録対象情報」として、“ケーキ屋”などを入力し、「登録対象関連情報」として、“ＡＡＡ洋菓子店”、ＡＡＡ洋菓子店の住所、ＡＡＡ洋菓子店のＵＲＬなどを入力する。

（ハ）次に、ステップＳ１０４において、端末装置２は、登録対象を撮影した地点の位置情報、測位誤差、撮影時刻、可能であれば撮影対象までの距離や方向を取得し、登録対象関連情報に含めて記憶する。

（ニ）次に、ステップＳ１０５において、端末装置２は、画像処理サーバ１に登録対象情報、登録対象関連情報、撮影画像データを送信する。

（ホ）次に、ステップＳ１０６において、画像処理サーバ１は、登録対象情報、登録対象関連情報、撮影画像データを受信する。そして、ステップＳ１０７において、画像処理サーバ１は、登録画像の特徴量を抽出する。この特徴量の抽出方法は、後に詳述する。

（へ）次に、ステップＳ１０８において、画像処理サーバ１は、登録対象情報、登録対象関連情報、登録対象画像、特徴量及び画像処理サーバ１での登録時刻を記憶装置１７に記憶する。

次に、撮影対象を学習する方法について、図５を用いて説明する。

（イ）まず、ステップＳ２０１において、画像処理サーバ１は、記憶装置１７から登録対象情報、登録対象関連情報、撮影画像データ、特徴量を読み出す。

（ロ）次に、ステップＳ２０２において、画像処理サーバ１は、登録対象関連情報に含まれる位置情報による対象のグルーピングを行って撮影対象を絞り込む。後述する撮影対象の判別時に随時学習を行う場合は、端末装置２から端末装置２の位置情報を受信して、検索範囲内にある撮影対象を学習する。ここで、「検索範囲」とは、判別対象を中心として半径が（測位誤差）＋（対象までの距離）以内のエリアを指す。又、ここで用いる位置情報は、任意の位置を受け付けることが可能である。例えば、予め判別が行われそうな位置を用いて学習を行っても良いし、端末の位置情報を用いて判別する際に随時学習を行っても良い。

（ハ）次に、ステップＳ２０３において、画像処理サーバ１は、撮影対象の学習を行う。具体的には、上述した式（１）を用いて学習パラメータの算出を行う。

（ニ）次に、ステップＳ２０４において、画像処理サーバ１は、対象の学習結果（学習パラメータ）を記憶する。

次に、撮影対象を判別する方法について、図６を用いて説明する。

（イ）まず、ステップＳ３０１において、端末装置２は、判別モードにおいて未知の撮影対象を撮影し、撮影画像を取得する。次に、ステップＳ３０２において、端末装置２は、未知の撮影対象に関する登録対象関連情報を取得する。

（ロ）次に、ステップＳ３０３において、端末装置２は、画像処理サーバ１に登録対象関連情報及び撮影画像データを送信する。次に、ステップＳ３０４において、画像処理サーバ１は、登録対象関連情報及び撮影画像データを受信する。次に、ステップＳ３０５において、画像処理サーバ１は、撮影画像の特徴量を抽出する。この特徴量の抽出方法は、後に詳述する。

（ハ）次に、ステップＳ３０６において、画像処理サーバ１は、判別対象の絞り込みを行う。次に、ステップＳ３０７において、画像処理サーバ１は、検索範囲の学習が完了しているか否か判断する。完了している場合は、ステップＳ３０８の処理に進み、完了していない場合は、ステップＳ３０９の処理に進む。

（ニ）ステップＳ３０９において、画像処理サーバ１は、図５のステップＳ２０３において説明した学習を行う。そして、ステップＳ３０８において、画像処理サーバ１は、撮影画像の特徴量と学習パラメータを用いて対象判別を確率的に行う。具体的には、具体的には、上述した式（２）を用いて判定値を求め、判別候補となる撮影画像を求める。

（ホ）次に、ステップＳ３１０において、画像処理サーバ１は、判別結果の候補に関する登録対象情報及び登録対象関連情報を記憶装置１７から読み出し、登録対象情報、登録対象関連情報、判別結果を端末装置２に送信する。そして、ステップＳ３１１において、端末装置２は、登録対象情報、登録対象関連情報、判別結果を受信する。

（へ）次に、ステップＳ３１２において、端末装置２は、確率的な判別結果を元に登録対象情報と登録対象関連情報に優先度をつけて（例えば、確率の高い候補を画面の上部に表示するなど）ユーザに提示する。これにより、ユーザは未知の撮影対象に関連したＵＲＬ等のアドレスを元にして、ネットワークから更に撮影対象に関連する情報を引き出すことができる。

図６に示す判別処理によると、例えば、ユーザが、端末装置２によって未知の撮影対象である店舗Ａを撮影し、その撮影画像を画像処理サーバ１へ送信すると、画像処理サーバ１が店舗Ａを判別し、店舗Ａの名称、ＵＲＬ等を端末装置２に送信することができる。このため、端末装置２は、撮影画像からその撮影対象に関する情報を容易に得ることができる。

次に、図４のステップＳ１０７及び図６のステップＳ３０５における特徴量の抽出方法の詳細について、図７を用いて説明する。

（イ）まず、ステップＳ４０１において、画像処理サーバ１は、端末装置２に搭載したカメラによって撮影対象の撮影画像を取得する。ここでは、図９に示す画像を取得したことを例にとり説明する。この取得した画像は、カメラや端末装置２の機能によりホワイトバランス等の一般的な画像補正を行われていてもよい。

（ロ）次に、ステップＳ４０２において、画像処理サーバ１は、取得画像にノイズ除去の画像補正処理を施す。尚、画像補正処理は、必ずしも必要ではなく、状況に応じて施せばよい。

（ハ）次に、ステップＳ４０３において、画像処理サーバ１は、特徴量の抽出を行う。

ステップＳ４０３における、特徴量の抽出方法の詳細を図８を用いて説明する。

（イ）まず、ステップＳ５０１において、画像処理サーバ１は、撮影画像を格子状にI×J分割する。領域の分割方法として、図９では、格子状に分割したものを示したが、放射状でも円形状でもよく、分割形状はこれに限らない。又、領域は等分割されなくてもよい。

（ロ）次に、ステップＳ５０２において、画像処理サーバ１は、各領域に対象が写っている確率を推定する。画像の各領域において対象が写る確率を推定するには、撮影の条件と対象の大きさのデータを元に画像の各領域において対象が写る確率を推定することができる。例えば、「撮影対象を撮影画像の中央に、撮影画像の領域一杯に撮影する」という撮影条件を設定し、３個の撮影対象の大きさのデータがあった場合、３個の撮影対象の大きさの縦横比から、画像中に対象が写る頻度を求める。撮影画像の各領域において撮影対象が写る頻度を撮影対象の大きさのデータ数で割ることで、画像の各領域において対象が写る確率を求める。

具体的な計算例を以下に示す。図１０に示すように、３つの対象に関するサイズが与えられているとする。すると、各対象は図１１のように画像中に写ることが想定される（ここでは、説明を簡単にする為、撮影画像の縦横比は1の場合について説明する）。

又、各対象の各領域における頻度は、図１２に示すようになる。ここで、図１３に示すように、対象の総数で頻度を割った値を、各領域における対象の写る確率とみなすことができる。

上記は、対象のサイズが既知であるとした場合の例を述べたが、例えば対象を撮影した画像に写っている領域を元に、同様の計算方法で対象が写る範囲の確率を求めても良い。

更に、対象に関するデータが無い場合には、何かしらの分布を用いて、重み付けを行っても良い。図１４〜１６を用いて、３×３領域に分割した場合に、画面中央部の領域の確率が高くなるように、標準二次元正規分布を用いて（二次元正規分布等、他の分布でも構わない）、各領域の次元数を決定し、値を調節する方法を述べる。まず、図１４は、中心の領域を０とし、この中心領域からの距離を各領域毎に表したものである。図１５は、各領域の値に対して、所定の関数を用いて変換した結果である。ここで、用いた累積分布関数値は、

である。ここで、ｒは、図１４に示す距離マトリクス、μ＝０、σ＝１として計算した。

そして、図１６に示す正規化累積分布関数値を、画像の各領域に対象が写る確率とみなす。図１６では、各領域の合計値（画面全体）を１として正規化を行った例であるが、図１３に示すように、画面の中央領域を１として正規化しても構わない。画面の中央には撮影対象が存在する確率が非常に高いため、図１３に示す正規化も有用である。

（ハ）次に、ステップＳ５０３において、確率に基づいて、次元数や頻度を変更する際の重みを決定する。このとき、ステップＳ５０２において推定した確率をそのまま重みとして用いてもよい。ステップＳ５０４において、次元数を変更するか否か判断し、変更する場合は、ステップＳ５０５において、重みに基づいて次元数を変更し、変更しない場合は、ステップＳ５０６において、次元数を固定とする。

ここで、次元数を変更する方法について述べる。次元数を変更する場合は、画像の各領域に対象が写る確率に応じて、量子化のビット数を変えることで、画像の各領域から抽出する特徴ベクトルの次元数を変える。図１７では、図１６に示す確率を元に、量子化ビット数を算出し、色空間と量子化ビット数をかけることで、次元数を算出している。このようにして算出した次元数に応じて、図１８に示すように、色ヒストグラムの次元数を変更する。例えば、図１９に示すように、撮影画像の中央部と、周囲と、中央部と周囲の間で、色ヒストグラムの次元数を変更する場合について説明する。図１９では、中央部では９次元、周囲では３次元、中央部と周囲の間では、６次元の次元数としている。中央部には撮影対象が存在する確率が高いため、中央部の次元数を上げている。

（ニ）次に、ステップＳ５０７において、画像処理サーバ１は、領域毎に、画像を視覚的に均等な空間である均等色空間（Ｌ^*、ａ^*、ｂ^*）で表現する。ここで、撮影画像を格子状にI×J分割した場合、i,j番目の領域における次元数をV_i,jとする。例えば、各分割領域における次元数は、図１８のように示される。そして、i,j番目の領域における各領域のV_i,j次元で、特徴量（特徴量は色ヒストグラム、周波数、画素値等でも構わない）を抽出する。本実施形態では、色ヒストグラムで抽出したとして話を進める。各領域の色ヒストグラムは、V_i,j次元の特徴量（V_i,j個の要素を有するベクトル値）として表される。ステップＳ５０８において、画像処理サーバ１は、均等色空間における各軸を独立に、次元数に基づいた量子化を行う。そして、ステップＳ５０９において、画像処理サーバ１は、Ｌ^*、ａ^*、ｂ^*の量子化レベルの値の頻度を算出する。

（ホ）次に、ステップＳ５１０において、画像処理サーバ１は、頻度の調整を行うか否か判断し、調整を行う場合はステップＳ５１１に進み、重みに基づいた頻度の調整を行い、調整を行わない場合は、ステップＳ５１２に進む。

ここで、ステップＳ５１１において、頻度を調整する場合は、画像の各領域から画像の各領域の次元数によって抽出した特徴ベクトルの値に、画像の各領域に対象が写る確率の値をかける。例えば、図２０に示すように、撮影画像の中央部と、周囲と、中央部と周囲の間で、色ヒストグラムの頻度を調整する。図２０では、中央部、周囲、中央部と周囲の間では、すべて６次元であるが、各領域において、頻度を増加したり、減少したりする。中央部には撮影対象が存在する確率が高いため、中央部に近いほど、頻度を増加している。

尚、次元数の変更、頻度の調整は、どちらか一方を行ってもよく、両方を行ってもよい。両方を行った場合は、図２１に示すように、各領域毎に次元数が変化し、かつ、領域毎に頻度を調整することとなる。

（へ）次に、ステップＳ５１３において、画像処理サーバ１は、上記の次元数と頻度を調節した、画像の各領域のヒストグラムを結合し、撮影画像全体の特徴ベクトルを抽出する。例えば、ステップＳ５０１において、撮影画像を格子状にI×J分割した場合、i,j番目の領域における次元数をV_i,jとする。各領域の特徴量を結合して、全ての領域の特徴量を結合した特徴量の次元Vは、

で表される。

図１８に示す結果の場合は、全体のヒストグラムは、45次元+27次元×4ブロック+15次元×4ブロック=213次元ベクトルとなる。

（ト）次に、ステップＳ５１４において、全体のヒストグラム（213次元ベクトル）を正規化する。尚、正規化処理は、必ずしも必要ではなく、状況に応じて施せばよい。

（作用及び効果）
本実施形態に係る画像処理サーバ１（画像処理装置）及び画像処理方法によると、通常、撮影対象は画像中央部に位置することを利用し、対象が映っている可能性の高い画像中央部の表現（次元数や頻度）を高めて、背景が映っている可能性が低い画像の周囲の表現（次元数や頻度）を低下させることで、より対象の情報を含み、かつノイズの少ない画像特徴量を抽出することができる。このため、撮影画像から撮影画像に含まれる撮影対象を正しく判別することができる。

又、画像処理サーバ１の確率推定手段３０は、撮影対象の大きさに関する事前情報を元に、撮影対象が撮影画像中に写る各領域の統計量を求めて、確率を推定することができる。

又、画像処理サーバ１の表現変更手段３１は、各領域から得られる特徴ベクトルの頻度、あるいは、特徴ベクトルの次元数を用いて、画像の表現方法を変更することができる。

又、画像処理サーバ１において、学習、又は判別の少なくとも一方を行う撮影対象を、撮影を行った端末装置２の位置情報及び撮影対象の位置情報により選択することができる。このため、撮影対象の位置情報から、処理が必要な撮影対象を絞り込むことができる。

又、上述した式（１）及び式（２）は、いわゆるＮＢ（ナイーブ・ベイズ）の手法であり、未知の撮影対象が既知の撮影対象に該当する確率を、複数の既知の撮影対象それぞれに算出することができ、かつ、処理速度が早いという利点を有する。

（その他の実施の形態）
本発明は上記の実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

例えば、上述した実施形態において、ＮＢ（ナイーブ・ベイズ）の手法を用いて、学習パラメータを取得し、未知の撮影対象を判別する例を示した。しかし、ＮＢに限らず、他のベイズ手法やＳＶＭ（サポート・ベクター・マシン）、ｋＮＮ（ｋニアレスト・ネイバー）、ＬＶＱ（ラーニング・ベクター・クォンタイゼーション）などの他のアルゴリズムを用いて、学習パラメータを取得し、未知の撮影対象を判別しても構わない。

又、実施形態に係る画像処理サーバ１は、通信手段１１と、判別手段１２と、特徴量抽出手段１３と、登録手段１４と、学習手段１５と、重み付け手段１８と、確率推定手段３０と、表現変更手段３１と、特徴ベクトル作成手段３２とをモジュールとしてＣＰＵに内蔵する構成とすることができると説明したが、それらが二つあるいはそれ以上のＣＰＵに分かれていても構わない。その際はそれらのＣＰＵ間でデータのやりとりが行えるようにバスなどで装置間を接続しているとする。

このように、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

本発明の実施の形態に係る画像処理システムの構成ブロック図である。 本発明の実施の形態に係る画像処理サーバの構成ブロック図である。 本発明の実施の形態に係る端末装置の構成ブロック図である。 本発明の実施の形態に係る登録処理を示すフローチャートである。 本発明の実施の形態に係る学習処理を示すフローチャートである。 本発明の実施の形態に係る判別処理を示すフローチャートである。 本発明の実施の形態に係る特徴量抽出処理を示すフローチャートである。 図７のステップＳ４０３の詳細を示すフローチャートである。 本発明の実施の形態に係る撮影画像の一例である。 本発明の実施の形態に係る撮影対象の大きさの一例である。 本発明の実施の形態に係る撮影画像に占める撮影対象の範囲を示す図である。 本発明の実施の形態に係る撮影対象の各領域における頻度を示す図である。 図１２において、データ数で正規化した確率を示す図である。 本発明の実施の形態に係る撮影画像の各領域の距離マトリクスを示す図である。 本発明の実施の形態に係る撮影画像の各領域の累積分布関数値を示す図である。 本発明の実施の形態に係る撮影画像の各領域の正規化累積分布関数値を示す図である。 本発明の実施の形態に係る撮影画像の各領域の次元数を示す図である。 本発明の実施の形態に係る撮影画像の各領域における特徴ベクトルの次元数を示す図である。 本発明の実施の形態に係る撮影画像の各領域における色ヒストグラムの次元数変更を説明するための図である。 本発明の実施の形態に係る撮影画像の各領域における色ヒストグラムの頻度調整を説明するための図である。 本発明の実施の形態に係る撮影画像の各領域における色ヒストグラムの次元数変更及び頻度調整を説明するための図である。

符号の説明

１ 画像処理サーバ
２ 端末装置
３ 通信ネットワーク
１１ 通信手段
１２ 判別手段
１３ 特徴量抽出手段
１４ 登録手段
１５ 学習手段
１６ 演算装置
１７ 記憶装置
１８ 重み付け手段
２１ 入力手段
２２ 通信手段
２３ 出力手段
２４ 撮影手段
２５ 測位手段
２６ 演算装置
２７ 記憶装置
３０ 確率推定手段
３１ 表現変更手段
３２ 特徴ベクトル作成手段

Claims (6)

1. 撮影画像から該撮影画像に含まれる撮影対象の学習、又は判別の少なくとも一方を行う画像処理装置であって、
   任意の数の領域に分割された撮影画像の各領域において、前記撮影対象が写る確率を推定する確率推定手段と、
   前記確率推定手段によって推定された確率を元に、前記各領域における画像の表現方法を変更する表現変更手段と、
   前記表現変更手段によって変更された表現方法を用いて、特徴ベクトルを抽出する特徴量抽出手段と、
   前記特徴量抽出手段によって抽出された前記各領域における特徴ベクトルを組み合わせることにより、前記撮影画像全体の特徴ベクトルを作成する特徴ベクトル作成手段と、
   前記撮影画像全体の特徴ベクトルを元に、撮影対象の学習、又は判別の少なくとも一方を行う手段と
   を備えることを特徴とする画像処理装置。
2. 前記確率推定手段は、前記撮影対象の大きさに関する事前情報を元に、前記撮影対象が前記撮影画像中に写る各領域の統計量を求めて、確率を推定することを特徴とする請求項１に記載の画像処理装置。
3. 前記表現変更手段は、前記各領域から得られる特徴ベクトルの頻度を用いて、画像の表現方法を変更することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記表現変更手段は、前記各領域から得られる特徴ベクトルの次元数を用いて、画像の表現方法を変更することを特徴とする請求項１又は２に記載の画像処理装置。
5. 学習、又は判別の少なくとも一方を行う前記撮影対象を、撮影を行った端末装置の位置情報及び前記撮影対象の位置情報により選択することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 撮影画像から該撮影画像に含まれる撮影対象の学習、又は判別の少なくとも一方を行う画像処理方法であって、
   任意の数の領域に分割された撮影画像の各領域において、前記撮影対象が写る確率を推定するステップと、
   前記推定された確率を元に、前記各領域における画像の表現方法を変更するステップと、
   前記変更された表現方法を用いて、特徴ベクトルを抽出するステップと、
   前記抽出された前記各領域における特徴ベクトルを組み合わせることにより、前記撮影画像全体の特徴ベクトルを作成するステップと、
   前記撮影画像全体の特徴ベクトルを元に、撮影対象の学習、又は判別の少なくとも一方を行うステップと
   を含むことを特徴とする画像処理方法。
   
   

Images