JP2010045613A - 画像識別方法および撮像装置 - Google Patents

Abstract

【課題】撮像装置で撮影された画像のブロック画像の特徴量を用いて対象を識別する際に、ＣＰＵの処理コストを抑えて、高精度に対象を識別すること。
【解決手段】画像データを複数のブロックに分割してブロック画像を生成し、ブロック画像の色空間情報および周波数成分によって夫々のブロック画像の特徴量を演算する。また、予め教師データとして、カテゴリごとの画像特徴量を演算して、この特徴量を用いてカテゴリを識別する境界となる分離超平面を計算しておき、新たに取得した画像についても同様にブロック画像の画像特徴量を計算し、各カテゴリの分離超平面からの距離によって、当該ブロック画像の属するカテゴリを判定する。
【選択図】 図２

Description

本発明は、画像中の対象（カテゴリ）を特定する技術に係り、特に撮影時において風景等のシーン検出を精度良く行い適切なカメラ設定を可能にする画像識別方法および撮像装置に関する。

デジタルカメラあるいはカメラ付き携帯電話の普及に伴い、ユーザがそうした機器を用いてさまざまなシーンで撮影する機会が増えている。こうしたシーンの中には、被写体を認識して的確なカメラパラメータを設定することにより高品質な写真を得ることができる場合が多い。

特許文献１には、撮像画像から得られる情報に加えて、カメラ内の時計や温度計、ＧＰＳ画像から得られる情報などから、撮像者がその条件であれば一番多用するであろう撮影モードを推定し撮像者に提示する機能をもった画像処理装置が開示されている。

また、この文献中には被写体を認識し、その種類によって撮影シーンの推定をすることも開示されている。
特開２００７−１８４７３３号公報

しかしながら、特許文献１の画像処理装置では撮影モードの推定のための情報を得るためにセンサやＧＰＳなどのハードウェア構成が必要となることから、既存のカメラモジュールへ組み込むことが難しい。また、デジタルカメラの小型化や携帯電話への搭載時の物理的あるいはコスト的な制約をクリアすることが難しい。

一方、一般の被写体認識技術として、テンプレートマッチングや特徴点抽出による形状（輪郭）認識などの手法がある。しかし、山や空など人間が風景と認識するような被写体（以下、風景被写体という。）を認識しようとする場合には、それらの風景被写体には特定の形状が存在しないため、正確に認識することは容易ではない。また、すべてのパターンに対応しようとすると、テンプレートデータが膨大になるという問題がある。

本発明は、上述の係る事情に鑑みてなされたものであり、ハードウェアなどの構成を必
要とせず、画像処理のみによる撮影シーンの判別が可能であり、さらに、膨大なテンプレ
ートデータを用いることなく、高精度に風景被写体を認識することのできる画像識別方法
を提供することを目的とする。

上記課題を解決するため本発明に係わる画像識別方法は、コンピュータ処理によって、入力した画像データのブロック画像の特徴量をもとに該ブロック画像を予め定められた複数のカテゴリに分類する画像識別方法であって、画像データを複数のブロックに分割してブロック画像を生成するブロック画像生成ステップと、ブロック画像の色空間情報および周波数成分によって夫々のブロック画像の特徴量を演算する画像特徴量演算ステップと、ブロックごとにカテゴリが付された教師データ画像を読み込ませ、教師データ画像のブロックごとに画像特徴量を演算して、各カテゴリを識別する境界となる分離超平面を学習する分離超平面演算ステップと、新たに取得した画像についてブロック画像生成ステップと画像特徴量演算ステップを実行してブロック画像の画像特徴量を計算し、各カテゴリの分離超平面からの距離によって、当該ブロック画像の属するカテゴリを判定するカテゴリ判定ステップと、を含むことを特徴とする。

本発明では、ブロック画像の色空間情報のみならず周波数成分を用いこれらを特徴量として、予め教師データによって得た分離超平面からの距離に基づいてカテゴリを判定する。

ブロックごとにカテゴリが付されたサンプル画像を教師データとして、画像特徴量空間におけるカテゴリごとの分離超平面を演算し、この分離超平面データを基準にして新たに取得した画像のカテゴリをブロックごとに判別する。

好ましくは、画像特徴量演算ステップは、ブロック画像を色空間上で複数の階層に分割し階層ごとの出現度数を検出すると共にブロック内のピクセル間標準偏差を演算する一方、該ブロック画像をさらに複数の小ブロックに分け、該小ブロックの濃淡変化を表す周波数成分を計算し、該周波数成分をもとに該小ブロックの属するブロック内について水平方向と垂直方向のうち少なくとも一方向について周波数成分の偏りを演算し、出現度数、ピクセル間標準偏差、周波数成分および周波数成分の偏りを画像特徴量として演算すると良い。

ブロック画像の色成分のみでなく、ブロック内の周波数成分の偏りを用いることによって、ブロック分割数を抑制して精度の高い識別を可能にする。

本発明に係わる画像識別方法は、さらに、カテゴリ間の不整合条件を保存しておき、この不整合条件と周囲のブロック画像のカテゴリとに基づいて、新たに取得した画像のブロック画像のカテゴリを変更した後、隣接する同一カテゴリのブロックをグループ化し、該グループ化されたブロック群について不整合条件に基づいてカテゴリ判定の正当性の有無を評価する整合チェックステップを含むことを特徴とする。

この不整合条件は、ブロック画像単体に対する不整合条件と、ブロック画像のグループに対する不整合条件からなる。たとえば、一ブロックのみ周囲の隣接するブロックとカテゴリが異なっていた場合は周囲のブロックのカテゴリに合わせる、というものである。このとき、分離超平面からの距離に基づいて、正の距離が大きい場合は変更しないというように分離超平面からの距離をその条件に加えると、より正確な修正が可能となる。

ブロック群に対する不整合条件は、たとえば、「空」の上に「海」は来ないというような位置関係の矛盾を判定する条件である。

そして、この整合チェックステップの結果、正当性有りと評価されたブロック群のカテゴリを出力する。これによりブロック群のカテゴリの精度の高い識別が可能となる。

なお、上記の画像特徴量を用いればブロック分割数は一定でも判定精度は高いが、異なるカテゴリの境界のブロックについては、さらに小ブロックに分割してカテゴリ判定をすることによって、より精密な判定が可能となる。なお、画像処理においては、異なるカテゴリのブロック群の境界でエッジやコーナを検出することによって画像処理を効率的に行うことができる。

また、本発明に係わる撮像装置は、上記の画像識別方法によって画像のカテゴリを識別する撮像装置であって、カテゴリごとに撮像装置のパラメータの設定条件と撮影後の画像処理方法を記憶する撮影条件保存手段と、撮影の際、上記画像識別方法によって出力された撮影対象画像のカテゴリに基づいて撮像装置のパラメータを設定して撮影して撮像画像を取得する撮像手段と、該撮像画像に対して該カテゴリに対する画像処理方法によって画像処理を実行する画像処理手段と、を備えたことを特徴とする。

本発明では、いわゆるプレビューで得た画像のカテゴリ判定の結果を用いて、カメラパラメータ（たとえば、自動／手動モード、シャッタースピード、露出）などの調整をして撮影し、撮影後はさらに、そのカテゴリに応じた画像処理（たとえば、輪郭強調、色調補正など）を行う。また、画像のカテゴリ判定の結果を用いて、最適な撮影モードをユーザに提示することにより、ユーザによる撮影モードの選択を補助することができる。

さらに、本発明に係わる撮像装置は、上記の画像識別方法によって画像のカテゴリを識別する撮像装置であって、カテゴリに関連付けて実行すべきプログラムを格納するプログラム格納手段と、上記画像識別方法によって識別されたカテゴリに関連付けられたプログラムがプログラム格納手段に格納されている場合は、当該プログラムを選択するプログラム選択手段と、プログラム選択手段によって選択されたプログラムを実行するプログラム実行手段と、を備えたことを特徴とする。

本発明では、画像識別方法によって判定されたカテゴリに対応するプログラムを自動的に、あるいは、モニタ画面への表示出力後のユーザの選択によって起動するようにして操作の簡略化・効率化を可能にする。

本発明によれば、色空間情報と周波数成分を画像特徴量とし、予め教師データを用いて、カテゴリごとの画像特徴量に基づいて分離超平面を計算しておき、カテゴリ判定の対象となる画像についてそのブロックの画像特徴量の各カテゴリの分離超平面からの距離によって、当該ブロックのカテゴリを判定するので、特徴的な一定の形状がなく、テンプレートマッチングが適さないような風景被写体であっても、高精度に対象を識別することができる。

以下、本発明の実施の形態を説明する。図１は、本実施の形態の画像識別方法を実現する判別器の概要説明図である。ここでは、風景被写体を山、空、海、紅葉、夕焼け、桜の６つにカテゴリ分けする場合を例に説明する。ただし、本発明はこれに限定されない。

図１において、判別器１０は汎用のコンピュータシステムによって構成され、まず入力画像を受け付け、ブロックに分割する。そして、各ブロックから後述する画像特徴量を計算し、ブロック中にどの風景被写体が存在するか、あるいは不明か、という判定をブロックごとに行って、その判定結果を出力する。

判別器１０には予め正解の風景画像をラベルに付けた画像ブロックを教師データとして与え、分類方法を学習させる。

たとえば、学習アルゴリズムとして広く使われている線形ＳＶＭの専用ライブラリliblinear（http://www.csie.ntu.edu.tw/~cjlin/liblinear）を利用して、カテゴリごとの画像特徴量を入力して、分離超平面を算出する。これを記憶しておき、新たに取得した認識対象の画像（以下、対象画像という。）についてその画像特徴量を求め、カテゴリごとに記憶している分離超平面からの距離を計算してその距離が最も大きな正の値となるカテゴリがそのブロックに該当するカテゴリであると判定する。

以下、判別器１０の構成と動作について説明をする。
図２は、本実施の形態による判別器１０の機能ブロック図である。ここで、判別器１０は、データを記憶する記憶部２０と演算処理を実行する演算部３０を有している。演算部３０は、画像データを入力して記憶部２０へ格納する画像データ入力手段３１、入力した画像データを予め定められた複数のブロックに分割するブロック画像生成手段３２、ブロック画像の画像特徴量演算手段３３、教師データをもとに分離超平面を演算する分離超平面演算手段３４、入力画像の画像特徴量と分離超平面データからブロックの属するカテゴリを判定するカテゴリ判定手段３５、カテゴリ分類されたブロックをグループ化してブロック群を形成するブロック画像グループ化手段３６、夫々のブロックまたはブロック群に対して、そのカテゴリ同士の位置関係から矛盾がないかどうかをチェックする整合チェック手段、および、ブロックごとのカテゴリおよびグループ情報を出力する出力手段３８を有している。各手段３１〜３８は、ＣＰＵの処理（ステップ）としてプログラムによって実行可能である。

<１．教師データによる分離超平面データの生成処理>
まず、判別器１０に対して教師データを入力する。教師データは、正解のカテゴリをラベル付けした画像ブロックである。

上述の６種類の風景被写体のカテゴリに加え、人工物、黒、白、という３つのカテゴリを加える。これはたとえ風景被写体を識別させることが目的であっても、風景被写体が写っていない画像に対して無理にカテゴリ分類をすることを避けるためである。このような、いわゆる消極的カテゴリを加えることによって本来の識別対象である風景被写体のカテゴリ分類の精度を上げることができる。消極的カテゴリは、上記の例に限定されず任意に設定して良い。また、風景被写体以外を消極的カテゴリとして１つにまとめたカテゴリにしてもよい。

入力された教師データは、画像データ入力手段３１を介して記憶部２０の教師データ保存領域２２に保存される。
次に、画像特徴量演算手段３３によって、教師データの各ブロック画像に対する画像特徴量データを計算する。

以下、画像特徴量データの求め方について説明する。
（画像特徴量の求め方）
画像特徴量は、ブロックの色空間情報と周波数成分を用いて求める。
（１）色空間情報
色空間としては、ＹＵＶ空間を用い、Ｙ，Ｕ，Ｖそれぞれについて８段階の強さごとの
３２ｘ３２ブロック中に出現する頻度を計測する。
なお、ＹＵＶ値のピクセル間の標準偏差は、色のばらつきが大きい場合や、色の分布がいくつかのグループに分かれるような場合に大きな値を示し、人工物の認識には有効なため特徴量に加えるのが効果的である。

具体的には、図４に示すように、縦軸に度数、横軸に階級をとったヒストグラムを用い、各色成分値０〜２５５を８つのクラスタにわけ、出現度数を計測する。したがって、各色成分度数７自由度×３＝２１自由度、２１次元空間が作られることになる。

（２）周波数情報
ブロックの複雑さや規則性を検出するのに空間周波数成分による分析が有効になる。たとえば、同じような色合いの空と海を比べた場合、一般に後者の高周波成分の方が多くなるため、色成分情報に加えて空間周波数成分を特徴量とすることによってカテゴリ分けをすることができる。

また、山肌と海は、色合いに両者でほとんど差が無く、高周波成分が多くなる傾向があるが、海の表面には波による水平方向の線が入ることが多く、垂直方向の周波数成分が水平方向と比べて有意に高くなるといった特徴があるため、垂直方向と水平方向のどちらに周波数成分が偏っているかを特徴量として取得することによりカテゴリ分けをすることができる。

周波数情報については、具体的には以下の処理を行う。
（Ｓ１）３２ｘ３２ピクセルのブロックを、さらに８ｘ８の１６個の小ブロックに分割する。
（Ｓ２）８ｘ８の小ブロックごとの周波数成分を取得する。
（Ｓ３）６４個の各周波数成分を各小ブロックから取得し集計する。なお、周波数成分は、適宜間引いたり、近隣の周波数成分を平均化したりするなどして情報量を減らしてもよい。
周波数変換は既知の技術であるアダマール変換とＤＣＴ変換の手法のいずれを用いても良い。

次に、周波数の偏りの計算方法を説明する。
周波数成分にはＸ方向とＹ方向の周波数成分があるが、図３の斜線部分がＸ方向、灰色がＹ方向の成分である。本実施の形態ではＸ方向の成分の和とＹ方向の成分の和をとってその比率を計算する。

この演算結果により、比率が小さいとＸ方向とＹ方向の画像の複雑度が等しい、比率が大きい場合はどちらかに画像の複雑度が大きい、という判定が可能となる。たとえば、いずれかの方向の波模様のような画像、具体的にはＹ方向に縦縞のある模様はＹ方向の成分に対するＸ方向の成分の比率が大きいことになる。

次に、分離超平面演算手段３４によって、上記のアルゴリズムによって求めた画像特徴量データと教師データのブロックごとのカテゴリ情報とを用いて分離超平面データを求め、分離超平面データ保存領域２５に保存する。

（分離超平面データの求め方）
本実施例ではサポートベクターマシーン（以下ＳＶＭ）を用いた例について説明する。
ＳＶＭは、与えられた教師データの集合を、夫々の教師データが属するカテゴリに応じて分離超平面を演算し、分離超平面で各カテゴリに分離する手法である。

分離超平面はカテゴリごとに演算される。ここでは例としてカテゴリ「海」の分離超平面を演算する場合を例に説明する。
所定数のサンプル画像取得後、画像特徴量演算手段３３は、ブロックごとに特徴量を取得する。
このとき、教師データとなるサンプル画像内のブロックはそれぞれカテゴリ付けされており、「海」や「山」その他前出のカテゴリが付与されている。このとき消極的カテゴリが付与されていてもよい。

ＳＶＭは、「海」についての分類を学習する場合、d次元の特徴量空間において、「海」のカテゴリが付与された特徴量データの領域と、「海」以外のカテゴリが付与された特徴量データの領域の二つのクラスに分割するような分離平面を設定する。ｄを二次元とした場合の特徴量空間のイメージは図５のようになる。このとき、分離平面は複数設定されうるが、二つのクラスの最端の座標との距離が最大になる（いわゆるマージン最大になる）分離平面を演算する。このときの分離平面が求めるカテゴリ「海」についての分離超平面となる。

分離超平面はd次元の特徴量データをX=(x₁,x₂,…,x_d)とし、ベクトル=(w₁,w₂,…,w_d)、定数cとして以下のように表わされる。
w₁x₁+w₂x₂+…+w_dx_d+c=0 ・・・ （１）

判別対象となるブロックが後述のカテゴリ判定手段３５に入力されたとき、画像特徴量演算手段３３によって得られたd次元の特徴量データF=(x₁,x₂,…,x_d)が算出され、式（１）であらわされるカテゴリごとの分離超平面との特徴量空間における距離によってどのカテゴリに属するかがか判定されることとなる。

分離超平面演算手段３４は、各カテゴリについて上記の「海」の例と同様に分離超平面を求め、分離超平面データ保存領域２５に保存する。図６は特徴量空間を二次元とし、「海」、「山」、「空」のカテゴリについて学習を行った場合の分離超平面のイメージ図である。

<２．対象画像のカテゴリ化処理>
（画像入力処理）
入力された対象画像は画像データ入力手段３１によって、記憶部２０の対象画像保存領域２１に保存される。

（ブロック分割処理）
この入力画像は、ブロック画像生成手段３２によって、予め定められた所定数、たとえば、３２ｘ３２個のブロックに分割されブロック画像保存領域２３に格納される。なお、ブロック画像は、元画像に関連付けて、各ブロックの先頭を示すアドレス情報のみを保存するようにしても良い。このブロックのサイズは、上述の教師データとして与えられているブロックのサイズと同じである。

（画像特徴量演算処理）
次に、上記の画像特徴量演算手段３３による処理によってブロックごとの画像特徴量データが算出され画像特徴量データ保存領域２４に格納される。図７は、ブロックごとの画像特徴量データの例である。ここで、x₁,x₂,x₃・・・は、各特徴量データである。

（カテゴリ判定処理）
次に、カテゴリ判定手段３５によって、入力画像の各ブロックの画像特徴量の分離超平面からの距離に基づいて、当該ブロックがどのカテゴリに属するかを判定する。

具体的には、カテゴリごとの上記（１）式の左辺に画像特徴量演算処理によって求めた特徴量データを代入して、分離超平面と特徴量空間における座標（x₁,x₂,・・・,x_d）との間の符号付き距離を計算して分離超平面データ保存領域２５に格納する（図８参照）。そして、その距離が最も大きな正の値になるカテゴリが当該ブロックの属するカテゴリであると判定し、その判定結果を結果ファイル２６に保存する。図９は、結果ファイルのデータ構成例である。この図でブロックＮＯ．は、対象画像の３２ｘ３２に区分された各ブロック画像に対応している。また、ブロックごとに判定されたカテゴリが関連付けられている。

このとき、いずれのカテゴリに対しても負の距離をとるときや、消極的カテゴリに属する場合は、いずれのカテゴリにも属さないことをしめす「不明」に設定したり、カテゴリを空に設定する。

（整合チェック処理）
次に、この結果ファイル２６の各ブロックのカテゴリは、整合性チェック手段３７によってチェック修正される。

図１０は、ブロック単位のカテゴリ修正手順を示すフローチャートである。
まず、あるブロックを着目ブロックとして、その着目ブロックに隣接するブロックのうち所定の数（たとえば、３方向）以上が着目ブロックのカテゴリとは異なるカテゴリであるか否かを判定し（Ｓ１０２）、ＹＥＳの場合は、図１１に示す修正閾値テーブルにアクセスして、そのカテゴリに対応する閾値となる分離超平面からの距離を抽出する（Ｓ１０３）。そして、着目ブロックの分離超平面からの距離は、抽出した閾値以上か以下かを判定し（Ｓ１０４）、閾値以下の場合は、着目ブロックを周囲のカテゴリと同じカテゴリに変更する（Ｓ１０５）。

分離超平面によるカテゴリ判定の際に、距離条件をあまり厳しくすると、本来そのカテゴリに属するものが、属さないという判定になる傾向が強くなる。一方、緩くすると、そのカテゴリに属さないものも、属するという誤認定の傾向が強くなる。整合チェックの閾値を調整することによって実用的なレベルに設定することができる。

ブロックごとのカテゴリの修正後、グループ化手段３６によって隣接する同じカテゴリのブロックがグループ化され、ブロック群が形成される（図９および図１２参照）。さらに、整合性チェック手段３７は、このブロック群に対しても矛盾がないか否かを判定して、その判定結果を保存する。

図１３は、整合チェック手段３７のブロック群整合性判定手順を示すフローチャートである。
ある着目グループ群について、不整合条件テーブルにアクセスして不整合条件を順に取り出し、その条件に該当するか否かを判定する。不整合条件を図１４に示す。この図で、不整合条件は、包含条件と上下関係の位置の条件からなっており、たとえば、条件ＮＯ．１の「海」について言えば、「海」は、「空」を包含することはない、というもので、もしカテゴリ「海」のブロックが「空」のカテゴリのブロックの周囲を蔽うならばカテゴリ判定にエラーがあった、すなわち不整合であると判定するものである。また、条件ＮＯ．２の「空」について言えば、「空」の上に「海」があり、かつ、空の下に「山」があるのは不整合があると判定するものである。これらの条件を各ブロック群について判定する。なお、この整合チェックの結果、不整合ありとなった場合は、その旨のメッセージを出力しても良いし、不整合のあったブロック群の境界のブロックについて、それぞれ分離超平面からの距離、あるいは修正閾値テーブルの閾値との差の大きい方のカテゴリに順に合わせ込んでいくという修正処理を行うようにしても良い。このほか、ブロック群に属するブロックの数が予めカテゴリごとに定めた所定値以下の場合は、そのブロック群のカテゴリを無効にするなどの処理を行うようにしても良い。
そして、この対象画像のカテゴリ情報、および判定結果は出力手段３８を介して出力される。

以上、本実施の形態によれば、ブロック画像の色空間で強さによって複数段階に階層化し、階層ごとの出現度数、ピクセル間標準偏差、濃淡変化を表す周波数成分、およびブロック内の周波数成分の偏りを画像特徴量とするので、精度の良い識別が可能となる。

次に、本発明の第２の実施の形態を説明する。図１５は、図２の判別器１０を組み込んだ撮像装置のブロック図である。この図で、撮像装置１は、被写体の画像信号を生成する撮像素子２、シャッター操作を検知して画像蓄積指令を出力するシャッター操作検知手段４、シャッター操作検知手段４からの画像蓄積指令を受けて、撮像素子２から出力された画像信号を蓄積する蓄積手段５、蓄積されている画像データを補正する画像処理手段６、判別器１０、および、判別器１０から出力されたカテゴリデータに基づいて撮像素子２のパラメータを設定するパラメータ設定手段３から構成されている。

ここで、判別器１０は、基本的に図２に示す構成を有しているが、撮像装置１への組み込みに際しては、予め別に算出した分離超平面データを保存しておくので、分離超平面演算手段３４を省略することができる。

以下、上記の構成を有する撮像装置１の動作を説明する。
シャッター操作前のプレビューモードで撮像素子２から出力された画像信号は、判別器１０に入力される。判別器１０では、この画像信号に対して、第１の実施の形態で説明した動作を実行し、画像ブロック群に対するカテゴリを出力する。パラメータ設定手段３は、図１６に示すカテゴリとパラメータとを関係付けたパラメータテーブルを備えており、このテーブルを参照して撮像素子２のシャッタースピードや露光時間、その他のモード設定を行う。

その後、シャッター操作検知手段４は、シャッターが押されたことを検知すると、そのタイミングを撮像素子２へ通知し、また撮像素子２から出力された画像信号を蓄積手段５に蓄積する。この蓄積された画像データは、画像処理手段６に読み込まれ、判別器１０から出力されるこの画像のカテゴリデータをもとに図１７に示すカテゴリと補正処理とを関係付けた補正処理テーブルにしたがって、該当する補正処理を実行する。

本実施の形態によれば、プレビューで得た画像データのカテゴリ判定の結果を用いて、撮像装置のパラメータを調整して撮影し、撮影後はさらに、そのカテゴリに応じた画像処理を行うので、ユーザに複雑なパラメータの設定操作をさせることなく、品質の高い撮像画像を生成することができる。

なお、本発明はその要旨を逸脱しない範囲で種々変形して実施をすることができる。たとえば、上記実施形態では、いわゆる風景被写体を例に挙げて説明したが、被写体が風景であるか否かに限らず、例えば、人や人工物などを含めあらゆるカテゴリに適用できることは明らかである。

また、図１８のように、認識された風景被写体に応じてユーザが利用する可能性の高い撮影モードを提示し、選択させてもよい。選択されたモードに対応したパラメータ設定、画像処理をすることによりユーザの希望に応じた品質の高い画像を生成することができる。

次に、本発明の第３の実施の形態を説明する。図１９は、本実施の形態による撮像装置のブロック図である。図１５との違いは、パラメータ設定手段３の替わりに、カテゴリに関連付けてプログラムを格納するプログラム格納手段８、判別器１０で判別されたカテゴリを入力して、プログラム格納手段８に保存されているプログラムの中で当該カテゴリに関連付けられているプログラムを選択するプログラム選択手段７、選択手段７によって選択されたプログラムを実行するプログラム実行手段９を設けたことである。

以下、図２０（ａ）に示す二次元バーコード５０を表示した名刺を撮影する場合を例にして撮像装置１の動作を説明する。
まず、予め判別器１０に対して、第１の実施の形態で説明した方法によって二次元バーコードの教育データを用いて学習させ、その分離超平面データを保存しておくものとする。
この撮像装置１で二次元バーコード付きの名刺を撮影することによって、撮像素子２から出力された名刺の画像信号は、判別器１０に入力される。判別器１０では、この名刺画像に対して、第１の実施の形態で説明した動作を実行し、画像ブロック群ごとのカテゴリを出力する。判別器１０は、二次元バーコードの分離超平面データを備えているので、この場合、図２０（ｂ）のＡ部の太枠で示したブロック群を二次元バーコードのカテゴリであると認識して、ブロック群とカテゴリ情報を出力する。

プログラム選択手段７は、このカテゴリデータを入力すると、プログラム格納手段８に保存されている二次元バーコード読取プログラムを選択して、プログラム実行手段９に渡す。そして、プログラム実行手段９は、プログラム選択手段７から渡された二次元バーコード読取プログラムを起動する。
二次元バーコード読取プログラムは、起動されると、撮像手段の設定を焦点距離の短いマクロ撮影モードに設定し、画像処理手段６に対して、二次元バーコード領域の画像データを要求する。画像処理手段６は、入力画像が二次元バーコードの画像データであるかを判断し、二次元バーコード領域の画像をプログラム実行手段９に渡す。プログラム実行手段９で実行されている二次元バーコード読取プログラムは、二次元バーコード画像を処理し、そこに含まれる情報を取得し、結果として出力する。

以上、二次元バーコードの場合について撮像装置１の動作を説明したが、カテゴリに対応して起動すべきプログラムが存在すれば、同様に動作可能である。
たとえば、文字情報のカテゴリに関連付けてＯＣＲプログラムを格納しておけば、判別器１０は、図２０（ｂ）のＢ部を文字情報として認識し、ＯＣＲプログラムが起動され、Ｂ部の文字情報を読み取ることができる。

本実施の形態によれば、カテゴリとプログラムとを対応付けて保存しておき、判別器から出力されたカテゴリデータに基づいて、対応するプログラムを実行させるので、操作性が向上する。さらに画像処理手段による補正処理と連動させることによって、プログラム処理の精度を上げることができる。

本発明の実施の形態による画像識別方法を実現する判別器の概要説明図である。 本発明の第１の実施の形態による判別器１０の機能ブロック図である。 本発明の実施の形態による周波数成分処理の説明図である。 本発明の実施の形態によるヒストグラムを用いた色成分処理の説明図である。 本発明の実施の形態による特徴量空間と分離平面との関係を示す概要図である。 特徴量空間が二次元の場合における分離超平面の概要図である。 図２の画像特徴量データの構成例である。 図２の分離超平面データの構成例である。 図２の結果ファイルのデータ構成図である。 図２の整合チェック手段３７のブロック単位のカテゴリ修正手順を示すフローチャートである。 図１０の処理で用いられる修正閾値テーブルのデータ構成例である。 図９の画像上でのブロックグループの位置関係を例示する概要図である。 図２の整合チェック手段３７のブロック群整合性判定手順を示すフローチャートである。 図１３の処理で用いられる不整合条件テーブルである。 本発明の第２の実施の形態による撮像装置のブロック図である。 図１５のパラメータ設定手段３の備えるパラメータテーブルのデータ例である。 図１５の画像処理手段６の備える補正処理テーブルのデータ例である。 撮像装置の液晶モニタ上に表示される被写体と撮影モードの選択画面の一例を示す図である。 本発明の第３の実施の形態による撮像装置のブロック図である。 本発明の第３の実施の形態によるカテゴリ別ブロック群の説明図である。

符号の説明

１ 撮像装置
２ 撮像素子
３ パラメータ設定手段
４ シャッター操作検知手段
５ 蓄積手段
６ 画像処理手段
７ プログラム選択手段
８ プログラム格納手段
９ プログラム実行手段
１０ 判別器
２０ 記憶部
２１ 対象画像保存領域
２２ 教師データ保存領域
２３ ブロック画像保存領域
２４ 画像特徴量データ保存領域
２５ 分離超平面データ保存領域
２６ 結果ファイル
３０ 演算部
３１ 画像データ入力手段
３２ ブロック画像生成手段
３３ 画像特徴量演算手段
３４ 分離超平面演算手段
３５ カテゴリ判定手段
３６ グループ化手段
３７ 整合チェック手段
３８ 出力手段
５０ 二次元バーコード

Claims (6)

1. コンピュータ処理によって、入力した画像データのブロック画像の特徴量をもとに該ブロック画像を予め定められた複数のカテゴリに分類する画像識別方法であって、
   前記画像データを複数のブロックに分割してブロック画像を生成するブロック画像生成ステップと、
   ブロック画像の色空間情報および周波数成分によって夫々の前記ブロック画像の特徴量を演算する画像特徴量演算ステップと、
   ブロックごとにカテゴリが付された教師データ画像を読み込ませ、前記教師データ画像のブロックごとに画像特徴量を演算して、各カテゴリを識別する境界となる分離超平面を学習する分離超平面演算ステップと、
   新たに取得した画像について前記ブロック画像生成ステップと前記画像特徴量演算ステップを実行してブロック画像の画像特徴量を計算し、特徴量空間における各カテゴリの分離超平面からの距離によって、当該ブロック画像の属するカテゴリを判定するカテゴリ判定ステップと、
   を含むことを特徴とする画像識別方法。
2. 前記画像特徴量演算ステップは、前記ブロック画像を色空間上で複数の階層に分割し階層ごとの出現度数を検出すると共にブロック内のピクセル間標準偏差を演算する一方、該ブロック画像をさらに複数の小ブロックに分け、該小ブロックの濃淡変化を表す周波数成分を計算し、該周波数成分をもとに該小ブロックの属するブロック内について水平方向と垂直方向のうち少なくとも一方向について前記周波数成分の偏りを演算し、前記出現度数、前記ピクセル間標準偏差、前記周波数成分および前記周波数成分の偏りを画像特徴量として演算することを特徴とする請求項１記載の画像識別方法。
3. カテゴリ間の不整合条件を保存しておき、前記新たに取得した画像のブロック画像の周囲のブロックを参照し、前記周囲のブロックの参照結果と前記不整合条件に基づいて前記新たに取得した画像のブロック画像のカテゴリを変更するステップと、
   隣接する同一カテゴリのブロックをグループ化し、該グループ化されたブロック群について前記不整合条件に基づいてカテゴリ判定の正当性の有無を評価する整合チェックステップとを含むことを特徴とする請求項１または２記載の画像識別方法。
4. 前記整合チェックステップの結果、正当性有りと評価されたブロック群のカテゴリを出力することを特徴とする請求項３記載の画像識別方法。
5. 請求項１乃至４のいずれかに記載の画像識別方法によって画像のカテゴリを識別する撮像装置であって、
   カテゴリごとに撮像装置のパラメータの設定条件と撮影後の画像処理方法を記憶する撮影条件保存手段と、
   撮影の際、前記画像識別方法によって出力された撮影対象画像のカテゴリに基づいて前記撮像装置のパラメータを設定し、撮像画像を取得する撮像手段と、
   該撮像画像に対して該カテゴリに対する前記画像処理方法によって画像処理を実行する画像処理手段と、
   を備えたことを特徴とする撮像装置。
6. 請求項１乃至４のいずれかに記載の画像識別方法によって画像のカテゴリを識別する撮像装置であって、
   カテゴリに関連付けて実行すべきプログラムを格納するプログラム格納手段と、
   前記画像識別方法によって識別されたカテゴリに関連付けられたプログラムが前記プログラム格納手段に格納されている場合は、当該プログラムを選択するプログラム選択手段と、
   前記プログラム選択手段によって選択されたプログラムを実行するプログラム実行手段と、
   を備えたことを特徴とする撮像装置。