JP2012118634A - 画像認識方法、画像認識装置及び撮像システム - Google Patents

Abstract

【課題】対象画像の探索処理に要する処理時間の削減効果を向上させる。
【解決手段】予め定められた対象物を表す対象画像を入力画像から抽出する画像認識方法は、対象画像を探索するための入力画像内の探索領域として予め設定された少なくとも１つの第１探索領域の数と、少なくとも１つの第１探索領域それぞれの大きさとの少なくとも１つを示す探索領域情報に基づいて、入力画像内の第２探索領域を設定する探索領域設定ステップ（Ｓ１０５）と、第２探索領域を探索することで、対象画像を抽出する探索ステップ（Ｓ１０６）とを含む。
【選択図】図７

Description

本発明は、対象画像を入力画像から抽出する画像認識方法、画像認識装置及び撮像システムに関する。

カメラを用いた画像認識技術には、顔検出、顔認証、動体検出などがあり、デジタルスチルカメラ、デジタルビデオカメラ、さらに、セキュリティ分野におけるカメラにおいても適用されている。

例えば、デジタルスチルカメラにおいて顔検出を行うことで、人物撮影において顔領域が最良となるようにホワイトバランス及びフォーカスをカメラが自動で設定することがなされている。これにより、撮影者は、細かなカメラの設定を行う手間を省くことができる。

カメラを用いた画像認識技術には、画像探索範囲を限定することで、所望の対象画像を抽出するのに要する処理時間を削減する技術が開示されている。例えば、特許文献１には、探索窓の大きさに基づいて顔存在領域及び入力画像の全領域を探索領域として設定し、設定した探索領域を探索することで、対象画像を抽出する技術が開示されている。このとき、顔存在領域は、固定的に設定された領域、又は、統計的手法で推定された領域である。これにより、常に入力画像の全領域を探索領域にする場合に比べて、画像認識に要する処理時間を削減することができる。

特開２００７−２６５１５０号公報

しかしながら、上記従来技術には、対象画像の探索処理に要する処理時間の削減効果が不十分であるという課題がある。

特許文献１に記載の画像認識方法では、顔存在領域が、固定的に設定された領域、又は、統計的手法で推定された領域である。統計的手法で顔存在領域を推定するためには、事前学習が必要であり、この学習を行うためには、非常に多くのサンプル画像が必要である。サンプル画像の選定及び学習そのものに要する処理時間が長く、非常に多くの手間がかかる。

また、顔存在領域が、固定的に設定された領域及び統計的手法で推定された領域のいずれの場合であっても、当該顔存在領域（すなわち、入力画像の一部）に探索範囲を限定するために、あらゆる入力画像において探索範囲内に対象画像が存在することを保証できないという課題がある。さらに、探索範囲内に対象画像が存在しない場合は、入力画像の全領域を探索するように動作することから、探索に要する時間を一切削減できず、処理時間の削減効果が小さいという問題点がある。

そこで、本発明は、上記従来の問題点を解決するもので、対象画像の探索処理に要する処理時間の削減効果を向上させることができる画像認識方法、画像認識装置及び撮像システムを提供することを目的とする。

上記課題を解決するために、本発明の一態様に係る画像認識方法は、予め定められた対象物を表す対象画像を入力画像から抽出する画像認識方法であって、前記対象画像を探索するための前記入力画像内の探索領域として予め設定された少なくとも１つの第１探索領域の数と、前記少なくとも１つの第１探索領域それぞれの大きさとの少なくとも１つを示す探索領域情報に基づいて、前記入力画像内の第２探索領域を設定する探索領域設定ステップと、前記第２探索領域を探索することで、前記対象画像を抽出する探索ステップとを含む。

これにより、予め設定された第１探索領域の数及び大きさに基づいて、新たな探索領域である第２探索領域を設定するので、事前学習を行う必要もなく、対象画像の探索処理に要する処理時間の削減効果を向上させることができる。また、統計的手法を用いていないため、どのような入力画像が入力された場合であっても、適切に探索領域を設定することができる。

また、前記探索領域設定ステップでは、前記探索領域情報に基づいて、前記少なくとも１つの第１探索領域を探索した場合に要する第１処理時間と、前記第２探索領域の候補となる領域を探索した場合に要する第２処理時間とを推定し、前記第１処理時間が前記第２処理時間より短い場合は、前記少なくとも１つの第１探索領域を前記第２探索領域として設定し、前記第２処理時間が前記第１処理時間より短い場合は、前記第２探索領域の候補となる領域を前記第２探索領域として設定してもよい。

これにより、探索した場合に要する処理時間が短い探索領域を第２探索領域として設定するので、予め設定された第１探索領域を探索した場合に要する処理時間より短い処理時間で、対象画像の探索処理を行うことができる。

また、前記探索領域設定ステップでは、前記第１探索領域の数に応じて増加する第１時間と、前記第１探索領域の大きさに応じて増加する第２時間とを加算することで、前記第１処理時間を推定してもよい。

これにより、探索領域の数に応じて増加するオーバーヘッド時間などの時間と、探索領域の大きさに応じて増加する転送処理時間及び画像認識処理時間などの時間とを利用するので、適切な処理時間の領域を第２探索領域として設定することができる。

また、前記画像認識方法は、さらに、前記少なくとも１つの第１探索領域を初期設定する初期設定ステップを含み、前記探索領域設定ステップでは、前記初期設定ステップにおいて設定された少なくとも１つの第１探索領域に関する前記探索領域情報に基づいて、前記第２探索領域を設定してもよい。

これにより、入力画像に応じて適応的に第１探索領域を設定することができる。つまり、事前学習などは必要としないので、処理時間を削減することができる。

また、前記初期設定ステップでは、前記入力画像のうち予め定められた色を含む領域を、前記第１探索領域として初期設定してもよい。

これにより、対象物に応じて特徴的な色を含む領域を探索領域として設定することができるので、対象物を表す対象画像を適切に抽出することができる。

また、前記初期設定ステップでは、前記入力画像のうち肌色を含む領域を、前記第１探索領域として初期設定してもよい。

これにより、例えば、人物の顔などを表す画像を抽出することができる。

また、前記初期設定ステップでは、前記入力画像のうち動きが発生している領域を、前記第１探索領域として初期設定してもよい。

これにより、動きを有する対象物を表す画像を抽出することができる。

また、前記探索領域設定ステップでは、前記第１探索領域、又は、前記入力画像の全領域を、前記第２探索領域として設定してもよい。

これにより、第１探索領域を探索した場合より入力画像の全領域を探索した場合の方が、処理時間が短い場合は、入力画像の全領域を探索することになる。この場合、入力画像内に対象物が含まれている場合は、対象画像を必ず抽出することができる。

また、前記画像認識方法は、さらに、複数の前記第１探索領域が設定されている場合に、少なくとも２つの前記第１探索領域を含む領域である統合領域を、前記第２探索領域の候補となる領域として設定する統合領域設定ステップを含み、前記探索領域設定ステップでは、前記第１探索領域、前記統合領域、又は、前記入力画像の全領域を、前記第２探索領域として設定してもよい。

これにより、設定された第１探索領域を統合するので、所望の対象物を表す対象画像を抽出するのに要する時間をより削減することが可能になる。探索領域を探索するのに要する時間は、探索領域の数に応じて増加する時間と探索領域の面積に応じて増加する時間とを含んでいる。したがって、第１探索領域を統合することで、探索領域の数を減らすことが可能となり、結果的に、対象画像を抽出するのに要する時間を削減することができる。

また、前記統合領域設定ステップでは、前記少なくとも２つの第１探索領域を探索した場合に要する第３処理時間と、前記統合領域を探索した場合に要する第４処理時間とを推定し、前記第４処理時間が前記第３処理時間より短い場合に、前記統合領域を設定してもよい。

これにより、統合領域を探索した場合に要する処理時間が、予め定められた第１探索領域を探索した場合に要する処理時間より短い場合に統合領域を設定するので、対象画像を抽出するのに要する時間をより短くすることができる。

また、前記統合領域設定ステップでは、複数の前記第１探索領域の１つである対象第１探索領域と、当該対象第１探索領域を基点とする予め定められた範囲内に存在する他の第１探索領域と含む領域を、前記統合領域として設定してもよい。

これにより、所定の範囲内に含まれる少なくとも２つの第１探索領域を統合するので、例えば、近接する２つの第１探索領域を統合することができ、統合による面積の増加を抑制することができる。したがって、面積に応じて増加する時間の増加量を少なくすることができる。

また、前記統合領域設定ステップでは、前記対象第１探索領域と前記他の第１探索領域との縦及び横のそれぞれの長さの比率に応じて、前記統合領域を設定するか否かを判定してもよい。

例えば、前記統合領域設定ステップでは、前記対象第１探索領域の縦の長さと前記他の第１探索領域の縦の長さとの比率と、前記対象第１探索領域の横の長さと前記他の第１探索領域の横の長さとの比率とがそれぞれ、予め定められた範囲内である場合に、前記統合領域を設定してもよい。

これにより、例えば、縦と横の長さの比が似た領域同士を統合することができるので、統合による面積の増加を抑制することができる。

また、前記統合領域設定ステップでは、前記対象第１探索領域と前記他の第１探索領域との位置関係に基づいて、前記統合領域を設定するか否かを判定してもよい。

例えば、前記統合領域設定ステップでは、前記対象第１探索領域と前記他の第１探索領域とにおける左右方向の距離が上下方向の距離より長い場合、前記統合領域を設定してもよい。

例えば、前記統合領域設定ステップでは、前記対象第１探索領域と前記他の第１探索領域とにおける上下方向の距離が左右方向の距離より長い場合、前記統合領域を設定しなくてもよい。

これにより、例えば、近接する領域同士を統合することができるので、統合による面積の増加を抑制することができる。

また、前記探索ステップでは、パターンマッチングを行うことで、前記第２探索領域内に前記対象画像が含まれるか否かを判定し、前記対象画像が含まれている場合に、当該対象画像を抽出してもよい。

なお、本発明は、画像認識方法として実現できるだけではなく、当該画像認識方法に含まれる処理ステップを実行する処理部を備える画像認識装置として実現することもできる。例えば、本発明の一態様に係る画像認識装置は、予め定められた対象物を表す対象画像を入力画像から抽出する画像認識装置であって、前記対象画像を探索するための前記入力画像内の探索領域として予め設定された少なくとも１つの第１探索領域の数と、前記少なくとも１つの第１探索領域それぞれの大きさとの少なくとも１つを示す探索領域情報に基づいて、前記入力画像内の第２探索領域を設定する探索領域設定部と、前記第２探索領域を探索することで、前記対象画像を抽出する探索部とを備える。

これにより、予め設定された第１探索領域の数及び大きさに基づいて、新たな探索領域である第２探索領域を設定するので、事前学習を行う必要もなく、対象画像の探索処理に要する処理時間の削減効果を向上させることができる。また、統計的手法を用いていないため、どのような入力画像が入力された場合であっても、適切に探索領域を設定することができる。

また、本発明は、上記の画像認識装置を備える撮像システムとして実現することもできる。例えば、本発明の一態様に係る撮像システムは、上記の画像認識装置と、光を結像する光学系と、前記光学系によって結像された光を、前記入力画像を示す画像信号に変換するセンサー部と、を備える。

これにより、例えば、顔検出、動き検出機能を備えた撮像システムを実現することができる。

また、前記撮像システムは、さらに、前記画像認識装置の動作を制御するシステム制御部を備え、前記システム制御部は、前記画像信号の画素値が予め定められた所定の範囲外である場合に、前記画像認識装置の動作を停止してもよい。

これにより、入力画像が白飛びしている場合、又は、黒潰れしている場合などの入力画像が適切でない場合に画像認識処理を停止させることができるので、消費電力の低減、及び、処理負荷を低減することができる。

また、本発明に係る画像認識方法に含まれる処理ステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。

本発明によれば、対象画像の探索処理に要する処理時間の削減効果を向上させることができる。

本発明の実施の形態１に係る画像認識装置の構成の一例を示すブロック図である。 本発明の実施の形態１に係る第１探索領域の設定の一例を示す図である。 本発明の実施の形態１に係る探索領域情報の一例を示す図である。 本発明の実施の形態１に係る画像処理装置の構成の一例を示すブロック図である。 本発明の実施の形態１に係る入力画像の全領域を探索した場合のタイミングチャートの一例を示す図である。 本発明の実施の形態１に係る第１探索領域を探索した場合のタイミングチャートの一例を示す図である。 本発明の実施の形態１に係る画像認識方法の一例を示すフローチャートである。 本発明の実施の形態２に係る画像認識装置の構成の一例を示すブロック図である。 本発明の実施の形態２に係る探索領域の統合の判定の一例を示す図である。 本発明の実施の形態２に係る探索領域の統合の一例を示す図である。 本発明の実施の形態２に係る統合された探索領域情報の一例を示す図である。 本発明の実施の形態２に係る統合された探索領域を探索した場合のタイミングチャートの一例を示す図である。 本発明の実施の形態２に係る画像認識方法の一例を示すフローチャートである。 本発明の実施の形態３に係るカメラシステムの構成の一例を示すブロック図である。 本発明の実施の形態３に係る再生画像の表示の一例を示す図である。

以下、図面を参照して本発明の実施の形態について説明する。以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

（実施の形態１）
本発明の実施の形態１に係る画像認識方法は、予め定められた対象物を表す対象画像を入力画像から抽出する画像認識方法である。画像認識方法では、対象画像を検索するための入力画像内の探索領域として予め設定された少なくとも１つの第１探索領域の数と、当該少なくとも１つの第１探索領域それぞれの大きさとの少なくとも１つを示す探索領域情報に基づいて、入力画像内の第２探索領域を設定し、設定した第２探索領域を探索することで、対象画像を抽出することを特徴とする。

まず、本発明の実施の形態１に係る画像認識方法を行う画像認識装置１００の構成を説明する。図１は、本発明の実施の形態１に係る画像認識装置１００の構成の一例を示すブロック図である。

本発明の実施の形態１に係る画像認識装置１００は、予め定められた対象物を表す対象画像を入力画像から抽出する。図１に示すように、画像認識装置１００は、画像入力部１０１と、探索領域初期設定部１０２と、探索領域情報抽出部１０３と、探索領域設定部１０４と、画像認識判定部１０５とを備える。画像認識装置１００には、入力画像１１１が入力され、画像認識装置１００は、画像認識結果１１２を出力する。

画像入力部１０１は、画像認識装置１００の外部から入力画像１１１の入力を受け付ける。ここで入力画像１１１は、例えば、ＹＵＶ（ＹＣｂＣｒ）、ＲＧＢ、ＨＳＶなどの色空間情報によって示される画像データである。画像入力部１０１に入力された入力画像１１１は、探索領域初期設定部１０２及び探索領域設定部１０４へ出力される。

探索領域初期設定部１０２は、対象画像を探索するための探索領域として、入力画像１１１内の少なくとも１つの第１探索領域を初期設定する。例えば、探索領域初期設定部１０２は、入力画像１１１の画像特徴量に基づいて少なくとも１つの第１探索領域を設定する。具体的には、探索領域初期設定部１０２は、画像入力部１０１から出力された入力画像１１１中に、画像認識を行うための探索領域を決定し、決定した探索領域を第１探索領域として設定する。例えば、探索領域初期設定部１０２は、決定した探索領域の左上アドレスと、探索領域の縦と横の長さとによって、第１探索領域を設定してもよい。

画像特徴量は、例えば、入力画像１１１の画素値（輝度値又は色相値）、又は、入力画像１１１の動き量などである。探索領域初期設定部１０２は、予め定められたしきい値で特定される範囲の色相値を含む領域を第１探索領域としてもよい。具体的には、予め定められたしきい値で特定される範囲の色相値は、対象物の色相値である。例えば、対象物として人の顔を表す領域を抽出する場合には、予め定められたしきい値で特定される範囲の色相値は、肌色の色相値である。すなわち、探索領域初期設定部１０２は、入力画像１１１のうち肌色を含む領域を、第１探索領域として設定してもよい。このときの肌色は、例えば、種々の民族集団に対応する複数の肌色である。

また、探索領域初期設定部１０２は、入力画像１１１のうち所定のしきい値以上の動きが発生している領域を第１探索領域として設定してもよい。動きは、例えば、時間的に異なる２枚の入力画像（例えば、連続する２枚の入力画像）の同じ位置の画素の差分値に基づいて、動きが発生しているか否かを判定する。２枚の入力画像の同じ位置の画素の差分値は、式１によって示される。

（式１）
差分値＝入力された画像１のアドレス（縦、横）の画素値
− 入力された画像２のアドレス（縦、横）の画素値

式１によって示される差分値が、予め定められたしきい値で特定される範囲内である場合、探索領域初期設定部１０２は、その画素には動きが発生しているとみなして、当該画素を含む領域を第１探索領域として設定してもよい。なお、第１探索領域の設定方法は、これらに限定されるものではない。

図２は、本発明の実施の形態１に係る第１探索領域の設定の一例を示す図である。

探索領域初期設定部１０２は、入力画像２０１の領域内において、例えば、第１探索領域２０２ａ〜２０２ｄを設定する。図２では、一例として、探索領域２０２ａ及び探索領域２０２ｃは、肌色を検出した領域を示している。また、探索領域２０２ｂ及び探索領域２０２ｄは、動きが検出された領域（動き領域）を示している。なお、動き領域中に示す破線の矢印は、動き量とその方向とを示している。

一方、第１探索領域を設定する際、探索領域初期設定部１０２は、複数の第１探索領域同士が重なるように設定してもよく、任意に設定可能である。探索領域初期設定部１０２によって設定された第１探索領域の情報は、探索領域情報抽出部１０３へ出力される。

探索領域情報抽出部１０３は、探索領域初期設定部１０２によって設定された全ての第１探索領域について、探索領域の数、探索領域の各々の面積（例えば、各々の探索領域に含まれる画素数）及び探索領域の縦横の長さを示す探索領域情報を抽出する。なお、抽出される探索領域情報は、上述された項目に限定されず、第１探索領域に係わる情報であればよく、例えば、第１探索領域の数、位置及び大きさを示す情報であればよい。

図３は、本発明の実施の形態１に係る第１探索領域の各々から抽出した探索領域情報の一例を示す図である。図３に示す例では、第１探索領域の数と、第１探索領域それぞれについての位置（領域の左上のアドレス）、縦及び横の長さ、並びに、面積とを示す情報を、探索領域情報抽出部１０３は探索領域情報として抽出する。抽出された探索領域情報は、探索領域設定部１０４へ出力される。

探索領域設定部１０４は、探索領域情報に基づいて、入力画像１１１内の第２探索領域を設定する。例えば、探索領域設定部１０４は、第１探索領域、又は、入力画像１１１の全領域を、第２探索領域として設定する。

具体的には、探索領域設定部１０４は、探索領域情報抽出部１０３から出力される各々の第１探索領域に係る種々の情報を基に、探索領域初期設定部１０２によって設定された第１探索領域の設定を改めるか否かの判定を行う。設定を改める場合は、探索領域設定部１０４は、新たな探索領域を第２探索領域として設定する。

つまり、探索領域設定部１０４は、対象画像を探索するための探索領域の再設定を行う。言い換えると、探索領域設定部１０４は、探索領域として既に設定されている第１探索領域を、第２探索領域に設定しなおす。ただし、後述するように、第２探索領域は、第１探索領域と一致する場合は存在する。なお、第２探索領域の設定の具体例については、後で説明する。

画像認識判定部１０５は、探索領域設定部１０４によって設定された第２探索領域を探索することで、対象物を表す対象画像を抽出する。具体的には、画像認識判定部１０５は、第２探索領域が所望の対象物を含むか否かの判定を行う。判定結果は、画像認識結果１１２として画像認識装置１００から出力される。

画像認識結果１１２は、例えば、第２探索領域に対象画像が含まれているか否かを示す情報である。また、画像認識結果１１２は、第２探索領域に対象画像が含まれていることを示す場合、当該第２探索領域の位置及び大きさを示す情報を含んでいる。

ここで、探索領域設定部１０４による再設定の要否を判定する判断基準について、図４から図６を用いて説明する。図４は、本発明の実施の形態１に係る画像認識装置１００を含む画像処理装置３００の構成の一例を示すブロック図である。

画像処理装置３００は、画像認識装置１００と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、ＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）３０２と、共有メモリ３０３とを備える。また、画像認識装置１００は、図１に示す構成に加えて、図４に示すようにメモリ３０４を備える。

ＣＰＵ３０１は、入力画像に対して画像認識を行う場合、画像認識装置１００に画像認識実行の命令を発行すると共に、ＤＭＡＣ３０２に対して、共有メモリ３０３から画像認識に必要とされる画像情報をメモリ３０４へＤＭＡ転送するよう命令を発行する。画像認識装置１００は、メモリ３０４に格納された画像情報について順次、画像認識を実行する。

ＤＭＡＣ３０２は、共有メモリ３０３へのメモリアクセスを制御する。ＤＭＡＣ３０２は、ＣＰＵ３０１によって発行される命令に基づいて、共有メモリ３０３からデータの読み出し、及び、共有メモリ３０３へデータの書き込みを行う。例えば、ＤＭＡＣ３０２は、画像認識処理の対象となる入力画像を、共有メモリ３０３からメモリ３０４に転送する。なお、ＤＭＡＣ３０２に代わる代替手段を用いてもよく、例えば、ＣＰＵ３０１を用いたデータ転送により機能を実現してもよい。

共有メモリ３０３は、入力画像を格納するためのメモリである。なお、共有メモリ３０３は、ＳＤカードなどの画像処理装置３００に着脱可能な記録媒体でもよい。

画像認識装置１００は、ＣＰＵ３０１によって発行された画像認識実行の命令を受けた場合、メモリ３０４に格納された入力画像を読み出して、画像認識を実行する。

図５は、本発明の実施の形態１に係る入力画像の全領域を探索した場合のタイミングチャートの一例を示す図である。

オーバーヘッド時間Ｔ１０１は、ＣＰＵ３０１がＤＭＡＣ３０２へＤＭＡ転送の命令を発行してＤＭＡ転送が開始されるまでに必要とされる処理時間である。オーバーヘッド時間は、ＤＭＡ転送の命令の個数、具体的には、転送すべき探索領域の個数に応じて増加（例えば、比例）する。探索領域が入力画像の全領域である場合、転送すべき探索領域の個数は１つであるので、オーバーヘッド時間は、図５に示すように、オーバーヘッド時間Ｔ１０１のみである。

転送処理時間Ｔ１０２は、所定の画像情報をＤＭＡ転送するのに要する時間である。転送処理時間は、転送する情報量、具体的には、探索領域の大きさ（面積）に応じて増加（例えば、比例）する。

画像認識処理時間Ｔ１０３は、入力された画像における画像認識を行う処理時間である。画像認識処理時間は、画像認識すべき画像の面積、すなわち、探索領域の大きさ（面積）に応じて増加（例えば、比例）する。

ターンアラウンドタイムＴ１０４は、入力画像の全領域を探索した場合に要する第２処理時間の一例である。具体的には、ターンアラウンドタイムＴ１０４は、ＣＰＵ３０１が画像認識実行の命令を発行してから、画像認識装置１００により画像認識結果が出力されるまでに要する時間である。ターンアラウンドタイムは、オーバーヘッド時間と、転送処理時間と、画像認識処理時間との合計で表される。

図６は、本発明の実施の形態１に係る第１探索領域を探索した場合のタイミングチャートの一例を示す図である。ここでは、探索領域が、図２に示す第１探索領域２０２ａ〜２０２ｄの４つの領域である場合について説明する。

転送すべき第１探索領域の個数は４つであるから、画像認識装置１００へ順次、画像情報をデータ転送する必要があるために、ＣＰＵ３０１が順次、命令を発行するためのオーバーヘッド時間Ｔ２０１ａ、Ｔ２０１ｂ、Ｔ２０１ｃ及びＴ２０１ｄが存在する。つまり、１つの探索領域に対して、１つのオーバーヘッド時間が存在する。なお、オーバーヘッド時間は、第１探索領域の大きさには関わらず、１つの探索領域につき、ほぼ同じ時間になる。

また、転送すべき第１探索領域の個数は４つであるから、転送処理時間Ｔ２０２ａ、Ｔ２０２ｂ、Ｔ２０２ｃ及びＴ２０２ｄが存在する。つまり、１つの探索領域に対して、１つの転送処理時間が存在する。転送処理時間はそれぞれ対応する第１探索領域の大きさに応じた時間となる。図６において、転送処理時間Ｔ２０２ａ〜Ｔ２０２ｄはそれぞれ、第１探索領域２０２ａ〜２０２ｄの転送に要する時間である。第１探索領域２０２ｄは、第１探索領域２０２ａより面積が大きいので、転送処理時間Ｔ２０２ｄも、転送処理時間Ｔ２０２ａより長い時間となる。

同様に、転送された第１探索領域の個数は４つであるから、画像認識処理時間Ｔ２０３ａ、Ｔ２０３ｂ、Ｔ２０３ｃ及びＴ２０３ｄが存在する。つまり、１つの探索領域に対して、１つの画像認識処理時間が存在する。転送処理時間と同様に、画像認識処理時間も、それぞれ対応する第１探索領域の大きさに応じた時間となる。図６において、画像認識処理時間Ｔ２０３ａ〜Ｔ２０３ｄはそれぞれ、第１探索領域２０２ａ〜２０２ｄの画像認識に要する時間である。

ターンアラウンドタイムＴ２０４は、探索領域初期設定部１０２によって設定された第１探索領域を探索した場合に要する第１処理時間の一例である。ターンアラウンドタイムＴ２０４は、第１探索領域毎のオーバーヘッド時間、転送処理時間及び画像認識処理時間の合計を、第１探索領域の分だけ合計した時間である。

画像認識装置１００の探索領域設定部１０４は、探索領域情報に基づいて、探索領域初期設定部１０２によって設定された第１探索領域を探索した場合に要する第１処理時間と、第２探索領域の候補となる領域を探索した場合に要する第２処理時間とを推定する。そして、第１処理時間が第２処理時間より短い場合は、探索領域設定部１０４は、探索領域初期設定部１０２によって設定された第１探索領域を第２探索領域として設定する。また、第２処理時間が第１処理時間より短い場合は、探索領域設定部１０４は、第２探索領域の候補となる領域を第２探索領域として設定する。第２探索領域の候補となる領域は、例えば、入力画像の全領域、又は、第１探索領域である。

図５及び図６で示すように、画像認識に要するターンアラウンドタイムは、探索領域の数に応じて増加するオーバーヘッド時間と、探索領域の面積に応じて増加する画像情報のデータ転送時間及び画像認識処理時間とで構成される。

画像認識装置１００における探索領域設定部１０４は、第１探索領域に要するターンアラウンドタイム、及び、第２探索領域の候補となる探索領域に要するターンアラウンドタイムを算出する。そして、探索領域設定部１０４は、算出結果に基づいて、第１探索領域の再設定を行うか否かを判定する。探索領域を再設定すると判定した場合、探索領域設定部１０４は、第２探索領域を設定する。

例えば、第２探索領域の候補となる探索領域に要するターンアラウンドタイムが第１探索領域に要するターンアラウンドタイムより短い場合に、探索領域設定部１０４は、探索領域の再設定をしてもよい。例えば、第１探索領域のターンアラウンドタイムＴ２０４、第２探索領域の候補となる探索領域のターンアラウンドタイムＴ１０４の例では、ターンアラウンドタイムＴ２０４＜ターンアラウンドタイムＴ１０４である。このことから、「第２探索領域＝第１探索領域」と設定される。

また、探索領域設定部１０４は、第１探索領域とそれ以外の複数の探索領域の各々のターンアラウンドタイムを算出し、最も処理時間が短い探索領域を第２探索領域として設定してもよい。なお、ターンアラウンドタイムの算出には、探索領域の種々の情報を用いて行うものとし、例えば、以下の式２で行う。

図７は、本発明の実施の形態１に係る画像認識方法の一例を示すフローチャートである。

まず、画像認識装置１００に画像情報を入力する。すなわち、画像入力部１０１が入力画像１１１を取得する（Ｓ１０１）。

次に、探索領域初期設定部１０２は、第１探索領域を設定する（Ｓ１０２）。例えば、探索領域初期設定部１０２は、入力画像１１１の画像特徴量に基づいて、入力画像１１１内の領域を第１探索領域として設定する。具体的には、探索領域初期設定部１０２は、図２に示すように、特定の色（肌色）を含む領域、及び、動きが発生している領域を第１探索領域として設定する。

探索領域情報抽出部１０３は、探索領域初期設定部１０２によって設定された第１探索領域の数と、第１探索領域の各々の面積及び縦横の長さを算出する（Ｓ１０３）。つまり、探索領域情報抽出部１０３は、図３に示すような探索領域情報を抽出する。

次に、探索領域設定部１０４は、探索領域情報抽出部１０３によって算出された種々の情報を用いて、第１探索領域の画像認識に要する第１処理時間、及び、第２探索領域の候補になる探索領域の画像認識に要する第２処理時間を算出する（Ｓ１０４）。具体的には、探索領域設定部１０４は、式２を用いて、第１探索領域と第２探索領域の候補となる領域とのそれぞれのターンアラウンドタイムを第１処理時間及び第２処理時間として算出する。なお、第２探索領域の候補は、例えば、入力画像１１１の全領域である。

そして、探索領域設定部１０４は、算出結果を基に探索処理時間の短い探索領域を、第２探索領域として設定する（Ｓ１０５）。

続いて、画像認識判定部１０５は、画像認識処理を実施する（Ｓ１０６）。つまり、画像認識判定部１０５は、探索領域設定部１０４によって設定された第２探索領域を探索することで、所望の対象物を表す対象画像を抽出する。ここで、画像認識処理は、所望の対象画像とのパターンマッチングによる抽出処理であってもよく、また、これに限定されるものではない。

最後に、画像認識判定部１０５は、画像認識結果１１２を出力する（Ｓ１０７）。

以上のように、本発明の実施の形態１に係る画像認識装置及び画像認識方法では、予め設定された第１探索領域の数及び大きさに基づいて、新たな探索領域である第２探索領域を設定する。具体的には、本発明の実施の形態１では、入力された画像に対して、少なくとも１つの第１探索領域を初期設定し、設定された各々の第１探索領域に関する情報から第２探索領域を設定する。これにより、画像認識を実現する上で事前学習を必要とせず、画像認識に要する処理時間の削減が可能になる。つまり、対象画像の探索処理に要する処理時間の削減効果を向上させることができる。

また、本発明の実施の形態１では、統計的手法を用いていないため、どのような入力画像が入力された場合であっても、適切に探索領域を設定することができる。

（実施の形態２）
本発明の実施の形態２に係る画像認識方法は、実施の形態１に係る画像認識方法に加えて、複数の第１探索領域が設定されている場合に、当該複数の第１探索領域の少なくとも２つを含む領域である統合領域を、第２探索領域の候補となる領域として設定する統合領域設定ステップを含む。そして、探索領域の再設定では、第１探索領域、統合領域、又は、入力画像の全領域を、第２探索領域として設定することを特徴とする。

次に、本発明の実施の形態２に係る画像認識方法を行う画像認識装置４００の構成について説明する。図８は、本発明の実施の形態２に係る画像認識装置４００の構成の一例を示すブロック図である。

本発明の実施の形態２に係る画像認識装置４００は、実施の形態１に係る画像認識装置１００と概ね同様の構成を備える一方、さらに、探索領域統合部４０１を備える点が異なっている。以下では、実施の形態１と同じ点は説明を省略し、異なる点を中心に説明する。

探索領域統合部４０１は、複数の第１探索領域が設定されている場合に、少なくとも２つの第１探索領域を含む領域である統合領域を、第２探索領域の候補として設定する。つまり、探索領域統合部４０１は、探索領域初期設定部１０２によって設定された第１探索領域について、探索領域情報抽出部１０３からの探索領域情報を基に、第１探索領域の統合を行う。なお、探索領域情報は、例えば、第１探索領域の数、第１探索領域の各々の面積、縦横の長さの少なくとも１つを示す情報である。

図９から図１２を用いて、探索領域の統合について説明する。図９は、探索領域の統合の判定の基準を示す図である。入力画像５０１内に第１探索領域５０２ａ〜５０２ｉが設定されている。

探索領域統合部４０１は、例えば、複数の第１探索領域の１つである対象第１探索領域と、当該対象第１探索領域を基点とする予め定められた範囲内に存在する他の第１探索領域とを含む領域を、統合領域として設定する。具体的には、第１探索領域５０２ａを対象第１探索領域として着目すると、探索領域統合部４０１は、第１探索領域５０２ａと、当該第１探索領域５０２ａの左上アドレスを基準として、例えば、しきい値で定められる特定の領域である探索領域統合範囲５０３ａ内に存在する第１探索領域５０２ａ以外の第１探索領域とを統合する。この場合、探索領域統合部４０１は、探索領域統合範囲５０３ａに存在する第１探索領域５０２ｂと、対象第１探索領域である第１探索領域５０２ａとを包含する最小の領域を、統合探索領域５０４ａとして設定する。

また、探索領域統合部４０１は、第１探索領域の縦横の長さの比率を考慮して統合するか否かの判断を行ってもよい。言い換えると、探索領域統合部４０１は、対象第１探索領域と他の第１探索領域との縦及び横のそれぞれの長さの比率に応じて、統合領域を設定するか否かを判定してもよい。具体的には、探索領域統合部４０１は、対象第１探索領域の縦の長さと他の第１探索領域の縦の長さとの比率と、対象第１探索領域の横の長さと他の第１探索領域の横の長さとの比率とがそれぞれ、予め定められた範囲内である場合に、統合領域を設定する。

図９の例では、探索領域統合範囲５０３ｂ内には、第１探索領域５０２ｄ、５０２ｅ及び５０２ｆが設定されている。これらの第１探索領域の各々の縦及び横の長さ（縦の長さ，横の長さ）が、
第１探索領域５０２ｄ・・・（５０，１０）
第１探索領域５０２ｅ・・・（４０，３５）
第１探索領域５０２ｆ・・・（１０，１００）
であるとする。

このとき、着目している第１探索領域、すなわち、対象第１探索領域が、第１探索領域５０２ｄである場合、対象第１探索領域に対する他の第１探索領域の縦及び横の長さの比率は、
第１探索領域５０２ｅ・・・（４０／５０，３５／１０）
第１探索領域５０２ｆ・・・（１０／５０，１００／１０）
となる。

ここで、探索領域の統合を行うために、縦及び横のそれぞれの長さの比率が満たすべき条件が、
縦の比率の範囲：１／５〜５
横の比率の範囲：１／５〜５
の双方を満たす場合であるとした場合、第１探索領域５０２ｅは、縦と横の比率が共に上記範囲にあるので、第１探索領域５０２ｄと統合される。一方で、第１探索領域５０２ｆは、横の比率が上記範囲外になるので、第１探索領域５０２ｄと統合されない。その結果、探索領域統合部４０１は、第１探索領域５０２ｄと第１探索領域５０２ｅを包含する最小の領域を、統合探索領域５０４ｂとして設定する。

なお、探索領域の統合を行うための縦及び横の比率の範囲については、任意に設定可能であり、上述に限定されるものではない。

また、探索領域統合部４０１は、第１探索領域の各々の位置関係を考慮して統合するか否かの判断を行ってもよい。言い換えると、探索領域統合部４０１は、対象第１探索領域と他の第１探索領域との位置関係に基づいて、統合領域を設定するか否かを判定してもよい。

具体的には、探索領域統合部４０１は、対象第１探索領域と他の第１探索領域との位置関係が、左右の関係である場合、統合領域を設定する。つまり、探索領域統合部４０１は、対象第１探索領域と他の第１探索領域とにおける左右方向の距離が上下方向の距離より長い場合に、統合領域を設定する。言い換えると、探索領域統合部４０１は、対象第１探索領域を基準として上下方向より左右方向に長い所定の領域に含まれる他の第１探索領域と、対象第１探索領域とを統合する。なお、対象第１探索領域と他の第１探索領域との間の距離は、例えば、対象第１探索領域の左上アドレスと他の第１探索領域の左上アドレスとの距離である。

逆に、探索領域統合部４０１は、対象第１探索領域と他の第１探索領域との位置関係が、上下の関係である場合、統合領域を設定しない。つまり、探索領域統合部４０１は、対象第１探索領域と他の第１探索領域とにおける上下方向の距離が左右方向の距離より長い場合に、統合領域を設定する。言い換えると、探索領域統合部４０１は、対象第１探索領域を基準として左右方向より上下方向に長い所定の領域に含まれる他の第１探索領域と、対象第１探索領域とを統合する。

例えば、探索領域統合範囲５０３ｃ内には、第１探索領域５０２ｇ、５０２ｈ及び５０２ｉが設定されている。これらの第１探索領域の各々の左上アドレス（縦の位置，横の位置）が、
第１探索領域５０２ｇ・・・（４００，２００）
第１探索領域５０２ｈ・・・（４００，２５０）
第１探索領域５０２ｉ・・・（４７０，２００）
であるとする。

このとき、着目している第１探索領域、すなわち、対象第１探索領域が、第１探索領域５０２ｇである場合、統合条件として、さらに、第１探索領域の各々の左上アドレスが所定の統合判定領域５０５（４００±１０，２００±１００）の範囲に絞り込む。第１探索領域５０２ｈの左上アドレスは、統合判定領域５０５に含まれるので、第１探索領域５０２ｇと第１探索領域５０２ｈとは統合される。一方で、第１探索領域５０２ｉは、統合判定領域５０５に含まれないために統合されない。その結果、探索領域統合部４０１は、第１探索領域５０２ｇと第１探索領域５０２ｈとを包含する最小の領域を、統合探索領域５０４ｃとして設定する。

ここで、左上アドレスの所定の領域を上述のように設定することで、画像の位置関係上、探索領域が左右に存在する場合は探索領域の統合が行われるが、探索領域が上下に存在する場合は探索領域の統合が行われない。

また、探索領域統合部４０１は、探索領域初期設定部１０２によって設定された複数の第１探索領域のうち、統合の対象となる少なくとも２つの第１探索領域を探索した場合に要する第３処理時間と、統合領域を探索した場合に要する第４処理時間とを推定し、第４処理時間が第３処理時間より短い場合に、統合領域を設定してもよい。具体的には、例えば、式１によりターンアラウンドタイムが最小となるように探索領域を統合してもよい。また、各々の第１探索領域の縦及び横の長さを考慮して統合してもよい。また、複数の第１探索領域の位置関係を考慮して統合の判定を行ってもよく、上述に限定したものではない。

図１０は、本発明の実施の形態２に係る探索領域の統合の一例を示す図である。探索領域統合部４０１は、第１探索領域２０２ａ及び２０２ｃを統合し、新たに統合された領域である統合探索領域６０４を設定する。

図１１は、本発明の実施の形態２に係る統合された探索領域情報の一例を示す図である。探索領域情報抽出部１０３は、統合探索領域６０４と、第１探索領域２０２ｂ及び２０２ｄとについての探索領域情報を抽出する。探索領域情報は、統合領域及び第１探索領域の数、統合領域及び第１探索領域のそれぞれの位置及び長さを示す情報である。

ここで、図３と比較すると、第１探索領域が統合されているので、
統合探索領域６０４の面積 ≧ 第１探索領域２０２ａの面積 ＋ 第１探索領域２０２ｃの面積
となり、探索すべき領域の面積は増加している。

図１２は、本発明の実施の形態２に係る統合された探索領域を探索した場合のタイミングチャートの一例を示す図である。

図１０の例では、転送すべき統合領域及び第１探索領域の個数は３つであるから、オーバーヘッド時間Ｔ３０１、Ｔ２０１ｂ及びＴ２０１ｄが存在し、転送処理時間Ｔ３０２、Ｔ２０２ｂ及びＴ２０２ｄが存在する。なお、転送処理時間Ｔ３０２は、統合探索領域６０４を転送するのに要する時間である。

また、転送された統合領域及び第１探索領域の個数は３つであるから、画像認識処理時間Ｔ３０３、Ｔ２０３ｂ及びＴ２０３ｄが存在する。画像認識処理時間Ｔ３０３は、統合探索領域６０４の画像認識に要する時間である。

ターンアラウンドタイムＴ３０４は、第２探索領域の候補となる領域を探索した場合に要する第２処理時間の一例である。具体的には、ターンアラウンドタイムＴ３０４は、探索領域統合部４０１によって設定された統合領域と、探索領域初期設定部１０２によって設定された第１探索領域のうち統合されていない第１探索領域とを探索した場合に要する処理時間である。

ここで、第１探索領域を統合することで、統合後の探索領域の面積は増加する。このため、画像情報の転送に要する時間及び画像認識に要する時間は、
転送処理時間Ｔ３０２ ＞ 転送処理時間Ｔ２０２ａ ＋ 転送処理時間Ｔ２０２ｃ
画像認識処理時間Ｔ３０３ ＞ 画像認識処理時間Ｔ２０３ａ ＋ 画像認識処理時間Ｔ２０３ｃ
を満たしており、統合前より増加する。

しかし、画像認識の処理全体に要するターンアラウンドタイムは、図６及び図１２から比較して分かるように、
ターンアラウンドタイムＴ３０４ ＜ ターンアラウンドタイムＴ２０４
となる。したがって、第１探索領域を統合することにより、画像認識の処理全体に要する処理時間を短縮する効果がある。これは、第１探索領域を統合することで、探索領域の面積増加に伴う転送処理時間及び画像認識処理に要する処理時間の増加よりも、探索領域の数を減らすことにより画像情報を転送する際に必要とされるオーバーヘッドの処理時間の削減が上回るためである。

探索領域設定部１０４は、実施の形態１と同様に、第２探索領域の候補となる領域を探索した場合に要する処理時間に基づいて、第２探索領域を設定する。例えば、探索領域設定部１０４は、第１探索領域のターンアラウンドタイムと、第２探索領域の候補となる探索領域のターンアラウンドタイムとに基づいて、第２探索領域を設定する。第２探索領域の候補は、例えば、入力画像の全領域、及び、探索領域統合部４０１によって設定された統合領域などである。具体的には、探索領域設定部１０４は、第１探索領域のターンアラウンドタイムと、入力画像の全領域のターンアラウンドタイムと、統合領域のターンアラウンドタイムとのうち、ターンアラウンドタイムが最小となる探索領域を、第２探索領域として設定してもよい。

図１３は、本発明の実施の形態２に係る画像認識方法の一例を示すフローチャートである。なお、図７に示す実施の形態１に係る画像認識方法と同じ処理については、説明を省略する。

画像認識装置４００に入力画像１１１が入力されると（Ｓ１０１）、探索領域初期設定部１０２は、複数の第１探索領域を設定する（Ｓ１０２）。そして、探索領域情報抽出部１０３は、複数の第１探索領域の数、及び、複数の第１探索領域それぞれの位置、面積、縦横の長さを示す探索領域情報を取得する（Ｓ１０３）。これらは、実施の形態１と同様の処理である。

次に、探索領域統合部４０１は、統合領域を設定する（Ｓ２０１）。例えば、上述したように、探索領域統合部４０１は、設定された複数の第１探索領域のうちの１つである対象第１探索領域と、当該対象第１探索領域を基点とする予め定められた範囲内に存在する他の第１探索領域とを含む領域を、統合領域として設定する。なお、このとき、探索領域統合部４０１は、処理時間に基づいて、統合領域を設定するか否かを判定してもよい。

そして、探索領域情報抽出部１０３は、設定された統合領域の数、統合領域それぞれの位置、面積、及び、縦横の長さを示す情報を取得する（Ｓ２０２）。探索領域情報抽出部１０３は、ステップＳ１０３で抽出された情報と合わせて、探索領域設定部１０４に出力する。これにより、探索領域設定部１０４は、例えば、図１１に示すような、統合領域と第１探索領域との数、位置及び大きさを示す探索領域情報を取得する。

次に、探索領域設定部１０４は、第２探索領域の候補となる領域を探索した場合に要する処理時間を算出する（Ｓ１０４）。具体的には、探索領域設定部１０４は、探索領域初期設定部１０２によって設定された複数の第１探索領域を探索した場合に要する処理時間、入力画像の全領域を探索した場合に要する処理時間、及び、統合領域と統合されなかった第１探索領域とを探索した場合に要する処理時間を算出する。具体的な算出方法は、実施の形態１に示した通りである。

そして、探索領域設定部１０４は、算出した処理時間のうち、最も短い処理時間に対応する探索領域を、第２探索領域として設定する（Ｓ１０５）。なお、最も短い処理時間ではなく、予め定められた閾値より短い処理時間に対応する探索領域を、探索領域設定部１０４は、第２探索領域として設定してもよい。

以降、実施の形態１と同様にして、画像認識判定部１０５は、画像認識処理を実行し（Ｓ１０６）、画像認識結果１１２を出力する（Ｓ１０７）。

このように、本発明の実施の形態２に係る画像認識装置及び画像認識方法では、設定された第１探索領域を統合する手段を有することで、所望の対象物を抽出する処理に要する時間をより削減することが可能になる。上述したように、探索領域を探索するのに要する時間は、探索領域の数に応じて増加する時間と探索領域の面積に応じて増加する時間とを含んでいる。したがって、第１探索領域を統合することで、探索領域の数を減らすことが可能となり、探索領域の数を減らすことによる時間の削減量が、探索領域の面積が増加することによる時間の増加量を上回っている場合に、探索領域を探索するのに要する時間を短くすることができる。

（実施の形態３）
本発明の実施の形態３では、上述した実施の形態１及び実施の形態２に係る画像認識装置を備える撮像システムについて説明する。

図１４は、本発明の実施の形態３に係る撮像システム７００の構成の一例を示すブロック図である。撮像システム７００は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、又はセキュリティカメラ等である。

図１４に示す撮像システム７００は、光学系７０１と、センサー部７０２と、Ａ／Ｄ変換回路７０３と、画像処理回路７０４と、記録転送部７０５と、再生部７０６と、タイミング制御回路７０７と、システム制御回路７０８とを備える。

光学系７０１は、レンズ等からなり、被写体を撮像素子センサーに結像する。

センサー部７０２は、撮像素子センサーを有し、光学系７０１により結像された画像光を光電変換することにより電気信号（画像信号）を生成する。ここで、撮像素子センサーとしては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を用いたセンサー又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を用いたセンサー等、種々のセンサーを採用できる。

Ａ／Ｄ変換回路７０３は、センサー部７０２により生成された電気信号（アナログ信号）をデジタル信号に変換する。

画像処理回路７０４は、上述した実施の形態１及び実施の形態２に係る画像認識装置１００又は画像認識装置４００のいずれかを備える。画像処理回路７０４は、Ａ／Ｄ変換回路７０３により変換されたデジタル信号に、ＹＣ信号生成、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小、ＪＰＥＧ及びＭＰＥＧなどの所定の規格の画像圧縮／伸張処理、及び画像圧縮されたストリームの制御等を行う。また、画像認識装置１００又は画像認識装置４００は、Ａ／Ｄ変換回路７０３により変換されたデジタル信号を入力画像として取得し、取得した入力画像から、所定の対象物を表す対象画像を抽出する。

記録転送部７０５は、画像処理回路７０４により画像処理された信号、及び、画像認識装置１００又は画像認識装置４００によって検出された結果を、記録メディア（図示せず）へ記録する。あるいは、記録転送部７０５は、画像処理された信号、及び、検出された結果を、インターネット等を介して伝送してもよい。なお、好ましい記録メディアとしては、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、コンパクトフラッシュ（登録商標）カード、スマートメディアカード、メモリスティックなどがある。

再生部７０６は、記録転送部７０５により記録又は転送された信号を再生する。なお、再生画像に重ねて画像認識結果を表示してもよい。

図１５は、本発明の実施の形態３に係る画像認識結果の表示例である。図１５に示すように、再生画像８０１の範囲内に所望の対象物が存在する領域（対象画像）を枠８０２で表示するといった表示ができる。例えば、所望の対象物を人物の顔とすれば、顔の領域に枠が表示される。また、所望の対象物を動き領域とすれば、複数の画像間で動きが発生した領域を枠で表示することができる。

タイミング制御回路７０７は、センサー部７０２及び画像処理回路７０４を制御する。例えば、タイミング制御回路７０７は、画像認識装置１００又は画像認識装置４００にクロックを供給する。

システム制御回路７０８は、光学系７０１、記録転送部７０５、再生部７０６及びタイミング制御回路７０７を制御する。

なお、光学系７０１のＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）の動作中、又は、センサー部７０２のＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）の動作中は、撮影される画像が安定しない。このため、システム制御回路７０８は、画像認識装置１００又は画像認識装置４００を止めてよい。例えば、システム制御回路７０８は、タイミング制御回路７０７を制御することで、画像認識装置１００又は画像認識装置４００へのクロックの供給を停止させてもよい。

なお、システム制御回路７０８は、画像信号の画素値が予め定められた所定の範囲外である場合に、画像認識装置１００又は画像認識装置４００の動作を停止させてもよい。例えば、強い光によってセンサー部７０２より出力される画像信号値が第１所定値以上となり画像が白くなる場合や、明かりのない場所でセンサー部７０２より出力される画像信号値が第２所定値以下となり画像が黒くなる場合、画像のパターンが変化する。このため、これらの場合も、画像認識装置１００又は画像認識装置４００の動作を止めてもよい。

これにより、入力画像が白飛びしている場合、又は、黒潰れしている場合などの入力画像が適切でない場合に画像認識処理を停止させることができるので、消費電力の低減、及び、処理負荷を低減することができる。

ここで、第１所定値及び第２所定値は、任意の値に設定可能であり、各画素が取りうる諧調の範囲に依存して適応的に決定してもよい。例えば、諧調値が０から１０２３までの値を取りうるのであれば、第１所定値を１０２３に設定し、第２所定値を１０に設定する。また、諧調値が０から４０９５までの値を取りうるのであれば、第１所定値を４０９５に設定し、第２所定値を４０に設定する。

以上の構成に示すように、本発明の実施の形態３に係る撮像システム７００は、光を結像する光学系７０１と、結像された光を、上記入力画像を示す画像信号に変換するセンサー部７０２と、上記実施の形態１又は２に係る画像認識装置１００又は４００とを備える。これにより、例えば、顔認識機能を有し、顔認識に要する処理時間を短くすることができるカメラなどを実現することができる。

なお、実施の形態３では、本発明に係る画像認識装置１００又は画像認識装置４００を、光学系７０１からの画像光をセンサー部７０２で光電変換してＡ／Ｄ変換回路７０３に入力するカメラ機器などに用いた例を説明したが、本発明に係る画像認識装置１００又は画像認識装置４００を、その他の機器に用いてもよいことは言うまでもない。例えば、テレビなどのＡＶ機器のアナログ映像入力を直接にＡ／Ｄ変換回路７０３に入力してもよく、再生部７０６で再生された画像を入力してもよい。

以上、本発明に係る画像認識装置、画像認識方法及び撮像システムについて、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、第１探索領域、第２探索領域及び統合領域の位置を表す情報として、各領域の左上アドレスを用いたが、これには限られない。例えば、各領域の左下アドレス、右上アドレス、右下アドレス、中心アドレス（対角線の交点を示すアドレス）でもよい。

また、各実施の形態では、第１探索領域及び第２探索領域ともに矩形領域を例に説明したが、第１探索領域及び第２探索領域の形状は、矩形でなくてもよい。具体的には、第１探索領域及び第２探索領域は、円形、楕円形、多角形などでもよい。例えば、第１探索領域が円形である場合、探索領域情報抽出部１０３は、円の中心を示すアドレス及び円の半径を示す情報を抽出すればよい。

また、本発明の実施の形態に係る画像認識装置１００又は画像認識装置４００は、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよく、一部又は全てを含むように１チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、上述した各実施の形態における各処理は、ＣＰＵを有するコンピュータにより各処理の機能を実現するためのプログラムを記録媒体（メモリ）から読み出し実行することで機能を実現させるものでもよい。

また、本発明は、上記の各実施の形態に係る画像認識方法をコンピュータに実現させるためのプログラムを格納する非一時的なコンピュータ読み取り可能な記録媒体として実現することができる。ＣＰＵが読み出す記録媒体としては、ＲＯＭやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に限定されず、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＣＤ又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの光ディスクなどでもよく、コンピュータが読み取り、読み書き可能な媒体から構成される。

また、伝送媒体により、プログラムをコンピュータの外部より読み書きしてもよい。ここで、伝送媒体は、インターネットなどのネットワークのように情報を伝送する機能を有する媒体をいう。

上述のプログラムは、上述した機能の全て又は一部を実現するためであってもよい。

本発明は、画像認識方法及び画像認識装置に適用でき、例えば、ヒューマンインターフェース、データベース検索、セキュリティ、顔による照合システム、ゲーム、教育、映画製作、エンターテイメント、画像通信などの種々の分野における画像認識方法及び画像認識装置として利用することができる。

１００、４００ 画像認識装置
１０１ 画像入力部
１０２ 探索領域初期設定部
１０３ 探索領域情報抽出部
１０４ 探索領域設定部
１０５ 画像認識判定部
１１１、２０１、５０１ 入力画像
１１２ 画像認識結果
２０２ａ〜２０２ｄ、５０２ａ〜５０２ｉ 第１探索領域
３００ 画像処理装置
３０１ ＣＰＵ
３０２ ＤＭＡＣ
３０３ 共有メモリ
３０４ メモリ
４０１ 探索領域統合部
５０３ａ〜５０３ｃ 探索領域統合範囲
５０４ａ〜５０４ｃ、６０４ 統合探索領域
５０５ 統合判定領域
７００ 撮像システム
７０１ 光学系
７０２ センサー部
７０３ Ａ／Ｄ変換回路
７０４ 画像処理回路
７０５ 記録転送部
７０６ 再生部
７０７ タイミング制御回路
７０８ システム制御回路
８０１ 再生画像
８０２ 枠
Ｔ１０１、Ｔ２０１ａ〜Ｔ２０１ｄ、Ｔ３０１ オーバーヘッド時間
Ｔ１０２、Ｔ２０２ａ〜Ｔ２０２ｄ、Ｔ３０２ 転送処理時間
Ｔ１０３、Ｔ２０３ａ〜Ｔ２０３ｄ、Ｔ３０３ 画像認識処理時間
Ｔ１０４、Ｔ２０４、Ｔ３０４ ターンアラウンドタイム

Claims (21)

1. 予め定められた対象物を表す対象画像を入力画像から抽出する画像認識方法であって、
   前記対象画像を探索するための前記入力画像内の探索領域として予め設定された少なくとも１つの第１探索領域の数と、前記少なくとも１つの第１探索領域それぞれの大きさとの少なくとも１つを示す探索領域情報に基づいて、前記入力画像内の第２探索領域を設定する探索領域設定ステップと、
   前記第２探索領域を探索することで、前記対象画像を抽出する探索ステップとを含む
   画像認識方法。
2. 前記探索領域設定ステップでは、
   前記探索領域情報に基づいて、前記少なくとも１つの第１探索領域を探索した場合に要する第１処理時間と、前記第２探索領域の候補となる領域を探索した場合に要する第２処理時間とを推定し、
   前記第１処理時間が前記第２処理時間より短い場合は、前記少なくとも１つの第１探索領域を前記第２探索領域として設定し、前記第２処理時間が前記第１処理時間より短い場合は、前記第２探索領域の候補となる領域を前記第２探索領域として設定する
   請求項１記載の画像認識方法。
3. 前記探索領域設定ステップでは、前記第１探索領域の数に応じて増加する第１時間と、前記第１探索領域の大きさに応じて増加する第２時間とを加算することで、前記第１処理時間を推定する
   請求項２記載の画像認識方法。
4. 前記画像認識方法は、さらに、前記少なくとも１つの第１探索領域を初期設定する初期設定ステップを含み、
   前記探索領域設定ステップでは、前記初期設定ステップにおいて設定された少なくとも１つの第１探索領域に関する前記探索領域情報に基づいて、前記第２探索領域を設定する
   請求項１〜３のいずれか１項に記載の画像認識方法。
5. 前記初期設定ステップでは、前記入力画像のうち予め定められた色を含む領域を、前記第１探索領域として初期設定する
   請求項４記載の画像認識方法。
6. 前記初期設定ステップでは、前記入力画像のうち肌色を含む領域を、前記第１探索領域として初期設定する
   請求項５記載の画像認識方法。
7. 前記初期設定ステップでは、前記入力画像のうち動きが発生している領域を、前記第１探索領域として初期設定する
   請求項４記載の画像認識方法。
8. 前記探索領域設定ステップでは、前記第１探索領域、又は、前記入力画像の全領域を、前記第２探索領域として設定する
   請求項１記載の画像認識方法。
9. 前記画像認識方法は、さらに、複数の前記第１探索領域が設定されている場合に、少なくとも２つの前記第１探索領域を含む領域である統合領域を、前記第２探索領域の候補となる領域として設定する統合領域設定ステップを含み、
   前記探索領域設定ステップでは、前記第１探索領域、前記統合領域、又は、前記入力画像の全領域を、前記第２探索領域として設定する
   請求項１記載の画像認識方法。
10. 前記統合領域設定ステップでは、
    前記少なくとも２つの第１探索領域を探索した場合に要する第３処理時間と、前記統合領域を探索した場合に要する第４処理時間とを推定し、
    前記第４処理時間が前記第３処理時間より短い場合に、前記統合領域を設定する
    請求項９記載の画像認識方法。
11. 前記統合領域設定ステップでは、複数の前記第１探索領域の１つである対象第１探索領域と、当該対象第１探索領域を基点とする予め定められた範囲内に存在する他の第１探索領域と含む領域を、前記統合領域として設定する
    請求項９記載の画像認識方法。
12. 前記統合領域設定ステップでは、前記対象第１探索領域と前記他の第１探索領域との縦及び横のそれぞれの長さの比率に応じて、前記統合領域を設定するか否かを判定する
    請求項１１記載の画像認識方法。
13. 前記統合領域設定ステップでは、前記対象第１探索領域の縦の長さと前記他の第１探索領域の縦の長さとの比率と、前記対象第１探索領域の横の長さと前記他の第１探索領域の横の長さとの比率とがそれぞれ、予め定められた範囲内である場合に、前記統合領域を設定する
    請求項１２記載の画像認識方法。
14. 前記統合領域設定ステップでは、前記対象第１探索領域と前記他の第１探索領域との位置関係に基づいて、前記統合領域を設定するか否かを判定する
    請求項１１記載の画像認識方法。
15. 前記統合領域設定ステップでは、前記対象第１探索領域と前記他の第１探索領域とにおける左右方向の距離が上下方向の距離より長い場合、前記統合領域を設定する
    請求項１４記載の画像認識方法。
16. 前記統合領域設定ステップでは、前記対象第１探索領域と前記他の第１探索領域とにおける上下方向の距離が左右方向の距離より長い場合、前記統合領域を設定しない
    請求項１４記載の画像認識方法。
17. 前記探索ステップでは、パターンマッチングを行うことで、前記第２探索領域内に前記対象画像が含まれるか否かを判定し、前記対象画像が含まれている場合に、当該対象画像を抽出する
    請求項１〜１６のいずれか１項に記載の画像認識方法。
18. 請求項１〜１７のいずれか１項に記載の画像認識方法をコンピュータに実行させるためのプログラムを記録する非一時的なコンピュータ読み取り可能な記録媒体。
19. 予め定められた対象物を表す対象画像を入力画像から抽出する画像認識装置であって、
    前記対象画像を探索するための前記入力画像内の探索領域として予め設定された少なくとも１つの第１探索領域の数と、前記少なくとも１つの第１探索領域それぞれの大きさとの少なくとも１つを示す探索領域情報に基づいて、前記入力画像内の第２探索領域を設定する探索領域設定部と、
    前記第２探索領域を探索することで、前記対象画像を抽出する探索部とを備える
    画像認識装置。
20. 請求項１９記載の画像認識装置と、
    光を結像する光学系と、
    前記光学系によって結像された光を、前記入力画像を示す画像信号に変換するセンサー部とを備える
    撮像システム。
21. 前記撮像システムは、さらに、前記画像認識装置の動作を制御するシステム制御部を備え、
    前記システム制御部は、前記画像信号の画素値が予め定められた所定の範囲外である場合に、前記画像認識装置の動作を停止する
    請求項２０記載の撮像システム。

Images