JP2016039539A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】魚眼レンズを介して撮像された画像上の認識対象を効率よく検出する画像処理装置、画像処理方法およびプログラムを提供する。
【解決手段】カメラの設置方向に応じて、撮像される画像の領域のうち相対的に人体が多く検出される領域を優先領域として設定する。そして、設定した優先領域から、人体の検出処理を優先的に開始する。
【選択図】図５

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関し、特に、魚眼レンズを介して画像を撮像するために用いて好適なものである。

魚眼レンズや全方位ミラー等を備えた広範囲撮像装置を用いて、通常の画角の撮像装置に比べて広い範囲を一度に撮像する方式が知られている。これら広範囲撮像装置は、広い範囲を一度に捉えることができる一方で、広範囲撮像装置で撮像された画像は、円形に歪み、円周部に近づくほど歪みは大きくなる。また、広範囲撮像装置では、撮像される範囲が広いことや、画像に歪みがあることに起因して、撮像画像から人を検出するための処理に時間がかかる傾向がある。

特許文献１には、魚眼レンズカメラで撮像された画像から人体を検出するとき、画像の領域ごとに重みづけを行ってから、人体を検出することが開示されている。特許文献１では、魚眼レンズカメラで撮像された画像の中心部分と周辺部分との歪みの大きさに応じて異なる重み係数を乗じた特徴量を元に、領域抽出を行う。画像の周辺部の重み係数を２とし、画像の円周付近の重み係数を１として特徴量を計算することで、画像の周辺部に存在する人体を検出しやすくする。

また、特許文献２には、音声で異常を検知し、検知した方向の画像を取得し、取得した画像上の特徴量を抽出することが開示されている。特許文献２では、音声の異常を検知した方向の画像に限定して、特徴量を抽出する。

特開２００７−２４４７３４号公報 特開２００３−１５２８２６号公報

しかしながら、魚眼レンズカメラで撮影された画像は、その撮像範囲が広いために、画像全体で人体の検出を行うと、処理に時間を要する。
特許文献１では、画像の領域ごとに重みづけを行い、人体の検出しやすさを制御する。しかしながら、人体の検出処理では、画像を端からラスタースキャンする必要がある。このために、人体の検出処理にかかる時間は依然長いままである。

また、特許文献２では、音声の異常を検知した方向の画像に限定して特徴量を抽出する方法である。このため、音声の異常が検知されなかった領域における画像の特徴量を抽出することができない。

そこで、本発明は、魚眼レンズを介して撮像された画像上の認識対象を効率よく検出することを目的とする。

本発明の画像処理装置は、魚眼レンズを備える撮像装置の設置方向に応じて、当該撮像装置で撮像された画像の歪みを補正する補正手段と、前記補正手段により歪みが補正された画像に対して所定の認識対象の認識処理を行う認識手段と、前記魚眼レンズを備える撮像装置の設置方向に応じて、前記認識対象の認識処理を開始する位置を決定する決定手段と、を有し、前記認識手段は、前記決定手段により決定された位置から、前記認識処理を開始することを特徴とする。

本発明によれば、魚眼レンズを介して撮像された画像上の認識対象を効率よく検出することができる。

画像処理装置の構成の第１の例を示す図である。 フレーム間隔、人体検出処理間隔、人体処理時間の関係を示す図である。 撮像画像の第１の例を示す図である。 撮像画像の第２の例を示す図である。 画像処理装置の動作の第１の例を説明するフローチャートである。 画像処理装置の構成の第２の例を示す図である。 画像処理装置の動作の第２の例を説明するフローチャートである。 画像処理装置のハードウェアの構成を示す図である。

以下、添付の図面を参照して、本発明の実施形態を説明する。尚、以下の実施形態において示す構成は一例に過ぎず、本発明は、以下の実施形態の構成に限定されるものではない。
＜第１の実施形態＞
まず、第１の実施形態を説明する。
図１は、本実施形態の画像処理装置１００の構成の一例を示すブロック図である。
図１において、画像処理装置１００は、画像取得部１０１、解像度変換部１０２、設置方向取得部１０３、人体検出優先領域決定部１０４、歪み補正部１０５、認識処理部１０６、配信・記録部１０７、および制御部１０８を有する。

画像取得部１０１は、魚眼レンズ、魚眼レンズを介した画像を撮像する撮像素子、およびフレームメモリを有する。魚眼レンズ介して撮像された画像は、一旦、フレームメモリに保存され、所定のフレームレートで解像度変換部１０２へ送られる。このように本実施形態では、画像処理装置１００が撮像装置である場合を例に挙げて説明する。以下の説明では、画像処理装置１００を必要に応じてカメラと称する。尚、魚眼レンズを備える画像取得部１０１を撮像装置として画像処理装置１００の外部に設けてもよい。このようにした場合、画像処理装置１００は、当該撮像装置から魚眼レンズを介して撮像された画像を取得する。

解像度変換部１０２は、画像取得部１０１で取得された画像を、画像解析用に低解像度の画像に変換したり、配信用に適した解像度の画像に変換したりする。また、解像度変換部１０２は、解像度の変換のみでなく、フレームレートの変換も必要により行う。
設置方向取得部１０３は、カメラの設置方向の情報を取得する。本実施形態では、設置方向取得部１０３は、カメラが天井に設置されているか、または、カメラが壁面（側面）に設置されているかという情報を、カメラの設置方向の情報の一例として取得する。カメラが天井に設置されている場合には、カメラの中心光軸は鉛直方向を向く。すなわち、カメラの中心光軸と、水平面（地面や天井面）とが垂直に交わる。また、カメラが壁面に設置されている場合には、カメラの中心光軸は垂直方向を向く。すなわち、カメラの中心光軸と、水平面（地面や天井面）とが平行になる。

このように本実施形態では簡単のため、カメラの設置を、天井または壁面に行う場合に限定する。しかしながら、カメラの設置方向は、このようなものに限定されない。カメラを壁面に対し角度をつけて設置する等、カメラを任意の方向に設置する場合であっても、本実施形態で説明する手法を適用することができる。

カメラの設置方向を取得する方法は限定されない。例えば、ユーザがカメラの設置方向を画像処理装置１００に対して手動で設定する方法や、画像取得部１０１で取得された画像からカメラの設置方向を画像処理装置１００が自動で取得する方法等、どのような方法でカメラの設置方向を取得してもよい。

図１に示す例では、画像取得部１０１で取得された画像からカメラの設置方向を画像処理装置１００が自動で取得できるように、解像度変換部１０２から設置方向取得部１０３に、解像度が変換された画像を出力できるようにしている。具体的に、解像度変換部１０２は、例えば、画像取得部１０１で最初に取得された画像に対し、歪み補正部１０５に出力する画像よりも低解像度に変換した画像を設置方向取得部１０３に出力する。設置方向取得部１０３は、解像度変換部１０２から出力された画像の特徴に基づいて、カメラの設置方向を判定する。画像の特徴としては、例えば、後述する図３、図４の左図に示す人体の配置が挙げられる。

このようにする場合、後述する認識処理部１０６における人体の検出処理を画像の全体の領域に対して行うのが好ましい。カメラの設置方向の判定は、１回行えばよい。従って、画像取得部１０１で最初に取得された画像から人体が検出され、カメラの設置方向の判定に成功した場合、画像取得部１０１で２回目以降に取得された画像については、解像度変換部１０２から設置方向取得部１０３に出力しなくてよい。最初に取得された画像から人体が検出されず、カメラの設置方向が取得できなかった場合、カメラの設置方向が取得できるまで、解像度変換部１０２から設置方向取得部１０３へ画像が出力されることになる。

尚、設置方向取得部１０３に出力する画像の解像度は、必ずしも、歪み補正部１０５に出力する画像よりも低解像度である必要はない。例えば、歪み補正部１０５に出力する画像と同じ解像度の画像を設置方向取得部１０３に出力してもよい。また、設置方向取得部１０３が取得する画像は、画像取得部１０１で最初に取得された画像に限定されない。また、ユーザがカメラの設置方向を画像処理装置１００に対して手動で設定する場合、設置方向取得部１０３は、解像度変換部１０２から画像を取得する必要はない。

人体検出優先領域決定部１０４は、カメラの設置方向に応じて、認識対象の一例である人体の検出処理を開始する領域を決定する。本実施形態の説明では、この領域を必要に応じて優先領域と称する。このように、本実施形態では、撮像された画像全体の端からラスタースキャンするのではなく、カメラの設置方向に応じた優先領域から人体の検出処理を開始する。本実施形態では、魚眼レンズを介して撮像される画像の特性から、カメラの設置方向別に決定された優先領域を、画像処理装置１００に事前に記憶しておく。人体検出優先領域決定部１０４は、カメラの設置方向と相互に関連付けられて記憶されている優先領域を、当該カメラの設置方向に応じた優先領域として決定する。

歪み補正部１０５は、解像度変換部１０２で解像度が変換された画像の全体の領域に対して、カメラの設置方向に適した歪み補正処理を行う。本実施形態では、カメラの設置方向別に決定された歪み補正処理の方法を、画像処理装置１００に事前に記憶しておく。そして、歪み補正部１０５は、解像度変換部１０２で解像度が変換された画像に対して、設置方向取得部１０３で取得されたカメラの設置方向に関連付けられて記憶されている方法の歪み補正処理を行う。

認識処理部１０６は、歪み補正部１０５で歪み補正処理が行われた後の画像の全体の領域のうち、人体検出優先領域決定部１０４で決定された優先領域から、人体の検出処理（認識処理）を実行する。認識処理部１０６は、例えば、画像の特徴量と、予め登録されている人体の特徴量とを比較することにより、人体の領域を抽出する等、公知の画像認識処理を利用して、人体の検出処理を行うことができる。
認識処理部１０６による人体の検出結果は、画像取得部１０１で取得された画像、あるいは、解像度変換部１０２で解像度が変換画像や歪み補正部１０５で歪みが補正された画像と共に、配信・記録部１０７により外部へ配信または録画装置等へ記録される。尚、配信と記録の双方を行ってもよい。
制御部１０８は、ＣＰＵ等によって構成され、画像処理装置１００全体を統括制御する。

図２は、画像のフレーム間隔、人体検出処理間隔および人体処理時間の関係の一例を示す図である。
画像のフレーム間隔２０１は、画像取得部１０１で取得される画像のフレーム間隔を示す。すなわち、図２に示す例では、画像取得部１０１は、このフレーム間隔で画像を取得する。

人体検出処理間隔２０２は、人体の検出処理の間隔を示す。図２に示す例では、３フレーム分のフレーム間隔２０１（３フレーム分の画像を取得するのに要する時間）で、１枚の画像上の人体の検出を実行する。図２に示す例では、認識処理部１０６は、この人体検出処理間隔２０２で人体の認識処理を行う。

人体検出処理時間２０３は、人体の検出処理に要する時間を示す。時間２０４、２０５、２０６は、人体の検出処理に要する時間の例である。時間２０４、２０５、２０６のように、人体の検出処理に要する時間は、画像の複雑具合や、人体の存在数により大幅に異なる。例えば、時間２０４のように、２フレーム分のフレーム間隔２０１で人体の検出処理が終了する場合がある一方、時間２０５のように、３フレーム分のフレーム間隔２０１でも人体の検出処理が終了しない場合もある。

そこで、画像処理システムを実時間で動作させるときには、次のようにする。すなわち、一定の人体検出処理間隔２０２（一定のフレーム間隔）で人体の検出処理が終了しない場合、その時点で人体の検出処理を打ち切り（時間２０５の中に示されている白と黒の境界線を参照）、次の人体の検出処理を開始する（時間２０６を参照）。そのため、本来、人体の検出処理を行うべき時間２０５の残りの時間２０７には、人体の検出処理の打ち切りのために、当該人体の検出処理は実行されない。したがって、この残りの時間２０７で検出されるべき人体は未検出となる。これは、人体の検出精度に影響を及ぼし、人体の検出精度が低下する原因となる。

人体の検出精度を保ち、さらに実時間の動作を可能にするためには、人体の検出処理期間の開始部分で人体を多く検出できれば、人体の検出処理の打ち切りがあっても、人体の検出精度をそれほど低下させることなく、実時間での処理が可能になる。そのため、本実施形態の画像処理装置では、人体をより多く検出できる優先領域を人体検出優先領域決定部１０４にて決定し、決定した優先領域から優先して人体の検出処理を行う。

人体検出優先領域決定部１０４は、人体をより多く検出できる領域を、魚眼レンズを介して撮像される画像の特性から決定する。魚眼レンズを介して撮像される画像では、カメラの設置方向により、人体が検出される領域が異なる。このような特徴を使い、それぞれの設置方向別に、人体の検出処理を優先的に処理する領域を決定することで、人体検出処理期間の開始部分でより多くの人体を検出することができる。

図３は、魚眼レンズを備えるカメラを天井に設置した場合の撮像画像と、当該撮像画像を展開した画像の一例を概念的に示す図である。また、図４は、魚眼レンズを備えるカメラを壁面（側壁）に設置した場合の撮像画像と、当該撮像画像を展開した画像の一例を概念的に示す図である。

まず、図３を参照しながら、カメラを天井に設置した場合の画像の展開処理と人体の認識処理の一例を説明する。
図３の左図（白抜き矢印線よりも左側の図）において、撮像画像３０１は、魚眼レンズを備えるカメラが出力する画像である。円環画像３０２は、魚眼レンズを備えるカメラにより撮像される画像である。円環画像３０２には、人体３０３ａ、３０４ａ、３０５ａが映し出されている。魚眼レンズを備えるカメラを天井に設置した場合、円環画像３０２の中心部３０６の内部では、人体は上からの撮影で頭部と肩部分が撮影されるので、人体として検出されにくい。そのため、カメラを天井に設置した場合、人体は、ほぼ、円環画像３０２の中心部３０６と円周部３０７の間の領域で検出される。

また、魚眼レンズを備えるカメラを天井に設置した場合、人体は、図３の左図に示す人体３０３ａ、３０４ａ、３０５ａのように、円環画像３０２上において、放射状に検出される特徴がある。図３の左図に示すように、カメラを天井に設置した場合には、円環画像３０２の中心部３０６と円周部３０７の間の領域で人体が検出されやすい。
したがって、人体検出優先領域決定部１０４は、例えば、この領域を、優先領域として決定する。また、前述したように、本実施形態では、歪み補正部１０５は、図３の左図に示す円環画像３０２の全ての領域に対して歪み補正処理を行う。具体的に、歪み補正部１０５は、図３の右図（白抜き矢印線よりも右側の図）のように、図３の左図に示す円環画像３０２の全ての領域をダブルパノラマ展開する。

このように図３の右図は、図３の左図に示す円環画像３０２をダブルパノラマ展開した画像である。人体３０３ｂ、３０４ｂ、３０５ｂは、それぞれ、人体３０３ａ、３０４ａ、３０５ａが展開されたものである。
認識処理部１０６は、このようにしてダブルパノラマ展開された画像に対して人体の検出処理を行う。このとき、認識処理部１０６は、ダブルパノラマ展開された画像の領域のうち、人体検出優先領域決定部１０４で決定された優先領域から、人体の検出処理を行う。このように、ダブルパノラマ展開された画像の領域に対し、優先領域をその他の領域よりも優先して人体の検出処理を行うことで、人体の検出処理の期間の開始部分でより多くの人体を検出することができる。その結果、人体の検出処理の打ち切りがあっても、人体の検出処理の精度を保つことが可能となる。

本実施形態では、展開方法を、円環画像３０２をダブルパノラマ展開とする場合を例に挙げて説明した。しかしながら、カメラを天井に設置した場合に適した展開方法であれば、その他の展開方法であっても構わない。
また、本実施形態では、円環画像３０２の全ての領域をダブルパノラマ展開する場合を例に挙げて説明した。このようにすれば、例えば、ダブルパノラマ展開された画像を、人体の検出処理以外の用途に使用することができる。しかしながら、例えば、ダブルパノラマ展開された画像を人体の検出処理だけに用いる場合には、円環画像３０２の領域のうち、人体検出優先領域決定部１０４で決定された優先領域のみをダブルパノラマ展開してもよい。このようにする場合、優先領域を示す情報は、人体検出優先領域決定部１０４から認識処理部１０６ではなく、歪み補正部１０５に出力される。また、ダブルパノラマ展開された画像の領域は優先領域のみであるので、認識処理部１０６は、当該画像の全体に対し、人体の検出処理を行う。さらに、当該人体の検出処理が終了しても、人体の検出処理が打ち切られない場合、例えば、円環画像３０２の領域のうち、その他の領域をダブルパノラマ展開し、当該ダブルパノラマ展開された画像に対し、人体の検出処理を行うことができる。

次に、図４を参照しながら、カメラを壁面（側壁）に設置した場合の画像の展開処理と人体の認識処理の一例を説明する。
図４の左図（白抜き矢印線よりも左側の図）において、撮像画像４０１は、魚眼レンズを備えるカメラが出力する画像である。円環画像４０２は、魚眼レンズを備えるカメラにより撮像される画像である。円環画像４０２には、人体４０３ａ、４０４ａ、４０５ａが映し出されている。魚眼レンズを備えるカメラを壁面に設置した場合、人体は、円環画像４０２の中央部４０６の内部で検出される。円環画像４０２の上部或いは下部の領域は、天井であったり床面であったりするため、この領域に人体が存在する可能性は低い。

このように、カメラを壁面に設置した場合には、円環画像４０２の中心部４０６の内部で人体が検出されやすい。したがって、人体検出優先領域決定部１０４は、例えば、この領域を、優先領域として決定する。また、前述したように、本実施形態では、歪み補正部１０５は、図３の左図に示す円環画像４０２の全ての領域に対して歪み補正処理を行う。具体的に、歪み補正部１０５は、図４の右図（白抜き矢印線よりも右側の図）のように、図４の左図に示す円環画像４０２の全ての領域をパノラマ展開する。

このように図４の右図は、図４の左図に示す円環画像４０２をパノラマ展開した画像である。人体４０３ｂ、４０４ｂ、４０５ｂは、それぞれ、人体４０３ａ、４０４ａ、４０５ａが展開されたものである。
認識処理部１０６は、このようにしてパノラマ展開された画像に対して人体の検出処理を行う。このとき、認識処理部１０６は、パノラマ展開された画像の領域のうち、人体検出優先領域決定部１０４で決定された優先領域から、人体の検出処理を行う。このように、パノラマ展開された画像の領域に対し、優先領域をその他の領域よりも優先して人体の検出処理を行うことで、人体の検出処理の期間の開始部分でより多くの人体を検出することができる。その結果、人体の検出処理の打ち切りがあっても、人体の検出処理の精度を保つことが可能となる。

本実施形態では、展開方法をパノラマ展開とする場合を例に挙げて説明した。しかしながら、カメラを壁面に設置した場合に適した展開方法であれば、その他の展開方法であっても構わない。
また、本実施形態では、円環画像４０２の全ての領域をパノラマ展開する場合を例に挙げて説明した。しかしながら、図３を参照しながら説明したのと同様に、例えば、円環画像４０２の領域のうち、人体検出優先領域決定部１０４で決定された優先領域のみをパノラマ展開してもよい。

次に、図５のフローチャートを参照しながら、前記の動作を実現するための本実施形態の画像処理装置１００の動作の一例を説明する。
まず、ステップＳ５０１において、画像取得部１０１は、魚眼レンズを介して撮像した画像を取得し、内部のフレームメモリに保存する。フレームメモリに保存された画像は、解像度変換部１０２へ送られる。

次に、ステップＳ５０２において、解像度変換部１０２は、画像取得部１０１で取得された画像を、後段の処理（配信または記録）に適した解像度およびフレームレートの画像に変換する。後段の処理に適した解像度およびフレームレートに変換された画像は、後段の設置方向取得部１０３、歪み補正部１０５、および配信・記録部１０７へ送られる。

次に、ステップＳ５０３において、設置方向取得部１０３は、カメラの設置方向の情報を取得する。前述したように本実施形態では、カメラの設置方向は、カメラが天井に設置されていることと、壁面に設置されていることと、の何れかになる。また、前述したように、カメラの設置方向は、撮像画像から自動で判断しても、ユーザにより事前に設定される情報から判断してもよい。取得されたカメラの設置方向の情報は、人体検出優先領域決定部１０４と歪み補正部１０５へ送られる。

次に、ステップＳ５０４において、人体検出優先領域決定部１０４は、カメラの設置方向の情報に基づいて、カメラが天井に設置されているか否かを判断する。この判断の結果、カメラが天井に設置されている場合、処理はステップＳ５０５に進む。一方、カメラが天井に設置されていない場合、すなわち、カメラが壁面に設置されている場合には、ステップＳ５０８へ処理が進む。

まず、ステップＳ５０５において、人体検出優先領域決定部１０４は、円環画像３０２の中心部３０６と円周部３０７の間の領域に優先領域を設定する（図３の左図を参照）。設定された優先領域を示す情報は、認識処理部１０６へ送られる。
次に、ステップＳ５０６において、歪み補正部１０５は、カメラが天井に設置されている場合の画像の歪み補正としてダブルパノラマ変換を円環画像３０２に対して行う（図３の右図を参照）。ダブルパノラマ変換された画像は認識処理部１０６へ送られる。

次に、ステップＳ５０７において、認識処理部１０６は、ステップＳ５０６でダブルパノラマ変換された画像の領域のうち、ステップＳ５０５で設定された優先領域から人体の検出処理を実行する。優先領域における人体の検出処理が終了しても、人体検出処理間隔２０２に対応する時間が経過していない場合、認識処理部１０６は、ステップＳ５０６でダブルパノラマ変換された画像のその他の領域に対して人体の検出処理を実行する。検出された結果は、配信・記録部１０７へ送られる。そして、後述するステップＳ５１０に進む。尚、優先領域やその他の領域に対する人体の検出処理は、例えば、ラスタースキャン順に行われる。

前述したように、ステップＳ５０４において、カメラが天井に設置されていない（カメラが壁面に設置されている）と判断された場合、処理はステップＳ５０８へ進む。ステップＳ５０８に進むと、人体検出優先領域決定部１０４は、円環画像４０２の中央部４０６に優先領域を設定する（図４の左図を参照）。設定された優先領域を示す情報は、認識処理部１０６へ送られる。

次に、ステップＳ５０９において、歪み補正部１０５は、カメラが壁面に設置されている場合の画像の歪み補正としてパノラマ変換を円環画像４０２に対して行う（図４の右図を参照）。パノラマ変換された画像は認識処理部１０６へ送られる。
そして、前述したようにステップＳ５０７に進み、認識処理部１０６は、ステップＳ５０９でパノラマ変換された画像の領域のうち、ステップＳ５０８で設定された優先領域から人体の検出処理を実行する。優先領域における人体の検出処理が終了しても、人体検出処理間隔２０２に対応する時間が経過していない場合、認識処理部１０６は、ステップＳ５０９でパノラマ変換された画像のその他の領域に対して人体の検出処理を実行する。検出された結果は、配信・記録部１０７へ送られる。そして、ステップＳ５１０に進む。尚、優先領域やその他の領域に対する人体の検出処理は、例えば、ラスタースキャン順に行われる。

ここで、前述した例では、優先領域における人体の検出処理が終了しても、人体検出処理間隔２０２に対応する時間が経過していない場合、その他の領域に対して人体の検出処理を行うようにした（ステップＳ５０７の説明を参照）。しかしながら、このような場合であっても、当該その他の領域における人体の検出処理を行わないようにしてもよい。

ステップＳ５１０に進むと、配信・記録部１０７は、認識処理部１０６において認識された結果と、解像度変換部１０２において配信または記録に適した解像度およびフレームレートに変換された画像とを、配信または記録する。そして、図５のフローチャートによる処理を終了する。

以上のように本実施形態では、カメラの設置方向に応じて、撮像される画像の領域のうち相対的に人体が多く検出される領域を優先領域として設定する。そして、設定した優先領域から、人体の検出処理を優先的に開始する。したがって、人体検出処理間隔２０２が短い実時間処理においても、検出精度を大きく落とすことなく効率的に人体を検出することが可能になる。

尚、本実施形態では、カメラの設置方向が、天井の設置または壁面の設置に限定した場合を例に挙げて説明した。しかしながら、カメラの設置方向は、これら２つの方向に限られない。任意のカメラの設置方向における画像上の特徴から、相対的に人体が多く検出される領域を決定し、決定した領域を当該設置方向に対応する優先領域として人体の検出処理を実行することが可能である。

また、本実施形態では、認識処理部１０６が人体の検出処理を行う場合を例に挙げて説明した。しかしながら、検出対象は人体に限定されない。例えば、検出処理により、個人を識別することができるようにしていればよく、例えば、顔の検出処理等であってもよい。

また、本実施形態では、優先領域を設定する場合を例に挙げて説明した。しかしながら、歪み補正を開始する位置を指定できるようにしていれば、必ずしもこのようにする必要はない。例えば、優先領域のうち、ラスタースキャン順で最初の画素を指定してもよい。

＜第２の実施形態＞
次に、第２の実施形態を説明する。
第１の実施形態では、人体の検出処理を開始する位置（優先領域）を、カメラの設置方向のみに応じて設定する場合を例に挙げて説明した。これに対し、本実施形態では、人体の検出処理を開始する位置（優先領域）を、カメラの設置方向と、動体検出結果とに応じて設定する。このように本実施形態と第１の実施形態とは、人体の検出処理を開始する位置（優先領域）を設定する方法の一部が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図５に付した符号と同一の符号を付す等して詳細な説明を省略する。

図６において、画像処理装置１００は、画像取得部１０１、設置方向取得部１０３、歪み補正部１０５、認識処理部１０６、配信・記録部１０７、解像度変換部６０１、動体検出部６０２、人体検出優先領域決定部６０３、および制御部６０４を有する。画像取得部１０１、設置方向取得部１０３、歪み補正部１０５、認識処理部１０６、および配信・記録部１０７は、図１に示したものと同じである。

解像度変換部６０１は、第１の実施形態の解像度変換部１０２と同様に、画像取得部１０１で取得された画像を、画像解析用に低解像度の画像に変換したり、配信用に適した解像度の画像に変換したりする。また、解像度変換部６０１は、解像度の変換のみでなく、フレームレートの変換も必要により行う。
第１の実施形態では、解像度変換部１０２は、例えば、設置方向取得部１０３においてカメラの設置方向が取得されるまでの画像についてのみ、解像度を変換した画像を設置方向取得部１０３に出力すればよい。これに対し、本実施形態の解像度変換部６０１は、例えば、画像取得部１０１で取得された各フレームの画像について、解像度を変換した画像を動体検出部６０２に出力する。後述する動体検出部６０２における動体の検出には、各フレームの画像が必要だからである。

また、解像度変換部６０１は、歪み補正部１０５に出力する画像よりも低解像度の画像を動体検出部６０２に出力する。第１の実施形態では、解像度変換部１０２から設置方向取得部１０３への画像の出力は、設置方向取得部１０３がカメラの設置方向を取得するまででよい。これに対し、本実施形態では、解像度変換部６０１から動体検出部６０２への画像は、毎フレーム出力される。したがって、低解像度の画像を動体検出部６０２に出力することによる処理時間の短縮効果は、第１の実施形態よりも第２の実施形態の方が大きい。ただし、処理時間を確保することができれば、動体検出部６０２に出力する画像の解像度を、必ずしも、歪み補正部１０５に出力する画像よりも低解像度にする必要はない。例えば、歪み補正部１０５に出力する画像と同じ解像度の画像を動体検出部６０２に出力してもよい。

動体検出部６０２は、解像度変換部６０１により解像度等が変換された画像上に存在する人等の動く物体を検出する。動く物体の検出は、例えば、背景差分法により行うことができる。ただし、動く物体の検出方法は、背景差分法に限定されない。例えば、動きベクトルを用いて動く物体を検出してもよい。

人体検出優先領域決定部６０３は、動体検出部６０２で得られた動体が存在する領域と、設置方向取得部１０３によって得られたカメラの設置方向に応じた領域とが重なる領域を設定する。本実施形態では、この重なる領域を必要に応じて優先領域と称する。ここで、設置方向取得部１０３によって得られたカメラの設置方向に応じた領域は、第１の実施形態で説明した優先領域（カメラの設置方向における画像上の特徴から定められる領域であって、相対的に人体が多く検出される領域）である。具体的に、当該領域は、図３の左図に示す例では、円環画像３０２の中心部３０６と円周部３０７の間の領域であり、図４の左図に示す例では、円環画像４０２の中央部４０６の領域である。
制御部６０４は、ＣＰＵ等によって構成され、画像処理装置６００全体を統括制御する。

次に、図７のフローチャートを参照しながら、本実施形態の画像処理装置６００の動作の一例を説明する。
まず、ステップＳ７０１において、画像取得部１０１は、魚眼レンズを介して撮像した画像を取得し、内部のフレームメモリに保存する。フレームメモリに保存された画像は、解像度変換部６０１に送られる。

次に、ステップＳ７０２において、解像度変換部６０１は、画像取得部１０１で取得された画像を、後段の処理（配信または記録）に適した解像度およびフレームレートの画像に変換する。後段の処理に適した解像度およびフレームレートに変換された画像は、動体検出部６０２、歪み補正部１０５、および配信・記録部１０７へ送られる。
次に、ステップＳ７０３において、動体検出部６０２は、解像度変換部６０１から出力された画像上の動体を検出する。検出された結果は、設置方向取得部１０３を経由し、人体検出優先領域決定部６０３へ送られる。

次に、ステップＳ７０４において、設置方向取得部１０３は、カメラの設置方向の情報を取得する。本実施形態でも第１の実施形態で説明した図５のフローチャートと同様に、カメラの設置方向が、カメラが天井に設置されていることと、壁面に設置されていることと、の何れかである場合を例に挙げて説明する。また、第１の実施形態で説明したように、設置方向取得部１０３は、カメラの設置方向を、撮像画像から自動で判断しても、ユーザにより事前に手動で設定される情報から判断してもよい。取得されたカメラの設置方向の情報は、人体検出優先領域決定部６０３と歪み補正部１０５へ送られる。

次に、ステップＳ７０５において、人体検出優先領域決定部６０３は、カメラの設置方向の情報に基づいて、カメラが天井に設置されているか否かを判断する。この判断の結果、カメラが天井に設置されている場合、処理はステップＳ７０６に進む。一方、カメラが天井に設置されていない場合、すなわち、カメラが壁面に設置されている場合には、ステップＳ７０９へ処理が進む。

まず、ステップＳ７０６において、人体検出優先領域決定部６０３は、動体の検出結果と、カメラの設置方向とに基づいて、優先領域を設定する。ここでは、カメラは天井に設置されていることから、図３に示す円環画像３０２の中心部３０６と円周部３０７の間の領域において人体が検出されやすい。したがって、人体検出優先領域決定部６０３は、動体の検出結果から、円環画像３０２の中心部３０６と円周部３０７の間の領域内に存在する動体の領域を、優先領域として設定する。設定された優先領域を示す情報は、認識処理部１０６へ送られる。

次に、ステップＳ７０７において、歪み補正部１０５は、カメラが天井に設置されている場合の画像の歪み補正としてダブルパノラマ変換を円環画像３０２に対して行う（図３の右図を参照）。ダブルパノラマ変換された画像は認識処理部１０６へ送られる。
次に、ステップＳ７０８において、認識処理部１０６は、ステップＳ７０７でダブルパノラマ変換された画像の領域のうち、ステップＳ７０６で設定された優先領域から人体の検出処理を実行する。優先領域における人体の検出処理が終了しても、人体検出処理間隔２０２に対応する時間が経過していない場合、認識処理部１０６は、ステップＳ７０７でダブルパノラマ変換された画像のその他の領域に対して人体の検出処理を実行する。検出された結果は、配信・記録部１０７へ送られる。そして、後述するステップＳ７１１に進む。尚、優先領域やその他の領域に対する人体の検出処理は、例えば、ラスタースキャン順に行われる。

前述したように、ステップＳ７０５において、カメラが天井に設置されていない（カメラが壁面に設置されている）と判断された場合、処理はステップＳ７０９へ進む。ステップＳ７０９に進むと、人体検出優先領域決定部６０３は、動体の検出結果と、カメラの設置方向とに基づいて、優先領域を設定する。ここでは、カメラは壁面に設置されていることから、図４に示す円環画像４０２の中央部４０６の内部の領域において人体が検出されやすい。したがって、人体検出優先領域決定部６０３は、動体検知の結果から、円環画像４０２の中央部４０６の領域内に存在する動体の領域を、優先領域として設定する。設定された優先領域を示す情報は、認識処理部１０６へ送られる。

次に、ステップＳ７１０において、歪み補正部１０５は、カメラが壁面に設置されている場合の画像の歪み補正としてパノラマ変換を円環画像４０２に対して行う（図４の右図を参照）。パノラマ変換された画像は認識処理部１０６へ送られる。そして、ステップＳ７０８に進む。

そして、前述したようにステップＳ７０８に進み、認識処理部１０６は、ステップＳ７１０でパノラマ変換された画像の領域のうち、ステップＳ７０９で設定された優先領域から人体の検出処理を実行する。優先領域における人体の検出処理が終了しても、人体検出処理間隔２０２に対応する時間が経過していない場合、認識処理部１０６は、ステップＳ７１０でパノラマ変換された画像のその他の領域に対して人体の検出処理を実行する。検出された結果は、配信・記録部１０７へ送られる。そして、ステップＳ７１１に進む。尚、優先領域やその他の領域に対する人体の検出処理は、例えば、ラスタースキャン順に行われる。

ステップＳ７１１に進むと、配信・記録部１０７は、認識処理部１０６において認識された結果と、解像度変換部６０１から出力された画像とを、配信または記録する。そして、図５のフローチャートによる処理を終了する。

以上のように本実施形態では、カメラの設置方向と画像における動体の検出結果とに基づいて、撮像される画像の領域のうち相対的に人体が多く検出される領域のうち、動体の領域を優先領域として設定する。そして、設定した優先領域から、人体の検出処理を優先的に開始する。したがって、動く動体をより優先的に検出することができる。したがって、人体検出処理間隔２０２が短い実時間処理においても、検出精度を大きく落とすことなくより効率的に人体を検出することが可能になる。

本実施形態においても第１の実施形態で説明した種々の変形例を採用することができる。例えば、カメラの設置方向は、前述した２つの方向に限られない。本実施形態でも、任意のカメラの設置方向における画像上の特徴から、相対的に人体が多く検出される領域を特定し、特定した領域のうち動体の領域を、当該設置方向に対応する優先領域として人体の検出処理を実行することが可能である。

また、検出対象は人体に限定されない。例えば、検出処理により、個人を識別することができるようにしていればよく、例えば、顔の検出処理等であってもよい。
その他、解像度変換部６０１で解像度等が変換された画像の領域のうち、優先領域に対して歪み補正を行い、当該歪み補正を行った画像に対して人体の検出処理を行うようにしてもよい。また、歪み補正を開始する位置を指定できるようにしていれば、優先領域（そのもの）を設定しなくてもよい。

図８は、前述した第１、第２の実施形態の画像処理装置１００、６００のハードウェアの構成の一例を示す図である。
画像処理装置は、魚眼レンズ８０１、撮像素子８０２、Ａ／Ｄ変換回路８０３、画像処理回路８０４、フレームメモリ８０５、ＣＰＵ８０６、記憶媒体８０７および通信装置８０８を有する。

魚眼レンズ８０１を通過した光は、撮像素子８０２の撮像面上に結像する。Ａ／Ｄ変換回路８０３は、撮像素子８０２から送られてきたアナログ信号をデジタル信号（画像信号）に変換する。画像処理回路８０４は、Ａ／Ｄ変換回路８０３から画像信号を読み出してフレームメモリ８０５に保存し、所定のフレームレートで各種の信号処理を行う。記憶媒体８０７は、例えば、ＲＯＭ、ＲＡＭおよびＨＤＤ等を備える。記憶媒体８０７は、前述した図５、図７のフローチャート等を実行するプログラムを記憶する。記憶媒体８０７は、その他、前述した各実施形態の処理で必要な各種の情報を記憶する。ＣＰＵ８０６は、記憶媒体８０７に記憶されたプログラムを実行して、前述した各実施形態の処理を行う。その他、ＣＰＵ８０６は、画像処理装置全体を統括制御するための処理を行う。通信装置８０８は、外部装置との通信を行うためのものである。入出力装置８０９は、ユーザインターフェースであり、各種の操作部を備える。また、入出力装置８０９は、ディスプレイを備えていてもよい。

＜その他の実施形態＞
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良い。また、一つの機器からなる装置に適用しても良い。

また、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０３：設置方向取得部、１０４、６０３：人体検出優先領域決定部、１０５：歪み補正部、１０６：認識処理部、６０２：動体検出部

Claims (9)

1. 魚眼レンズを備える撮像装置の設置方向に応じて、当該撮像装置で撮像された画像の歪みを補正する補正手段と、
   前記補正手段により歪みが補正された画像に対して所定の認識対象の認識処理を行う認識手段と、
   前記魚眼レンズを備える撮像装置の設置方向に応じて、前記認識対象の認識処理を開始する位置を決定する決定手段と、を有し、
   前記認識手段は、前記決定手段により決定された位置から、前記認識処理を開始することを特徴とする画像処理装置。
2. 前記魚眼レンズを備える撮像装置で撮像された画像に含まれる動体を検出する検出手段を更に有し、
   前記決定手段は、前記魚眼レンズを備える撮像装置の設置方向と、前記検出手段により検出された動体の位置と、に応じて、前記認識対象の認識処理を開始する位置を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記魚眼レンズを備える撮像装置で撮像された画像の領域のうち、前記認識対象の認識処理を優先的に行う領域を決定し、
   前記認識手段は、前記決定手段により決定された領域に対し、前記画像のその他の領域よりも優先して前記認識処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正手段は、前記魚眼レンズを備える撮像装置で撮像された画像の全体の領域を補正し、
   前記認識手段は、前記補正手段により歪みが補正された後の前記画像の全体の領域のうち、前記決定手段により決定された領域に対し、当該歪みが補正された後の画像のその他の領域よりも優先して前記認識処理を行うことを特徴とする請求項３に記載の画像処理装置。
5. 前記魚眼レンズを備える撮像装置の設置方向の情報を取得する取得手段を更に有することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記認識対象は、人体または顔であることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 前記魚眼レンズを備える撮像装置の設置方向は、前記撮像装置の中心光軸と水平面とが垂直に交わる方向である鉛直方向と、前記撮像装置の中心光軸と水平面とが平行になる方向である垂直方向との何れかであることを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 魚眼レンズを備える撮像装置の設置方向に応じて、当該撮像装置で撮像された画像の歪みを補正する補正工程と、
   前記補正工程により歪みが補正された画像に対して所定の認識対象の認識処理を行う認識工程と、
   前記魚眼レンズを備える撮像装置の設置方向に応じて、前記認識対象の認識処理を開始する領域を決定する決定工程と、を有し、
   前記認識工程は、前記決定工程により決定された領域から、前記認識処理を開始することを特徴とする画像処理方法。
9. 請求項１〜７の何れか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

Images