JP2020086844A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】 本発明によれば、魚眼画像から所定の物体を検出する処理において、検出する精度の低下を抑制することができる。【解決手段】 検知手段は、魚眼レンズを介して撮像された撮像画像に含まれる動体を検知する。画像処理手段は、検知手段により検知された動体の位置に基づいて、検知されたときの状態よりも相対的に動体が正立する状態に近づくように、撮像画像における中心位置を軸として、撮像画像を回転させる。検出手段は、画像処理手段により回転された撮像画像における動体に対応する検出領域を対象として特定の物体を検出する。【選択図】 図３

Description

本発明は、画像処理技術に関する。

近年、ネットワークカメラの種類が多様化する中で、魚眼レンズを用いたネットワークカメラ（以下、魚眼カメラ）が普及し始めている。

一般に、天井に設置される魚眼カメラが撮像した魚眼画像において、魚眼画像中に映る人物の足は魚眼画像の中心方向、人物の頭は魚眼画像の円周方向に向くように映る。そのため、魚眼画像中において、人物が正立した状態を想定した照合パターン（辞書）を用いて、魚眼画像から人物を検出する検出処理を実行する場合、魚眼画像のうち一部の領域に映る人物しか検出することができない。

この課題を解決するために、特許文献１では、魚眼画像を回転させて、物体の認識を行うという方法が開示されている。

特開２０１２−２３０５４６号公報

しかしながら、特許文献１では、魚眼画像を所定の角度毎に一律に回転させており、魚眼画像における物体が適切な場所に位置しないことがあるため、魚眼画像から人物を検出する精度が低下することがあった。

そこで本発明は、魚眼画像から所定の物体を検出する処理において、検出する精度の低下を抑制することを目的としている。

上記課題を解決するために、例えば、本発明に係る画像処理装置は以下の構成を有する。すなわち、魚眼レンズを介して撮像された撮像画像に含まれる動体を検知する検知手段と、前記検知手段により検知された動体の位置に基づいて、検知されたときの状態よりも相対的に前記動体が正立する状態に近づくように、前記撮像画像における中心位置を軸として、前記撮像画像を回転させる画像処理手段と、前記画像処理手段により回転された前記撮像画像における前記動体に対応する検出領域を対象として特定の物体を検出する検出手段と、を有する。

本発明によれば、魚眼画像から所定の物体を検出する処理において、検出する精度の低下を抑制することができる。

システム構成を示す図である。 画像処理装置の機能ブロックを示す図である。 魚眼画像から特定の物体を検出する処理のフローチャートである。 魚眼画像から特定の物体を検出する処理を説明するための図である。 魚眼画像から特定の物体を検出する処理の結果を示すテーブルである。 検出領域を決定する処理のフローチャートである。 検出領域を決定する処理を説明するための図である。 魚眼画像から特定の物体を検出する処理のフローチャートである。 魚眼画像から特定の物体を検出する処理を説明するための図である。 検出領域を決定する処理のフローチャートである。 検出領域を決定する処理を説明するための図である。 背景画像を生成する処理のフローチャートである。 背景画像を生成する処理を説明するための図である。 各装置のハードウェア構成を示す図である。

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、画像処理装置１００、撮像装置１１０、記録装置１２０、およびディスプレイ１３０を有している。

画像処理装置１００、撮像装置１１０、および記録装置１２０は、ネットワーク１４０を介して相互に接続されている。ネットワーク１４０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

なお、ネットワーク１４０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

画像処理装置１００は、魚眼レンズを介して撮像された画像である魚眼画像から人物を検出する処理を行う。なお、画像処理装置１００が行う魚眼画像から人物を検出する処理についての詳しい説明は後述する。なお、画像処理装置１００は、例えば、後述する画像処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。

撮像装置１１０は、魚眼レンズを介して画像（撮像画像）を撮像する装置である。なお、以降の説明において、撮像装置１１０が魚眼レンズを介して撮像した画像は魚眼画像とする。撮像装置１１０は、撮像した魚眼画像に基づく画像データと、撮像装置１１０を識別する情報である識別情報と、魚眼画像を撮像した時刻に関する情報と、を関連付けて、ネットワーク１４０を介して、画像処理装置１００や記録装置１２０へ送信する。なお、本実施形態に係るシステムにおいて、撮像装置１１０は１つとするが、複数であってもよい。

記録装置１２０は、撮像装置１１０が撮像した魚眼画像の画像データと、撮像装置１１０を識別する識別情報とを関連付けて記録する。そして、画像処理装置１００からの要求に従って、記録装置１２０は、記録したデータ（魚眼画像、識別情報など）を画像処理装置１００へ送信する。

ディスプレイ１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されている。また、ディスプレイ１３０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して画像処理装置１００と接続されている。

また、ディスプレイ１３０は、表示手段として機能し、撮像装置１１０が撮像した魚眼画像や、後述する画像処理に係る設定画面等を表示する。なお、ディスプレイ１３０、画像処理装置１００、および記録装置１２０の少なくともいずれか２つ又は全ては、単一の筐体に設けられてもよい。

次に、図２に示す本実施形態に係る画像処理装置１００の機能ブロックを参照して、本実施形態に係る画像処理装置１００の画像処理について説明する。

なお、図２に示す各機能は、本実施形態の場合、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４２０とＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４００とを用いて、次のようにして実現されるものとする。図２に示す各機能は、画像処理装置１００のＲＯＭ１４２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ１４００が実行することにより実現される。

通信部２００は、図１２を参照して後述するＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１４４０によって実現でき、ネットワーク１４０を介して、撮像装置１１０や記録装置１２０と通信を行う。通信部２００は、例えば、撮像装置１１０が撮像した魚眼画像の画像データを受信したり、撮像装置１１０を制御するための制御コマンドを撮像装置１１０へ送信したりする。なお、制御コマンドは、例えば、撮像装置１１０に対して魚眼画像を撮像するよう指示を行うコマンドなどを含む。

記憶部２０１は、図１４を参照して後述するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４１０やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４３０等によって実現でき、画像処理装置１００による画像処理に関わる情報やデータを記憶する。例えば、記憶部２０１は、魚眼画像から検知された動体や魚眼画像から検出された特定の物体の位置やサイズに関する情報を記憶する。

表示制御部２０２は、撮像装置１１０が撮像した魚眼画像や、本実施形態に係る画像処理に関する設定を行う設定画面、画像処理の結果を示す情報などをディスプレイ１３０に表示させる。

操作受付部２０３は、キーボードやマウス等の入力装置（不図示）を介して、ユーザが行った操作を受け付ける。設定部２０４は、画像処理装置１００による画像処理に関する設定を行う。

検知部２０５は、魚眼画像に含まれる動体を検知する。なお、検知部２０５は、公知の技術を用いて、魚眼画像に含まれる動体を検知する。本実施形態における検知部２０５は、背景画像を生成し、背景差分処理を行うことで、動体（前景）を検知するものとするが、前フレームと現在のフレームとのフレーム間差分処理を行って、動体を検知してもよい。

決定部２０６は、検知部２０５により検知された動体の位置に基づいて、当該動体に対応する領域である検出領域を決定する。また、決定部２０６は、後述する検出部２０８により検出された特定の物体の位置に基づいて、当該特定の物体に対応する領域である検出領域を決定する。決定部２０６により検出領域を決定する処理についての詳しい説明は後述する。

処理部２０７は、検知部２０５により検知された動体の位置に基づいて、魚眼画像における中心位置を軸として、検知された時の状態よりも相対的に当該動体が正立する状態に近づくように魚眼画像を回転させる。なお、動体が正立する状態に近づくように魚眼画像を回転させることは、魚眼画像の中心位置を軸とし、当該動体が完全に正立する状態になるように魚眼画像を回転させることも含む。

また処理部２０７は、現在のフレームより前に撮像された魚眼画像から検出部２０８により検出された特定の物体の位置に基づき、魚眼画像の中心位置を軸とし、検出された時の状態より相対的に当該特定の物体が正立する状態に近づくよう魚眼画像を回転させる。なお、特定の物体が正立する状態に近づくよう魚眼画像を回転させることは、魚眼画像の中心位置を軸とし、当該特定の物体が完全に正立する状態になるように魚眼画像を回転させることも含む。

検出部２０８は、画像における人物を検出する検出処理を実行する。本実施形態における検出部２０８は、照合パターン（辞書）を使用して、パターンマッチング等を行うことにより画像に含まれる人物を検出する検出処理を行う。なお、本実施形態における検出部２０８は、魚眼画像において人物がおおよそ正立した状態に位置する照合パターン（辞書）を用いるものとする。

次に図３に示すフローを参照して、画像処理装置１００が実行する画像処理について更に詳細に説明する。なお、図３に示す画像処理を実行することで、魚眼画像に含まれる特定の物体を検出することができる。なお、以降の説明において、特定の物体は人物とするが、車両や動物などでもよい。

なお、図３に示すフローチャートの処理は、ユーザによる操作に従って開始または終了するものとする。なお、図３に示すフローチャートの処理は、画像処理装置１００のＲＯＭ１４２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ１４００が実行して実現される図２に示す各機能ブロックにより実行されるものとする。

まず、ステップＳ３００にて、通信部２００は、撮像装置１１０が撮像した魚眼画像を取得する。図４（ａ）は、ステップＳ３００にて、通信部２００が取得する魚眼画像の一例を示す図である。図４（ａ）において、画像４０１は、撮像装置１０１が撮像する範囲（以下、撮像範囲）である魚眼画像４０２を含む。魚眼画像４０２には、人物４０３ａおよび人物４０４ａが存在している。なお、図４（ａ）に示す例において、人物４０３ａは前のフレームの魚眼画像と比較して移動しており、人物４０４ａは前のフレームの魚眼画像と比較して静止しているものとする。なお、本実施形態において、画像４０１における魚眼画像４０２以外の範囲は撮像範囲ではないため、動体の検知、人物の検出、および画像の回転の対象外とする。

次に、ステップＳ３０１にて、処理部２０７は、背景画像を生成する生成処理を実行する。ここで図１２および図１３を参照して、本実施計形態における処理部２０７の背景画像を生成する処理について説明する。図１２は、処理部２０７による背景画像を生成する処理の流れを示すフローチャートである。また、図１３は、背景画像を生成する処理を説明するための図である。なお、図１２に示すフローチャートの処理は、画像処理装置１００のＲＯＭ１４２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ１４００が実行して実現される図２に示す各機能ブロックにより実行されるものとする。

図１２に示すＳ１２０１にて、処理部２０７は、現在注目している最新の魚眼画像より前に撮像された直近のＮフレーム分の魚眼画像を取得する。本実施形態の場合、処理部２０７は、直近の５フレーム分の魚眼画像を取得するものとする。次に、Ｓ１２０２にて、処理部２０７は、Ｓ１２０１にて取得したＮフレーム分の魚眼画像の各画素値の平均値を求めることで背景画像を生成する。本実施形態の場合、処理部２０７は、直近の５フレーム分の魚眼画像から背景画像を生成する。例えば、図１３に示すように、処理部２０７は、直近の５フレーム分のフレームであるフレーム１〜フレーム５の魚眼画像から背景画像を生成する。

以上説明したように、本実施形態における処理部２０７は、直近のＮフレーム分の魚眼画像を用いて背景画像を生成するものとする。なお、処理部２０７が行う背景画像を生成する処理は、その他の公知の技術を用いてもよい。なお、Ｓ３０１にて、処理部２０７は、背景画像を生成するものとしたが、例えば、Ｓ３０１にて、処理部２０７は、予め設定された背景画像を取得するようにしてもよい。この場合、例えば、動体が全くいない状態の魚眼画像をユーザは背景画像として予め設定するものとする。

次に、Ｓ３０２にて、検知部２０５は、背景差分処理により魚眼画像に含まれる動体を検知する。図４（ａ）に示す場合、人物４０３ａを動体として検知する。一方、静止している人物４０４ａに対して動体として検知されないものとする。

次に、Ｓ３０３にて、処理部２０７は、記憶部２０１に記憶された人物の検出処理の結果の情報が格納されたテーブルを参照し、現在注目しているフレームよりひとつ前のフレームの魚眼画像において検出された人物（以下、検出人物）の情報を取得する。ここで図５に示すテーブルを参照して、Ｓ３０３における処理部２０７の処理について説明する。図５は、図３に示す処理によって、検出された人物に関する情報が格納されたデータ構造の一例を示す図である。テーブル５００は、検出部２０８により魚眼画像から検出された人物に関する情報を格納したデータ構造である。フレーム番号５０１は、通信部２００が取得する魚眼画像の各々を識別する識別情報である。人数５０２は、魚眼画像から検出された人物の数を示す情報である。位置情報５０３は、魚眼画像から検出された人物の位置を示す情報である。Ｓ３０３にて、処理部２０７は、テーブル５００を参照して、検出人物の情報を取得する。例えば、現在注目している魚眼画像のフレーム番号５０１が“５”である場合、ひとつ前のフレームの魚眼画像であるフレーム番号５０１が“４”において検出された人物の情報を取得する。

なお、本実施形態において、人物の位置は、画像４０１の左上の端点を原点としたときの、検出された人物の領域における中心点のｘ座標とｙ座標とである。なお、他の実施形態として、画像４０１の中心を原点としてもよく、位置を示す座標情報の形態は問わない。

次に、Ｓ３０２にて検知部２０５により動体が検知されている場合、または、Ｓ３０３にて、検出人物の情報が取得されている場合（Ｓ３０４にてＹｅｓ）、Ｓ３０５へ遷移する。一方、Ｓ３０２にて検知部２０５により動体が検知されていない場合、かつ、Ｓ３０３にて、検出人物の情報が取得されていない（Ｓ３０４にてＮｏ）、Ｓ３００へ戻る。そして、Ｓ３００にて、通信部２００は、次のフレームである魚眼画像を取得する。なお、図４（ａ）に示す例において、人物４０３ａは動体として検知され、人物４０４ａは一つ前のフレームの魚眼画像にて検出部２０８により検出された人物であるとする。そのため。図４（ａ）に示す例において、Ｓ３０４では、Ｓ３０５へ遷移する。

次に、Ｓ３０５にて、決定部２０６は、検知部２０５により検知された動体、または、一つ前のフレームで検出部２０８により検出された特定の物体の位置に基づいて、当該動体または当該特定の物体に対応する領域である検出領域を決定する決定処理を行う。ここで、図６および図７を参照して、Ｓ３０５における決定部２０６による決定処理について更に詳細に説明する。

図６は、決定部２０６の検出領域を決定する決定処理の流れを示すフローチャートである。なお、図６に示すフローチャートの処理は、画像処理装置１００のＲＯＭ１４２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ１４００が実行して実現される図２に示す各機能ブロックにより実行されるものとする。また、図７は、決定部２０６の検出領域を決定する決定処理を説明するための図である。

図６に示すフローにおいて、まずＳ６０１にて、魚眼画像に含まれる動体および前フレームで検出された人物のうち、検出領域の決定処理における処理対象を決定する。図４（ａ）に示す例において、動体として検出された人物４０３ａ、および、一つ前のフレームで検出された人物（検出人物）である人物４０４ａのうち、いずれかを処理対象として決定する。本実施形態において、魚眼画像の中心点により近い対象領域（動体、または、検出人物の領域）を処理対象として決定する。なお、図４（ｅ）に示すように、魚眼画像の中心点（Ｏ）を通る水平方向に伸びたｘ軸を定義したとき、決定部２０６は、ｘ軸から、対象領域の中心の位置と中心点とを結んだ線分までの角度が小さい順から処理対象を決定してもよい。以下の説明において人物４０３ａが処理対象として決定されているものとする。

次に、Ｓ６０２にて、決定部２０６は、魚眼画像の中心と円周上の一点を結ぶ線分であって、処理対象とする動体または検出人物の領域（以下、対象領域）に接する線分の一部の線分を第１基準線として決定する。このとき、人物４０３ａに対して決定部２０６により決定された第１基準線が図７に示す線分７０１である。なお、線分７０１の長さは、魚眼画像の中心と、対象領域の中心とを結ぶ方向において、当該対象領域の下端から上端までの長さであるものとする。

次にＳ６０３にて、決定部２０６は、魚眼画像の中心と円周上の一点を結ぶ線分であって、第１基準線を延長した直線となす角度が閾値以内、かつ、処理対象とする対象領域に接する線分の一部の線分を第２基準線として決定する。このとき、動体４０３ａに対して決定部２０６により決定された第２基準線が図７に示す線分７０２である。なお、ここでの閾値は、検出部２０８が検出可能な角度の範囲である。

ここで、検出部２０８による検出処理において検出可能な角度の範囲について説明する。本実施形態における検出部２０８は、照合パターン（辞書）を用いて、魚眼画像から人物を検出する。このとき、検出部２０８は、魚眼画像において、おおよそ正立した状態の人物の照合パターンを用いて、人物の検出を行う。図４（ｅ）に示す検出可能角度４４０は、角度４３２と角度４３１との差分の角度であり、本実施形態における検出部２０８が検出可能な角度の範囲を示している。

なお、図４（ｅ）に示す角度４３１の半径４４１と角度４３２の半径４４２とで挟まれる領域である検出可能領域４５０における人物はおおよそ正立した状態で魚眼画像に映る。検出部２０８は、検出可能領域４５０に位置する場合の人物の照合パターンを保持しているものとする。つまり、検出部２０８の検出処理にて用いる照合パターンとして、魚眼画像における３６０度の全方位に人物が位置する場合のパターンではなく、領域４５０に人物が位置する場合のパターンとする。このように、照合パターンの数を制限することで、検出処理における処理負荷を低減させたり、３６０度全方向に人物が位置する場合のパターンを用意する必要をなくしたりすることができる。

そして、Ｓ６０３にて、決定部２０６は、第１基準線を延長した直線と、第２基準線を延長した直線とでなす角度が、検出可能角度４４０に収まるよう第２基準線を決定する。なお、線分７０２の長さは、魚眼画像の中心と、処理対象とする対象領域の中心とを結ぶ方向において、当該対象領域の下端から上端までの長さであるものとする。

次に、Ｓ６０４にて、決定部２０６は、第１基準線および第２基準線に基づき、検出領域を決定する。具体的には、決定部２０６は、線分７０１の円周側の端点と、線分７０２の円周側の端点と、を結ぶ線分を決定する。このとき、人物４０３ａに対して決定部２０６により決定された線分が図７に示す線分７０３である。さらに、決定部２０６は、線分７０１において魚眼画像の中心側の端点と、線分７０２において魚眼画像の中心側の端点と、を結ぶ線分を決定する。このとき、人物４０３ａに対して決定部２０６により決定された線分が図７に示す線分７０４である。以上のように、決定部２０６は、処理対象とする対象領域に対し決定された第１基準線および第２基準線により囲われる領域を検出領域として決定する。

次に、魚眼画像において全ての対象領域（動体または検出人物）を処理対象として決定していれば（ステップＳ６０５にてＹｅｓ）、検出領域の決定処理を終了する。一方、魚眼画像において全ての対象領域を処理対象として決定していなければ（ステップＳ６０５にてＮｏ）、Ｓ６０１に戻る。そして、決定部２０６は、処理対象として決定していない対象領域（動体または検出人物）のうち、検出領域の決定処理の処理対象を決定する。なお、図４（ｂ）に示すように、図６に示す処理を経て人物４０３ａに対し決定された検出領域は検出領域４０３ｂであり、人物４０４ｂに対し決定された検出領域は検出領域４０４ｂである。

なお、本実施形態において、対象領域の各々に対して決定部２０６は検出領域を決定したが、例えば、決定部２０６は、複数の対象領域を含むように検出領域を決定してもよい。なおこのとき、決定部２０６は、複数の対象領域を挟むように第１基準線と第２基準線とを決定した場合、第１基準線を延長した直線と第２基準線を延長した直線とでなす角度が検出可能角度４４０以内であれば、複数の対象領域を含むように検出領域を決定する。

なお、本実施形態においては４点の座標情報を使用した四角形を検出領域としたが、他の実施形態として、起点となる座標と幅・高さとを用いた矩形でもよいし、多角形や扇形であってもよい。

ここで、図３に示す処理の説明に戻る。図３に示すＳ３０６にて、決定部２０６は、現在の魚眼画像において、処理対象としていない検出領域のうち、１つの検出領域を処理対象として決定する。

次に、Ｓ３０７にて、処理部２０７は、検知部２０５により検知された動体または検出人物の位置に基づいて、魚眼画像における中心位置を軸として、当該動体または当該検出人物が正立する状態に近づくように魚眼画像を回転させる。本実施形態におけるＳ３０７では、処理部２０７は、魚眼画像における中心位置を軸として、処理対象としている検出領域に含まれる動体または検出人物が正立する状態に近づくように魚眼画像を回転させる。言い換えれば、処理部２０７は、魚眼画像における中心位置を軸として、処理対象としている検出領域に含まれる動体または検出人物が検出可能領域４５０に含まれるよう魚眼画像を回転させる。なお、処理部２０７は、検知部２０５により検知された動体または検出人物の位置に基づいて、魚眼画像における中心位置を軸として、当該動体または当該検出人物が完全に正立するように魚眼画像を回転させてもよい。言い換えれば、処理部２０７は、図４（ｅ）に示すように、魚眼画像４０２に対して水平方向にｘ軸、垂直方向にｙ軸を定義したとき、次のような処理を行う。処理部２０７は、動体または検出人物の位置に基づき、魚眼画像における中心位置を軸とし、当該動体または当該検出人物の中心位置がｙ軸上に位置するよう魚眼画像を回転させる。

例えば、処理対象としている検出領域が検出領域４０３ｂである場合を想定する。このとき、処理部２０７により、検出領域４０３ｂに対応する動体（人物４０３ａ）が正立する状態に近づくように回転された魚眼画像が図４（ｃ）に示す魚眼画像４０２ｃである。また、処理対象としている検出領域が検出領域４０４ｂである場合、Ｓ３０７にて、処理部２０７により、検出領域４０４ｂに対応する検出人物（人物４０４ａ）が正立する状態に近づくように回転された魚眼画像が図４（ｄ）に示す魚眼画像４０２ｄである。

次に、Ｓ３０８にて、検出部２０８は、処理部２０７により回転された魚眼画像において、処理対象としている検出領域を対象として特定の物体である人物を検出する。例えば、処理対象としている検出領域が領域４０３ｂである場合、領域４０３ｂに含まれる動体（人物４０３ａ）に基づき、処理部２０７により回転された魚眼画像である魚眼画像４０２ｃにおける検出領域４０３ｂを対象に、検出部２０８は、人物を検出する。なお、Ｓ３０８にて検出された人物の位置およびサイズの情報はテーブル５００に格納されるものとする。

次に、Ｓ３０９にて、現在の魚眼画像において全ての検出領域を処理対象としていれば（Ｓ３０９にてＹｅｓ）、ステップＳ３１０へ遷移する。一方、現在の魚眼画像において全ての検出領域を処理対象としていなければ（Ｓ３０９にてＮｏ）、ステップＳ３０６へ戻り、決定部２０６は、処理対象としていない検出領域のうち一つの検出領域を処理対象として決定する。そして、処理対象とする検出領域に対し、３０７およびＳ３０８の処理を繰り返す。

次に、Ｓ３１０にて、処理部２０７は、魚眼画像から検出された人物の数を計数する。このとき処理部２０７により計数された人物の数を示す情報は、テーブル５００に格納される。

次に、魚眼画像から人物を検出する処理を継続する場合（Ｓ３１１にてＮｏ）、ステップＳ３００に戻り、通信部２００は次のフレームである魚眼画像を取得する。魚眼画像から人物を検出する処理を継続しない場合（Ｓ３１１にてＹｅｓ）、処理を終了する。

以上説明したように、本実施形態における画像処理装置１００は、魚眼画像から検知された動体または検出人物の位置に基づき、魚眼画像を回転させて、当該動体または検出人物に対応する領域に対し人物の検出を行う。このようにすることで、魚眼画像から所定の物体を検出する処理において、魚眼画像における物体を適切な場所に位置させることができるため、検出する精度の低下を抑制することができる。

（実施形態２）
実施形態１では、魚眼画像が示す領域の全体を対象に検知部２０５により動体検知が実行された。実施形態２では、現在注目しているフレームの魚眼画像より前に撮像された魚眼画像から検出された人物がいなかった場合に、動体検知を実行する領域を制限する。具体的には、魚眼レンズを用いた撮像装置１１０を天井に設置する場合、人物は魚眼画像の円周側から侵入する特徴を利用して、人物が最初に現れると予想される魚眼画像の円周付近に動体検知を実行する領域を制限する。このようにすることで、画像処理を行う処理負荷の増大を抑制することができる。

以下、図８および図９を参照して、本実施形態における画像処理装置１００の画像処理について説明する。なお、図８に示す画像処理を実行することで、魚眼画像における動体を検知する領域を制限し、検知された動体の位置に基づいて、魚眼画像に含まれる特定の物体を検出することができる。

なお、図８に示すフローチャートの処理は、ユーザによる操作に従って開始または終了するものとする。なお、図８に示すフローチャートの処理は、画像処理装置１００のＲＯＭ１４２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ１４００が実行して実現される図２に示す各機能ブロックにより実行されるものとする。

図８に示すＳ３００〜３１１の処理は、実施形態１において図３を参照して説明した内容と同様であるため、説明を省略する。

Ｓ８０１にて、現在処理の対象としている最新の魚眼画像の前のフレームにおいて人物が検出されていると決定部２０６により判定された場合（Ｓ８０１にてＹｅｓ）、Ｓ３０３へ遷移する。一方、Ｓ８０１にて、現在処理の対象としている最新の魚眼画像の前のフレームにおいて人物が検出されていないと決定部２０６により判定された場合（Ｓ８０１にてＮｏ）、Ｓ８０２へ遷移する。例えば、Ｓ８０１にて、図５に示すように現在の魚眼画像のフレーム番号５０１が“３“である場合、決定部２０６は、ひとつ前のフレームであるフレーム番号５０１が”２“の魚眼画像において人物が検出されたかを判定する。図５に示す例の場合、フレーム番号５０１が”２“の魚眼画像において人物は検出されていないため（Ｓ８０１にてＮｏ）、Ｓ８０２へ遷移する。

Ｓ８０２にて、検知部２０５は、魚眼画像の円周付近に設定された動体検知を行う対象である検知領域に対し動体を検知する。図９に示す領域９０１は、魚眼画像４０２に対し予め設定された検知領域である。なお、領域９０１は、魚眼画像４０２が示す円の領域から、魚眼画像４０２と同じ中心点の円であって、魚眼画像４０２の半径より所定の割合小さい半径の円が示す領域を差し引いた領域である。領域９０１は、操作受付部２０３が受け付けたユーザによる操作に基づき、設定部２０４によって設定されてもよい。また、設定部２０４は、撮像装置１１０の設置状態に基づき、検知領域を自動で設定するようにしてもよい。具体的には、決定部２０６は、天井に設置された撮像装置１１０から地面までの距離を特定し、設定部２０４は、特定された撮像装置１１０から地面までの距離に基づき、検知領域を自動で設定するようにしてもよい。

以上説明したように、実施形態２によれば、現在のフレームである魚眼画像より前に撮像された魚眼画像における人物の検出結果に基づき、動体検知を行う対象の領域を制限することで、処理負荷の抑制をすることができる。

（実施形態３）
実施形態１では対象領域（動体または検出人物の領域）を挟むように第１基準線と第２基準線とが決定された。このとき、実施形態１では、第１基準線を延長した直線と、第２基準線を延長した直線とでなす角が閾値（検出可能角度４４０）以下となるよう第２基準線が決定された。本実施形態では、第１基準線を延長した直線と、第２基準線を延長した直線とでなす角が閾値（検出可能角度４４０）を超えてしまう場合の検出領域の決定処理について説明する。具体的には、対象領域を挟むように第１基準線と第２基準線とを決定したとき、第１基準線を延長した直線と、第２基準線を延長した直線とでなす角が閾値を超える場合、決定部２０６は、複数の検出領域を重複させつつ、検出領域を決定する。このようにすることで、特定の物体を検出する精度の低下を抑制することができる。

以下、図１０および図１１を参照して、本実施形態の画像処理装置１００に係る画像処理について説明する。なお、図１０に示す画像処理を実行することで、複数の検出領域が重複することを許容しつつ、検出領域を決定することができる。

なお、図１０に示すフローチャートの処理は、ユーザによる操作に従って開始または終了するものとする。なお、図１０に示すフローチャートの処理は、本実施形態における検出領域の決定処理であり、図３および図８に示すＳ３０５に対応する。なお、図１０に示すフローチャートの処理は、画像処理装置１００のＲＯＭ１４２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ１４００が実行して実現される図２に示す各機能ブロックにより実行されるものとする。

まず、図１０に示すＳ１００１にて、決定部２０６は、検出領域の決定処理における処理対象を決定する。ここで、図１１を参照して、Ｓ１００１における決定部２０６の処理について説明する。本実施形態における検出領域の決定処理を説明するための模式図である。図１１（ａ）に示す魚眼画像４０２には、人物１１０１〜１１０３が集団として存在している。図１１（ｂ）に示す対象領域１１１０は、人物１１０１〜１１０３に対し検知部２０５により検知された動体の領域を示している。図１１（ｂ）に示すように、人物１１０１〜１１０３は一つの動体として検知されている。図１１（ｂ）に示す例において、Ｓ１００１にて、決定部２０６は、検出領域の決定処理における処理対象として対象領域１１１０を決定する。

次に、Ｓ１００２にて、決定部２０６は、魚眼画像の中心と円周上の一点を結ぶ線分であって、処理対象とする領域１１１０に接する線分の一部の線分を第１基準線として決定する。このとき、領域１１１０に対して決定部２０６により決定された第１基準線が図１１（ｃ）に示す線分１１２０である。なお、線分１１２０の長さは、魚眼画像の中心と、処理対象とする対象領域の中心とを結ぶ方向において、当該対象領域の下端から上端までの長さであるものとする。

次に、Ｓ１００３にて、決定部２０６は、処理対象とする対象領域を挟む２つの半径がなす角度が閾値以上かを判定する。具体的には、決定部２０６は、魚眼画像の中心と円周上の一点を結ぶ線分であって、第１基準線を延長した直線とで処理対象の対象領域を挟み、かつ、当該対象領域に接する線分の一部の線分を第２基準線として決定する。このとき、決定部２０６は、第１基準線を延長した直線と第２基準線を延長した直線とでなす角度が閾値（検出可能角度４４０）以上かを判定する。第１基準線を延長した直線と第２基準線を延長した直線とでなす角度が閾値より小さいと判定された場合（Ｓ１００３にてＮｏ）、Ｓ１００４へ遷移する。一方、第１基準線を延長した直線と第２基準線を延長した直線とでなす角度が閾値以上であると判定された場合（Ｓ１００３にてＹｅｓ）、Ｓ１００５へ遷移する。

Ｓ１００４の処理は、実施形態１における図６で説明したＳ６０３の処理と同様であるため説明を省略する。Ｓ１００５にて、決定部２０６は、魚眼画像の中心と円周上の一点を結ぶ線分であって、第１基準線を延長した直線となす角度が所定値となる線分の一部の線分を第２基準線として決定する。なお、本実施形態における所定値は、検出可能角度４４０とする。このとき、図１１（ｂ）に示す検出領域１１１０に対して決定部２０６により決定された第２基準線が線分１１３０である。なお、線分１１３０の長さは、魚眼画像の中心と、処理対象とする対象領域の中心とを結ぶ方向において、当該対象領域の下端から上端までの長さであるものとする。

次に、Ｓ１００６にて、決定部２０６は、第１基準線および第２基準線に基づき、検出領域を決定する。具体的には、決定部２０６は、第１基準線の線分の円周側の端点と、第２基準線の線分の円周側の端点と、を結ぶ線分を決定する。さらに、決定部２０６は、第１基準線の線分において魚眼画像の中心側の端点と、第２基準線の線分において魚眼画像の中心側の端点と、を結ぶ線分を決定する。以上のように、決定部２０６は、処理対象である対象領域に対し決定された第１基準線および第２基準線により囲われる領域を検出領域として決定する。このとき、図１１（ｃ）に示す例において、決定された検出領域は領域１１４０であるとする。

次に、Ｓ１００７にて、決定部２０６は、決定済みの検出領域が処理対象の対象領域を包含しているかを判定し、包含している場合はＳ１０１１へ遷移し、包含していなければＳ１００８へ遷移する。図１１（ｃ）に示す例において、決定済みの検出領域である領域１１４０は対象領域１１１０を包含していないため、Ｓ１００８へ遷移する。

次に、Ｓ１００８にて、決定部２０６は、新たな第１基準線の決定を行う。具体的には、決定部２０６は、処理対象である対象領域に対して一つ前に決定された検出領域を特定する。例えば、図１１（ｃ）に示す例において、処理対象である対象領域１１１０に対し一つ前に決定された検出領域が検出領域１１４０である場合を想定する。このとき、決定部２０６は、処理対象である対象領域１１１０に対して、一つ前に決定した検出領域である検出領域１１４０を特定する。

そして、決定部２０６は、特定した検出領域の第１基準線を延長した直線となす角度が検出可能角度４４０の半分の角度となる線分の一部の線分を新たな第１基準線として決定する。図１１（ｃ）に示す例において、このとき決定された新たな第１基準線は、線分１１５０である。なお、線分１１５０の長さは、魚眼画像の中心と、処理対象とする対象領域の中心とを結ぶ方向において、当該対象領域の下端から上端までの長さであるものとする。

次に、Ｓ１００９にて、決定部２０６は、Ｓ１００８で決定した第１基準線を延長した直線となす角度が最大角度となる線分の一部の線分を新たな第２基準線として決定する。図１１（ｃ）に示す例において、決定された新たな第２基準線は、線分１１６０である。なお、線分１１６０の長さは、魚眼画像の中心と、処理対象とする対象領域の中心とを結ぶ方向において、当該対象領域の下端から上端までの長さであるものとする。

次に、Ｓ１０１０にて、決定部２０６は、新たな第１基準線および新たな第２基準線に基づき、検出領域を決定する。具体的には、決定部２０６は、第１基準線の線分の円周側の端点と、第２基準線の線分の円周側の端点と、を結ぶ線分を決定する。さらに、決定部２０６は、第１基準線の線分において魚眼画像の中心側の端点と、第２基準線の線分において魚眼画像の中心側の端点と、を結ぶ線分を決定する。以上のように、決定部２０６は、処理対象とする対象領域に対し決定された第１基準線および第２基準線により囲われる領域を検出領域として決定する。このとき、図１１（ｃ）に示す例において、決定された検出領域は領域１１７０であるとする。そして、Ｓ１０１０の処理の後、Ｓ１００７へ戻る。

Ｓ１０１１にて、魚眼画像に対し全ての対象領域を処理対象として決定していれば（Ｓ１０１１にてＹｅｓ）、検出領域の決定処理を終了する。一方、魚眼画像に対し全ての対象領域を処理対象として決定していなければ（Ｓ１０１１にてＮｏ）、Ｓ１００１に戻り、決定部２０６は、処理対象として決定していない対象領域のいずれかを決定する。

以上説明したように、本実施形態における決定部２０６によれば、複数の検出領域が重複することを許容しつつ、検出領域を決定することができる。このように検出領域に対し漏れなく検出領域を決定することで、検出精度の低下を抑制することができる。

なお、図１１（ｃ）に示すように検出領域である領域１１４０と領域１１７０とで重複する領域に人物１１０２が位置している。この場合、検出部２０８により、人物１１０２は重複して検出されることとなる。このとき、検出部２０８が検出した人物の数を計数する処理を実行する際、重複した領域において検出された人物の位置に基づき、計数した合計数から重複したカウントの分だけ値を差し引くようにしてもよい。例えば、検出領域１１４０と検出領域１１７０とで重複された領域において人物Ａが位置している場合を想定する。このとき、検出部２０８によって、検出領域１１４０および検出領域１１７０それぞれに対し人物Ａが検出されてしまうことがある。そこで、検出領域１１４０および検出領域１１７０の各々にて魚眼画像上で同じ位置に人物が検出された際、処理部２０８は、魚眼画像から計数した人物の合計数から重複したカウントの値だけ差し引く。こうすることにより２重で人物を計数してしまうことを防ぐことができる。

（その他の実施形態）
次に図１４を参照して、各実施形態の各機能を実現するための画像処理装置１００のハードウェア構成を説明する。なお、以降の説明において画像処理装置１００のハードウェア構成について説明するが、記録装置１２０および撮像装置１１０も同様のハードウェア構成によって実現される。

本実施形態における画像処理装置１００は、ＣＰＵ１４００と、ＲＡＭ１４１０と、ＲＯＭ１４２０、ＨＤＤ１４３０と、Ｉ／Ｆ１４４０と、を有している。

ＣＰＵ１４００は画像処理装置１００を統括制御する中央処理装置である。ＲＡＭ４１４１０は、ＣＰＵ１４００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ１４１０は、ＣＰＵ１４００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ１４１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ１４２０は、ＣＰＵ１４００が画像処理装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ１４３０は、画像データ等を記録する記憶装置である。

Ｉ／Ｆ１４４０は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

なお、上述した各実施形態の説明では、ＣＰＵ１４００が処理を実行する例について説明するが、ＣＰＵ１４００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ１３０にＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）や画像データを表示する処理は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で実行してもよい。また、ＲＯＭ１４２０からプログラムコードを読み出してＲＡＭ１４１０に展開する処理は、転送装置として機能するＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）によって実行してもよい。

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、画像処理装置１００の各部は、図１４に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

１００ 画像処理装置
２００ 通信部
２０１ 記憶部
２０２ 表示制御部
２０３ 操作受付部
２０４ 設定部
２０５ 検知部
２０６ 決定部
２０７ 処理部
２０８ 検出部

Claims (17)

1. 魚眼レンズを介して撮像された撮像画像に含まれる動体を検知する検知手段と、
   前記検知手段により検知された動体の位置に基づいて、検知されたときの状態よりも相対的に前記動体が正立する状態に近づくように、前記撮像画像における中心位置を軸として、前記撮像画像を回転させる画像処理手段と、
   前記画像処理手段により回転された前記撮像画像における前記動体に対応する検出領域を対象として特定の物体を検出する検出手段と、
   を有することを特徴とする画像処理装置。
2. 前記画像処理手段は、前記撮像画像より前に撮像された撮像画像から前記検出手段により検出された特定の物体の位置に基づいて、検出されたときの状態よりも相対的に前記特定の物体が正立する状態に近づくように、前記撮像画像における中心位置を軸として、前記撮像画像を回転させることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段は、前記検知手段により検知された動体の位置に基づいて、前記動体が正立する状態になるように、前記撮像画像における中心位置を軸として、前記撮像画像を回転させることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像処理手段は、前記撮像画像より前に撮像された撮像画像から前記検出手段により検出された特定の物体の位置に基づいて、前記特定の物体が正立する状態になるように、前記撮像画像における中心位置を軸として、前記撮像画像を回転させることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記検出領域を決定する決定手段を更に有し、
   前記決定手段は、前記動体または前記特定の物体の領域に対し、前記撮像画像の中心と前記撮像画像の円周上の一点とを結ぶ線分であって、前記領域に接する線分の一部の線分である第１基準線と第２基準線とを決定し、当該第１基準線と、当該第２基準線とで囲まれる領域を前記検出領域として決定することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記検出領域を決定する決定手段を更に有し、
   前記決定手段は、前記動体または前記特定の物体の領域に対し、前記撮像画像の中心と前記撮像画像の円周上の一点とを結ぶ線分であって、前記領域に接する線分の一部の線分である第１基準線と、前記撮像画像の中心と前記撮像画像の円周上の一点とを結ぶ線分であって、前記第１基準線を延長した直線となす角度が所定値となる線分の一部の線分である第２基準線とを決定し、当該第１基準線と、当該第２基準線とで囲まれる領域を前記検出領域として決定することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
7. 前記検出手段により検出された前記撮像画像における特定の物体の数を計数する計数手段を更に有することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記特定の物体は、人物であることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 魚眼レンズを介して撮像された撮像画像に含まれる動体を検知する検知工程と、
   前記検知工程により検知された動体の位置に基づいて、検知されたときの状態よりも相対的に前記動体が正立する状態に近づくように、前記撮像画像における中心位置を軸として、前記撮像画像を回転させる画像処理工程と、
   前記画像処理工程により回転された前記撮像画像における前記動体に対応する検出領域を対象として特定の物体を検出する検出工程と、
   を有することを特徴とする画像処理方法。
10. 前記画像処理工程は、前記撮像画像より前に撮像された撮像画像から前記検出工程により検出された特定の物体の位置に基づいて、検出されたときの状態よりも相対的に前記特定の物体が正立する状態に近づくように、前記撮像画像における中心位置を軸として、前記撮像画像を回転させることを特徴とする請求項９に記載の画像処理方法。
11. 前記画像処理工程は、前記検知工程により検知された動体の位置に基づいて、前記動体が正立する状態になるように、前記撮像画像における中心位置を軸として、前記撮像画像を回転させることを特徴とする請求項９または１０に記載の画像処理方法。
12. 前記画像処理工程は、前記撮像画像より前に撮像された撮像画像から前記検出工程により検出された特定の物体の位置に基づいて、前記特定の物体が正立する状態になるように、前記撮像画像における中心位置を軸として、前記撮像画像を回転させることを特徴とする請求項９乃至１１のいずれか一項に記載の画像処理方法。
13. 前記検出領域を決定する決定工程を更に有し、
    前記決定工程は、前記動体または前記特定の物体の領域に対し、前記撮像画像の中心と前記撮像画像の円周上の一点とを結ぶ線分であって、前記領域に接する線分の一部の線分である第１基準線と第２基準線とを決定し、当該第１基準線と、当該第２基準線とで囲まれる領域を前記検出領域として決定することを特徴とする請求項９乃至１２のいずれか一項に記載の画像処理方法。
14. 前記検出領域を決定する決定工程を更に有し、
    前記決定工程は、前記動体または前記特定の物体の領域に対し、前記撮像画像の中心と前記撮像画像の円周上の一点とを結ぶ線分であって、前記領域に接する線分の一部の線分である第１基準線と、前記撮像画像の中心と前記撮像画像の円周上の一点とを結ぶ線分であって、前記第１基準線を延長した直線となす角度が所定値となる線分の一部の線分である第２基準線とを決定し、当該第１基準線と、当該第２基準線とで囲まれる領域を前記検出領域として決定することを特徴とする請求項９乃至１２のいずれか一項に記載の画像処理方法。
15. 前記検出工程により検出された前記撮像画像における特定の物体の数を計数する計数工程を更に有することを特徴とする請求項９乃至１４のいずれか一項に記載の画像処理方法。
16. 前記特定の物体は、人物であることを特徴とする請求項９乃至１５のいずれか一項に記載の画像処理方法。
17. コンピュータを請求項１乃至８のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images