JP2019049961A

JP2019049961A - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP2019049961A
Application number: JP2018104554A
Authority: JP
Inventors: 智彦黒木; Tomohiko Kuroki
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-09-08
Filing date: 2018-05-31
Publication date: 2019-03-28
Anticipated expiration: 2038-05-31
Also published as: JP7134716B2

Abstract

【課題】画像の撮影環境が著しく変わる環境下においても、高精度かつ低負荷で特定物を検出することができる画像処理装置、画像処理方法及びプログラムを提供することを課題とする。【解決手段】画像処理装置は、入力された画像を縮小することにより大きさが異なる複数の画像を生成する画像生成手段（１０５）と、前記入力された画像に応じて、前記複数の画像のうちの一部の画像に対してテンプレート画像のマッチング処理を行い、又は異なる順序で前記複数の画像に対してテンプレート画像のマッチング処理を行い、特定物を検出する特定物検出手段（１１０）とを有する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

監視カメラは、監視員が２４時間モニタリングしなくても、入力画像から画像解析を行い、人の有無を判別することで、人の侵入の検出や人数のカウントを行う。監視カメラは、入力画像から人体などの特定の物体を検出する場合、パターンマッチング処理により検出を行っている。パターンマッチング処理では、監視カメラは、入力画像を再帰的に縮小した縮小画像の集合である画像ピラミッドを生成し、各縮小画像（レイヤ）でテンプレート画像とのマッチング処理を行うことで、大きさの異なる人体の検出を行う。

特許文献１では、パターンマッチングに用いる縮小画像のレイヤの優先度を、過去の検出実績に基づいて切り替える手法が開示されている。特許文献２では、領域に対応付けてレイヤの種類を対応づけることで、処理速度を向上させる手法が開示されている。

特許第５９２４９９１号公報特許第５７９５９１６号公報

しかし、全レイヤの縮小画像でパターンマッチング処理を行うと、処理負荷がかかるため、リアルタイムな人体検出処理を行う場合、処理中に次の画像が入力されたら今の画像の人体検出処理を途中で打ち切り、次の画像の人体検出処理を行う必要がある。そのため、人体検出処理を最後まで完了することができず、検出漏れが発生する場合がある。また、シチュエーション上、大きい人体又は小さい人体がいないようなケースの場合でも、全レイヤで処理を行うため、誤検出が発生する場合がある。

特許文献１の手法では、画像の撮影環境が著しく変わる環境下の場合、却って検出精度が低下する可能性がある。特許文献２の手法では、奥行きがあるような場所で、大きい人体と小さい人体が混在する場所では、処理速度の向上を図れない。

本発明の目的は、画像の撮影環境が著しく変わる環境下においても、高精度かつ低負荷で特定物を検出することができる画像処理装置、画像処理方法及びプログラムを提供することである。

本発明の画像処理装置は、入力された画像を縮小することにより大きさが異なる複数の画像を生成する画像生成手段と、前記入力された画像に応じて、前記複数の画像のうちの一部の画像に対してテンプレート画像のマッチング処理を行い、又は異なる順序で前記複数の画像に対してテンプレート画像のマッチング処理を行い、特定物を検出する特定物検出手段とを有する。

本発明によれば、画像の撮影環境が著しく変わる環境下においても、高精度かつ低負荷で特定物を検出することができる。

第１の実施形態に係る人体検出システムのブロック構成図である。第１の実施形態に係る人体検出装置の縮小画像のレイヤを示す図である。第１の実施形態に係る人体検出装置の動体検出を示す図である。第１の実施形態に係る人体検出装置の検出スキャン処理を示す図である。第１の実施形態に係る画像処理方法を示すフローチャートである。第２の実施形態に係る人体検出システムのブロック構成図である。第２の実施形態に係る人体検出装置の消失点検出を示す図である。第２の実施形態に係る人体検出装置の縮小画像のレイヤを示す図である。第２の実施形態に係る画像処理方法を示すフローチャートである。第３の実施形態に係る人体検出システムのブロック構成図である。第３の実施形態に係る画像処理方法を示すフローチャートである。第４の実施形態に係る人体検出システムのブロック構成図である。第４の実施形態に係る人体検出装置の縮小画像のレイヤを示す図である。第４の実施形態に係る画像処理方法を示すフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る人体検出システム１００の構成例を示すブロック図である。人体検出システム１００は、特定物検出システムであり、入力された画像情報から画像中の人体（特定物）を検出して表示するシステムである。特定物は、人体に限定されない。以下、特定物が人体の例を説明する。人体検出システム１００は、画像入力装置１０１と、人体検出装置１０２と、モニタ装置１０３とを有する。人体検出装置１０２とモニタ装置１０３は、ビデオインターフェースを介して接続されている。画像入力装置１０１は、周囲を撮影して撮影画像を生成する装置であり、カメラ等により構成される。画像入力装置１０１は、撮像された画像情報を人体検出装置１０２へ出力する。

人体検出装置１０２は、画像処理装置であり、画像入力装置１０１から画像情報が入力されると、画像中の人体の検出処理を行い、検出した結果と処理画像を画像出力部１１２を介して、モニタ装置１０３に出力する。人体検出装置１０２は、画像入力部１０４と、縮小画像生成部１０５と、レイヤ構築部１０６と、動体検出部１０７と、レイヤ決定部１０８と、辞書１０９と、人体検出処理部１１０と、検出結果生成部１１１と、画像出力部１１２とを有する。

画像入力部１０４は、画像入力装置１０１で撮像された画像情報を入力し、縮小画像生成部１０５、動体検出部１０７、及び画像出力部１１２へ出力する。縮小画像生成部１０５は、画像入力部１０４から入力した画像を再帰的に縮小することにより大きさが異なる複数の縮小画像を生成し、元画像と生成した縮小画像をレイヤ構築部１０６へ出力する。レイヤ構築部１０６は、縮小画像生成部１０５から入力した元画像及び各縮小画像から画像ピラミッドを生成し、各画像を処理レイヤとして割り当てたレイヤを構築する。

ここで、図２（Ａ）を用いて、画像ピラミッドのレイヤ構成２０１について説明する。縮小画像生成部１０５は、画像入力部１０４から入力した画像２１０を再帰的に縮小することにより大きさが異なる複数の縮小画像２０４〜２０９を生成する。レイヤ構築部１０６は、入力された元画像２１０及び縮小画像２０４〜２０９から、画像ピラミッドのレイヤ構成２０１を構築する。レイヤ構築部１０６は、レイヤ構成２０１として、入力された元画像２１０を最底辺とし、その上に元画像２１０を縮小した縮小画像２０９を積み上げ、さらに縮小画像２０９を縮小した縮小画像２０８を積み上げる。同様に、レイヤ構築部１０６は、縮小画像２０８を縮小した縮小画像２０７を積み上げ、縮小画像２０７を縮小した縮小画像２０６を積み上げ、縮小画像２０６を縮小した縮小画像２０５を積み上げ、縮小画像２０５を縮小した縮小画像２０４を積み上げる。レイヤ構築部１０６は、縮小画像を積み上げた画像ピラミッドを生成し、画像ピラミッドの頂点の縮小画像２０４から元画像２１０まで７個の画像を順に、レイヤ０、レイヤ１、レイヤ２、・・・、レイヤ６と割り当てることで、レイヤ構成２０１を構築する。レイヤ構築部１０６は、画像ピラミッドのレイヤ構成２０１として、特に指定が無い限り基本的にはレイヤ０を開始レイヤ、レイヤ６を終了レイヤとして順に処理を行う。レイヤ構築部１０６は、レイヤ構成２０１のレイヤ構成情報をレイヤ決定部１０８へ出力し、レイヤ構成２０１のレイヤ構成情報を人体検出処理部１１０へ出力する。

動体検出部１０７は、画像入力部１０４から入力した画像内の動体を検出する。動体検出部１０７は、動体の検出方法として、前回入力された画像と今回入力された画像の差分から画像内の動体を検出するフレーム間差分法を用いる。フレーム間差分法については、公知の技術であるため、詳細な説明を省略する。動体検出部１０７は、検出した各動体の矩形情報をレイヤ決定部１０８へ出力する。

レイヤ決定部１０８は、レイヤ構築部１０６から入力したレイヤ構成情報と、動体検出部１０７から入力した画像内の各動体の矩形情報から、レイヤの検出開始位置及び検出終了位置を決定する。ここで、図２（Ｂ）、（Ｃ）及び図３を用いて、レイヤの検出開始位置及び検出終了位置の変更について説明する。

図３は、動体検出部１０７の動体の検出結果を示す図である。動体検出部１０７は、入力画像２１０内の動体を検出し、検出した各動体の矩形情報をレイヤ決定部１０８へ出力する。レイヤ決定部１０８は、入力画像２１０内の各動体の矩形情報を入力し、入力した矩形情報から最も大きい動体の矩形３０２と最も小さい動体の矩形３０３を特定し、その矩形３０２及び３０３の大きさを取得する。レイヤ決定部１０８は、最も大きい動体の矩形３０２の大きさに応じてレイヤの検出開始位置を決定し、最も小さい動体の矩形３０３の大きさに応じてレイヤの検出終了位置を決定する。

レイヤ決定部１０８は、最も大きい動体の矩形３０２の大きさが、人体検出可能な人体の最大値を下回っている場合、その矩形３０２の大きさに応じてレイヤの検出開始位置を決定する。例えば、レイヤ決定部１０８は、図２（Ｂ）のレイヤ構成２０１に示すように、最も大きい動体の矩形３０２の大きさに応じて、縮小画像２０７のレイヤ３をレイヤの検出開始位置として決定する。これにより、人体検出処理部１１０は、縮小画像２０４、２０５、２０６のレイヤの処理をスキップし、その動体の矩形３０２の大きさの人体検出に適した縮小画像２０７のレイヤから処理を開始する。

また、レイヤ決定部１０８は、最も小さい動体の矩形３０３の大きさが、人体検出可能な人体の最小値を上回っている場合、その矩形３０３の大きさに応じてレイヤの検出終了位置を決定する。例えば、レイヤ決定部１０８は、図２（Ｃ）のレイヤ構成２０１に示すように、最も小さい動体の矩形３０３の大きさに応じて、縮小画像２０７のレイヤ３をレイヤの検出終了位置として決定する。これにより、人体検出処理部１１０は、その動体の矩形３０３の大きさの人体検出に適した縮小画像２０７のレイヤまでで処理を終了し、縮小画像２０８、２０９及び元画像２１０のレイヤの処理をスキップする。

レイヤ決定部１０８は、決定したレイヤの検出開始位置とレイヤの検出終了位置を人体検出処理部１１０へ出力する。辞書１０９は、人体検出用のテンプレート画像を多数辞書として記憶し、人体検出用のテンプレート画像を人体検出処理部１１０へ出力する。人体検出処理部１１０は、レイヤ構築部１０６から入力したレイヤ構成情報と、レイヤ決定部１０８から入力したレイヤの検出開始位置及びレイヤの検出終了位置情報と、辞書１０９から入力した人体検出用のテンプレート画像を使用して、人体検出処理を行う。人体検出処理部１１０は、特定物検出手段であり、各レイヤの画像２０４〜２１０の全部又は一部に対してテンプレート画像のマッチング処理を行い、人体（特定物）を検出する。人体検出処理部１１０は、レイヤの検出開始位置の画像から順次処理を行っていき、レイヤの検出終了位置の画像で人体検出処理を終える。

図４は、人体検出処理部１１０が人体を検出する処理を示す図である。人体検出処理部１１０は、各レイヤの画像４０１〜４０３に対して人体検出用のテンプレート画像４０４をスキャン４０５の順番でラスタスキャンすることにより、画像４０１〜４０３中の人体を検出する。画像４０１〜４０３は、図２（Ａ）の大きさが異なる複数の画像２０４〜２１０の一部又は全部に対応する。人体検出処理部１１０は、複数の画像４０１〜４０３に対してテンプレート画像４０４のマッチング処理を行い、人体を検出する。このように、人体検出処理部１１０は、各レイヤの画像４０１〜４０３に対して人体検出処理を行うことにより、小さい画像４０１程大きい人体を検出し、大きい画像４０３程小さい人体を検出することができる。人体検出処理部１１０は、リアルタイムで人体検出処理を行うため、人体検出処理の途中で次の画像が入力された場合、現在行っている画像の人体検出処理を打ち切り、次の画像の人体検出処理を開始する。人体検出処理部１１０は、レイヤの検出開始位置及びレイヤの検出終了位置情報に応じて、複数の画像２０４〜２１０のうちの一部の画像に対してテンプレート画像４０４のマッチング処理を行い、人体を検出する。これにより、人体検出時間が短くなり、上記の人体検出処理の打ち切りを防止することができる。人体検出処理部１１０は、検出した人体情報を検出結果生成部１１１へ出力する。

検出結果生成部１１１は、人体検出処理部１１０から入力した人体情報を基に、人体の矩形情報を生成する。検出結果生成部１１１は、生成した矩形情報を画像出力部１１２へ出力する。画像出力部１１２は、画像入力部１０４から入力した画像と、検出結果生成部１１１から入力した人体の矩形情報を重畳し、人体の矩形情報が重畳された画像をモニタ装置１０３へ出力する。モニタ装置１０３は、人体検出装置１０２の画像出力部１１２から出力された画像を表示する。

図５は、第１の実施形態による人体検出システム１００の画像処理方法を示すフローチャートである。人体検出システム１００は、ユーザ操作により起動され、人体検出処理を開始する。初めに、ステップＳ５０１において、画像入力部１０４は、画像入力装置１０１から画像２１０を入力する。次に、ステップＳ５０２において、縮小画像生成部１０５は、画像入力部１０４から入力した画像２１０を再帰的に縮小した縮小画像２０４〜２０９を生成する。次に、ステップＳ５０３において、レイヤ構築部１０６は、入力された画像２１０と縮小画像２０４〜２０９からレイヤ構成２０１を構築する。次に、ステップＳ５０４において、動体検出部１０７は、画像入力部１０４から入力した画像２１０から動体の検出処理を行い、画像２１０内の動体の矩形の大きさから、最小動体の矩形３０３の大きさと最大動体の矩形３０２の大きさを求める。

次に、ステップＳ５０５において、レイヤ決定部１０８は、動体検出部１０７から入力した最大動体の矩形３０２の大きさ（サイズ）が更新されたか否かを判定する。最大動体の矩形のサイズのデフォルト値は、検出可能な最大矩形サイズである。レイヤ決定部１０８は、最大動体の矩形３０２のサイズが更新されたと判定した場合にはステップＳ５０６に処理を進め、最大動体の矩形３０２のサイズが更新されていないと判定した場合にはステップＳ５０７に処理を進める。ステップＳ５０６において、レイヤ決定部１０８は、画像２１０内の最大動体の矩形３０２のサイズから、レイヤの検出開始位置を決定し、レイヤの検出開始位置を更新し、ステップＳ５０７に処理を進める。

ステップＳ５０７において、レイヤ決定部１０８は、動体検出部１０７から入力した最小動体の矩形３０３のサイズが更新されたか否かを判定する。最小動体の矩形のサイズのデフォルト値は、検出可能な最小矩形サイズである。レイヤ決定部１０８は、最小動体の矩形３０３のサイズが更新されたと判定した場合にはステップＳ５０８に処理を進め、最小動体の矩形３０３のサイズが更新されていないと判定した場合にはステップＳ５０９に処理を進める。ステップＳ５０８において、レイヤ決定部１０８は、画像２１０内の最小動体の矩形３０３のサイズから、レイヤの検出終了位置を決定し、レイヤの検出終了位置を更新し、ステップＳ５０９に処理を進める。

ステップＳ５０９において、人体検出処理部１１０は、レイヤ決定部１０８により決定されたレイヤの検出開始位置及び検出終了位置に応じて、各レイヤの人体検出処理を行う。次に、ステップＳ５１０において、検出結果生成部１１１は、人体検出処理部１１０から入力した人体情報から人体の矩形情報を生成する。次に、ステップＳ５１１において、画像出力部１１２は、画像入力部１０４から入力した画像２１０と、検出結果生成部１１１から入力した人体の矩形情報とを重畳し、人体の矩形情報が重畳された画像をモニタ装置１０３へ出力する。次に、ステップＳ５１２において、モニタ装置１０３は、画像出力部１１２から入力した画像を表示する。

次に、ステップＳ５１３において、人体検出システム１００は、ユーザ操作による不図示の人体検出処理オン／オフスイッチが操作され、人体検出処理の停止操作が行われたか否かを判定する。人体検出システム１００は、停止操作が行われていないと判定した場合にはステップＳ５０１に処理を戻し、停止操作が行われたと判定した場合には人体検出処理を終了する。

なお、動体検出部１０７は、検出された動体に基づき現在の混雑度を検出してもよい。その場合、人体検出処理部１１０は、混雑度が閾値以上である場合には、混雑していると判断し、複数の画像２０４〜２１０のすべての画像に対してテンプレート画像のマッチング処理を行う。また、人体検出処理部１１０は、混雑度が閾値以上でない場合には、混雑していないと判断し、レイヤの検出開始位置と検出終了位置に応じて、上記のように、複数の画像２０４〜２１０のうちの一部の画像に対してテンプレート画像のマッチング処理を行う。

以上のように、人体検出システム１００は、画像２１０内の最大動体の矩形３０２のサイズと最小動体の矩形３０３のサイズに応じて、レイヤの検出開始位置と検出終了位置を変更する。人体検出処理部１１０は、画像２１０内の最大動体の矩形３０２のサイズと最小動体の矩形３０３のサイズに応じて、複数の画像２０４〜２１０のうちの一部の画像に対してテンプレート画像のマッチング処理を行い、人体を検出する。これにより、人体検出システム１００は、画像の撮影環境が著しく変わる環境下においても、高精度かつ低負荷で人体検出を行うことができる。

（第２の実施形態）
図６は、本発明の第２の実施形態に係る人体検出システム１００の構成例を示すブロック図である。図６の人体検出システム１００は、図１の人体検出システム１００に対して、動体検出部１０７の代わりに消失点検出部６０７を設けたものである。消失点検出部６０７は、人体検出装置１０２内に設けられ、画像入力部１０４から入力した画像内の遠近法における消失点を検出する。以下、本実施形態が第１の実施形態と異なる点を説明する。

図７は、消失点検出部６０７による消失点の検出方法を説明するための図である。消失点検出部６０７は、画像入力部１０４から画像２１０を入力し、入力画像２１０に対してエッジ検出処理を行い、ハフ変換処理により画像２１０上の直線７０３、７０４、７０５を求める。次に、消失点検出部６０７は、画像２１０内で３本以上の直線７０３〜７０５が交差する点を消失点７０２として検出する。エッジ検出処理とハフ変換処理は、公知の技術であるため、詳細な説明を省略する。消失点検出部６０７は、検出した消失点７０２をレイヤ決定部１０８へ出力する。

レイヤ決定部１０８は、レイヤ構築部１０６から入力したレイヤ構成２０１と、消失点検出部６０７から入力した消失点７０２から、人体検出処理を行うレイヤの順序を決定する。画像２１０内に消失点７０２が存在する場合、入力画像２１０に大きい人体から小さい人体まで混在する可能性があるため、順次処理を行っていくと、順番が最後となる小さい人体の検出処理で処理が打ち切られ、小さい人体だけ検出漏れが多発する場合がある。そこで、レイヤ決定部１０８は、大きい人体から小さい人体までまんべんなく検出できるように、図８（Ａ）のレイヤ構成２０１に示すように、一つ飛ばしのレイヤの画像２０４、２０６、２０８、２１０の順序で処理を行う検出処理順序を決定する。それに続き、レイヤ決定部１０８は、図８（Ｂ）のレイヤ構成２０１に示すように、図８（Ａ）で飛ばしたレイヤの画像２０５、２０７、２０９の順序で処理を行う検出処理順序を決定する。すなわち、レイヤ決定部１０８は、図８（Ａ）のレイヤ順序で処理を行い、その後、図８（Ｂ）のレイヤ順序で処理を行う検出処理順序を決定する。なお、レイヤ決定部１０８は、画像２１０内に消失点７０２が存在しない場合は、大きい人体を検出するレイヤの画像２０４から小さい人体を検出する画像２１０まで順次処理を行う検出処理順序を決定する。レイヤ決定部１０８は、決定した検出処理順序情報を人体検出処理部１１０へ出力する。

消失点検出部６０７は、大きい人体と小さい人体が混在するシーンを検出するために設けられているが、これに限定されない。第１の実施形態の動体検出部１０７が、画像２１０内の各動体の大きさから大きい人体と小さい人体が混在するシーンを検出してもよい。

人体検出処理部１１０は、レイヤ構築部１０６から入力したレイヤ構成情報と、レイヤ決定部１０８から入力した検出処理順序情報と、辞書１０９から入力した人体検出用のテンプレート画像を使用して人体検出処理を行う。人体検出処理部１１０は、検出処理順序情報に応じたフレームの順序で、第１の実施形態と同様の人体検出処理を行う。その他の構成は、第１の実施形態と同じである。

図９は、第２の実施形態による人体検出システム１００の画像処理方法を示すフローチャートである。図９のフローチャートは、図５のフローチャートに対して、ステップＳ５０４〜Ｓ５０８の代わりに、ステップＳ９０４〜Ｓ９０８を設けたものである。以下、本実施形態が第１の実施形態と異なる点を説明する。

初めに、ステップＳ５０１において、画像入力部１０４は、画像入力装置１０１から画像２１０を入力する。次に、ステップＳ５０２において、縮小画像生成部１０５は、画像入力部１０４から入力した画像２１０を再帰的に縮小した縮小画像２０４〜２０９を生成する。次に、ステップＳ５０３において、レイヤ構築部１０６は、入力された画像２１０と縮小画像２０４〜２０９からレイヤ構成２０１を構築する。

次に、ステップＳ９０４において、消失点検出部６０７は、画像入力部１０４から入力した画像２１０内の消失点７０２の検出処理を行う。次に、Ｓ９０５において、レイヤ決定部１０８は、消失点検出部６０７が消失点を検出したか否かを判定する。レイヤ決定部１０８は、消失点検出部６０７が消失点を検出したと判定した場合にはステップＳ９０６に処理を進め、消失点検出部６０７が消失点を検出していないと判定した場合にはステップＳ９０７に処理を進める。

ステップＳ９０６において、レイヤ決定部１０８は、消失点検出部６０７により検出された消失点が画像２１０内にあるか否かを判定する。レイヤ決定部１０８は、消失点が画像２１０内にあると判定した場合にはステップＳ９０８に処理を進め、消失点が画像２１０内にないと判定した場合にはステップＳ９０７に処理を進める。

ステップＳ９０７において、レイヤ決定部１０８は、検出処理順序として、大きい人体を検出するレイヤから小さい人体を検出するレイヤへ順次処理する通常検出処理順序を決定し、ステップＳ５０９に処理を進める。

ステップＳ９０８において、レイヤ決定部１０８は、検出処理順序として、図８（Ａ）及び（Ｂ）に示すように、一つ飛ばしの順序でレイヤを処理する検出処理順序を決定し、ステップＳ５０９に処理を進める。

ステップＳ５０９において、人体検出処理部１１０は、レイヤ決定部１０８により決定されたレイヤの検出処理順序に合わせて、各レイヤの人体検出処理を行う。次に、ステップＳ５１０において、検出結果生成部１１１は、人体検出処理部１１０から入力した人体情報から、人体の矩形情報を生成する。次に、ステップＳ５１１において、画像出力部１１２は、画像入力部１０４から入力した画像２１０と、検出結果生成部１１１から入力した人体の矩形情報とを重畳し、人体の矩形情報が重畳された画像をモニタ装置１０３へ出力する。次に、ステップＳ５１２において、モニタ装置１０３は、画像出力部１１２から入力した画像を表示する。次に、ステップＳ５１３において、人体検出システム１００は、第１の実施形態と同様の処理を行う。

以上のように、人体検出処理部１１０は、消失点検出部６０７の消失点の検出結果に応じて、異なる順序で複数の画像２０４〜２１０に対してテンプレート画像のマッチング処理を行う。人体検出処理部１１０は、消失点が検出されなかった場合には、ステップＳ９０７のように、画像の大きさの順序で複数の画像２０４〜２１０に対してテンプレート画像のマッチング処理を行う。また、人体検出処理部１１０は、消失点が検出された場合には、ステップＳ９０８のように、画像の大きさの順序でない順序で複数の画像２０４〜２１０に対してテンプレート画像のマッチング処理を行う。これにより、人体検出システム１００は、大きい人体から小さい人体まで混在するような画角に画像入力装置１０１の向きが変わった場合でも、人体の大きさによって人体検出精度がばらつくことを防止できる。

（第３の実施形態）
図１０は、本発明の第３の実施形態に係る人体検出システム１００の構成例を示すブロック図である。図１０の人体検出システム１００は、図１の人体検出システム１００に対して、動体検出部１０７の代わりに複雑度検出部１００７を設けたものである。複雑度検出部１００７は、人体検出装置１０２内に設けられる。以下、本実施形態が第１の実施形態と異なる点を説明する。

複雑度検出部１００７は、画像入力部１０４から入力した画像２１０に対してエッジ検出処理を行い、画像２１０全体の複雑度を検出する。エッジ検出処理については、公知の技術であるため、詳細な説明を省略する。複雑度検出部１００７は、画像２１０全体の複雑度情報をレイヤ決定部１０８へ出力する。

レイヤ決定部１０８は、レイヤ構築部１０６から入力したレイヤ構成情報と、複雑度検出部１００７から入力した複雑度情報から、検出処理を行うレイヤの検出方向を決定する。レイヤ決定部１０８は、画像２１０全体の複雑度が予め決められた閾値以上である場合には、小さい人体が多数いる可能性が高いと判断し、小さい人体を検出するための大きい画像のレイヤから小さい画像のレイヤに向けて順に処理を行う検出方向を決定する。また、レイヤ決定部１０８は、画像２１０全体の複雑度が閾値未満である場合には、大きい人体がいる可能性が高いと判断し、大きい人体を検出するための小さい縮小画像のレイヤから大きい画像のレイヤに向けて順に処理を行う検出方向を決定する。レイヤ決定部１０８は、決定した検出方向情報を人体検出処理部１１０へ出力する。

人体検出処理部１１０は、レイヤ構築部１０６から入力したレイヤ構成情報と、レイヤ決定部１０８から入力した検出方向情報と、辞書１０９から入力した人体検出用のテンプレート画像を使用して、人体検出処理を行う。人体検出処理部１１０は、検出方向情報が示すレイヤの検出方向で、各レイヤに対して人体検出処理を行う。その他の構成は、第１の実施形態と同じである。

図１１は、第３の実施形態による人体検出システム１００の画像処理方法を示すフローチャートである。図１１のフローチャートは、図５のフローチャートに対して、ステップＳ５０４〜Ｓ５０８の代わりに、ステップＳ１１０４〜Ｓ１１０７を設けたものである。以下、本実施形態が第１の実施形態と異なる点を説明する。

初めに、ステップＳ５０１において、画像入力部１０４は、画像入力装置１０１から画像２１０を入力する。次に、ステップＳ５０２において、縮小画像生成部１０５は、画像入力部１０４から入力した画像２１０を再帰的に縮小した縮小画像２０４〜２０９を生成する。次に、ステップＳ５０３において、レイヤ構築部１０６は、入力された画像２１０と縮小画像２０４〜２０９から、レイヤ構成２０１を構築する。

次に、ステップＳ１１０４において、複雑度検出部１００７は、画像入力部１０４から入力した画像２１０に対してエッジ検出処理を行い、画像２１０全体の複雑度を検出する。次に、ステップＳ１１０５において、レイヤ決定部１０８は、複雑度検出部１００７から入力した複雑度が閾値以上であるか否かを判定する。レイヤ決定部１０８は、複雑度が閾値以上である場合には、ステップＳ１１０７に処理を進め、複雑度が閾値以上でない場合には、ステップＳ１１０６に処理を進める。

ステップＳ１１０６において、レイヤ決定部１０８は、大きい人体を検出するための小さい画像のレイヤから大きい画像のレイヤに向けて人体検出を開始する検出方向を決定し、ステップＳ５０９に処理を進める。

ステップＳ１１０７において、レイヤ決定部１０８は、小さい人体を検出するための大きい画像のレイヤから小さい画像のレイヤに向けて人体検出を開始する検出方向を決定し、ステップＳ５０９に処理を進める。

ステップＳ５０９において、人体検出処理部１１０は、レイヤ決定部１０８により決定されたレイヤの検出方向に合わせて、各レイヤの人体検出処理を行う。次に、ステップＳ５１０において、検出結果生成部１１１は、人体検出処理部１１０から入力した人体情報から、人体の矩形情報を生成する。次に、ステップＳ５１１において、画像出力部１１２は、画像入力部１０４から入力した画像２１０と、検出結果生成部１１１から入力した人体の矩形情報とを重畳し、人体の矩形情報が重畳された画像をモニタ装置１０３へ出力する。次に、ステップＳ５１２において、モニタ装置１０３は、画像出力部１１２から入力した画像を表示する。次に、ステップＳ５１３において、人体検出システム１００は、第１の実施形態と同様の処理を行う。

以上のように、人体検出処理部１１０は、画像２１０の複雑度に応じて、異なる順序で複数の画像２０４〜２１０に対してテンプレート画像のマッチング処理を行う。人体検出処理部１１０は、複雑度が閾値以上である場合には、ステップＳ１１０７のように、大きい画像から小さい画像に向けた順序で複数の画像２０４〜２１０に対してテンプレート画像のマッチング処理を行う。また、人体検出処理部１１０は、複雑度が閾値以上でない場合には、ステップＳ１１０６のように、小さい画像から大きい画像に向けた順序で複数の画像２０４〜２１０に対してテンプレート画像のマッチング処理を行う。人体検出システム１００は、画像２１０全体の複雑度に応じて、レイヤの検出方向を変えることにより、人の数が著しく変わる環境下においても、高精度に人体検出処理を行うことができる。

（第４の実施形態）
図１２は、本発明の第４の実施形態に係る人体検出システム１００の構成例を示すブロック図である。図１２の人体検出システム１００は、図１の人体検出システム１００に対して、ズーム装置１２１３を追加で設け、動体検出部１０７の代わりにズーム情報保持部１２０７を設けたものである。ズーム情報保持部１２０７は、人体検出装置１０２内に設けられる。以下、本実施形態が第１の実施形態と異なる点を説明する。

ズーム装置１２１３は、複数枚のレンズから構成されるレンズユニットを持ち、レンズユニット内の画角調整用のレンズを前後に移動することで、撮像する画像の画角を調整する装置である。ズーム装置１２１３は、複数枚のレンズと、レンズを移動するステッピングモータと、モータ制御用のモータドライバとを有する。ズーム装置１２１３は、ズーム情報をズーム情報保持部１２０７へ出力する。

ズーム情報保持部１２０７は、ズーム装置１２１３から入力したズーム情報を保持する。ズーム情報保持部１２０７は、保持しているズーム情報をレイヤ決定部１０８へ出力する。

レイヤ決定部１０８は、レイヤ構築部１０６から入力したレイヤ構成情報と、ズーム情報保持部１２０７から入力したズーム情報から、レイヤの検出開始位置及び検出終了位置を決定する。ここで、図１３（Ａ）、（Ｂ）、（Ｃ）を用いて、レイヤの検出開始位置及び検出終了位置の変更について説明する。

例えば、レイヤ決定部１０８は、図１３（Ａ）のレイヤ構成２０１に示すように、ズーム情報のズーム倍率が２倍である場合には、縮小画像２０６のレイヤ２を検出開始位置とし、縮小画像２０８のレイヤ４を検出終了位置とする。人体検出処理部１１０は、ズーム情報のズーム倍率が２倍を示す場合には、複数の画像のうちの第１の範囲の一部の画像２０６〜２０８に対してテンプレート画像のマッチング処理を行う。

次に、ズーム情報がズームアウト方向に制御され、ズーム倍率が２倍から１倍へ変更された場合を説明する。その場合、レイヤ決定部１０８は、現在検出できる人体がズームアウトされてサイズが小さくなったとしても正しく検出できるよう、レイヤの検出開始位置及び検出終了位置をズーム倍率に合わせて下位のレイヤとなるように制御する。例えば、レイヤ決定部１０８は、ズーム情報のズーム倍率が１倍に変更された場合には、図１３（Ｂ）のレイヤ構成２０１に示すように、検出開始位置を縮小画像２０８のレイヤ４に変更し、検出終了位置を画像２１０のレイヤ６に変更する。縮小画像２０４、２０５、２０６、２０７の検出処理は、スキップする。人体検出処理部１１０は、ズーム情報が上記の２倍より小さい１倍を示す場合には、複数の画像のうちの第２の範囲の一部の画像２０８〜２１０に対してテンプレート画像のマッチング処理を行う。図１３（Ｂ）の検出範囲の画像２０８〜２１０は、図１３（Ａ）の検出範囲の画像２０６〜２０８より画像の大きさが大きい範囲である。

次に、ズーム情報がズームイン方向に制御され、ズーム倍率が２倍から４倍へ変更された場合を説明する。レイヤ決定部１０８は、ズーム情報がズームイン方向に制御されると、現在検出できる人体がズームインされてサイズが大きくなっても正しく検出できるよう、レイヤの検出開始位置及び終了位置をズーム倍率に合わせて上位レイヤとなるように制御する。例えば、レイヤ決定部１０８は、ズーム情報のズーム倍率が４倍に変更された場合には、図１３（Ｃ）のレイヤ構成２０１に示すように、検出開始位置を縮小画像２０４のレイヤ０に変更し、検出終了位置を縮小画像２０６のレイヤ２に変更する。画像２０７、２０８、２０９、２１０の検出処理は、スキップする。人体検出処理部１１０は、ズーム情報が上記の２倍より大きい４倍を示す場合には、複数の画像のうちの第３の範囲の一部の画像２０４〜２０６に対してテンプレート画像のマッチング処理を行う。図１３（Ｃ）の検出範囲の画像２０４〜２０６は、図１３（Ａ）の検出範囲の画像２０６〜２０８より画像の大きさが小さい範囲である。その他の構成は、第１の実施形態と同じである。

図１４は、第４の実施形態による人体検出システム１００の画像処理方法を示すフローチャートである。図１４のフローチャートは、図５のフローチャートに対して、ステップＳ５０４〜Ｓ５０８の代わりに、ステップＳ１４０４〜Ｓ１４０７を設けたものである。以下、本実施形態が第１の実施形態と異なる点を説明する。

次に、ステップＳ１４０４において、ズーム情報保持部１２０７は、ズーム装置１２１３から入力したズーム情報を保持する。次に、ステップＳ１４０５において、レイヤ決定部１０８は、ズーム情報保持部１２０７から入力したズーム情報のズーム位置が更新されたか否かを判定する。レイヤ決定部１０８は、ズーム位置が更新された場合には、ステップＳ１４０６に処理を進め、ズーム位置が更新されていない場合には、ステップＳ５０９に処理を進める。

ステップＳ１４０６において、レイヤ決定部１０８は、ズーム情報のズーム倍率に応じて、レイヤの検出開始位置を決定し、レイヤの検出開始位置を更新する。次に、ステップＳ１４０７において、レイヤ決定部１０８は、ズーム情報のズーム倍率に応じて、レイヤの検出終了位置を決定し、レイヤの検出終了位置を更新し、ステップＳ５０９に処理を進める。

ステップＳ５０９において、人体検出処理部１１０は、レイヤ決定部１０８により決定されたレイヤの検出開始位置及び検出終了位置に応じて、各レイヤの人体検出処理を行う。次に、ステップＳ５１０において、検出結果生成部１１１は、人体検出処理部１１０から入力した人体情報から、人体の矩形情報を生成する。次に、ステップＳ５１１において、画像出力部１１２は、画像入力部１０４から入力した画像２１０と、検出結果生成部１１１から入力した人体の矩形情報とを重畳し、人体の矩形情報が重畳された画像をモニタ装置１０３へ出力する。次に、ステップＳ５１２において、モニタ装置１０３は、画像出力部１１２から入力した画像を表示する。次に、ステップＳ５１３において、人体検出システム１００は、第１の実施形態と同様の処理を行う。

以上のように、人体検出システム１００は、ズーム倍率に応じて、レイヤの検出開始位置と検出終了位置を決め、画像２０４〜２１０のうちの一部の画像に対してテンプレート画像のマッチング処理を行い、人体を検出する。これにより、人体検出システム１００は、ズーム倍率を変える制御を行った場合においても、ズームイン／アウトに伴って発生する検出結果の不一致や誤検出を防ぐ高精度の人体検出を行うことができる。

（その他の実施形態）
上述の人体検出装置１０２は、１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００人体検出システム、１０１画像入力装置、１０２人体検出装置、１０３モニタ装置、１０４画像入力部、１０５縮小画像生成部、１０６レイヤ構築部、１０７動体検出部、１０８レイヤ決定部、１０９辞書、１１０人体検出処理部、１１１検出結果生成部、１１２画像出力部

Claims

入力された画像を縮小することにより大きさが異なる複数の画像を生成する画像生成手段と、
前記入力された画像に応じて、前記複数の画像のうちの一部の画像に対してテンプレート画像のマッチング処理を行い、又は異なる順序で前記複数の画像に対してテンプレート画像のマッチング処理を行い、特定物を検出する特定物検出手段と
を有することを特徴とする画像処理装置。
さらに、前記入力された画像内の動体を検出する動体検出手段を有し、
前記特定物検出手段は、前記動体に応じて、前記複数の画像のうちの一部の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする請求項１に記載の画像処理装置。
前記特定物検出手段は、前記動体検出手段により検出された動体のうちの最大の動体の大きさと最小の動体の大きさに応じて、前記複数の画像のうちの一部の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする請求項２に記載の画像処理装置。
前記特定物検出手段は、前記動体検出手段により検出された動体に基づく混雑度に応じて、前記複数の画像のうちの一部の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする請求項２又は３に記載の画像処理装置。
前記特定物検出手段は、前記混雑度が閾値以上である場合には、前記複数の画像のすべての画像に対してテンプレート画像のマッチング処理を行い、前記混雑度が前記閾値以上でない場合には、前記複数の画像のうちの一部の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする請求項４に記載の画像処理装置。
さらに、前記入力された画像内の消失点を検出する消失点検出手段を有し、
前記特定物検出手段は、前記消失点の検出結果に応じて、異なる順序で前記複数の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする請求項１に記載の画像処理装置。
前記特定物検出手段は、前記消失点が検出されなかった場合には、画像の大きさの順序で前記複数の画像に対してテンプレート画像のマッチング処理を行い、前記消失点が検出された場合には、画像の大きさの順序でない順序で前記複数の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする請求項６に記載の画像処理装置。
さらに、前記入力された画像の複雑度を検出する複雑度検出手段を有し、
前記特定物検出手段は、前記複雑度に応じて、異なる順序で前記複数の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする請求項１に記載の画像処理装置。
前記特定物検出手段は、前記複雑度が閾値以上である場合には、大きい画像から小さい画像に向けた順序で前記複数の画像に対してテンプレート画像のマッチング処理を行い、前記複雑度が前記閾値以上でない場合には、小さい画像から大きい画像に向けた順序で前記複数の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする請求項８に記載の画像処理装置。
前記特定物検出手段は、ズーム手段のズーム情報に応じて、前記複数の画像のうちの一部の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする請求項１に記載の画像処理装置。
前記特定物検出手段は、
前記ズーム手段のズーム情報が第１のズーム倍率を示す場合には、前記複数の画像のうちの第１の範囲の一部の画像に対してテンプレート画像のマッチング処理を行い、
前記ズーム手段のズーム情報が前記第１のズーム倍率より小さい第２のズーム倍率を示す場合には、前記複数の画像のうちの前記第１の範囲より画像の大きさが大きい第２の範囲の一部の画像に対してテンプレート画像のマッチング処理を行い、
前記ズーム手段のズーム情報が前記第１のズーム倍率より大きい第３のズーム倍率を示す場合には、前記複数の画像のうちの前記第１の範囲より画像の大きさが小さい第３の範囲の一部の画像に対してテンプレート画像のマッチング処理を行うことを特徴とする請求項１０に記載の画像処理装置。
前記特定物は、人体であることを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
画像生成手段により、入力された画像を縮小することにより大きさが異なる複数の画像を生成する画像生成ステップと、
特定物検出手段により、前記入力された画像に応じて、前記複数の画像のうちの一部の画像に対してテンプレート画像のマッチング処理を行い、又は異なる順序で前記複数の画像に対してテンプレート画像のマッチング処理を行い、特定物を検出する特定物検出ステップと
を有することを特徴とする画像処理方法。
コンピュータを、請求項１〜１２のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。