JP2018092547A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】より正確な動体検出が可能な画像処理技術を提供すること。【解決手段】 撮像部で撮像した画像フレームから動体を検出する画像処理装置は、第１の画像フレームの画素値と、第１の画像フレームと異なるタイミングの第２の画像フレームの画素値との差分を取得する取得部と、差分が取得された画素に基づく画素差分領域と撮像手段との距離を計測し、距離に基づいて画素差分領域の大きさを取得する計測部と、画素差分領域と、画素差分領域とは異なるタイミングで取得された他の画素差分領域との比較により取得した画素差分領域の移動量、および、画素差分領域の大きさのうち、少なくともいずれか一方と閾値との比較結果に基づいて、画素差分領域が動体であるか判定する判定部と、を備える。【選択図】 図４

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

近年監視カメラには、撮像した映像中に存在する動体を検出する機能が搭載されている。動体を検出する方式として、現在フレームの画像と過去フレームの画像の差分を取得することによって動体を検出するフレーム間差分方式、及び背景差分方式など、画像差分に基づく動体検出方式が知られている。

画素差分による動体検出方式は人物の検出など特定の目的で利用されることが多い。そのため、サイズが極めて小さい動体等、検出が不要な領域を動体として検出することを防ぐ目的で、画素差分領域を動体として検出するか否かを判定するために画素差分値に閾値を設ける方法がある。このように閾値を設けた場合、実サイズが小さい動体の検出を防ぐことが出来る。一方で、動体の実サイズは大きいが、動体の位置がカメラから遠いため画素差分領域が小さくなるような場合、検出すべき動体が検出されないという問題が生じ得る。

この問題を改善するために、カメラからの実距離の遠近や対象物体の画面上での大小によらず、正確に動体検出の判定を行う方法が提案されている。

例えば、特許文献１では動体判定の閾値を設けた際に距離が遠いことにより動体が非検知となることを防ぐ方式として、画像中の領域に応じて顕著性検出と画像間差分方式を使い分ける方式が開示されている。

また、特許文献２では検出対象物体の画面上での大小によらず特定の物体を検出する方式として、パターンマッチングを行う際に再帰的に画像の縮小を行い、大きさの異なる複数の同一画像に対して繰り返しマッチングを行う方式が開示されている。

特開２００７−０６４８９４号公報 特開２０１３−０６２６８８号公報

しかしながら、特許文献１の方式では複数の動体検出処理を単一の画像に対して行う必要があり、回路規模が増大する課題がある。また、特許文献２の方式は様々な動体の検出を行うためには多くのパターンを要する上に、再帰的な処理の計算負荷が高くなる課題がある。

そこで、本発明は、より正確な動体検出処理を可能にする画像処理技術を提供することを目的とする。

上記の目的を達成する本発明の一態様による画像処理装置は、撮像手段で撮像した画像フレームから動体を検出する画像処理装置であって、第１の画像フレームの画素値と、前記第１の画像フレームと異なるタイミングの第２の画像フレームの画素値との差分を取得する取得手段と、前記取得手段により取得された前記差分に基づく動体候補領域に対応する被写体までの距離を計測する計測手段と、前記動体候補領域の大きさと、前記動体候補領域に対応する被写体までの距離とに基づいて、前記動体候補領域に対応する被写体が動体であるか判定する判定手段と、を備えることを特徴とする。

本発明によれば、より正確な動体検出が可能になる。

第１実施形態に係るカメラの機能構成例を示すブロック図。 第１実施形態に係る画像処理部の機能構成例を示すブロック図。 複数の撮像光学系を有するカメラによる距離計測の原理を説明する図。 第１実施形態に係る画像処理部の処理の流れを説明する図。 第２実施形態に係るカメラの機能構成例を示すブロック図。 第２実施形態に係る画像処理部の機能構成例を示すブロック図。 第２実施形態に係る画像処理部の処理の流れを説明する図。 第３実施形態に係るカメラの機能構成例を示すブロック図。 第３実施形態に係る画像処理部の機能構成例を示すブロック図。 第３実施形態に係る画像処理部の処理の流れを説明する図。 動体の判定結果を例示的に説明する図。

以下、図面を参照して、本発明の実施形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

（第１実施形態）
以下、図１〜４を参照して、第１実施形態の画像処理装置について説明する。図１は、撮像部として機能するカメラ１０００（監視カメラ）の内部構成を示すブロック図である。図１において、制御部１００１は、例えばＣＰＵにより構成可能であり、カメラ１０００の全体的な制御を行う。

記憶部１００２は、データの格納領域として機能する。例えば、記憶部１００２は、制御部１００１が実行するプログラムの格納領域、プログラム実行中におけるワーク領域、検出閾値等の設定値の格納領域として機能することが可能である。また、記憶部１００２は、撮像部１００３が生成する撮像画像の格納領域、圧縮符号化部１００４が生成する画像データの格納領域、画像処理部１００７が取得する動体検出の判定結果、及び検出情報等の格納領域として機能することが可能である。また、カメラ１０００は、後述する計測部１０１３で行うカメラ１０００から被写体までの距離計測を目的として、複数の撮像光学系１００８を有する。

撮像部１００３は、カメラ１０００の撮像光学系１００８により結像された、被写体の像を撮像して、取得したアナログ信号をデジタルデータに変換した撮像画像を記憶部１００２に出力する。撮像部１００３は、カメラ１０００の複数の撮像光学系１００８により取得した全ての撮像画像を記憶部１００２に出力する。撮像画像が撮像部１００３から記憶部１００２に出力された時、制御部１００１は、撮像部１００３から画像取得イベントを受信する。

圧縮符号化部１００４は、撮像部１００３が出力した撮像画像に対してＪＰＥＧ或いはＨ．２６４等の形式に基づき圧縮符号化処理を行うことにより画像データを生成し、記憶部１００２に出力する。

通信部１００５は外部の情報処理装置などの外部機器と通信により情報の送受信が可能であり、通信部１００５は閾値設定等の各制御コマンドを外部機器２０００から受信する時、また、各制御コマンドに対するレスポンスや記憶部１００２に格納された画像データ及び動体検出結果等の様々なデータを外部機器２０００へ送信することが可能である。通信部１００５が外部機器２０００からコマンドを取得した場合、制御部１００１は通信部１００５からコマンド受信イベントを受信する。

撮像制御部１００６は制御部１００１の制御により、外部機器２０００から送信された撮像制御コマンド（パン、チルト、或いはズーム）の値に従って、撮像部１００３の撮像範囲を制御する。

画像処理部１００７は、カメラ１０００で撮像した撮像画像の画像フレームから動体を検出する。画像処理部１００７は、記憶部１００２に格納された撮像画像の解析を行い、画像中の動体を検出することが可能である。画像処理部１００７が動体を検出した場合、制御部１００１は画像処理部１００７から動体検出イベントを受信する。

次に、画像処理部１００７の具体的な構成を説明する。図２は画像処理部１００７の機能構成例を示すブロック図である。取得部１０１１は、第１の画像フレームの画素値と、第１の画像フレームと異なるタイミングの第２の画像フレームの画素値との差分を取得する。例えば、第１の画像フレームとしては、現在画像フレームであり、第１の画像フレームと異なるタイミングの第２の画像フレームとしては、現在画像フレームよりも前に取得された過去画像フレームである。取得部１０１１は、現在画像フレームと、記憶部１００２に格納された過去画像フレームとの間の画素値の差分（画素差分）を取得する。以下の説明では、第１の画像フレームを現在画像フレームとして説明し、第２の画像フレームを過去画像フレームとして説明する。

併合部１０１２は、取得部１０１１により差分が取得された画素を画素差分領域（動体候補領域）として併合する。すなわち、併合部１０１２は、取得部１０１１で取得された複数の画素差分に対して、隣接する画素の画素差分を画素差分領域（動体候補領域）として併合する。併合部１０１２は、画素の併合処理において、取得部１０１１により取得された差分と、所定の閾値との比較結果に基づいて、所定の閾値を超える画素を動体候補領域としてまとめる。これにより、差分の小さい画素を除き、所定の閾値を超える差分の大きい画素を一つのまとまりとした動体候補領域を取得することが可能になる。

取得部１０１１により画素差分が取得されている場合に、併合部１０１２は、少なくとも１つの画素差分領域（動体候補領域）を取得する。この場合、併合部１０１２により取得される画素差分領域は１つに限定されるものではなく、併合部１０１２により複数の画素差分領域が取得されることもある。

計測部１０１３は、差分が取得された画素をまとめた画素差分領域（動体候補領域）に対応する被写体までの距離を計測する。すなわち、計測部１０１３は、併合部１０１２で生成される画素差分領域とカメラ１０００との距離を計測する。ここで図３を参照して複数の撮像光学系を持つカメラ１０００の計測部１０１３による距離計測方法について説明する。撮像光学系１００８では、レンズ１０２１を通してセンサー１０２２が受光し、被写体１０３０を撮像する。複数の撮像光学系１００８の構成例として、図３では、撮像光学系１００８Ａ、および撮像光学系１００８Ｂが例示されている。撮像光学系１００８Ａは、レンズ１０２１Ａ、センサー１０２２Ａを有し、撮像光学系１００８Ｂは、レンズ１０２１Ｂ、センサー１０２２Ｂを有している。

撮像光学系１００８Ａ及び撮像光学系１００８Ｂのように複数の撮像光学系を有するカメラ１０００が被写体１０３０を撮像する際に、センサー１０２２Ａが受光する像１０３１Ａとセンサー１０２２Ｂが受光する像１０３１Ｂとの間には視差と呼ばれる位置のずれが生じる。この視差と、二つの撮像光学系１００８Ａと１００８Ｂとの幅を示す基線長１０２４と、撮像光学系１００８Ａ及び１００８Ｂの撮像画角を用いて、三角測量の原理に基づき距離の計測を行う。

動体判定部１０１４は、動体候補領域の大きさと、動体候補領域に対応する被写体までの距離とに基づいて、動体候補領域に対応する被写体が動体であるか判定する。動体判定部１０１４は、動体候補領域と、動体候補領域とは異なるタイミングで取得された他の動体候補領域との比較により取得した動体候補領域の移動量、および、動体候補領域の大きさのうち、少なくともいずれか一方と閾値との比較結果に基づいて、動体候補領域に対応する被写体が動体であるか判定する。

動体判定部１０１４は、併合部１０１２で取得した画素差分領域、及び計測部１０１３で取得した画素差分領域に対するカメラ１０００からの距離を使用して、画素差分領域の動体検出を行う。動体判定部１０１４は、併合部１０１２で取得した画素差分領域について、計測部１０１３で取得した画素差分領域のカメラ１０００までの距離、画素差分領域の画素数、カメラ１０００（撮像部）の画角、記憶部１００２に格納された動体検出結果から、画像差分領域内における動体の実サイズ（大きさ）及び実移動量を計算する。動体判定部１０１４は、記憶部１００２に格納されている検出閾値を使用して、実サイズ（大きさ）、及び実移動量の少なくとも一つ以上に対して動体であるか否かを判定するための閾値処理を行う。動体判定部１０１４で取得された動体検出結果及び検出情報は記憶部１００２に格納される。

以上、図１および図２を用いてカメラ１０００の内部構成を例示的に説明したが、カメラ１０００の内部構成は、この例に限定されるものではない。例えば、音声入力部、音声出力部を備えるなど、本発明の要旨の範囲内で、種々の変形及び変更が可能である。

次に、本実施形態に係る画像処理部１００７の処理を図４のフローチャートを参照して説明する。なお、このフローチャートに従った処理を開始する時点で、記憶部１００２には、現在画像フレームおよび過去画像フレームが格納されているものとする。

まず、ステップＳ３０１において、取得部１０１１は、第１の画像フレーム（現在画像フレーム）と第１の画像フレームと異なるタイミングの第２の画像フレーム（過去画像フレーム）との間の画素差分の取得を行う。カメラ１０００は複数の撮像光学系１００８を有するため、記憶部１００２には、複数の現在画像フレームが格納されている。画素差分の検出を行う現在画像フレームと過去画像フレームとの対は少なくとも１つ以上である。尚、取得部１０１１は、２つ以上の現在画像フレームと過去画像フレームとの対から画素差分を取得して動体検出の判定を行うことも可能である。

画素差分を検出するために使用される現在画像フレームと過去画像フレームは、同一の撮像光学系１００８により取得した撮像画像を使用する。例えば、図３に示したように、撮像光学系１００８Ａにより取得した現在画像フレームと過去画像フレームとの対から画素差分を検出して動体検出の判定を行うことが可能である。また、同様に、撮像光学系１００８Ｂにより取得した現在画像フレームと過去画像フレームとの対から画素差分を検出して動体検出の判定を行うことが可能である。また、取得部１０１１は、現在画像フレームとの画素差分を取得するための撮像画像として、直前の画像フレームを使用することや記憶部１００２に保存しておいた過去画像フレームを使用することも可能である。

ステップＳ３０２において、併合部１０１２は、先のステップＳ３０１の処理で差分が検出された画素差分を併合（マージ）し、画素差分領域（動体候補領域）の生成（統合）を行う。併合部１０１２は、ステップＳ３０１で画素差分が検出された場合、隣接する画素を併合して画素差分領域を生成する。併合部１０１２は、隣接する画素を一つの画素差分領域に併合し、隣接していない画素が複数ある場合は画素差分領域を複数生成する。尚、ステップＳ３０１で画素差分が取得されなかった場合、これ以降の処理は行なわない。併合部１０１２は、画素の併合処理において、取得部１０１１により取得された差分と、所定の閾値との比較結果に基づいて、所定の閾値を超える画素を動体候補領域としてまとめる。

ステップＳ３０３において、計測部１０１３は、ステップＳ３０２の処理で取得した画素差分領域（動体候補領域）に対応する被写体までの距離を計測する。撮像部１００３は、異なる複数の撮像光学系１００８（例えば、撮像光学系１００８Ａ、撮像光学系１００８Ｂ）により異なる複数の撮像画像を取得し、記憶部１００２に格納する。計測部１０１３は、記憶部１００２に格納されている複数の現在画像フレームと、複数の撮像光学系の幅を示す基線長（基線長１０２４（図３））と、複数の撮像光学系の撮像画角とを用いて距離計測を行う。計測部１０１３は、併合部１０１２で取得した全ての画素差分領域に対して距離計測を行う。

ステップＳ３０４において、計測部１０１３は、ステップＳ３０２の処理で取得した画素差分領域の実サイズ（大きさ）を取得する。計測部１０１３は、画素差分領域の実サイズを取得する方法の一つとして、ステップＳ３０３で取得した画素差分領域に対するカメラ１０００からの距離（実距離）、及び、画素差分領域の画素数、カメラ１０００（撮像部）の画角（焦点距離）、撮像された画像における総水平画素数及び総垂直画素数を使用して、三角測量の原理を用いて、画素差分領域の実サイズ（大きさ）を算出する。具体的に、計測部１０１３は、以下の演算式（１）、（２）に基づいて、画素差分領域（動体候補領域）の実サイズ（大きさ）の近似値を算出することが可能である。

Ｈ(高さ)=((36.0*(画像縦比率/横比率)*実距離)/35mm換算焦点距離)*(画素差分領域の縦画素数/総垂直画素数)・・・（１）
ｗ(幅) =((36.0*実距離)/35mm換算焦点距離)*(画素差分領域の横画素数/総水平画素数)・・・（２）
ステップＳ３０５において、動体判定部１０１４は、ステップＳ３０２で取得した画素差分領域（動体候補領域）とは異なるタイミング（例えば、前回の動体検出処理）で取得された他の動体候補領域に対応する被写体が動体として検出されているか判定する。すなわち、動体判定部１０１４は、直前フレームに対して行った前回の動体検出処理において動体が検出されたか否かを判定する。

ステップＳ３０５の判定処理において、異なるタイミング（前回の動体検出処理）で他の動体候補領域に対応する被写体が動体として検出されていない場合（Ｓ３０５−Ｎｏ）、動体判定部１０１４は、前回の動体検出処理で画素差分領域は存在しなかったと判定し、実移動量に対する閾値判定（Ｓ３０８）を行わず、処理をステップＳ３０９に進める。動体判定部１０１４は、動体候補領域の大きさと閾値との比較結果に基づく判定処理を行う（Ｓ３０９）。

一方、異なるタイミング（前回の動体検出処理）で他の動体候補領域に対応する被写体が動体として検出されている場合（Ｓ３０５−Ｙｅｓ）、動体判定部１０１４は、処理をステップＳ３０６に進める。ステップＳ３０６において、動体判定部１０１４は、直前フレームに対して行った動体検出処理で検出した動体と、今回の画像フレームから取得した画素差分領域とが同一の物体であるか否かを判定する。動体判定部１０１４は、ステップＳ３０３で取得した画素差分領域に対するカメラの距離、及びステップＳ３０４で取得した実サイズ、及び画像中における座標位置を使用して、前回検出した動体と、今回取得した画素差分領域との近似度合（類似度）を取得する。そして、動体判定部１０１４は、取得した近似度合（類似度）に基づいて、動体検出処理で検出した動体と今回の画像フレームから取得した画素差分領域との同一性を判定することが可能である。

ステップＳ３０６の処理で、同一でないと判定した場合には（Ｓ３０６−Ｎｏ）、動体判定部１０１４は、前回の検出処理で画素差分領域は存在しなかったと判定し、実移動量に対する閾値判定（Ｓ３０８）を行わず、処理をステップＳ３０９に進める。一方、ステップＳ３０６の処理で、同一と判定された場合（Ｓ３０６−Ｙｅｓ）、動体判定部１０１４は、処理をステップＳ３０７に進める。

ステップＳ３０７において、動体判定部１０１４は、前回の動体検出処理で得られた動体と、ステップＳ３０２で取得した画素差分領域（動体候補領域）とを用いて、画素差分領域の実移動量を取得する。画素差分領域の実移動量を算出する方法として、前回検出した動体の重心位置とステップＳ３０２で取得した画素差分領域の重心位置との画素距離(移動画素)、及び、前回検出した動体のカメラからの距離、及び、ステップＳ３０３で取得した画素差分領域のカメラからの距離（実距離）、カメラ１０００（撮像部）の画角（焦点距離）、撮像された画像における総水平画素数及び総垂直画素数を使用して、三角測量を用いて算出することが可能である。具体的に、動体判定部１０１４は、以下の演算式（３）、（４）、（５）に基づいて、画素差分領域（動体候補領域）の実移動量の近似値を算出することが可能である。

Ｄｈ(縦方向)=((36.0*(画像縦比率/横比率)*実距離)/35mm換算焦点距離)*(縦方向の移動画素/総垂直画素数) ・・・（３）
Ｄｗ(横方向)=((36.0*実距離)/35mm換算焦点距離)*(横方向の移動画素/総水平画素数) ・・・（４）
Ｄｄ(奥行き)=画素差分領域のカメラからの距離と前回検出した動体のカメラからの距離の変化量 ・・・（５）
動体判定部１０１４は、異なるタイミングで他の動体候補領域に対応する被写体が動体として検出され、かつ、動体候補領域に対応する被写体と前記他の動体候補領域に対応する被写体が同一である場合、ステップＳ３０８の判定処理を行う。

ステップＳ３０８において、動体判定部１０１４は、ステップＳ３０７で取得した画素差分領域の実移動量を基に画素差分領域を動体として検出するか否か、閾値を用いて判定する（実移動量に関する閾値判定処理）。

実移動量に関する閾値判定処理用の検出閾値として用いられる数値は、動体検出の用途に伴い、移動量の検出を行う最大の移動量、及び移動量の検出を行う最小の移動量のうち少なくとも一つが設定されて、移動量の検出閾値は記憶部１００２に格納される。閾値判定が真の場合（例えば、実移動量が設定された検出閾値を超える場合）、動体判定部１０１４は、処理をステップＳ３０９に進める。一方、閾値判定が偽の場合（例えば、実移動量が設定された検出閾値以下となる場合）、動体判定部１０１４は、処理をステップＳ３１１に進める。

ステップＳ３０９において、動体判定部１０１４は、ステップＳ３０４で取得した画素差分領域の実サイズを基に画素差分領域を動体として検出するか否か、閾値を用いて判定する（実サイズに関する閾値判定処理）。

実サイズに関する閾値判定処理用の検出閾値として用いられる数値は、動体検出の用途に伴い、領域サイズの検出を行う最大のサイズ、及び領域サイズの検出を行う最小のサイズのうち少なくとも一つが設定されて、領域サイズの検出閾値は記憶部１００２に格納される。閾値判定が真の場合（例えば、実サイズが設定された検出閾値以上となる場合）、動体判定部１０１４は、処理をステップＳ３１０に進める。

一方、閾値判定が偽の場合（例えば、実サイズが設定された検出閾値未満となる場合）、動体判定部１０１４は、処理をステップＳ３１１に進める。

ステップＳ３１０において、動体判定部１０１４は、差分領域を動体として検出する。ステップＳ３０８及びＳ３０９の閾値判定で真と判定された画素差分領域について、動体判定部１０１４は動体と判定し、画素差分領域の座標位置、カメラからの距離、実サイズ、実移動量等の数値を記憶部１００２に格納する。また、動体判定部１０１４は、検出した動体の情報を、通信部１００５を介して外部機器２０００に出力する。検出した情報に基づいて、外部機器２０００は警告を発することや、検出情報を画像に重畳する等の方法でユーザーに通知することが可能である。また、ユーザーが対象を選択し、選択された対象の情報のみ通知する等の利用も可能である。

ステップＳ３１１において、動体判定部１０１４は、未処理の画像差分領域があるか否かを判定する。先のステップＳ３０２の処理において複数の画素差分領域を取得した場合に、動体判定部１０１４は、取得した全ての画素差分領域に対して動体検出判定処理を行ったか否かを判定する。動体検出判定処理を行っていない画素差分領域があれば（Ｓ３１１−Ｙｅｓ）、動体判定部１０１４は、処理をステップＳ３０４に戻し、未判定の画素差分領域について、同様の動体検出判定処理が行われる。全ての画素差分領域について動体検出判定が終了していれば（Ｓ３１１−Ｎｏ）、動体検出処理を終了する。

以上、図４を参照して画像処理部１００７の処理について説明したが、図４に示すフローチャートは、本発明における処理の一例を説明したものである。例えば、ステップＳ３０２において画素を併合する際、隣接する画素だけではなく、併合する画素を所定の範囲内に位置する周辺数画素に拡張する等、本発明の要旨の範囲内で、種々の変形及び変更が可能である。また、動体検知処理の使用用途に応じて、実サイズのみに対して閾値判定を行ったり、もしくは実移動量のみに対して閾値判定を行うことも可能である。実サイズのみに対して閾値判定を行う場合はＳ３０７〜Ｓ３０８までの処理を省略することが可能である。また、実移動量のみに対して閾値判定を行う場合はＳ３０９の処理を省略することが可能である。このように使用用途に応じた動体検出判定処理を行うことにより、判定処理に要する処理負荷を軽減し、より高速な判定結果の出力を可能にすることができる。

第１実施形態では、現在の画像フレームと過去の画像フレームにより得られる全ての画素差分領域に対して、複数の撮像光学系から得られる画像フレームにおける画素差分領域の差異を用いてカメラからの距離を計測し、カメラからの距離を用いて得られる画素差分領域の実サイズの閾値判定と画素差分領域の実移動量の閾値判定とを行うことで、画素差分領域の動体検出判定を行う。

これにより、画素差分領域の動体検出判定を、画素差分領域のカメラからの距離に応じて正確に行うことができ、複雑な処理を必要とせずに正確な動体検出が可能になる。

図１１は、動体の判定結果を例示的に説明する図である。従来の画像間差分による動体検知方式では、近くに映った、小さな物体Ａ（例えば、葉っぱ等）の揺れ等の動きが動体として検出されないように、画素差分の閾値を設定していた。しかしながら、従来の画素差分の閾値設定では、遠くにある、大きな物体Ｂ（例えば、人など）は、手前の物体Ａと同じくらい動いたとしても、画素差分（画素変化）が少ないため、設定された画素差分の閾値を超えず、動体として検出されない場合も生じ得る。

本実施形態では、動体候補領域の実移動量に対する閾値（例えば、２０ｃｍ）および動体候補領域の大きさに対する閾値（例えば、２０ｃｍ）を設定する。距離が遠い物体Ｂ（例えば、人など）が２０ｃｍを超えて移動する場合には移動量の閾値を超え、かつ、大きさの閾値も超えることになるので、遠くにある、大きな物体Ｂを動体として検出することが可能になる。また、近くに映った、小さな物体Ａ（例えば、葉っぱ等）については、例えば、設定された大きさの閾値２０ｃｍ以下であれば、大きさに対する閾値以下となり、小さな物体Ａは動体として検出されない。本実施形態の構成によれば、撮像部からの距離が遠いために見かけ上の動体差分値が小さくなってしまう動体の検出を正確に行うことが可能となる。

（第２実施形態）
本発明の第２実施形態に係る画像処理装置を図５〜７を参照して説明する。図５は、撮像部として機能するカメラ１０００（監視カメラ）の内部構成を表すブロック図である。尚、図５の内部構成において、制御部１００１、圧縮符号化部１００４、撮像制御部１００６は、第１実施形態(図１)と同様であるため説明を省略する。

記憶部１１０２は、制御部１００１が実行するプログラム格納領域、プログラム実行中のワーク領域、検出閾値等の設定値の格納領域として機能することが可能である。また、記憶部１１０２は、後述する撮像部１１０３が生成する撮像画像の格納領域、後述する距離測定機器２００１から通信部１１０５が入力を受けた距離および方位情報の格納領域として機能することが可能である。更に、記憶部１１０２は、画像処理部１１０７が取得する動体検出の判定結果、及び検出情報等の格納領域として機能することが可能である。

撮像部１１０３は、カメラ１０００の撮像光学系１１０８により結像された被写体の像を撮像し、取得したアナログ信号をデジタルデータに変換した撮像画像を記憶部１１０２に出力する。本実施形態において、カメラ１０００は単一の撮像光学系１１０８を有しており、撮像部１１０３はカメラ１０００の撮像光学系１１０８により取得した撮像画像を記憶部１１０２に出力する。撮像画像が撮像部１１０３から記憶部１１０２に出力された時、制御部１００１は、撮像部１１０３から画像取得イベントを受信する。

通信部１１０５は外部の情報処理装置などの外部機器と通信により情報の送受信が可能であり、通信部１１０５は閾値設定等の各制御コマンドを外部機器２０００から受信する時、また、各制御コマンドに対するレスポンスや記憶部１１０２に格納された画像データ及び動体検出の要否判定結果等の様々なデータを外部機器２０００へ送信することが可能である。また、通信部１１０５はカメラ１０００に接続された距離測定機器２００１から距離等の情報を受信する時に使用される。距離測定機器２００１として、例えば、赤外線レーダー測距器やミリ波レーダー測距器等を使用することが可能である。通信部１１０５が外部機器２０００からコマンドを取得した場合、制御部１００１は通信部１１０５からコマンド受信イベントを受信する。

画像処理部１１０７は、カメラ１０００で撮像した撮像画像の画像フレームから動体を検出する。画像処理部１１０７は、記憶部１１０２に格納された撮像画像の解析を行い、画像中の動体を検出する。画像処理部１１０７が動体を検出した場合、制御部１００１は画像処理部１１０７から動体検出イベントを受信する。

図６は、第２実施形態に係る画像処理部１１０７の機能構成例を示すブロック図である。図６に示すブロック図において、取得部１０１１、併合部１０１２、動体判定部１０１４は第１実施形態（図２）と同様であるため、説明を省略する。

設定部１１１３は、画素差分領域に対して距離測定機器２００１で取得した距離を設定する。設定部１１１３は、距離測定機器２００１で取得した複数の距離のうち、カメラ１０００が有する少なくとも一つの撮像光学系の撮像方向に対して距離測定機器の計測方向が近似している計測方向で取得された距離を選択し、選択した距離を画素差分領域（動体候補領域）に対して設定する。例えば、設定部１１１３は、距離測定機器２００１が取得し、記憶部１１０２に格納されている距離情報の中から、併合部１０１２により取得した画素差分領域に適合する距離情報を選定することが可能である。

図５に示したカメラ１０００の内部構成、及び図６に示した処理ブロックは、例示的なものであり、本実施形態の構成は、この例に限定されるものではない。例えば、撮像光学系１１０８の構成として、複数の撮像光学系を設けることが可能である。また、複数の撮像光学系に対応した距離情報を、設定部１１１３を選択することも可能であり、本発明の要旨の範囲内で、種々の変形及び変更が可能である。

次に、本実施形態に係る画像処理部１１０７の処理を図７のフローチャートを参照して説明する。

ステップＳ４０１において、取得部１０１１は、第１の画像フレーム（現在画像フレーム）と第１の画像フレームと異なるタイミングの第２の画像フレーム（過去画像フレーム）との間の画素差分の取得を行う。記憶部１１０２に格納された第１の画像フレーム（現在画像フレーム）との画素差分を検出するための撮像画像（第２の画像フレーム）として、直前の画像フレームを使用することや記憶部１１０２に保存しておいた過去画像フレームを使用することも可能である。

ステップＳ４０２において、併合部１０１２は、先のステップＳ３０１の処理で差分が検出された画素差分を併合（マージ）し、画素差分領域（動体候補領域）の生成（統合）を行う。併合部１０１２は、ステップＳ３０１で画素差分が検出された場合、隣接する画素を併合して画素差分領域を生成する。併合部１０１２は、隣接する画素を一つの画素差分領域に併合し、隣接していない画素が複数ある場合は画素差分領域を複数生成する。尚、ステップＳ４０１で画素差分が取得されなかった場合、これ以降の処理は行なわない。

ステップＳ４０３において、設定部１１１３は、先のステップＳ４０２の処理で取得した画素差分領域に対して、距離測定機器で取得した距離のうち適合する距離を選択する（適合処理）。画素差分領域に対して、距離測定機器で取得した距離のうち適合する距離を選択する方法の一つとして、例えば、カメラ１０００の撮像光学系１１０８の撮像方向と距離測定機器２００１の計測方向とを一致させ、距離測定機器で距離を取得した方位と画像フレーム中における画素差分領域の方位が近似しているものを選択する方法がある。ステップＳ４０２の処理で複数画素差分領域を取得している場合には、全ての画素差分領域に対して距離測定機器で取得した距離との適合処理を行う。

ステップＳ４０４において、動体判定部１０１４は動体検出判定処理を実行する。ステップＳ４０３の適合処理により取得した距離に基づいて、動体判定部１０１４は画素差分領域の実サイズを取得して、画素差分領域に対する動体検出判定処理を行う。この処理は、第１実施形態(図４、Ｓ３０４〜Ｓ３１１)で説明した処理と同様であるため省略する。図７のフローチャートは、画像処理部１１０７の内部処理を例示するものであり、種々の変更が可能である。例えば、動体検出判定処理では、動体検知処理の使用用途に応じて、実サイズのみに対して閾値判定を行ったり、もしくは実移動量のみに対して閾値判定を行うことも可能である。実サイズのみに対して閾値判定を行う場合はＳ３０７〜Ｓ３０８までの処理を省略することが可能である。また、実移動量のみに対して閾値判定を行う場合はＳ３０９の処理を省略することが可能である。このように使用用途に応じた動体検出判定処理を行うことにより、判定処理に要する処理負荷を軽減し、より高速な判定結果の出力を可能にすることができる。

第２実施形態では、現在の画像フレームと過去の画像フレームにより得られる全ての画素差分領域に対して、距離計測機器を用いてカメラからの実距離を計測し、カメラからの実距離を用いて得られる画素差分領域の実サイズの閾値判定と画素差分領域の実移動量の閾値判定とを行うことで、画素差分領域の動体検出判定を行う。これにより、画素差分領域の動体検出判定を、画素差分領域のカメラからの距離に応じて正確に行うことができ、複雑な処理を必要とせずに正確な動体検出が可能になる。例えば、撮像部からの距離が遠いために見かけ上の動体差分値が小さくなってしまう動体の検出を正確に行うことが可能となる。

（第３実施形態）
本発明の第３実施形態に係る画像処理装置を図８〜１０を参照して説明する。図８は、撮像部として機能するカメラ１０００（監視カメラ）の内部構成を表すブロック図である。尚、図８の内部構成において、制御部１００１、記憶部１００２、圧縮符号化部１００４、通信部１００５、撮像制御部１００６は、第１実施形態(図１)と同様であるため説明を省略する。

撮像部１２０３は、カメラ１０００の撮像光学系１２０８により結像された被写体の像を撮像し、取得したアナログ信号をデジタルデータに変換した撮像画像を記憶部１００２に出力する。本実施形態において、カメラ１０００は単一の撮像光学系１２０８を有しており、本実施形態では、単一の撮像光学系１２０８の構成として、二つの位相差のある像を取得できるセンサーを使用する。二つの位相差のある像を取得できるセンサーとして、例えば、各画素を左右２つに分割し、画素の左側と右側とで位相差のある２つの像を取得できるセンサーを使用することが可能である。撮像部１２０３はカメラ１０００の撮像光学系１２０８により取得した撮像画像を記憶部１００２に出力する。撮像画像が記憶部１００２に出力された時、制御部１００１は撮像部１２０３から画像取得イベントを受信する。

画像処理部１２０７は、カメラ１０００で撮像した撮像画像の画像フレームから動体を検出する。画像処理部１２０７は、記憶部１００２に格納された撮像画像の解析を行い、画像中の動体を検出する。画像処理部１２０７が動体を検出した場合、制御部１００１は画像処理部１２０７から動体検出イベントを受信する。

図９は、第３実施形態に係る画像処理部１２０７の機能構成例を示すブロック図である。図９に示すブロック図において、取得部１０１１、併合部１０１２、動体判定部１０１４は第１実施形態（図２）と同様であるため、説明を省略する。

計測部１２１３は、併合部１０１２で生成される画素差分領域（動体候補領域）に対して、カメラ１０００からの距離を計測する。撮像部１２０３は単一の撮像光学系１２０８より同時に取得した位相差のある撮像画像を用いて距離を計測する。第１実施形態で説明した複数の撮像光学系を使用する距離計測方法と同様に、画素差分領域（動体候補領域）の位相差、及び、分割した画素における左右の基線長、及び、撮像光学系の撮像画角を用いて、三角測量の原理に基づき距離の計測を行う。計測部１２１３は、三角測量の原理に基づき、記憶部１００２に格納された複数の現在画像フレームを使用して距離の計測を行う。尚、図８に示したカメラ１０００の内部構成、及び図９に示した処理ブロックは、例示的なものであり、本実施形態の構成は、この例に限定されるものではない。

次に、本実施形態に係る画像処理部１２０７の処理を図１０のフローチャートを参照して説明する。

ステップＳ５０１において、取得部１０１１は、第１の画像フレーム（現在画像フレーム）と第１の画像フレームと異なるタイミングの第２の画像フレーム（過去画像フレーム）との間の画素差分の取得を行う。記憶部１００２には現在画像フレームを複数格納することが可能である。画素差分の検出を行うために使用する現在画像フレームと過去画像フレームとの対は少なくとも１つ以上であり、取得部１０１１は、２つ以上の現在画像フレームと過去画像フレームとの対から画素差分を検出し動体検出の判定を行うことも可能である。また、現在画像フレームとの画素差分を取得するため、記憶部１００２に格納された撮像画像（第２の画像フレーム）として、直前の画像フレームを使用することや記憶部１００２に保存しておいた過去画像フレームを使用することも可能である。

ステップＳ５０２において、併合部１０１２は、先のステップＳ５０１の処理で差分が検出された画素差分を併合（マージ）し、画素差分領域（動体候補領域）の生成（統合）を行う。併合部１０１２は、ステップＳ５０１で画素差分が検出された場合、隣接する画素を併合して画素差分領域を生成する。併合部１０１２は、隣接する画素を一つの画素差分領域に併合し、隣接していない画素が複数ある場合は画素差分領域を複数生成する。尚、ステップＳ５０１で画素差分が取得されなかった場合、これ以降の処理は行なわない。

ステップＳ５０３において、計測部１２１３は、先のステップＳ５０２の処理で取得した画素差分領域に対してカメラ１０００からの距離を取得する。撮像部１２０３は、単一の撮像光学系１２０８により同時に取得され、記憶部１００２に格納された位相差のある複数の現在画像フレームを使用して距離計測を行う。ステップＳ５０２の処理で複数の画素差分領域が取得されている場合、計測部１２１３は、全ての画素差分領域に対して距離測定を行う。

ステップＳ５０４において、動体判定部１０１４は動体検出判定処理を実行する。ステップＳ５０３で取得した距離に基づいて、動体判定部１０１４は画素差分領域（動体候補領域）の実サイズを取得して、画素差分領域に対する動体検出判定処理を行う。この処理は、第１実施形態(図４、Ｓ３０４〜Ｓ３１１)で説明した処理と同様であるため省略する。図９のフローチャートは、画像処理部１２０７の内部処理を例示するものであり、種々の変更が可能である。

第３実施形態では、現在の画像フレームと過去の画像フレームにより得られる全ての画素差分領域に対して、単一の撮像光学系から同時に得られる位相差のある複数の画像フレームを用いてカメラからの実距離を計測する。カメラからの実距離を用いて得られる画素差分領域の実サイズの閾値判定と実移動量の閾値判定とを行うことで、画素差分領域の動体検出判定を行う。これにより、画素差分領域の動体検出判定を、画素差分領域のカメラからの距離に応じて正確に行うことができ、複雑な処理を必要とせずに正確な動体検出が可能になる。例えば、撮像部からの距離が遠いために見かけ上の動体差分値が小さくなってしまう動体の検出を正確に行うことが可能となる。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０００：カメラ、１００７：画像処理装置、１００８：撮像光学系、１０１１：取得部、１０１２：併合部、１０１３：計測部、１０１４：動体判定部

Claims (14)

1. 撮像手段で撮像した画像フレームから動体を検出する画像処理装置であって、
   第１の画像フレームの画素値と、前記第１の画像フレームと異なるタイミングの第２の画像フレームの画素値との差分を取得する取得手段と、
   前記取得手段により取得された前記差分に基づく動体候補領域に対応する被写体までの距離を計測する計測手段と、
   前記動体候補領域の大きさと、前記動体候補領域に対応する被写体までの距離とに基づいて、前記動体候補領域に対応する被写体が動体であるか判定する判定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記取得手段により取得された差分と、所定の閾値との比較結果に基づいて、前記所定の閾値を超える画素を前記動体候補領域としてまとめる併合手段を更に備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、
   前記動体候補領域と、前記動体候補領域とは異なるタイミングで取得された他の動体候補領域との比較により取得した前記動体候補領域の移動量、および、前記動体候補領域の大きさのうち、少なくともいずれか一方と閾値との比較結果に基づいて、前記動体候補領域に対応する被写体が動体であるか判定する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記判定手段は、
   前記異なるタイミングで前記他の動体候補領域に対応する被写体が動体として検出されていない場合、前記動体候補領域の大きさと閾値との比較結果に基づいて、前記動体候補領域に対応する被写体が動体であるか判定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記判定手段は、
   前記異なるタイミングで前記他の動体候補領域に対応する被写体が動体として検出され、かつ、前記動体候補領域に対応する被写体と前記他の動体候補領域に対応する被写体が同一である場合、
   前記動体候補領域の移動量と閾値との比較結果、及び前記動体候補領域の大きさと閾値との比較結果に基づいて、前記動体候補領域に対応する被写体が動体であるか判定する
   ことを特徴とする請求項３に記載の画像処理装置。
6. 前記判定手段は、前記動体候補領域の大きさが閾値を超える場合、前記動体候補領域に対応する被写体を動体として判定することを特徴とする請求項４に記載の画像処理装置。
7. 前記判定手段は、前記動体候補領域の移動量が閾値を超え、かつ、前記動体候補領域の大きさが閾値を超える場合、前記動体候補領域に対応する被写体を動体として判定することを特徴とする請求項５に記載の画像処理装置。
8. 前記計測手段は、複数の撮像光学系を有する前記撮像手段から同じタイミングで取得した複数の画像フレームにおける、前記動体候補領域の位置の差異を使用して、前記距離を計測することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記動体候補領域に対して距離測定機器で取得した距離を設定する設定手段を更に備え、
   前記設定手段は、前記距離測定機器で取得した複数の距離のうち、前記撮像手段が有する少なくとも一つの撮像光学系の撮像方向に対して前記距離測定機器の計測方向が近似している計測方向で取得された距離を選択し、当該距離を前記動体候補領域に対して設定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 前記計測手段は、単一の撮像光学系を有する前記撮像手段から同じタイミングで取得した位相差のある複数の画像フレームにおける、前記動体候補領域の位置の差異を使用して、前記距離を計測することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
11. 前記動体候補領域の大きさの比較に用いる閾値には、領域サイズの検出を行う最大のサイズ、及び、領域サイズの検出を行う最小のサイズのうち少なくとも一つが設定されていることを特徴とする請求項２または４に記載の画像処理装置。
12. 前記移動量の比較に用いる閾値には、移動量の検出を行う最大の移動量、及び移動量の検出を行う最小の移動量のうち少なくとも一つが設定されていることを特徴とする請求項３または５に記載の画像処理装置。
13. 撮像手段で撮像した画像フレームから動体を検出する画像処理装置の画像処理方法であって、
    取得手段が、第１の画像フレームの画素値と、前記第１の画像フレームと異なるタイミングの第２の画像フレームの画素値との差分を取得する取得工程と、
    計測手段が、前記取得手段により取得された前記差分に基づく動体候補領域に対応する被写体までの距離を計測する計測工程と、
    判定手段が、前記動体候補領域の大きさと、前記動体候補領域に対応する被写体までの距離とに基づいて、前記動体候補領域に対応する被写体が動体であるか判定する判定工程と、を有することを特徴とする画像処理方法。
14. 撮像手段で撮像した画像フレームから動体を検出する画像処理装置の画像処理方法を、コンピュータに実行させるプログラムであって、前記画像処理方法が、
    取得手段が、第１の画像フレームの画素値と、前記第１の画像フレームと異なるタイミングの第２の画像フレームの画素値との差分を取得する取得工程と、
    計測手段が、前記取得手段により取得された前記差分に基づく動体候補領域に対応する被写体までの距離を計測する計測工程と、
    判定手段が、前記動体候補領域の大きさと、前記動体候補領域に対応する被写体までの距離とに基づいて、前記動体候補領域に対応する被写体が動体であるか判定する判定工程と、を有することを特徴とするプログラム。

Images