JP2008160462A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2008160462A
JP2008160462A JP2006346534A JP2006346534A JP2008160462A JP 2008160462 A JP2008160462 A JP 2008160462A JP 2006346534 A JP2006346534 A JP 2006346534A JP 2006346534 A JP2006346534 A JP 2006346534A JP 2008160462 A JP2008160462 A JP 2008160462A
Authority
JP
Japan
Prior art keywords
moving
human body
area
unit
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006346534A
Other languages
English (en)
Other versions
JP5044207B2 (ja
Inventor
Toshiharu Takenouchi
利春 竹ノ内
Hiroshi Matsuda
啓史 松田
Hideo Mori
秀夫 森
Tadahiro Arakawa
忠洋 荒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2006346534A priority Critical patent/JP5044207B2/ja
Publication of JP2008160462A publication Critical patent/JP2008160462A/ja
Application granted granted Critical
Publication of JP5044207B2 publication Critical patent/JP5044207B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)
  • Interconnected Communication Systems, Intercoms, And Interphones (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】人体以外の移動体を人体として誤検出してしまうことを抑制できて、人体検出の信頼性を向上できる撮像装置を提供することにある。
【解決手段】撮像装置Aは、ドアホン親機Bに接続されるものであって、撮像手段10と、撮像手段10で撮像された画像から輪郭を抽出する輪郭抽出手段12aと、輪郭抽出手段12aで抽出した輪郭から移動体の輪郭を抽出する移動輪郭抽出手段12bと、移動輪郭抽出手段12bで抽出した移動体の輪郭に外接する矩形状の領域からなる移動領域を検出する移動領域抽出手段12cと、人体検出手段12eと、伝送手段15とを備え、人体検出手段12eは、時系列順に並んだ複数の画像間において移動領域を追跡し、追跡した移動領域について前記複数の画像からその移動距離を算出して当該移動距離が所定距離以上であれば当該移動領域が人体によるものと判定する人体検出判定を行うように構成されている。
【選択図】図1

Description

本発明は、ドアホンシステムに用いられ所定領域内に存在する人体の検出を行う撮像装置に関するものである。
従来から、画像処理により人体検出(人体検知)や追跡などを行う機能を有する撮像装置(センサカメラ)が提案されている(例えば、特許文献1,2参照)。
ここで、画像処理により人体検出を行う撮像装置としては、所定領域を撮像する撮像手段と、撮像手段で撮像された画像から輪郭を抽出する輪郭抽出手段と、輪郭抽出手段で抽出した輪郭から移動体の輪郭を抽出する移動輪郭抽出手段と、移動輪郭抽出手段で抽出した移動体の輪郭に外接する矩形状の領域からなる移動領域を検出する移動領域抽出手段と、移動領域抽出手段で抽出した移動領域に基づいて移動領域内の移動エッジ部分の方向値を抽出してそのエッジ方向値分布を作成する領域特徴量検出手段と、領域特徴量検出手段により作成されたエッジ方向値分布を元に人体検出を行う人体検出手段とを備えるものが提案されている。
特開2005−115932号公報 特開平8−249471号公報
ところで、人体検出を行うにあたってエッジ方向値分布を用いるのは、人体の輪郭(エッジ)には直線部分より曲線部分が多く且つ複雑な形状であるためにそのエッジ方向があらゆる方向に分布しているのに対して、構造物の影等のエッジは直線的な成分が多く、エッジの分布が偏った分布になりやすいという理由に基づいている。
しかしながら、人の体格や、姿勢などによってエッジ方向の分布の度合いが異なるので、人体判定の際の許容範囲を狭くすれば、人体による移動領域であっても人体ではないと判定されるケースが増え、一方、許容範囲を広くすれば、人体以外の移動体による移動領域を人体であると判定されるケースが増えてしまう。
特に、植物や、ネオン管を利用したネオンサインなどはその輪郭に曲線部分が多いため、例えば、撮像領域内に風によって揺れた植物などの移動体が存在した場合には、このような移動体による移動領域を人体によるものと判定して、人体以外の移動体を人体として誤検出してしまうことが多かった。
本発明は上述の点に鑑みて為されたもので、その目的は、人体以外の移動体を人体であると誤検出することを抑制できて、人体検出の信頼性を向上できる撮像装置を提供することにある。
上記の課題を解決するために、請求項1の発明では、住宅屋内外間の通話を可能とするドアホンシステム用のドアホン親機に接続される撮像装置であって、所定領域を撮像する撮像手段と、撮像手段で撮像された画像から輪郭を抽出する輪郭抽出手段と、輪郭抽出手段で抽出した輪郭から移動体の輪郭を抽出する移動輪郭抽出手段と、移動輪郭抽出手段で抽出した移動体の輪郭に外接する矩形状の領域からなる移動領域を検出する移動領域抽出手段と、移動領域に基づいて人体検出を行う人体検出手段と、撮像手段で撮像した画像を前記ドアホン親機に伝送する伝送手段とを備え、人体検出手段は、時系列順に並んだ複数の画像間において移動領域を追跡し、当該移動領域について前記複数の画像からその移動距離を算出して当該移動距離が所定距離以上であれば当該移動領域が人体によるものと判定する人体検出判定を行うように構成されていることを特徴とする。
請求項1の発明によれば、人体による移動領域が所定方向に向かって移動するような挙動を示すことが比較的多い一方で、風に揺れる植物などの人体以外の移動体による移動領域は往復移動するような挙動を示すことが比較的多い点に着目して、時系列順に並んだ複数の画像から移動領域の移動距離を算出して当該移動距離が所定距離以上であれば当該移動領域が人体によるものと判定するから、人体以外の移動体を人体として誤検出してしまうことを抑制できて、人体検出の信頼性を向上できる。また、人体検出手段における演算処理を追加するだけでよいから、新規に機器などを追加する必要がなく、低コスト化が図れる。
請求項2の発明では、請求項1の発明において、移動領域の移動距離は、前記複数の画像のうち時系列的に最初の画像における位置から時系列的に最後の画像における位置までの移動経路の距離であることを特徴とする。
請求項2の発明によれば、人体以外の移動体を人体として誤検出してしまうことを抑制できて、人体検出の信頼性を向上できる。
請求項3の発明では、請求項1の発明において、移動領域の移動距離は、前記複数の画像のうち時系列的に最初の画像における位置から時系列的に最後の画像における位置までの直線距離であることを特徴とする。
請求項3の発明によれば、所定方向に移動していくような移動領域と、往復移動するような移動領域とを区別しやすくなり、人体以外の移動体を人体として誤検出してしまうことをさらに抑制できて、人体検出の信頼性の向上が図れる。
請求項4の発明では、住宅屋内外間の通話を可能とするドアホンシステム用のドアホン親機に接続される撮像装置であって、所定領域を撮像する撮像手段と、撮像手段で撮像された画像から輪郭を抽出する輪郭抽出手段と、輪郭抽出手段で抽出した輪郭から移動体の輪郭を抽出する移動輪郭抽出手段と、移動輪郭抽出手段で抽出した移動体の輪郭に外接する矩形状の領域からなる移動領域を検出する移動領域抽出手段と、移動領域に基づいて人体検出を行う人体検出手段と、撮像手段で撮像した画像を前記ドアホン親機に伝送する伝送手段とを備え、人体検出手段は、時系列順に並んだ複数の画像間において移動領域を追跡し、当該移動領域について前記複数の画像において時系列的に隣接した画像間の動きベクトルを算出し、算出した動きベクトルの方向毎に動きベクトルの総数に対する割合を算出し、所定方向の動きベクトルの割合または全方向の動きベクトルの割合全てが所定割合以上であれば当該移動領域が人体によるものと判定する人体検出判定を行うように構成されていることを特徴とする。
請求項4の発明によれば、人体による移動領域が所定方向に向かって移動するような挙動を示すことが比較的多い一方で、風に揺れる植物などの人体以外の移動体による移動領域は往復移動するような挙動を示すことが比較的多い点に着目して、時系列順に並んだ複数の画像において時系列的に隣接した画像間の動きベクトルを算出し、算出した動きベクトルの方向毎に動きベクトルの総数に対する割合を算出し、所定方向の動きベクトルの割合または全方向の動きベクトルの割合全てが所定割合以上であれば当該移動領域が人体によるものと判定するから、人体以外の移動体を人体として誤検出してしまうことを抑制できて、人体検出の信頼性を向上できる。また、人体検出手段における演算処理を追加するだけでよいから、新規に機器などを追加する必要がなく、低コスト化が図れる。
請求項5の発明は、請求項1〜3のうちいずれか1項の発明において、人体検出手段は、人体検出判定を行うにあたっては、前記移動領域について前記複数の画像において時系列的に隣接した画像間の動きベクトルを算出し、算出した動きベクトルの方向毎に動きベクトルの総数に対する割合を算出し、前記移動距離が所定値以上で、且つ所定方向の動きベクトルの割合または全方向の動きベクトルの割合全てが所定割合以上であれば当該移動領域が人体によるものと判定する人体検出判定を行うように構成されていることを特徴とする。
請求項5の発明によれば、人体検出判定を行うにあたって、移動領域の移動距離だけではなく、移動領域の動きベクトルの方向を考慮するから、人体以外の移動体を人体として誤検出してしまうことをさらに抑制できて、人体検出の信頼性のさらなる向上が図れる。
請求項6の発明では、請求項1〜3のうちいずれか1項または請求項5の発明において、移動領域抽出手段は、抽出した移動領域群のなかに移動領域間の距離が所定値以下である移動領域群が存在した際にこれら移動領域群を内包する最小範囲の矩形状の領域からなる統合移動領域を作成するように構成され、人体検出手段は、前記移動領域を追跡するにあたっては統合移動領域を用い、移動距離を算出するにあたっては移動領域を用いるように構成されていることを特徴とする。
請求項6の発明によれば、移動距離を元に統合移動領域を作成し、統合移動領域を用いて移動領域の追跡を行うから、移動領域が複数に分割されてしまった場合でも追跡が行えて、移動領域の追跡精度を向上できる。また、移動領域と当該移動距離を含む統合移動領域とでは重心位置が異なるため、この重心位置の違いによって正しい移動距離が得られなくなるおそれがあるが、移動距離を算出するにあたっては統合移動領域を用いずに移動領域を用いるから、正しい移動距離が得られなくなってしまうことを抑制できる。
請求項7の発明では、請求項1〜3のうちいずれか1項または請求項5または請求項6の発明において、人体検出手段は、移動領域の移動方向に応じて当該移動方向における移動領域の移動距離に重みを持たせることを特徴とする。
請求項7の発明によれば、人体の移動方向が偏り易いような場合、例えば、人体が移動する方向となる蓋然性が高い移動方向における移動距離に重みを持たせて他の移動方向よりも移動距離が大きくなるようにすれば、人体とそれ以外の移動体との区別がし易くなり、人体以外の移動体を人体として誤検出してしまうことをさらに抑制できる。
請求項8の発明では、請求項1〜3および5から7のうちいずれか1項の発明において、人体検出手段は、移動領域の移動方向が同方向に連続した際に、当該移動方向に重みを持たせることを特徴とする。
請求項8の発明によれば、移動領域の移動方向が同方向に連続した際に、当該移動方向に重みを持たせるので、例えば、同方向に進むために人体である蓋然性が高いものの移動速度が極端に遅いために移動距離が所定距離以上とならず人体と判定されないような移動領域であっても、人体として判定することが可能となるから、人体検出の信頼性を増すことができる。
請求項9の発明では、請求項1〜3および5〜8のうちいずれか1項の発明において、人体検出手段は、画像上における移動領域の位置に応じて前記所定距離の値を変更するように構成されていることを特徴とする。
請求項9の発明によれば、撮像手段のレンズの歪みや、周辺光量比などの影響によって、移動領域の移動距離が変化してしまう分を補正することができて、信頼性の向上が図れる。
請求項10の発明では、請求項1〜9のうちいずれか1項の発明において、人体検出手段は、移動領域のサイズを元にして当該移動領域が人体によるものか否かを判定するように構成されていることを特徴とする。
請求項10の発明によれば、移動領域のサイズによっても人体か否かの判定を行うから、人体以外の移動体を人体として誤検出してしまうことをさらに抑制できる。
請求項11の発明では、請求項1〜10のうちいずれか1項の発明において、移動領域抽出手段で検出した移動体の移動領域に基づいて移動領域内の移動エッジ部分の方向値を抽出してそのエッジ方向値分布を作成する領域特徴量検出手段を備え、人体検出手段は、領域特徴量検出手段より得られるエッジ方向値分布を元に人体検出を行うように構成されていることを特徴とする。
請求項11の発明によれば、人体のエッジには直線部分より曲線部分が多く且つ複雑な形状であるためにそのエッジ方向があらゆる方向に分布していることを利用して、移動領域が人体であるか否かの判定を行うから、人体以外の移動体を人体として誤検出してしまうことをさらに抑制できる。
請求項12の発明では、請求項1〜11のうちいずれか1項の発明において、前記所定領域を検知範囲とする赤外線を利用した人体検知器を備え、人体検出手段は、前記人体検知器により人体を検知した際に、前記人体検出判定を行うように構成されていることを特徴とする。
請求項12の発明によれば、人体検知器により人体を検知した場合にのみ人体検出判定を行うので、人体である蓋然性がない移動領域しか得られていないときには、人体検出手段が人体検出判定を行わないから、人体以外の移動体を人体として誤検出してしまうことをさらに抑制できる。
請求項13の発明では、請求項1〜12のうちいずれか1項の発明において、前記所定領域の風速を検出する風速計を備え、人体検出手段は、風速計の出力が所定値以上である場合に、前記人体検出判定を行うように構成されていることを特徴とする。
請求項13の発明によれば、風速計の出力が所定値未満で、例えば、植物などが風で揺れず植物などを人体として誤検出してしまう蓋然性が低いときには人体検出判定を行わず、風速計の出力が所定値以上となり植物などを人体として誤検出してしまう蓋然性が高いときのみ人体検出判定を行うから、処理速度の向上が図れる。
請求項14の発明では、請求項1〜3および5〜13のうちいずれか1項の発明において、人体検出手段は、前記複数の画像間において移動領域が所定範囲外に移動していない場合には、前記所定距離を当該移動領域の最大移動距離より大きい値に設定することを特徴とする。
請求項14の発明によれば、所定範囲内に留まっているような移動領域は侵入者などの検出したい人体である蓋然性が低く、このような移動領域の最大移動距離よりも前記所定距離を大きい値に設定して当該移動距離を人体として判定しないようにするから、人体以外の移動体を人体として誤検出してしまうことをさらに抑制できる。
請求項15の発明では、請求項1〜3および5〜14のうちいずれか1項の発明において、移動領域抽出手段により移動領域を抽出した後に当該移動領域が画像上から消失するまでの間の当該移動領域の位置および前記移動距離を有する移動領域情報が記憶される領域情報記憶手段を備え、人体検出手段は、領域情報記憶手段に記憶された移動領域情報で表される移動領域が人体によるものでなければ、以後、前記移動領域情報に類似する移動領域情報で表される移動領域を人体ではないと判定するように構成されていることを特徴とする。
請求項15の発明によれば、人体によるものではないと判定された移動領域を表す移動領域情報に類似する移動領域情報で表される移動領域については人体ではないと判定するから、人体以外の移動体を人体として誤検出してしまうことをさらに抑制できる。
本発明は、人体による移動領域が所定方向に向かって移動するような挙動を示すことが比較的多い一方で、風に揺れる植物などの人体以外の移動体による移動領域は往復移動するような挙動を示すことが比較的多い点に着目して、移動領域が人体によるものか否かを判定するから、人体以外の移動体を人体として誤検出してしまうことを抑制できて、人体検出の信頼性を向上できるという効果を奏する。
(実施形態1)
本実施形態の撮像装置A(図1参照)は、図2に示すように、撮像装置Aで得られた画像をモニタする機能を備えるとともに住宅Dの屋内に設置されたドアホン親機Bと、住宅Dの屋外に設置されたドアホン子器Cとともに、住宅屋内外間の通話を可能とするドアホンシステムを構成している。なお、撮像装置Aは、住宅Dの庭に設置されている。
撮像装置Aは、例えば、ドアホン親機Bに接続されるセンサ付きカメラであって、図1に示すように、所定領域を撮像する撮像手段10により得られた画像を元に前記所定領域内の人の存在を検知する画像処理型の人体検出装置1と、前記所定領域を検知範囲とする赤外線(熱線)を利用した熱線式の人体検知器(PIR)2と、侵入者などに対する威嚇を行うための報知手段3とを備えている。
人体検出装置1は、画像処理型の人体検出装置であって、図1に示すように、主として所定領域を撮像する撮像手段10と、撮像手段10により得られた画像をドアホン親機Bに伝送する伝送手段15と、撮像手段10により得られた画像に基づいて人体検出を行う画像処理手段12と、これらの動作を制御する信号処理手段14とを備えている。
撮像手段10は、前記所定領域を時系列で連続して撮像するCCDイメージセンサなどの撮像素子(図示せず)と、撮像素子から出力される画像をデジタルデータに変換して濃淡画像を生成し、そのYUV信号を出力するA/Dコンバータとで構成されている。なお、撮像素子としては、CCDイメージセンサの他に、CMOSイメージセンサ等を使用してもよい。また、一般に、システムオンチップ(SoC)技術により製造されたCMOSイメージセンサは、パッケージ内にA/Dコンバータなどの処理回路を備えているので、CCDイメージセンサを用いる場合とは異なりA/Dコンバータを別途設けなくてもよい。
撮像手段10から出力された画像は、出力データ変換11および画像処理手段12に入力される。ここで、出力データ変換11は、撮像手段10から出力されたYUV信号からなる画像をNTSC(National TV Standards Committee)信号からなる画像に変換するYUV/NTSC変換機能を有しており、NTSC信号に変換した画像を伝送手段15に出力するように構成されている。
画像処理手段12は、撮像手段10により得られた画像情報に基づいて所定領域内の人の検出を行うためのものであって、図1に示すように、撮像手段10で撮像された画像から輪郭を抽出する輪郭抽出手段12aと、輪郭抽出手段12aで抽出した輪郭から移動体の輪郭を抽出する移動輪郭抽出手段12bと、移動輪郭抽出手段12bで抽出した移動体の輪郭を元に移動領域を抽出する移動領域抽出手段12cと、移動領域抽出手段12cで抽出した移動領域のエッジ方向値分布を作成する領域特徴量検出手段12dと、移動領域およびそのエッジ方向値分布を元にして人体検出を行う人体検出手段12eとを備えている。
輪郭抽出手段12aは、撮像手段10から得られる画像を、一般的に知られたSOBELフィルタなどを使用して微分処理(各画素の微分値を算出)して輪郭(エッジ)の抽出を行い、各画像の輪郭画像をRAMなどの記憶装置からなる輪郭画像記憶手段13に一定期間保存するものである。なお、輪郭抽出手段12aは、信号処理手段14から後述の開始信号を受け取った際に、動作を開始するように構成されている。つまり、画像処理手段12は、信号処理手段14から開始信号が出力された際に、動作を開始するようになっている。
移動輪郭抽出手段12bは、輪郭画像記憶手段13に保存された時系列の輪郭画像を用いて論理合成を行い、移動体の輪郭(以下、「移動輪郭」と称する)のみを抽出した合成画像を作成するものである。
移動領域抽出手段12cは、移動輪郭抽出手段12bで作成した合成画像をラベリングして移動体に相当する領域(以下、「移動領域」と称する)を検出するものであり、本実施形態では、移動領域を、移動輪郭に外接する矩形状(四角形)の領域(移動枠)で表わすように構成されている。
領域特徴量検出手段12dは、輪郭画像記憶手段13に保存されたエッジ画像と、移動領域抽出手段12cで検出した移動体の移動領域とに基づいて移動領域内の移動エッジ部分の方向値を抽出してそのエッジ方向値分布を作成し、このエッジ方向値分布を特徴量として出力するように構成されている。ここで、方向値(方向コード)は、輪郭抽出手段12aにおいて算出した各画素の微分値の濃度値の変化方向を示す値であって、45度刻みの8方向それぞれに対応付けられた整数値で表される。また、方向値は、画像内において濃度値の変化が最大になる方向に直交する方向を表すように設定される。したがって、各画素において方向値が示す方向は、エッジ上の画素を示す方向にほぼ一致する(各画素の方向コードが示す方向に対して±45度の範囲内で隣接する3画素が移動体のエッジ上の画素になる可能性が高い)。そして、エッジ方向値分布は、上述したように求めた方向値に関する度数分布を作成することによって得られる。なお、エッジ方向値分布を作成するにあたっては、方向が180度異なる方向値については、同じものとみなして取り扱うようにしてもよい。
人体検出手段12eは、移動領域抽出手段12cにより得られた移動領域、および領域特徴量検出手段12dより得られたエッジ方向値分布を元にして人体検出を行うように構成されている。
以下に、人体検出手段12eによる人体検出動作について説明する。まず、人体検出手段12eでは、移動領域抽出手段12cより得られた移動領域のサイズを元にして、その移動領域が人体によるものか否かの判定を行う(第1判定)。例えば、この第1判定では、移動領域のサイズが所定の範囲内の含まれる場合には、当該移動領域を人体によるものと判定する。ここで、前記所定の範囲は、人体の移動領域のサイズに基づいて決定されるものであって、例えば、移動領域の縦方向の長さ(すなわち移動領域の縦方向の画素数)および横方向の長さ(すなわち移動領域の横方向の画素数)それぞれが所定の範囲内の値で、且つ縦方向の長さが横方向の長さよりも大きい場合に、その移動領域を人体によるものであると判定する。
上述した第1判定によれば、移動領域抽出手段12cにより検出された複数の移動領域の中から人体によるものではない移動領域が除去され、除去されなかった移動領域、すなわち第1判定により人体によるものであると判定された移動領域については、第2判定である人体検出判定が行われる。
人体検出判定は、時系列順に並んだ複数の画像間において移動領域を追跡し、追跡した移動領域について前記複数の画像からその移動距離を算出して当該移動距離が所定距離以上であれば当該移動領域が人体によるものと判定する。なお、移動領域を追跡する時間としては、移動領域を抽出した後に当該移動領域が画像上から消失するまでの間とすることが好ましい。
以下に人体検出判定について図3(a),(b)を参照して説明する。なお、画像間における移動領域の追跡方法としては、移動領域の類似度を算出するなど、従来周知の方法を用いることができるから詳細な説明は省略し、移動距離の算出を行う方法についてのみ説明する。また、図3(a),(b)では、時系列順に並んだ9枚の画像においてそれぞれ移動領域Fが得られており、ここで、時系列を区別するために、必要に応じて時系列的に古い移動領域Fから順に移動領域Fを符号F1〜F9で示す。ただし、図3(b)では、移動領域F1と移動領域F9とが、移動領域F2と移動領域F8とが、移動領域F3と移動領域F7とが、移動領域F4と移動領域F6とがそれぞれ同じ位置に位置している。
人体検出判定において、移動領域Fの移動距離の算出を行うにあたっては、まず、追跡した移動領域Fについて時系列的に隣接した画像間の動きベクトルを算出する。動きベクトルは、移動領域Fの重心位置の座標の差分を計算することによって算出することができる。次に、算出した動きベクトルの大きさの合計値を計算し、この合計値を移動領域の移動距離として用い、移動距離が所定距離以上であれば、移動領域を人体によるものであると判定する。ここで、人体か否かの判定に用いられる前記所定距離は、実際に得られた移動領域の移動距離などを元にして好適な値に設定すればよい。
例えば、移動領域Fnから移動領域Fn+1(n=1〜8)に移動した際の動きベクトルをVn=(xn,yn)とすれば、移動領域Fの移動距離は、(x1+y11/2+(x2+y21/2+(x3+y31/2+(x4+y41/2+(x5+y51/2+(x6+y61/2+(x7+y71/2+(x8+y81/2で表すことができる。
このようにして得られた移動距離が所定距離以上であれば、移動領域Fを人体によるものであると判定する一方、所定距離未満であれば、移動領域Fを人体によるものではないと判定する。
なお、移動距離を、上記の方法の他に、動きベクトルの各成分の絶対値の合計値を用いて評価するようにしてもよく、このような場合は、移動距離のX軸方向成分(画像の横方向成分)がX軸方向用の所定距離以上で、かつY軸方向成分(画像の縦方向成分)がY軸方向用の所定距離以上であれば、その移動領域Fを人体によるものであると判定する。例えば、上述した動きベクトルV1〜V8においては、移動距離のX軸方向成分は、|x1|+|x2|+|x3|+|x4|+|x5|+|x6|+|x7|+|x8|で与えられ、Y軸方向成分は、|y1|+|y2|+|y3|+|y4|+|y5|+|y6|+|y7|+|y8|で与えられる。このようにすれば、移動距離を算出するにあたっての計算量を減じることができて処理能力の向上が可能となる。
つまり、人体検出判定では、移動領域Fが人体による場合は、図3(a)に示すように、所定方向に移動するような挙動を示すのに対して、移動領域Fが植物などの人体以外の移動体による場合は、図3(b)に示すように、風によって往復移動するような挙動を示すことに着目して、時系列順に並んだ複数の画像から移動領域Fの移動距離を算出して当該移動距離が所定距離以上であれば当該移動領域Fが人体によるものと判定する。
ところで、人体検出手段12eは、移動領域抽出手段12cにより移動領域Fを抽出した後に当該移動領域Fが画像上から消失するまでの間の前記移動距離および移動領域Fの位置(例えば、重心位置)からなる移動領域情報を、RAMなどの記憶装置からなる領域情報記憶手段16に記憶するように構成されている。
加えて、人体検出手段12eは、領域情報記憶手段16に記憶された移動領域情報で表される移動領域Fが人体によるものでなければ、以後、前記移動領域情報に類似する移動領域情報で表される移動領域Fを人体ではないと判定するように構成されている。
したがって、人体検出判定を行うにあたっては、上述したような移動領域Fの移動距離に基づく人体判定に加えて、移動領域Fの位置および移動距離からなる移動領域情報が、領域情報記憶手段16に記憶された人体ではない移動領域Fの移動領域情報に類似するかどうかの判定が行われる。この判定の結果、移動領域情報が類似するならば、たとえ移動距離が所定距離以上であるような移動領域Fであっても人体によるものではないと判定される。なお、移動領域情報が類似するか否かは、人体検出判定の対象となる移動領域Fの位置および移動距離が、領域情報記憶手段16に記憶された移動領域情報の位置および移動距離とどの程度異なっているかなどによって行う。
上述した人体検出判定により人体によるものであると判定された移動領域については、領域特徴量検出手段12dより得られたエッジ方向値分布を元にして人体検出が行われる(第3判定)。つまり、第3判定は、第1判定および第2判定により除去されなかった移動領域について、その移動領域が人体によるものであるか否かの判定を行うものである。この第3判定では、人体の輪郭(エッジ)には直線部分より曲線部分が多く且つ複雑な形状であるためにそのエッジ方向があらゆる方向に分布しているのに対して、構造物の影等のエッジは直線的な成分が多く、エッジ方向の分布が偏った分布になりやすいことを利用して人体検出を行い、例えば、エッジ方向値分布が偏りなく均等に分布していれば、人体であると判断する。なお、移動領域が人体を表わしている否かを判定するために、エッジ方向値分布をテーブルに格納し、人体の動きによるエッジ方向値分布テーブルと互いの分布を比較するようにしてもよく、その他の様々な方法を用いることができる。
信号処理手段14は、CPU等で構成されるもので、人体検出装置1の各手段の動作を制御する機能をソフトウェア等により実現しており、この信号処理手段14には、報知手段3が接続されている。そして、この信号処理手段14では、人体検知器2の後述する人体検知信号を受け取った際に、前述の開始信号を画像処理手段12に出力し、この後に、画像処理手段12から人体検出信号を受け取った際に、伝送手段15に伝送開始信号を出力するとともに、報知手段3に報知開始信号を出力するように構成されている。
また、信号処理手段14は、人体検出信号を受け取ってから所定時間が経過した後に、伝送手段15に伝送終了信号を出力するように構成されている。さらに、信号処理手段14は、人体検出信号を受け取ってから所定時間が経過した後に、報知手段2に報知終了信号を出力するように構成されている。なお、伝送終了信号及び報知終了信号を出力するタイミングは、使用者が自由に設定できるようにしてもよい。
伝送手段15は、出力データ変換手段11から出力されるNTSC信号を伝送用の信号に変調してドアホン親機Bへ出力するものであり、信号処理手段14から伝送開始信号を受け取った際に伝送を開始し、伝送終了信号を受け取った際に伝送を終了するように構成されている。なお、伝送手段15からドアホン親機Bへの画像データの伝送のタイミングは、撮像手段10の撮像のタイミングと同期させている。
人体検知器2は、人体検出装置1とは異なる方法で検知領域内の人体検知を行い、夜間においても感度低下を引き起こすことのないもので、検知領域からの熱線を集光する光学系を構成するレンズ2aと、集光した熱線の変化を電気信号に変換する焦電素子2bと、電気信号を増幅する増幅回路2cと、増幅した信号のレベルを閾値と比較して検知領域内の人の滞在を検知する比較器2dとを備え、人体から放出される熱線によって人体を検知した時には前述の人体検知信号を信号処理手段14へ出力する。
報知手段3は、侵入者に対して威嚇用の報知を行うためのものであって、視覚的な威嚇に用いられるライト3aや、聴覚的な威嚇に用いられるブザーやスピーカなどの電気音響変換器(図示せず)等を備えており、信号処理手段14から報知開始信号を受け取ってから報知終了信号を受け取るまでの間、ライト3aを点灯したり、電気音響変換器から音声を出力したりするように構成されている。
以上により撮像装置Aは構成されており、次に、ドアホン親機Bについて説明する。ドアホン親機Bは、図1に示すように、撮像装置Aから伝送された画像データに基づいて画像表示を行う監視装置B1を備えるとともに、ドアホン子器Cとの間で通話を行うための通話装置B2を備えている。
監視装置B1は、伝送手段(以下、「親側伝送手段」と称する)4と、信号処理手段(以下、「親側信号処理手段」と称する)5と、液晶ディスプレイ(LCD)等の画像表示手段6と、録画手段7と、RAM等の記憶装置からなる記憶手段7aと、再生手段8と、画像表示手段6の前面に設置される透明なタッチパネルなどからなる入力手段9とを備えている。親側伝送手段4は、撮像装置Aの伝送手段15と通信を行うためのものであり、撮像装置Aの伝送手段15と接続線Lによって接続されている。
親側信号処理手段5は、例えば、CPU等からなり、親側伝送手段4で受信した画像を復調して、順次、画像表示手段6に表示する機能をソフトウェア等により実現している。録画手段7は、撮像装置Aから伝送された画像を記憶手段7aに順次録画するものである。再生手段8は、記憶手段7aに録画された画像を、画像表示手段6に表示するものである。
入力手段9は、ドアホン親機Bの各種機能をユーザが選択するために用いられる。また、入力手段9は、撮像装置Aで人体によるものであると判定された移動領域Fについて、その判定が誤りである場合に、当該移動領域Fが人体によるものではないことを撮像装置Aに通知する訂正信号を撮像装置Aに出力するためにも用いられる。
これに対応して、親側信号処理手段5は、入力手段9によって前記訂正信号を出力するための入力が為された際には、親側伝送手段4より前記訂正信号を出力するように構成されている。親側伝送手段4から出力された前記訂正信号は、接続線Lおよび伝送手段15を介して撮像装置Aの信号処理手段14に伝送される。
ここで、撮像装置Aの信号処理手段14は、前記訂正信号を受け取った際に、画像処理手段12に人体検出手段12eによる判定が誤りであることを示す誤検出信号を出力するように構成されている。また、人体検出手段12eは、前記誤検出信号を受け取った際に、人体であると判定した移動領域Fを人体によるものではないと訂正する、具体的には、領域情報記憶手段16に記憶された移動領域情報の書き換えを行うように構成されており、以後、書き換えられた移動領域情報に類似する移動領域情報で表される移動領域Fは、人体によるものではないと判定されることになる。
したがって、撮像装置Aにおいて人体によるものではない移動領域Fを人体として判定してしまった際に、入力手段9によってその誤りを指摘することにより、人体検出手段12eでは、これ以後、誤検出した移動領域Fの移動領域情報と類似する移動領域情報を有する移動領域Fについては人体であると判定しないようになるので、人体以外の移動体を人体として誤検出してしまうことをさらに抑制できる。
通話装置B2は、ドアホン子器Cとの間で通話を行うためのものであって、ドアホン子器Cとの間で音声データ等の送受信を行う通信部(図示せず)や、音声入力用のマイク(図示せず)、音声出力用のスピーカ(図示せず)等を備えている。なお、ドアホン子器Cがカメラ付きのものであるならば、ドアホン子器Cの動作時に、ドアホン子器Cのカメラで撮像した画像を、画像表示手段6に表示するようにしてもよい。なお、ドアホン子器Cについては従来周知のものを採用できるので説明は省略する。
以上により撮像装置Aは構成されており、以下に、撮像装置Aの動作について説明する。撮像装置Aは、起動している間は、常時、撮像手段10により所定領域を撮像しており、撮像手段10により得られた画像は、画像処理手段12に送られる一方、出力データ変換手段11を経由して伝送手段15に送られる。
ここで、人体検知器2によって人体が検知され人体検知信号が信号処理手段14に伝送されると、信号処理手段14から画像処理手段12に開始信号が出力されて、画像処理手段12に送られた画像には、上述したように画像処理手段12による解析処理が為され、人を検出した際には、人体検出信号が画像処理手段12から信号処理手段14へ出力される。
人体検出信号を受け取った信号処理手段14は、伝送手段15に伝送開始信号を出力するとともに、報知手段3に報知開始信号を出力し、報知手段3では、侵入者に対する威嚇用の報知が行われる。この報知は、例えば、信号処理手段14から報知終了信号を受け取るまで継続される。一方、伝送開始信号を受け取った伝送手段15では、出力データ変換手段11によりYUV信号からNTSC信号に変換された画像データが伝送用に変調されて、ドアホン親機Bへ順次伝送される。この伝送は、信号処理手段14からは伝送終了信号が出力されるまで継続される。
以上述べた本実施形態の撮像装置Aによれば、人体による移動領域Fが図3(a)に示すように所定方向に向かって移動するような挙動を示すことが比較的多い一方で、風に揺れる植物などの人体以外の移動体による移動領域Fが図3(b)に示すように往復移動するような挙動を示すことが比較的多い点に着目して、時系列順に並んだ複数の画像から移動領域Fの移動距離を算出して当該移動距離が所定距離以上であれば当該移動領域Fが人体によるものと判定するから、人体以外の移動体を人体として誤検出してしまうことを抑制できて、人体検出の信頼性を向上できる。また、人体検出手段12eにおける演算処理を追加するだけでよいから、新規に機器などを追加する必要がなく、低コスト化が図れる。
また、人体検出手段12eは、移動領域Fのサイズを元にして当該移動領域Fが人体によるものか否かを判定する第1判定を行うことによって、移動領域Fのサイズによっても人体か否かの判定を行うから、人体以外の移動体を人体として誤検出してしまうことをさらに抑制できる。加えて、移動領域抽出手段12bで検出した移動体の移動領域Fに基づいて移動領域F内の移動エッジ部分の方向値を抽出してそのエッジ方向値分布を作成する領域特徴量検出手段12dを備え、人体検出手段12eは、領域特徴量検出手段12dより得られるエッジ方向値分布を元に人体検出を行うように構成されており、人体のエッジには直線部分より曲線部分が多く且つ複雑な形状であるためにそのエッジ方向があらゆる方向に分布していることを利用して、移動領域Fが人体であるか否かの判定を行うから、人体以外の移動体を人体として誤検出してしまうことをさらに抑制できる。
加えて、撮像装置Aは、前記所定領域を検知範囲とする赤外線を利用した人体検知器2を備え、人体検知器2により人体を検知した際に、人体検出手段12eにおいて人体検出判定を含む各判定を行うようにしているので、人体検知器2より人体が検知されていないときには、つまり人体である蓋然性がない移動領域Fしか得られていないときには、人体検出手段12eが人体検出判定を含む各判定を行わないから、人体以外の移動体を人体として誤検出してしまうことをさらに抑制できる。
ところで、移動領域抽出手段12dによって抽出される移動領域Fは、もとは一つの移動体によるものであっても、外乱等の様々な原因によって、複数に分割されてしまうことがある。そこで、移動領域抽出手段12dに、抽出した移動領域群のなかに移動領域F間の距離が所定値以下である移動領域群が存在した際にこれら移動領域群を内包する最小範囲の矩形状の領域からなる統合移動領域を作成する機能を持たせてもよい。
例えば、図4(a)に示すように、移動領域抽出手段12dによって2つの移動領域F(以下、必要に応じて図4(a)における上方の移動領域Fを符号F10で示し、下方の移動領域Fを符号F11で示す)が抽出された際に、移動領域F10,F11間の距離が前記所定値以下であれば、これら移動領域F10,F11からなる移動領域群を内包する最小範囲の矩形状の領域からなる統合移動領域Gを作成する。
そして、人体検出手段12eにおいてこのような統合移動領域Gを用いて移動領域Fの追跡を行うようにすれば、移動領域Fが複数に分割されてしまった場合でも追跡が行えて、移動領域Fの追跡精度を向上できる。
ところで、図4(a)に示す画像の次(時系列的に次)の画像において、図4(b)に示すように、移動領域F11のみが抽出された場合には、統合移動領域Gの作成は行われない。このような場合、実際の移動領域F10間の移動距離は図4(b)に破線で示す移動領域F10の位置P1と図4(b)に実線で示す移動領域F10の位置P2との間の距離であるが、統合移動領域Gを用いて人体検出判定を行った場合には移動領域F10間の移動距離が統合移動領域Gの位置P3と前記実線で示す移動領域F10の位置P2との間の距離として与えられてしまう。すなわち、移動領域F10と当該移動領域F10を含む統合移動領域Gとでは重心位置が異なるため、統合移動領域Gと移動領域F10との移動距離を算出した場合には、上述したような重心位置の違いによって正しい移動距離が得られなくなるおそれがある。
そのため、移動領域Fを追跡するにあたっては統合移動領域Gを用い、移動距離を算出するにあたっては移動領域Fを用いることが好ましく、このようにすれば、移動領域Fの追跡精度を向上できるとともに、正しい移動距離が得られなくなってしまうことを防止できる。
なお、移動領域抽出手段12cにおける統合移動領域の作成方法は、上述のものに限らず、例えば、端点を有する移動輪郭からなる移動領域を検出した際に、この端点を有する移動領域を含む縦長の矩形状の領域内で、別の端点を有する移動領域を探索し、前記矩形状の領域内で端点を有する移動領域を結合して統合移動領域を形成するようにしてもよい。
また、撮像装置Aに、前記所定領域の風速を検出する風速計(図示せず)を設けて、風速計の出力が所定値以上である場合に、人体検出手段12eにおいて人体検出判定を行うようにしてもよい。このようにすれば、風速計の出力が所定値未満で、例えば、植物などが風で揺れず植物などを人体として誤検出してしまう蓋然性が低いときには人体検出手段12eにおいて人体検出判定を行わず(すなわち、第1判定および第3判定のみを行い)、風速計の出力が所定値以上となり植物などを人体として誤検出してしまう蓋然性が高いときのみ人体検出手段12eにおいて人体検出判定を行うから、処理速度の向上が図れる。
ところで、人体検出判定を行うにあたっては、複数の画像間において移動領域Fが所定範囲外に移動していない場合には、前記所定距離を当該移動領域の最大移動距離より大きい値に設定するようにしてもよい。このようにすれば、所定範囲内に留まっているような移動領域Fは侵入者などの検出したい人体などの移動体である蓋然性が低く、このような移動領域Fの最大移動距離よりも前記所定距離を大きい値に設定して当該移動距離を人体として判定しないから、人体以外の移動体を人体として誤検出してしまうことをさらに抑制できる。なお、前記所定範囲の大きさは、移動領域の大きさなどに応じて適宜設定すればよい。
また、画像上における移動領域Fの位置によっては、撮像手段10のレンズの歪みや、周辺光量比などの影響によって移動領域Fの移動距離の値が実際上の値から変化し、正しい移動距離の値が得られなくなるおそれがある。そこで、人体検出手段12eにおいて人体検出判定を行うにあたっては、画像上における移動領域Fの位置に応じて前記所定距離の値を、レンズの歪みなどの影響を考慮した値に変更するようにしてもよい。このようにすれば、レンズの歪みなどの影響を補正できて、さらなる信頼性の向上が図れる。
例えば、撮像手段10のレンズに歪みがあり、移動体が同じ距離を移動したときでも、画像の中心付近と周縁付近とでは、画像上を移動する距離が異なってしまう(周縁付近における移動距離が中心付近よりも短くなってしまう)場合には、レンズの歪みを考慮して、画像上における移動領域Fの位置が画像の中心から離れるにしたがって前記所定距離の値を小さくするようにすればよい。ここで、前記所定距離の値を小さくするにあたっては、画像上における移動領域Fの位置と画像の中心との横方向(水平方向)における距離のみを参照するようにしてもよいし、縦方向(鉛直方向)における距離のみを参照するようにしてもよい。また、前記所定距離の値は、画像上における移動領域Fと画像の中心との距離に応じて2次関数的に変化させる方法など、様々な手法を、状況に応じて適宜用いればよい。
(実施形態2)
本実施形態の撮像装置Aは、人体検出手段12eが人体検出判定において移動領域Fの移動方向に応じて当該移動方向における移動領域Fの移動距離に重みを持たせるように構成されている点で実施形態1と異なっている。なお、その他の構成については実施形態1と同様であるから説明を省略する。
本実施形態における人体検出手段12eでは、人体検出判定を行うにあたって、算出した移動領域Fの動きベクトルをその方向によって、図5に示すように45度刻みのVa〜Vhの8方向に分類し、方向毎に設定した重み係数Wa〜Whを当該方向の動きベクトルの大きさに乗算する処理を行う。なお、重み係数の設定方法の一例としては、植物が風に揺れる方向であるVa、Veに対応する重み係数Wa,Weよりも他の方向であるVb,Vc,Vd,Vf,Vg,Vhに対応する重み係数Wb,Wc,Wd,Wf,Wg,Whの値が大きくなるように設定する方法が挙げられる。
例えば、図3(a)に示す移動領域Fの場合、動きベクトルV1〜V6の方向がVb、動きベクトルV7,V8の方向がVdであるから、移動領域F1から移動領域F9までの移動距離は、Wb・{(x1+y11/2+(x2+y21/2+(x3+y31/2+(x4+y41/2+(x5+y51/2+(x6+y61/2}+Wd・{(x7+y71/2+(x8+y81/2}で表すことができる。
また、図3(b)に示す移動領域Fの場合、動きベクトルV1〜V4の方向がVe、動きベクトルV5〜V8の方向がVaであるから、移動領域F1から移動領域F9までの移動距離は、We・{(x1+y11/2+(x2+y21/2+(x3+y31/2+(x4+y41/2}+Wa・{(x5+y51/2+(x6+y61/2+(x7+y71/2+(x8+y81/2}で表すことができる。
以上述べた本実施形態の撮像装置Aによれば、人体の移動方向が偏り易いような場合、例えば、人体が移動する方向となる蓋然性が高い移動方向における移動距離に重みを持たせて他の移動方向よりも移動距離が大きくなるようにすれば、人体とそれ以外の移動体との区別がし易くなり、人体以外の移動体を人体として誤検出してしまうことをさらに抑制できる。
ところで、上述したレンズの歪みなどの影響の補正を行うにあたっては、本実施形態のような重みを用いてもよい。例えば、撮像手段10のレンズに歪みがあり、移動体が同じ距離を移動したときでも、画像の中心付近と周縁付近とでは、画像上を移動する距離が異なってしまう(周縁付近における移動距離が中心付近よりも短くなってしまう)場合には、レンズの歪みを考慮して、画像上における移動領域Fの位置が画像の中心から離れるにしたがって重みを変更するようにすればよい。
(実施形態3)
本実施形態の撮像装置Aは、人体検出手段12eが人体検出判定において移動領域Fの移動方向が同方向に連続した際に、当該移動方向に重みを持たせるように構成されている点で実施形態1と異なっている。なお、その他の構成については実施形態1と同様であるから説明を省略する。
本実施形態における人体検出手段12eでは、人体検出判定を行うにあたって、本実施形態においても実施形態2と同様に移動領域Fの動きベクトルをVa〜Vhの8方向に分類し、連続して同じ方向に移動した際に、方向毎に設定した重み係数Wa〜Whを当該方向の動きベクトルの大きさに乗算する処理を行う。なお、ここで、重み係数Wa〜Whは、実施形態2と同様の値に設定している。
例えば、図3(a)に示す移動領域Fの場合、動きベクトルV1〜V6の方向がVb、動きベクトルV7,V8の方向がVdであるから、移動領域F1から移動領域F9までの移動距離は、(x1+y11/2+Wb・{(x2+y21/2+(x3+y31/2+(x4+y41/2+(x5+y51/2+(x6+y61/2}+(x7+y71/2+Wd・(x8+y81/2で表すことができる。
以上述べた本実施形態の撮像装置Aによれば、移動領域Fの移動方向が同方向に連続した際に、当該移動方向に重みを持たせるから、例えば、同方向に進むために人体である蓋然性が高いものの移動速度が極端に遅いために移動距離が所定距離以上とならず人体と判定されないような移動領域であっても、人体として判定することが可能となるから、人体検出の信頼性を増すことができる。
(実施形態4)
本実施形態の撮像装置Aは、人体検出手段12eで行う人体検出判定における移動距離の算出方法が実施形態1と異なっている。なお、その他の構成については実施形態1と同様であるから説明を省略する。
本実施形態における人体検出手段12eは、人体検出判定を行うにあたっては、追跡した移動領域Fについて前記複数の画像において時系列的に隣接した画像間の動きベクトルを算出し、算出した動きベクトルの合成ベクトルの大きさを前記追跡した移動領域の移動距離として用いる。
例えば、図3(a),(b)に示すように、移動領域Fnから移動領域Fn+1(n=1〜8)に移動した際の動きベクトルをVn=(xn,yn)とすれば、移動領域Fの移動距離は、{(x1+x2+x3+x4+x5+x6+x7+x8)+(y1+y2+y3+y4+y5+y6+y7+y8)1/2で表すことができる。つまり、時系列順に並んだ複数の画像における時系列的に最初の画像の移動領域Fの位置から、時系列的に最後の画像の移動領域Fの位置に直線的に移動した際の動きベクトルの大きさを移動距離とするのである。
したがって、本実施形態の撮像装置Aによれば、上記実施形態1と同様の効果を奏する上に、図3(a)に示すように所定方向に移動していくような移動領域Fと、図3(b)に示すように往復移動するような移動領域Fとを区別しやすくなり、人体以外の移動体を人体として誤検出してしまうことをさらに抑制できて、人体検出の信頼性の向上が図れる。
なお、移動距離を、上記の方法の他に、動きベクトルの各成分の合計値を用いて評価するようにしてもよく、このような場合は、移動距離のX軸方向成分(画像の横方向成分)がX軸方向用の所定距離以上で、かつY軸方向成分(画像の縦方向成分)がY軸方向用の所定距離以上であれば、その移動領域Fを人体によるものであると判定する。例えば、上述した動きベクトルV1〜V8においては、移動距離のX軸方向成分は、x1+x2+x3+x4+x5+x6+x7+x8で与えられ、Y軸方向成分は、y1+y2+y3+y4+y5+y6+y7+y8で与えられる。このようにすれば、移動距離を計算するにあたっての計算量を減じることができて処理速度の向上を図ることが可能となる。
(実施形態5)
本実施形態の撮像装置Aは、人体検出手段12eで行う人体検出判定の方法が実施形態1と異なっている。なお、その他の構成については実施形態1と同様であるから説明を省略する。
本実施形態における人体検出手段12eは、時系列順に並んだ複数の画像間において移動領域Fを追跡し、追跡した移動領域Fについて前記複数の画像において時系列的に隣接した画像間の動きベクトルを算出し、算出した動きベクトルの方向毎に動きベクトルの総数に対する割合を算出し、所定方向の動きベクトルの割合が所定割合以上であれば当該移動領域が人体によるものと判定する人体検出判定を行うように構成されている。
以下に本実施形態における人体検出判定について図3(a),(b)、および図6(a),(b)を参照して説明する。なお、画像間における移動領域の追跡方法としては、移動領域の類似度を算出するなど、従来周知の方法を用いることができるから詳細な説明は省略し、前記割合の算出を行う方法についてのみ説明する。
人体検出判定において、前記割合の算出を行うにあたっては、まず、追跡した移動領域Fについて時系列的に隣接した画像間の動きベクトルを算出する。動きベクトルは、移動領域Fの重心位置の座標の差分を計算することによって算出することができる。
動きベクトルを算出した後には、動きベクトルを、実施形態2と同様に図5に示すVa〜Vhの8つの方向に分類し、これら方向Va〜Vh毎に動きベクトルの総数に対する割合を算出する。例えば、図3(a)に示す例では、動きベクトルの総数が8であるのに対して、Va:Vb:Vc:Vd:Ve:Vf:Vg:Vh=0:6:0:2:0:0:0:0であるから、割合としてはVbが75%、Vdが25%、Va,Vc,Ve,Vf,Vg,Vhが0%となり、棒グラフで示せば図6(a)に示すようなグラフが得られる。
一方、図3(b)に示す例では、動きベクトルの総数が8あるのに対して、Va:Vb:Vc:Vd:Ve:Vf:Vg:Vh=4:0:0:0:4:0:0:0であるから、割合としてはVaおよびVeが50%、Vb,Vc,Vd,Vf,Vg,Vhが0%となり、棒グラフで示せば図6(b)に示すようなグラフが得られる。
このようにして得られた動きベクトルの総数に対する方向毎の割合を用いて、移動領域Fが人体によるものか否かの判定が行われ、本実施形態では、所定方向の動きベクトルの割合が所定割合以上であれば、移動領域Fを人体によるものであると判定する。例えば、所定方向としては、人体(特に侵入者)が移動する蓋然性が高い方向であるVb,Vc,Vdを用い、Vb,Vc,Vdいずれかの割合が所定割合(例えば、70%)以上であれば、移動領域Fを人体によるものであると判定する。図3(a)および図6(a)に示す例であれば、Vbが75%であるから、上記条件を満たし、移動領域Fが人体によるものであると判定され、図3(b)および図6(b)に示す例であれば、Vb,Vc,Vdいずれもが0%であるから、上記条件を満たさず、移動領域Fが人体によるものであると判定されない。
以上述べた本実施形態の撮像装置Aによれば、人体による移動領域Fが所定方向に向かって移動するような挙動を示すことが比較的多い一方で、風に揺れる植物などの人体以外の移動体による移動領域Fは往復移動するような挙動を示すことが比較的多い点に着目して、時系列順に並んだ複数の画像において時系列的に隣接した画像間の動きベクトルを算出し、算出した動きベクトルの方向毎に動きベクトルの総数に対する割合を算出し、所定方向の動きベクトルの割合が所定割合以上であれば当該移動領域Fが人体によるものと判定するから、人体以外の移動体を人体として誤検出してしまうことを抑制できて、人体検出の信頼性を向上できる。また、人体検出手段12eにおける演算処理を追加するだけでよいから、新規に機器などを追加する必要がなく、低コスト化が図れる。
なお、本実施形態では、所定方向の動きベクトルの割合が所定割合以上であれば、その移動領域が人体によるものであると判定するようにしているが、風に揺れる植物などの移動方向が特定の方向に偏り易いのに対して人体は全方向に移動する可能性がある点を考慮して、全方向の動きベクトルの割合全てが所定割合以上であれば、人体と判定するようにしてもよい。
ところで、本実施形態で述べた人体検出判定の方法は、実施形態1〜4それぞれにおいても行うようにしてもよく、人体検出手段12eにおいて人体検出判定を行うにあたっては、前記移動距離が所定値以上で、且つ所定方向の動きベクトルの割合または全方向の動きベクトルの割合全てが所定割合以上であれば当該移動領域Fが人体によるものと判定するようにしてもよい。
このようにすれば、人体検出判定を行うにあたって、移動領域Fの移動距離だけではなく、移動領域Fの動きベクトルの方向を考慮するから、人体以外の移動体を人体として誤検出してしまうことをさらに抑制できて、人体検出の信頼性のさらなる向上が図れる。
実施形態1の撮像装置を含むドアホンシステムの説明図である。 同上の撮像装置の設置状況を示す概略説明図である。 同上の撮像装置における人体検出判定の説明図である。 同上の撮像装置における動作説明図である。 実施形態2の撮像装置における人体検出判定の説明図である。 実施形態5の撮像装置における人体検出判定の説明図である。
符号の説明
A 撮像装置
B ドアホン親機
2 人体検知器
10 撮像手段
12a 輪郭抽出手段
12b 移動輪郭抽出手段
12c 移動領域抽出手段
12d 領域特徴量検出手段
12e 人体検出手段
15 伝送手段

Claims (15)

  1. 住宅屋内外間の通話を可能とするドアホンシステム用のドアホン親機に接続される撮像装置であって、所定領域を撮像する撮像手段と、撮像手段で撮像された画像から輪郭を抽出する輪郭抽出手段と、輪郭抽出手段で抽出した輪郭から移動体の輪郭を抽出する移動輪郭抽出手段と、移動輪郭抽出手段で抽出した移動体の輪郭に外接する矩形状の領域からなる移動領域を検出する移動領域抽出手段と、移動領域に基づいて人体検出を行う人体検出手段と、撮像手段で撮像した画像を前記ドアホン親機に伝送する伝送手段とを備え、人体検出手段は、時系列順に並んだ複数の画像間において移動領域を追跡し、追跡した移動領域について前記複数の画像からその移動距離を算出して当該移動距離が所定距離以上であれば当該移動領域が人体によるものと判定する人体検出判定を行うように構成されていることを特徴とする撮像装置。
  2. 人体検出手段は、人体検出判定を行うにあたっては、追跡した移動領域について前記複数の画像において時系列的に隣接した画像間の動きベクトルを算出し、算出した動きベクトルの大きさの合計値を前記追跡した移動領域の移動距離として用いることを特徴とする請求項1記載の撮像装置。
  3. 人体検出手段は、人体検出判定を行うにあたっては、追跡した移動領域について前記複数の画像において時系列的に隣接した画像間の動きベクトルを算出し、算出した動きベクトルの合成ベクトルの大きさを前記追跡した移動領域の移動距離として用いることを特徴とする請求項1記載の撮像装置。
  4. 住宅屋内外間の通話を可能とするドアホンシステム用のドアホン親機に接続される撮像装置であって、所定領域を撮像する撮像手段と、撮像手段で撮像された画像から輪郭を抽出する輪郭抽出手段と、輪郭抽出手段で抽出した輪郭から移動体の輪郭を抽出する移動輪郭抽出手段と、移動輪郭抽出手段で抽出した移動体の輪郭に外接する矩形状の領域からなる移動領域を検出する移動領域抽出手段と、移動領域に基づいて人体検出を行う人体検出手段と、撮像手段で撮像した画像を前記ドアホン親機に伝送する伝送手段とを備え、人体検出手段は、時系列順に並んだ複数の画像間において移動領域を追跡し、追跡した移動領域について前記複数の画像において時系列的に隣接した画像間の動きベクトルを算出し、算出した動きベクトルの方向毎に動きベクトルの総数に対する割合を算出し、所定方向の動きベクトルの割合または全方向の動きベクトルの割合全てが所定割合以上であれば当該移動領域が人体によるものと判定する人体検出判定を行うように構成されていることを特徴とする撮像装置。
  5. 人体検出手段は、人体検出判定を行うにあたっては、追跡した移動領域について前記複数の画像において時系列的に隣接した画像間の動きベクトルを算出し、算出した動きベクトルの方向毎に動きベクトルの総数に対する割合を算出し、前記移動距離が所定値以上で、且つ所定方向の動きベクトルの割合または全方向の動きベクトルの割合全てが所定割合以上であれば当該移動領域が人体によるものと判定する人体検出判定を行うように構成されていることを特徴とする請求項1〜3のうちいずれか1項記載の撮像装置。
  6. 移動領域抽出手段は、抽出した移動領域群のなかに移動領域間の距離が所定値以下である移動領域群が存在した際にこれら移動領域群を内包する最小範囲の矩形状の領域からなる統合移動領域を作成するように構成され、人体検出手段は、移動領域を追跡するにあたっては統合移動領域を用い、前記移動距離を算出するにあたっては移動領域を用いるように構成されていることを特徴とする請求項1〜3のうちいずれか1項または請求項5記載の撮像装置。
  7. 人体検出手段は、移動領域の移動方向に応じて当該移動方向における移動領域の移動距離に重みを持たせることを特徴とする請求項1〜3のうちいずれか1項または請求項5または請求項6記載の撮像装置。
  8. 人体検出手段は、移動領域の移動方向が同方向に連続した際に、当該移動方向に重みを持たせることを特徴とする請求項1〜3および5から7のうちいずれか1項記載の撮像装置。
  9. 人体検出手段は、画像上における移動領域の位置に応じて前記所定距離の値を変更するように構成されていることを特徴とする請求項1〜3および5〜8のうちいずれか1項記載の撮像装置。
  10. 人体検出手段は、移動領域のサイズを元にして当該移動領域が人体によるものか否かを判定するように構成されていることを特徴とする請求項1〜9のうちいずれか1項記載の撮像装置。
  11. 移動領域抽出手段で検出した移動体の移動領域に基づいて移動領域内の移動エッジ部分の方向値を抽出してそのエッジ方向値分布を作成する領域特徴量検出手段を備え、人体検出手段は、領域特徴量検出手段より得られるエッジ方向値分布を元に人体検出を行うように構成されていることを特徴とする請求項1〜10のうちいずれか1項記載の撮像装置。
  12. 前記所定領域を検知範囲とする赤外線を利用した人体検知器を備え、人体検出手段は、前記人体検知器により人体を検知した際に、前記人体検出判定を行うように構成されていることを特徴とする請求項1〜11のうちいずれか1項記載の撮像装置。
  13. 前記所定領域の風速を検出する風速計を備え、人体検出手段は、風速計の出力が所定値以上である場合に、前記人体検出判定を行うように構成されていることを特徴とする請求項1〜12のうちいずれか1項記載の撮像装置。
  14. 人体検出手段は、前記複数の画像間において移動領域が所定範囲外に移動していない場合には、前記所定距離を当該移動領域の最大移動距離より大きい値に設定することを特徴とする請求項1〜3および5〜13のうちいずれか1項記載の撮像装置。
  15. 移動領域抽出手段により移動領域を抽出した後に当該移動領域が画像上から消失するまでの間の当該移動領域の位置および前記移動距離を有する移動領域情報が記憶される領域情報記憶手段を備え、人体検出手段は、領域情報記憶手段に記憶された移動領域情報で表される移動領域が人体によるものでなければ、以後、前記移動領域情報に類似する移動領域情報で表される移動領域を人体ではないと判定するように構成されていることを特徴とする請求項1〜3および5〜14のうちいずれか1項記載の撮像装置。
JP2006346534A 2006-12-22 2006-12-22 撮像装置 Expired - Fee Related JP5044207B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006346534A JP5044207B2 (ja) 2006-12-22 2006-12-22 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006346534A JP5044207B2 (ja) 2006-12-22 2006-12-22 撮像装置

Publications (2)

Publication Number Publication Date
JP2008160462A true JP2008160462A (ja) 2008-07-10
JP5044207B2 JP5044207B2 (ja) 2012-10-10

Family

ID=39660878

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006346534A Expired - Fee Related JP5044207B2 (ja) 2006-12-22 2006-12-22 撮像装置

Country Status (1)

Country Link
JP (1) JP5044207B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013127716A (ja) * 2011-12-19 2013-06-27 Nippon Signal Co Ltd:The 混雑の非通常状態検知システム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10285581A (ja) * 1997-04-04 1998-10-23 Fujitsu Ltd 自動監視装置
JPH1141589A (ja) * 1997-07-17 1999-02-12 Hitachi Ltd 移動物体の監視方法および装置
JP2001352537A (ja) * 2000-06-08 2001-12-21 Ntt Data Corp 動画像による監視システム
JP2002197463A (ja) * 2000-12-26 2002-07-12 Matsushita Electric Ind Co Ltd 挙動検出装置および挙動検出システム
JP2003169319A (ja) * 2001-11-30 2003-06-13 Mitsubishi Electric Corp 映像監視装置
JP2004214926A (ja) * 2002-12-27 2004-07-29 Mitsubishi Electric Corp 監視用画像処理装置
JP2005056406A (ja) * 2003-07-24 2005-03-03 Victor Co Of Japan Ltd 画像の動き検出装置及びコンピュータプログラム
JP2006079594A (ja) * 2004-08-13 2006-03-23 Sony Corp 移動物体検出装置及び方法
JP2006101384A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
JP2006333144A (ja) * 2005-05-26 2006-12-07 Matsushita Electric Works Ltd ドアホンシステムの人体センシング方式

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10285581A (ja) * 1997-04-04 1998-10-23 Fujitsu Ltd 自動監視装置
JPH1141589A (ja) * 1997-07-17 1999-02-12 Hitachi Ltd 移動物体の監視方法および装置
JP2001352537A (ja) * 2000-06-08 2001-12-21 Ntt Data Corp 動画像による監視システム
JP2002197463A (ja) * 2000-12-26 2002-07-12 Matsushita Electric Ind Co Ltd 挙動検出装置および挙動検出システム
JP2003169319A (ja) * 2001-11-30 2003-06-13 Mitsubishi Electric Corp 映像監視装置
JP2004214926A (ja) * 2002-12-27 2004-07-29 Mitsubishi Electric Corp 監視用画像処理装置
JP2005056406A (ja) * 2003-07-24 2005-03-03 Victor Co Of Japan Ltd 画像の動き検出装置及びコンピュータプログラム
JP2006079594A (ja) * 2004-08-13 2006-03-23 Sony Corp 移動物体検出装置及び方法
JP2006101384A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
JP2006333144A (ja) * 2005-05-26 2006-12-07 Matsushita Electric Works Ltd ドアホンシステムの人体センシング方式

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013127716A (ja) * 2011-12-19 2013-06-27 Nippon Signal Co Ltd:The 混雑の非通常状態検知システム

Also Published As

Publication number Publication date
JP5044207B2 (ja) 2012-10-10

Similar Documents

Publication Publication Date Title
CN105229570B (zh) 显示控制方法和装置
US8508606B2 (en) System and method for deblurring motion blurred images
CN106878668A (zh) 对物体的移动检测
JP2010009134A (ja) 画像処理システム及び画像処理方法、並びに、プログラム
CN108875531B (zh) 人脸检测方法、装置、系统及计算机存储介质
JP2010130087A (ja) 監視システム及び監視方法
CN106464959A (zh) 半导体集成电路和具备该半导体集成电路的显示装置及控制方法
JP4737073B2 (ja) 人体検出装置
CN107536699A (zh) 一种用于盲人的信息提示的方法、装置及电子设备
KR101605168B1 (ko) 이미지 처리 장치 및 방법
JP2010124028A (ja) 監視装置
US11302010B2 (en) Gas-detection image processing device, gas-detection image processing method, and gas-detection image processing program
JP5950628B2 (ja) 物体検知装置、物体検知方法及びプログラム
JP2008185480A (ja) 人体検出装置
JP5044207B2 (ja) 撮像装置
JPWO2018203480A1 (ja) ガス検知用画像処理装置、ガス検知用画像処理方法、及び、ガス検知用画像処理プログラム
JP2008186283A (ja) 人体検出装置
CN108259740A (zh) 一种全景图像生成的方法、装置以及移动终端
JP4792986B2 (ja) 監視システム
JP4096953B2 (ja) 人体検知器
JP2005128815A (ja) 人物検出装置及び人物検出方法
JP2012147083A (ja) 画像処理装置、画像処理方法、およびプログラム
JP4645321B2 (ja) 画像を用いた移動物体検知装置
JP6591349B2 (ja) 動体検知システム及び動体検知方法
JP2013179614A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110404

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110404

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111213

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20120112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120313

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120619

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120713

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees