JP2010118039A - 移動体検出装置 - Google Patents
移動体検出装置 Download PDFInfo
- Publication number
- JP2010118039A JP2010118039A JP2009138388A JP2009138388A JP2010118039A JP 2010118039 A JP2010118039 A JP 2010118039A JP 2009138388 A JP2009138388 A JP 2009138388A JP 2009138388 A JP2009138388 A JP 2009138388A JP 2010118039 A JP2010118039 A JP 2010118039A
- Authority
- JP
- Japan
- Prior art keywords
- image
- determination target
- emitting surface
- image acquisition
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
【課題】簡易な構成で、確実に移動体の通行を検出することができる装置を実現する。
【解決手段】人が通行する通路を挟んで線状の発光面を有する線状光源装置200と画像取得装置300を配置する。画像取得装置300は線状光源装置200の発光面をその視野内におさめるように配置する。移動体検出装置100は、通路に通行がない状況において撮影された点灯中の線状光源装置200の画像を照合画像として格納しており、通路に通行の可能性があり線状光源装置200の発光面が点灯している状況において、画像取得装置300が周期的に撮影した画像を判定対象画像として入力し、照合画像と判定対象画像の差分を抽出して、差分の程度により通路を人が通行しているかどうかを判定する。
【選択図】図1
【解決手段】人が通行する通路を挟んで線状の発光面を有する線状光源装置200と画像取得装置300を配置する。画像取得装置300は線状光源装置200の発光面をその視野内におさめるように配置する。移動体検出装置100は、通路に通行がない状況において撮影された点灯中の線状光源装置200の画像を照合画像として格納しており、通路に通行の可能性があり線状光源装置200の発光面が点灯している状況において、画像取得装置300が周期的に撮影した画像を判定対象画像として入力し、照合画像と判定対象画像の差分を抽出して、差分の程度により通路を人が通行しているかどうかを判定する。
【選択図】図1
Description
本発明は、人などの移動体が通路を通行したか否かを検出する技術に関する。
廊下などの通路における人などの移動体の通行を検出する技術として、例えば、特許文献1及び特許文献2に記載の技術がある。
特許文献1の技術では、2つの線状光源を床面に配置し、天井に2つのライン型の撮像素子を配置し、各線状光源に対応した撮像素子により人物による遮光部分を抽出する。そして、抽出した2つの遮光部分を比較することにより通過人数と通過方向を計測することができる。
また、特許文献2の技術では、上部から出入り口をカメラで監視し、オプティカルフローで動きの方向と分布を得るとともに、オプティカルフローの空間占有率を事前に学習することで、移動する複数人物を分離し、個体数を計数することができる。
特許文献1の技術では、2つの線状光源を床面に配置し、天井に2つのライン型の撮像素子を配置し、各線状光源に対応した撮像素子により人物による遮光部分を抽出する。そして、抽出した2つの遮光部分を比較することにより通過人数と通過方向を計測することができる。
また、特許文献2の技術では、上部から出入り口をカメラで監視し、オプティカルフローで動きの方向と分布を得るとともに、オプティカルフローの空間占有率を事前に学習することで、移動する複数人物を分離し、個体数を計数することができる。
特許文献1の技術は、2つの線状光源が必要であるために装置が大きくまた設置に手間がかかるという課題がある。
また、線状光源から出た光をライン型の撮像素子で結像する必要があるために設置調整に手間がかかるという課題がある。
また、映像などで通過時の状態を残すことができないという課題がある。
また、線状光源から出た光をライン型の撮像素子で結像する必要があるために設置調整に手間がかかるという課題がある。
また、映像などで通過時の状態を残すことができないという課題がある。
また、特許文献2の技術は、人物個体の領域をオプティカルフローの分布より求めているため、例えば背景と似た濃淡の服を着ている人物のように、オプティカルフローが求まりにくい場合には見逃しが発生するという課題がある。
さらに、複数人物が同時に観測されている場合に、物理的には接触していなくても、見え方によっては画像上でオプティカルフローが連結する場合があり、見掛け上の占有率が低下する場合があるという課題がある。また、その場合にも見逃しが発生する可能性があるという課題がある。
さらに、複数人物が同時に観測されている場合に、物理的には接触していなくても、見え方によっては画像上でオプティカルフローが連結する場合があり、見掛け上の占有率が低下する場合があるという課題がある。また、その場合にも見逃しが発生する可能性があるという課題がある。
この発明は、上記のような課題を解決することを主な目的の一つとしており、簡易な構成で、確実に移動体の通行を検出することができる装置を実現することを主な目的とする。
本発明に係る移動体検出装置は、
移動体が通行する通路の路側に配置されている光源装置から前記通路を隔てて配置され、前記光源装置の発光面を撮像の対象とする画像取得装置に接続されている移動体検出装置であって、
点灯している発光面を撮像した画像であって発光面からの光が遮られていない画像を照合画像として格納する照合画像格納部と、
前記移動体が前記通路を通行する可能性があり前記光源装置の発光面が点灯している状況において前記画像取得装置が撮像した画像を判定対象画像として格納する判定対象画像格納部と、
前記判定対象画像格納部に格納されている判定対象画像と前記照合画像格納部に格納されている照合画像とを用いて前記移動体の前記通路での通行の有無を判定する通行判定部とを有することを特徴とする。
移動体が通行する通路の路側に配置されている光源装置から前記通路を隔てて配置され、前記光源装置の発光面を撮像の対象とする画像取得装置に接続されている移動体検出装置であって、
点灯している発光面を撮像した画像であって発光面からの光が遮られていない画像を照合画像として格納する照合画像格納部と、
前記移動体が前記通路を通行する可能性があり前記光源装置の発光面が点灯している状況において前記画像取得装置が撮像した画像を判定対象画像として格納する判定対象画像格納部と、
前記判定対象画像格納部に格納されている判定対象画像と前記照合画像格納部に格納されている照合画像とを用いて前記移動体の前記通路での通行の有無を判定する通行判定部とを有することを特徴とする。
本発明によれば、通路を隔てて配置された光源装置と画像取得装置を用い、光が遮られていない点灯している発光面の画像と、通行の可能性のある状況で画像取得装置により撮像された画像とを用いるので、両画像の発光面部分の差異を検出することで移動体の通行の有無を検出することができ、簡易な構成で、正確に移動体の通行を検出することができる。
実施の形態1.
本実施の形態では、人物が通行する廊下などの通路において、通路を挟んで線状光源装置と画像取得装置を配置し、移動体検出装置が、取得時刻の異なる複数の画像について画像上の光源の領域を比較することにより人物の通行を検出する例を説明する。
本実施の形態では、人物が通行する廊下などの通路において、通路を挟んで線状光源装置と画像取得装置を配置し、移動体検出装置が、取得時刻の異なる複数の画像について画像上の光源の領域を比較することにより人物の通行を検出する例を説明する。
図1は、本実施の形態に係るシステム構成例を示す。
本実施の形態では、人(移動体)が通行する通路の路側に線状の発光面を有する線状光源装置200(光源装置)(以下、線状光源装置200ともいう)を配置し、線状光源装置200から通路を隔てて線状光源装置200の発光面に対向させて画像取得装置300を配置している。画像取得装置300は、線状光源装置200の線状の発光面を撮像の対象とし、稼動中は一定周期ごとに線状光源装置200の発光面の撮像を行う。
線状光源装置200は必ずしも1本につながった光源である必要はなく、点光源を離散的に線状に並べたものでもよい。また、線状光源装置200は、例えば、発光面の高さ(長さ)が2メートル程度である。
画像取得装置300は例えばCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などの2次元撮像素子により構成されるものである。
線状光源装置200はその発光面を画像取得装置300の方に向けて設置され、画像取得装置300は線状光源装置200の発光面をその視野内におさめるように設置される。
なお、図1では、通路の始端又は終端であるドア400の両側に線状光源装置200と画像取得装置300を配置することにしているが、通路の途中に両側に線状光源装置200と画像取得装置300を配置するようにしてもよい。
本実施の形態では、人(移動体)が通行する通路の路側に線状の発光面を有する線状光源装置200(光源装置)(以下、線状光源装置200ともいう)を配置し、線状光源装置200から通路を隔てて線状光源装置200の発光面に対向させて画像取得装置300を配置している。画像取得装置300は、線状光源装置200の線状の発光面を撮像の対象とし、稼動中は一定周期ごとに線状光源装置200の発光面の撮像を行う。
線状光源装置200は必ずしも1本につながった光源である必要はなく、点光源を離散的に線状に並べたものでもよい。また、線状光源装置200は、例えば、発光面の高さ(長さ)が2メートル程度である。
画像取得装置300は例えばCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などの2次元撮像素子により構成されるものである。
線状光源装置200はその発光面を画像取得装置300の方に向けて設置され、画像取得装置300は線状光源装置200の発光面をその視野内におさめるように設置される。
なお、図1では、通路の始端又は終端であるドア400の両側に線状光源装置200と画像取得装置300を配置することにしているが、通路の途中に両側に線状光源装置200と画像取得装置300を配置するようにしてもよい。
移動体検出装置100は、画像取得装置300に接続されており、画像取得装置300で撮像された画像を入力し、入力した画像を用いて通路における人物の通行の有無を判定する。
移動体検出装置100において、照合画像格納部101は、点灯している発光面を撮像した画像であって発光面からの光が遮られていない画像、つまり人物が通過していない状態の画像を照合画像としてあらかじめ格納しておく。
移動体検出装置100に格納される照合画像は、画像取得装置300で撮像されたものでも、他の装置で撮像されたものでもよい。
移動体検出装置100に格納される照合画像は、画像取得装置300で撮像されたものでも、他の装置で撮像されたものでもよい。
判定対象画像格納部102は、移動体検出装置100の稼動中は常時連続して画像取得装置300で撮像された画像を入力し、入力順に順序付けて判定対象画像として一時的に蓄積する。つまり、判定対象画像格納部102は、人が通路を通行する可能性のある状況において画像取得装置300が撮像した画像を判定対象画像として格納する。
光源抽出部103は、照合画像格納部101に格納されている照合画像及び判定対象画像格納部102に格納されている判定対象画像から発光面部分の画像を抽出する。代表的な方法としては画像上の発光面の位置をあらかじめ記憶しておく方法がある。
なお、照合画像格納部101に格納されている照合画像については、移動体検出装置100の稼動前に発光面部分の画像を抽出しておき、抽出した発光面部分を照合画像格納部101に格納する。判定対象画像格納部102に格納さている判定対象画像については、判定対象画像格納部102に判定対象画像が格納されるたびに発光面部分を抽出する。
また、画像取得装置300が発光面のみを撮影できる場合は、照合画像及び判定対象画面には発光面のみが示されるので、光源抽出部103は省略することができる。
なお、照合画像格納部101に格納されている照合画像については、移動体検出装置100の稼動前に発光面部分の画像を抽出しておき、抽出した発光面部分を照合画像格納部101に格納する。判定対象画像格納部102に格納さている判定対象画像については、判定対象画像格納部102に判定対象画像が格納されるたびに発光面部分を抽出する。
また、画像取得装置300が発光面のみを撮影できる場合は、照合画像及び判定対象画面には発光面のみが示されるので、光源抽出部103は省略することができる。
差分抽出部104は、判定対象画像の発光面部分と照合画像の発光面部分とを比較し、差分を抽出し、抽出した差分に基づいて通路における通行の有無を判定する。より具体的には、差分が所定の閾値以上である場合には、移動体が通路を通行したと判定する。
差分抽出部104は、通行判定部の例である。
差分抽出部104は、通行判定部の例である。
人数計数部105は、差分抽出部104における判定に基づき、通路を通行した人の人数を計数する。
フロー抽出部106は、判定対象画像に対してオプティカルフロー推定演算を行う。
方向判別部107は、フロー抽出部106のオプティカルフロー推定演算の結果に基づいて、通路を通行する人の通行方向を判別する。
なお、フロー抽出部106及び方向判別部107が通行方向判定部の例に相当する。
方向判別部107は、フロー抽出部106のオプティカルフロー推定演算の結果に基づいて、通路を通行する人の通行方向を判別する。
なお、フロー抽出部106及び方向判別部107が通行方向判定部の例に相当する。
図2は、本実施の形態に係る移動体検出装置100の動作の概要を示す。
図2に示すように、時刻Tに撮影され、照合画像格納部101に蓄積された画像(照合画像)には、線状光源装置200の発光面全体が発光している状態(明るい状態)で映っている。
また、人物が通過していない時刻T+Nに撮影され、判定対象画像格納部102に一時的に蓄積された画像(判定対象画像)も同様に線状光源装置200の発光面全体が発光している状態(明るい状態)で映っている。
一方、人物が通行中の時刻T+Mに撮影され、判定対象画像格納部102に一時的に蓄積された画像(判定対象画像)では、線状光源装置200の発光面全体の中で通行中の人物に隠されていない部分は発光している状態(明るい状態)が映っており、通行中の人物に隠された部分は暗く映っている。
これら照合画像及び判定対象画像から発光面部分を抽出し、差分抽出部104が抽出された発光面部分を比較して照合画像の発光面部分と判定対象画像の発光面部分の輝度上の差分を抽出する。
図2の場合、時刻T+Nに撮影された画像(判定対象画像)から抽出された発光面部分と時刻Tに撮影された画像(照合画像)から抽出された発光面部分では差は現れないが、時刻T+Mに撮影された画像(判定対象画像)から抽出された発光面部分と時刻Tに撮影された画像(照合画像)から抽出された発光面部分では、人物に隠された部分に差が現れる。
このように、発光面全体で差がない場合は人が通行していないと判断でき、発光面の大半において差がある場合は人が通行していると判断することができる。
このため、人数計数部105は抽出した差分が所定の閾値以上の場合は、人が通行していると判断する。閾値は、例えば、発光面部分の面積の10%〜40%のうちの任意の値とすることが考えられる。つまり、閾値を10%とする場合は、例えば、発光面全体の面積に対して10%以上の範囲で輝度上の相違がある場合は、人が通行していると判断する。
図2に示すように、時刻Tに撮影され、照合画像格納部101に蓄積された画像(照合画像)には、線状光源装置200の発光面全体が発光している状態(明るい状態)で映っている。
また、人物が通過していない時刻T+Nに撮影され、判定対象画像格納部102に一時的に蓄積された画像(判定対象画像)も同様に線状光源装置200の発光面全体が発光している状態(明るい状態)で映っている。
一方、人物が通行中の時刻T+Mに撮影され、判定対象画像格納部102に一時的に蓄積された画像(判定対象画像)では、線状光源装置200の発光面全体の中で通行中の人物に隠されていない部分は発光している状態(明るい状態)が映っており、通行中の人物に隠された部分は暗く映っている。
これら照合画像及び判定対象画像から発光面部分を抽出し、差分抽出部104が抽出された発光面部分を比較して照合画像の発光面部分と判定対象画像の発光面部分の輝度上の差分を抽出する。
図2の場合、時刻T+Nに撮影された画像(判定対象画像)から抽出された発光面部分と時刻Tに撮影された画像(照合画像)から抽出された発光面部分では差は現れないが、時刻T+Mに撮影された画像(判定対象画像)から抽出された発光面部分と時刻Tに撮影された画像(照合画像)から抽出された発光面部分では、人物に隠された部分に差が現れる。
このように、発光面全体で差がない場合は人が通行していないと判断でき、発光面の大半において差がある場合は人が通行していると判断することができる。
このため、人数計数部105は抽出した差分が所定の閾値以上の場合は、人が通行していると判断する。閾値は、例えば、発光面部分の面積の10%〜40%のうちの任意の値とすることが考えられる。つまり、閾値を10%とする場合は、例えば、発光面全体の面積に対して10%以上の範囲で輝度上の相違がある場合は、人が通行していると判断する。
次に、本実施の形態に係る光源抽出部103、差分抽出部104及び人数計数部105の動作例を図12のフローチャートを参照して説明する。
なお、図12に示す処理の開始前に、予め照合画像格納部101に照合画像が格納され、光源抽出部103により照合画像から発光面部分が抽出されているものとする。
なお、図12に示す処理の開始前に、予め照合画像格納部101に照合画像が格納され、光源抽出部103により照合画像から発光面部分が抽出されているものとする。
まず、光源抽出部103が判定対象画像格納部102から判定対象画像を入力する(S1201)。
次に、光源抽出部103が入力した判定対象画像から発光面部分を抽出する(S1202)。
次に、差分抽出部104が照合画像格納部101に格納されている照合画像の発光面部分とS1202において抽出された判定対象画像の発光面部分を比較して、輝度上の差分を抽出する(S1203)。
そして、差分抽出部104は、抽出した差分が所定の閾値以上であるか否かを判断し(S1204)、差分が閾値以上である場合(S1204でYES)は、発光面からの光が人物により遮光されて暗くなっている部分が多いので、人物が通過中と判断する。
そして、差分抽出部104は、現在の状態フラグを確認する(S1208)。状態フラグとは、人物が通路を通過中か通過中でないかを示すフラグであり、初期状態では通過中でないことを示す「待機中」となっており、差分抽出部104が人物の通過を検出した場合に「待機中」から「通過中」に状態フラグを変更する。
状態フラグが「通過中」である場合(S1208で通過中)は、処理がS1201に戻り、光源抽出部103が次の判定対象画像を入力する。
状態フラグが「待機中」である場合(S1208で待機中)は、差分抽出部104は状態フラグを「通過中」に変更する(S1209)。
次に、光源抽出部103が入力した判定対象画像から発光面部分を抽出する(S1202)。
次に、差分抽出部104が照合画像格納部101に格納されている照合画像の発光面部分とS1202において抽出された判定対象画像の発光面部分を比較して、輝度上の差分を抽出する(S1203)。
そして、差分抽出部104は、抽出した差分が所定の閾値以上であるか否かを判断し(S1204)、差分が閾値以上である場合(S1204でYES)は、発光面からの光が人物により遮光されて暗くなっている部分が多いので、人物が通過中と判断する。
そして、差分抽出部104は、現在の状態フラグを確認する(S1208)。状態フラグとは、人物が通路を通過中か通過中でないかを示すフラグであり、初期状態では通過中でないことを示す「待機中」となっており、差分抽出部104が人物の通過を検出した場合に「待機中」から「通過中」に状態フラグを変更する。
状態フラグが「通過中」である場合(S1208で通過中)は、処理がS1201に戻り、光源抽出部103が次の判定対象画像を入力する。
状態フラグが「待機中」である場合(S1208で待機中)は、差分抽出部104は状態フラグを「通過中」に変更する(S1209)。
一方、S1204において、差分が閾値未満であった場合は、発光面からの光が遮光されずに明るい状態なので、差分抽出部104は、人物が通行していないと判断する。
そして、差分抽出部104は、状態フラグを確認し(S1205)、「待機中」であれば、処理がS1201に戻り、光源抽出部103が次の判定対象画像を入力する。「通過中」であれば、線状光源装置200及び画像取得装置300の前を人が通過し終えた状態であるので、人数計数部105が、計数値を1つ加算する(S1206)。
そして、差分抽出部104が状態フラグを「待機中」に変更した後(S1207)、処理がS1201に戻り、光源抽出部103が次の判定対象画像を入力する。
そして、差分抽出部104は、状態フラグを確認し(S1205)、「待機中」であれば、処理がS1201に戻り、光源抽出部103が次の判定対象画像を入力する。「通過中」であれば、線状光源装置200及び画像取得装置300の前を人が通過し終えた状態であるので、人数計数部105が、計数値を1つ加算する(S1206)。
そして、差分抽出部104が状態フラグを「待機中」に変更した後(S1207)、処理がS1201に戻り、光源抽出部103が次の判定対象画像を入力する。
このようにすることで、線状光源装置が1つでも、正確に人の通行を検出することができる。
また、図2で説明した照合画像と判定対象画像との差分を時系列に記録すると例えば図3のようなデータが得られる。
図3上で白い部分が人物が存在したことで照合画像の発光面部分と判定対象画像の発光面部分で差分が出た部分であり、黒い部分が人物が存在せずに差分が出なかった部分である。このデータから人数計数部にて人数を計数することも可能である。
代表的な方法としては閉じた白い領域でかつある一定面積以上の場合に1人と計数する方法である。
図3上で白い部分が人物が存在したことで照合画像の発光面部分と判定対象画像の発光面部分で差分が出た部分であり、黒い部分が人物が存在せずに差分が出なかった部分である。このデータから人数計数部にて人数を計数することも可能である。
代表的な方法としては閉じた白い領域でかつある一定面積以上の場合に1人と計数する方法である。
さらに、照合画像と判定対象画像を比較することにより画像上の動きの方向を検出することが可能である。代表的な方法としては画像上のオプティカルフローを求める方法である。
例えば、図13のフローチャートに示す手順により、オプティカルフロー推定演算を行って、人の通行方向を判別することができる。
例えば、図13のフローチャートに示す手順により、オプティカルフロー推定演算を行って、人の通行方向を判別することができる。
図13において、まず、フロー抽出部106が、総平均ベクトルを初期化(0に)する(S1301)。
次に、フロー抽出部106は、状態フラグが「通過中」か「待機中」かを確認し(S1302)、「通過中」であれば(S1302でYES)、フロー抽出部106は、判定対象画像全体のオプティカルフローを計算する(S1304)。
そして、フロー抽出部106は、その全オプティカルフローについて、平均ベクトルを計算する(S1304)。
そして、求めた平均ベクトルを総平均ベクトルに加算する(S1305)。
フロー抽出部106は、S1302〜S1305の処理を繰り返し、状態フラグが「通過中」から「待機中」になった時に、総平均ベクトルと画像上で入室の方向(ドア400の方向に向かう方向)を示すベクトルとの内積を計算する(S1306)。
そして、方向判別部107は、符号が正ならば(S1307でYES)、入室と判断し(S1308)、符号が負ならば(S1307でNO)、退室と判断する(S1309)。
次に、フロー抽出部106は、状態フラグが「通過中」か「待機中」かを確認し(S1302)、「通過中」であれば(S1302でYES)、フロー抽出部106は、判定対象画像全体のオプティカルフローを計算する(S1304)。
そして、フロー抽出部106は、その全オプティカルフローについて、平均ベクトルを計算する(S1304)。
そして、求めた平均ベクトルを総平均ベクトルに加算する(S1305)。
フロー抽出部106は、S1302〜S1305の処理を繰り返し、状態フラグが「通過中」から「待機中」になった時に、総平均ベクトルと画像上で入室の方向(ドア400の方向に向かう方向)を示すベクトルとの内積を計算する(S1306)。
そして、方向判別部107は、符号が正ならば(S1307でYES)、入室と判断し(S1308)、符号が負ならば(S1307でNO)、退室と判断する(S1309)。
このように、本実施の形態では、1つの光源と画像取得装置により通過人数と通過方向を計測することができる。
以上、本実施の形態では、ドア、廊下などの通路において、人物が通過する開口部を挟んで線状光源と画像取得装置を配置し、取得時刻の異なる複数の映像について画像上の光源の領域を比較することにより人物を計数し、取得時刻の異なる複数の映像について画像上の動きを抽出することにより人物の移動方向を検出する装置を説明した。
また、本実施の形態では、1つの光源と画像取得装置により通過人数と通過方向を計測することができることを説明した。
また、本実施の形態では、1つの光源と画像取得装置により通過人数と通過方向を計測することができることを説明した。
実施の形態2.
図4は、本実施の形態に係るシステム構成例を示す。
図4では、ドア400の描画を省略している。
図4において、移動体検出装置100内に画像記録部108が追加されている点が図1との違いである。
図4は、本実施の形態に係るシステム構成例を示す。
図4では、ドア400の描画を省略している。
図4において、移動体検出装置100内に画像記録部108が追加されている点が図1との違いである。
画像記録部108は、差分抽出部104が人が通路を通行していると判定した判定対象画像以降の判定対象画像を判定対象画像格納部102から入力して記録する。
つまり、判定対象画像格納部102は、画像取得装置300が一定周期ごとに撮像した画像を順序付けて判定対象画像として格納し、差分抽出部104は、判定対象画像格納部102に格納される判定対象画像ごとに、照合画像と比較して通路での通行の有無を判定するが、画像記録部108は差分抽出部104が通行を検出した瞬間に判定対象画像格納部102に蓄積されている判定対象画像及びそれ以降に判定対象画像格納部102に蓄積される判定対象画像を判定対象画像格納部102から入力して記録する。
また判定対象画像格納部102に一定時間分の過去の画像を記録するようにしておき、人物による遮光が始まった瞬間の画像、または遮光が終わった瞬間の画像、最も遮光部分が多かった瞬間の画像のうち単数または複数の画像を記録することもできる。
つまり、判定対象画像格納部102は、画像取得装置300が一定周期ごとに撮像した画像を順序付けて判定対象画像として格納し、差分抽出部104は、判定対象画像格納部102に格納される判定対象画像ごとに、照合画像と比較して通路での通行の有無を判定するが、画像記録部108は差分抽出部104が通行を検出した瞬間に判定対象画像格納部102に蓄積されている判定対象画像及びそれ以降に判定対象画像格納部102に蓄積される判定対象画像を判定対象画像格納部102から入力して記録する。
また判定対象画像格納部102に一定時間分の過去の画像を記録するようにしておき、人物による遮光が始まった瞬間の画像、または遮光が終わった瞬間の画像、最も遮光部分が多かった瞬間の画像のうち単数または複数の画像を記録することもできる。
このように本実施の形態によれば、1つの光源と画像取得装置を用いて通過人数と通過方向を計測することに加えて、通過時の画像を記録することができる。
そして、例えば、建物管理者等が画像記録部108に記録されている画像を、不審者の特定等に用いることができる。
そして、例えば、建物管理者等が画像記録部108に記録されている画像を、不審者の特定等に用いることができる。
実施の形態3.
実施の形態1では、フロー抽出部106は、オプティカルフロー推定演算を行う範囲を判定対象画像の全体としていたが、本実施の形態では、フロー抽出部106は差分抽出部104で差分が出た領域、つまり、人により線状光源装置200の発光面からの光が遮られている画像部分に限定してオプティカルフロー演算を行う。
実施の形態1では、フロー抽出部106は、オプティカルフロー推定演算を行う範囲を判定対象画像の全体としていたが、本実施の形態では、フロー抽出部106は差分抽出部104で差分が出た領域、つまり、人により線状光源装置200の発光面からの光が遮られている画像部分に限定してオプティカルフロー演算を行う。
このような構成により人が存在する部分のみについてオプティカルフローを計算することになり、通過方向の計測精度が高くなる。
またオプティカルフローを計算する領域が相対的に狭くなるために、通過方向の計算の計算時間が減少する。
またオプティカルフローを計算する領域が相対的に狭くなるために、通過方向の計算の計算時間が減少する。
実施の形態4.
実施の形態1では、通行がない状態で撮像した線状光源装置200の発光面の画像を照合画像とし、通行の可能性のある状態で撮影した線状光源装置200の画像を判定対象画像とし、照合画像と判定対象画像の差分を抽出して人の通行の有無を判定している。
本実施の形態では、照合画像は用いずに、通行の可能性のある状況において、線状光源装置200の発光面を繰り返し点滅させ、画像取得装置300が発光面が点灯しているタイミング及び発光面が消灯しているタイミングにて撮像を行い、発光面が点灯しているタイミングで撮像された画像と発光面が消灯しているタイミングで撮像された画像との差分を抽出して通行の有無を判定する。
実施の形態1では、通行がない状態で撮像した線状光源装置200の発光面の画像を照合画像とし、通行の可能性のある状態で撮影した線状光源装置200の画像を判定対象画像とし、照合画像と判定対象画像の差分を抽出して人の通行の有無を判定している。
本実施の形態では、照合画像は用いずに、通行の可能性のある状況において、線状光源装置200の発光面を繰り返し点滅させ、画像取得装置300が発光面が点灯しているタイミング及び発光面が消灯しているタイミングにて撮像を行い、発光面が点灯しているタイミングで撮像された画像と発光面が消灯しているタイミングで撮像された画像との差分を抽出して通行の有無を判定する。
図5は、本実施の形態に係るシステム構成例を示す。
図5では、ドア400の描画を省略している。
本実施の形態の移動体検出装置100では、同期制御部109、判定対象点灯画像格納部121及び判定対象消灯画像格納部122を設けている。
光源抽出部103、差分抽出部104、人数計数部105、フロー抽出部106、方向判別部107は実施の形態1で説明したものと同様である。
図5では、ドア400の描画を省略している。
本実施の形態の移動体検出装置100では、同期制御部109、判定対象点灯画像格納部121及び判定対象消灯画像格納部122を設けている。
光源抽出部103、差分抽出部104、人数計数部105、フロー抽出部106、方向判別部107は実施の形態1で説明したものと同様である。
同期制御部109は、人が通路を通行する可能性のある状況において、線状光源装置200を制御して線状光源装置200の発光面を連続的に交互に点滅させ、画像取得装置300を制御して線状光源装置200の発光面の点滅に同期させて発光面の点灯中及び消灯中の各々において画像取得装置300に撮像を行わせる。画像取得装置300は、例えば点灯中及び消灯中の各々において1回ずつ撮像を行う。同期制御部109は、例えば1/10秒単位で線状光源装置200に点灯と消灯を繰り返させる。
判定対象点灯画像格納部121は、画像取得装置300が撮像した発光面点灯中の画像を判定対象点灯画像として格納する。
判定対象消灯画像格納部122は、画像取得装置300が撮像した発光面消灯中の画像を判定対象消灯画像として格納する。
判定対象点灯画像格納部121と判定対象消灯画像格納部122が判定対象画像格納部を構成する。
判定対象点灯画像格納部121は、画像取得装置300が撮像した発光面点灯中の画像を判定対象点灯画像として格納する。
判定対象消灯画像格納部122は、画像取得装置300が撮像した発光面消灯中の画像を判定対象消灯画像として格納する。
判定対象点灯画像格納部121と判定対象消灯画像格納部122が判定対象画像格納部を構成する。
本実施の形態では、光源抽出部103は、判定対象点灯画像と判定対象消灯画像の各々から発光面部分を抽出し、差分抽出部104は光源抽出部103により抽出された判定対象点灯画像と判定対象消灯画像の発光面部分を比較して判定対象点灯画像と判定対象消灯画像との差分を抽出し、抽出した差分が所定の閾値未満である場合に人が通路を通行していると判定する。
図9は、本実施の形態に係る移動体検出装置100の動作の概要を示す。
図9(a)は、人が通路を通行していない場合を示し、図9(b)は人が通路を通行している場合を示している。
図9(a)は、人が通路を通行していない場合を示し、図9(b)は人が通路を通行している場合を示している。
図9(a)において、判定対象点灯画像では、人がいないので、線状光源装置200の発光面全体が発光している(明るい状態)。
一方、判定対象消灯画面では、消灯中なので、発光面全体で暗い状態である。
このように人がいない場合では、判定対象点灯画面と判定対象消灯画面では、発光面全体で差があることになる。
一方、判定対象消灯画面では、消灯中なので、発光面全体で暗い状態である。
このように人がいない場合では、判定対象点灯画面と判定対象消灯画面では、発光面全体で差があることになる。
他方、図9(b)において、判定対象点灯画像では、線状光源装置200の発光面全体の中で通行中の人物に隠されていない部分は発光しており(明るい状態)、通行中の人物に隠された部分は暗い状態である。
また、判定対象消灯画面では、消灯中なので、発光面全体で暗い状態である。
このように、人が通行している場合は、判定対象点灯画像と判定対象消灯画像との輝度上の差分を抽出すると、差分は発光面の一部(人物に隠されていない部分)にしかない。
このように、発光面全体で差がある場合は人が通行していないと判断でき、差が一部にしかない場合は人が通行していると判断することができる。
このため、人数計数部105は抽出した差分が所定の閾値未満の場合は、人が通行していると判断する。閾値は、例えば、発光面部分の面積の90%〜60%のうちの任意の値とすることが考えられる。つまり、閾値を90%とする場合は、例えば、輝度上の相違がある範囲が発光面全体の面積に対して90%未満である場合(差がない範囲が10%以上の場合)は、人が通行していると判断する。
また、判定対象消灯画面では、消灯中なので、発光面全体で暗い状態である。
このように、人が通行している場合は、判定対象点灯画像と判定対象消灯画像との輝度上の差分を抽出すると、差分は発光面の一部(人物に隠されていない部分)にしかない。
このように、発光面全体で差がある場合は人が通行していないと判断でき、差が一部にしかない場合は人が通行していると判断することができる。
このため、人数計数部105は抽出した差分が所定の閾値未満の場合は、人が通行していると判断する。閾値は、例えば、発光面部分の面積の90%〜60%のうちの任意の値とすることが考えられる。つまり、閾値を90%とする場合は、例えば、輝度上の相違がある範囲が発光面全体の面積に対して90%未満である場合(差がない範囲が10%以上の場合)は、人が通行していると判断する。
次に、本実施の形態に係る光源抽出部103、差分抽出部104及び人数計数部105の動作例を図14のフローチャートを参照して説明する。
まず、光源抽出部103が判定対象点灯画像格納部121及び判定対象消灯画像格納部122から、画像取得装置300により連続して撮像された判定対象点灯画像及び判定対象消灯画像をそれぞれ1つずつ入力する(S1401)。
次に、光源抽出部103が入力した判定対象点灯画像及び判定対象消灯画像のそれぞれから発光面部分を抽出する(S1402)。
次に、差分抽出部104が判定対象点灯画像の発光面部分と判定対象消灯画像の発光面部分を比較して、輝度上の差分を抽出する(S1203)。
そして、差分抽出部104は、抽出した差分が所定の閾値未満であるか否かを判断し(S1404)、差分が閾値未満である場合(S1404でYES)は、発光面の点灯時に発光面からの光が人物により遮光されて暗くなっている部分が存在しているので、人物が通過中と判断する。
そして、差分抽出部104は、現在の状態フラグを確認する(S1408)。
状態フラグが「通過中」である場合(S1408で通過中)は、処理がS1401に戻り、光源抽出部103が次の判定対象点灯画像及び判定対象消灯画像を入力する。
状態フラグが「待機中」である場合(S1408で待機中)は、差分抽出部104は状態フラグを「通過中」に変更する(S1409)。
次に、光源抽出部103が入力した判定対象点灯画像及び判定対象消灯画像のそれぞれから発光面部分を抽出する(S1402)。
次に、差分抽出部104が判定対象点灯画像の発光面部分と判定対象消灯画像の発光面部分を比較して、輝度上の差分を抽出する(S1203)。
そして、差分抽出部104は、抽出した差分が所定の閾値未満であるか否かを判断し(S1404)、差分が閾値未満である場合(S1404でYES)は、発光面の点灯時に発光面からの光が人物により遮光されて暗くなっている部分が存在しているので、人物が通過中と判断する。
そして、差分抽出部104は、現在の状態フラグを確認する(S1408)。
状態フラグが「通過中」である場合(S1408で通過中)は、処理がS1401に戻り、光源抽出部103が次の判定対象点灯画像及び判定対象消灯画像を入力する。
状態フラグが「待機中」である場合(S1408で待機中)は、差分抽出部104は状態フラグを「通過中」に変更する(S1409)。
一方、S1404において、差分が閾値以上である場合は、発光面の点灯時に発光面からの光が遮光されずに明るい状態なので、差分抽出部104は、人物が通行していないと判断する。
そして、差分抽出部104は、状態フラグを確認し(S1405)、「待機中」であれば、処理がS1401に戻り、光源抽出部103が次の判定対象点灯画像及び判定対象消灯画像を入力する。「通過中」であれば、線状光源装置200及び画像取得装置300の前を人が通過し終えた状態であるので、人数計数部105が、計数値を1つ加算する(S1406)。
そして、差分抽出部104が状態フラグを「待機中」に変更した後(S1407)、処理がS1401に戻り、光源抽出部103が次の判定対象点灯画像及び判定対象消灯画像を入力する。
そして、差分抽出部104は、状態フラグを確認し(S1405)、「待機中」であれば、処理がS1401に戻り、光源抽出部103が次の判定対象点灯画像及び判定対象消灯画像を入力する。「通過中」であれば、線状光源装置200及び画像取得装置300の前を人が通過し終えた状態であるので、人数計数部105が、計数値を1つ加算する(S1406)。
そして、差分抽出部104が状態フラグを「待機中」に変更した後(S1407)、処理がS1401に戻り、光源抽出部103が次の判定対象点灯画像及び判定対象消灯画像を入力する。
このように、本実施の形態によれば、線状光源装置が1つでも、正確に人の通行を検出することができる。
また、本実施の形態によれば、通行がない状態で線状光源装置200の発光面を撮像した画像(照合画像)を用意する必要がない。
また、本実施の形態によれば、通行がない状態で線状光源装置200の発光面を撮像した画像(照合画像)を用意する必要がない。
実施の形態5.
本実施の形態では、実施の形態4の拡張例を説明する。
本実施の形態では、線状光源装置200および画像取得装置300を同期させた状態で、画像上の光源部分を精度よく抽出する方法について示す。
本実施の形態では、実施の形態4の拡張例を説明する。
本実施の形態では、線状光源装置200および画像取得装置300を同期させた状態で、画像上の光源部分を精度よく抽出する方法について示す。
図6は、本実施の形態に係るシステム構成例を示す。
図6では、ドア400の描画を省略している。
本実施の形態の移動体検出装置100では、差分検出フィルタ部110、光源形状検証部111、線分領域記憶部112、奇数フィールド画像格納部131及び偶数フィールド画像格納部132を設けている。
人数計数部105、フロー抽出部106、方向判別部107及び同期制御部109は実施の形態1及び実施の形態4で説明したものと同様である。
図6では、ドア400の描画を省略している。
本実施の形態の移動体検出装置100では、差分検出フィルタ部110、光源形状検証部111、線分領域記憶部112、奇数フィールド画像格納部131及び偶数フィールド画像格納部132を設けている。
人数計数部105、フロー抽出部106、方向判別部107及び同期制御部109は実施の形態1及び実施の形態4で説明したものと同様である。
本実施の形態では、画像取得装置300にインタレース方式を採用する。
つまり、本実施の形態では、同期制御部109は、発光面点灯中にインタレース方式の奇数フィールド及び偶数フィールドのいずれか一方に対応させて画像取得装置300に撮像を行わせ、発光面消灯中に奇数フィールド及び偶数フィールドのうちの他方に対応させて画像取得装置300に撮像を行わせる。
本実施の形態では、同期制御部109は、発光面点灯中の撮像は奇数フィールドに対応させて行わせ、発光面消灯中の撮像は奇数フィールドに対応させて行わせるものとする。
つまり、本実施の形態では、同期制御部109は、発光面点灯中にインタレース方式の奇数フィールド及び偶数フィールドのいずれか一方に対応させて画像取得装置300に撮像を行わせ、発光面消灯中に奇数フィールド及び偶数フィールドのうちの他方に対応させて画像取得装置300に撮像を行わせる。
本実施の形態では、同期制御部109は、発光面点灯中の撮像は奇数フィールドに対応させて行わせ、発光面消灯中の撮像は奇数フィールドに対応させて行わせるものとする。
奇数フィールド画像格納部131は、画像取得装置300からの奇数フィールドの画像、すなわち発光面点灯中の画像を格納する。
より具体的には、奇数フィールド画像格納部131は、移動体検出装置100の稼動前の人の通行がない状態で撮像された発光面点灯中の画像、つまり、点灯している発光面を撮像した画像であって発光面からの光が遮られていない画像を格納する。移動体検出装置100の稼動前の奇数フィールド画像を照合点灯画像と呼ぶ。
後述するように光源形状検証部111により線分領域が抽出され、線分領域記憶部112により線分領域が記憶された後は、奇数フィールド画像格納部131は照合点灯画像を削除してもよい。
また、奇数フィールド画像格納部131は、移動体検出装置100の稼動後の人が通行する可能性がある状態で画像取得装置300により撮像された発光面点灯中の画像を判定対象点灯画像として格納する。
なお、図6では、奇数フィールド画像格納部131が照合点灯画像及び判定対象点灯画像を格納することとしているが、それぞれの画像を2つの格納部で格納してもよい。
より具体的には、奇数フィールド画像格納部131は、移動体検出装置100の稼動前の人の通行がない状態で撮像された発光面点灯中の画像、つまり、点灯している発光面を撮像した画像であって発光面からの光が遮られていない画像を格納する。移動体検出装置100の稼動前の奇数フィールド画像を照合点灯画像と呼ぶ。
後述するように光源形状検証部111により線分領域が抽出され、線分領域記憶部112により線分領域が記憶された後は、奇数フィールド画像格納部131は照合点灯画像を削除してもよい。
また、奇数フィールド画像格納部131は、移動体検出装置100の稼動後の人が通行する可能性がある状態で画像取得装置300により撮像された発光面点灯中の画像を判定対象点灯画像として格納する。
なお、図6では、奇数フィールド画像格納部131が照合点灯画像及び判定対象点灯画像を格納することとしているが、それぞれの画像を2つの格納部で格納してもよい。
偶数フィールド画像格納部132は、画像取得装置300からの偶数フィールドの画像、すなわち発光面消灯中の画像を格納する。
より具体的には、偶数フィールド画像格納部132は、移動体検出装置100の稼動前の人の通行がない状態で撮像された発光面消灯中の画像を格納する。移動体検出装置100の稼動前の偶数フィールド画像を照合消灯画像と呼ぶ。
後述するように光源形状検証部111により線分領域が抽出され、線分領域記憶部112により線分領域が記憶された後は、偶数フィールド画像格納部132は照合消灯画像を削除してもよい。
また、偶数フィールド画像格納部132は、移動体検出装置100の稼動後の人が通行する可能性がある状態で画像取得装置300により撮像された発光面消灯中の画像を判定対象消灯画像として格納する。
なお、図6では、偶数フィールド画像格納部132が照合消灯画像及び判定対象点灯画像を格納することとしているが、それぞれの画像を2つの格納部で格納してもよい。
より具体的には、偶数フィールド画像格納部132は、移動体検出装置100の稼動前の人の通行がない状態で撮像された発光面消灯中の画像を格納する。移動体検出装置100の稼動前の偶数フィールド画像を照合消灯画像と呼ぶ。
後述するように光源形状検証部111により線分領域が抽出され、線分領域記憶部112により線分領域が記憶された後は、偶数フィールド画像格納部132は照合消灯画像を削除してもよい。
また、偶数フィールド画像格納部132は、移動体検出装置100の稼動後の人が通行する可能性がある状態で画像取得装置300により撮像された発光面消灯中の画像を判定対象消灯画像として格納する。
なお、図6では、偶数フィールド画像格納部132が照合消灯画像及び判定対象点灯画像を格納することとしているが、それぞれの画像を2つの格納部で格納してもよい。
差分検出フィルタ部110は、奇数フィールド画像と偶数フィールド画像を組み合わせ、組み合わせた画像を画素ごとに二値化する。
差分検出フィルタ部110は、照合点灯画像と照合消灯画像を組み合わせ、組み合わせた画像を画素ごとに二値化する。また、判定対象点灯画像と判定対象消灯画像を組み合わせ、組み合わせた画像を画素ごとに二値化する。
差分検出フィルタ部110は、照合点灯画像と照合消灯画像を組み合わせ、組み合わせた画像を画素ごとに二値化する。また、判定対象点灯画像と判定対象消灯画像を組み合わせ、組み合わせた画像を画素ごとに二値化する。
光源形状検証部111は、照合点灯画像と照合消灯画像とを組みあせた画像内で所定輝度以上の領域を線分領域(照合領域)として抽出し、抽出した線分領域を線分領域記憶部112に記憶させる。
また、光源形状検証部111は、判定対象点灯画像と判定対象消灯画像を組み合わせた画像内で所定輝度以上の領域を判定対象領域として抽出し、線分領域の面積に対する判定対象領域の面積の比率が所定の閾値未満である場合に、人が通路を通行したと判定する。
また、光源形状検証部111は、判定対象点灯画像と判定対象消灯画像を組み合わせた画像内で所定輝度以上の領域を判定対象領域として抽出し、線分領域の面積に対する判定対象領域の面積の比率が所定の閾値未満である場合に、人が通路を通行したと判定する。
本実施の形態では、奇数フィールド画像格納部131及び偶数フィールド画像格納部132が、判定対象画像格納部の例であり、差分検出フィルタ部110及び光源形状検証部111が照合領域抽出部及び通行判定部の例である。
前述したように、本実施の形態では、発光面点灯時の画像が奇数フィールドのタイミングとなり、発光面消灯時の画像が偶数フィールドのタイミングとなる。
このようにすることで、奇数フィールドと偶数フィールドの画像を合成すると、光源(発光面)の点滅状態が画像上で櫛形パタンとして観測される(図7)。
この櫛形パタンに特に反応するフィルタを設計し、差分検出フィルタ部110にて画像上にこのフィルタを適用することで光源部分の候補を抽出する。光源以外の部分にも、動きのある画像領域では櫛形ノイズ(例えば、図7の画像701)が観測されるため、光源候補として検出される。
そのため、検出された候補が光源の形状に一致するかどうかを光源形状検証部111にて検証する。これは、例えば光源が一直線状に並んでいるという事前知識を用いることで、光源以外の候補を除去することができる。
具体的には、ハフ変換法などを用いて直線(線分)の候補を抽出し、その線分候補の中から、光源形状、例えば光源の長さや、点光源であれば光源の数などに一致する候補のみを残す。線分候補を構成する光源部分が、最終的に抽出された光源部分となる。
図7では、線分候補702及び線分候補703が抽出され、例えば、線分候補702が光源部分の線分領域として選択される。
このようにすることで、奇数フィールドと偶数フィールドの画像を合成すると、光源(発光面)の点滅状態が画像上で櫛形パタンとして観測される(図7)。
この櫛形パタンに特に反応するフィルタを設計し、差分検出フィルタ部110にて画像上にこのフィルタを適用することで光源部分の候補を抽出する。光源以外の部分にも、動きのある画像領域では櫛形ノイズ(例えば、図7の画像701)が観測されるため、光源候補として検出される。
そのため、検出された候補が光源の形状に一致するかどうかを光源形状検証部111にて検証する。これは、例えば光源が一直線状に並んでいるという事前知識を用いることで、光源以外の候補を除去することができる。
具体的には、ハフ変換法などを用いて直線(線分)の候補を抽出し、その線分候補の中から、光源形状、例えば光源の長さや、点光源であれば光源の数などに一致する候補のみを残す。線分候補を構成する光源部分が、最終的に抽出された光源部分となる。
図7では、線分候補702及び線分候補703が抽出され、例えば、線分候補702が光源部分の線分領域として選択される。
次に、本実施の形態に係る差分検出フィルタ部110及び光源形状検証部111の動作例を図15及び図16のフローチャートを参照して説明する。
図15は、線分候補を抽出して線分領域を選択する際の処理フローを示し、図16は、線分領域を用いて人の通行を検出する際の処理フローを示す。
図15は、線分候補を抽出して線分領域を選択する際の処理フローを示し、図16は、線分領域を用いて人の通行を検出する際の処理フローを示す。
図15のフローは、初期化時に1回だけ実行される。
差分検出フィルタ部110は、奇数フィールド画像(照合点灯画像)と偶数フィード画像(照合消灯画像)を組み合わせ、組み合わせた画像に、差分検出フィルタを適用したフィルタ画像を作成する(S1501)。フィルタ画像とは、各画素位置に対応するフィルタ値が、その画素値として記録された画像である。このフィルタ画像をあらかじめ決められた閾値で二値化し、フィルタ値の大きな部分(所定輝度以上の部分)を図形として抽出する(S1502)。
そして、光源形状検証部111が、S1502で抽出された図形を元に、ハフ変換を施して線分を抽出する(S1503)。
また、光源形状検証部111は、上述したように、抽出した線分候補の中から、光源形状、例えば光源の長さや、点光源であれば光源の数などに最も適合するものを光源部分の線分領域として選択し、選択した線分領域を線分領域記憶部112に記憶させる(S1504)。
差分検出フィルタ部110は、奇数フィールド画像(照合点灯画像)と偶数フィード画像(照合消灯画像)を組み合わせ、組み合わせた画像に、差分検出フィルタを適用したフィルタ画像を作成する(S1501)。フィルタ画像とは、各画素位置に対応するフィルタ値が、その画素値として記録された画像である。このフィルタ画像をあらかじめ決められた閾値で二値化し、フィルタ値の大きな部分(所定輝度以上の部分)を図形として抽出する(S1502)。
そして、光源形状検証部111が、S1502で抽出された図形を元に、ハフ変換を施して線分を抽出する(S1503)。
また、光源形状検証部111は、上述したように、抽出した線分候補の中から、光源形状、例えば光源の長さや、点光源であれば光源の数などに最も適合するものを光源部分の線分領域として選択し、選択した線分領域を線分領域記憶部112に記憶させる(S1504)。
次に、図16において、差分検出フィルタ部110は、奇数フィールド画像(判定対象点灯画像)と偶数フィールド画像(判定対象消灯画像)を奇数フィールド画像格納部131及び偶数フィールド画像格納部132から入力し(S1601)、入力した奇数フィールド画像及び偶数フィールド画像を組み合わせる(S1602)。
差分検出フィルタ部110は、S1603とS1604では、図15のS1501とS1502と同じ処理を行う。
次に、光源形状検証部111は、二値化で求められた図形(所定輝度以上の部分)と、S1504で記憶した線分領域との重なり部分の面積を求める。つまり、奇数フィールド画像及び偶数フィールド画像の組み合わせ画像において線分領域に対応する範囲内で所定輝度以上の領域を判定対象領域として抽出し、その判定対象領域の面積を求める(S1605)。
そして、その面積(判定対象領域の面積)を、S1504で記憶した線分領域の面積で割って、光源領域の面積比率(線分領域の面積に対する判定対象領域の面積の比率)を計算する(S1606)。この面積は、光源部分の検出長さとして利用することができる。
差分検出フィルタ部110は、S1603とS1604では、図15のS1501とS1502と同じ処理を行う。
次に、光源形状検証部111は、二値化で求められた図形(所定輝度以上の部分)と、S1504で記憶した線分領域との重なり部分の面積を求める。つまり、奇数フィールド画像及び偶数フィールド画像の組み合わせ画像において線分領域に対応する範囲内で所定輝度以上の領域を判定対象領域として抽出し、その判定対象領域の面積を求める(S1605)。
そして、その面積(判定対象領域の面積)を、S1504で記憶した線分領域の面積で割って、光源領域の面積比率(線分領域の面積に対する判定対象領域の面積の比率)を計算する(S1606)。この面積は、光源部分の検出長さとして利用することができる。
その後、光源形状検証部111は、S1606で算出した面積比率が所定の閾値未満であるかどうかを判断し(S1607)、面積比率が閾値未満である場合(S1607でYES)は、発光面の点灯時に発光面からの光が人物により遮光されて暗くなっている部分が存在しているので、人物が通過中と判断する。
そして、光源形状検証部111は、現在の状態フラグを確認する(S1611)。
状態フラグが「通過中」である場合(S1611で通過中)は、処理がS1601に戻り、差分検出フィルタ部110が次の奇数フィールド画像(判定対象点灯画像)及び偶数フィールド画像(判定対象消灯画像)を入力する。
状態フラグが「待機中」である場合(S1611で待機中)は、光源形状検証部111は状態フラグを「通過中」に変更する(S1612)。
そして、光源形状検証部111は、現在の状態フラグを確認する(S1611)。
状態フラグが「通過中」である場合(S1611で通過中)は、処理がS1601に戻り、差分検出フィルタ部110が次の奇数フィールド画像(判定対象点灯画像)及び偶数フィールド画像(判定対象消灯画像)を入力する。
状態フラグが「待機中」である場合(S1611で待機中)は、光源形状検証部111は状態フラグを「通過中」に変更する(S1612)。
一方、S1607において、差分が閾値以上である場合は、発光面の点灯時に発光面からの光が遮光されずに明るい状態なので、光源形状検証部111は、人物が通行していないと判断する。
そして、光源形状検証部111は、状態フラグを確認し(S1608)、「待機中」であれば、処理がS1601に戻り、差分検出フィルタ部110が次の奇数フィールド画像(判定対象点灯画像)及び偶数フィールド画像(判定対象消灯画像)を入力する。
「通過中」であれば、線状光源装置200及び画像取得装置300の前を人が通過し終えた状態であるので、人数計数部105が、計数値を1つ加算する(S1609)。
そして、光源形状検証部111が状態フラグを「待機中」に変更した後(S1610)、処理がS1601に戻り、差分検出フィルタ部110が次の奇数フィールド画像(判定対象点灯画像)及び偶数フィールド画像(判定対象消灯画像)を入力する。
そして、光源形状検証部111は、状態フラグを確認し(S1608)、「待機中」であれば、処理がS1601に戻り、差分検出フィルタ部110が次の奇数フィールド画像(判定対象点灯画像)及び偶数フィールド画像(判定対象消灯画像)を入力する。
「通過中」であれば、線状光源装置200及び画像取得装置300の前を人が通過し終えた状態であるので、人数計数部105が、計数値を1つ加算する(S1609)。
そして、光源形状検証部111が状態フラグを「待機中」に変更した後(S1610)、処理がS1601に戻り、差分検出フィルタ部110が次の奇数フィールド画像(判定対象点灯画像)及び偶数フィールド画像(判定対象消灯画像)を入力する。
本実施の形態では、このような構成により、実施の形態4の効果に加えて光源抽出を精度よくおこなうことができ、通過人数の計測を精度よくおこなうことができる。
実施の形態6.
本実施の形態では、実施の形態4の拡張例を説明する。
より具体的には、実施の形態4において設けた同期制御部109が、線状光源装置200を制御して発光面の点滅を不規則に行わせ、画像取得装置300を制御して線状光源装置200の発光面の不規則な点滅に同期させて発光面の点灯中及び消灯中の各々において撮像を行わせる例を説明する。
本実施の形態では、実施の形態4の拡張例を説明する。
より具体的には、実施の形態4において設けた同期制御部109が、線状光源装置200を制御して発光面の点滅を不規則に行わせ、画像取得装置300を制御して線状光源装置200の発光面の不規則な点滅に同期させて発光面の点灯中及び消灯中の各々において撮像を行わせる例を説明する。
より具体的には、本実施の形態に係る同期制御部109は、ある特定のパタン、ON(点灯)=1、OFF(消灯)=0とすると、010101というパタンの他、010110011101といったパタンに従って線状光源装置200の発光面を点滅させ、画像取得装置300をこのようなパタンに同期させて、発光面の点灯中及び消灯中の各々において撮像を行わせる。
同期制御部109の制御パタンは、自然界に存在する点滅状態と区別する目的を果たすパタンであれば、どのようなパタンであってもよい。
光源抽出部103では、上記特定パタンで点滅している部分を抽出すれば、ノイズに影響されずに確実に発光面部分を抽出することが可能である。
同期制御部109の制御パタンは、自然界に存在する点滅状態と区別する目的を果たすパタンであれば、どのようなパタンであってもよい。
光源抽出部103では、上記特定パタンで点滅している部分を抽出すれば、ノイズに影響されずに確実に発光面部分を抽出することが可能である。
また、本実施の形態では、例えば、上記の010110011101のパタンでは、8番目までは「01」、「01」、「10」、「01」と点灯と消灯が交互になっているが、9番目と10番目では、「11」となり点灯が続くことになる。8番目までは、差分抽出部104は連続する判定対象点灯画像と判定対象消灯画像を用いて実施の形態4と同様に処理を行うが、9番目と10番目の「11」については、9番目の「1」に相当する判定対象点灯画像又は10番目の「1」に相当する判定対象点灯画像を選択し、11番目の「0」に相当する判定対象消灯画像との差分を取るようにする。
このような構成により、本実施の形態では、実施の形態4の効果に加えて、光源抽出を精度よくおこなうことができ、通過人数の計測を精度よく行うことができる。
また、本実施の形態によれば、自然界に存在しない点滅パタンにて不規則に発光面を点滅させるので、通行有無の判断において、ノイズの影響を排除することができる。
また、本実施の形態によれば、自然界に存在しない点滅パタンにて不規則に発光面を点滅させるので、通行有無の判断において、ノイズの影響を排除することができる。
実施の形態7.
本実施の形態では、実施の形態4の別の拡張例を説明する。
具体的には、本実施の形態では、通行がない状況において撮像された線状光源装置200の発光面が点灯している画像と、線状光源装置200の発光面が消灯している画像を照合点灯画像及び照合消灯画像として用意し、照合点灯画像と照合消灯画像との差分を照合画像差分として抽出する。そして、実施の形態4と同様に、通行の可能性がある状況において線状光源装置200の発光面を点滅させ、判定対象点灯画像と判定対象消灯画像の差分を判定対象画像差分として抽出し、判定対象画像差分と照合画像差分とを比較して通路における通行の有無を判定する。
本実施の形態では、実施の形態4の別の拡張例を説明する。
具体的には、本実施の形態では、通行がない状況において撮像された線状光源装置200の発光面が点灯している画像と、線状光源装置200の発光面が消灯している画像を照合点灯画像及び照合消灯画像として用意し、照合点灯画像と照合消灯画像との差分を照合画像差分として抽出する。そして、実施の形態4と同様に、通行の可能性がある状況において線状光源装置200の発光面を点滅させ、判定対象点灯画像と判定対象消灯画像の差分を判定対象画像差分として抽出し、判定対象画像差分と照合画像差分とを比較して通路における通行の有無を判定する。
図8は、本実施の形態に係るシステム構成例を示す。
図8では、ドア400の描画を省略している。
本実施の形態の移動体検出装置100では、照合画像差分記憶部113、点灯画像格納部141及び消灯画像格納部142を設けている。
光源抽出部103、差分抽出部104、人数計数部105、フロー抽出部106、方向判別部107、同期制御部109は実施の形態1及び実施の形態4で説明したものと同様である。
図8では、ドア400の描画を省略している。
本実施の形態の移動体検出装置100では、照合画像差分記憶部113、点灯画像格納部141及び消灯画像格納部142を設けている。
光源抽出部103、差分抽出部104、人数計数部105、フロー抽出部106、方向判別部107、同期制御部109は実施の形態1及び実施の形態4で説明したものと同様である。
点灯画像格納部141は、発光面が点灯中に撮影された画像を格納する。
より具体的には、点灯画像格納部141は、移動体検出装置100の稼動前の人の通行がない状態で撮像された画像、つまり、点灯している発光面を撮像した画像であって発光面からの光が遮られていない画像を照合点灯画像として格納する。
照合点灯画像は画像取得装置300により撮像された画像でもよいし、他の装置により撮像された画像でもよい。
後述するように差分抽出部104により照合画像差分が抽出され、照合画像差分記憶部113により照合画像差分が記憶された後は、点灯画像格納部141は照合点灯画像を削除してもよい。
また、点灯画像格納部141は、移動体検出装置100の稼動後の人が通行する可能性がある状態で画像取得装置300により撮像された画像、つまり、実施の形態4で説明した判定対象点灯画像を格納する。
点灯画像格納部141は、照合画像格納部及び判定対象画像格納部の機能を果たす。
なお、図8では、点灯画像格納部141が照合点灯画像及び判定対象点灯画像を格納することとしているが、照合点灯画像のみを格納する手段と判定対象点灯画像のみを格納する手段に分離してもよい。
より具体的には、点灯画像格納部141は、移動体検出装置100の稼動前の人の通行がない状態で撮像された画像、つまり、点灯している発光面を撮像した画像であって発光面からの光が遮られていない画像を照合点灯画像として格納する。
照合点灯画像は画像取得装置300により撮像された画像でもよいし、他の装置により撮像された画像でもよい。
後述するように差分抽出部104により照合画像差分が抽出され、照合画像差分記憶部113により照合画像差分が記憶された後は、点灯画像格納部141は照合点灯画像を削除してもよい。
また、点灯画像格納部141は、移動体検出装置100の稼動後の人が通行する可能性がある状態で画像取得装置300により撮像された画像、つまり、実施の形態4で説明した判定対象点灯画像を格納する。
点灯画像格納部141は、照合画像格納部及び判定対象画像格納部の機能を果たす。
なお、図8では、点灯画像格納部141が照合点灯画像及び判定対象点灯画像を格納することとしているが、照合点灯画像のみを格納する手段と判定対象点灯画像のみを格納する手段に分離してもよい。
消灯画像格納部142は、発光面が消灯中に撮影された画像を格納する。
より具体的には、消灯画像格納部142は、移動体検出装置100の稼動前の人の通行がない状態で撮像された画像、つまり、照合点灯画像の撮像時と同じ環境下で撮像された消灯している発光面の画像を照合消灯画像として格納する。
照合点灯画像は画像取得装置300により撮像された画像でもよいし、他の装置により撮像された画像でもよい。
後述するように差分抽出部104により照合画像差分が抽出され、照合画像差分記憶部113により照合画像差分が記憶された後は、消灯画像格納部142は照合消灯画像を削除してもよい。
また、消灯画像格納部142は、移動体検出装置100の稼動後の人が通行する可能性がある状態で画像取得装置300により撮像された画像、つまり、実施の形態4で説明した判定対象消灯画像を格納する。
消灯画像格納部142は、照合画像格納部及び判定対象画像格納部の機能を果たす。
なお、図8では、消灯画像格納部142が照合消灯画像及び判定対象消灯画像を格納することとしているが、照合消灯画像のみを格納する手段と判定対象消灯画像のみを格納する手段に分離してもよい。
より具体的には、消灯画像格納部142は、移動体検出装置100の稼動前の人の通行がない状態で撮像された画像、つまり、照合点灯画像の撮像時と同じ環境下で撮像された消灯している発光面の画像を照合消灯画像として格納する。
照合点灯画像は画像取得装置300により撮像された画像でもよいし、他の装置により撮像された画像でもよい。
後述するように差分抽出部104により照合画像差分が抽出され、照合画像差分記憶部113により照合画像差分が記憶された後は、消灯画像格納部142は照合消灯画像を削除してもよい。
また、消灯画像格納部142は、移動体検出装置100の稼動後の人が通行する可能性がある状態で画像取得装置300により撮像された画像、つまり、実施の形態4で説明した判定対象消灯画像を格納する。
消灯画像格納部142は、照合画像格納部及び判定対象画像格納部の機能を果たす。
なお、図8では、消灯画像格納部142が照合消灯画像及び判定対象消灯画像を格納することとしているが、照合消灯画像のみを格納する手段と判定対象消灯画像のみを格納する手段に分離してもよい。
照合画像差分記憶部113は、差分抽出部104により抽出された照合画像差分を記憶する。
つまり、本実施の形態では、光源抽出部103は、照合点灯画像と照合消灯画像から発光面部分を抽出し、差分抽出部104は照合点灯画像の発光面部分と照合消灯画像の発光面部分を比較して照合点灯画像と照合消灯画像との差分を照合画像差分として抽出し、照合画像差分記憶部113に記憶させる。
また、差分抽出部104は、光源抽出部103により発光面部分が抽出された後、判定対象点灯画像と判定対象消灯画像とを比較して判定対象点灯画像と判定対象消灯画像との差分を判定対象画像差分として抽出し、照合画像差分と判定対象画像差分とを比較して人の通路での通行の有無を判定する。より具体的には、差分抽出部104は、照合画像差分と判定対象画像差分との差分を抽出し、抽出した差分が所定の閾値以上である場合に人が通路を通行していると判定する。
つまり、本実施の形態では、光源抽出部103は、照合点灯画像と照合消灯画像から発光面部分を抽出し、差分抽出部104は照合点灯画像の発光面部分と照合消灯画像の発光面部分を比較して照合点灯画像と照合消灯画像との差分を照合画像差分として抽出し、照合画像差分記憶部113に記憶させる。
また、差分抽出部104は、光源抽出部103により発光面部分が抽出された後、判定対象点灯画像と判定対象消灯画像とを比較して判定対象点灯画像と判定対象消灯画像との差分を判定対象画像差分として抽出し、照合画像差分と判定対象画像差分とを比較して人の通路での通行の有無を判定する。より具体的には、差分抽出部104は、照合画像差分と判定対象画像差分との差分を抽出し、抽出した差分が所定の閾値以上である場合に人が通路を通行していると判定する。
図10及び図11は、本実施の形態に係る移動体検出装置100の動作の概要を示す。
図10は、人が通路を通行していない場合を示し、図11は人が通路を通行している場合を示している。
図10は、人が通路を通行していない場合を示し、図11は人が通路を通行している場合を示している。
図10において、照合点灯画像では、人がいないので、線状光源装置200の発光面全体が発光している(明るい状態)。
一方、照合消灯画面では、消灯中なので、発光面全体で暗い状態である。
照合点灯画面と照合消灯画面で差分を抽出すると、照合画像差分は、発光面全体で差があることになる。
判定対象点灯画像においても、人がいないので、線状光源装置200の発光面全体が発光している(明るい状態)。
一方、判定対象消灯画面では、消灯中なので、発光面全体で暗い状態である。
判定対象点灯画面と判定対象消灯画面で差分を抽出すると、判定対象画像差分は、発光面全体で差があることになる。
そして、照合画像差分と判定対象画像差分で差分を抽出すると、両者ともに「発光面全体で差がある」状態なので、両者には差がない。
このように、照合画像差分と判定対象画像差分との間に差がない場合は、人が通行していないと判定できる。
一方、照合消灯画面では、消灯中なので、発光面全体で暗い状態である。
照合点灯画面と照合消灯画面で差分を抽出すると、照合画像差分は、発光面全体で差があることになる。
判定対象点灯画像においても、人がいないので、線状光源装置200の発光面全体が発光している(明るい状態)。
一方、判定対象消灯画面では、消灯中なので、発光面全体で暗い状態である。
判定対象点灯画面と判定対象消灯画面で差分を抽出すると、判定対象画像差分は、発光面全体で差があることになる。
そして、照合画像差分と判定対象画像差分で差分を抽出すると、両者ともに「発光面全体で差がある」状態なので、両者には差がない。
このように、照合画像差分と判定対象画像差分との間に差がない場合は、人が通行していないと判定できる。
他方、図11において、判定対象点灯画像では、線状光源装置200の発光面全体の中で通行中の人物に隠されていない部分は発光しており(明るい状態)、通行中の人物に隠された部分は暗い状態である。
また、判定対象消灯画面では、消灯中なので、発光面全体で暗い状態である。
このように、人が通行している場合は、判定対象点灯画像と判定対象消灯画像との輝度上の差分を抽出すると、判定対象画像差分は発光面の一部(人物に隠されていない部分)にしかない。
そして、照合画像差分と判定対象画像差分で差分を抽出すると、両者には大きな差がある。
このように、照合画像差分と判定対象画像差分で差がある場合は人が通行していると判断することができる。
このため、人数計数部105は照合画像差分と判定対象画像差分の差が所定の閾値以上の場合は、人が通行していると判断する。閾値は、例えば、発光面部分の面積の10%〜40%のうちの任意の値とすることが考えられる。つまり、閾値を10%とする場合は、図11の例において、判定対象画像差分における「差なし」の割合が発光面全体の面積に対して10%以上である場合は、人が通行していると判断する。
また、判定対象消灯画面では、消灯中なので、発光面全体で暗い状態である。
このように、人が通行している場合は、判定対象点灯画像と判定対象消灯画像との輝度上の差分を抽出すると、判定対象画像差分は発光面の一部(人物に隠されていない部分)にしかない。
そして、照合画像差分と判定対象画像差分で差分を抽出すると、両者には大きな差がある。
このように、照合画像差分と判定対象画像差分で差がある場合は人が通行していると判断することができる。
このため、人数計数部105は照合画像差分と判定対象画像差分の差が所定の閾値以上の場合は、人が通行していると判断する。閾値は、例えば、発光面部分の面積の10%〜40%のうちの任意の値とすることが考えられる。つまり、閾値を10%とする場合は、図11の例において、判定対象画像差分における「差なし」の割合が発光面全体の面積に対して10%以上である場合は、人が通行していると判断する。
次に、本実施の形態に係る光源抽出部103、差分抽出部104及び人数計数部105の動作例を図17及び図18のフローチャートを参照して説明する。
図17は、照合点灯画像と照合消灯画像から照合画像差分を抽出する際の処理フローを示し、図18は、判定対象点灯画像と判定対象消灯画像から判定対象画像差分を抽出し、判定対象画像差分と照合画像差分とを比較して通行の有無を判定する際の処理フローを示す。
図17は、照合点灯画像と照合消灯画像から照合画像差分を抽出する際の処理フローを示し、図18は、判定対象点灯画像と判定対象消灯画像から判定対象画像差分を抽出し、判定対象画像差分と照合画像差分とを比較して通行の有無を判定する際の処理フローを示す。
図17において、まず、光源抽出部103が点灯画像格納部141及び消灯画像格納部142から、照合点灯画像及び照合消灯画像を入力する(S1701)。
次に、光源抽出部103が入力した照合点灯画像及び照合消灯画像のそれぞれから発光面部分を抽出する(S1702)。
次に、差分抽出部104が照合点灯画像の発光面部分と照合消灯画像の発光面部分を比較して、輝度上の差分を抽出する(S1703)。
そして、差分抽出部104は、抽出した差分を照合画像差分として照合画像差分記憶部113に記憶させる(S1704)。
次に、光源抽出部103が入力した照合点灯画像及び照合消灯画像のそれぞれから発光面部分を抽出する(S1702)。
次に、差分抽出部104が照合点灯画像の発光面部分と照合消灯画像の発光面部分を比較して、輝度上の差分を抽出する(S1703)。
そして、差分抽出部104は、抽出した差分を照合画像差分として照合画像差分記憶部113に記憶させる(S1704)。
次に、図18において、まず、光源抽出部103が点灯画像格納部141及び消灯画像格納部142から、画像取得装置300により連続して撮像された判定対象点灯画像及び判定対象消灯画像をそれぞれ1つずつ入力する(S1801)。
次に、光源抽出部103が入力した判定対象点灯画像及び判定対象消灯画像のそれぞれから発光面部分を抽出する(S1802)。
次に、差分抽出部104が判定対象点灯画像の発光面部分と判定対象消灯画像の発光面部分を比較して、輝度上の差分を判定対象画像差分として抽出する(S1803)。
次に、差分抽出部104は、照合画像差分記憶部113から照合画像差分を読み出すとともに、判定対象画像差分と照合画像差分を比較して判定対象画像差分と照合画像差分との差分を抽出する(S1804)。
そして、差分抽出部104は、抽出した差分が所定の閾値以上であるか否かを判断し(S1805)、差分が閾値以上である場合(S1805でYES)は、人物が通過中と判断する。
そして、差分抽出部104は、現在の状態フラグを確認する(S1809)。
状態フラグが「通過中」である場合(S1809で通過中)は、処理がS1801に戻り、光源抽出部103が次の判定対象点灯画像及び判定対象消灯画像を入力する。
状態フラグが「待機中」である場合(S1809で待機中)は、差分抽出部104は状態フラグを「通過中」に変更する(S1810)。
次に、光源抽出部103が入力した判定対象点灯画像及び判定対象消灯画像のそれぞれから発光面部分を抽出する(S1802)。
次に、差分抽出部104が判定対象点灯画像の発光面部分と判定対象消灯画像の発光面部分を比較して、輝度上の差分を判定対象画像差分として抽出する(S1803)。
次に、差分抽出部104は、照合画像差分記憶部113から照合画像差分を読み出すとともに、判定対象画像差分と照合画像差分を比較して判定対象画像差分と照合画像差分との差分を抽出する(S1804)。
そして、差分抽出部104は、抽出した差分が所定の閾値以上であるか否かを判断し(S1805)、差分が閾値以上である場合(S1805でYES)は、人物が通過中と判断する。
そして、差分抽出部104は、現在の状態フラグを確認する(S1809)。
状態フラグが「通過中」である場合(S1809で通過中)は、処理がS1801に戻り、光源抽出部103が次の判定対象点灯画像及び判定対象消灯画像を入力する。
状態フラグが「待機中」である場合(S1809で待機中)は、差分抽出部104は状態フラグを「通過中」に変更する(S1810)。
一方、S1805において、差分が閾値未満である場合は、差分抽出部104は、人物が通行していないと判断する。
そして、差分抽出部104は、状態フラグを確認し(S1806)、「待機中」であれば、処理がS1801に戻り、光源抽出部103が次の判定対象点灯画像及び判定対象消灯画像を入力する。「通過中」であれば、線状光源装置200及び画像取得装置300の前を人が通過し終えた状態であるので、人数計数部105が、計数値を1つ加算する(S1807)。
そして、差分抽出部104が状態フラグを「待機中」に変更した後(S1808)、処理がS1801に戻り、光源抽出部103が次の判定対象点灯画像及び判定対象消灯画像を入力する。
そして、差分抽出部104は、状態フラグを確認し(S1806)、「待機中」であれば、処理がS1801に戻り、光源抽出部103が次の判定対象点灯画像及び判定対象消灯画像を入力する。「通過中」であれば、線状光源装置200及び画像取得装置300の前を人が通過し終えた状態であるので、人数計数部105が、計数値を1つ加算する(S1807)。
そして、差分抽出部104が状態フラグを「待機中」に変更した後(S1808)、処理がS1801に戻り、光源抽出部103が次の判定対象点灯画像及び判定対象消灯画像を入力する。
本実施の形態によれば、照合画像差分と判定対象画像差分とを比較するため、照合画像撮像時(移動体検出装置100の稼動前)の撮像環境(線状光源装置200以外の光源の有無、線状光源装置200以外の光源の光の強さ)と、判定対象画像撮像時(移動体検出装置100の稼動後)の撮像環境との差異を吸収することができ、高精度な移動体の検出を行うことができる。
例えば、照合画像撮像時が昼間であり、判定対象画像撮像時が夜間であれば、窓等から入射する日光の有無等により移動体検出精度上の影響を受ける可能性があるが、本実施の形態では、照合画像差分と判定対象画像差分という差分同士を比較するので、このような影響を排除することができる。
例えば、照合画像撮像時が昼間であり、判定対象画像撮像時が夜間であれば、窓等から入射する日光の有無等により移動体検出精度上の影響を受ける可能性があるが、本実施の形態では、照合画像差分と判定対象画像差分という差分同士を比較するので、このような影響を排除することができる。
また、本実施の形態によれば、照合画像差分と判定対象画像差分とを比較するため、外乱光の影響を排除して正確に通行を検出することができる。
外乱光による影響が問題になるのは、主に、人が存在する場合に人に外乱光が反射し、光源が点灯していると誤認識され、人が通行していないとの判断が行われる場合である。
本実施の形態では、判定対象点灯画像と判定対象消灯画像の差分(判定対象画像差分)は、人に外乱光があたって光源が点灯していると認識される場合は差分無しとなる。つまり、人が通行しており、人に外乱光があたっている場合は、光源が点灯している場合(判定対象点灯画像)においても、光源が消灯している場合(判定対象消灯画像)においても、発光面からの光が人により遮光されている部分においても外乱光により発光しているように撮像されているので、判定対象画像差分においては外乱光で発光しているように誤認識される箇所も差がないと判断される。
そして、照合画面差分と判定対象画面差分との比較においては、人に外乱光があたって光源が点灯していると認識される場合は差分有りと認識される。
このように、本実施の形態によれば、人に外乱光があたって光源が点灯していると認識される場合にも、人が存在していると判定されるために誤検知がなくなる。
外乱光による影響が問題になるのは、主に、人が存在する場合に人に外乱光が反射し、光源が点灯していると誤認識され、人が通行していないとの判断が行われる場合である。
本実施の形態では、判定対象点灯画像と判定対象消灯画像の差分(判定対象画像差分)は、人に外乱光があたって光源が点灯していると認識される場合は差分無しとなる。つまり、人が通行しており、人に外乱光があたっている場合は、光源が点灯している場合(判定対象点灯画像)においても、光源が消灯している場合(判定対象消灯画像)においても、発光面からの光が人により遮光されている部分においても外乱光により発光しているように撮像されているので、判定対象画像差分においては外乱光で発光しているように誤認識される箇所も差がないと判断される。
そして、照合画面差分と判定対象画面差分との比較においては、人に外乱光があたって光源が点灯していると認識される場合は差分有りと認識される。
このように、本実施の形態によれば、人に外乱光があたって光源が点灯していると認識される場合にも、人が存在していると判定されるために誤検知がなくなる。
実施の形態8.
本実施の形態では、ドア、廊下などの通路において、人物が通過する開口部を挟んで線状光源と画像取得装置を配置し、取得時刻の異なる複数の映像について画像上の光源の領域を比較することにより人物を計数し、取得時刻の異なる複数の映像について画像上の動きを抽出することにより人物の移動方向を検出する装置において、複数の画像撮像装置を用いて見逃しや過剰検出を防止する例を説明する。
本実施の形態では、ドア、廊下などの通路において、人物が通過する開口部を挟んで線状光源と画像取得装置を配置し、取得時刻の異なる複数の映像について画像上の光源の領域を比較することにより人物を計数し、取得時刻の異なる複数の映像について画像上の動きを抽出することにより人物の移動方向を検出する装置において、複数の画像撮像装置を用いて見逃しや過剰検出を防止する例を説明する。
実施の形態1〜7で説明したシステムは、1つの線状光源と1つの画像取得装置により、通過人数と通過方向を計測するものである。
具体的には、ドア、廊下などの通路において、1つの線状光源と1つの画像取得装置を開口部を挟んで対向して配置し、線状光源と画像取得装置との間を人が通過することにより、画像取得装置へ届く線状光源の光が遮光されることをもって通過と人数を計測し、同時に画像取得装置に線状光源の光が遮光された時の画像からオプティカルフローによって通過方向を判別するものである。
具体的には、ドア、廊下などの通路において、1つの線状光源と1つの画像取得装置を開口部を挟んで対向して配置し、線状光源と画像取得装置との間を人が通過することにより、画像取得装置へ届く線状光源の光が遮光されることをもって通過と人数を計測し、同時に画像取得装置に線状光源の光が遮光された時の画像からオプティカルフローによって通過方向を判別するものである。
実施の形態1〜7の場合、画像取得装置(カメラ)の視野内に通過する人の肩位置が含まれており、かつ、カメラレンズの中心と通過する人の肩位置を結んだ延長線上に線状光源が存在していることが前提である。
なぜなら、例えばカメラ視野内に肩位置が含まれており、かつ、カメラレンズの中心と通過する人の肩位置を結んだ延長線上に線状光源が含まれている場合、画像処理によって得られる線状光源の遮光有無を時系列に並べた画像は、図19の通り1つの固まりとして現れる。
しかしながら、もしカメラ視野内に通過する人の肩位置が含まれていない場合、図20に示すように腕と胴体が一体となった画像とならず、あたかも分離している2つの物体が存在しているかのような画像となる。
なぜなら、例えばカメラ視野内に肩位置が含まれており、かつ、カメラレンズの中心と通過する人の肩位置を結んだ延長線上に線状光源が含まれている場合、画像処理によって得られる線状光源の遮光有無を時系列に並べた画像は、図19の通り1つの固まりとして現れる。
しかしながら、もしカメラ視野内に通過する人の肩位置が含まれていない場合、図20に示すように腕と胴体が一体となった画像とならず、あたかも分離している2つの物体が存在しているかのような画像となる。
実施の形態1〜7のシステムでは、線状光源と画像取得装置が1つであるため、以下のようなケースが生じる。
たとえば、図27に示すように、1つの画像取得装置を床面からの高さ90cm程度の低い位置に設置した場合、身長が120cm程度の背の低い人物でも見逃しなく検知することが可能である。
しかし、ここで身長が190cm程度の背の高い人物が通過した場合、通過時の腕と胴体が分離されてしまい、2人が通過したと検知されてしまう可能性(過剰検知の可能性)がある。
なお、図27に示す(1)は身長190cmの人が通路の左側を歩いた際のシルエットを示しており、(2)は身長190cmの人が通路の右側を歩いた際のシルエットを示しており、身長190cmの人が二人並んで歩いているわけではない。
同様に、(3)は身長120cmの人が通路の左側を歩いた際のシルエットを示しており、(4)は身長120cmの人が通路の右側を歩いた際のシルエットを示しており、身長120cmの人が二人並んで歩いているわけではない。
たとえば、図27に示すように、1つの画像取得装置を床面からの高さ90cm程度の低い位置に設置した場合、身長が120cm程度の背の低い人物でも見逃しなく検知することが可能である。
しかし、ここで身長が190cm程度の背の高い人物が通過した場合、通過時の腕と胴体が分離されてしまい、2人が通過したと検知されてしまう可能性(過剰検知の可能性)がある。
なお、図27に示す(1)は身長190cmの人が通路の左側を歩いた際のシルエットを示しており、(2)は身長190cmの人が通路の右側を歩いた際のシルエットを示しており、身長190cmの人が二人並んで歩いているわけではない。
同様に、(3)は身長120cmの人が通路の左側を歩いた際のシルエットを示しており、(4)は身長120cmの人が通路の右側を歩いた際のシルエットを示しており、身長120cmの人が二人並んで歩いているわけではない。
一方、過剰検知をしないように、例えば図28に示すように床面からの高さ150cm程度の高い位置に1つの画像取得装置を設置した場合は、逆に身長が120cm程度の背の低い人物が線状光源200を遮光せず、見逃してしまう可能性がある。
このように線状光源と画像取得装置が1つづつしかないシステムは画像取得装置の設置位置によって見逃しや過剰検知などの可能性がある。
図21は、本実施の形態に係るシステム構成例を示している。
図21は図1に示す構成に対応しており、図1では1つの画像取得装置300を用いているが、図21では、画像取得装置A300aと画像取得装置B300bの2つを用いる。
また、図21では、画像取得装置A300aと画像取得装置B300bの二系統に対応させて、照合画像格納部101、判定対象画像格納部102、光源抽出部103、差分抽出部104も二系統とし、画像取得装置A300aに対しては照合画像格納部A101a、判定対象画像格納部A102a、光源抽出部103a、差分抽出部104aを配置し、画像取得装置B300bに対しては照合画像格納部B101b、判定対象画像格納部B102b、光源抽出部103b、差分抽出部104bを配置している。
人数計数部105、フロー抽出部106及び方向判定部107は1つである。
図21は図1に示す構成に対応しており、図1では1つの画像取得装置300を用いているが、図21では、画像取得装置A300aと画像取得装置B300bの2つを用いる。
また、図21では、画像取得装置A300aと画像取得装置B300bの二系統に対応させて、照合画像格納部101、判定対象画像格納部102、光源抽出部103、差分抽出部104も二系統とし、画像取得装置A300aに対しては照合画像格納部A101a、判定対象画像格納部A102a、光源抽出部103a、差分抽出部104aを配置し、画像取得装置B300bに対しては照合画像格納部B101b、判定対象画像格納部B102b、光源抽出部103b、差分抽出部104bを配置している。
人数計数部105、フロー抽出部106及び方向判定部107は1つである。
また、図5に示す構成に対応させて、図22に示す構成であってもよい。
つまり、図5では1つの画像取得装置300を用いているが、図22では、画像取得装置A300aと画像取得装置B300bの2つを用いる。
また、図22では、画像取得装置A300aと画像取得装置B300bの二系統に対応させて、判定対象点灯画像格納部121、判定対象消灯画像格納部122、光源抽出部103、差分抽出部104も二系統とし、画像取得装置A300aに対しては判定対象点灯画像格納部A121a、判定対象消灯画像格納部A122a、光源抽出部103a、差分抽出部104aを配置し、画像取得装置B300bに対しては判定対象点灯画像格納部B121b、判定対象消灯画像格納部B122b、光源抽出部103b、差分抽出部104bを配置している。
同期制御部109、人数計数部105、フロー抽出部106及び方向判別部107は1つである。
つまり、図5では1つの画像取得装置300を用いているが、図22では、画像取得装置A300aと画像取得装置B300bの2つを用いる。
また、図22では、画像取得装置A300aと画像取得装置B300bの二系統に対応させて、判定対象点灯画像格納部121、判定対象消灯画像格納部122、光源抽出部103、差分抽出部104も二系統とし、画像取得装置A300aに対しては判定対象点灯画像格納部A121a、判定対象消灯画像格納部A122a、光源抽出部103a、差分抽出部104aを配置し、画像取得装置B300bに対しては判定対象点灯画像格納部B121b、判定対象消灯画像格納部B122b、光源抽出部103b、差分抽出部104bを配置している。
同期制御部109、人数計数部105、フロー抽出部106及び方向判別部107は1つである。
図21及び図22の構成のいずれにおいても、画像取得装置A300aと画像取得装置B300bは上下方向に離間して配置され、各々が線状光源200の発光面(60cm)を撮影する。
例えば、図23に示すように、画像取得装置A300aは床面から150cmの位置に配置し、画像取得装置B300bは床面から90cmの位置に配置する。
図23に示す例は、幅90cmの扉の右側に、25cmの距離をおいて画像取得装置A300aと画像取得装置B300bに上下に並べて二つ配置し(線状光源200から画像取得装置300までは115cm)、左側に線状光源200を配置した構成である。
図中、各画像取得装置300と線状光源200を結ぶ2本の破線(‐‐‐‐)で示す領域は各画像取得装置から線状光源をとらえるための視野範囲を示している。一方、一点鎖線(‐・‐・‐)で示す領域は、通過人物の顔をとらえるための視野範囲を示す。
この構成によれば、下側の画像取得装置B300bの視野が67度あれば光源および顔の両方をとらえることが可能である。なお、通過人物の顔を撮影するのは、セキュリティ目的又は犯罪捜査等のために通過人物の顔を確認するためであり、通過人数の計数のためには必ずしも必要ではない。
例えば、図23に示すように、画像取得装置A300aは床面から150cmの位置に配置し、画像取得装置B300bは床面から90cmの位置に配置する。
図23に示す例は、幅90cmの扉の右側に、25cmの距離をおいて画像取得装置A300aと画像取得装置B300bに上下に並べて二つ配置し(線状光源200から画像取得装置300までは115cm)、左側に線状光源200を配置した構成である。
図中、各画像取得装置300と線状光源200を結ぶ2本の破線(‐‐‐‐)で示す領域は各画像取得装置から線状光源をとらえるための視野範囲を示している。一方、一点鎖線(‐・‐・‐)で示す領域は、通過人物の顔をとらえるための視野範囲を示す。
この構成によれば、下側の画像取得装置B300bの視野が67度あれば光源および顔の両方をとらえることが可能である。なお、通過人物の顔を撮影するのは、セキュリティ目的又は犯罪捜査等のために通過人物の顔を確認するためであり、通過人数の計数のためには必ずしも必要ではない。
この構成の長所は、設置距離が変化しても設置の構成にあまり影響しない点である。
たとえば図24に同様の構成で設置距離が180cm(線状光源200から画像取得装置300までが180cm)になった場合を示す。
視野角に多少変化があるが、基本的な構成を変える必要はない。
たとえば図24に同様の構成で設置距離が180cm(線状光源200から画像取得装置300までが180cm)になった場合を示す。
視野角に多少変化があるが、基本的な構成を変える必要はない。
図23及び図24では、線状光源の長さを60cm、画像取得装置間の距離を同様に60cmとし、双方床面から90cmの高さに設置する場合を示した。
この配置は、身長120cmから190cmの人物が歩行通過する場合に見逃しなくかつ過剰検知が少なくなるという特長がある。
身長120cmの人物は、下方の画像取得装置B300bを必ず横切る。身長190cmの人物は下方の画像取得装置B300bを必ず横切るが、腕の部分と胴体の部分が別々に横切る可能性があり、その場合に過剰検知となる可能性が高い。
従って、上方の画像取得装置A300aで取得された画像で腕の部分と胴体の部分が一体となっていれば、上方の画像取得装置A300aの人数計数部の結果を信頼する。
この配置は、身長120cmから190cmの人物が歩行通過する場合に見逃しなくかつ過剰検知が少なくなるという特長がある。
身長120cmの人物は、下方の画像取得装置B300bを必ず横切る。身長190cmの人物は下方の画像取得装置B300bを必ず横切るが、腕の部分と胴体の部分が別々に横切る可能性があり、その場合に過剰検知となる可能性が高い。
従って、上方の画像取得装置A300aで取得された画像で腕の部分と胴体の部分が一体となっていれば、上方の画像取得装置A300aの人数計数部の結果を信頼する。
次に、本実施の形態に係る移動体検出装置100の動作例を説明する。
まず、図23及び図24の構成のいずれにおいても差分抽出部104a及び差分抽出部104bまでの処理は、実施の形態1又は実施の形態4で示した動作と同様であり、人数計数部105の処理が異なる。
まず、図23及び図24の構成のいずれにおいても差分抽出部104a及び差分抽出部104bまでの処理は、実施の形態1又は実施の形態4で示した動作と同様であり、人数計数部105の処理が異なる。
つまり、図23の構成では、照合画像格納部A101a及び照合画像格納部B101bは、それぞれ、対応する画像取得装置300が撮像した、点灯している発光面を撮像した画像であって発光面からの光が遮られていない画像を照合画像として格納し、また、判定対象画像格納部A102a及び判定対象画像格納部B102bは、人が通路を通行する可能性があり線状光源200の発光面が点灯している状況において対応する画像取得装置300が一定周期ごとに撮像した複数の画像を撮影順序に従って複数の判定対象画像として格納する。
光源抽出部103a及び光源抽出部103bは、それぞれ、対応する照合画像格納部101の判定対象画像から発光面部分を抽出する。
また、差分抽出部104a及び差分抽出部104aは、それぞれ、対応する光源抽出部103が抽出した判定対象画像の発光面部分と照合画像の発光面部分を時系列に沿って比較し、時系列に沿って差分を抽出する。
光源抽出部103a及び光源抽出部103bは、それぞれ、対応する照合画像格納部101の判定対象画像から発光面部分を抽出する。
また、差分抽出部104a及び差分抽出部104aは、それぞれ、対応する光源抽出部103が抽出した判定対象画像の発光面部分と照合画像の発光面部分を時系列に沿って比較し、時系列に沿って差分を抽出する。
また、図24の構成では、判定対象点灯画像格納部A121a及び判定対象点灯画像格納部B121bは、それぞれ、対応する画像取得装置300が撮像した発光面点灯中の画像を判定対象点灯画像として格納し、判定対象消灯画像格納部A122a及び判定対象消灯画像格納部B122bは、それぞれ、対応する画像取得装置300が撮像した発光面消灯中の画像を判定対象消灯画像として格納する。
光源抽出部103a及び光源抽出部103bは、それぞれ、対応する判定対象点灯画像と判定対象消灯画像の各々から発光面部分を抽出する。
また、差分抽出部104a及び差分抽出部104aは、それぞれ、対応する光源抽出部103が抽出した判定対象点灯画像と判定対象消灯画像の発光面部分を時系列に沿って比較し、判定対象点灯画像と判定対象消灯画像との差分を時系列に沿って抽出する。
光源抽出部103a及び光源抽出部103bは、それぞれ、対応する判定対象点灯画像と判定対象消灯画像の各々から発光面部分を抽出する。
また、差分抽出部104a及び差分抽出部104aは、それぞれ、対応する光源抽出部103が抽出した判定対象点灯画像と判定対象消灯画像の発光面部分を時系列に沿って比較し、判定対象点灯画像と判定対象消灯画像との差分を時系列に沿って抽出する。
そして、人数計数部105は、差分抽出部104aにより時系列に従って抽出された差分の時間経過による遷移状況(例えば、図19又は図20の画像)と、差分抽出部104bにより時系列に従って抽出された差分の時間経過による遷移状況(例えば、図19又は図20の画像)を解析して、通行人数を計数する。
人数計数部105は、差分抽出部104aが抽出した差分から導出される人数と、差分抽出部104bが抽出した差分から導出される人数が同じであれば、その人数を通行人数とする。
また、人数が一致していない場合は、人数計数部105は、一致していない通行人数と、通行人数が一致していない画像取得装置300の位置関係とに基づき、いずれかの通行人数を選択する。
たとえば、上側の画像取得装置A300aの系統である差分抽出部104aが抽出した差分から導出される人数が1人であり、下側の画像取得装置B300bの系統である差分抽出部104bが抽出した差分から導出される人数が2人の場合は、人数計数部105は通行人数を1人と判断する。この場合は、背の高い人物が通行し、下側の画像取得装置B300bでは胴体と腕が分離している画像を取得したと考えられる。
また、上側の画像取得装置A300aの系統である差分抽出部104aが抽出した差分から導出される人数が0人であり、下側の画像取得装置B300bの系統である差分抽出部104bが抽出した差分から導出される人数が1人の場合は、人数計数部105は通行人数を1人と判断する。この場合は、背の低い人物が通行し、上側の画像取得装置A300aでは当該人物の画像を取得できなかったと考えられる。
人数計数部105は、差分抽出部104aが抽出した差分から導出される人数と、差分抽出部104bが抽出した差分から導出される人数が同じであれば、その人数を通行人数とする。
また、人数が一致していない場合は、人数計数部105は、一致していない通行人数と、通行人数が一致していない画像取得装置300の位置関係とに基づき、いずれかの通行人数を選択する。
たとえば、上側の画像取得装置A300aの系統である差分抽出部104aが抽出した差分から導出される人数が1人であり、下側の画像取得装置B300bの系統である差分抽出部104bが抽出した差分から導出される人数が2人の場合は、人数計数部105は通行人数を1人と判断する。この場合は、背の高い人物が通行し、下側の画像取得装置B300bでは胴体と腕が分離している画像を取得したと考えられる。
また、上側の画像取得装置A300aの系統である差分抽出部104aが抽出した差分から導出される人数が0人であり、下側の画像取得装置B300bの系統である差分抽出部104bが抽出した差分から導出される人数が1人の場合は、人数計数部105は通行人数を1人と判断する。この場合は、背の低い人物が通行し、上側の画像取得装置A300aでは当該人物の画像を取得できなかったと考えられる。
また、人数が一致しない場合の別の方法として、人数計数部105は、例えば、人数の多い方を採用する。これにより、一方の画像取得装置での見逃しを防止し、より安全な人数計数を行える。
また逆に、人数が一致しない場合に、人数の少ない方を採用することもできる。
これにより、システムの過剰な検出を抑止することも可能である。
いずれを採用するかは、システムが要求される安全性の高さにより決定すればよい。
またこれらの計数方法は一例であって、その他の方法であっても構わない。
また逆に、人数が一致しない場合に、人数の少ない方を採用することもできる。
これにより、システムの過剰な検出を抑止することも可能である。
いずれを採用するかは、システムが要求される安全性の高さにより決定すればよい。
またこれらの計数方法は一例であって、その他の方法であっても構わない。
また、例えばカメラ設置位置によっては二つの差分結果から、三角測量の原理を用いて、物体がどこを通過しているかを計算することも可能である。
また、このような構成により、フロー抽出部106で観測されるフローの平均値を予測し、より高精度なフロー抽出、および方向判別も可能となる。
また、このような構成により、フロー抽出部106で観測されるフローの平均値を予測し、より高精度なフロー抽出、および方向判別も可能となる。
なお、以上の説明では、画像取得装置が2つの例を示しているが、3つ以上であっても構わない。画像取得装置を増やすことによる主な効果は、いろいろな高さの人物やいろいろな通過位置を想定したときに、人数計数の見逃しを減らせることである。
このように、本実施の形態によれば、通行人の見逃しをなくすとともに、過剰検知を少なくし、検知性能を向上させることが可能である。
実施の形態9.
本実施の形態では、2つの線状光源200と2の画像取得装置300を用いる構成例を図25に示す。
図25では、線状光源200および画像取得装置300が一体となった装置を作成し、左右に相互に対向するようにして配置した構成を示している。
例えば、図29に示すように、線状光源200の発光面201を二つに分け、発光面201がない中央部分に画像取得装置300のレンズを配置することで、画像取得装置300は対向する線状光源200の発光面201を撮影することができる。なお、線状光源200と画像取得装置300の一体化の方法は、図29に示す例に限らない。
また、各画像取得装置300及び各画像取得装置300に接続している移動体検出装置100の動作は実施の形態8に示した通りであり、説明を省略する。
また、図26に示すように線状光源200の上部又は下部に画像取得装置300を配置した一体型装置を左右に相互に対向するように配置してもよい。
本実施の形態では、2つの線状光源200と2の画像取得装置300を用いる構成例を図25に示す。
図25では、線状光源200および画像取得装置300が一体となった装置を作成し、左右に相互に対向するようにして配置した構成を示している。
例えば、図29に示すように、線状光源200の発光面201を二つに分け、発光面201がない中央部分に画像取得装置300のレンズを配置することで、画像取得装置300は対向する線状光源200の発光面201を撮影することができる。なお、線状光源200と画像取得装置300の一体化の方法は、図29に示す例に限らない。
また、各画像取得装置300及び各画像取得装置300に接続している移動体検出装置100の動作は実施の形態8に示した通りであり、説明を省略する。
また、図26に示すように線状光源200の上部又は下部に画像取得装置300を配置した一体型装置を左右に相互に対向するように配置してもよい。
このように線状光源200と画像取得装置300を一体にすることで、左右の装置構成を共通にすることができ、量産効果などによりコストを低減させることができる。
またこの配置であっても、身長120cmから190cmの人物が歩行通過する場合に見逃しなくかつ過剰検知が少なくすることが可能となる。
またこの配置であっても、身長120cmから190cmの人物が歩行通過する場合に見逃しなくかつ過剰検知が少なくすることが可能となる。
なお、設置の制約、安全性の要求、その他制約条件によっては上記実施の形態8および本実施の形態以外の配置であっても構わない。
実施の形態10.
本実施の形態では、実施の形態1〜9で説明した画像取得装置300にCMOS(Complementary Metal Oxide Semiconductor)センサを用いる構成を説明する。
CMOSセンサはCCD(Charge Coupled Device)センサに比べて安価であるという特長を持つが、こうしたCMOSセンサは反面、ローリングシャッターであることが多い。
ローリングシャッターとは、全画素が同時刻に電子シャッターを切る(これをグローバルシャッターという)のではなく、連接する各画素が次々と電子シャッターを切っていく方式をいう。
ローリングシャッターの場合、静物であれば問題ないが、動物の場合には動きの方向によって対象画像に伸縮、膨張、歪が生じる。
本実施の形態では、実施の形態1〜9で説明した画像取得装置300にCMOS(Complementary Metal Oxide Semiconductor)センサを用いる構成を説明する。
CMOSセンサはCCD(Charge Coupled Device)センサに比べて安価であるという特長を持つが、こうしたCMOSセンサは反面、ローリングシャッターであることが多い。
ローリングシャッターとは、全画素が同時刻に電子シャッターを切る(これをグローバルシャッターという)のではなく、連接する各画素が次々と電子シャッターを切っていく方式をいう。
ローリングシャッターの場合、静物であれば問題ないが、動物の場合には動きの方向によって対象画像に伸縮、膨張、歪が生じる。
実施の形態1〜9で説明した画像取得装置300の場合、人物が画像取得装置300を横切る方向に移動することから、このローリングシャッターの歪の影響を最小限とするために、シャッターが移動する方向が上下となるように、CMOSセンサを設置する。
通常、ローリングシャッターは水平方向に移動するため、その場合CMOSセンサをポートレート方向で利用することになる。このようにすれば、対象画像の歪は最少となる。ただし、移動方向によっては伸縮、膨張が生じる。
あるいは逆に、伸縮、膨張の影響を最小とするために、CMOSセンサをランドスケープ方向で利用することも考えられる。この場合、対象物は歪を生じる。
しかしながら、対象物の速度がフローによって求められたなら、これらの歪を補正し、元の画像に戻すことも可能である。
通常、ローリングシャッターは水平方向に移動するため、その場合CMOSセンサをポートレート方向で利用することになる。このようにすれば、対象画像の歪は最少となる。ただし、移動方向によっては伸縮、膨張が生じる。
あるいは逆に、伸縮、膨張の影響を最小とするために、CMOSセンサをランドスケープ方向で利用することも考えられる。この場合、対象物は歪を生じる。
しかしながら、対象物の速度がフローによって求められたなら、これらの歪を補正し、元の画像に戻すことも可能である。
このような構成により、低コストのローリングシャッターを持つCMOSセンサであっても、品質の高い画像を残すことができる。
最後に、実施の形態1〜10に示した移動体検出装置100のハードウェア構成例について説明する。
移動体検出装置100のハードウェア構成として、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、磁気ディスク装置、通信ボード等をバスにて接続する。
この場合、移動体検出装置100の内部要素として示している機能(「〜部」)を実現するプログラムを例えば磁気ディスク装置に格納し、CPUがこれらプログラムを適宜読み出すことで、各機能を実行する。
移動体検出装置100のハードウェア構成として、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、磁気ディスク装置、通信ボード等をバスにて接続する。
この場合、移動体検出装置100の内部要素として示している機能(「〜部」)を実現するプログラムを例えば磁気ディスク装置に格納し、CPUがこれらプログラムを適宜読み出すことで、各機能を実行する。
また、RAMには、CPUに実行させるオペレーティングシステムのプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。
また、RAMには、CPUによる処理に必要な各種データが格納される。
また、RAMには、CPUによる処理に必要な各種データが格納される。
また、ROMには、BIOS(Basic Input Output System)プログラムが格納され、磁気ディスク装置にはブートプログラムが格納されている。
移動体検出装置100の起動時には、バスのBIOSプログラム及び磁気ディスク装置のブートプログラムが実行され、BIOSプログラム及びブートプログラムによりオペレーティングシステムが起動される。
移動体検出装置100の起動時には、バスのBIOSプログラム及び磁気ディスク装置のブートプログラムが実行され、BIOSプログラム及びブートプログラムによりオペレーティングシステムが起動される。
ファイル群には、実施の形態1〜10の説明において、「〜の判断」、「〜の判定」、「〜の抽出」、「〜の計算」、「〜の比較」、「〜の検出」、「〜の設定」、「〜の登録」、「〜の選択」等として説明している処理の結果を示す情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。
また、実施の形態1〜10で説明しているフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、RAMのメモリ、FDDのフレキシブルディスク、CDDのコンパクトディスク、磁気ディスク装置の磁気ディスク、その他光ディスク、ミニディスク、DVD等の記録媒体に記録される。また、データや信号は、バスや信号線やケーブルその他の伝送媒体によりオンライン伝送される。
また、実施の形態1〜10の説明において「〜部」として説明しているものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明しているものは、バスに記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等の記録媒体に記憶される。プログラムはCPUにより読み出され、CPUにより実行される。すなわち、プログラムは、実施の形態1〜10の「〜部」としてコンピュータを機能させるものである。あるいは、実施の形態1〜10の「〜部」の手順や方法をコンピュータに実行させるものである。
100 移動体検出装置、101 照合画像格納部、102 判定対象画像格納部、103 光源抽出部、104 差分抽出部、105 人数計数部、106 フロー抽出部、107 方向判別部、108 画像記録部、109 同期制御部、110 差分検出フィルタ部、111 光源形状検証部、112 線分領域記憶部、113 照合画像差分記憶部、121 判定対象点灯画像格納部、122 判定対象消灯画像格納部、131 奇数フィールド画像格納部、132 偶数フィールド画像格納部、141 点灯画像格納部、142 消灯画像格納部、200 線状光源装置、300 画像取得装置、400 ドア。
Claims (24)
- 移動体が通行する通路の路側に配置されている光源装置から前記通路を隔てて配置され、前記光源装置の発光面を撮像の対象とする画像取得装置に接続されている移動体検出装置であって、
点灯している発光面を撮像した画像であって発光面からの光が遮られていない画像を照合画像として格納する照合画像格納部と、
前記移動体が前記通路を通行する可能性があり前記光源装置の発光面が点灯している状況において前記画像取得装置が撮像した画像を判定対象画像として格納する判定対象画像格納部と、
前記判定対象画像格納部に格納されている判定対象画像と前記照合画像格納部に格納されている照合画像とを用いて前記移動体の前記通路での通行の有無を判定する通行判定部とを有することを特徴とする移動体検出装置。 - 前記通行判定部は、
前記判定対象画像と前記照合画像とを比較し前記判定対象画像と前記照合画像との差分を抽出し、差分が所定の閾値以上である場合に前記移動体が前記通路を通行したと判定することを特徴とする請求項1に記載の移動体検出装置。 - 前記判定対象画像格納部は、
前記画像取得装置が一定周期ごとに撮像した画像を順序付けて判定対象画像として格納し、
前記通行判定部は、
前記判定対象画像格納部に格納される判定対象画像ごとに、照合画像と比較して前記移動体の前記通路での通行の有無を判定し、
前記移動体検出装置は、更に、
前記通行判定部により前記移動体が前記通路を通行したと判定された判定対象画像以降の判定対象画像を記録する画像記録部を有することを特徴とする請求項2に記載の移動体検出装置。 - 前記移動体検出装置は、
各々が上下方向に離間して配置され、各々が前記光源装置の発光面を撮像する複数の画像取得装置に接続され、
前記移動体検出装置は、
前記複数の画像取得装置に対応させて複数の照合画像格納部と複数の判定対象画像格納部とを有し、
各照合画像格納部は、
対応する画像取得装置が撮像した、点灯している発光面を撮像した画像であって発光面からの光が遮られていない画像を照合画像として格納し、
各判定対象画像格納部は、
前記移動体が前記通路を通行する可能性があり前記光源装置の発光面が点灯している状況において対応する画像取得装置が撮像した画像を判定対象画像として格納し、
前記通行判定部は、
前記複数の画像取得装置が撮影した複数の判定対象画像と複数の照合画像に対して、画像取得装置ごとに判定対象画像と照合画像とを比較し、画像取得装置ごとに判定対象画像と照合画像との差分を抽出し、
前記移動体検出装置は、更に、
前記通行判定部により画像取得装置ごとに抽出された複数個の差分を解析して、前記通路を通行した移動体の数を計数する通行数計数部を有することを特徴とする請求項1〜3のいずれかに記載の移動体検出装置。 - 前記移動体検出装置は、
各々が、前記通路の両路側に対向して配置されている2つの光源装置に搭載され、各々が、対向している光源装置の発光面を撮像する複数の画像取得装置に接続され、
前記移動体検出装置は、
前記複数の画像取得装置に対応させて複数の照合画像格納部と複数の判定対象画像格納部とを有し、
各照合画像格納部は、
対応する画像取得装置が撮像した、点灯している発光面を撮像した画像であって発光面からの光が遮られていない画像を照合画像として格納し、
各判定対象画像格納部は、
前記移動体が前記通路を通行する可能性があり光源装置の発光面が点灯している状況において対応する画像取得装置が撮像した画像を判定対象画像として格納し、
前記通行判定部は、
前記複数の画像取得装置が撮影した複数の判定対象画像と複数の照合画像に対して、画像取得装置ごとに判定対象画像と照合画像とを比較し、画像取得装置ごとに判定対象画像と照合画像との差分を抽出し、
前記移動体検出装置は、更に、
前記通行判定部により画像取得装置ごとに抽出された複数個の差分を解析して、前記通路を通行した移動体の数を計数する通行数計数部を有することを特徴とする請求項1〜3のいずれかに記載の移動体検出装置。 - 各判定対象画像格納部は、
対応する画像取得装置が一定周期ごとに撮像した複数の画像を撮影順序に従って複数の判定対象画像として格納し、
前記通行判定部は、
画像取得装置ごとに、時系列に従って各判定対象画像を照合画像と比較し、時系列に従って各判定対象画像と照合画像との差分を抽出し、
前記通行数計数部は、
前記通行判定部により時系列に従って抽出された差分の時間経過による遷移状況を複数の画像取得装置からの判定対象画像に対して解析して、前記通路を通行した移動体の数を計数することを特徴とする請求項4又は5に記載の移動体検出装置。 - 前記通行数計数部は、
いずれかの画像取得装置からの判定対象画像に対応する差分の時間経過による遷移状況から導出される移動体の通行数と、他の画像取得装置からの判定対象画像に対応する差分の時間経過による遷移状況から導出される移動体の通行数とが一致しない場合に、
一致していない通行数と、通行数が一致していない画像取得装置の位置関係とに基づき、いずれかの通行数を選択することを特徴とする請求項6に記載の移動体検出装置。 - 移動体が通行する通路の路側に配置されている光源装置から前記通路を隔てて配置され、前記光源装置の発光面を撮像の対象とする画像取得装置に接続されている移動体検出装置であって、
前記移動体が前記通路を通行する可能性のある状況において、前記光源装置を制御して前記光源装置の発光面を点滅させ、前記画像取得装置を制御して前記光源装置の発光面の点滅に同期させて発光面の点灯中及び消灯中の各々において前記画像取得装置に撮像を行わせる同期制御部と、
前記画像取得装置が撮像した発光面点灯中の画像を判定対象点灯画像として格納し、前記画像取得装置が撮像した発光面消灯中の画像を判定対象消灯画像として格納する判定対象画像格納部と、
前記判定対象画像格納部に格納されている判定対象点灯画像と判定対象消灯画像とを用いて前記移動体の前記通路での通行の有無を判定する通行判定部とを有することを特徴とする移動体検出装置。 - 前記同期制御部は、
前記光源装置を制御して前記光源装置の発光面の点滅を不規則に行わせ、前記画像取得装置を制御して前記光源装置の発光面の不規則な点滅に同期させて発光面の点灯中及び消灯中の各々において前記画像取得装置に撮像を行わせることを特徴とする請求項8に記載の移動体検出装置。 - 前記通行判定部は、
前記判定対象点灯画像と前記判定対象消灯画像とを比較して前記判定対象点灯画像と前記判定対象消灯画像との差分を抽出し、抽出した差分が所定の閾値未満である場合に前記移動体が前記通路を通行したと判定することを特徴とする請求項8又は9に記載の移動体検出装置。 - 前記移動体検出装置は、
各々が上下方向に離間して配置され、各々が前記光源装置の発光面を撮像する複数の画像取得装置に接続され、
前記移動体検出装置は、
前記複数の画像取得装置に対応させて複数の判定対象画像格納部を有し、
各判定対象画像格納部は、
対応する画像取得装置が撮像した発光面点灯中の画像を判定対象点灯画像として格納し、対応する画像取得装置が撮像した発光面消灯中の画像を判定対象消灯画像として格納し、
前記通行判定部は、
前記複数の画像取得装置が撮影した複数の判定対象点灯画像と複数の判定対象消灯画像に対して、画像取得装置ごとに判定対象点灯画像と判定対象消灯画像とを比較し、画像取得装置ごとに判定対象点灯画像と判定対象消灯画像との差分を抽出し、
前記移動体検出装置は、更に、
前記通行判定部により画像取得装置ごとに抽出された複数個の差分を解析して、前記通路を通行した移動体の数を計数する通行数計数部を有することを特徴とする請求項8〜10のいずれかに記載の移動体検出装置。 - 前記移動体検出装置は、
各々が、前記通路の両路側に対向して配置されている2つの光源装置に搭載され、各々が、対向している光源装置の発光面を撮像する複数の画像取得装置に接続され、
前記移動体検出装置は、
前記複数の画像取得装置に対応させて複数の判定対象画像格納部を有し、
各判定対象画像格納部は、
対応する画像取得装置が撮像した発光面点灯中の画像を判定対象点灯画像として格納し、対応する画像取得装置が撮像した発光面消灯中の画像を判定対象消灯画像として格納し、
前記通行判定部は、
前記複数の画像取得装置が撮影した複数の判定対象点灯画像と複数の判定対象消灯画像に対して、画像取得装置ごとに判定対象点灯画像と判定対象消灯画像とを比較し、画像取得装置ごとに判定対象点灯画像と判定対象消灯画像との差分を抽出し、
前記移動体検出装置は、更に、
前記通行判定部により画像取得装置ごとに抽出された複数個の差分を解析して、前記通路を通行した移動体の数を計数する通行数計数部を有することを特徴とする請求項8〜10のいずれかに記載の移動体検出装置。 - 各判定対象画像格納部は、
対応する画像取得装置が撮像した判定対象点灯画像と判定対象消灯画像を撮影順序に従って格納し、
前記通行判定部は、
画像取得装置ごとに、時系列に従って判定対象点灯画像と判定対象消灯画像とを比較し、時系列に従って判定対象点灯画像と判定対象消灯画像との差分を抽出し、
前記通行数計数部は、
前記通行判定部により時系列に従って抽出された差分の時間経過による遷移状況を複数の画像取得装置からの画像に対して解析して、前記通路を通行した移動体の数を計数することを特徴とする請求項11又は12に記載の移動体検出装置。 - 前記通行数計数部は、
いずれかの画像取得装置からの画像に対応する差分の時間経過による遷移状況から導出される移動体の通行数と、他の画像取得装置からの画像に対応する差分の時間経過による遷移状況から導出される移動体の通行数とが一致しない場合に、
一致していない通行数と、通行数が一致していない画像取得装置の位置関係とに基づき、いずれかの通行数を選択することを特徴とする請求項13に記載の移動体検出装置。 - 前記移動体検出装置は、更に、
点灯している発光面を撮像した画像であって発光面からの光が遮られていない画像を照合点灯画像として格納し、前記照合点灯画像の撮像時と同じ環境下で撮像された消灯している発光面の画像を照合消灯画像として格納する照合画像格納部を有し、
前記通行判定部は、
前記照合画像格納部に格納されている照合点灯画像と照合消灯画像とを比較して照合点灯画像と照合消灯画像との差分を照合画像差分として抽出し、前記判定対象画像格納部に格納されている判定対象点灯画像と判定対象消灯画像とを比較して判定対象点灯画像と判定対象消灯画像との差分を判定対象画像差分として抽出し、照合画像差分と判定対象画像差分とを比較して前記移動体の前記通路での通行の有無を判定することを特徴とする請求項8又は9に記載の移動体検出装置。 - 前記通行判定部は、
前記照合画像差分と前記判定対象画像差分との差分を抽出し、抽出した差分が所定の閾値以上である場合に前記移動体が前記通路を通行したと判定することを特徴とする請求項15に記載の移動体検出装置。 - 前記同期制御部は、
発光面点灯中にインタレース方式の奇数フィールド及び偶数フィールドのいずれか一方に対応させて前記画像取得装置に撮像を行わせ、発光面消灯中に奇数フィールド及び偶数フィールドのうちの他方に対応させて前記画像取得装置に撮像を行わせ、
前記判定対象画像格納部は、
前記画像取得装置が発光面点灯中に奇数フィールド及び偶数フィールドのいずれか一方に対応させて撮像した画像を判定対象点灯画像として格納し、前記画像取得装置が発光面消灯中に奇数フィールド及び偶数フィールドのうちの他方に対応させて撮像した画像を判定対象消灯画像として格納することを特徴とする請求項8又は9に記載の移動体検出装置。 - 前記移動体検出装置は、更に、
インタレース方式の奇数フィールド及び偶数フィールドのいずれか一方に対応させて点灯している発光面を撮像した画像であって発光面からの光が遮られていない画像と、奇数フィールド及び偶数フィールドのうちの他方に対応させて撮像した消灯している発光面の画像とを組み合わせ、組み合わせた画像内で所定輝度以上の領域を照合領域として抽出する照合領域抽出部を有し、
前記通行判定部は、
前記判定対象画像格納部に格納されている判定対象点灯画像と判定対象消灯画像を組み合わせ、組み合わせた画像内で所定輝度以上の領域を判定対象領域として抽出し、判定対象領域と照合領域とを用いて前記移動体の前記通路での通行の有無を判定することを特徴とする請求項17に記載の移動体検出装置。 - 前記通行判定部は、
前記照合領域の面積に対する前記判定対象領域の面積の比率が所定の閾値未満である場合に、前記移動体が前記通路を通行したと判定することを特徴とする請求項18に記載の移動体検出装置。 - 前記移動体検出装置は、更に、
前記画像取得装置で撮像された複数の画像に対してオプティカルフロー推定演算を行って、前記通路における前記移動体の通行方向を判定する通行方向判定部を有することを特徴とする請求項1〜19のいずれかに記載の移動体検出装置。 - 前記通行方向判定部は、
前記画像取得装置で撮像された各画像のうち前記通路を通行する前記移動体により前記光源装置の発光面からの光が遮られている画像部分に対してオプティカルフロー推定演算を行って、前記通路における前記移動体の通行方向を判定することを特徴とする請求項20に記載の移動体検出装置。 - 前記移動体検出装置は、
前記通路の路側に配置されている1つの光源装置から前記通路を隔てて配置され、当該1つの光源装置の発光面を撮像の対象とする画像取得装置に接続されていることを特徴とする請求項1〜21のいずれかに記載の移動体検出装置。 - 前記移動体検出装置は、
前記通路の路側に配置されている線状の発光面を有する光源装置から前記通路を隔てて配置され、前記光源装置の線状の発光面を撮像の対象とする画像取得装置に接続されていることを特徴とする請求項1〜22のいずれかに記載の移動体検出装置。 - 前記移動体検出装置は、
水平方向のローリングシャッター方式のCMOS(Complementary Metal Oxide Semiconductor)センサをポートレート方向又はランドスケープ方向で利用する画像取得装置に接続されていることを特徴とする請求項1〜23のいずれかに記載の移動体検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009138388A JP2010118039A (ja) | 2008-10-16 | 2009-06-09 | 移動体検出装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008266935 | 2008-10-16 | ||
JP2009138388A JP2010118039A (ja) | 2008-10-16 | 2009-06-09 | 移動体検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010118039A true JP2010118039A (ja) | 2010-05-27 |
Family
ID=42305654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009138388A Pending JP2010118039A (ja) | 2008-10-16 | 2009-06-09 | 移動体検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010118039A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012042864A1 (ja) * | 2010-10-01 | 2012-04-05 | パナソニック株式会社 | 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム |
JP2013036846A (ja) * | 2011-08-08 | 2013-02-21 | Casio Comput Co Ltd | 撮像装置及びプログラム |
JP2013058161A (ja) * | 2011-09-09 | 2013-03-28 | Yoshiro Yamada | 表面パターンの検出方法及び装置 |
JP2020507175A (ja) * | 2017-01-25 | 2020-03-05 | キャリア コーポレイションCarrier Corporation | 人物船外落下検出システム用のラインアレイカメラ |
-
2009
- 2009-06-09 JP JP2009138388A patent/JP2010118039A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012042864A1 (ja) * | 2010-10-01 | 2012-04-05 | パナソニック株式会社 | 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム |
JP2013036846A (ja) * | 2011-08-08 | 2013-02-21 | Casio Comput Co Ltd | 撮像装置及びプログラム |
US8704888B2 (en) | 2011-08-08 | 2014-04-22 | Casio Computer Co., Ltd. | Imaging device and image analysis method |
JP2013058161A (ja) * | 2011-09-09 | 2013-03-28 | Yoshiro Yamada | 表面パターンの検出方法及び装置 |
JP2020507175A (ja) * | 2017-01-25 | 2020-03-05 | キャリア コーポレイションCarrier Corporation | 人物船外落下検出システム用のラインアレイカメラ |
JP7123073B2 (ja) | 2017-01-25 | 2022-08-22 | キャリア コーポレイション | 人物船外落下検出システム用のラインアレイカメラ |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11631253B2 (en) | People counting and tracking systems and methods | |
JP6673508B2 (ja) | 物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体 | |
JP5834254B2 (ja) | 人数計測装置、人数計測システムおよび人数計測方法 | |
CN105139425B (zh) | 一种人数统计方法及装置 | |
CN105631515B (zh) | 人流计数系统 | |
AU2015226202B2 (en) | Intrusion detection with motion sensing | |
EP1768067B1 (en) | Electro-optical device for counting persons, or other, based on stereoscopic vision, and relative method | |
KR101953342B1 (ko) | 멀티 센서 화재감지 방법 및 시스템 | |
KR20160035121A (ko) | 깊이 영상정보에서 추출된 위치정보를 이용한 개체계수 방법 및 장치 | |
TW201301897A (zh) | 監視系統 | |
KR101846074B1 (ko) | 인체의 형상 내지 동태 분석을 이용한 보안 감시장치, 보안 감시방법 및 쓰레기 투기 감시장치 | |
KR101625538B1 (ko) | 도시방범이 가능한 다차선 자동차 번호판 인식시스템 | |
CN104680145B (zh) | 一种门的开关状态变化检测方法及装置 | |
CN110674672B (zh) | 一种基于tof相机的多场景人数统计方法 | |
JP2010118039A (ja) | 移動体検出装置 | |
CN103456123B (zh) | 一种基于流动和扩散特征的视频烟气探测方法 | |
CN101930540A (zh) | 基于视频的多特征融合的火焰检测装置和方法 | |
KR102550673B1 (ko) | 방문객 출입 통계 분석 방법 및 장치 | |
CN110930432A (zh) | 一种视频分析方法、装置及系统 | |
Suresh et al. | An efficient low cost background subtraction method to extract foreground object during human tracking | |
CN102184409A (zh) | 基于机器视觉的客流统计方法及系统 | |
CN107274396B (zh) | 一种统计人数的装置 | |
Monari | Color constancy using shadow-based illumination maps for appearance-based person re-identification | |
JP2015046126A (ja) | 車両検知装置 | |
JP2011198261A (ja) | 対象物認識システム及び該システムを利用する監視システム、見守りシステム |