本発明の画像検知システムは、例えばエレベータのドアやビルの自動ドアなどの開閉制御に用いられる。この画像検知システムは、カメラによって撮影された画像に映り込んだ影や光を検知する機能を有する。以下では、影を検知対象とする場合と光を検知対象とする場合に分けて説明する。
(第1の実施形態)
図1は第1の実施形態に係る画像検知システムの構成を示すブロック図である。
本実施形態における画像検知システムは、撮像装置101と、画像処理装置102とを備える。撮像装置101は、例えば車載カメラなどの小型の監視用カメラであり、広角レンズを有し、1秒間に数コマ(例えば30コマ/秒)の画像を連続撮影可能である。撮像装置101は、例えばエレベータであれば、乗りかごのドア上部付近に設置され、所定の撮影範囲内で乗りかご内に乗車する利用者を撮影する。なお、撮像装置101の設置箇所は、エレベータの乗りかごに限らず、本システムを利用可能な場所であれば、どこでも良い。
ここで、第1の実施形態では、撮影画像に映り込んだ影を検知対象としている。画像処理装置102には、影を検知するための機能として、エッジ抽出部103、背景エッジ記憶部104、特定エッジ抽出部105、候補領域抽出部106、検知対象領域判定部107が備えられている。
エッジ抽出部103は、撮像装置101によって逐次撮影される画像からエッジを抽出する。「エッジ」とは、画像内の直線や曲線に加えて、色・輝度・模様などの特徴が異なる領域間の境界線を意味する。このエッジの抽出は、既知の手法で行えば良い。例えばSobelエッジフィルタやCannyエッジフィルタを用いても良いし、画素の輝度値の分散の違いによって領域の境界位置を求めても良い。
背景エッジ記憶部104には、エッジ抽出部103によって背景画像から抽出されたエッジの情報(画像上の座標位置など)が記憶される。「背景画像」は、人や物などが存在しない環境で撮影された画像であり、後述する入力画像と比較するための基準画像として用いられる。「入力画像」は、検知時に撮影された画像であり、人や物、さらに影や光などが含まれることがある。
特定エッジ抽出部105は、背景画像から抽出されたエッジと入力画像から抽出されたエッジとを比較し、検知対象領域の条件となる特定のエッジを抽出する。第1の実施形態において、「検知対象領域」は、人や物の影が存在する領域のことである。「特定のエッジ」は、少なくとも背景画像と入力画像に共通して存在する残存エッジを含む。特定エッジ抽出部105は、残存エッジ抽出部105aを有し、背景画像のエッジと入力画像のエッジとを比較し、これらのエッジから両画像に共通して存在する残存エッジを影領域の判定に必要な特定エッジとして抽出する。
候補領域抽出部106は、入力画像から予め検知対象領域として設定された影領域の候補(以下、影候補領域と称す)を抽出する。なお、影候補領域の抽出は、例えば公知の背景差分法や、下記の非特許文献1の手法を用いれば良い。
「Shadow Detection: A Survey and Comparative Evaluation of Recent Methods」(A.Sanin et al. Pattern Recognition-2012)
検知対象領域判定部107は、特定エッジ抽出部105によって抽出された残存エッジに基づいて、候補領域抽出部106によって抽出された影候補領域の中から影領域を判定する。
次に、第1の実施形態の動作について説明する。
図2は画像処理装置102によって実行される影領域検知処理を示すフローチャートである。図3は上記影領域検知処理を説明するための背景画像と入力画像の概念図である。図3の例では、一対の柱を隔てて部屋の内側と外側に分けられた環境を想定している。例えばエレベータの乗りかごであれば、柱はドア枠、内側はかご室内側、外側はホールである(図23参照)。撮像装置101は、部屋の出入口上部に設置され、部屋の内側から外側に向けて所定の範囲内を撮影しているものとする。
第1の実施形態では、影領域を検知対象領域としている。初期設定として、予め人や物などが存在しない環境で背景エッジを取得しておく。具体的には、まず、撮像装置101により背景画像を取得して画像処理装置102に取り込む(ステップS101)。画像処理装置102のエッジ抽出部103は、例えばSobelエッジフィルタやCannyエッジフィルタなどを用いて当該背景画像から特徴が異なる領域の境界線を表すエッジを抽出し(ステップS102)、そのエッジに関する情報を背景エッジ記憶部104に記憶しておく(ステップS103)。
図3に示す背景画像201には人や物などは含まれておらず、その背景画像201から抽出されるエッジ202にも人や物などは含まれていない。なお、ここでは便宜的に大きな枠しか描いていないが、実際にはもっと複雑な線や曲線などがエッジ202として抽出される。
次に、検知時において、撮像装置101により入力画像を取得して画像処理装置102に取り込む(ステップS104)。入力画像は、人や物などが存在する環境で撮影されたものである。画像処理装置102のエッジ抽出部103は、上記背景画像のときと同様に当該入力画像から特徴が異なる領域の境界線を表すエッジを抽出する(ステップS105)。
なお、実際には1秒間に数コマ(例えば30コマ/秒)の入力画像が画像処理装置102に逐次取り込まれており、これらの入力画像に対して影領域の検知処理が行われる。図3の例では、第1の入力画像211には部屋に人の足が存在し、その人の足を含めたエッジ212が抽出される。一方、第2の入力画像221には部屋の中に人あるいは物の影が存在し、その影を含めたエッジ222が抽出される。
入力画像のエッジが抽出されると、特定エッジ抽出部105は、背景エッジ記憶部104に記憶された背景画像のエッジとその入力画像のエッジとを比較することにより、両画像に共通して存在する残存エッジを影領域の判定に必要な特定エッジとして抽出する(ステップS106)。
図3に示す第1の入力画像211については、人の足で背景が隠れるので、部分的に途切れた残存エッジ213が得られる。また、通常、影の下に存在する背景は消えないため、第2の入力画像221については、背景と影を含んだ残存エッジ223が得られる。
一方、候補領域抽出部106は、例えば背景差分法などの公知の方法を用いて、入力画像から影候補領域を抽出する(ステップS107)。図3の例では、第1の入力画像211では人の足が影候補領域214として抽出され、第2の入力画像221では影が映り込んでいる部分が影候補領域224として抽出される。
検知対象領域判定部107は、特定エッジ抽出部105によって抽出された残存エッジに基づいて、候補領域抽出部106によって抽出された影候補領域の中で影領域を判定する(ステップS108)。この場合、領域内部に残存エッジを十分に含んでいるものが影領域として判定される。図3の例では、第1の入力画像211から得られた影候補領域214には残存エッジがなく、第2の入力画像221から得られた影候補領域224には残存エッジが含まれている。したがって、第2の入力画像221から得られた影候補領域224が影領域225として抽出されることになる。
図4および図5を参照して影領域の判定処理について詳しく説明する。
図4は背景/入力の画像とエッジ領域との関係を説明するための図である。背景画像において、エッジがある領域とエッジがない領域を縦軸で分類し、入力画像において、エッジがある領域とエッジがない領域を横軸で分類している。図5は各種エッジを説明するための具体例であり、背景である部屋に足と影が混在した状態が示されている。
図4において、(a)の欄は背景画像と入力画像に共通に存在するエッジ(残存エッジ)を示す。図5の例で、影の下に見える背景の部分(e1)、前景で隠されていない背景の各部分(e2)が残存エッジに相当する。ここで言う「前景」とは、背景画像に上書きされている入力画像のことである。
(b)の欄は背景画像ではエッジとして存在していたが、前景で上書きされた部分(消滅エッジ)を示す。図5の例で、前景により背景が隠れた部分(e3)が消滅エッジに相当する。
(c)の欄は背景画像でエッジが存在しなかったが、入力画像で発生した部分(追加エッジ)である。図5の例で、前景の輪郭以外のエッジ(e4)、前景の輪郭(e5)、影の輪郭(e6)が追加エッジに相当する。
(d)の欄は背景画像でも入力画像でもエッジが存在していな領域を示す。図5の例で、前景の内部(e7)、背景の内部(e8)、影の内部(e9)がエッジなし領域に相当する。
ここで、背景である部屋よりも暗い領域が影候補領域として抽出される。この影候補領域の中で内部に残存エッジが十分にない領域は影ではないと判定し、内部に残存エッジが十分にある領域は影であると判定すれば良い。
残存エッジの十分性の判断は、例えば予め設定された閾値THに対して、残存エッジの画素数Eが「E≧TH」の場合に残存エッジが十分に多い領域だと判断し、そうでない場合に残存エッジが十分に少ない領域だと判断すれば良い。
閾値THの決め方については、影候補領域の面積Sに対して、画像サイズや環境等に応じて設定される係数Wを乗算し、
TH=S*W
としても良い。
なお、上記判定方法について、実画像で影領域に残存エッジが多く存在することを複数回の実験により確認済みである。
このように第1の実施形態によれば、背景画像と入力画像に共通して存在する残存エッジを抽出することで、画像に含まれる影領域を検知することができる。したがって、例えば撮影画像を利用して人物を検知するシステムであれば、撮影画像に影が映り込んでいても、これを除外して人物だけを正しく検知することができる。
また、背景にテクスチャ(格子パターンなどの模様)を必要としないので、背景の模様を自由に設定できない場合や、カメラの解像度が低くて背景テクスチャをとらえることができない場合にも対応できる。
なお、撮影画像からエッジをより多く安定的に抽出するため、例えば柱と床などの境界線に塗装・マーキングを施して強調したり、異なる床材を使用して境界線を強調するようにしても良い。境界線を強調する塗装・マーキングは、比較的容易に行えるため、費用対効果が高い。
(第2の実施形態)
次に、第2の実施形態について説明する。
上記第1の実施形態では、背景画像と入力画像に共通して存在する残存エッジに着目して影領域を判定したが、第2の実施形態では、残存エッジに加え、消滅エッジと追加エッジも考慮して影領域を判定する。
図6は第2の実施形態に係る画像検知システムの構成を示すブロック図である。なお、上記第1の実施形態における図1の構成と同じ部分には同一符号を付して、その説明は省略するものとする。
第2の実施形態は、上記第1の実施形態と同様に撮影画像内に存在する影を検知対象としている。ここで、特定エッジ抽出部105には、残存エッジ抽出部105aに加え、消滅エッジ抽出部105bと追加エッジ抽出部105cが設けられている。消滅エッジ抽出部105bは、背景画像に存在していたが、入力画像に存在しない消滅エッジを抽出する。追加エッジ抽出部105cは、背景画像に存在していなかったが、入力画像に存在していた追加エッジを抽出する。特定エッジ抽出部105は、背景画像から抽出されたエッジと入力画像から抽出されたエッジとを比較し、上記3種類のエッジ(残存エッジ,消滅エッジ,追加エッジ)を影領域の判定に必要な特定エッジとして抽出する。
検知対象領域判定部107は、特定エッジ抽出部105によって抽出された上記3種類のエッジに基づいて、候補領域抽出部106によって抽出された候補領域の中から影領域を判定する。
次に、第2の実施形態の動作について説明する。
図7は第2の実施形態における画像処理装置102によって実行される影領域検知処理を示すフローチャートである。なお、ステップS201〜S205までの処理は、図2のステップS101〜S105までの処理と同様であるため、その説明を省略する。
入力画像のエッジが抽出されると、特定エッジ抽出部105は、背景エッジ記憶部104に記憶された背景画像のエッジとその入力画像のエッジとを比較することにより、残存エッジ、消滅エッジ,追加エッジを影領域の判定に必要な特定エッジとして抽出する(ステップS206)。
残存エッジは、背景画像と入力画像に共通に存在するエッジである(図4の(a),図5のe1,e2参照)。消滅エッジは、背景画像で存在していたエッジが入力画像の前景で上書きされて消えたエッジである(図4の(b),図5のe3参照)。追加エッジは、背景画像では存在しなかったが、入力画像で発生したエッジである(図4の(c),図5のe4,e5,e6参照)。
一方、候補領域抽出部106は、例えば背景差分法などの公知の方法を用いて、入力画像から影領域の候補(影候補領域)を抽出する(ステップS207)。検知対象領域判定部107は、特定エッジ抽出部105によって抽出された上記3種類のエッジに基づいて、候補領域抽出部106によって抽出された影候補領域の中で影領域を判定する(ステップS208)。この場合、エッジの種類に応じて判定方法が異なる。
すなわち、図8に示すように、残存エッジについては、影候補領域の内部に残存エッジを十分に含んでいる領域が影領域として判定される。消滅エッジについては、影候補領域の内部に消滅エッジを十分に含んでいない領域が影領域として判定される。追加エッジについては、影候補領域の内部に追加エッジを十分に含んでいない領域が影領域として判定される。逆に、影候補領域の内部に残存エッジを十分に含んでいない領域や、消滅エッジを十分に含んでいる領域、追加エッジを十分に含んでいる領域は前景であり、影領域ではないと判定される。
エッジの十分性の判断は、例えば各種エッジ毎に予め設定された閾値TH1,TH2,TH3を用いる。すなわち、残存エッジの画素数E1が「E1≧TH1」の場合に残存エッジが十分に多い領域だと判断し、そうでない場合に残存エッジが十分に少ない領域だと判断すれば良い。消滅エッジの画素数E2が「E2≧TH2」の場合に消滅エッジが十分に多い領域だと判断し、そうでない場合に消滅エッジが十分に少ない領域だと判断すれば良い。追加エッジの画素数E3が「E3≧TH3」の場合に追加エッジが十分に多い領域だと判断し、そうでない場合に追加エッジが十分に少ない領域だと判断すれば良い。
閾値TH1,TH2,TH3の決め方については、影候補領域の面積Sに対して、画像サイズや環境等に応じて設定される係数W1,W2,W3をそれぞれ乗算し、
TH1=S*W1
TH2=S*W2
TH3=S*W3
としても良い。
ここで、撮影環境などによっては、上記3種類のエッジのすべてが抽出されるとは限らないため、上記3種類のエッジのうちの少なくとも1つを使用して影領域を判定すれば良い。この場合、他のエッジに比べて顕著に多いあるいは少ないエッジを1種類/2種類だけ使用することでも良い。
・上記3種類のエッジのうちの1つを使用する場合
例えば消滅エッジだけを使用する場合において、消滅エッジの十分性の判断は、下記のようになる。
すなわち、消滅エッジの画素数E2が「E2≧TH2」の場合に消滅エッジが十分多い領域だと判断し、それ以外の場合に消滅エッジが十分に少ない領域だと判断すれば良い。上記ステップS208の判定処理では、消滅エッジが少なければ影と判定し、消滅エッジが多ければ前景(影ではない)と判定すれば良い。
・上記3種類のエッジのうちの2つを使用する場合
例えば残存エッジと消滅エッジを使用する場合において、これらのエッジの十分性の判断は、下記のようになる。
残存エッジの画素数E1が「E1≧TH1」の場合に残存エッジが十分多い領域だと判断し、消滅エッジの画素数E2が「E2≧TH2」の場合に消滅エッジが十分多い領域だと判断し、それ以外の場合に残存エッジ、消滅エッジエッジが十分少ない領域だと判断すれば良い。
上記ステップS208の判定処理では、残存エッジが多く、消滅エッジが少なければ影と判定し、残存エッジが少なく、消滅エッジが多ければ前景と判定する。またそれ以外については、前景(影ではない)と判定すれば良い。
なお、図8の組み合わせにおいて、「残存エッジは多い、消滅エッジは少ない」→影と判定し、「残存エッジは少ない、消滅エッジは多い」→前景(影ではない)と判定する。それ以外の場合、つまり、例えば「残存エッジは多い、消滅エッジは多い」の場合や「残存エッジは少ない、消滅エッジは少ない」の場合には、影と判定しても良いし、前景と判定しても良い。ただし、「前景(人)」を誤って影と判定し、例えばドアを閉めてしまうことを考えると、「前景」と判定することが好ましい。
ここで、追加エッジについては前景の輪郭にも影の輪郭にも存在する。そのため、追加エッジのうち、候補領域の輪郭近辺にあるものについては影かどうかの判定には用いず、候補領域の内部に追加エッジが十分に多くある領域を影ではない(前景)と判定する。
(変形例)
図9は第2の実施形態の変形例を説明するための背景画像と入力画像の概念図であり、2つの影が重なる環境を想定している。いま、背景画像301において、外光による影aが存在しているものとする。その背景画像301から抽出されたエッジ302には、影aに対応したエッジが含まれる。
ここで、入力画像311において、新たな影bが影aに重なると、影aと影bを1つの影としたエッジ312が得られる。この場合、背景の影aと入力の影bは、同じ床領域に生じているため、輝度値がほぼ同じになり、その境界にはエッジ(輝度差)は生じない。このため、影aと影bの境界部分のエッジは消滅し、図示のような残存エッジ313が得られる。また、入力画像311から得られる影候補領域314には、影aと影bの境界部分に消滅エッジが含まれることになる。
図8の判定条件では、消滅エッジが多い領域は前景(影ではない)と判定される。このため、図9の例のように、入力画像311の影bの輪郭に消滅エッジが生じる場合には前景として誤判定される可能性が高まる。そこで、消滅エッジについては、影候補領域の「輪郭を除く内部」を対象とすることで、影bを前景(影ではない)として誤判定することを防ぐことができる。
このように第2の実施形態によれば、残存エッジに加え、消滅エッジ、追加エッジを考慮することで、例えば影の下で背景のエッジが消されて残存エッジだけでは判定できないような場合であっても、消滅エッジあるいは追加エッジを使って影領域を判定することができる。
(第3の実施形態)
次に、第3の実施形態について説明する。
第3の実施形態では、影候補領域の中で輝度分布が類似した近接領域を分割し、これらを影候補領域として抽出するようにしたものである。
図10は第3の実施形態に係る画像検知システムの構成を示すブロック図である。なお、上記第1の実施形態における図1の構成と同じ部分には同一符号を付して、その説明は省略するものとする。
第3の実施形態は、上記第1の実施形態と同様に撮影画像内に存在する影を検知対象としている。ここで、画像処理装置102には、上記第1の実施形態の構成に加えて、均一領域分割部108が備えられている。均一領域分割部108は、候補領域抽出部106によって抽出された影候補領域の中で輝度分布が類似した近接領域を分割する。
検知対象領域判定部107は、特定エッジ抽出部105によって抽出された残存エッジに基づいて、均一領域分割部108によって分割された各候補領域の中で影領域を判定する。
次に、第3の実施形態の動作について説明する。
図11は第3の実施形態における画像処理装置102によって実行される影領域検知処理を示すフローチャートである。なお、ステップS301〜S307までの処理は、図2のステップS101〜S107までの処理と同様であるため、その説明を省略する。
第3の実施形態では、候補領域抽出部106によって影候補領域が得られると、均一領域分割部108によって影候補領域の中で輝度分布が類似した近接領域が1つの影候補領域として個別に抽出される(ステップS308)。
図12に具体例を示す。
いま、図12(a)に示すように人の足と影がつながった入力画像401に対して、同図(b)に示すような影候補領域402が抽出されたとする。この例では、人の足(ズボンと靴)と影が1つの影候補領域402として抽出される。
ここで、影候補領域402を輝度分布が類似した領域で分割すると、同図(c)に示すように、影候補領域403として3つの領域403a,403b,403cが得られる。領域403aはズボンに対応しており、領域403bは靴に対応している。領域403cは影に対応しており、残存エッジを有する。
検知対象領域判定部107は、均一領域分割部108によって得られた各候補領域の中で影領域を判定する(ステップS309)。この場合、上記第1の実施形態で説明したように、領域内部に残存エッジを十分に含んでいる候補が影領域として判定される。図12(c)の例では、領域403a,403bには残存エッジがなく、領域403cには内部に残存エッジが含まれている。したがって、同図(d)に示すように、領域403cが最終的に影領域404として抽出されることになる。
このように第3の実施形態によれば、撮影画像の中で人の領域と影の領域が連続している場合において、その領域全体で影かどうかを判定するのではなく、輝度分布が類似する領域に分割してから個々に判定することで、影の領域だけを正しく検知することができる。
なお、上記ステップS309の判定処理では、上記第2の実施形態のように、残存エッジだけでなく、消滅エッジと追加エッジを用いることで、影の領域をより正しく判定することができる。
(第4の実施形態)
次に、第4の実施形態について説明する。
上記第1乃至第3の実施形態では、撮影画像内に存在する影を検知する場合について説明したが、第4の実施形態では、撮影画像内に存在する光を検知する場合について説明する。ここで言う「光」とは、例えば照明機器により部屋内に部分的に差し込む光(スポット光)や、太陽の光が部屋の隙間などから部分的に差し込む光などである。このような部分的な光も人や物の影と同様にカメラを利用した検知動作に影響を与えることがある。例えば、部屋の中で光が部分的に当たっている領域があった場合に、撮影画像上ではそれが光部分の領域なのか白い服を着た人の領域なのか判別できないことがある。
以下では、このような光部分の領域を判定する処理について詳しく説明する。なお、装置構成については、上記第1の実施形態における図1の構成と基本的に同じであるため、図示を省略する。ただし、図1の構成において、検知対象領域が影領域ではなく、光が部分的に存在する領域(以下、光部分領域と称す)となる。候補領域抽出部106は、その光部分領域の候補を抽出する。なお、部分候補領域の抽出は、例えば公知の背景差分法によって得られた差分領域のうち、過去の背景よりも明るくなった領域を抽出すれば良い。
検知対象領域判定部107は、特定エッジ抽出部105によって抽出された残存エッジに基づいて、候補領域抽出部106によって抽出された光部分候補領域の中から光部分領域を判定する。
次に、第4の実施形態の動作について説明する。
図13は第4の実施形態における画像処理装置102によって実行される光部分領域検知処理を示すフローチャートである。図14は上記光部分領域検知処理を説明するための背景画像と入力画像の概念図であり、図3と同様に、一対の柱を隔てて部屋の内側と外側に分けられた環境を想定している。ただし、ここでは部屋の内側と外側は多少暗い状態にあるものとする。
基本的な処理の流れは上記第1の実施形態の図2と同様である。ただし、第4の実施形態では、光部分領域を検知対象領域としている。上述したように、「光部分領域」とは光が部分的に存在する領域のことであり、影と同様にカメラを利用した検知動作に影響を与える。
初期設定として、予め人や物などが存在しない環境で背景エッジを取得しておく。具体的には、まず、撮像装置101により背景画像を取得して画像処理装置102に取り込む(ステップS401)。画像処理装置102のエッジ抽出部103は、例えばSobelエッジフィルタやCannyエッジフィルタなどを用いて当該背景画像から特徴が異なる領域の境界線を表すエッジを抽出し(ステップS402)、そのエッジに関する情報を背景エッジ記憶部104に記憶しておく(ステップS403)。
図14に示す背景画像501には人や物などは含まれておらず、その背景画像501から抽出されるエッジ502にも人や物などは含まれていない。なお、ここでは便宜的に大きな枠しか描いていないが、実際にはもっと複雑な線や曲線などがエッジ502として抽出される。
次に、検知時において、撮像装置101により入力画像を取得して画像処理装置102に取り込む(ステップS404)。入力画像は、人や物などが存在する環境で撮影されたものである。画像処理装置102のエッジ抽出部103は、上記背景画像のときと同様に当該入力画像から特徴が異なる領域の境界線を表すエッジを抽出する(ステップS405)。
なお、実際には1秒間に数コマ(例えば30コマ/秒)の入力画像が画像処理装置102に逐次取り込まれており、これらの入力画像に対して光部分領域の検知処理が行われる。図14の例では、第1の入力画像511には明るい色(例えば白)のズボンと靴を履いた人の足が存在し、その人の足を含めたエッジ512が抽出される。一方、第2の入力画像521には例えば照明機器の光や日差しの光などが部分的に存在し、その光部分を含めたエッジ522が抽出される。
入力画像のエッジが抽出されると、特定エッジ抽出部105は、背景エッジ記憶部104に記憶された背景画像のエッジとその入力画像のエッジとを比較することにより、両画像に共通して存在する残存エッジを光部分領域の判定に必要な特定エッジとして抽出する(ステップS406)。
図14に示す第1の入力画像511については、人の足で背景が隠れるので、部分的に途切れた残存エッジ513が得られる。また、通常、光の下に存在する背景は消えないため、第2の入力画像521については、背景と光部分を含んだ残存エッジ523が得られる。
一方、候補領域抽出部106は、例えば背景差分法などの公知の方法を用いて、入力画像から光部分候補領域を抽出する(ステップS407)。図14の例では、第1の入力画像511では人の足が光部分候補領域514として抽出され、第2の入力画像521では光が映り込んでいる部分が光部分候補領域524として抽出される。
検知対象領域判定部107は、特定エッジ抽出部105によって抽出された残存エッジに基づいて、候補領域抽出部106によって抽出された光部分候補領域の中で光部分領域を判定する(ステップS408)。この場合、領域内部に残存エッジを十分に含んでいるものが光部分領域として判定される。図14の例では、第1の入力画像511から得られた光部分候補領域514には残存エッジがなく、第2の入力画像521から得られた光部分候補領域524には残存エッジが含まれている。したがって、第2の入力画像521から得られた光部分候補領域524が光部分領域552として抽出されることになる。
図15および図16を参照して光部分領域の判定処理について詳しく説明する。
図15は背景/入力の画像とエッジ領域との関係を説明するための図である。図4と同様に、背景画像において、エッジがある領域とエッジがない領域を縦軸で分類し、入力画像において、エッジがある領域とエッジがない領域を横軸で分類している。ただし、ここでは影領域ではなく、光部分領域を検知対象領域としている。図16は各種エッジを説明するための具体例であり、背景である部屋に足と光が混在した状態が示されている。
図15において、(a)の欄は背景画像と入力画像に共通に存在するエッジ(残存エッジ)を示す。図16の例で、光の下に見える背景の部分(e11)、前景で隠されていない背景の各部分(e12)が残存エッジに相当する。ここで言う「前景」とは、背景画像に上書きされている入力画像のことである。
(b)の欄は背景画像ではエッジとして存在していたが、前景で上書きされた部分(消滅エッジ)を示す。図16の例で、前景により背景が隠れた部分(e13)が消滅エッジに相当する。
(c)の欄は背景画像でエッジが存在しなかったが、入力画像で発生した部分(追加エッジ)である。図16の例で、前景の輪郭以外のエッジ(e14)、前景の輪郭(e15)、光部分の輪郭(e16)が追加エッジに相当する。
(d)の欄は背景画像でも入力画像でもエッジが存在していな領域を示す。図16の例で、前景の内部(e17)、背景の内部(e18)、光部分の内部(e19)がエッジなし領域に相当する。
ここで、背景である部屋よりも明るい領域が光候補領域として抽出される。この光候補領域の中で内部に残存エッジが十分にない領域は光部分ではないと判定し、内部に残存エッジが十分にある領域は光部分であると判定すれば良い。
残存エッジの十分性の判断は、上記第1の実施形態と同様であり、例えば予め設定された閾値THに対して、残存エッジの画素数Eが「E≧TH」の場合に残存エッジが十分に多い領域だと判断し、そうでない場合に残存エッジが十分に少ない領域だと判断すれば良い。なお、検知対象を影とする場合と光とする場合とで、上記閾値THを変えることでも良い。
このように第4の実施形態によれば、光が映り込んでいる領域を検知対象領域とした場合でも、上記第1の実施形態と同様に、背景画像と入力画像に共通して存在する残存エッジを抽出することで、画像に含まれる光部分領域を検知することができる。したがって、例えば撮影画像を利用して人物を検知するシステムであれば、例えば検知範囲の中に照明機器の光や日の光が存在していたとしても、これらを除外して人物だけを正しく検知することができる。
なお、第4の実施形態において、上記第1の実施形態と組み合わせて、影と光の両方を検知する構成も可能である。
(第5の実施形態)
次に、第5の実施形態について説明する。
上記第4の実施形態では、背景画像と入力画像に共通して存在する残存エッジに着目して光部分領域を判定したが、第5の実施形態では、残存エッジに加え、消滅エッジと追加エッジも考慮して光部分領域を判定する。
なお、装置構成については、上記第2の実施形態における図6の構成と基本的に同じであるため、図示を省略する。ただし、図6の構成において、検知対象領域が影領域ではなく、光部分領域である。候補領域抽出部106は、その光部分領域の候補を抽出する。また、特定エッジ抽出部105には、残存エッジ抽出部105aに加え、消滅エッジ抽出部105bと追加エッジ抽出部105cが設けられている。消滅エッジ抽出部105bは、背景画像に存在していたが、入力画像に存在しない消滅エッジを抽出する。追加エッジ抽出部105cは、背景画像に存在していなかったが、入力画像に存在していた消滅エッジを抽出する。特定エッジ抽出部105は、背景画像から抽出されたエッジと入力画像から抽出されたエッジとを比較し、上記3種類のエッジ(残存エッジ,消滅エッジ,追加エッジ)を光部分領域の判定に必要な特定エッジとして抽出する。
検知対象領域判定部107は、特定エッジ抽出部105によって抽出された上記3種類のエッジに基づいて、候補領域抽出部106によって抽出された候補領域の中から光部分領域を判定する。
次に、第5の実施形態の動作について説明する。
図17は第5の実施形態における画像処理装置102によって実行される光部分領域検知処理を示すフローチャートである。なお、ステップS501〜S505までの処理は、図13のステップS401〜S405までの処理と同様であるため、その説明を省略する。
入力画像のエッジが抽出されると、特定エッジ抽出部105は、背景エッジ記憶部104に記憶された背景画像のエッジとその入力画像のエッジとを比較することにより、残存エッジ、消滅エッジ,追加エッジを光部分領域の判定に必要な特定エッジとして抽出する(ステップS506)。
残存エッジは、背景画像と入力画像に共通に存在するエッジである(図15の(a),図16のe11,e12参照)。消滅エッジは、背景画像で存在したエッジが入力画像の前景で上書きされて消えたエッジである(図15の(b),図16のe13参照)。追加エッジは、背景画像では存在してなかったが、入力画像で発生したエッジである(図15の(c),図16のe14,e15,e16参照)。
一方、候補領域抽出部106は、例えば背景差分法などの公知の方法を用いて、入力画像から光部分領域の候補(光部分候補領域)を抽出する(ステップS507)。検知対象領域判定部107は、特定エッジ抽出部105によって抽出された上記3種類のエッジに基づいて、候補領域抽出部106によって抽出された光部分候補領域の中で光部分領域を判定する(ステップS508)。この場合、エッジの種類に応じて判定方法が異なる。
すなわち、図18に示すように、残存エッジについては、光部分候補領域の内部に残存エッジを十分に含んでいる領域が光部分領域として判定される。消滅エッジについては、光部分候補領域の内部に消滅エッジを十分に含んでいない領域が光部分領域として判定される。追加エッジについては、光部分候補領域の内部に追加エッジを十分に含んでいない領域が光部分領域として判定される。逆に、光部分候補領域の内部に残存エッジを十分に含んでいない領域や、消滅エッジを十分に含んでいる領域、追加エッジを十分に含んでいる領域は前景であり、光部分領域ではないと判定される。
エッジの十分性の判断は、上記第2の実施形態と同様であり、例えば各種エッジ毎に予め設定された閾値TH1,TH2,TH3を用いる。なお、検知対象を影とする場合と光とする場合とで、上記閾値TH1,TH2,TH3を変えることでも良い。
ここで、撮影環境などによっては、上記3種類のエッジのすべてが抽出されるとは限らないため、上記3種類のエッジのうちの少なくとも1つを使用して光部分領域を判定すれば良い。この場合、他のエッジに比べて顕著に多いあるいは少ないエッジを1種類/2種類だけ使用することでも良い。
なお、図18の組み合わせにおいて、「残存エッジは多い、消滅エッジは少ない」→光部分と判定し、「残存エッジは少ない、消滅エッジは多い」→前景(光部分ではない)と判定する。それ以外の場合、つまり、例えば「残存エッジは多い、消滅エッジは多い」の場合や「残存エッジは少ない、消滅エッジは少ない」の場合には、光部分と判定しても良いし、前景と判定しても良い。ただし、「前景(人)」を誤って光部分と判定し、例えばドアを閉めてしまうことを考えると、「前景」と判定することが好ましい。
ここで、追加エッジについては前景の輪郭にも光部分の輪郭にも存在する。そのため、追加エッジのうち、候補領域の輪郭近辺にあるものについては光部分かどうかの判定には用いず、候補領域の内部に追加エッジが十分に多くある領域を光部分ではない(前景)と判定する。
(変形例)
図19は第5の実施形態の変形例を説明するための背景画像と入力画像の概念図であり、2つの光が重なる環境を想定している。いま、背景画像601において、例えば部屋の中に設置された照明機器などにより、予め光aの部分が存在しているものとする。その背景画像601から抽出されたエッジ602には、光aに対応したエッジが含まれる。
ここで、入力画像611において、例えば外の照明機器や車のヘッドライトなどにより新たな光bが光aに重なると、光aと光bを1つの光部分としたエッジ612が得られる。この場合、背景の光aと入力の光bは、同じ床領域に生じているため、輝度値がほぼ同じになり、その境界にはエッジ(輝度差)は生じない。このため、光aと光bの境界部分のエッジは消滅し、図示のような残存エッジ613が得られる。また、入力画像611から得られる光部分候補領域614には、光aと光bの境界部分に消滅エッジが含まれることになる。
図18の判定条件では、消滅エッジが多い領域は前景(光部分ではない)と判定される。このため、図19の例のように、入力画像611の光bの輪郭に消滅エッジが生じる場合には前景として誤判定される可能性が高まる。そこで、図8で説明した影が重なる場合と同様に、消滅エッジについては、光部分候補領域の「輪郭を除く内部」を対象とすることで、光bを前景(光部分ではない)として誤判定することを防ぐことができる。
このように第5の実施形態によれば、残存エッジに加え、消滅エッジ、追加エッジを考慮することで、例えば光の下で背景のエッジが消されて残存エッジだけでは判定できないような場合であっても、消滅エッジあるいは追加エッジを使って光部分領域を判定することができる。
なお、第5の実施形態において、上記第2の実施形態と組み合わせて、影と光の両方を検知する構成も可能である。
(第6の実施形態)
次に、第6の実施形態について説明する。
第6の実施形態では、光部分候補領域の中で輝度分布が類似した近接領域を分割し、これらを光部分候補領域として抽出するようにしたものである。
なお、装置構成については、上記第3の実施形態における図10の構成と基本的に同じであるため、図示を省略する。ただし、図10の構成において、検知対象領域が影領域ではなく、光部分領域である。候補領域抽出部106は、その光部分領域の候補を抽出する。また、均一領域分割部108は、候補領域抽出部106によって抽出された光部分候補領域の中で輝度分布が類似した近接領域を分割する。
検知対象領域判定部107は、特定エッジ抽出部105によって抽出された残存エッジに基づいて、均一領域分割部108によって分割された各候補領域の中で光部分領域を判定する。
次に、第6の実施形態の動作について説明する。
図20は第6の実施形態における画像処理装置102によって実行される光部分領域検知処理を示すフローチャートである。なお、ステップS601〜S607までの処理は、図13のステップS401〜S407までの処理と同様であるため、その説明を省略する。
第6の実施形態では、候補領域抽出部106によって光部分候補領域が得られると、均一領域分割部108によって光部分候補領域の中で輝度分布が類似した近接領域が1つの光部分候補領域として個別に抽出される(ステップS608)。
図21に具体例を示す。
いま、図21(a)に示すように人の足と光の差し込みがつながった入力画像701に対して、同図(b)に示すような光部分候補領域702が抽出されたとする。この例では、人の足(ズボンと靴)が明るい色(例えば白)にあり、そこに例えば外部の照明機器の光が差し込んでいる状態を想定している。このような場合、人の足と光の差し込み部分が1つの光部分候補領域702として抽出される。
ここで、光部分候補領域702を輝度分布が類似した領域で分割すると、同図(c)に示すように、光部分候補領域703として3つの領域703a,703b,703cが得られる。領域703aはズボンに対応しており、領域703bは靴に対応している。領域703cは光部分に対応しており、残存エッジを有する。
検知対象領域判定部107は、均一領域分割部108によって得られた各候補領域の中で光部分領域を判定する(ステップS609)。この場合、上記第4の実施形態で説明したように、領域内部に残存エッジを十分に含んでいる候補が光部分領域として判定される。図21(c)の例では、領域703a,703bには残存エッジがなく、領域703cには内部に残存エッジが含まれている。したがって、同図(d)に示すように、領域703cが最終的に光部分領域704として抽出されることになる。
このように第6の実施形態によれば、撮影画像の中で人の領域と光部分の領域が連続している場合において、その領域全体で光部分かどうかを判定するのではなく、輝度分布が類似する領域に分割してから個々に判定することで、光部分の領域だけを正しく検知することができる。
なお、上記ステップS609の判定処理では、上記第5の実施形態のように、残存エッジだけでなく、消滅エッジと追加エッジを用いることで、光部分領域をより正しく判定することができる。
また、第6の実施形態において、上記第3の実施形態と組み合わせて、影と光の両方を検知する構成も可能である。
(応用例)
次に、本発明の画像検知システムをエレベータに適用した場合について説明する。
図22はエレベータの乗車検知システムの構成を示す図である。なお、ここでは、1台の乗りかごを例にして説明するが、複数台の乗りかごでも同様の構成である。
乗りかご11の出入口上部に、本システムの撮像装置101に相当するカメラ12が設置されている。具体的には、乗りかご11の出入口上部を覆う幕板11aの中にカメラ12のレンズ部分を乗場15側に向けて設置されている。カメラ12は、例えば車載カメラなどの小型の監視用カメラであり、広角レンズを有し、1秒間に数コマ(例えば30コマ/秒)の画像を連続撮影可能である。乗りかご11が各階に到着して戸開したときに、乗場15の状態を乗りかご11内のかごドア13付近の状態を含めて撮影する。
このときの撮影範囲はL1+L2に調整されている(L1≫L2)。L1は乗場側の撮影範囲であり、かごドア13から乗場15に向けて例えば3mである。L2はかご側の撮影範囲であり、かごドア13からかご背面に向けて例えば50cmである。なお、L1,L2は奥行き方向の範囲であり、幅方向(奥行き方向と直交する方向)の範囲については少なくとも乗りかご11の横幅より大きいものとする。
なお、各階の乗場15において、乗りかご11の到着口には乗場ドア14が開閉自在に設置されている。乗場ドア14は、乗りかご11の到着時にかごドア13に係合して開閉動作する。動力源(ドアモータ)は乗りかご11側にあり、乗場ドア14はかごドア13に追従して開閉するだけである。以下の説明において、かごドア13を戸開しているときには乗場ドア14も戸開しており、かごドア13を戸閉しているときには乗場ドア14も戸閉しているものとする。
カメラ12によって撮影された各画像(映像)は、本システムの画像処理装置102に相当する画像処理装置20によってリアルタイムに解析処理される。なお、図22では、便宜的に画像処理装置20を乗りかご11から取り出して示しているが、実際には画像処理装置20はカメラ12と共に幕板11aの中に収納されている。
ここで、画像処理装置20には、記憶部21と利用者検知部22が備えられている。記憶部21は、カメラ12によって撮影された画像を逐次保存すると共に、利用者検知部22の処理に必要なデータを一時的に保持しておくためのバッファエリアを有する。利用者検知部22は、カメラ12によって撮影された時系列的に連続した複数枚の画像の中でかごドア13に最も近い人・物の動きに着目して乗車意思のある利用者の有無を検知する。この利用者検知部22を機能的に分けると、動き検知部22a、位置推定部22b、乗車意思推定部22cで構成される。
動き検知部22aは、各画像の輝度をブロック単位で比較して人・物の動きを検知する。ここで言う「人・物の動き」とは、乗場15の人物や車椅子等の移動体の動きのことである。
位置推定部22bは、動き検知部22aによって各画像毎に検知された動きありのブロックの中からかごドア13に最も近いブロックを抽出し、当該ブロックにおけるかごドア13の中心(ドア間口の中心)から乗場方向の座標位置(図5に示すY座標)を利用者の位置(足元位置)として推定する。乗車意思推定部22cは、位置推定部22bによって推定された位置の時系列変化に基づいて当該利用者の乗車意思の有無を判定する。
なお、これらの機能(動き検知部22a、位置推定部22b、乗車意思推定部22c)はカメラ12に設けられていても良いし、かご制御装置30に設けられていても良い。
かご制御装置30は、図示せぬエレベータ制御装置に接続され、このエレベータ制御装置との間で乗場呼びやかご呼びなどの各種信号を送受信する。なお、「乗場呼び」とは、各階の乗場15に設置された図示せぬ乗場呼び釦の操作により登録される呼びの信号のことであり、登録階と行先方向の情報を含む。「かご呼び」とは、乗りかご11のかご室内に設けられた図示せぬ行先呼び釦の操作により登録される呼びの信号のことであり、行き先階の情報を含む。
また、かご制御装置30は、戸開閉制御部31を備える。戸開閉制御部31は、乗りかご11が乗場15に到着したときのかごドア13の戸開閉を制御する。詳しくは、戸開閉制御部31は、乗りかご11が乗場15に到着したときにかごドア13を戸開し、所定時間経過後に戸閉する。ただし、かごドア13の戸開中に画像処理装置20の利用者検知部22によって乗車意思のある人物が検知された場合には、戸開閉制御部31は、かごドア13の戸閉動作を禁止して戸開状態を維持する。
図23はカメラ12によって撮影された画像の一例を示す図である。図中のE0は位置推定エリア、ynは利用者の足元位置が検知されたY座標を表している。
カメラ12は乗りかご11の出入口上部に設置されている。したがって、乗りかご11が乗場15で戸開したときに、乗場側の所定範囲(L1)とかご内の所定範囲(L2)が撮影される。ここで、カメラ12を利用すると検知範囲が広がり、乗りかご11から少し離れた場所にいる利用者でも検知することができる。しかし、その一方で、乗場15を通過しただけの人物(乗りかご11に乗車しない人物)を誤検知して、かごドア13を開いてしまう可能性がある。そこで、カメラ12で撮影した画像を一定サイズのブロックに区切り、人・物の動きがあるブロックを検知し、その動きありのブロックを追うことで乗車意思のある利用者であるか否かを判断する。
このような構成において、画像処理装置20に本システムの画像処理装置102の各機能を設けておき、上記各実施形態で説明した方法でカメラ12の撮影画像から影の領域あるいは光部分の領域を判定すれば、乗車意思のある利用者だけを正確に検知してドアの開閉制御に反映させることができる。
なお、本発明の画像検知システムは、上述したエレベータのドアの開閉制御に限らず、例えばビルの自動ドアの開閉制御に対しても上記同様に適用可能である。また、ドアの開閉制御に限らず、影あるいは光部分を検知して何らかの制御を行うシステム全般に適用可能である。
以上述べた少なくとも1つの実施形態によれば、撮影画像に映り込んだ影あるいは光を正しく検知することのできる画像検知システムを提供することができる。
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。