【０００１】
【発明の属する技術分野】
本発明は幼稚園・保育園等で、部屋等の中での幼児の位置を、当該幼児が誰であるかを認識しつつ追跡する移動体識別システムに関する。
【０００２】
【従来の技術】
近年、幼稚園・保育園における幼児の位置を検出して、ＩＴサービスに結びつけようとする試みが始まっている。たとえば、ＮＴＴ西日本・福岡支店では、無線タグを子供にとりつけ、無線送受信機を園内に配置することによって、子供の位置を検出し、これにより、その位置にいる子供の画像をカメラで送信するサービスの実験を行なった（福岡地区一部新聞既報）。
【０００３】
しかし、このような従来型のサービスには大きな欠点がある。電波の利用である。微弱電波の幼児に与える影響は、その結果がすぐには現れない（幼児の成人後の２０年後〜３０年後が問題）こともあり、保護者の間に不安を呼ぶ可能性がある。近年、行政サイドにおいても、工場等で利用する強力な電磁波については、規制を加える方向で検討が行なわれている。また、携帯電話会社３社が共同して、電波の影響を調べるとの新聞報道等がなされている。
【０００４】
このような状況に鑑み、発明者は、先願（特願２００２−２５６０３７「移動体の位置検出システム、移動体の位置検出方法、及びプログラム」２００２年８月３０日出願）において一つの解決を示した。図３は、先願の位置検出システムの構成例である。先願の位置検出システム１０００は、移動体１１００に取り付けられて前記移動体の加速度、速度、角加速度、あるいは角速度を検出する移動量検出手段１０１０と、カメラ等の撮影画像に基づいて前記移動体の位置をその移動体を特定することなく検出する位置検出手段１０１１と、前記移動量検出手段１０１０が検出した移動量情報と、前記位置検出手段１０１１が検出した移動体の位置情報とを照合することにより、前記移動体の位置を、前記移動体を特定しつつ検出する照合手段１０１２とから構成される。
【０００５】
上記先願は、例えば、以下のステップを踏む。１）天井に装着されたＴＶカメラの画像から、部屋の中の移動体（具体的には幼児）の水平方向の動きを解析する。この段階では、何かが動いていることはわかるが、それが具体的に誰であるかは分からない。２）次に、移動体（幼児）には、加速度センサーが装着されている。加速度センサーは、パッシブなセンサーであるから、外部に電磁波、超音波等を送信することはない。その記録は、センサーに付属して設けられたメモリに一旦は蓄積され、後ほど取り出される。３）この加速度センサーの動きとＴＶカメラからの動画像処理結果を照合して、移動体が誰であるかを特定する。
【０００６】
もし各移動体が装着している加速度センサーにノイズやアンプのＤＣドリフトがなければ、加速度センサーによって得られた加速度を２回積分すれば、部屋の中のどこにいるかが判明する。しかし、現実には、加速度センサーの測定値を２回積分しても、位置情報としては使い物にならない。ドリフトやノイズがあるからである。
【０００７】
そこで、先願では、ＴＶカメラの動画像処理によって移動体の動きを検出し、例えば、得られた各移動体の加速度変化と、加速度センサーから得られる加速度情報を照合し、一致していれば、その加速度センサーを持っている幼児が動画像処理により検出されているものとする。
【０００８】
図４、図５、図６は、ＴＶカメラによって撮影された結果から動画像処理し、移動体を検出した実験結果の一部である。発明者らが、情報処理学会・情報システムと社会環境研究会において発表する「幼児行動記録作成システムへの取り組み−ＴＶカメラとパッシブセンサーによる幼児の行動追跡−」（２００３年３月１４日発表予定）と題する文献より引用した。
【０００９】
図４は、動画像処理の結果である。図３の位置検出手段１０１１で生成された内部的な情報のひとつと考えていただければ良い。原画像であるＴＶカメラにはこの実験では５人が映っている。ＴＶカメラは天井に装着されており、天井からその下にいる５人の人間を写している。図４では、マーカー等の動画像処理を容易とするための指標を移動体（幼児）には装着していない。自然な画像から、動画像処理のフレーム間差分等を用いて移動体を検出した例であり、完全な人の画像は得られていない。しかし、明らかに人間に相当する部分が取り出されている。
【００１０】
一方、図５は、５人の移動体（人間）の位置を追跡したものである。人間に画像処理に適当なマーカーをつけて、マーカー位置を画像処理により抽出した。マーカーの位置が即ち、人間の位置である。縦座標軸は、カメラ画面の横軸方向の位置座標を示し、横座標軸は、時間経過を示す。５本の曲線は、５人の移動体にそれぞれ対応するが、真中あたりの太線の移動体には、加速度センサーが装着されている。即ち、カメラは天井から見ているので、図５の縦方向は、部屋のある水平方向の座標値となる。図３の照合手段１０１２によって、図４の動きから、図５の真中の太線のような軌跡が取り出されることが望まれる。ただし、うまく取り出せても、当然であるが、その軌跡が誰であるかは、ＴＶカメラ画像からでは分からない。
【００１１】
図６は、動画像処理結果（図４）と、加速度センサーの情報を統合して得た、移動体の位置座標推定結果である。ここでは、図５のようなはっきりした位置情報は得られておらず、図４の各領域の時間的変化の推移と、加速度センサーの情報が統合されている。図６は、図５と同一の縦軸、横軸を用いている。図中で「正解」としているのは、図５の真中の太線の情報が正しく復元できている部分を示す。確かに、半分以上の部分で、正しく、加速度センサーを装着した移動体の座標を特定している。しかし、照合に失敗しているところも多い。
【００１２】
図５と図６を注意深く検討すると、以下のことが分かる。１）この実験では、移動体の水平方向の動き（加速度）を、動画像処理からも、加速度センサーからも取り出して一致させている。しかし、図６を見る限り、水平方向の加速度情報のみでは、照合は苦しい。別の情報が必要である。２）図５の真中の太線を注意深くみてみると、図６で照合が失敗している箇所は、比較的、直線的である。これによって、以下の分析結果を得る。
【００１３】
即ち、図４、図５、図６では、照合を加速度で行なっているので、たとえ、移動体が比較的高速で移動していても、もし、それが等速直線運動に近い動作であれば、加速度の信号レベルは極めて小さくなる。したがって、加速度はノイズにうもれ、照合に失敗する。実際、我々の実験によれば、人体が発生して加速度センサーに感知される加速度としては、（むろん、数値的には、重力加速度が最大であることはいうまでも無いが、これは一定であるので補正しやすい）歩くことによる体の上下動が大きい。水平方向の移動による加速度は、比較的小さい。図４、図５、図６の実験では、水平方向の加速度のみを検出して、上下方向の加速度を照合に利用していないので、信号がうまく取り出せていない。
【００１４】
以上述べたように、先願の実現方法では、位置情報として垂直方向の加速度を優先的に用いることは主張してない。したがって、水平方向の加速度のみを利用すると、照合がうまく行かないこととなる。但し、図６は、前述のように、情報処理学会・情報システムと社会環境研究会において「幼児行動記録作成システムへの取り組み−ＴＶカメラとパッシブセンサーによる幼児の行動追跡−」（２００３年３月１４日発表予定）で紹介するものである。当該本文献にも述べられているように、図６の実験では、加速度センサーは、上下方向の加速度をそもそも検出できていない２軸センサーを利用している。したがって、センサーを３軸センサーへと改善することにより、図６の状況は、改善される可能性もある。しかし、現実の応用では、何十人、何百人もの移動体の中から、特定のひとりを照合により探す必要があり、たとえ、３軸加速度センサーに改良されたとしても、照合性能の、先願からの、更なる向上が必要である。
【００１５】
【発明が解決しようとする課題】
以上から、従来の、移動体の水平方向のみに依存した照合方式を改善して、より高い精度で、照合を実現する移動体識別システムが望まれる。
【００１６】
上記目的を達成するに、本移動体識別システムでは、人の上下方向の動き（例えば、歩くことによって、頭が多少、上下する）を照合で優先する。但し、上下動を検出するには、先願のような一台のＴＶカメラでは、無理である。具体的には、例えば、２台のカメラを利用する「ステレオカメラ」による上下動検出、あるいは、横から移動体を撮影することによる「サイドカメラ（と本明細書では呼ぶ）」を併用する必要がある。即ち、先願明細書に添付された図面で開示している一台のＴＶカメラでは、本発明の思想の実現は困難である。
【００１７】
【課題を解決するための手段】
上記目的を達成するため、本発明の移動体識別システム（請求項１）は、動画情報から移動体の上下方向の動きを検出する第一のカメラ手段と、前記移動体に取り付けられて上下方向加速度を検出するセンサー手段と、前記センサー手段から得た上下方向加速度と前記第一のカメラ手段により検出された移動体の上下方向の動き情報との一致度を計算し、最も一致度の高い前記移動体を選別する照合手段から構成されることを特徴とする。
【００１８】
ここで、動画情報から移動体の上下方向の動きを検出する前記第一のカメラ手段は、例えば、天井に２台のＴＶカメラを装着して、同一の移動体を撮影するステレオカメラを用いればよい。ステレオカメラ技術については当業者には良く知られているので、本明細書では細かい説明は省略する。例えば、伊東敏夫著『ＶＢ．ＮＥＴで学ぶ画像処理アルゴリズム』（広文社発行、２００２年６月）の１２１ページ、『ステレオ』を参照されたい。ただし、基本的には、２台のカメラによって、同一の対象物を色や大きさから同定し、２台のカメラから見た三角測量によって、対象物の座標を特定する手法である。これによって、２台のカメラを結ぶ軸線からどれくらい被写体が離れているかが検出できる。このことは、カメラ２台を天井に装着した場合には、被写体の上下方向の座標変化を検出できることとなる。
【００１９】
また、前記センサー手段は、発明者らの先願によって開示したと同一の構成でよい。具体的には、半導体ＬＳＩ等によって構成された加速度センサー、振動ジャイロによって実現された角速度センサー、あるいは、地磁気センサーなどを内部に装着しており、これらの信号を増幅するアンプと、得たデータをＡＤ変換して記憶するメモリから例えば構成される。尚、角速度センサーや地磁気センサーまで装着するイメージなのは、センサー自体は、激しく回転あるいは、方向が変わるので、カメラから得られた情報と照合するまえに、座標軸の変換が必要であり、そのために、角速度や地磁気センサーを利用するためである。
【００２０】
更に、前記照合手段は、例えば、加速度のレベルで、前記第一のカメラ手段から得られた位置情報を２回微分する。これを、前記のセンサー手段で測定された加速度と照合する。図４のように、実際には、カメラには多数の移動体が映っている。したがって、その中で、最も照合程度の高い移動体が、当該加速度センサーの所有者であるとして特定される。ただし、以上の説明において、照合は加速度次元で行なわれるように記述したが、センサー手段の情報を積分して速度とし、第一のカメラ手段から得られた位置情報を一回微分したもの（速度）と照合してもよい。要は、微分と積分のいずれかを用いて、同一の物理次元として照合すればよい。
【００２１】
ここで、移動している人の体が発生する加速度は、移動に伴う水平方向ではなくて、むしろ、垂直成分が大きいことを再度、強調しておく。本願は、むしろ、先願の範疇に入る改良特許であって、上下方向の情報を優先的に利用することを主張している。これによって、大きな信号振幅を照合に利用できる。また、人間がほぼ等速直線運動していると、水平方向の加速度はあまり測定できない。しかし、本発明の上下方向の加速度は、人間が歩いたり走ったりして移動する場合には、必然的に伴うものである。逆にいえば、上下に動かずに、水平方向に歩いて、あるいは走って移動することは、そもそも、人間にはできないわけであり、確実に信号振幅として、上下動加速度は検出できることが期待される。結果として、本発明の照合性能は、先願の水平方向加速度を前提とする方式よりも、向上すると考えられる。
【００２２】
また、本発明の移動体識別システム（請求項２）は、動画情報から移動体の上下方向の動きを検出する第一のカメラ手段と、前記移動体の水平方向の動きを動画情報から検出する第二のカメラ手段と、前記移動体に取り付けられて上下方向加速度及び水平方向加速度を検出するセンサー手段と、前記センサー手段から得た上下方向加速度と前記第一のカメラ手段により検出された移動体の上下方向の動き情報とを照合し、かつ、前記センサー手段から得た水平方向加速度と前記第二のカメラ手段により検出された移動体の水平方向の動き情報とを照合して、最も一致度の高い前記移動体を選別する照合手段とから構成され、上下方向と水平方向の双方の照合結果から移動体の識別を行なう。
【００２３】
動画情報から移動体の上下方向の動きを検出する前記第一のカメラ手段は、例えば、天井に２台のＴＶカメラを装着して、同一の移動体を撮影するステレオカメラである。あるいは、壁等の横方向から、当該移動体を撮影しているカメラでもよい。この場合、水平方向の位置は、天井の１台のカメラで認識することとなる。これも、一種のステレオカメラといえるであろう。
【００２４】
前記移動体の水平方向の動きを動画情報から検出する前記第二のカメラ手段は、先願（特願２００２−２５６０３７）で開示した、移動体の位置情報を取得するための手段である。具体的には、上記のステレオカメラのうちの一方を利用して、図４のような動画像処理を行なってもよく、また、もともと、上記の天井につけたステレオカメラでは、少なくとも、同時に、水平方向の座標は出力されるので、これを利用してもよい。
【００２５】
また、前記センサー手段は、発明者らの先願において開示した、加速度等を検出する手段と同一の構成でよい。具体的には、半導体ＬＳＩ等によって構成された加速度センサー、振動ジャイロによって実現された角速度センサー、あるいは、地磁気センサーなどを内部に装着しており、これらの信号を増幅するアンプと、得られたデータをＡＤ変換して記憶するメモリを持っているものを例えば、本明細書ではイメージしている。尚、角速度センサーや地磁気センサーまで装着するのは、センサー自体は、激しく回転あるいは、方向が変わるので、カメラから得られた情報と照合するまえに、座標軸の変換が必要であり、そのために、角速度や地磁気センサーを利用するためである。
【００２６】
前記照合手段は、例えば、加速度のレベルで、前記第一のカメラ手段、前記第二のカメラ手段から得られた位置情報を２回微分する。これらを、それぞれ『上下方向カメラ加速度』、『水平方向カメラ加速度』とする。水平方向カメラ加速度は、２次元の座標と考えられる。最終的に、１）上下方向カメラ加速度を、前記センサー手段から得られた上下方向の加速度と、２）水平方向カメラ加速度を、前記センサー手段から得られた水平方向（通常は２軸）の加速度とそれぞれ照合する。その２つの照合結果から得られたスコアから、更に全体のスコアを計算して、それが最も高い（最も一致している）移動体が、当該加速度センサーの所有者となる。もちろん、最初から、３軸のデータ全体をひとつのベクトルとして、センサー手段からの情報と、カメラ手段からの情報を統合してもよいことは自明である。
【００２７】
移動している人の体が発生する加速度は、移動に伴う水平方向ではなくて、むしろ、垂直成分が大きい。先願では、空間の３軸の中で、２軸しか照合には利用していない。それを３軸すべての情報を照合に利用することによって、１）信号振幅がそもそも大きな上下方向の成分を照合に併用できる。２）人間がほぼ等速直線運動していると、水平方向の加速度はあまり測定できないのが本質である。しかし、本発明の上下方向の加速度は、人間が歩いたり走ったりして移動する場合には、必然的に伴うものである。上下動加速度は、人間が歩けば、必ず検出できることが期待される。
【００２８】
【発明の実施の形態】
図１は、本発明（請求項１）の実施例である。本発明の移動体識別システム１は、動画情報から移動体１１の上下方向の動きを検出する第一のカメラ手段１２と、移動体１１に取り付けられて上下方向加速度を検出するセンサー手段１０と、センサー手段１０から得た上下方向加速度と第一のカメラ手段１２により検出された移動体の上下方向の動き情報との一致度を計算し、最も一致度の高い前記移動体を選別する照合手段１４から構成されることを特徴とする。尚、１５はＴＶカメラである。
【００２９】
センサー手段１０は、基本的には加速度を測定する手段である。したがって、本来的には、上下方向１軸の加速度センサーがあれば本発明の主旨を満たす。しかしながら、実際には、センサーがカメラ座標に対して動くために、最初、センサーを水平に保っていた時の上下（Ｚ軸）方向に、ずっとセンサーが保たれているわけではない。したがって、実際には、３軸の加速度センサー、３軸の角速度センサー（ジャイロ）、地磁気センサーなどを設けて、センサー手段の地磁気に対する角度や、あるいは、瞬間的なセンサー手段の回転を検出して、補正を行なった方がよい。具体的な加速度情報のカメラ座標（上下方向）への変換については、当業者には周知であり、本明細書では詳細は省略する。
【００３０】
第一のカメラ手段１２は、移動体の上下動をＴＶカメラ１５からの画像を処理することによって、検知するものである。例えば、図７はその原理を示すものである。２台のＴＶカメラ１５は天井に設置されており、真下の子供たちを撮影している。撮影範囲は重複しており、ひとりの子供が双方のカメラに撮影される。
この場合、色や大まかな位置の一致から、２台のカメラから、同一被写体を検出する。結果的に、図７に示したように、移動体の上下方向の座標は、三角測量の形で計算される。ＴＶカメラは、通常では３０コマを１秒間に撮影する。したがって、この三角測量を各フレーム毎に実施することにより、移動体の上下の動きを検出できる。また、被写体を横方向から撮影しても上下動を取ることはできる。ただし、斜めから撮影すると、一般には、多数の幼児がいる状況では、幼児が重なり合って、処理は複雑になる危険はある。
【００３１】
照合手段１４は、センサー手段１０から送られてくる上下方向の加速度、及び、第一のカメラ手段１２から送られてくる情報の一致度を調べる。センサー手段１０は、各幼児毎に設けられ入るので、多数のセンサー手段がある。その中で、図４で示したような動画像処理で抽出された人体の反映と思しき各画像領域の中で、各画像領域ごとに、最も相関の高いセンサー手段を特定することが必要である。図８は、そのような照合手段の構成例である。第一のカメラ手段から得られた上下方向の座標は、ここで２回微分されて、センサー手段１０からの加速度と相関係数によって照合されている。ただし、照合は、相関係数に限定するものではない。例えば、各要素ごとに差の絶対値を取るなど、当業者の設計上の選択に任される。また、以上の説明において、照合は加速度次元で行なわれるように記述したが、センサー手段の情報を積分して速度とし、第一のカメラ手段から得られた位置情報を一回微分したもの（速度）と照合してもよい。要は、微分と積分のいずれかを用いて、同一の物理次元として照合すればよい。
【００３２】
以上の構成によって、人間が部屋の中を移動するときに、（一定値を持っている重力加速度は別にして）、最も、大きな加速度を与える、歩くことによる上下方向の移動成分を、照合に利用するため、水平方向の成分のみの場合に比して、より感度の高い照合が可能である。
【００３３】
図２は、本発明（請求項２）の実施例である。本発明の移動体識別システム２は、動画情報から移動体１１の上下方向の動きを検出する第一のカメラ手段１２と、移動体１１の水平方向の動きを動画情報から検出する第二のカメラ手段２３と、移動体１１に取り付けられて上下方向加速度及び水平方向加速度を検出するセンサー手段２０と、センサー手段２０から得た上下方向加速度と第一のカメラ手段１２により検出された移動体１１の上下方向の動き情報とを照合し、かつ、センサー手段２０から得た水平方向加速度と第二のカメラ手段２３により検出された移動体１１の水平方向の動き情報とを照合して、最も一致度の高い前記移動体１１を選別する照合手段２４から構成される。尚、１５はＴＶカメラである。
【００３４】
センサー手段２０は、基本的には加速度を測定する手段である。したがって、上下方向１軸、水平方向２軸の加速度センサーがあれば本発明の主旨を満たす。
しかしながら、実際には、センサーがカメラ座標に対して動くために、センサー手段２０の現在の座標を、カメラ座標に変換する必要がある。このため、角加速度センサー（ジャイロ）、地磁気センサーなどを設けて、センサー手段の地磁気にたいする角度や、あるいは、瞬間的なセンサー手段の回転を検出して、補正を行なった方がよい。
【００３５】
第一のカメラ手段１２は、移動体の上下動をＴＶカメラ１５からの画像を処理することによって、検知するものである。その原理等は、上記のように、図７に示したとおりである。２台のカメラ１５から、同一被写体を撮影する。移動体の上下方向の座標は、三角測量の形で計算される。ＴＶカメラは、通常では３０コマを１秒間に撮影する。したがって、この３点測量を各フレーム毎に実施することにより、移動体の上下の動きを検出できる。
【００３６】
これに対して、第二のカメラ手段２３は、移動体（幼児）の部屋の中での水平方向での位置を検出するものである。具体的な構成としては、図４に示したような動画像処理によって、移動体の位置を検出して、クラスター状に集まった移動体の位置を検出する。尚、図４のような動画像処理のアプローチでは、一般に、移動体（幼児）が一定の距離（例えば、５０ＣＭ程度）より近づくと、動画像処理では、ひとりひとりを弁別できない。しかしながら、本発明の主旨から、あくまで、当該移動体（幼児）がどこにいるのかを識別することが本発明の目的であるので、たとえ、他の移動体と一緒になって位置検出されても、さしあたりあまり問題ではない。例えば、自分の子供の映っているＴＶカメラ情報が欲しい場合を考えると、他の子供と一緒に映ってしまうことになるが、自分の子供が映っている以上、なんら問題とはならないからである。
【００３７】
照合手段２４は、センサー手段２０から送られてくる上下方向の加速度・水平方向の加速度、及び、第一のカメラ手段１２・第二のカメラ手段２３から送られてくる情報の総合的な一致度を調べる。センサー手段２０は、各幼児毎に設けられ入るので、多数のセンサー手段がある。その中で、画像領域と相関の高いセンサー手段２０（即ち幼児）を特定することが必要である。図９は、そのような照合手段の構成例である。第一のカメラ手段から得られた上下方向の座標は、ここで２回微分されて、センサー手段２０からの上下方向の加速度と相関係数によって照合されている。また、第二のカメラ手段２３から得られた水平方向（通常は２軸）の座標は、これも２回微分されて、センサー手段２０からの水平方向の加速度と照合される。そして、照合手段２４は、最終的に、３軸方向の相関係数が全体として、よく一致しているものを、当該センサー手段２０を保持している幼児の位置と判断する。
【００３８】
尚、照合は、相関係数に限定するものではない。例えば、各要素ごとに差の絶対値を取るなど、当業者の設計上の選択に任される。ただし、照合は、相関係数に限定するものではない。例えば、各要素ごとに差の絶対値を取るなど、当業者の設計上の選択に任される。また、以上の説明において、照合は加速度次元で行なわれるように記述したが、センサー手段２０の情報を積分して速度とし、第一のカメラ手段１２から得られた位置情報を一回微分したもの（速度）と照合してもよい。要は、微分と積分のいずれかを用いて、同一の物理次元として照合すればよいこととなる。
【００３９】
【発明の効果】
以上述べたように、本発明では、生体への危険性を否定できない電波を利用せずに、幼児の位置を特定できる。
【００４０】
また、本発明では、人体の動きとして水平方向より大きな、上下方向の加速度を利用して幼児の識別が可能であり、識別性能が向上する。
【００４１】
また、本発明では、３軸の加速度すべてを照合に利用するので、識別性能が向上する。
【図面の簡単な説明】
【図１】本発明の移動体識別システム（請求項１）の実施例
【図２】本発明の移動体識別システム（請求項２）の実施例
【図３】先願の位置検出システムの実施例
【図４】動画像処理の例
【図５】マーカーを利用して検出した５人の人間の位置座標（一軸のみ表示）
【図６】先願の位置検出システムによる照合結果の例
【図７】第一のカメラ手段１２の構成例
【図８】照合手段１４の構成例
【図９】照合手段２４の構成例
【符号の説明】
１、、、、、移動体識別システム（請求項１）
２、、、、、移動体識別システム（請求項２）
１０、、、、センサー手段
１１、、、、移動体
１２、、、、第一のカメラ手段
１４、、、、照合手段
１５、、、、ＴＶカメラ
２０、、、、センサー手段
２３、、、、第ニのカメラ手段
２４、、、、照合手段
１０００、、先願の位置検出システムの実施例
１０１０、、移動量検出手段
１０１１、、位置検出手段
１０１２、、照合手段
１１００、、移動体[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a moving object identification system that tracks the position of an infant in a room or the like in a kindergarten or a nursery school while recognizing who the infant is.
[0002]
[Prior art]
In recent years, attempts have been made to detect the position of infants in kindergartens and nursery schools and connect them to IT services. For example, NTT West Japan's Fukuoka Branch attaches a wireless tag to a child and places a wireless transceiver in the park to detect the position of the child and thereby transmit a camera image of the child at that position. (Some newspapers in the Fukuoka district already reported).
[0003]
However, such conventional services have significant drawbacks. The use of radio waves. The effect of a weak radio wave on an infant may not be immediately apparent (the problem may be 20 to 30 years after the infant's adulthood), which may cause anxiety among parents. In recent years, the administrative side has been studying in the direction of adding restrictions on powerful electromagnetic waves used in factories and the like. In addition, there have been newspaper reports that three mobile phone companies jointly investigate the effects of radio waves.
[0004]
In view of such a situation, the inventor has solved one solution in the prior application (Japanese Patent Application No. 2002-256037 “Moving Object Position Detection System, Moving Object Position Detection Method, and Program” filed on August 30, 2002). Indicated. FIG. 3 shows a configuration example of the position detection system of the prior application. The position detection system 1000 of the prior application includes a moving amount detecting unit 1010 attached to the moving body 1100 to detect the acceleration, speed, angular acceleration, or angular velocity of the moving body, and the moving body based on an image captured by a camera or the like. Position detecting means 1011 for detecting the position of the moving object without specifying the moving object, the moving amount information detected by the moving amount detecting means 1010 and the position information of the moving object detected by the position detecting means 1011 are compared. In this way, it is configured with the collating means 1012 for detecting the position of the moving body while specifying the moving body.
[0005]
The prior application takes, for example, the following steps. 1) Analyzing the horizontal movement of a moving object (specifically, an infant) in a room from an image of a TV camera mounted on a ceiling. At this stage, you know that something is working, but you do not know who it is. 2) Next, an acceleration sensor is mounted on the moving body (infant). Since the acceleration sensor is a passive sensor, it does not transmit electromagnetic waves, ultrasonic waves, or the like to the outside. The record is temporarily stored in a memory attached to the sensor and retrieved later. 3) The movement of the acceleration sensor is compared with the result of the moving image processing from the TV camera to identify who the moving object is.
[0006]
If there is no noise or DC drift of the amplifier in the acceleration sensor mounted on each moving object, the acceleration obtained by the acceleration sensor is integrated twice to find out where in the room. However, in reality, even if the measurement value of the acceleration sensor is integrated twice, it cannot be used as position information. This is because there is drift and noise.
[0007]
Therefore, in the prior application, the motion of the moving body is detected by the moving image processing of the TV camera, and for example, the obtained acceleration change of each moving body is compared with the acceleration information obtained from the acceleration sensor. It is assumed that the infant having the acceleration sensor has been detected by the moving image processing.
[0008]
FIGS. 4, 5, and 6 show a part of an experimental result in which a moving object is detected by performing moving image processing from a result captured by a TV camera. Presented by the inventors at the Information Processing Society of Japan, Information Systems and Social Environment Study Group, "Initiatives for an Infant Behavior Record Creation System-Infant Behavior Tracking Using TV Cameras and Passive Sensors" (Scheduled for March 14, 2003) ).
[0009]
FIG. 4 shows the result of the moving image processing. It can be considered as one of the internal information generated by the position detecting means 1011 in FIG. In this experiment, five people are shown in the TV camera as the original image. The TV camera is mounted on the ceiling and shows five people from under the ceiling. In FIG. 4, an index such as a marker for facilitating moving image processing is not attached to the moving object (infant). This is an example in which a moving object is detected from a natural image by using a difference between frames in moving image processing or the like, and an image of a complete person has not been obtained. However, a part that clearly represents a human has been extracted.
[0010]
On the other hand, FIG. 5 tracks the positions of five moving objects (humans). An appropriate marker was attached to a human for image processing, and the marker position was extracted by image processing. The position of the marker is the position of the person. The ordinate axis indicates the position coordinates in the horizontal axis direction of the camera screen, and the abscissa axis indicates the passage of time. The five curves respectively correspond to the five moving objects, and the acceleration sensor is attached to the thick moving object near the center. That is, since the camera is viewed from the ceiling, the vertical direction in FIG. 5 is the horizontal coordinate value of the room. It is desired that a trajectory like a bold line in the middle of FIG. 5 be extracted from the movement of FIG. 4 by the collation means 1012 of FIG. However, even if the trajectory is successfully extracted, it is not obvious from the TV camera image who the locus is.
[0011]
FIG. 6 is a result of estimating the position coordinates of the moving object obtained by integrating the result of the moving image processing (FIG. 4) and the information of the acceleration sensor. Here, clear position information as shown in FIG. 5 is not obtained, and the transition of the temporal change in each region in FIG. 4 and the information of the acceleration sensor are integrated. FIG. 6 uses the same vertical and horizontal axes as FIG. "Correct" in the figure indicates a portion where the information in the bold line in the middle of FIG. 5 has been correctly restored. Certainly, more than half the parts correctly specify the coordinates of the moving object equipped with the acceleration sensor. However, there are many places where verification failed.
[0012]
A careful examination of FIGS. 5 and 6 reveals the following. 1) In this experiment, the horizontal movement (acceleration) of the moving object is extracted from the moving image processing and from the acceleration sensor and matched. However, as can be seen from FIG. 6, collation is difficult using only the acceleration information in the horizontal direction. Different information is needed. 2) Looking carefully at the bold line in the middle of FIG. 5, the place where the matching failed in FIG. 6 is relatively straight. As a result, the following analysis results are obtained.
[0013]
That is, in FIGS. 4, 5 and 6, since the collation is performed with acceleration, even if the moving body is moving at a relatively high speed, if the movement is close to a uniform linear motion. , The signal level of the acceleration becomes extremely small. Therefore, the acceleration is lost in the noise, and the matching fails. In fact, according to our experiments, the acceleration generated by the human body and sensed by the acceleration sensor is (of course, numerically, the gravitational acceleration is the largest, but this is constant. (It is easy to correct because there is.) The vertical movement of the body due to walking is large. The acceleration due to the horizontal movement is relatively small. In the experiments of FIG. 4, FIG. 5, and FIG. 6, only the horizontal acceleration is detected and the vertical acceleration is not used for collation, so that the signal cannot be properly extracted.
[0014]
As described above, the prior application does not claim to preferentially use vertical acceleration as position information. Therefore, if only the acceleration in the horizontal direction is used, the matching will not be successful. However, FIG. 6 shows that, as described above, the Information Processing Society of Japan / Information System and Social Environment Study Group, “Initiatives for an Infant Behavior Record Creation System-Infant Behavior Tracking Using a TV Camera and Passive Sensor-” (March 2003) (To be announced on the 14th). As described in this document, in the experiment of FIG. 6, the acceleration sensor uses a two-axis sensor that cannot detect acceleration in the vertical direction at all. Thus, by improving the sensor to a three-axis sensor, the situation of FIG. 6 may be improved. However, in a practical application, it is necessary to search for a specific one from dozens or hundreds of moving objects by collation. Need further improvement.
[0015]
[Problems to be solved by the invention]
In view of the above, there is a demand for a moving object identification system that improves the conventional matching method depending only on the horizontal direction of the moving object and realizes the matching with higher accuracy.
[0016]
In order to achieve the above object, in the present mobile object identification system, the vertical movement of a person (for example, the head slightly moves up and down by walking) is prioritized in the collation. However, it is impossible to detect vertical movement with a single TV camera as in the prior application. Specifically, for example, it is necessary to use up-and-down motion detection by a “stereo camera” using two cameras or “side camera (herein referred to in this specification)” by photographing a moving object from the side. There is. That is, it is difficult to realize the idea of the present invention with one TV camera disclosed in the drawings attached to the specification of the prior application.
[0017]
[Means for Solving the Problems]
In order to achieve the above object, a moving object identification system according to the present invention (claim 1) comprises: first camera means for detecting a vertical movement of a moving object from moving image information; Sensor means for detecting the acceleration, calculating the degree of coincidence between the vertical acceleration obtained from the sensor means and the vertical movement information of the moving object detected by the first camera means, the highest degree of coincidence It is characterized by comprising a collation means for selecting a moving object.
[0018]
Here, the first camera means for detecting the vertical movement of the moving object from the moving image information may be, for example, a stereo camera which mounts two TV cameras on the ceiling and shoots the same moving object. Good. Since the stereo camera technology is well known to those skilled in the art, detailed description will be omitted in this specification. For example, Toshio Ito, VB. See "Stereo" on page 121 of "Image Processing Algorithms Learned with NET" (published by Hirobunsha, June 2002). However, basically, this is a method in which the same target is identified from the colors and sizes by two cameras, and the coordinates of the target are specified by triangulation as viewed from the two cameras. This makes it possible to detect how far the subject is from the axis connecting the two cameras. This means that when two cameras are mounted on the ceiling, a change in the coordinates of the subject in the vertical direction can be detected.
[0019]
Further, the sensor means may have the same configuration as that disclosed in the prior application of the inventors. Specifically, an acceleration sensor configured by a semiconductor LSI, an angular velocity sensor realized by a vibrating gyroscope, or a geomagnetic sensor is mounted inside, and an amplifier that amplifies these signals and an obtained data are stored. It is composed of, for example, a memory for AD conversion and storing. The image that is attached to the angular velocity sensor and the geomagnetic sensor is that the sensor itself violently rotates or changes direction, so it is necessary to convert the coordinate axes before collating with the information obtained from the camera. Or geomagnetic sensors.
[0020]
Further, the matching means differentiates the position information obtained from the first camera means twice, for example, at the level of acceleration. This is compared with the acceleration measured by the sensor means. As shown in FIG. 4, in reality, a camera shows many moving objects. Therefore, among them, the moving object having the highest matching degree is specified as the owner of the acceleration sensor. However, in the above description, the collation is described as being performed in the acceleration dimension. However, the information of the sensor means is integrated into the velocity, and the position information obtained from the first camera means is differentiated once (velocity). ). In short, it is only necessary to collate as the same physical dimension using either the derivative or the integral.
[0021]
Here, it is emphasized again that the acceleration generated by the body of the moving person has a large vertical component, not the horizontal direction accompanying the movement. This application claims to be an improved patent falling within the scope of the prior application, and to preferentially use information in the vertical direction. As a result, a large signal amplitude can be used for matching. Further, when a human is performing a linear motion at a substantially constant velocity, the acceleration in the horizontal direction cannot be measured much. However, the vertical acceleration of the present invention is inevitably involved when a person walks or runs and moves. Conversely, walking or running in the horizontal direction without moving up and down cannot be done by humans in the first place, and it is expected that the vertical acceleration can be reliably detected as the signal amplitude. You. As a result, it is considered that the matching performance of the present invention is improved as compared with the method based on the horizontal acceleration of the prior application.
[0022]
In addition, a moving object identification system according to the present invention (first aspect) includes a first camera unit that detects a vertical movement of a moving object from moving image information and a horizontal movement of the moving object from moving image information. Second camera means, sensor means attached to the moving body for detecting vertical acceleration and horizontal acceleration, and moving body detected by the first camera means and vertical acceleration obtained from the sensor means And the horizontal acceleration obtained from the sensor means and the horizontal motion information of the moving object detected by the second camera means are compared with each other to obtain the highest matching degree. And a collating means for selecting the moving object having a high moving average, and identifies the moving object from both the vertical and horizontal collation results.
[0023]
The first camera means for detecting the vertical movement of the moving object from the moving image information is, for example, a stereo camera which mounts two TV cameras on the ceiling and shoots the same moving object. Alternatively, a camera that captures the moving object from a lateral direction such as a wall may be used. In this case, the position in the horizontal direction is recognized by one camera on the ceiling. This is also a kind of stereo camera.
[0024]
The second camera means for detecting the movement of the moving body in the horizontal direction from the moving picture information is means for acquiring the position information of the moving body disclosed in the prior application (Japanese Patent Application No. 2002-256037). Specifically, the moving image processing as shown in FIG. 4 may be performed using one of the above stereo cameras, and the stereo camera originally attached to the ceiling, at least simultaneously, Since the coordinates of the direction are output, this may be used.
[0025]
The sensor means may have the same configuration as the means for detecting acceleration or the like disclosed in the prior application of the inventors. Specifically, an acceleration sensor constituted by a semiconductor LSI, an angular velocity sensor realized by a vibrating gyroscope, or a geomagnetic sensor is mounted inside, and an amplifier for amplifying these signals and an obtained data For example, in the present specification, an image having a memory for AD-converting and storing is provided. It is necessary to convert the coordinate axes before checking with the information obtained from the camera because the sensor itself rotates violently or changes its direction when installing the angular velocity sensor or geomagnetic sensor. Or geomagnetic sensors.
[0026]
The collation means differentiates the position information obtained from the first camera means and the second camera means twice, for example, at the level of acceleration. These are referred to as “vertical camera acceleration” and “horizontal camera acceleration”, respectively. The horizontal camera acceleration is considered a two-dimensional coordinate. Finally, 1) the vertical camera acceleration, the vertical acceleration obtained from the sensor means, and 2) the horizontal camera acceleration, the horizontal (usually two axis) acceleration obtained from the sensor means. And each is compared. From the scores obtained from the two matching results, the overall score is further calculated, and the moving object with the highest score (the highest matching score) becomes the owner of the acceleration sensor. Of course, from the beginning, it is obvious that the information from the sensor means and the information from the camera means may be integrated using the entire three-axis data as one vector.
[0027]
The acceleration generated by the body of the moving person has a large vertical component, not in the horizontal direction due to the movement. In the prior application, of the three axes of the space, only two axes are used for collation. By using this for information of all three axes for collation, 1) vertical components having a large signal amplitude in the first place can be used for collation. 2) When a human is moving at a substantially constant speed, the acceleration in the horizontal direction cannot be measured much. However, the vertical acceleration of the present invention is inevitably involved when a person walks or runs and moves. It is expected that the vertical acceleration can always be detected when a human walks.
[0028]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 shows an embodiment of the present invention (claim 1). The moving object identification system 1 of the present invention includes a first camera means 12 for detecting the vertical movement of the moving object 11 from the moving image information, a sensor means 10 attached to the moving object 11 for detecting the vertical acceleration, A matching unit 14 that calculates the degree of coincidence between the vertical acceleration obtained from the sensor unit 10 and the vertical motion information of the moving object detected by the first camera unit 12 and selects the moving object with the highest degree of matching. Characterized by the following. Incidentally, reference numeral 15 denotes a TV camera.
[0029]
The sensor means 10 is basically a means for measuring acceleration. Therefore, a gist of the present invention satisfies the gist of the present invention if a single-axis vertical acceleration sensor is provided. However, in practice, because the sensor moves relative to the camera coordinates, the sensor is not always kept in the vertical (Z-axis) direction when the sensor was initially kept horizontal. Therefore, in practice, a three-axis acceleration sensor, a three-axis angular velocity sensor (gyro), a geomagnetic sensor, etc. are provided to detect the angle of the sensor means with respect to the geomagnetism or the instantaneous rotation of the sensor means, It is better to make corrections. The conversion of the specific acceleration information into the camera coordinates (vertical direction) is well known to those skilled in the art, and the details are omitted in this specification.
[0030]
The first camera means 12 detects the vertical movement of the moving object by processing an image from the TV camera 15. For example, FIG. 7 illustrates the principle. Two TV cameras 15 are installed on the ceiling, and photograph the children directly below. The shooting areas overlap, and one child is shot by both cameras.
In this case, the same subject is detected from the two cameras based on the matching of colors and rough positions. As a result, as shown in FIG. 7, the vertical coordinates of the moving object are calculated in the form of triangulation. The TV camera normally shoots 30 frames in one second. Therefore, by performing this triangulation for each frame, the vertical movement of the moving object can be detected. Even if the subject is photographed from the lateral direction, it can move up and down. However, when photographing obliquely, in general, when there are many infants, there is a risk that the infants overlap and the processing becomes complicated.
[0031]
The checking unit 14 checks the vertical acceleration sent from the sensor unit 10 and the degree of coincidence of the information sent from the first camera unit 12. Since the sensor means 10 is provided for each infant, there are many sensor means. Among them, it is necessary to specify the sensor unit having the highest correlation for each image region in each image region, which is considered to reflect the human body extracted by the moving image processing as shown in FIG. . FIG. 8 shows a configuration example of such a matching unit. The vertical coordinates obtained from the first camera means are differentiated twice here and collated with the acceleration from the sensor means 10 based on the correlation coefficient. However, the collation is not limited to the correlation coefficient. For example, it is left to the design choices of those skilled in the art, such as taking the absolute value of the difference for each element. In the above description, the collation is described as being performed in the acceleration dimension. However, the information of the sensor means is integrated into the velocity, and the position information obtained from the first camera means is differentiated once (velocity). ). In short, it is only necessary to collate as the same physical dimension using either the derivative or the integral.
[0032]
With the above configuration, when a human moves in a room (apart from the gravitational acceleration having a constant value), the vertical movement component that gives the largest acceleration and that is caused by walking can be compared. Since it is used, matching with higher sensitivity is possible as compared with the case where only horizontal components are used.
[0033]
FIG. 2 shows an embodiment of the present invention (claim 2). The moving object identification system 2 of the present invention includes a first camera means 12 for detecting the vertical movement of the moving object 11 from the moving image information and a second camera for detecting the horizontal movement of the moving object 11 from the moving image information. Means 23, sensor means 20 attached to the moving body 11 for detecting vertical acceleration and horizontal acceleration, and the vertical acceleration obtained from the sensor means 20 and the moving body 11 detected by the first camera means 12. The horizontal motion information obtained by the sensor unit 20 is compared with the vertical motion information, and the horizontal motion information of the moving body 11 detected by the second camera unit 23 is compared with the horizontal acceleration information. And a collating unit 24 for selecting the mobile unit 11 having a high degree of weight. Incidentally, reference numeral 15 denotes a TV camera.
[0034]
The sensor means 20 is basically a means for measuring acceleration. Accordingly, the present invention satisfies the gist of the present invention if there is an acceleration sensor having one axis in the vertical direction and two axes in the horizontal direction.
However, in practice, the current coordinates of the sensor means 20 need to be converted to camera coordinates in order for the sensor to move relative to the camera coordinates. For this reason, it is better to provide an angular acceleration sensor (gyro), a geomagnetic sensor, or the like, and detect the angle of the sensor means with respect to the geomagnetism or the instantaneous rotation of the sensor means to perform the correction.
[0035]
The first camera means 12 detects the vertical movement of the moving object by processing an image from the TV camera 15. The principle and the like are as shown in FIG. 7 as described above. The same subject is photographed from the two cameras 15. The vertical coordinates of the moving object are calculated in the form of triangulation. The TV camera normally shoots 30 frames in one second. Therefore, by performing the three-point survey for each frame, it is possible to detect the vertical movement of the moving object.
[0036]
On the other hand, the second camera means 23 detects the position of the moving body (infant) in the room in the horizontal direction. As a specific configuration, the position of the moving object is detected by moving image processing as shown in FIG. 4 to detect the position of the moving object gathered in a cluster. In general, in the moving image processing approach as shown in FIG. 4, when the moving object (infant) approaches a certain distance (for example, about 50 CM), it is not possible to discriminate each individual by the moving image processing. However, from the gist of the present invention, since it is an object of the present invention to identify where the moving object (infant) is, even if the position is detected together with another moving object, Not a problem at the moment. For example, if you want to get the TV camera information of your child, it will be shown with other children, but as long as your child is shown, there is no problem. .
[0037]
The collating means 24 calculates the vertical and horizontal accelerations sent from the sensor means 20 and the overall coincidence of the information sent from the first camera means 12 and the second camera means 23. Find out. Since the sensor means 20 is provided for each infant, there are many sensor means. Among them, it is necessary to specify the sensor means 20 (that is, an infant) having a high correlation with the image area. FIG. 9 shows a configuration example of such a matching unit. The vertical coordinates obtained from the first camera means are differentiated twice here, and collated with the vertical acceleration from the sensor means 20 by a correlation coefficient. Further, the coordinates in the horizontal direction (normally, two axes) obtained from the second camera means 23 are also differentiated twice and collated with the horizontal acceleration from the sensor means 20. Then, the collation unit 24 finally determines that the correlation coefficient in the three-axis direction as a whole matches well as the position of the infant holding the sensor unit 20.
[0038]
The collation is not limited to the correlation coefficient. For example, it is left to the design choices of those skilled in the art, such as taking the absolute value of the difference for each element. However, the collation is not limited to the correlation coefficient. For example, it is left to the design choices of those skilled in the art, such as taking the absolute value of the difference for each element. In the above description, the collation is described as being performed in the acceleration dimension. However, the information obtained by integrating the information of the sensor means 20 to obtain the velocity and once differentiating the position information obtained from the first camera means 12 is obtained. (Speed). In short, it is only necessary to collate as the same physical dimension using one of the differentiation and the integration.
[0039]
【The invention's effect】
As described above, according to the present invention, the position of an infant can be specified without using radio waves for which danger to a living body cannot be denied.
[0040]
Further, according to the present invention, it is possible to identify a toddler by using vertical acceleration, which is greater than the horizontal direction, as the movement of the human body, and the identification performance is improved.
[0041]
Further, in the present invention, since all three-axis accelerations are used for collation, the identification performance is improved.
[Brief description of the drawings]
FIG. 1 is an embodiment of a moving object identification system (claim 1) of the present invention;
FIG. 2 is an embodiment of a moving object identification system according to the present invention (claim 2);
FIG. 3 shows an embodiment of a position detection system of the prior application.
FIG. 4 shows an example of moving image processing
FIG. 5 shows position coordinates of five persons detected using markers (only one axis is displayed).
FIG. 6 shows an example of a collation result obtained by the position detection system of the prior application.
FIG. 7 is a configuration example of a first camera unit 12;
FIG. 8 is a configuration example of a matching unit 14;
FIG. 9 is a configuration example of a matching unit 24;
[Explanation of symbols]
1.,..., Mobile object identification system (Claim 1)
2., a mobile object identification system (Claim 2)
10, sensor means
11, mobile object
12, first camera means
14, ..., collation means
15, TV camera
20,..., Sensor means
23, second camera means
24, collation means
1000, an embodiment of the position detection system of the prior application
1010, Moving amount detecting means
1011, position detecting means
1012, collation means
1100, mobile
