JP2004336569A

JP2004336569A - Mobile object monitor system and mobile object monitor method

Info

Publication number: JP2004336569A
Application number: JP2003132214A
Authority: JP
Inventors: Tetsuya Hamada; 哲也浜田; Keitoku Isoda; 佳徳礒田; Masaharu Kurakake; 正治倉掛; Toshiaki Sugimura; 利明杉村
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2003-05-09
Filing date: 2003-05-09
Publication date: 2004-11-25

Abstract

<P>PROBLEM TO BE SOLVED: To easily and accurately monitor a desired mobile object without requiring prior recognition of a field or operation training. <P>SOLUTION: A mobile object monitor system 1 is provided with at least one camera C1, an image presenting part 11, a mobile object direction estimation part 12, and a monitor object selection part 13. The image presenting part 11 presents the image of the field wherein a plurality of mobile objects O1 and O2 are present, which is photographed by the camera C1, to a user. The monitor object selection part 13 selects one mobile object O1 out of the plurality of mobile objects O1 and O2 as a monitor object on the image presented by the image presenting part 11, in accordance with user's selecting operation. The image presenting part 11 presents the image of which the photographing direction is a direction in which the mobile object O1 is present when viewed from the camera C1. When it is discriminated by the mobile object direction estimation part 12 that another mobile object is present on the left side or right side of the mobile object O1, the image presenting part 11 presents the presence and the position of another mobile object. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、複数のカメラを使用した移動体監視システム、及び移動体監視方法に関する。
【０００２】
【従来の技術】
従来、複数箇所に設置されたカメラを使用して、被写界に存在し得る移動体の遠隔監視を行うシステムが実用化されている。かかるシステムは、様々な手法によって実現されている。例えば、カメラと同数のモニタを用意して各モニタに異箇所の映像を表示する手法、複数の表示領域に分割された１台のモニタに異箇所の映像を同時に表示する手法、あるいは、１台のモニタに異箇所の映像を時分割で順次表示する手法、１台のモニタに異箇所の映像を適宜切換え可能に表示する手法などが一般的である。また、これらの手法のうち、複数の手法を組み合わせた手法も提案されている。
【０００３】
更には、被写界に存在する移動体（不審者など）を自動的に検出及び追跡し、該移動体を含む画像を利用者に提示するシステムも提案されている（例えば、非特許文献１。）。かかるシステムは、３体までの移動体を利用者に提示可能なものである。利用者が、複数の移動体の中から監視対象を指定する手法としては、提示画像とは別に設けられた被写界の地図上で移動体の位置を選択する手法、あるいは、検出された移動体のリストから監視対象を選択する手法がある。
【０００４】
また、非特許文献２には、以下に説明する移動体の検出手法が開示されている。すなわち、同一の室内空間を撮影した複数台のカメラから得られる画像から、人物領域を示す差分画像を抽出した後、視体積交差法を用いることで、人物の存在によって生じる差分領域が空間中に存在する領域を推定する。そして、当該室内空間を離散化した直方体の集合により、室内空間内における人物の位置を俯瞰視点にて表現する。
【０００５】
【非特許文献１】
“全方位画像センサによるネットワークを介したテレプレゼンスシステムと遠隔監視システム”、信学技報ＰＲＭＵ２００２−８３，電子情報通信学会，Ｓｅｐ．２００２、森田真司、山澤一誠、横矢直和
【非特許文献２】
“ダイナミックミニチュアモデルによるセキュリティ監視システム”、信学技報ＰＲＭＵ２００２−１９３，電子情報通信学会，Ｊａｎ．２００３、川崎直之、高井昌彰
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、以下に示す問題点があった。すなわち、利用者が、スイッチ等を利用して手動で、画像を提示するカメラを選択する場合には、利用者が各カメラの撮影範囲を事前に把握しておく必要がある。また、利用者が、何の訓練も無しに、監視したい移動体を提示画像内に適確かつ継続して捉えることは困難である。
【０００７】
また、非特許文献１の様に、システムが、移動体の位置推定結果に基づいてその追跡を行うと共に、画像を提示するカメラを自動的に切り換える場合であっても、次の難点が懸念される。すなわち、システムが追跡する移動体を誤った際に、正しい移動体を追跡する状態にすばやく戻すために、利用者は、被写界が掲載された地図、あるいは、提示画像内の移動体とリスト表示された移動体との対応関係を事前に把握しておく必要がある。また、そのための訓練や慣れが少なくとも必要となる。
【０００８】
更に、システムが移動体を追跡してカメラを自動的に切り換える場合、従前に想定されていた環境では、各カメラ間における被写界の重なりが小さいため、移動体に最も近いカメラを選択する手法で十分である。しかし、ユビキタスセンサネットワーク環境の様に、多数のカメラが設置され、各カメラ間において被写界が大きく重なり合う場合には、移動体に最も近いカメラを選択するのが必ずしも最適とは限らない。例えば、カメラに極めて近接した位置に移動体が存在する場合には、その全貌がカメラの撮影範囲に収まらないし、複数の移動体が重なって投影される場合には、移動体が幾つ存在するのかが提示画像からは判別しにくい。
【０００９】
非特許文献２に記載の技術は、室内空間における移動体の位置や移動軌跡などの全体像を把握するには適した手法である。しかしながら、空間解像度が低いため、監視で重要となる人物の表情や細部の動き等、移動体の詳細な状況を、提示画像から利用者が適確に把握することは難しい。
【００１０】
そこで、本発明の課題は、被写界に関する事前把握や操作の訓練を要せずに、容易かつ適確に所望の移動体を監視することである。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る移動体監視システムは、カメラによって撮影された、複数の移動体が存在する被写界の画像を利用者に提示する画像提示手段と、前記利用者による選択操作に従って、前記画像提示手段により提示された前記画像上において、複数の移動体の中から一の移動体を監視対象として選択する監視対象選択手段とを備え、前記画像提示手段は、前記監視対象選択手段により選択された前記移動体の方向を撮影方向とする画像を提示する。
【００１２】
本発明に係る移動体監視方法は、移動体監視システムが、カメラによって撮影された、複数の移動体が存在する被写界の画像を利用者に提示する第１の画像提示ステップと、前記利用者による選択操作に従って、前記第１の画像提示ステップにて提示された前記画像上において、複数の移動体の中から一の移動体を監視対象として選択する監視対象選択ステップと、前記監視対象選択ステップにて選択された前記移動体の方向を撮影方向とする画像を提示する第２の画像提示ステップとを含む。
【００１３】
これらの発明によれば、利用者は、提示画像内に存在する複数の移動体の中から、監視したい一の移動体を選択することにより、この移動体の方向（カメラから移動体に向かう方向）を撮影方向とする画像、つまり中心部近傍に該移動体が常に捉えられた画像を参照することができる。移動体を選択する操作は、提示画像上を移動可能なポインタやカーソルを提示画像上に表示させることで容易に実現される。その結果、被写界に関する事前把握や操作の訓練を要せずに、容易かつ適確に所望の移動体を監視することが可能となる。
【００１４】
本発明に係る移動体監視システムにおいて好ましくは、前記カメラの撮影方向を基準とする移動体の方向を推定すると共に、該推定結果に基づいて、提示画像内の移動体の右側又は左側における別の移動体の存否を判定する移動体方向推定手段を更に備え、前記画像提示手段は、前記移動体方向推定手段により前記別の移動体が存在することが判定された場合には、前記提示画像内に提示されていない移動体の存在を、その位置と共に前記利用者に提示し、前記監視対象選択手段は、前記利用者による選択操作に従って、前記画像提示手段により存在が提示された移動体を監視対象として選択する。
【００１５】
本発明によれば、現在撮影されている移動体のみならず、その右側又は左側に位置し、かつ、利用者に提示しきれない移動体が存在する場合に、その旨が位置（右側、左側の何れか）と共に提示される。これにより、利用者は、カメラの画角外にある移動体の存在及び位置を簡易迅速に把握することができる。また、利用者は、提示画像を参照しながら、該画像内の移動体の右側又は左側に提示された移動体を選択することができる。提示画像の参照は、利用者による直感的な移動体の切換えを実現させる。その結果、利用者は、被写界に関する事前把握や操作の訓練を必要とせずに、容易かつ適確に監視対象を所望の移動体に変更することが可能となる。
【００１６】
本発明に係る移動体監視システムは、複数のカメラによって撮影された、移動体が存在する被写界の画像を利用者に提示する画像提示手段と、前記利用者による選択操作に従って、前記画像提示手段により提示された前記画像上において、一の移動体を監視対象として選択する監視対象選択手段と、前記監視対象選択手段により選択された前記移動体と各カメラとの位置関係（例えば、距離の長短）を使用して、前記複数のカメラの中から、前記移動体の撮影に適したカメラを選択するカメラ選択手段とを備え、前記画像提示手段は、前記カメラ選択手段により選択された前記カメラにより撮影された前記移動体の画像を提示する。
【００１７】
本発明に係る移動体監視方法は、移動体監視システムが、複数のカメラによって撮影された、移動体が存在する被写界の画像を利用者に提示する第１の画像提示ステップと、前記利用者による選択操作に従って、前記第１の画像提示ステップにて提示された前記画像上において、一の移動体を監視対象として選択する監視対象選択ステップと、前記監視対象選択ステップにて選択された前記移動体と各カメラとの位置関係（例えば、距離の長短）を使用して、前記複数のカメラの中から、前記移動体の撮影に適したカメラを選択するカメラ選択ステップと、前記カメラ選択ステップにて選択された前記カメラにより撮影された前記移動体の画像を提示する第２の画像提示ステップとを含む。
【００１８】
これらの発明によれば、利用者は、提示画像内に存在する複数の移動体の中から、監視したい一の移動体を選択することにより、この移動体の方向を撮影方向とする画像、つまり中心部近傍に該移動体が常に捉えられた画像を参照することができる。移動体を選択する操作は、提示画像上を移動可能なポインタやカーソルを表示させることで容易に実現される。また、移動体を撮影可能な複数のカメラの中から、実際に撮影（提示画像の提供）に使用されるカメラが１台選択される。通常、監視対象となる移動体とカメラとの距離が短い程、利用者は、提示画像内の移動体をより適確に監視できるが、上記カメラは、移動体との距離に基づいて選定された、当該移動体を撮影するために最適なカメラである。したがって、被写界に関する事前把握や操作の訓練を要せずに、容易かつ適確に所望の移動体を監視することが可能となる。
【００１９】
本発明に係る移動体監視システムにおいて好ましくは、前記カメラ選択手段は、前記監視対象選択手段により選択された前記移動体とカメラとの間に別の移動体が存在する場合には、当該カメラに優先して、前記移動体との間に別の移動体が存在しないカメラを選択する。
【００２０】
本発明によれば、実際に撮影（提示画像の提供）に使用されるカメラの選択に際して、監視対象である移動体との距離のみならず、移動体との間における別の移動体の存否が勘案されることになる。すなわち、移動体に近いカメラが必ずしも優先的に選択されるとは限らず、より移動体に近い別のカメラが存在するカメラであっても、移動体との間に別の移動体が存在しない場合には、当該カメラが移動体を撮影するために最適なカメラと判断され、選択される。かかるカメラ選択手法は、複数のカメラの中で監視対象の移動体に最も近いカメラと移動体との間に、別の移動体や障害物が存在し、監視対象を遮っている場合などに特に効果的である。この様な場合に、遮蔽物の存在しない別のカメラが選択されることで、監視対象に対する撮影方向が変化する。その結果、監視の容易性、適確性の観点から、より実益の高い提示画像を利用者に提示することができる。
【００２１】
本発明に係る移動体監視システムにおいては、前記カメラ選択手段は、前記カメラの右側又は左側における別のカメラの存否を判定し、前記画像提示手段は、前記カメラ選択手段により前記別のカメラが存在することが判定された場合には、当該カメラの存在を、その位置と共に前記利用者に提示し、前記カメラ選択手段は、前記利用者による選択操作に従って、前記画像提示手段により存在が提示されたカメラを、前記移動体を撮影するカメラとして選択するものとしもよい。
【００２２】
本発明によれば、移動体を現在撮影しているカメラの右側又は左側に別のカメラが存在する場合には、その旨が位置（右側、左側の何れか）と共に提示される。これにより、利用者は、現在は提示画像を提示していないカメラの存在及び位置を簡易迅速に把握することができる。また、利用者は、提示画像を参照しながら、移動体を撮影中のカメラの右側又は左側に提示されたカメラを選択することができる。提示画像の参照は、利用者による直感的なカメラの選択及び切換えを実現させる。その結果、利用者は、被写界に関する事前把握（特に、各カメラの設置位置関係に関する事前知識）や操作の訓練を必要とせずに、容易かつ適確に所望の移動体の監視を行うことが可能となる。
【００２３】
【発明の実施の形態】
（第１の実施形態）
以下、例示のみの為に添付された図面を参照しながら、本発明の第１の実施形態について説明する。まず、本実施の形態における移動体監視システム１の構成について説明する。図１に示す様に、移動体監視システム１は、機能的な構成要素として、１台のカメラＣ１と、移動体監視装置１０とを備える。更に、移動体監視装置１０は、画像提示部１１（画像提示手段に対応）と、移動体方向推定部１２（移動体方向推定手段に対応）と、監視対象選択部１３（監視対象選択手段に対応）とを備える。これら各部は、バスＢ１を介して相互に信号の送受信が可能な様に接続されている。
【００２４】
以下、移動体監視システム１の各構成要素について詳細に説明する。
カメラＣ１は、撮影方向（カメラの向き）及び画角（カメラの視野角）を所定の範囲内で調節可能に構成されており、移動体やその背景を含む被写界を撮影する。撮影された被写界の画像は、提示画像として利用者に提供される。ここで、提示画像とは、利用者に提示されている画像、すなわち利用者が実際に閲覧可能な画像である。したがって、撮影方向や画角の変更等によりカメラが提供可能であっても、現に利用者に提示されていない画像は含まない。
【００２５】
なお、本実施の形態では、カメラＣ１として、撮影方向や画角を動的に変更可能なカメラ（所謂アクティブカメラ）を想定するが、これに限らず、例えば、画角が１８０度の広角カメラ、あるいは、水平方向の画角が３６０度の全方位カメラであってもよい。
【００２６】
画像提示部１１は、カメラＣ１により撮影された被写界の画像を提示画像として、本システムの利用者（オペレータ）に提示する。提示画像上には、当該利用者が被写界の様子を参照しながら監視対象を直接的に選択可能なように、ポインタが表示される。図２は、一の移動体を含む提示画像Ｐ１において、ポインタＡにより移動体Ｏ１が選択された様子を示す図である。同様に、図３は、二の移動体Ｏ１，Ｏ２を含む提示画像Ｐ２において、ポインタＡにより移動体Ｏ１が選択された様子を示す図である。
【００２７】
移動体方向推定部１２は、任意の手法により、カメラを基点とした移動体の存在する方向を推定する。移動体方向推定部１２は、例えば、撮影画像の固定背景差分による移動体の差分領域の存在する方向を推定することにより、移動体の存在する方向を推定する。あるいは、周知慣用の手法で移動体の位置を検出し、該移動体の位置とカメラの設置箇所との位置関係に基づいて、移動体の存在する方向を推定する。また、移動体方向推定部１２は、当該推定結果に基づいて、提示画像内の移動体の右側又は左側に位置し、かつ、提示画像内に入りきらない別の移動体の存否を判定する。
【００２８】
監視対象選択部１３は、移動体方向推定部１２により推定された移動体の方向と、提示画像内のポインタの位置とを参照して特定された移動体を、利用者による監視対象として選択する。
【００２９】
次に、移動体監視システム１の動作を説明し、併せて、本発明に係る移動体監視方法について説明する。図４は、移動体監視システム１により実行される移動体監視処理を説明するためのフローチャートである。
【００３０】
まずＳ１では、移動体方向推定部１２は、提示画像の撮影方向（カメラの向き）を基準とした移動体（複数有る場合は各移動体）の方向を推定する。
続いて、移動体方向推定部１２は、Ｓ１における推定結果を基に、現在撮影されている移動体の右側又は左側における別の移動体の存否を判定すると共に、存在する場合には提示されていない移動体の存否を判定する（Ｓ２）。
双方の要件を満たす移動体が存在することが判定された場合（Ｓ２；ＹＥＳ）には、移動体方向推定部１２は、存在するにも関わらず利用者に提示されていない移動体が存在するものと判断し、移動体の存在を示す情報を、提示画像近傍の対応する位置に表示させる。表示は、画像提示部１１が行う。
【００３１】
本実施の形態では、図５に示す様に、カメラＣ１の画角内に移動体Ｏ１は収まるが移動体Ｏ２は収まらない場合を想定する。この場合、移動体Ｏ２はカメラＣ１の画角の左側に存在するので、図６に示す様に、移動体Ｏ２の存在は、提示画像Ｐ３の左側に提示されることになる。これにより、利用者は、現時点でカメラＣ１によっては捉えきれない移動体の存在、及びその位置を直感的に把握することができる。
【００３２】
図４に戻り、Ｓ３の処理が完了すると、監視対象選択処理（Ｓ４〜Ｓ１０）に移行する。
Ｓ４では、監視対象選択部１３は、特定の移動体を追跡して監視する指示を待機しており、かかる指示入力を検出すると（Ｓ４；ＹＥＳ）、Ｓ５の処理に移行する。すなわち、監視対象選択部１３は、監視対象の移動体が既に選択されているか否かを判定する（Ｓ５）。
【００３３】
当該判定の結果、現時点で移動体が選択されていない場合には（Ｓ５；ＮＯ）、監視対象選択部１３は、利用者によって指示されているポインタの位置を検出する（Ｓ６）。位置検出の結果、ポインタが提示画像内に存在する場合には（Ｓ７；ＹＥＳ）、監視対象選択部１３は、提示画像上においてポインタの位置に近い移動体を監視対象として選択する（Ｓ８）。具体的には、監視対象選択部１３は、ポインタの指示する方向と、移動体方向推定部１２により推定された移動体（複数有る場合は各移動体）の方向との為す角度を算出し、これが最小となる移動体を監視対象として選択する。
【００３４】
なお、Ｓ８では、上記角度が最小となる移動体に限らず、当該角度が閾値以下となる条件を満たす移動体の中から、カメラとの距離が最も近い移動体を選択するものとしてもよい。また、当該角度が閾値以下となる条件を満たす移動体の中から、固定背景差分により生じる差分領域の面積が最大となる移動体を選択するものとしてもよい。
【００３５】
一方、Ｓ６における位置検出の結果、ポインタが提示画像内に存在しない場合には（Ｓ７；ＮＯ）、監視対象選択部１３は、提示画像外の移動体、すなわち、現在提示されている移動体の右側又は左側に存在する移動体の提示を利用者が要求しているものと判断し、ポインタの位置に応じた移動体を監視対象として選択する（Ｓ１０）。例えば、図６に示した様に、利用者が、ポインタＡを介して、提示画像Ｐ３の左側に表示されている移動体Ｏ２を指定した場合には、移動体Ｏ２が監視対象として選択される。その結果、以後、移動体Ｏ２の方向を撮影方向とした提示画像が利用者の閲覧に供される。
【００３６】
画像の提示形態は任意であるが、監視対象を利用者が簡易迅速に把握可能とする観点から、選択されている移動体の領域を切出し領域（図２、図３、図６のハッチング部分）として表示することが好ましい。
【００３７】
なお、ポインタが提示画像の内外何れにも存在しない場合には（図示せず）、監視対象選択部１３は、利用者が監視したい移動体は存在しないものと判断し、特定の移動体を追跡監視する指示がない場合（Ｓ４；ＮＯ）と同様に、当該指示の待機を継続する。
【００３８】
Ｓ９では、画像提示部１１は、監視対象選択部１３からの指示に従って、Ｓ８若しくはＳ１０で選択された移動体の方向を撮影方向とし、所定の画角を有する提示画像を利用者に提示する。ポインタの位置から撮影方向を決定する手法に関しては、様々な手法が考え得るが、例えば、カメラの特性が考慮された計算式により算定する手法や、ポインタの座標と撮影方向とが予め対応付けられたテーブルを参照する手法などが採られる。前者は、後者に対して、木目細やかな撮影方向の調整が可能であるという長所を有し、後者は、前者に対して、処理時間を短縮できるという長所を有する。
【００３９】
なお、Ｓ５において、監視対象の移動体が選択済である場合には（Ｓ５；ＹＥＳ）、監視対象選択部１３は、ポインタの検出を行うことなく、既に選択されている移動体を中心とした撮影方向の提示画像を画像提示部１１に提示させる。ここで、監視対象の移動体が選択済であるとは、必ずしも利用者が能動的に移動体を選択した場合に限らず、Ｓ１における移動体の方向導出の結果、被写界に移動体が１つしか存在しないことが判明した場合を含む。
【００４０】
以上説明した様に、移動体監視システム１によれば、移動体監視装置１０は、カメラＣ１により撮影された被写界の画像を画像提示部１１に提示させる。監視対象選択部１３により、提示画像Ｐ２上において一の移動体Ｏ１（図３参照）が監視対象として選択されると、カメラＣ１は移動体Ｏ１を追跡し、カメラＣ１から移動体Ｏ１に向かう方向（移動体Ｏ１の方向）を撮影方向とする画像が継続的に提示される。したがって、利用者は、提示画像内に表示された複数の移動体の中から、監視したい一の移動体を選択することにより、この移動体の方向を撮影方向とする画像、つまり中心部近傍に該移動体が表示された画像を参照することができる。移動体を選択する操作は、提示画像上を移動可能なポインタＡを表示させることで容易に実現される。その結果、被写界に関する事前把握や操作の訓練を要せずに、容易かつ適確に所望の移動体を監視することが可能となる。
【００４１】
また、移動体監視システム１は、例えば、以下に説明する場合に適用することも効果的である。すなわち、利用者が移動体の追跡監視を行っていた際に、当該移動体が他の移動体と近接したことにより、システムが監視対象を誤認して、本来監視すべき移動体とは別の移動体を追跡してしまった場合である。かかる場合であっても、本来の監視対象である移動体が提示画像から外れる前に、当該移動体を利用者が選択しておくことで、所望する移動体の追跡監視を間断無く継続することができる。
【００４２】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第１の実施形態では、１台のカメラを用いて、複数の移動体の中から選ばれた一の移動体を監視する場面を想定したが、第２の実施形態においては、複数のカメラを用いて１又は複数の移動体を監視する場面を想定する。本実施の形態では、システムがカメラを自動的に選択して特定の移動体を追跡監視する態様（図９のＴ２〜Ｔ９）と、利用者がカメラを手動操作で切り換えて監視する態様（図９のＴ１１〜Ｔ１４）とに分けて、上記場面の説明を行う。
【００４３】
まず、本実施の形態における移動体監視システム２の構成について説明する。
図７に示す様に、移動体監視システム２は、機能的な構成要素として、ｎ台のカメラＣ１〜Ｃｎと、移動体監視装置２０とを備える。更に、移動体監視装置２０は、画像提示部２１（画像提示手段に対応）と、監視対象選択部２２（監視対象選択手段に対応）と、移動体位置推定部２３と、カメラ選択部２４（カメラ選択手段に対応）と、カメラ情報記憶部２５とを備える。これら各部は、バスＢ２を介して相互に各種信号の送受信が可能な様に接続されている。
【００４４】
以下、移動体監視システム２の各構成要素について詳細に説明する。
カメラＣ１〜Ｃｎは、撮影方向（カメラの向き）及び画角（カメラの視野角）を所定の範囲内で調節可能に構成されており、被写界を同一とする撮影装置である。ｎは、２以上の整数である。
【００４５】
画像提示部２１は、カメラＣ１〜Ｃｎの中から選択された任意のカメラにより撮影された被写界の画像を提示画像として、本システムの利用者（オペレータ）に提示する。提示画像上には、当該利用者が被写界の様子を参照しながら監視対象を直接的に選択可能なように、ポインタＡが表示される（第１の実施形態に前述の図２、図３参照。）。
【００４６】
監視対象選択部２２は、提示画像内の移動体の中から、カメラの自動選択による追跡監視の対象として、一の移動体を選択する。監視対象の選択には、移動体方向の推定処理が必要となるが、当該処理に関しては、第１の実施形態において詳述したので、その説明は省略する。
【００４７】
移動体位置推定部２３は、監視対象として選択された移動体Ｏ１の位置を推定する。かかる位置推定処理に関しては周知慣用の三次元計測技術であるので、詳細な説明や図示（数式を含む）は省略し、好適な方法を簡略に例示する。移動体位置推定部２３は、平行ステレオ法により、被写界としての三次元空間上に存在する移動体の位置を推定する。すなわち、移動体位置推定部２３は、焦点距離ｆが等しく光軸が互いに平行な複眼レンズを有するカメラを備え、この複眼カメラにより少なくとも２つの視点から上記移動体を観測する。そして、各視点に投影された画像における上記移動体の位置の相違に基づいて、三角測量法によりその三次元位置を推定する。
【００４８】
カメラ選択部２４は、監視対象として選択された移動体（例えば移動体Ｏ１）と各カメラＣ１〜Ｃｎとの間の距離を用いて、カメラＣ１〜Ｃｎの中から、提示画像の提供に使用されるカメラを選択する。具体的な処理内容に関しては後述するが、カメラ選択部２４は、所定の数式に上記距離を適用した値（カメラ選択評価値）を算出し、この値が最大となるカメラを選択する。カメラ選択評価値の算出に際しては、距離のみならず、移動体Ｏ１との間における遮蔽物の有無を考慮することが好ましい。また、上記距離の算出に際しては、移動体位置推定部２３による推定結果を使用してもしなくてもよい。
【００４９】
カメラ情報記憶部２５には、提示画像の提供に現在使用されているカメラの位置を基準として、その左側及び右側に設置されているカメラに固有の識別情報が、使用中のカメラの識別情報と共に記憶される。図８（ａ）に示す様に、カメラ情報記憶部２５は、左側カメラＩＤ領域２５ａと右側カメラＩＤ領域２５ｂとを有する。左側カメラＩＤ領域２５ａには、画像提示に現に使用されているカメラの１台分左側に位置するカメラの識別情報が更新可能に記憶される。同様に、右側カメラＩＤ領域２５ｂには、画像提示に現に使用されているカメラの１台分右側に位置するカメラの識別情報が更新可能に記憶される。左側又は右側にカメラが存在しない場合には、その旨を示す情報（例えば、“ＮＵＬＬ”）が更新可能に記憶される。
【００５０】
カメラＣ１〜Ｃｎが左側から順に配置されている場合において、カメラＣ２の撮影に係る画像が提示画像である時には、図８（ａ）に示す様に、カメラＣ２の左側に設置されているカメラの識別情報（例えば“Ｃ１”）が左側カメラＩＤ領域２５ａに記憶され、カメラＣ２の右側に設置されているカメラの識別情報（例えば“Ｃ３”）が右側カメラＩＤ領域２５ｂに記憶される。その後、提示画像の提供に使用されるカメラがカメラＣ２からカメラＣ１に切り換えられた時には、図８（ｂ）に示す様に、左側カメラＩＤ領域２５ａに記憶されている“Ｃ１”は“ＮＵＬＬ”に更新され、右側カメラＩＤ領域２５ｂに記憶されている“Ｃ３”は“Ｃ２”に更新される。
【００５１】
次に、移動体監視システム２の動作を説明し、併せて、本発明に係る移動体監視方法について説明する。図９は、移動体監視システム２により実行される移動体監視処理を説明するためのフローチャートである。
【００５２】
まず、利用者により、提示画像の提供に使用されるカメラの自動選択が指示されると（Ｔ１；ＹＥＳ）、監視対象選択部２２は、特定の移動体を追跡して監視する指示を待機する。
Ｔ２では、利用者が、提示画像上において特定の移動体を監視対象として選択し、これを契機として、Ｔ３〜Ｔ９に示す自動追跡処理が開始される。本実施の形態では、監視対象として移動体Ｏ１が選択された場合を想定し、以下の説明を行う。
【００５３】
Ｔ３においては、カメラ選択部２４は、提示画像の提供に使用するカメラを選択するための前提処理として、各カメラＣ１〜Ｃｎと、監視対象としての移動体Ｏ１との距離を算出する。移動体位置推定部２３により移動体Ｏ１の位置が事前に推定されている場合には、推定された位置とカメラの設置位置とから距離の算出が可能である。また、何れか一方の位置が未定の場合であっても、カメラが固定背景差分処理を実行することにより、移動体Ｏ１により投影される差分領域の面積を基に、上記距離を算出することが可能である。
【００５４】
カメラ選択部２４は、Ｔ２で選択された移動体を遮蔽する別の移動体（以下、「遮蔽物」と記す。）が、Ｔ２で選択された移動体と距離の算出に係るカメラとの間に存在するか否かを判定する（Ｔ４）。遮蔽物の存否の判定手法は様々考え得るが、例えば、カメラと移動体双方の位置が判明している場合には、カメラ選択部２４は、カメラ、監視対象の移動体、他の移動体それぞれの二次元座標を検出することで遮蔽物の存否を判定する。また、移動体Ｏ１の投影される差分領域を用いる場合には、カメラ選択部２４は、移動体Ｏ１の自動追跡処理と並行して差分領域の面積を保持しておき、この面積の変化割合に基づいて遮蔽物の存否を判定する。すなわち、カメラ選択部２４は、差分領域の面積に閾値以上の変化が認められる時には、他の移動体Ｏ２が移動体Ｏ１よりカメラに近い位置で重なる、つまり遮蔽物が存在するものと判定する。
【００５５】
Ｔ４における判定の結果、遮蔽物の存在が確認された場合には（Ｔ４；ＹＥＳ）、距離の算出に係るカメラは、上記移動体との距離が例え近くても、使用に適さない可能性があるので、カメラ選択部２４は、カメラ選択評価値に対する重み付けを行うことが好適である。すなわち、カメラＣ１〜Ｃｎは、そのカメラ選択評価値が大きい程、優先的に選択されることから、カメラ選択部２４は、移動体Ｏ１との間に遮蔽物が存在するカメラに関して、カメラ選択評価値が低くなるような重み付け（例えば、０より大きく１未満の数値の乗算）を行う。
【００５６】
重み付けに使用される数値（重み）は、重み付けを有為なものとする観点から、実質的に重み付け無しを意味する数値“１”と比較して十分に小さい数値を使用する。具体的には、０．５程度に設定しておくことが好ましい。重みは、それ自体が０でない限り、重み付けによりカメラ選択評価値を０にすることはない。
このため、カメラと移動体Ｏ１との間に遮蔽物が多数存在する場合や、全てのカメラに遮蔽物の影響が存する場合であっても、カメラ選択評価値が相対的に最も低いカメラ、換言すれば遮蔽物による影響がより少ないカメラが選ばれることになる。
【００５７】
更に、この重みとしては、使用中のカメラと比較して設置位置や撮影方向が近いカメラ程、１に近い大きな値が設定され、反対に、設置位置や撮影方向の差が大きいカメラ程、０に近い小さな値が設定される。これにより、切換えに伴う提示画像の変化の小さいカメラへの切換えが優先的に行われる。したがって、カメラが切り換わっても、利用者は、できる限り変化の抑えられた提示画像を閲覧することができる。
【００５８】
Ｔ４における判定の結果、遮蔽物が存在しないと判定された場合には（Ｔ４；ＮＯ）、カメラ選択評価値に対する重み付けを行わず（Ｔ５の処理を省略して）、Ｔ６に移行する。
【００５９】
Ｔ６においては、カメラ選択部２４は、Ｔ３でカメラ毎に算出された距離を所定の評価値算出式にそれぞれ代入することにより、カメラを選択する際の指標となるカメラ選択評価値を算出する。評価値算出式は、１つの極大値を有する凸型の関数であれば足りるが、カメラと移動体間の距離をｘとすると、カメラ選択評価値Ｅは、定数ａを用いて、例えば次式（１）で表される。
Ｅ＝２ａｘ／（ｘ^２＋ａ^２） …（１）
【００６０】
この様な凸型の関数を用いることより、移動体Ｏ１がカメラから遠い場合（換言すれば、距離ｘが大きい値の場合）だけでなく、移動体Ｏ１がカメラに近過ぎる場合（換言すれば、距離ｘが小さ過ぎる値の場合）であってもカメラ選択評価値Ｅを低い値におくことができる。したがって、移動体Ｏ１がカメラに近付き過ぎて画角に収まりきらない場合にまで、当該カメラが選択されることがなく、移動体Ｏ１を常時確実に提示画像内に捉えることができる。
【００６１】
Ｔ７では、Ｔ３〜Ｔ６の一連の処理が、全てのカメラＣ１〜Ｃｎに関して実行されたか否かが確認される。確認の結果、実行されていない場合には（Ｔ７；ＮＯ）、カメラ選択部２４は、カメラ選択評価値が算出されていないカメラが残存するものと判断し、Ｔ３以降の処理が再び実行される。一方、実行された場合には（Ｔ７；ＹＥＳ）、カメラ選択部２４は、被写界を同一とする全てのカメラＣ１〜Ｃｎの選択評価値が算出され、各算出値の比較が可能になったものと判断し、Ｔ８に移行する。
【００６２】
Ｔ８では、カメラ選択部２４は、カメラＣ１〜Ｃｎに関して算出された全てのカメラ選択評価値の大小を比較する。カメラ選択部２４は、当該比較の結果、カメラ選択評価値が最大値をとるカメラを、提示画像提供用のカメラとして選択する（Ｔ９）。Ｔ１０では、カメラ情報記憶部２５において、Ｔ９で選択されたカメラの左右に設置されているカメラのＩＤが更新される。
【００６３】
Ｔ１において、利用者により、提示画像の提供に使用されるカメラの手動選択が指示されると（Ｔ１；ＮＯ）、カメラ選択部２４は、カメラ情報記憶部２５に格納されているデータを参照して、現在使用中のカメラの右側又は左側における、切換え可能な別のカメラの有無を判定する（Ｔ１１）。
【００６４】
当該判定の結果、切換え可能な別のカメラが存在すると判定された場合（Ｔ１１；ＹＥＳ）には、カメラ選択部２４は、その旨を示す情報を、提示画像近傍の対応する位置に表示させる（Ｔ１２）。表示は、画像提示部２１が行う。
【００６５】
Ｔ１２が完了すると、カメラ選択部２４は、カメラの切換え指示を待機する。
利用者が当該指示を行うと（Ｔ１３；ＹＥＳ）、指示に応じた位置に設置されているカメラへの切換えを行う（Ｔ１４）。
なお、Ｔ１１において、切換え可能な別のカメラが存在しないと判定された場合（Ｔ１１；ＮＯ）には、Ｔ１２の処理は省略される。
【００６６】
例えば、図１０に示す様に、利用者が、ポインタＡを介して、提示画像Ｐ４の右側に表示されているカメラを指定した場合には、提示画像の提供に使用されるカメラは当該カメラに切り替えられ、以後、このカメラによって撮影された画像が利用者の閲覧に供される。
【００６７】
以上説明した様に、第２の実施形態における移動体監視システム２によれば、利用者は、中心部近傍に所望の移動体が常に捉えられた画像を参照することができるのは勿論のこと、移動体を撮影可能な複数のカメラＣ１〜Ｃｎの中から、提示画像の提供に実際に使用するカメラを１台選択することができる。これにより、例えば、所望の移動体に最も近いカメラ、あるいは、所望の移動体を最も見易いカメラといった、より監視に適したカメラが提示画像の提供に使用される。したがって、被写界に関する事前把握や操作の訓練を要せずに、より監視に適したカメラによって捉えられた画像を利用者の閲覧に供することが可能となる。
【００６８】
【発明の効果】
本発明によれば、被写界に関する事前把握や操作の訓練を要せずに、容易かつ適確に所望の移動体を監視することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における移動体監視システムの構成を示す図である。
【図２】提示画像内に表示された移動体を利用者が選択する様子を示す図である。
【図３】提示画像内に表示された複数の移動体から一の移動体を利用者が選択する様子を示す図である。
【図４】第１の実施形態における移動体監視処理を説明するためのフローチャートである。
【図５】カメラの画角と複数の移動体との位置関係を示す図である。
【図６】提示画像内の移動体の左側における別の移動体の存在が提示された様子を示す図である。
【図７】本発明の第２の実施形態における移動体監視システムの構成を示す図である。
【図８】図８（ａ）は、カメラ情報記憶部におけるカメラ切換え前のデータ格納例を示す図である。図８（ｂ）は、カメラ情報記憶部におけるカメラ切換え後のデータ格納例を示す図である。
【図９】第２の実施形態における移動体監視処理を説明するためのフローチャートである。
【図１０】画像提示に使用中のカメラの右側に位置する別のカメラの存在が提示された様子を示す図である。
【符号の説明】
１，２…移動体監視システム、Ｃ１〜Ｃｎ…カメラ、１０，２０…移動体監視装置、１１，２１…画像提示部、１２…移動体方向推定部、１３，２２…監視対象選択部、２３…移動体位置推定部、２４…カメラ選択部、２５…カメラ情報記憶部、Ｏ１，Ｏ２…移動体[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a moving object monitoring system using a plurality of cameras and a moving object monitoring method.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a system for remotely monitoring a moving object that may exist in an object scene by using cameras installed at a plurality of locations has been put to practical use. Such a system is realized by various methods. For example, a method of preparing the same number of monitors as cameras and displaying images of different places on each monitor, a method of simultaneously displaying images of different places on one monitor divided into a plurality of display areas, or one method In general, there is a method of sequentially displaying images of different places on one monitor in a time-division manner, and a method of displaying images of different places on one monitor so as to be appropriately switchable. Further, among these methods, a method combining a plurality of methods has been proposed.
[0003]
Furthermore, there has been proposed a system that automatically detects and tracks a moving object (such as a suspicious person) existing in a scene and presents an image including the moving object to a user (for example, Non-Patent Document 1). .). Such a system is capable of presenting up to three moving objects to a user. As a method for the user to specify a monitoring target from among a plurality of moving objects, a method of selecting a position of the moving object on a map of an object scene provided separately from a presentation image, or a method of detecting a detected moving object. There is a method of selecting a monitoring target from a body list.
[0004]
Non-Patent Document 2 discloses a moving object detection method described below. In other words, after extracting a difference image indicating a person region from images obtained from a plurality of cameras photographing the same indoor space, by using the visual volume intersection method, a difference region caused by the presence of a person is found in the space. Estimate the existing area. Then, the position of the person in the indoor space is represented from a bird's-eye view point by a set of rectangular parallelepipeds obtained by discretizing the indoor space.
[0005]
[Non-patent document 1]
"Telepresence system and remote monitoring system via network using omnidirectional image sensor", IEICE Technical Report PRMU2002-83, IEICE, Sep. 2002, Shinji Morita, Kazumasa Yamazawa, Naokazu Yokoya
[Non-patent document 2]
"Security Monitoring System Using Dynamic Miniature Model", IEICE Technical Report, PRMU2002-193, IEICE, Jan. 2003, Naoyuki Kawasaki, Masaaki Takai
[0006]
[Problems to be solved by the invention]
However, the above conventional technique has the following problems. That is, when the user manually selects a camera for presenting an image using a switch or the like, the user needs to know the shooting range of each camera in advance. Further, it is difficult for the user to accurately and continuously capture the moving object to be monitored in the presented image without any training.
[0007]
Also, as in Non-Patent Document 1, even when the system performs tracking based on the result of estimating the position of a moving object and automatically switches the camera that presents an image, the following difficulties are a concern. You. In other words, in order to quickly return to the state of tracking the correct moving object when the system tracks the moving object incorrectly, the user needs to list the moving object in the map or the list of moving objects in the presented image. It is necessary to know in advance the correspondence with the displayed moving object. It also requires at least training and familiarization.
[0008]
Furthermore, in the case where the system tracks a moving object and automatically switches cameras, a method of selecting a camera closest to the moving object in a previously assumed environment because the overlapping of the scenes between the cameras is small. Is enough. However, when a large number of cameras are installed and the field of view greatly overlaps between the cameras as in a ubiquitous sensor network environment, it is not always optimal to select the camera closest to the moving object. For example, if a moving object is located very close to the camera, the entire image will not fit in the camera's shooting range, and if multiple moving objects are projected overlapping, how many moving objects exist? Is difficult to distinguish from the presented image.
[0009]
The technique described in Non-Patent Document 2 is a technique suitable for grasping the whole image of the position and the movement trajectory of the moving body in the indoor space. However, since the spatial resolution is low, it is difficult for the user to accurately grasp the detailed situation of the moving object, such as the facial expression of the person and the movement of the details, which are important for monitoring, from the presented image.
[0010]
Therefore, an object of the present invention is to easily and accurately monitor a desired moving object without requiring prior grasping of an object field and training in operation.
[0011]
[Means for Solving the Problems]
In order to solve the above problems, a moving object monitoring system according to the present invention includes: an image presenting unit that presents to a user an image of an object scene where a plurality of moving objects exist, which is taken by a camera; According to the selection operation by, on the image presented by the image presentation means, comprises a monitoring target selection means for selecting one of the plurality of moving objects as a monitoring target, the image presentation means, An image is presented in which the direction of the moving object selected by the monitoring target selecting means is a shooting direction.
[0012]
A moving object monitoring method according to the present invention includes a first image presenting step in which a moving object monitoring system presents, to a user, an image of an object scene in which a plurality of moving objects exist, the image being taken by a camera; A monitoring target selecting step of selecting one of a plurality of moving objects as a monitoring target on the image presented in the first image presenting step according to a selection operation performed by a user; A second image presenting step of presenting an image in which the direction of the moving object selected in the step is a photographing direction.
[0013]
According to these inventions, the user selects one moving object to be monitored from a plurality of moving objects present in the presented image, and thereby selects the direction of the moving object (the direction from the camera to the moving object). ) Can be referred to, that is, an image in which the moving body is always captured near the center. The operation of selecting a moving object is easily realized by displaying a pointer or a cursor movable on the presentation image on the presentation image. As a result, it is possible to easily and accurately monitor a desired moving object without requiring prior understanding of the scene and training in operation.
[0014]
In the moving object monitoring system according to the present invention, preferably, the direction of the moving object with respect to the imaging direction of the camera is estimated, and based on the estimation result, another moving object on the right or left side of the moving object in the presentation image is displayed. A moving body direction estimating unit that determines whether or not the moving body is present, wherein the image presenting unit is configured to determine whether or not the another moving body exists by the moving body direction estimating unit. Presents the presence of the moving object not presented to the user together with its position to the user, and the monitoring target selecting means monitors the moving object whose existence is presented by the image presenting means according to the selection operation by the user. Select as target.
[0015]
According to the present invention, when there is a moving body that is located on the right or left side of the moving body that is currently being photographed and that cannot be presented to the user, the fact is indicated (right side, left side). ). Thereby, the user can easily and quickly grasp the existence and the position of the moving object outside the angle of view of the camera. Further, the user can select a moving object presented on the right or left side of the moving object in the image while referring to the presented image. The reference of the presentation image realizes intuitive switching of the moving body by the user. As a result, the user can easily and accurately change the monitoring target to a desired moving object without requiring prior understanding of the scene and training in operation.
[0016]
A moving object monitoring system according to the present invention includes: an image presenting unit that presents to a user an image of an object scene in which a moving object is photographed by a plurality of cameras; On the image presented by the means, a monitoring target selecting means for selecting one moving body as a monitoring target, and a positional relationship between the moving body selected by the monitoring target selecting means and each camera (for example, a distance And a camera selecting means for selecting a camera suitable for photographing the moving object from the plurality of cameras by using the camera selecting means, and the image presenting means includes a camera selected by the camera selecting means. The image of the moving object photographed by the above is presented.
[0017]
The moving object monitoring method according to the present invention includes a first image presenting step in which the moving object monitoring system presents, to a user, an image of an object scene in which the moving object exists, which is photographed by a plurality of cameras; A monitoring target selecting step of selecting one moving object as a monitoring target on the image presented in the first image presenting step in accordance with a selection operation performed by a user; and the monitoring target selected in the monitoring target selecting step. A camera selecting step of selecting a camera suitable for photographing the moving object from the plurality of cameras by using a positional relationship between the moving object and each camera (for example, a length of the distance); A second image presenting step of presenting an image of the moving object captured by the camera selected in step (a).
[0018]
According to these inventions, the user selects one moving object to monitor from among a plurality of moving objects present in the presentation image, and thereby, an image having the direction of the moving object as a shooting direction, that is, It is possible to refer to an image in which the moving object is always captured near the center. The operation of selecting a moving object is easily realized by displaying a pointer or a cursor that can move on the presentation image. In addition, one camera that is actually used for photographing (providing a provided image) is selected from a plurality of cameras that can photograph the moving object. Usually, the shorter the distance between the moving object to be monitored and the camera, the more accurately the user can monitor the moving object in the presented image.However, the camera is selected based on the distance from the moving object. In addition, the camera is optimal for photographing the moving object. Therefore, it is possible to easily and accurately monitor a desired moving object without requiring prior understanding of the scene and training in operation.
[0019]
In the moving object monitoring system according to the present invention, preferably, the camera selecting means, when another moving object is present between the moving object and the camera selected by the monitoring target selecting means, the camera By priority, a camera in which another moving object does not exist between the moving object and the moving object is selected.
[0020]
According to the present invention, when selecting a camera that is actually used for photographing (providing a presentation image), not only the distance to the monitoring target moving object but also the presence or absence of another moving object with the moving object is determined. Will be taken into account. That is, a camera close to the moving object is not always selected preferentially, and even if there is another camera closer to the moving object, another moving object does not exist between the camera and the moving object. In this case, the camera is determined to be the optimal camera for photographing the moving object and is selected. Such a camera selection method is particularly useful when there is another moving object or obstacle between the camera and the moving object closest to the monitored moving object among the plurality of cameras, and the monitored object is blocked. It is effective. In such a case, when another camera having no obstruction is selected, the shooting direction with respect to the monitoring target changes. As a result, a more profitable presentation image can be presented to the user from the viewpoint of ease and accuracy of monitoring.
[0021]
In the moving object monitoring system according to the present invention, the camera selection unit determines whether or not another camera exists on the right side or the left side of the camera, and the image presentation unit determines that the another camera is present by the camera selection unit. If it is determined that the camera is present, the presence of the camera is presented to the user together with the position of the camera, and the presence of the camera is presented by the image presenting means according to the selection operation by the user. The camera may be selected as a camera for photographing the moving object.
[0022]
According to the present invention, if another camera is present on the right or left side of the camera that is currently photographing the moving object, that fact is indicated together with the position (either right side or left side). Thereby, the user can easily and quickly grasp the presence and the position of the camera that is not presenting the presented image. In addition, the user can select a camera presented to the right or left of the camera that is photographing the moving object while referring to the presented image. The reference of the presented image realizes intuitive selection and switching of the camera by the user. As a result, the user can easily and accurately monitor a desired moving object without needing to know in advance about the object scene (particularly, prior knowledge about the positional relationship of each camera) and training in operation. Becomes possible.
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
(1st Embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to the accompanying drawings for illustration only. First, the configuration of the mobile monitoring system 1 according to the present embodiment will be described. As shown in FIG. 1, the mobile monitoring system 1 includes one camera C1 and a mobile monitoring device 10 as functional components. Further, the moving object monitoring device 10 includes an image presenting unit 11 (corresponding to an image presenting unit), a moving object direction estimating unit 12 (corresponding to a moving object direction estimating unit), and a monitoring target selecting unit 13 (corresponding to the monitoring target selecting unit). Response). These units are connected via a bus B1 so that signals can be transmitted and received to and from each other.
[0024]
Hereinafter, each component of the mobile monitoring system 1 will be described in detail.
The camera C1 is configured to be able to adjust a shooting direction (camera direction) and an angle of view (viewing angle of the camera) within a predetermined range, and shoots a moving object and an object scene including its background. The captured image of the scene is provided to the user as a presentation image. Here, the presentation image is an image presented to the user, that is, an image that the user can actually browse. Therefore, even if the camera can be provided by changing the photographing direction and the angle of view, images that are not actually presented to the user are not included.
[0025]
In the present embodiment, a camera (a so-called active camera) capable of dynamically changing a shooting direction and an angle of view is assumed as the camera C1, but is not limited thereto. For example, a wide-angle camera having an angle of view of 180 degrees is assumed. Alternatively, an omnidirectional camera having a horizontal angle of view of 360 degrees may be used.
[0026]
The image presenting unit 11 presents an image of the scene captured by the camera C1 to a user (operator) of the present system as a presentation image. A pointer is displayed on the presentation image so that the user can directly select a monitoring target while referring to the state of the scene. FIG. 2 is a diagram illustrating a state where the moving object O1 is selected by the pointer A in the presentation image P1 including one moving object. Similarly, FIG. 3 is a diagram illustrating a state where the moving object O1 is selected by the pointer A in the presentation image P2 including the two moving objects O1 and O2.
[0027]
The moving body direction estimating unit 12 estimates the direction in which the moving body exists with the camera as a base point, using an arbitrary method. The moving body direction estimating unit 12 estimates the direction in which the moving body exists by estimating the direction in which the difference area of the moving body due to the fixed background difference of the captured image exists. Alternatively, the position of the moving object is detected by a well-known and common technique, and the direction in which the moving object is located is estimated based on the positional relationship between the position of the moving object and the location where the camera is installed. Further, the moving body direction estimating unit 12 determines whether or not there is another moving body that is located on the right or left side of the moving body in the presentation image and does not fit in the presentation image based on the estimation result.
[0028]
The monitoring target selecting unit 13 selects the moving object specified with reference to the direction of the moving object estimated by the moving object direction estimating unit 12 and the position of the pointer in the presentation image as a monitoring target by the user. .
[0029]
Next, the operation of the mobile monitoring system 1 will be described, and the mobile monitoring method according to the present invention will be described. FIG. 4 is a flowchart for explaining a moving object monitoring process executed by the moving object monitoring system 1.
[0030]
First, in S1, the moving body direction estimating unit 12 estimates the direction of a moving body (or each moving body if there is more than one) based on the shooting direction (camera direction) of the presented image.
Subsequently, the moving body direction estimating unit 12 determines whether there is another moving body on the right side or the left side of the currently photographed moving body based on the estimation result in S1, and presents it when there is. It is determined whether there is no moving object (S2).
If it is determined that there is a moving object that satisfies both requirements (S2; YES), the moving object direction estimating unit 12 determines that there is a moving object that exists but is not presented to the user. The information indicating the presence of the moving object is displayed at a corresponding position near the presentation image. The display is performed by the image presentation unit 11.
[0031]
In the present embodiment, as shown in FIG. 5, it is assumed that the moving object O1 fits within the angle of view of the camera C1, but the moving object O2 does not. In this case, since the moving body O2 exists on the left side of the angle of view of the camera C1, the existence of the moving body O2 is presented on the left side of the presentation image P3 as shown in FIG. Thereby, the user can intuitively grasp the existence of the moving object that cannot be captured by the camera C1 at the present time and the position thereof.
[0032]
Returning to FIG. 4, when the process of S3 is completed, the process proceeds to the monitoring target selection process (S4 to S10).
In S4, the monitoring target selection unit 13 waits for an instruction to track and monitor a specific moving object, and upon detecting such an instruction input (S4; YES), shifts to the processing of S5. That is, the monitoring target selection unit 13 determines whether or not the monitoring target moving object has already been selected (S5).
[0033]
As a result of the determination, if the moving object has not been selected at the present time (S5; NO), the monitoring target selecting unit 13 detects the position of the pointer designated by the user (S6). As a result of the position detection, when the pointer is present in the presentation image (S7; YES), the monitoring target selecting unit 13 selects a moving object close to the pointer position on the presentation image as the monitoring target (S8). Specifically, the monitoring target selecting unit 13 calculates an angle between the direction indicated by the pointer and the direction of the moving object (if there are a plurality of moving objects) estimated by the moving object direction estimating unit 12, The moving object that minimizes this is selected as the monitoring target.
[0034]
In S8, the moving body having the shortest distance to the camera may be selected from the moving bodies that satisfy the condition that the angle is equal to or smaller than the threshold value, instead of the moving body having the minimum angle. Alternatively, a moving object that maximizes the area of the difference region generated by the fixed background difference may be selected from the moving objects that satisfy the condition that the angle is equal to or less than the threshold.
[0035]
On the other hand, as a result of the position detection in S6, when the pointer does not exist in the presentation image (S7; NO), the monitoring target selecting unit 13 determines whether the moving object outside the presentation image, that is, the moving object currently presented is present. It is determined that the user has requested the presentation of the moving object existing on the right or left side, and the moving object corresponding to the position of the pointer is selected as the monitoring target (S10). For example, as shown in FIG. 6, when the user specifies the moving object O2 displayed on the left side of the presentation image P3 via the pointer A, the moving object O2 is selected as a monitoring target. . As a result, thereafter, the presentation image in which the direction of the moving object O2 is the photographing direction is provided for the user to browse.
[0036]
The presentation form of the image is arbitrary, but the area of the selected moving object is cut out from the viewpoint of enabling the user to easily and quickly grasp the monitoring target (hatched portions in FIGS. 2, 3, and 6). It is preferable to display as
[0037]
If the pointer does not exist inside or outside the presentation image (not shown), the monitoring target selecting unit 13 determines that there is no moving object that the user wants to monitor, and tracks the specific moving object. As in the case where there is no instruction to monitor (S4; NO), the standby for the instruction is continued.
[0038]
In S9, the image presenting unit 11 sets the direction of the moving object selected in S8 or S10 as a shooting direction and presents a presented image having a predetermined angle of view to the user in accordance with an instruction from the monitoring target selecting unit 13. Various methods can be considered as a method of determining the shooting direction from the position of the pointer.For example, a method of calculating using a calculation formula that takes into account the characteristics of the camera, or the coordinates of the pointer and the shooting direction are associated in advance. For example, a method of referring to a table that has been used is adopted. The former has the advantage that the fine adjustment of the photographing direction can be performed with respect to the latter, and the latter has the advantage that the processing time can be reduced with respect to the former.
[0039]
In S5, when the monitoring target moving body has already been selected (S5; YES), the monitoring target selection unit 13 does not detect the pointer and focuses on the already selected moving body. The image presentation unit 11 causes the image presentation unit 11 to present a presentation image in the shooting direction. Here, the fact that the moving object to be monitored has already been selected is not necessarily limited to the case where the user actively selects the moving object, but the moving object is detected in the object scene as a result of the direction derivation of the moving object in S1. This includes the case where it is found that only one exists.
[0040]
As described above, according to the moving object monitoring system 1, the moving object monitoring device 10 causes the image presenting unit 11 to present the image of the object scene captured by the camera C1. When one moving object O1 (see FIG. 3) is selected as a monitoring object on the presentation image P2 by the monitoring target selection unit 13, the camera C1 tracks the moving object O1, and a direction from the camera C1 toward the moving object O1. An image with the (direction of the moving object O1) as the shooting direction is continuously presented. Therefore, the user selects one moving object to be monitored from among the plurality of moving objects displayed in the presentation image, so that the image having the direction of this moving object as the shooting direction, that is, near the center, An image in which the moving object is displayed can be referred to. The operation of selecting the moving object is easily realized by displaying the pointer A that can move on the presentation image. As a result, it is possible to easily and accurately monitor a desired moving object without requiring prior understanding of the scene and training in operation.
[0041]
It is also effective to apply the mobile monitoring system 1 to, for example, the case described below. In other words, when the user is tracking and monitoring a moving object, the system incorrectly recognizes the monitoring target because the moving object comes close to another moving object, and is different from the moving object to be monitored. This is the case where the moving object has been tracked. Even in such a case, before the moving object to be monitored originally deviates from the presented image, the user selects the moving object so that the tracking and monitoring of the desired moving object can be continued without interruption. Can be.
[0042]
(Second embodiment)
Next, a second embodiment of the present invention will be described.
In the first embodiment, it is assumed that a single camera is used to monitor a single moving object selected from a plurality of moving objects. However, in the second embodiment, a plurality of cameras are monitored. It is assumed that one or a plurality of moving objects are monitored by using this. In the present embodiment, a mode in which the system automatically selects a camera to track and monitor a specific moving object (T2 to T9 in FIG. 9), and a mode in which the user switches the camera by manual operation to monitor (FIG. 9) 9, T11 to T14).
[0043]
First, the configuration of the mobile monitoring system 2 according to the present embodiment will be described.
As shown in FIG. 7, the mobile monitoring system 2 includes n cameras C1 to Cn and a mobile monitoring device 20 as functional components. Further, the mobile monitoring device 20 includes an image presenting unit 21 (corresponding to an image presenting unit), a monitoring target selecting unit 22 (corresponding to a monitoring target selecting unit), a moving object position estimating unit 23, and a camera selecting unit 24 ( And a camera information storage unit 25. These units are connected to each other via a bus B2 so that various signals can be transmitted and received.
[0044]
Hereinafter, each component of the mobile monitoring system 2 will be described in detail.
The cameras C1 to Cn are configured so that the shooting direction (the direction of the camera) and the angle of view (the viewing angle of the camera) can be adjusted within a predetermined range, and are the same shooting field. n is an integer of 2 or more.
[0045]
The image presenting unit 21 presents an image of a scene photographed by an arbitrary camera selected from the cameras C1 to Cn to a user (operator) of the present system as a presentation image. On the presentation image, a pointer A is displayed so that the user can directly select a monitoring target while referring to the state of the object scene (see FIG. 2 and FIG. 3).
[0046]
The monitoring target selection unit 22 selects one moving object from the moving objects in the presentation image as a target of tracking and monitoring by automatic selection of a camera. The selection of the monitoring target requires a process of estimating the direction of the moving object, but since this process has been described in detail in the first embodiment, a description thereof will be omitted.
[0047]
The moving body position estimating unit 23 estimates the position of the moving body O1 selected as a monitoring target. Since the position estimation processing is a well-known and commonly used three-dimensional measurement technique, detailed description and illustration (including mathematical expressions) are omitted, and a preferred method is simply illustrated. The moving object position estimating unit 23 estimates the position of the moving object existing in the three-dimensional space as the object scene by the parallel stereo method. That is, the moving body position estimating unit 23 includes a camera having a compound eye lens having the same focal length f and the optical axes parallel to each other, and observes the moving body from at least two viewpoints using the compound eye camera. Then, the three-dimensional position is estimated by triangulation based on the difference in the position of the moving object in the image projected on each viewpoint.
[0048]
The camera selection unit 24 is used to provide a presentation image from the cameras C1 to Cn using the distance between the moving object (for example, the moving object O1) selected as a monitoring target and each of the cameras C1 to Cn. Select the camera to be used. Although specific processing contents will be described later, the camera selection unit 24 calculates a value (camera selection evaluation value) obtained by applying the above distance to a predetermined mathematical expression, and selects a camera having the maximum value. When calculating the camera selection evaluation value, it is preferable to consider not only the distance but also the presence or absence of a shield between the moving object O1. In calculating the distance, the estimation result by the moving object position estimation unit 23 may or may not be used.
[0049]
The camera information storage unit 25 stores identification information unique to the cameras installed on the left and right sides of the camera currently used for providing the presentation image together with the identification information of the camera in use. It is memorized. As shown in FIG. 8A, the camera information storage unit 25 has a left camera ID area 25a and a right camera ID area 25b. In the left camera ID area 25a, identification information of a camera located one camera left of the camera currently used for image presentation is stored in an updatable manner. Similarly, in the right camera ID area 25b, identification information of a camera located one camera to the right of the camera currently used for image presentation is stored in an updatable manner. If there is no camera on the left or right side, information indicating that (for example, “NULL”) is stored in an updatable manner.
[0050]
In the case where the cameras C1 to Cn are arranged in order from the left side, when the image related to shooting by the camera C2 is a presentation image, as shown in FIG. The identification information (for example, “C1”) is stored in the left camera ID area 25a, and the identification information (for example, “C3”) of the camera installed on the right side of the camera C2 is stored in the right camera ID area 25b. Thereafter, when the camera used to provide the presentation image is switched from the camera C2 to the camera C1, as shown in FIG. 8B, "C1" stored in the left camera ID area 25a becomes "NULL". "C3" stored in the right camera ID area 25b is updated to "C2".
[0051]
Next, the operation of the mobile monitoring system 2 will be described, and the mobile monitoring method according to the present invention will be described. FIG. 9 is a flowchart for explaining a mobile object monitoring process executed by the mobile object monitoring system 2.
[0052]
First, when a user instructs automatic selection of a camera used for providing a presentation image (T1; YES), the monitoring target selecting unit 22 waits for an instruction to track and monitor a specific moving object. .
At T2, the user selects a specific moving object on the presented image as a monitoring target, and the automatic tracking processing shown at T3 to T9 is started with this as a trigger. In the present embodiment, the following description will be made on the assumption that the moving object O1 is selected as the monitoring target.
[0053]
At T3, the camera selection unit 24 calculates the distance between each of the cameras C1 to Cn and the moving object O1 as a monitoring target as prerequisite processing for selecting a camera to be used for providing a presentation image. When the position of the moving object O1 is estimated in advance by the moving object position estimating unit 23, the distance can be calculated from the estimated position and the installation position of the camera. In addition, even when one of the positions is undecided, the distance can be calculated based on the area of the difference area projected by the moving object O1 by the camera executing the fixed background difference processing. It is possible.
[0054]
The camera selection unit 24 determines that another moving object (hereinafter, referred to as “shielding object”) that blocks the moving object selected at T2 is between the moving object selected at T2 and the camera related to the calculation of the distance. (T4). Various methods of determining the presence or absence of the shielding object are conceivable. For example, when the positions of both the camera and the moving object are known, the camera selecting unit 24 selects the camera, the moving object to be monitored, and the other moving objects. The presence or absence of a shield is determined by detecting the two-dimensional coordinates of. When the difference area of the moving object O1 projected is used, the camera selection unit 24 holds the area of the difference area in parallel with the automatic tracking processing of the moving object O1, and determines the change rate of the area. The presence or absence of the shield is determined based on the presence or absence. That is, when a change in the area of the difference area equal to or larger than the threshold value is recognized, the camera selection unit 24 determines that another moving body O2 overlaps the camera closer to the camera than the moving body O1, that is, that there is a shield.
[0055]
As a result of the determination at T4, when the presence of the obstruction is confirmed (T4; YES), the camera related to the calculation of the distance may not be suitable for use even if the distance to the moving body is short. Therefore, it is preferable that the camera selection unit 24 weights the camera selection evaluation value. That is, the cameras C1 to Cn are preferentially selected as the camera selection evaluation value is larger. Therefore, the camera selection unit 24 determines the camera selection evaluation with respect to the camera having a shielding object between itself and the moving object O1. Weighting (for example, multiplication of a numerical value greater than 0 and less than 1) is performed so as to decrease the value.
[0056]
As a numerical value (weight) used for weighting, a numerical value sufficiently smaller than a numerical value “1” meaning substantially no weighting is used from the viewpoint of making the weighting significant. Specifically, it is preferable to set to about 0.5. As long as the weight itself is not 0, the camera selection evaluation value is not set to 0 by weighting.
For this reason, even when a large number of obstacles exist between the camera and the moving object O1, or even when all cameras have the influence of the obstacle, the camera with the relatively lowest camera selection evaluation value, in other words, Then a camera with less influence of the obstruction will be selected.
[0057]
Further, as the weight, a larger value closer to 1 is set for a camera closer to the installation position or the shooting direction compared to the camera in use, and conversely, for a camera having a larger difference between the installation position and the shooting direction, 0 A small value close to is set. As a result, the switching to the camera in which the change in the presented image is small due to the switching is preferentially performed. Therefore, even if the camera is switched, the user can view the presented image with the least possible change.
[0058]
As a result of the determination at T4, when it is determined that no obstruction exists (T4; NO), the process proceeds to T6 without performing weighting on the camera selection evaluation value (omitting the processing of T5).
[0059]
At T6, the camera selection unit 24 calculates a camera selection evaluation value serving as an index when selecting a camera by substituting the distance calculated for each camera at T3 into a predetermined evaluation value calculation formula. It is sufficient that the evaluation value calculation formula is a convex function having one local maximum value, but assuming that the distance between the camera and the moving body is x, the camera selection evaluation value E is calculated using the constant a, It is represented by (1).
E = 2ax / (x ² + A ² …… (1)
[0060]
By using such a convex function, not only when the moving object O1 is far from the camera (in other words, when the distance x is a large value), but also when the moving object O1 is too close to the camera (in other words, when the moving object O1 is too close to the camera) , The distance x is too small), the camera selection evaluation value E can be set to a low value. Therefore, even when the moving object O1 is too close to the camera and cannot fit within the angle of view, the camera is not selected, and the moving object O1 can always be reliably captured in the presentation image.
[0061]
At T7, it is confirmed whether or not the series of processes from T3 to T6 has been executed for all the cameras C1 to Cn. As a result of the confirmation, if the camera has not been executed (T7; NO), the camera selection unit 24 determines that a camera for which the camera selection evaluation value has not been calculated remains, and the processing after T3 is executed again. . On the other hand, when the processing is executed (T7; YES), the camera selection unit 24 calculates the selection evaluation values of all the cameras C1 to Cn having the same object scene, and makes it possible to compare the calculated values. The process proceeds to T8.
[0062]
At T8, the camera selection unit 24 compares the magnitudes of all the camera selection evaluation values calculated for the cameras C1 to Cn. As a result of the comparison, the camera selection unit 24 selects the camera having the maximum camera selection evaluation value as the camera for providing the presentation image (T9). At T10, the camera information storage unit 25 updates the IDs of the cameras installed on the left and right of the camera selected at T9.
[0063]
At T1, when the user instructs to manually select a camera to be used for providing a presentation image (T1; NO), the camera selection unit 24 refers to the data stored in the camera information storage unit 25. Then, it is determined whether there is another switchable camera on the right or left side of the currently used camera (T11).
[0064]
As a result of the determination, when it is determined that there is another switchable camera (T11; YES), the camera selection unit 24 displays information indicating that at a corresponding position near the presentation image ( T12). The display is performed by the image presentation unit 21.
[0065]
When T12 is completed, the camera selection unit 24 waits for a camera switching instruction.
When the user gives the instruction (T13; YES), the camera is switched to the camera installed at the position corresponding to the instruction (T14).
If it is determined in T11 that there is no other switchable camera (T11; NO), the processing of T12 is omitted.
[0066]
For example, as shown in FIG. 10, when the user specifies a camera displayed on the right side of the presentation image P4 via the pointer A, the camera used to provide the presentation image is After switching, the image captured by this camera is provided for the user to browse.
[0067]
As described above, according to the moving object monitoring system 2 in the second embodiment, the user can, of course, refer to the image in which the desired moving object is always captured near the center. It is possible to select one camera that is actually used for providing a presentation image from a plurality of cameras C1 to Cn capable of photographing a moving object. As a result, for example, a camera that is more suitable for monitoring, such as a camera closest to the desired moving object or a camera that is most visible to the desired moving object, is used for providing the presented image. Therefore, it is possible to provide an image captured by a camera more suitable for monitoring to a user for browsing without needing to grasp the object scene in advance and training in operation.
[0068]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to monitor a desired moving body easily and accurately, without requiring prior knowledge about a field and training of operation.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of a mobile monitoring system according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating a state in which a user selects a moving object displayed in a presentation image.
FIG. 3 is a diagram illustrating a state in which a user selects one mobile object from a plurality of mobile objects displayed in a presentation image.
FIG. 4 is a flowchart illustrating a moving object monitoring process according to the first embodiment.
FIG. 5 is a diagram illustrating a positional relationship between an angle of view of a camera and a plurality of moving objects.
FIG. 6 is a diagram illustrating a state in which the existence of another moving object on the left side of the moving object in the presentation image is presented.
FIG. 7 is a diagram illustrating a configuration of a mobile monitoring system according to a second embodiment of the present invention.
FIG. 8A is a diagram illustrating an example of data storage before camera switching in a camera information storage unit. FIG. 8B is a diagram illustrating an example of data storage after camera switching in the camera information storage unit.
FIG. 9 is a flowchart illustrating a moving object monitoring process according to the second embodiment.
FIG. 10 is a diagram illustrating a state in which the presence of another camera located on the right side of the camera being used for image presentation is presented.
[Explanation of symbols]
1, 2 ... moving body monitoring system, C1 to Cn ... camera, 10, 20 ... moving body monitoring device, 11, 21 ... image presenting section, 12 ... moving body direction estimating section, 13, 22 ... monitoring target selecting section, 23 ... Moving object position estimating unit, 24 ... Camera selecting unit, 25 ... Camera information storage unit, O1, O2 ... Moving object

Claims

Image presenting means for presenting to the user an image of the scene in which a plurality of moving objects are taken by the camera,
According to the selection operation by the user, on the image presented by the image presenting means, comprises a monitoring target selecting means for selecting one of the plurality of moving objects as a monitoring target,
The moving object monitoring system, wherein the image presenting means presents an image in which a direction of the moving object selected by the monitoring target selecting means is a photographing direction.

Moving body direction estimating means for estimating the direction of the moving body with reference to the photographing direction of the camera, and determining, based on the estimation result, the presence or absence of another moving body on the right or left side of the moving body in the presented image. Further comprising
When the moving object direction estimating means determines that the another moving object is present, the image presenting means uses the presence of the moving object that is not presented in the presented image together with the position of the moving object to determine whether the moving object is present. To the person,
The mobile object monitoring system according to claim 1, wherein the monitoring target selecting means selects a mobile object whose presence is presented by the image presenting means as a monitoring target according to a selection operation by the user.

Image presenting means for presenting to the user an image of the scene in which the moving object is photographed by a plurality of cameras,
According to the selection operation by the user, on the image presented by the image presenting means, a monitoring target selecting means for selecting one moving object as a monitoring target,
A camera selecting unit that selects a camera suitable for photographing the moving object from the plurality of cameras by using a positional relationship between the moving object and each camera selected by the monitoring target selecting unit. ,
The moving object monitoring system, wherein the image presenting means presents an image of the moving object photographed by the camera selected by the camera selecting means.

The camera selecting means, when another moving object is present between the moving object selected by the monitoring target selecting means and the camera, gives priority to the camera and separates the moving object from the moving object. The moving object monitoring system according to claim 3, wherein a camera having no moving object is selected.

The camera selection means determines the presence or absence of another camera on the right or left side of the camera,
The image presenting means, when it is determined that the another camera is present by the camera selecting means, presents the presence of the camera to the user together with its position,
The moving body according to claim 3, wherein the camera selecting means selects a camera whose existence is presented by the image presenting means as a camera for photographing the moving body, according to a selection operation by the user. Monitoring system.

Mobile monitoring system
A first image presenting step of presenting, to a user, an image of a scene in which a plurality of moving objects are photographed by a camera;
According to the selection operation by the user, on the image presented in the first image presenting step, a monitoring target selecting step of selecting one of the plurality of moving targets as a monitoring target,
A second image presenting step of presenting an image in which the direction of the moving object selected in the monitoring target selecting step is a shooting direction.

Mobile monitoring system
A first image presenting step of presenting, to a user, an image of an object scene in which a moving object exists, which is taken by a plurality of cameras;
According to the selection operation by the user, a monitoring target selecting step of selecting one moving object as a monitoring target on the image presented in the first image presenting step,
Using the positional relationship between the moving object and each camera selected in the monitoring target selecting step, from among the plurality of cameras, a camera selecting step of selecting a camera suitable for capturing the moving object,
A second image presenting step of presenting an image of the moving object taken by the camera selected in the camera selecting step.