JP2005057592A - Monitor system - Google Patents

Monitor system Download PDF

Info

Publication number
JP2005057592A
JP2005057592A JP2003287856A JP2003287856A JP2005057592A JP 2005057592 A JP2005057592 A JP 2005057592A JP 2003287856 A JP2003287856 A JP 2003287856A JP 2003287856 A JP2003287856 A JP 2003287856A JP 2005057592 A JP2005057592 A JP 2005057592A
Authority
JP
Japan
Prior art keywords
camera
fixed camera
fixed
orientation
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003287856A
Other languages
Japanese (ja)
Other versions
JP4469148B2 (en
Inventor
Taketo Sasaki
雄飛 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2003287856A priority Critical patent/JP4469148B2/en
Publication of JP2005057592A publication Critical patent/JP2005057592A/en
Application granted granted Critical
Publication of JP4469148B2 publication Critical patent/JP4469148B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a monitor system which allows the position and attitude of a moving camera to be identified on the basis of visual landmarks without spoiling finite spatial resources. <P>SOLUTION: The monitor system is provided with a fixed camera 20 which is fixed to a prescribed place in a prescribed space 1 and photographs a prescribed range, and the moving camera which moves in the prescribed space 1 and photographs a dead zone of the fixed camera 20, and the fixed camera 20 is provided with a plurality of marks 20a on a housing thereof, and the moving camera 30 identifies its position and attitude in the prescribed space 1 with the plurality of marks 20 provided on the fixed camera 20 as landmarks. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、監視システムに関し、詳しくは、固定された固定カメラと移動可能な移動カメラとで所定の空間を監視する監視システムに関するものである。   The present invention relates to a monitoring system, and more particularly to a monitoring system that monitors a predetermined space with a fixed camera and a movable camera that can be moved.

図6に示すように、従来の移動カメラを利用した監視システム90は、所定の空間9において所定の範囲を撮影する複数の固定カメラ91と、移動を行う走行部を有して周囲の状況を撮影する移動カメラ92とを備えている。このように構成された監視システム90において、固定カメラ91の死角となる範囲が移動カメラ92によって撮影され、侵入者が検知された場合には移動カメラ92によって威嚇音が発せられる(例えば特許文献1参照。)。   As shown in FIG. 6, a monitoring system 90 using a conventional mobile camera has a plurality of fixed cameras 91 that capture a predetermined range in a predetermined space 9 and a traveling unit that moves. And a moving camera 92 for photographing. In the monitoring system 90 configured in this way, a range that is a blind spot of the fixed camera 91 is photographed by the moving camera 92, and when an intruder is detected, a threatening sound is emitted by the moving camera 92 (for example, Patent Document 1). reference.).

前述したような監視システム90における移動カメラ92の位置姿勢を同定する場合に、移動カメラ92は、空間9内に設置されたランドマーク93を撮影し、撮影されたランドマークの像のパターンに基づいて、撮影されたランドマークが設置された位置を基準とする移動カメラ92の位置姿勢を検出し、空間9における移動カメラ92の位置姿勢を同定するようになっている。空間9内に設置されたランドマークは、例えば、図6に示すような壁などに描かれたT字型のランドマーク93のようにそれぞれ固有の特徴を有するものである。
特開平8−7186号公報
When identifying the position and orientation of the mobile camera 92 in the monitoring system 90 as described above, the mobile camera 92 captures the landmark 93 installed in the space 9, and based on the pattern of the captured landmark image. Thus, the position and orientation of the moving camera 92 is detected with reference to the position where the photographed landmark is installed, and the position and orientation of the moving camera 92 in the space 9 is identified. The landmarks installed in the space 9 have unique characteristics such as a T-shaped landmark 93 drawn on a wall as shown in FIG.
JP-A-8-7186

しかしながら、このような従来の監視システムでは、ランドマークは、例えば壁に描かれるように、空間リソースに設置されるが、ランドマークを移動カメラから常時撮影可能な状態に保持しなくてはならないため、ランドマークが設置された空間リソースを他の用途に用いることができないばかりか、ランドマークが景観の統一を損なわせるという問題があった。すなわち、有限の空間リソースを損なわずに視覚的なランドマークに基づいた移動カメラの位置姿勢の同定を行うことができないという問題があった。   However, in such a conventional monitoring system, a landmark is installed in a space resource, for example, drawn on a wall, but the landmark must be kept in a state where it can be always photographed from a moving camera. In addition to being unable to use the spatial resources where the landmarks were installed for other purposes, there was a problem that the landmarks impaired the unification of the landscape. That is, there is a problem that the position and orientation of the moving camera cannot be identified based on visual landmarks without losing limited space resources.

本発明はこのような問題を解決するためになされたもので、有限の空間リソースを損なわずに視覚的なランドマークに基づいた移動カメラの位置姿勢の同定を行うことができる監視システムを提供するものである。   The present invention has been made to solve such a problem, and provides a monitoring system capable of identifying the position and orientation of a mobile camera based on visual landmarks without losing limited space resources. Is.

本発明の監視システムは、所定の空間における所定の場所に固定され、所定の範囲を撮影する固定カメラと、前記所定の空間内を移動し、前記固定カメラの死角を撮影する移動カメラとを備え、前記固定カメラには、外装に複数の標章が設けられ、前記移動カメラは、前記固定カメラに設けられた複数の標章をランドマークとして前記所定の空間内における自らの位置姿勢を同定する構成を有している。   The monitoring system of the present invention includes a fixed camera that is fixed at a predetermined place in a predetermined space and captures a predetermined range, and a moving camera that moves within the predetermined space and captures a blind spot of the fixed camera. The fixed camera is provided with a plurality of marks on the exterior, and the mobile camera identifies its position and orientation in the predetermined space using the plurality of marks provided on the fixed camera as landmarks. It has a configuration.

この構成により、固定カメラの外装に設けられた標章をランドマークとして利用することによって、移動カメラの位置姿勢が同定される。このため、空間リソースに視覚的なランドマークを設置する必要がなく、有限の空間リソースを損なわずに視覚的なランドマークに基づいた移動カメラの位置姿勢の同定を行うことができる。   With this configuration, the position and orientation of the moving camera are identified by using the mark provided on the exterior of the fixed camera as a landmark. For this reason, it is not necessary to install visual landmarks in the spatial resources, and the position and orientation of the mobile camera can be identified based on the visual landmarks without losing finite spatial resources.

また、本発明の監視システムは、所定の空間における所定の場所にそれぞれ固定され、所定の範囲をそれぞれ撮影する複数の固定カメラと、前記所定の空間内を移動し、前記固定カメラの死角を撮影する移動カメラとを備え、前記固定カメラには、外装に複数の標章がそれぞれ設けられ、前記移動カメラは、前記固定カメラの死角および前記複数の標章を撮影する撮影手段と、前記撮影手段によって撮影された前記標章が前記複数の固定カメラのうちの何れの固定カメラのものかを判別する固定カメラ判別を行う固定カメラ判別手段と、前記撮影手段によって撮影された前記複数の標章の画像パターンに基づいて、前記移動カメラの前記固定カメラに対する相対的な位置姿勢を検出する相対位置姿勢検出手段と、前記固定カメラ判別手段によって判別された固定カメラの前記所定の空間内における位置姿勢および前記相対位置姿勢検出手段によって検出された位置姿勢に基づいて、前記移動カメラの前記所定の空間内における位置姿勢を同定する位置姿勢同定手段とを有する構成を有している。   In addition, the monitoring system of the present invention captures a blind spot of the fixed camera, a plurality of fixed cameras that are fixed at a predetermined location in a predetermined space, respectively, and that move within the predetermined space. The fixed camera is provided with a plurality of marks on its exterior, and the moving camera includes a shooting means for shooting a blind spot of the fixed camera and the plurality of marks, and the shooting means. A fixed camera discrimination means for performing a fixed camera discrimination for discriminating which of the plurality of fixed cameras the mark photographed by the camera is, and a plurality of the marks photographed by the photographing means Based on an image pattern, relative position and orientation detection means for detecting a relative position and orientation of the moving camera with respect to the fixed camera, and the fixed camera discrimination means Position and orientation identification for identifying the position and orientation of the mobile camera in the predetermined space based on the position and orientation of the fixed camera determined in the predetermined space and the position and orientation detected by the relative position and orientation detection means Means.

この構成により、複数の固定カメラの外装に設けられた標章をランドマークとして利用し、撮影されている標章が複数の固定カメラのうち何れの固定カメラに設置されたものかを判別することによって、移動カメラの位置姿勢が同定される。このため、空間リソースに視覚的なランドマークを設置する必要がなく、有限の空間リソースを損なわずに視覚的なランドマークに基づいた移動カメラの位置姿勢の同定を行うことができる。   With this configuration, it is possible to use a mark provided on the exterior of a plurality of fixed cameras as a landmark, and to determine which of the plurality of fixed cameras the fixed camera is installed on. Thus, the position and orientation of the moving camera is identified. For this reason, it is not necessary to install visual landmarks in the spatial resources, and the position and orientation of the mobile camera can be identified based on the visual landmarks without losing finite spatial resources.

また、本発明の監視システムは、前記固定カメラの外装に設けられる前記標章が、前記固定カメラごとにそれぞれ異なる特徴を有し、前記固定カメラ判別手段による前記固定カメラ判別が、前記標章の特徴に基づいて、前記標章が前記複数の固定カメラのうち何れの固定カメラに設置されたものかを判別することによって行われる構成を有している。   In the monitoring system of the present invention, the mark provided on the exterior of the fixed camera has a different characteristic for each of the fixed cameras, and the fixed camera determination by the fixed camera determination means is performed on the mark. Based on the characteristics, the mark is configured to be determined by determining which of the plurality of fixed cameras is installed on the fixed camera.

この構成により、各固定カメラに設けられた標章は固定カメラごとに異なる特徴を有しているため、移動カメラは即時に簡便に固定カメラ判別を行うことができる。   With this configuration, since the mark provided on each fixed camera has a different characteristic for each fixed camera, the moving camera can quickly and easily determine the fixed camera.

また、本発明の監視システムは、前記固定カメラ判別手段による前記固定カメラ判別が、前記複数の標章が撮影される直前の前記移動カメラの前記所定の空間内における位置姿勢に基づいて、前記撮影手段によって撮影された前記複数の標章が前記複数の固定カメラのうちの何れの固定カメラのものかを推定することによって行われる構成を有している。   In the monitoring system of the present invention, the fixed camera determination by the fixed camera determination unit is based on a position and orientation of the moving camera in the predetermined space immediately before the plurality of marks are captured. The plurality of marks photographed by the means is configured to estimate which fixed camera of the plurality of fixed cameras.

この構成により、固定カメラごとに標章の特徴を変えなくても固定カメラ判別を行うことができるため、固定カメラおよびシステム全体のコストを抑えることができる。   With this configuration, the fixed camera can be determined without changing the feature of the mark for each fixed camera, so that the costs of the fixed camera and the entire system can be reduced.

また、本発明の監視システムは、前記固定カメラの位置姿勢を管理する位置姿勢管理手段を有するシステムセンター装置を備え、前記位置姿勢同定手段は、前記システムセンター装置に前記固定カメラの前記所定の空間内における位置姿勢を問い合わせ、前記固定カメラの前記所定の空間内における位置姿勢および前記相対位置姿勢検出手段によって検出された位置姿勢に基づいて、前記移動カメラの前記所定の空間内における位置姿勢を同定する構成を有している。   The monitoring system of the present invention further includes a system center device having a position and orientation management unit that manages the position and orientation of the fixed camera, and the position and orientation identification unit includes the predetermined space of the fixed camera in the system center device. The position and orientation of the mobile camera in the predetermined space is identified based on the position and orientation of the fixed camera in the predetermined space and the position and orientation detected by the relative position and orientation detection means. It has the composition to do.

この構成により、固定カメラの位置姿勢がシステムセンター装置によって管理されているため、固定カメラの位置姿勢が動的に変更されている場合、または、固定カメラの位置姿勢が初期状態から変化した場合であっても、システムセンター装置から移動カメラに正確な固定カメラの位置姿勢を通知することができ、移動カメラは空間内における自らの正確な位置姿勢を同定することができる。   With this configuration, the position and orientation of the fixed camera is managed by the system center device. Therefore, when the position and orientation of the fixed camera is changed dynamically, or when the position and orientation of the fixed camera changes from the initial state. Even in such a case, it is possible to notify the mobile camera of the accurate position and orientation of the fixed camera from the system center device, and the mobile camera can identify its exact location and orientation in space.

また、本発明の監視システムは、前記固定カメラは、前記固定カメラを保護するカメラハウジングに収納され、前記標章は、前記固定カメラの外装ではなく、前記カメラハウジングの外装に設けられる構成を有している。   In the surveillance system of the present invention, the fixed camera is housed in a camera housing that protects the fixed camera, and the mark is provided not on the exterior of the fixed camera but on the exterior of the camera housing. doing.

この構成により、固定カメラのカメラハウジングを変更するだけで、または、固定カメラにカメラハウジングを設置するだけで、外装に標章が設けられた固定カメラを簡便に実現することができる。このため、既に固定カメラが設置された空間に本発明の監視システムを導入する際には、固定カメラの変更に伴う手間を省くことができ、また、固定カメラの変更に伴うコストを抑制することができる。   With this configuration, it is possible to easily realize a fixed camera having a mark on the exterior simply by changing the camera housing of the fixed camera or simply installing the camera housing on the fixed camera. For this reason, when introducing the surveillance system of the present invention in a space where a fixed camera is already installed, it is possible to save time and labor associated with the change of the fixed camera, and to suppress the cost associated with the change of the fixed camera. Can do.

また、本発明の固定カメラは、外装に複数の標章を設けた構成を有している。   The fixed camera of the present invention has a configuration in which a plurality of marks are provided on the exterior.

この構成により、固定カメラの外装に設けられた標章をランドマークとして利用され、移動カメラの位置姿勢が同定されるため、空間リソースに視覚的なランドマークを設置する必要がなく、有限の空間リソースを損なわずに視覚的なランドマークに基づいた移動カメラの位置姿勢の同定を行うことができる。   With this configuration, the mark provided on the exterior of the fixed camera is used as a landmark, and the position and orientation of the moving camera are identified, so there is no need to install a visual landmark in the space resource, and a finite space The position and orientation of the moving camera can be identified based on visual landmarks without losing resources.

また、本発明の固定カメラは、外装の複数の端部にそれぞれ球形状の標章を設けた構成を有している。   The fixed camera of the present invention has a configuration in which a spherical mark is provided at each of a plurality of end portions of the exterior.

この構成により、固定カメラの外装に設けられた標章をランドマークとして利用され、移動カメラの位置姿勢が同定されるため、空間リソースに視覚的なランドマークを設置する必要がなく、有限の空間リソースを損なわずに視覚的なランドマークに基づいた移動カメラの位置姿勢の同定を行うことができる。また、標章を何れの方向から見たとしても常に円形として認識されるため、移動カメラにおいて撮影された標章のパターンに基づいて移動カメラの位置姿勢を同定する際に、標章を容易に認識することができる。   With this configuration, the mark provided on the exterior of the fixed camera is used as a landmark, and the position and orientation of the moving camera are identified, so there is no need to install a visual landmark in the space resource, and a finite space The position and orientation of the moving camera can be identified based on visual landmarks without losing resources. In addition, since the mark is always recognized as a circular shape when viewed from any direction, it is easy to identify the mark when identifying the position and orientation of the moving camera based on the pattern of the mark taken by the moving camera. Can be recognized.

また、本発明の固定カメラは、外装の複数の縁辺にそれぞれ帯状の標章を設けた構成を有している。   The fixed camera of the present invention has a configuration in which strip marks are provided on a plurality of edges of the exterior.

この構成により、固定カメラの外装に設けられた標章をランドマークとして利用され、移動カメラの位置姿勢が同定されるため、空間リソースに視覚的なランドマークを設置する必要がなく、有限の空間リソースを損なわずに視覚的なランドマークに基づいた移動カメラの位置姿勢の同定を行うことができる。また、固定カメラの外装の広い範囲にわたって標章が設けられるため、移動カメラにおいて撮影された標章のパターンに基づいて移動カメラの位置姿勢を同定する際に、標章を容易に認識することができる。   With this configuration, the mark provided on the exterior of the fixed camera is used as a landmark, and the position and orientation of the moving camera are identified, so there is no need to install a visual landmark in the space resource, and a finite space The position and orientation of the moving camera can be identified based on visual landmarks without losing resources. In addition, since the mark is provided over a wide range of the exterior of the fixed camera, the mark can be easily recognized when identifying the position and orientation of the moving camera based on the pattern of the mark photographed by the moving camera. it can.

また、本発明の固定カメラは、前記標章の表面に光を反射する反射材が塗装されている構成を有している。   The fixed camera according to the present invention has a configuration in which a reflective material that reflects light is painted on the surface of the mark.

この構成により、標章に塗装された反射材が光を反射するため、薄暗い空間に固定カメラが設置されている場合であっても標章を簡便に認識することができる。   With this configuration, since the reflective material painted on the mark reflects light, the mark can be easily recognized even when a fixed camera is installed in a dim space.

また、本発明の固定カメラは、前記標章が発光する構成を有している。   The fixed camera of the present invention has a configuration in which the mark emits light.

この構成により、標章が発光するため、薄暗い空間に固定カメラが設置されている場合であっても標章を簡便に認識することができる。   With this configuration, since the mark emits light, the mark can be easily recognized even when a fixed camera is installed in a dim space.

また、本発明の固定カメラは、前記標章が固定カメラごとにそれぞれ異なる色が着色されている構成を有している。   The fixed camera of the present invention has a configuration in which the mark is colored with a different color for each fixed camera.

この構成により、標章の着色が固定カメラごとに異なるため、固定カメラの判別を容易に行うことができる。   With this configuration, since the coloring of the mark differs for each fixed camera, it is possible to easily determine the fixed camera.

また、本発明の固定カメラは、前記標章が固定カメラごとにそれぞれ異なる波長で発光する構成を有している。   The fixed camera of the present invention has a configuration in which the mark emits light at a different wavelength for each fixed camera.

この構成により、標章が固定カメラごとに異なる波長で発光するため、固定カメラの判別を容易に行うことができる。   With this configuration, since the mark emits light with a different wavelength for each fixed camera, the fixed camera can be easily identified.

また、本発明の固定カメラは、前記標章が固定カメラごとにそれぞれ異なる発光パターンで発光する構成を有している。   The fixed camera of the present invention has a configuration in which the mark emits light with a different light emission pattern for each fixed camera.

この構成により、標章が固定カメラごとに異なる発光パターンで発光するため、固定カメラの判別を容易に行うことができる。   With this configuration, since the mark emits light with a different light emission pattern for each fixed camera, the fixed camera can be easily identified.

また、本発明の固定カメラは、前記複数の帯状の標章が固定カメラごとに異なるバーコードパターンを有して設けられる構成を有している。   The fixed camera of the present invention has a configuration in which the plurality of belt-shaped marks are provided with different barcode patterns for each fixed camera.

この構成により、帯状の標章がバーコードパターンを形成し、固定カメラごとに異なるバーコードパターンを有しているため、固定カメラの判別を容易に行うことができる。   With this configuration, since the belt-shaped mark forms a barcode pattern and has a different barcode pattern for each fixed camera, the fixed camera can be easily identified.

また、本発明のカメラハウジングは、固定カメラを保護するカメラハウジングであって、請求項7乃至請求項15に記載の固定カメラに設けられた複数の標章を外装に設けた構成を有している。   The camera housing of the present invention is a camera housing that protects a fixed camera, and has a configuration in which a plurality of marks provided on the fixed camera according to claim 7 are provided on an exterior. Yes.

この構成により、固定カメラのカメラハウジングを変更するだけで、または、固定カメラにカメラハウジングを設置するだけで、外装に標章が設けられた固定カメラを簡便に実現することができる。このため、既に固定カメラが設置された空間に本発明の監視システムを導入する際には、固定カメラの変更に伴う手間を省くことができ、また、固定カメラの変更に伴うコストを抑制することができる。   With this configuration, it is possible to easily realize a fixed camera having a mark on the exterior simply by changing the camera housing of the fixed camera or simply installing the camera housing on the fixed camera. For this reason, when introducing the surveillance system of the present invention in a space where a fixed camera is already installed, it is possible to save time and labor associated with the change of the fixed camera, and to suppress the cost associated with the change of the fixed camera. Can do.

本発明は、所定の範囲を撮影する固定カメラと、所定の空間内を移動しながら固定カメラの死角を撮影する移動カメラとを備え、固定カメラには、外装に複数の標章が設けられ、移動カメラは、固定カメラに設けられた複数の標章をランドマークとして所定の空間内における自らの位置姿勢を同定することにより、有限の空間リソースを損なわずに視覚的なランドマークに基づいた移動カメラの位置姿勢の同定を行うことができるという効果を有する監視システムを提供することができるものである。   The present invention includes a fixed camera for photographing a predetermined range and a moving camera for photographing a blind spot of the fixed camera while moving in a predetermined space, and the fixed camera is provided with a plurality of marks on the exterior, A moving camera uses multiple marks provided on a fixed camera as landmarks to identify its position and orientation in a given space, thereby moving based on visual landmarks without compromising finite spatial resources. It is possible to provide a monitoring system having an effect that the position and orientation of the camera can be identified.

以下、本発明の実施の形態について、図面を参照して説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図1および図2に示すように、本発明の実施の形態の監視システム10は、空間1における所定の場所にそれぞれ固定され、所定の範囲をそれぞれ撮影する複数の固定カメラ20と、空間1内を移動し、固定カメラ20の死角を撮影する移動カメラ30と、固定カメラ20および移動カメラ30と無線または有線で通信を行い、撮影された映像を管理するシステムセンター装置40とを備えている。   As shown in FIG. 1 and FIG. 2, a monitoring system 10 according to an embodiment of the present invention includes a plurality of fixed cameras 20 that are respectively fixed at predetermined locations in a space 1 and photograph a predetermined range, and the space 1 The mobile camera 30 that captures the blind spot of the fixed camera 20 and the system center device 40 that communicates with the fixed camera 20 and the mobile camera 30 wirelessly or by wire and manages the captured images are provided.

なお、本実施の形態の監視システム10において、固定カメラ20が複数で構成されているが、固定カメラ20は1つでもよい。   In addition, in the monitoring system 10 of this Embodiment, although the fixed camera 20 is comprised with two or more, the fixed camera 20 may be one.

固定カメラ20には、外装に複数の標章20aが設けられている。ここで、標章20aは、図3に示すような帯状のものでもよく、帯状の標章20aは、例えば固定カメラの外装の縁辺に設けられる。また、標章20aは、図4に示すような球形状のものでもよく、球形状の標章20aは、例えば固定カメラの外装の端部に設けられる。また、固定カメラ20は、図3(a)および図4(a)に示すように筐体を露出したものでもよいし、図3(b)および図4(b)に示すように筐体がカメラハウジング内に収納されたものでもよい。固定カメラ20が筐体をカメラハウジング内に収納したものである場合には、標章20aは、カメラハウジングの外装に設けられるものとする。   The fixed camera 20 is provided with a plurality of marks 20a on the exterior. Here, the mark 20a may have a belt-like shape as shown in FIG. 3, and the belt-like mark 20a is provided, for example, on the edge of the exterior of the fixed camera. Further, the mark 20a may have a spherical shape as shown in FIG. 4, and the spherical mark 20a is provided, for example, at an end of the exterior of the fixed camera. Further, the fixed camera 20 may be one having a housing exposed as shown in FIGS. 3 (a) and 4 (a), or the housing as shown in FIGS. 3 (b) and 4 (b). It may be housed in a camera housing. When the fixed camera 20 has a housing housed in the camera housing, the mark 20a is provided on the exterior of the camera housing.

なお、標章20aは、所定の波長で発光するようになっていてもよい。また、標章20aには、光を反射する反射材が塗装されていてもよい。また、標章20aは、着色されていてもよい。   The mark 20a may emit light at a predetermined wavelength. The mark 20a may be coated with a reflective material that reflects light. The mark 20a may be colored.

また、標章20aは、空間1内に設置された固定カメラ20ごとに特徴を有するようになっているものとする。標章20aが着色されているものである場合には、着色の色が固定カメラ20ごとに変更されるのでもよい。標章20aが発光するものである場合には、発光パタンや発光周波数が固定カメラ20ごとに変更されるのでもよいし、発光波長が固定カメラ20ごとに変更されるのでもよい。また、標章20aが図3に示すような帯状のものである場合には、固定カメラ20ごとにパターンの異なるバーコード状の標章20aが固定カメラ20に設置されるのでもよい。   In addition, the mark 20a has a feature for each fixed camera 20 installed in the space 1. When the mark 20a is colored, the color of coloring may be changed for each fixed camera 20. When the mark 20 a emits light, the light emission pattern and the light emission frequency may be changed for each fixed camera 20, or the light emission wavelength may be changed for each fixed camera 20. Further, when the mark 20 a has a strip shape as shown in FIG. 3, a barcode-shaped mark 20 a having a different pattern for each fixed camera 20 may be installed on the fixed camera 20.

また、図2に示すように、固定カメラ20は、所定の範囲を撮影する撮影手段21と、撮影して得られた映像データを符号化する符号化手段22とを備えている。なお、固定カメラ20は、自姿勢を変更して撮影する範囲を変更する機能を有してもよく、この場合には、固定カメラ20をパンおよびチルトさせて固定カメラ20の姿勢を変更する姿勢変更手段23を備えている。なお、符号化手段22は、符号化した映像データをシステムセンター装置40に出力するようになっている。また、姿勢変更手段23は、システムセンター装置40の制御に応じて固定カメラ20の姿勢を変更するようになっている。また、姿勢変更手段23は、所定の場所に固定されたレールに沿って固定カメラ20の位置を変更できるようにしてもよい。   As shown in FIG. 2, the fixed camera 20 includes an imaging unit 21 that captures a predetermined range and an encoding unit 22 that encodes video data obtained by imaging. Note that the fixed camera 20 may have a function of changing the shooting range by changing its own posture. In this case, the posture of changing the posture of the fixed camera 20 by panning and tilting the fixed camera 20. A change means 23 is provided. The encoding unit 22 outputs the encoded video data to the system center device 40. Further, the posture changing means 23 changes the posture of the fixed camera 20 according to the control of the system center device 40. Further, the posture changing means 23 may change the position of the fixed camera 20 along a rail fixed at a predetermined place.

移動カメラ30は、図2に示すように、固定カメラ20の死角および複数の標章20aを撮影する撮影手段31と、撮影手段31によって標章20aが撮影されたか否かを検出して標章20aの画像を抽出する標章抽出手段32と、撮影手段31によって撮影された標章20aが複数の固定カメラ20のうちの何れの固定カメラ20のものかを判別する固定カメラ判別を行う固定カメラ判別手段33とを備えている。なお、監視システム10が固定カメラ20を1つだけ備えている場合には、移動カメラ30は、固定カメラ判別手段33を備えていなくてもよい。   As shown in FIG. 2, the moving camera 30 detects a blind spot of the fixed camera 20 and a plurality of marks 20 a, and detects whether or not the mark 20 a has been shot by the shooting means 31. A mark extraction means 32 for extracting an image of 20a, and a fixed camera for performing fixed camera determination for determining which of the plurality of fixed cameras 20 the mark 20a photographed by the photographing means 31 belongs to. And a discriminating means 33. Note that when the monitoring system 10 includes only one fixed camera 20, the moving camera 30 may not include the fixed camera determination unit 33.

また、移動カメラ30は、撮影手段31によって撮影された複数の標章20aの画像パターンに基づいて、固定カメラ20に対する移動カメラ30の相対的な位置姿勢を検出する相対位置姿勢検出手段34と、固定カメラ判別手段33によって判別された固定カメラの空間1内における位置姿勢および相対位置姿勢検出手段34によって検出された位置姿勢に基づいて、移動カメラ30の空間1内における位置姿勢を同定する位置姿勢同定手段35とを備えている。   In addition, the moving camera 30 includes a relative position / orientation detecting unit 34 that detects a relative position / orientation of the moving camera 30 with respect to the fixed camera 20 based on the image patterns of the plurality of marks 20 a captured by the imaging unit 31. The position and orientation for identifying the position and orientation of the mobile camera 30 in the space 1 based on the position and orientation of the fixed camera in the space 1 determined by the fixed camera discrimination means 33 and the position and orientation detected by the relative position and orientation detection means 34 And an identification means 35.

また、移動カメラ30は、位置姿勢同定手段35によって同定された位置姿勢を表す情報を記憶する位置姿勢記憶手段36と、位置姿勢同定手段35によって同定された位置姿勢に基づいて移動カメラ30の移動計画を設定する移動計画設定手段37と、撮影手段31によって撮影されて得られた映像データを符号化する符号化手段38と、システムセンター装置40との間で無線通信を行う通信手段39とを備えている。また、移動カメラ30は、移動するための移動手段を当然に備えているものとする。   The moving camera 30 also includes a position / orientation storage unit 36 that stores information representing the position and orientation identified by the position / orientation identification unit 35, and the movement of the moving camera 30 based on the position and orientation identified by the position / orientation identification unit 35. A movement plan setting unit 37 for setting a plan, an encoding unit 38 for encoding video data obtained by photographing by the photographing unit 31, and a communication unit 39 for performing wireless communication with the system center device 40 I have. In addition, it is assumed that the moving camera 30 is naturally provided with moving means for moving.

撮影手段31は、撮影した映像を表す移動監視映像データを生成し、生成した移動監視映像データを標章抽出手段32および符号化手段38に出力するようになっている。   The imaging unit 31 generates movement monitoring video data representing the captured video, and outputs the generated movement monitoring video data to the mark extraction unit 32 and the encoding unit 38.

標章抽出手段32には、撮影手段31によって生成された移動監視映像データが入力されるようになっており、標章抽出手段32は、撮影手段31によって標章20aが撮影されたことを検出した場合には、入力された移動監視映像データの中から標章の画像を表す標章画像データを抽出するようになっている。   The movement extraction video data generated by the photographing means 31 is input to the mark extracting means 32, and the mark extracting means 32 detects that the mark 20a has been photographed by the photographing means 31. In this case, the mark image data representing the image of the mark is extracted from the input movement monitoring video data.

固定カメラ判別手段33は、固定カメラ判別の結果を表す固定カメラ判別情報を生成し、生成した固定カメラ判別情報を位置姿勢同定手段35に出力するようになっている。なお、固定カメラ判別情報は、例えば、固定カメラの識別番号によって構成されるようになっており、固定カメラを識別可能な情報であればその形態を限定されない。   The fixed camera discrimination means 33 generates fixed camera discrimination information indicating the result of the fixed camera discrimination, and outputs the generated fixed camera discrimination information to the position / orientation identification means 35. Note that the fixed camera discrimination information is configured by, for example, an identification number of the fixed camera, and the form thereof is not limited as long as the information can identify the fixed camera.

なお、固定カメラ判別手段33は、各固定カメラ20に設けられた標章20aの特徴を表す情報を予め記憶し、記憶された標章20aの特徴を表す情報に基づいて上述した固定カメラ判別を行うようになっている。なお、固定カメラ判別手段33は、標章20aの特徴を表す情報を予め記憶していなくてもよく、固定カメラ判別を行うときに、各固定カメラ20に設けられた標章20aの特徴を表す情報を通信手段39を介してシステムセンター装置40に問い合わせ、システムセンター装置40によって通知される情報に基づいて上述した固定カメラ判別を行うようになっていてもよい。   The fixed camera discrimination means 33 stores in advance information representing the features of the mark 20a provided in each fixed camera 20, and performs the above-described fixed camera discrimination based on the information representing the features of the stored mark 20a. To do. Note that the fixed camera discrimination means 33 does not have to store information representing the feature of the mark 20a in advance, and represents the feature of the mark 20a provided in each fixed camera 20 when performing the fixed camera discrimination. The system center device 40 may be inquired for information via the communication means 39, and the above-described fixed camera determination may be performed based on information notified by the system center device 40.

相対位置姿勢検出手段34は、検出された移動カメラ30の固定カメラ20に対する相対的な位置姿勢を表す相対位置姿勢情報を生成し、生成した相対位置姿勢情報を位置姿勢同定手段35に出力するようになっている。なお、移動カメラ30の相対的な位置姿勢とは、固定カメラ20が設置された位置および固定カメラ20の姿勢を零点としたときの、移動カメラ30の位置姿勢のことをいう。   The relative position / posture detection unit 34 generates relative position / posture information representing the relative position / posture of the detected mobile camera 30 with respect to the fixed camera 20, and outputs the generated relative position / posture information to the position / posture identification unit 35. It has become. The relative position and orientation of the moving camera 30 refers to the position and orientation of the moving camera 30 when the position where the fixed camera 20 is installed and the posture of the fixed camera 20 are zero points.

なお、相対位置姿勢検出手段34は、例えば標章20aが図3に示すような帯状のものであれば、移動カメラ30から見た場合の標章20aの長さ、平行する各標章20a間の距離、各標章20aの傾きなどに基づいて固定カメラ20に対する移動カメラ30の相対的な位置姿勢を計算することによって、固定カメラ20に対する移動カメラ30の相対的な位置姿勢を検出するようになっている。   For example, if the mark 20a is a belt-like shape as shown in FIG. 3, the relative position / orientation detection means 34 is the length of the mark 20a when viewed from the mobile camera 30, and between the parallel marks 20a. The relative position and orientation of the moving camera 30 with respect to the fixed camera 20 is detected by calculating the relative position and orientation of the moving camera 30 with respect to the fixed camera 20 based on the distance of each mark, the inclination of each mark 20a, and the like. It has become.

位置姿勢同定手段35には、固定カメラ判別手段33によって生成された固定カメラ判別情報が入力され、相対位置姿勢検出手段34によって生成された相対位置姿勢情報が入力されるようになっている。位置姿勢同定手段35は、各固定カメラ20の位置姿勢を表す固定カメラ位置姿勢情報を予め記憶するようになっている。なお、固定カメラ20が自姿勢を変更する機能を有する場合には、位置姿勢同定手段35は、固定カメラ位置姿勢情報を予め記憶していなくてもよく、固定カメラ位置姿勢情報を通信手段39を介してシステムセンター装置40に問い合わせ、システムセンター装置40によって通知された固定カメラ位置姿勢情報を記憶するようになっていてもよい。また、時刻に応じて固定カメラ20の自姿勢や位置を変更する場合には、固定カメラ位置姿勢情報は、時刻に対応した各固定カメラ20の位置姿勢を表し、時刻に基づいて各固定カメラ20の位置姿勢を算出できる関数やスケジュールを表すようにしてもよい。   The position / orientation identification means 35 receives the fixed camera discrimination information generated by the fixed camera discrimination means 33 and the relative position / orientation information generated by the relative position / orientation detection means 34. The position / orientation identification means 35 stores in advance fixed camera position / orientation information indicating the position / orientation of each fixed camera 20. When the fixed camera 20 has a function of changing its own posture, the position / posture identification unit 35 may not store the fixed camera position / posture information in advance, and the fixed camera position / posture information may be stored in the communication unit 39. The fixed camera position / orientation information notified by the system center apparatus 40 may be stored through an inquiry to the system center apparatus 40 via the system center apparatus 40. Further, when the position and orientation of the fixed camera 20 are changed according to the time, the fixed camera position and orientation information represents the position and orientation of each fixed camera 20 corresponding to the time, and each fixed camera 20 is based on the time. It is also possible to represent a function or schedule that can calculate the position and orientation.

また、位置姿勢同定手段35は、固定カメラ判別情報に基づいて、固定カメラ判別手段33によって判別された固定カメラ20の位置姿勢を表す情報を記憶された情報の中から読み出すようになっている。なお、各固定カメラ20の位置姿勢とは、空間1の特定点を零点としたときの固定カメラ20の位置姿勢のことをいい、空間1の特定点とは、監視システム10において予め設定された点のことをいう。また、位置姿勢同定手段35は、読み出された固定カメラ20の位置姿勢を表す情報と入力された相対位置姿勢情報とに基づき、移動カメラ30の位置姿勢を固定カメラ20を零点とする位置姿勢から空間1の特定点を零点とする位置姿勢に変換することによって、前述したように移動カメラ30の空間1内における位置姿勢を同定するようになっている。   Further, the position / orientation identification unit 35 reads information representing the position and orientation of the fixed camera 20 determined by the fixed camera determination unit 33 from the stored information based on the fixed camera determination information. The position and orientation of each fixed camera 20 refers to the position and orientation of the fixed camera 20 when a specific point in the space 1 is a zero point. The specific point in the space 1 is set in advance in the monitoring system 10. It means a point. Further, the position / orientation identification unit 35 sets the position / orientation of the moving camera 30 to the position / orientation with the fixed camera 20 as a zero point based on the read information indicating the position / orientation of the fixed camera 20 and the input relative position / orientation information. The position and orientation of the mobile camera 30 in the space 1 is identified as described above by converting from a position and orientation with a specific point in the space 1 to zero.

また、位置姿勢同定手段35は、移動カメラ30の空間1内における位置姿勢を表す移動カメラ位置姿勢情報を生成し、生成した移動カメラ位置姿勢情報を位置姿勢記憶手段36および移動計画設定手段37に出力するようになっている。   The position / orientation identification unit 35 generates moving camera position / orientation information representing the position / orientation of the moving camera 30 in the space 1, and stores the generated moving camera position / orientation information in the position / orientation storage unit 36 and the movement plan setting unit 37. It is designed to output.

位置姿勢記憶手段36には、位置姿勢同定手段35によって出力された移動カメラ位置姿勢情報が入力されるようになっており、位置姿勢記憶手段36は、入力された移動カメラ位置姿勢情報を記憶するようになっている。なお、位置姿勢記憶手段36は、移動カメラ30の移動および移動カメラ30の撮影方向の変更に応じて、移動カメラ位置姿勢情報を更新するようにもなっている。   The position / orientation storage unit 36 receives the mobile camera position / orientation information output by the position / orientation identification unit 35, and the position / orientation storage unit 36 stores the input mobile camera position / orientation information. It is like that. Note that the position / orientation storage means 36 updates the moving camera position / orientation information in accordance with the movement of the moving camera 30 and the change of the shooting direction of the moving camera 30.

移動計画設定手段37には、位置姿勢同定手段35によって出力された移動カメラ位置姿勢情報が入力されるようになっている。移動計画設定手段37は、入力された移動カメラ位置姿勢情報によって表される移動カメラ30の位置から予め設定されている移動目標位置まで移動するための移動計画を設定するようになっている。なお、移動計画設定手段37は、設定された移動計画を表す情報を図示しない移動手段に出力し、移動手段は、移動計画設定手段37によって設定された移動計画に基づいて移動カメラ30を移動するようになっている。   The moving camera position and orientation information output by the position and orientation identification unit 35 is input to the movement plan setting unit 37. The movement plan setting unit 37 sets a movement plan for moving from the position of the moving camera 30 represented by the input moving camera position and orientation information to a predetermined movement target position. The movement plan setting means 37 outputs information representing the set movement plan to a movement means (not shown), and the movement means moves the moving camera 30 based on the movement plan set by the movement plan setting means 37. It is like that.

ここで、移動計画設定手段37は、通信手段39を介してシステムセンター装置40に移動カメラ30の移動目標位置を問い合わせ、システムセンター装置40によって通知される移動目標位置に基づいて移動計画を設定するようになっていてもよい。   Here, the movement plan setting unit 37 inquires of the system center device 40 about the movement target position of the moving camera 30 via the communication unit 39, and sets the movement plan based on the movement target position notified by the system center device 40. It may be like this.

符号化手段38は、撮影手段31によって生成された移動監視映像データを符号化し、符号化した移動監視映像データを通信手段39を介してシステムセンター装置40に送信するようになっている。   The encoding unit 38 encodes the movement monitoring video data generated by the photographing unit 31 and transmits the encoded movement monitoring video data to the system center device 40 via the communication unit 39.

システムセンター装置40は、移動カメラ30との間で無線通信を行う通信手段41と、固定カメラ20および移動カメラ30によって出力された映像データを復号化し、所定の映像処理を施す映像処理手段42とを少なくとも備えている。なお、固定カメラ20が自姿勢を変更する機能を有する場合には、各固定カメラ20の姿勢を制御する姿勢制御手段43と、固定カメラ20の位置姿勢を管理する位置姿勢管理手段44とを備えているものとする。なお、位置姿勢管理手段44は、各固定カメラの姿勢の変更に応じて各固定カメラ20の位置姿勢を表す固定カメラ位置姿勢情報を生成し、移動カメラ30からの問い合わせに応じて通信手段41を介して固定カメラ位置姿勢情報を移動カメラ30に通知するようになっている。   The system center apparatus 40 includes a communication unit 41 that performs wireless communication with the mobile camera 30, a video processing unit 42 that decodes video data output by the fixed camera 20 and the mobile camera 30, and performs predetermined video processing. At least. In addition, when the fixed camera 20 has a function of changing its own posture, a posture control unit 43 that controls the posture of each fixed camera 20 and a position and posture management unit 44 that manages the position and posture of the fixed camera 20 are provided. It shall be. The position / orientation management unit 44 generates fixed camera position / orientation information indicating the position / orientation of each fixed camera 20 in response to a change in the posture of each fixed camera, and causes the communication unit 41 to respond to an inquiry from the mobile camera 30. The mobile camera 30 is notified of the fixed camera position and orientation information.

以下、本発明の実施の形態の監視システムに係る移動カメラの位置姿勢を同定する動作の流れについて、図5に示すフローチャートを参照して説明する。   Hereinafter, the flow of the operation for identifying the position and orientation of the mobile camera according to the monitoring system of the embodiment of the present invention will be described with reference to the flowchart shown in FIG.

まず、移動カメラ30において、空間1内が撮影手段31によって撮影され、移動監視映像データが撮影手段31によって生成される(ステップS1)。そして、移動監視映像データによって表される映像の中に標章20aが映されているか否かが標章抽出手段32によって検出され、映像の中に標章20aが映されていると検出された場合に(ステップS2)、移動監視映像データの中から標章20aの画像を表す標章画像データが標章抽出手段32によって抽出される(ステップS3)。   First, in the moving camera 30, the space 1 is imaged by the imaging means 31, and movement monitoring video data is generated by the imaging means 31 (step S1). Then, it is detected by the mark extraction means 32 whether or not the mark 20a is shown in the video represented by the movement monitoring video data, and it is detected that the mark 20a is shown in the video. In this case (step S2), the mark image data representing the image of the mark 20a is extracted from the movement monitoring video data by the mark extracting means 32 (step S3).

次に、固定カメラ判別が固定カメラ判別手段33によって行われる(ステップS4)。また、固定カメラ20に対する移動カメラ30の相対的な位置姿勢が相対位置姿勢検出手段34によって検出される(ステップS5)。次いで、固定カメラ判別手段33によって判別された固定カメラ20に係る位置姿勢と固定カメラ20に対する移動カメラ30の相対的な位置姿勢とに基づいて、空間1における移動カメラ30の位置姿勢が位置姿勢同定手段35によって同定される(ステップS6)。また、空間1における移動カメラ30の位置姿勢を表す移動カメラ位置姿勢情報が位置姿勢同定手段35によって生成され、移動カメラ位置姿勢情報が位置姿勢記憶手段36に記憶される(ステップS7)。   Next, fixed camera discrimination is performed by the fixed camera discrimination means 33 (step S4). Further, the relative position and orientation of the moving camera 30 with respect to the fixed camera 20 is detected by the relative position and orientation detection means 34 (step S5). Next, based on the position and orientation of the fixed camera 20 determined by the fixed camera determination unit 33 and the relative position and orientation of the moving camera 30 with respect to the fixed camera 20, the position and orientation of the moving camera 30 in the space 1 is determined as position and orientation identification. It is identified by means 35 (step S6). Further, the moving camera position / orientation information indicating the position and orientation of the moving camera 30 in the space 1 is generated by the position / orientation identifying means 35, and the moving camera position / orientation information is stored in the position / orientation storage means 36 (step S7).

以上説明したように、本発明の実施の形態の監視システムは、固定カメラの外装に設けられた標章をランドマークとして利用することによって、移動カメラの位置姿勢が同定される。このため、空間リソースに視覚的なランドマークを設置する必要がなく、有限の空間リソースを損なわずに視覚的なランドマークに基づいた移動カメラの位置姿勢の同定を行うことができる。   As described above, the monitoring system according to the embodiment of the present invention identifies the position and orientation of the moving camera by using the mark provided on the exterior of the fixed camera as a landmark. For this reason, it is not necessary to install visual landmarks in the spatial resources, and the position and orientation of the mobile camera can be identified based on the visual landmarks without losing finite spatial resources.

また、各固定カメラに設けられた標章は固定カメラごとに異なる特徴を有しているため、移動カメラは標章を撮影するだけで複数の固定カメラのうち何れの固定カメラの標章を撮影しているかを即時に判別することができる。   In addition, since the mark provided on each fixed camera has different characteristics for each fixed camera, the moving camera can shoot the mark of any fixed camera among multiple fixed cameras just by shooting the mark. It is possible to immediately determine whether or not

また、固定カメラの位置姿勢がシステムセンター装置によって管理されているため、固定カメラの位置姿勢が動的に変更されている場合、または、固定カメラの位置姿勢が初期状態から変化した場合であっても、システムセンター装置から移動カメラに正確な固定カメラの位置姿勢を通知することができ、移動カメラは空間内における自らの正確な位置姿勢を同定することができる。   In addition, since the position and orientation of the fixed camera is managed by the system center device, the position and orientation of the fixed camera is dynamically changed, or the position and orientation of the fixed camera changes from the initial state. In addition, the system center apparatus can notify the moving camera of the accurate position and orientation of the fixed camera, and the moving camera can identify its own accurate position and orientation in the space.

なお、本発明の実施の形態の監視システムにおいては、各固定カメラに設けられた標章は固定カメラごとに異なる特徴を有しているため、固定カメラ判別手段は、標章の特徴に基づいて固定カメラ判別を行っていたが、固定カメラ判別手段は、標章が撮影される直前の移動カメラの空間内における位置姿勢に基づいて、撮影された標章が複数の固定カメラのうちの何れの固定カメラのものかを推定することによって、上述した固定カメラ判別を行うようになっていてもよい。なお、標章が撮影される直前の移動カメラの空間内における位置姿勢は、移動計画設定手段において移動カメラの移動および撮影方向の変更ごとに更新される移動カメラ位置姿勢情報によって与えられるようになっているものとする。この構成により、固定カメラごとに標章の特徴を変えなくてもよいため、固定カメラおよびシステム全体のコストを抑えることができる。   In the monitoring system according to the embodiment of the present invention, since the mark provided in each fixed camera has a different characteristic for each fixed camera, the fixed camera discrimination means is based on the characteristic of the mark. Although the fixed camera discrimination is performed, the fixed camera discrimination means is configured to determine which of the plurality of fixed cameras the captured mark is based on the position and orientation in the space of the moving camera immediately before the mark is captured. The fixed camera discrimination described above may be performed by estimating whether the camera is a fixed camera. Note that the position and orientation in the space of the moving camera immediately before the mark is photographed are given by the moving camera position and orientation information that is updated each time the moving camera moves and changes the photographing direction in the movement plan setting means. It shall be. With this configuration, since it is not necessary to change the feature of the mark for each fixed camera, the costs of the fixed camera and the entire system can be suppressed.

なお、本発明の実施の形態の監視システムにおいて、移動カメラが固定カメラの位置姿勢を表す情報を必要とする場合には、固定カメラの位置姿勢を表す情報が移動カメラによってシステムセンター装置に問い合わされた後にシステムセンター装置から移動カメラに通知されるようになっていたが、標章が発光するようになっている場合には、標章の発光パタンを介して固定カメラの位置姿勢を移動カメラに認識させるようになっていてもよいものとする。この構成により、移動カメラは固定カメラの位置姿勢を表す情報を必要とする場合であっても、逐一システムセンター装置に問い合わせを行わずに、標章を撮影するだけで固定カメラの位置姿勢を知ることができる。   In the monitoring system according to the embodiment of the present invention, when the moving camera needs information indicating the position and orientation of the fixed camera, the information indicating the position and orientation of the fixed camera is inquired to the system center device by the moving camera. After that, the system center device notifies the mobile camera, but if the mark emits light, the position and orientation of the fixed camera are indicated to the mobile camera via the light emission pattern of the mark. It may be made to recognize. With this configuration, even if the mobile camera needs information indicating the position and orientation of the fixed camera, it can know the position and orientation of the fixed camera simply by photographing the mark without making inquiries to the system center device one by one. be able to.

また、標章抽出手段、固定カメラ判別手段、相対位置姿勢検出手段、位置姿勢同定手段、位置姿勢記憶手段および移動計画設定手段は、本発明の実施の形態の監視システムにおいては移動カメラに備えられていたが、システムセンター装置に備えられるようになっていてもよいものとする。   In addition, the mark extraction unit, the fixed camera discrimination unit, the relative position / posture detection unit, the position / posture identification unit, the position / posture storage unit, and the movement plan setting unit are provided in the mobile camera in the monitoring system according to the embodiment of the present invention. However, it may be provided in the system center apparatus.

以上のように、本発明にかかる監視システムは、有限の空間リソースを損なわずに視覚的なランドマークに基づいた移動カメラの位置姿勢の同定を行うことができるという効果を有し、固定された固定カメラと移動可能な移動カメラとで所定の空間を監視する監視システム等として有用である。   As described above, the monitoring system according to the present invention has the effect of being able to identify the position and orientation of a mobile camera based on visual landmarks without losing limited space resources, and has been fixed. This is useful as a monitoring system for monitoring a predetermined space with a fixed camera and a movable camera that can move.

本発明の実施の形態の監視システムの構成図Configuration diagram of a monitoring system according to an embodiment of the present invention 本発明の実施の形態の監視システムの構成のブロック図The block diagram of the structure of the monitoring system of embodiment of this invention (a)本発明の実施の形態の監視システムに係る外装の縁辺に帯状の標章が設けられた固定カメラの概観図 (b)本発明の実施の形態の監視システムに係る外装の縁辺に帯状の標章が設けられたカメラハウジングの概観図(A) Overview of a fixed camera in which a band-shaped mark is provided on an edge of the exterior according to the monitoring system of the embodiment of the present invention (b) A belt-like shape on the edge of the exterior according to the monitoring system of the embodiment of the present invention Overview of the camera housing with the mark (a)本発明の実施の形態の監視システムに係る外装の端部に球形状の標章が設けられた固定カメラの概観図 (b)本発明の実施の形態の監視システムに係る外装の端部に球形状の標章が設けられたカメラハウジングの概観図(A) Overview of a fixed camera in which a spherical mark is provided at an end of an exterior according to the monitoring system of the embodiment of the present invention (b) End of the exterior according to the monitoring system of the embodiment of the present invention Overview of the camera housing with a spherical mark on the part 本発明の実施の形態の監視システムに係る移動カメラの位置姿勢を同定する処理の流れを示すフローチャートThe flowchart which shows the flow of the process which identifies the position and orientation of the mobile camera which concerns on the monitoring system of embodiment of this invention. 従来の監視システムの構成図Configuration diagram of a conventional monitoring system

符号の説明Explanation of symbols

1、9 空間
10、90 監視システム
20、91 固定カメラ
20a 標章
21、31 撮影手段
22、38 符号化手段
23 姿勢変更手段
30、92 移動カメラ
32 標章抽出手段
33 固定カメラ判別手段
34 相対位置姿勢検出手段
35 位置姿勢同定手段
36 位置姿勢記憶手段
37 移動計画設定手段
39、41 通信手段
40 システムセンター装置
42 映像処理手段
43 姿勢制御手段
44 位置姿勢管理手段
93 ランドマーク
DESCRIPTION OF SYMBOLS 1, 9 Space 10, 90 Surveillance system 20, 91 Fixed camera 20a Mark 21, 31 Image | photographing means 22, 38 Coding means 23 Attitude change means 30, 92 Moving camera 32 Mark extraction means 33 Fixed camera discrimination means 34 Relative position Attitude detection means 35 Position / attitude identification means 36 Position / attitude storage means 37 Movement plan setting means 39, 41 Communication means 40 System center device 42 Video processing means 43 Attitude control means 44 Position / attitude management means 93 Landmark

Claims (16)

所定の空間における所定の場所に固定され、所定の範囲を撮影する固定カメラと、前記所定の空間内を移動し、前記固定カメラの死角を撮影する移動カメラとを備え、前記固定カメラには、外装に複数の標章が設けられ、前記移動カメラは、前記固定カメラに設けられた複数の標章をランドマークとして前記所定の空間内における自らの位置姿勢を同定することを特徴とする監視システム。 A fixed camera that is fixed at a predetermined place in a predetermined space and shoots a predetermined range; and a moving camera that moves in the predetermined space and shoots a blind spot of the fixed camera, the fixed camera includes: A plurality of marks are provided on the exterior, and the mobile camera identifies its position and orientation in the predetermined space using the marks provided on the fixed camera as landmarks . 所定の空間における所定の場所にそれぞれ固定され、所定の範囲をそれぞれ撮影する複数の固定カメラと、前記所定の空間内を移動し、前記固定カメラの死角を撮影する移動カメラとを備え、前記固定カメラには、外装に複数の標章がそれぞれ設けられ、前記移動カメラは、前記固定カメラの死角および前記複数の標章を撮影する撮影手段と、前記撮影手段によって撮影された前記標章が前記複数の固定カメラのうちの何れの固定カメラのものかを判別する固定カメラ判別を行う固定カメラ判別手段と、前記撮影手段によって撮影された前記複数の標章の画像パターンに基づいて、前記移動カメラの前記固定カメラに対する相対的な位置姿勢を検出する相対位置姿勢検出手段と、前記固定カメラ判別手段によって判別された固定カメラの前記所定の空間内における位置姿勢および前記相対位置姿勢検出手段によって検出された位置姿勢に基づいて、前記移動カメラの前記所定の空間内における位置姿勢を同定する位置姿勢同定手段とを有することを特徴とする監視システム。 A plurality of fixed cameras that are fixed at predetermined positions in a predetermined space and respectively photograph a predetermined range; and a movable camera that moves within the predetermined space and photographs a blind spot of the fixed camera. The camera is provided with a plurality of marks on its exterior, and the moving camera has a blind spot of the fixed camera and photographing means for photographing the plurality of marks, and the marks photographed by the photographing means are A fixed camera determining means for determining a fixed camera of a plurality of fixed cameras; and the moving camera based on an image pattern of the plurality of marks photographed by the photographing means. Relative position and orientation detection means for detecting a relative position and orientation of the fixed camera, and the fixed camera determined by the fixed camera determination means A position and orientation identification unit that identifies the position and orientation of the mobile camera in the predetermined space based on the position and orientation in a predetermined space and the position and orientation detected by the relative position and orientation detection unit. Monitoring system. 前記固定カメラの外装に設けられる前記標章は、前記固定カメラごとにそれぞれ異なる特徴を有し、前記固定カメラ判別手段による前記固定カメラ判別は、前記標章の特徴に基づいて、前記標章が前記複数の固定カメラのうち何れの固定カメラに設置されたものかを判別することによって行われることを特徴とする請求項2に記載の監視システム。 The mark provided on the exterior of the fixed camera has a different characteristic for each of the fixed cameras, and the fixed camera discrimination by the fixed camera discrimination means is based on the feature of the mark. The monitoring system according to claim 2, wherein the monitoring system is performed by determining which one of the plurality of fixed cameras is installed. 前記固定カメラ判別手段による前記固定カメラ判別は、前記複数の標章が撮影される直前の前記移動カメラの前記所定の空間内における位置姿勢に基づいて、前記撮影手段によって撮影された前記複数の標章が前記複数の固定カメラのうちの何れの固定カメラのものかを推定することによって行われることを特徴とする請求項2に記載の監視システム。 The fixed camera discrimination by the fixed camera discrimination means is performed by the plurality of marks taken by the photographing means based on the position and orientation of the moving camera in the predetermined space immediately before the plurality of marks are photographed. The monitoring system according to claim 2, wherein the monitoring system is performed by estimating which of the plurality of fixed cameras is a chapter. 前記固定カメラの位置姿勢を管理する位置姿勢管理手段を有するシステムセンター装置を備え、前記位置姿勢同定手段は、前記システムセンター装置に前記固定カメラの前記所定の空間内における位置姿勢を問い合わせ、前記固定カメラの前記所定の空間内における位置姿勢および前記相対位置姿勢検出手段によって検出された位置姿勢に基づいて、前記移動カメラの前記所定の空間内における位置姿勢を同定することを特徴とする請求項2乃至請求項4の何れかに記載の監視システム。 A system center device having position and orientation management means for managing the position and orientation of the fixed camera, wherein the position and orientation identification means inquires of the system center device about the position and orientation of the fixed camera in the predetermined space, and The position and orientation of the movable camera in the predetermined space is identified based on the position and orientation of the camera in the predetermined space and the position and orientation detected by the relative position and orientation detection means. The monitoring system according to claim 4. 前記固定カメラは、前記固定カメラを保護するカメラハウジングに収納され、前記標章は、前記固定カメラの外装ではなく、前記カメラハウジングの外装に設けられることを特徴とする請求項1乃至請求項5の何れかに記載の監視システム。 6. The fixed camera is housed in a camera housing that protects the fixed camera, and the mark is provided not on the exterior of the fixed camera but on the exterior of the camera housing. The monitoring system according to any one of the above. 外装に複数の標章を設けたことを特徴とする固定カメラ。 A fixed camera characterized by multiple marks on the exterior. 外装の複数の端部にそれぞれ球形状の標章を設けたことを特徴とする固定カメラ。 A fixed camera characterized in that a spherical mark is provided at each of a plurality of ends of the exterior. 外装の複数の縁辺にそれぞれ帯状の標章を設けたことを特徴とする固定カメラ。 A fixed camera characterized in that a band-shaped mark is provided on each of a plurality of edges of the exterior. 前記標章の表面には、光を反射する反射材が塗装されていることを特徴とする請求項7乃至請求項9の何れかに記載の固定カメラ。 10. The fixed camera according to claim 7, wherein a surface of the mark is coated with a reflective material that reflects light. 前記標章は、発光することを特徴とする請求項7乃至請求項10の何れかに記載の固定カメラ。 The fixed camera according to claim 7, wherein the mark emits light. 前記標章は、固定カメラごとにそれぞれ異なる色が着色されていることを特徴とする請求項7乃至請求項11の何れかに記載の固定カメラ。 The fixed camera according to any one of claims 7 to 11, wherein the mark is colored with a different color for each fixed camera. 前記標章は、固定カメラごとにそれぞれ異なる波長で発光することを特徴とする請求項11に記載の固定カメラ。 The fixed camera according to claim 11, wherein the mark emits light at a different wavelength for each fixed camera. 前記標章は、固定カメラごとにそれぞれ異なる発光パターンで発光することを特徴とする請求項11に記載の固定カメラ。 The fixed camera according to claim 11, wherein the mark emits light with a different light emission pattern for each fixed camera. 前記複数の帯状の標章は、固定カメラごとに異なるバーコードパターンを有して設けられることを特徴とする請求項9に記載の固定カメラ。 The fixed camera according to claim 9, wherein the plurality of belt-shaped marks are provided with different barcode patterns for each fixed camera. 固定カメラを保護するカメラハウジングであって、請求項7乃至請求項15に記載の固定カメラに設けられた複数の標章を外装に設けたことを特徴とするカメラハウジング。 16. A camera housing for protecting a fixed camera, wherein a plurality of marks provided on the fixed camera according to claim 7 are provided on an exterior.
JP2003287856A 2003-08-06 2003-08-06 Surveillance system, fixed camera, moving camera, and photographing method Expired - Lifetime JP4469148B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003287856A JP4469148B2 (en) 2003-08-06 2003-08-06 Surveillance system, fixed camera, moving camera, and photographing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003287856A JP4469148B2 (en) 2003-08-06 2003-08-06 Surveillance system, fixed camera, moving camera, and photographing method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009294501A Division JP5315226B2 (en) 2009-12-25 2009-12-25 Shooting system

Publications (2)

Publication Number Publication Date
JP2005057592A true JP2005057592A (en) 2005-03-03
JP4469148B2 JP4469148B2 (en) 2010-05-26

Family

ID=34366718

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003287856A Expired - Lifetime JP4469148B2 (en) 2003-08-06 2003-08-06 Surveillance system, fixed camera, moving camera, and photographing method

Country Status (1)

Country Link
JP (1) JP4469148B2 (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007327750A (en) * 2006-06-06 2007-12-20 National Institute Of Advanced Industrial & Technology Camera position detecting method
KR100821431B1 (en) * 2005-06-28 2008-04-10 캐논 가부시끼가이샤 Information processing method and apparatus
JP2008536112A (en) * 2005-03-30 2008-09-04 ザ・トラスティーズ・オブ・ザ・ユニバーシティ・オブ・ペンシルバニア System and method for locating an imaging device
JP2008252643A (en) * 2007-03-30 2008-10-16 Toshiba Corp Mobile monitoring system and monitoring method thereof
JP2009124204A (en) * 2007-11-12 2009-06-04 Nippon Hoso Kyokai <Nhk> Apparatus and program for estimating camera parameter
KR100973016B1 (en) * 2008-08-11 2010-07-30 삼성전기주식회사 Remote monitoring apparatus
JP2011048736A (en) * 2009-08-28 2011-03-10 Fujitsu Ltd Monitoring and control device, and monitoring system
JP2011076573A (en) * 2009-10-02 2011-04-14 Fujitsu Ltd Monitoring camera system and abnormality detecting method therefor
JP2011128911A (en) * 2009-12-17 2011-06-30 Glory Ltd Target detection system, target detection method, target detecting apparatus and mobile information acquisition device
KR101347450B1 (en) * 2012-04-10 2014-01-09 한국기술교육대학교 산학협력단 Image sensing method using dual camera and apparatus thereof
JP2016152003A (en) * 2015-02-19 2016-08-22 Jfeスチール株式会社 Self-position estimation method for autonomous mobile robot, autonomous mobile robot, and landmark for self-position estimation
JP2016152004A (en) * 2015-02-19 2016-08-22 Jfeスチール株式会社 Self-position estimation method for autonomous mobile robot, autonomous mobile robot, and landmark for self-position estimation
JP2019118136A (en) * 2019-03-15 2019-07-18 パナソニックIpマネジメント株式会社 Information processing device, information processing method, camera, receiving device, and receiving method
JP2023016837A (en) * 2015-09-01 2023-02-02 日本電気株式会社 Information processing device, information processing method, and program

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008536112A (en) * 2005-03-30 2008-09-04 ザ・トラスティーズ・オブ・ザ・ユニバーシティ・オブ・ペンシルバニア System and method for locating an imaging device
KR100821431B1 (en) * 2005-06-28 2008-04-10 캐논 가부시끼가이샤 Information processing method and apparatus
JP2007327750A (en) * 2006-06-06 2007-12-20 National Institute Of Advanced Industrial & Technology Camera position detecting method
JP2008252643A (en) * 2007-03-30 2008-10-16 Toshiba Corp Mobile monitoring system and monitoring method thereof
JP2009124204A (en) * 2007-11-12 2009-06-04 Nippon Hoso Kyokai <Nhk> Apparatus and program for estimating camera parameter
KR100973016B1 (en) * 2008-08-11 2010-07-30 삼성전기주식회사 Remote monitoring apparatus
JP2011048736A (en) * 2009-08-28 2011-03-10 Fujitsu Ltd Monitoring and control device, and monitoring system
JP2011076573A (en) * 2009-10-02 2011-04-14 Fujitsu Ltd Monitoring camera system and abnormality detecting method therefor
JP2011128911A (en) * 2009-12-17 2011-06-30 Glory Ltd Target detection system, target detection method, target detecting apparatus and mobile information acquisition device
KR101347450B1 (en) * 2012-04-10 2014-01-09 한국기술교육대학교 산학협력단 Image sensing method using dual camera and apparatus thereof
JP2016152003A (en) * 2015-02-19 2016-08-22 Jfeスチール株式会社 Self-position estimation method for autonomous mobile robot, autonomous mobile robot, and landmark for self-position estimation
JP2016152004A (en) * 2015-02-19 2016-08-22 Jfeスチール株式会社 Self-position estimation method for autonomous mobile robot, autonomous mobile robot, and landmark for self-position estimation
JP2023016837A (en) * 2015-09-01 2023-02-02 日本電気株式会社 Information processing device, information processing method, and program
JP7480823B2 (en) 2015-09-01 2024-05-10 日本電気株式会社 Information processing device, information processing method, and program
US12067784B2 (en) 2015-09-01 2024-08-20 Nec Corporation Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program
JP2019118136A (en) * 2019-03-15 2019-07-18 パナソニックIpマネジメント株式会社 Information processing device, information processing method, camera, receiving device, and receiving method

Also Published As

Publication number Publication date
JP4469148B2 (en) 2010-05-26

Similar Documents

Publication Publication Date Title
JP4469148B2 (en) Surveillance system, fixed camera, moving camera, and photographing method
JP5079703B2 (en) System and method for calculating position in real time
KR100785784B1 (en) System and method for calculating locations by landmark and odometry
US20130163879A1 (en) Method and system for extracting three-dimensional information
US9305217B2 (en) Object tracking system using robot and object tracking method using a robot
JP2006086591A (en) Mobile body tracing system, photographing apparatus, and photographing method
CN107065894B (en) Unmanned aerial vehicle, flying height control device, method, and computer-readable recording medium
JP2006030127A (en) Camera calibrating system and three-dimensional measuring system
US20130002537A1 (en) Imaging apparatus, imaging apparatus control method, and computer program
US8929603B1 (en) Autonomous lock-on target tracking with geospatial-aware PTZ cameras
JP7128577B2 (en) monitoring device
JP3852745B2 (en) Object detection method and object detection apparatus
JP5315226B2 (en) Shooting system
RU2758036C1 (en) Method and system for optical-inertial tracking of a mobile object
JP2006221379A (en) Action recognition system
JP4250172B2 (en) Object detection method and object detection apparatus
JP5262148B2 (en) Landmark detection apparatus and method, and program
JP2005268972A (en) Video display system and video display method
KR101937582B1 (en) Safety System for Walkway Monitor
KR20160121958A (en) Pan-tilt integrated surveillance camera system with a position tracking function of the object
JP6934386B2 (en) Moving object tracking device and its program
JP2007208659A (en) Cooperation camera system
US10999495B1 (en) Internet of things-based indoor selfie-supporting camera system
JP2006270561A (en) Handsfree mobile camera
US20240020875A1 (en) Method for determining a camera pose in a multi-camera system, computer program, machine-readable medium and control unit

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100226

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130305

Year of fee payment: 3