JP2014192784A - Monitoring system - Google Patents

Monitoring system Download PDF

Info

Publication number
JP2014192784A
JP2014192784A JP2013067890A JP2013067890A JP2014192784A JP 2014192784 A JP2014192784 A JP 2014192784A JP 2013067890 A JP2013067890 A JP 2013067890A JP 2013067890 A JP2013067890 A JP 2013067890A JP 2014192784 A JP2014192784 A JP 2014192784A
Authority
JP
Japan
Prior art keywords
monitoring
space
image
robot
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013067890A
Other languages
Japanese (ja)
Inventor
Seiji Fukui
誠司 福井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2013067890A priority Critical patent/JP2014192784A/en
Publication of JP2014192784A publication Critical patent/JP2014192784A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a monitoring system under the consideration of privacy by, even when any portion other than a monitoring region is photographed by a robot, masking the portion other than a monitoring region from the image.SOLUTION: A monitoring system for monitoring a predetermined monitoring region by displaying an image photographed by a mobile robot includes: a storage part for preliminarily storing a monitoring space map as three-dimensional space information in which at least the monitoring region and an inhibition space are set; an attitude calculation part for calculating a photographing position and attitude information in the monitoring space map of a camera loaded on the mobile robot; a photographic space calculation part for calculating the photographic space of the image in the monitoring space map from the photographing position and attitude information when the mobile robot photographs the image; and a mask processing part for calculating a region on the image in which the inhibition space is overlapped with the photographic space as a mask region, and for performing mask processing for making it difficult to view the mask region.

Description

本発明は、監視領域内の様子を撮影した画像を用いた監視システムに関し、特に、監視領域内を移動する移動ロボットが撮影する画像を用いた監視システムに関する。   The present invention relates to a monitoring system using an image obtained by photographing a state in a monitoring area, and particularly to a monitoring system using an image taken by a mobile robot moving in the monitoring area.

従来、建物内部とその周辺の監視領域に各種センサを設置し、センサが異常を検出すると、異常検出した場所に移動ロボットを移動させて監視領域を撮影する監視システムが提案されている。
例えば、特許文献1には、火災を検出するセンサや侵入者を検出するセンサからの信号に基づいて、地上走行型の移動ロボットが異常発生の場所に移動して異常状況を撮影する監視システムが開示されている。このような監視システムは、駐車場が設けられているような工場やショッピングモールなど広範囲な監視領域を監視することがある。特許文献1のシステムでは、移動ロボットは、センサが異常を検出した場所まで走行して、その異常発生場所の撮影や監視センタへの通報などを実行している。
2. Description of the Related Art Conventionally, there has been proposed a monitoring system in which various sensors are installed in a monitoring area in and around a building, and when the sensor detects an abnormality, the mobile robot is moved to a place where the abnormality is detected and the monitoring area is photographed.
For example, Patent Document 1 discloses a monitoring system in which a ground-traveling mobile robot moves to a place where an abnormality occurs and images an abnormal situation based on signals from a sensor that detects a fire or a sensor that detects an intruder. It is disclosed. Such a monitoring system may monitor a wide monitoring area such as a factory or a shopping mall where a parking lot is provided. In the system of Patent Document 1, the mobile robot travels to a place where the sensor has detected an abnormality, and performs imaging of the place where the abnormality has occurred, notification to the monitoring center, and the like.

特開2009−181270号公報JP 2009-181270 A

ところで、移動ロボットは、監視領域内を自在に移動するため、移動ロボットが撮影した画像に監視領域外の近隣家屋が写り込むことがある。例えば、移動ロボットが監視領域内のみを走行するようにしていたとしても、撮影方向によっては、監視領域内から監視領域外を撮影することがあり、監視領域外の家屋が撮影されるような場合が起こりえる。このような場合、撮影された家屋の住人などにとっては不必要に撮影されたと感じ、不愉快に思うことが起こりえる。特に、移動ロボットが飛行ロボットである場合は、高高度に飛行するために撮影範囲が広がり、このようなプライバシに対して配慮したほうが良い画像が増えることとなる。 By the way, since the mobile robot moves freely in the monitoring area, a neighboring house outside the monitoring area may be reflected in an image taken by the mobile robot. For example, even if the mobile robot is only traveling in the monitoring area, depending on the shooting direction, the outside of the monitoring area may be shot from within the monitoring area, and a house outside the monitoring area is shot. Can happen. In such a case, it may happen that the resident of the house where the picture was taken feels that the picture was taken unnecessarily and feels uncomfortable. In particular, when the mobile robot is a flying robot, the shooting range is widened in order to fly at a high altitude, and the number of images that should be considered with respect to such privacy increases.

しかしながら、従来の監視システムでは、予め撮影方向や撮影場所を特定できないような移動ロボットが撮影する画像について、プライバシを考慮したものがなかった。 However, in the conventional monitoring system, there is no image in which privacy is taken into consideration for an image captured by a mobile robot in which the shooting direction and shooting location cannot be specified in advance.

そこで、本発明は、飛行ロボットによって、監視領域外を撮影したとしても、その画像から監視領域外の部分をマスクすることにより、プライバシに配慮した監視システムの実現を目的とする。   Therefore, the present invention has an object of realizing a privacy-conscious monitoring system by masking a portion outside the monitoring area from the image even when the outside of the monitoring area is photographed by the flying robot.

かかる目的を達成するために本発明は、ロボットが撮影した画像を表示して所定の監視領域を監視する監視システムであって、少なくとも禁止空間が設定されている前記監視領域の三次元空間情報である監視空間マップを予め記憶した記憶部と、ロボットに搭載したカメラの監視空間マップにおける撮影位置および姿勢情報を算出する姿勢算出部と、ロボットが撮影したときの撮影位置および撮影パラメータから監視空間マップにおける画像の撮影空間を算出する撮影空間算出部と、撮影空間に禁止空間が重なった画像上の領域をマスク領域として算出し、当該マスク領域を視認困難にするマスク処理を行うマスク処理部を具備した監視システムを提供する。   In order to achieve such an object, the present invention is a monitoring system for monitoring a predetermined monitoring area by displaying an image taken by a robot, and at least three-dimensional space information of the monitoring area in which a prohibited space is set. A monitoring space map from a storage unit that stores a certain monitoring space map in advance, a posture calculation unit that calculates shooting position and posture information in a monitoring space map of a camera mounted on the robot, and a shooting position and shooting parameters when the robot is shooting And a mask processing unit that calculates a region on the image where the prohibited space overlaps the shooting space as a mask region, and performs a mask process that makes the mask region difficult to see. Provided a monitoring system.

これにより、本発明は、移動ロボットが自由に監視領域を移動して撮影したとしても、三次元の監視空間マップにて禁止空間に設定されている領域の画像を視認しにくくできるので、プライバシに配慮した監視システムが可能となる。   As a result, the present invention makes it difficult to visually recognize the image of the area set as the prohibited space on the three-dimensional monitoring space map even if the mobile robot freely moves and shoots the monitoring area. A careful monitoring system becomes possible.

また、監視空間マップにおける移動体を検出する移動体検知部を更に設け、移動体の位置が画像中のマスク領域内であると、当該移動体が所在している移動体領域を当該マスク領域から除外することが好適である。   In addition, a moving body detection unit for detecting a moving body in the monitoring space map is further provided, and when the position of the moving body is within the mask area in the image, the moving body area where the moving body is located is removed from the mask area. It is preferable to exclude.

これにより、プライバシに配慮しつつも、監視領域内に存在する移動体は確実に視認できるので、監視の精度が維持できることになる。   Thereby, while considering privacy, the moving body existing in the monitoring area can be visually recognized with certainty, so that the monitoring accuracy can be maintained.

本発明によれば、監視領域の近隣家屋等へのプライバシを配慮しつつ、移動ロボットにて撮影した画像を用いた監視システムを実現できる。   ADVANTAGE OF THE INVENTION According to this invention, the monitoring system using the image image | photographed with the mobile robot is realizable, considering privacy to the neighborhood house etc. of a monitoring area | region.

監視領域の監視空間マップのイメージ図Image of monitoring space map of monitoring area レーザセンサの検知エリアを示す図Diagram showing the detection area of the laser sensor 監視システムの全体構成図Overall configuration diagram of the monitoring system マスク処理後の出力画像の例Example of output image after masking 警備装置の機能ブロック図Functional block diagram of security equipment ロボ制御モジュールの機能ブロック図Functional block diagram of the robot control module 飛行ロボットの機能ブロック図Functional block diagram of a flying robot 移動体検出時の警備装置の処理フローProcessing flow of security device when moving object is detected マスク処理モジュールの処理フローProcess flow of mask processing module

以下、本発明にかかる監視システムの実施の形態について説明する。図1は、監視領域Eの状況をイメージ化した図である。監視領域Eは、塀に囲まれた敷地内に駐車場を併設した建屋B(店舗)が建てられている。また、監視領域Eは、隣家8が自動車7の出入り口となっている塀の間に対峙して建てられており、プライバシに配慮が必要な状況である。
また、監視システム1は、監視領域E内の駐車スペース全体が検出領域となるように、レーザセンサ4を対角に2台設置している。監視領域Eの内/外の境界空間には、後述する禁止空間Mが監視空間マップ上に設定されている様子を示している。また、図1は、飛行ロボット3が自動車7を追跡しつつ、撮影領域Gを撮影している状況を示している。
Embodiments of a monitoring system according to the present invention will be described below. FIG. 1 is an image of the situation of the monitoring area E. In the monitoring area E, a building B (store) with a parking lot is built on a site surrounded by fences. In addition, the monitoring area E is constructed in a state where the neighbor 8 is confronted between the fences that serve as the entrances and exits of the automobile 7, and it is necessary to consider privacy.
In addition, the monitoring system 1 has two laser sensors 4 installed diagonally so that the entire parking space in the monitoring area E becomes a detection area. In the inner / outer boundary space of the monitoring area E, a prohibited space M, which will be described later, is set on the monitoring space map. FIG. 1 shows a situation where the flying robot 3 is shooting the shooting area G while tracking the automobile 7.

図3は、監視システム1の全体構成を模式的に示した図である。監視システム1は、監視領域Eに設置される警備装置2、飛行ロボット3、レーザセンサ4、建物内センサ5と、ネットワークを介して接続される監視センタ内に設置されたセンタ装置6から構成されている。センタ装置6は、警備装置2とIP網にて接続され、警備装置2から飛行ロボット3の撮影した画像や建物内センサ5の検知信号などを受信し、モニタに表示する。なお、監視員は、このモニタを視て監視領域Eの状況を把握し、適切な対応を実行する。また、ネットワークをIP網として説明しているが、一般公衆回線網、携帯電話網など画像の送受信に支障がなければこれに限るものではない。 FIG. 3 is a diagram schematically showing the overall configuration of the monitoring system 1. The monitoring system 1 includes a security device 2, a flying robot 3, a laser sensor 4, a building sensor 5 installed in a monitoring area E, and a center device 6 installed in a monitoring center connected via a network. ing. The center device 6 is connected to the security device 2 via an IP network, receives an image captured by the flying robot 3 from the security device 2, a detection signal from the sensor 5 in the building, and the like and displays it on the monitor. The monitor looks at this monitor to grasp the status of the monitoring area E and performs an appropriate response. Further, although the network is described as an IP network, the network is not limited to this as long as there is no problem in image transmission / reception such as a general public network or a mobile phone network.

レーザセンサ4は、駐車場内に設置されて、監視領域Eの駐車場や建屋Bの周囲への進入を監視している。図2は、レーザセンサ4の検知エリアを示した図である。同図に示すように、レーザセンサ4が監視領域Eの左上から建屋B方向を検知エリアとするものと、監視領域Eの右下から建屋B方向を検知エリアとするように設置されている。   The laser sensor 4 is installed in the parking lot and monitors the approach to the parking lot in the monitoring area E and the surroundings of the building B. FIG. 2 is a diagram showing a detection area of the laser sensor 4. As shown in the figure, the laser sensor 4 is installed so that the building B direction from the upper left of the monitoring area E is the detection area and the building B direction from the lower right of the monitoring area E is the detection area.

レーザセンサ4は、予め設定された検知エリアを走査するように、放射状にレーザー光である探査信号を送信し、検知エリア内の物体に反射して戻ってきた探査信号を受信する。そして、送信と受信の時間差から物体までの距離を算出し、その探査信号を送信した方向と算出した距離を求める。 The laser sensor 4 transmits a search signal that is a laser beam in a radial manner so as to scan a preset detection area, and receives the search signal that is reflected back to the object in the detection area. Then, the distance to the object is calculated from the time difference between transmission and reception, and the direction in which the search signal is transmitted and the calculated distance are obtained.

そしてレーザセンサ4は、所定周期で検知エリアを走査した走査単位の結果を警備装置2に送信する。これにより、後述する警備装置2の移動体追跡モジュール231にて、監視領域Eにおける屋外での物体配置状況や進入物体の有無、自動車の追跡などが可能となる。本実施の形態では、地上を走行する自動車の進入監視を目的としているため、水平方向に1段での走査としているが、監視目的によっては、鉛直方向にも複数段の走査をするようにしてもよい。 And the laser sensor 4 transmits the result of the scanning unit which scanned the detection area with the predetermined period to the security apparatus 2. As a result, the moving object tracking module 231 of the security device 2 to be described later enables the object placement status outdoors in the monitoring area E, the presence or absence of an approaching object, the tracking of the automobile, and the like. In this embodiment, since the purpose is to monitor the approach of a vehicle traveling on the ground, scanning is performed in one step in the horizontal direction. However, depending on the purpose of monitoring, scanning in a plurality of steps may be performed in the vertical direction. Also good.

建物内センサ5は、建屋B内の各所に適宜に設置されている。例えば、窓や扉には、窓や扉の開閉を検出するマグネットセンサ、ガラス窓にガラス破壊センサ、部屋の内部に人体検出する赤外線センサ、画像にて侵入者などを検出する画像センサなど適宜の場所に設置されている。なお、建物内センサ5ごとに、監視空間マップ241上の検知箇所と対応付けて警備装置2に建物内センサ配置情報242として記憶されている。 The in-building sensor 5 is appropriately installed at various locations in the building B. For example, for a window or door, a magnet sensor that detects opening or closing of the window or door, a glass breakage sensor on a glass window, an infrared sensor that detects a human body inside a room, an image sensor that detects an intruder in an image, etc. It is installed at the place. Each building sensor 5 is stored in the security device 2 as building sensor arrangement information 242 in association with a detection location on the monitoring space map 241.

飛行ロボット3は、警備装置2からの無線による飛行制御信号を受信して、所定の目標位置まで撮影しながら飛行し、撮影した画像を警備装置2に送信する。図7は、飛行ロボット3の機能ブロックを示した図である。 The flying robot 3 receives a wireless flight control signal from the security device 2, flies while photographing to a predetermined target position, and transmits the photographed image to the security device 2. FIG. 7 is a diagram showing functional blocks of the flying robot 3.

飛行ロボット3は、警備装置2との無線通信を行うためのアンテナ31、上昇/下降/方向転換/前進などの飛行するための4つのロータ32、ロータ32に駆動力を提供するモータ等からなるロータ駆動部33、鉛直下方にレーザーを投受光して飛行ロボット3の現在高度を計測する高度センサ34、水平方向かつ周囲にレーザーを投受光して飛行ロボット3の周辺状況を計測する測距センサ35、飛行ロボット3の機体に固設され予め設定された画角等のカメラパラメータにて前方をカラー画像にて撮影するカメラ36、周囲が暗いときに点灯しカメラ36での撮影を補助するLED照明である照明37、飛行ロボット3の全体を制御するロボ制御部38、飛行ロボット3の各部に電力を供給するリチウムポリマー電池である電源39、飛行ロボット3の姿勢を計測するジャイロセンサである姿勢センサ40から構成されている。 The flying robot 3 includes an antenna 31 for performing wireless communication with the security device 2, four rotors 32 for flying such as ascending / descending / turning direction / advancing, a motor for providing driving force to the rotor 32, and the like. A rotor drive unit 33, an altitude sensor 34 for projecting and receiving a laser beam vertically below to measure the current altitude of the flying robot 3, and a distance measuring sensor for projecting and receiving a laser beam in the horizontal direction and surroundings to measure the surrounding situation of the flying robot 3 35. A camera 36 that is fixed to the aircraft of the flying robot 3 and that captures a color image of the front with camera parameters such as a preset angle of view, and an LED that lights when the surroundings are dark and assists the camera 36 Illumination 37 that is illumination, a robot controller 38 that controls the entire flying robot 3, a power supply 39 that is a lithium polymer battery that supplies power to each part of the flying robot 3, a flight And a posture sensor 40 is a gyro sensor for measuring the attitude of the bot 3.

姿勢センサ40は、機体の前方向且つ水平に向けた第1ジャイロと、機体の前方向且つ・垂直に向けた第2ジャイロを備えている。更に、この2つのジャイロセンサは、機体およびカメラ36共通の重心点に配置している。また、カメラ36の視軸方向は、機体の前方に所定角度下方に固定設置されている。姿勢センサ40は、第1ジャイロおよび第2ジャイロからの出力に基づいて、機体およびカメラ36の姿勢情報を算出する。姿勢情報は、機体が水平に保たれている状態から上下左右への角度変化として算出される。 The attitude sensor 40 includes a first gyro that is directed forward and horizontally to the aircraft and a second gyro that is directed forward and vertically to the aircraft. Further, the two gyro sensors are arranged at the center of gravity common to the airframe and the camera 36. Further, the visual axis direction of the camera 36 is fixedly installed at a predetermined angle downward in front of the airframe. The attitude sensor 40 calculates attitude information of the airframe and the camera 36 based on outputs from the first gyro and the second gyro. The posture information is calculated as an angle change from the state in which the aircraft is kept horizontal to the top, bottom, left and right.

ロボ制御部38は、アンテナ31を介して警備装置2との無線通信を制御する通信制御手段381、カメラ36および照明37を制御するとともにカメラ36が撮影した画像に対して姿勢情報等を対応させる処理を実行するカメラ制御手段382、測距センサ35および高度センサ34が測定した高度情報および周辺物体と自機との距離データをスキャンデータとするスキャン手段383、警備装置2からの飛行制御信号に基づいてロータ駆動部33を制御して飛行ロボット3を目標位置に飛行するように制御する飛行制御手段384から構成されている。   The robot controller 38 controls the communication control means 381 that controls the wireless communication with the security device 2 via the antenna 31, the camera 36, and the illumination 37, and associates posture information and the like with the image captured by the camera 36. The camera control means 382 for executing the processing, the altitude information measured by the distance measuring sensor 35 and the altitude sensor 34, and the scanning means 383 using the distance data between the surrounding objects and the own aircraft as scan data, and the flight control signal from the security device 2 Based on this, it is composed of flight control means 384 for controlling the rotor drive unit 33 to control the flying robot 3 to fly to the target position.

カメラ制御手段382は、カメラ36にて撮影された画像に、撮影時の姿勢センサ40にて算出した姿勢情報およびスキャン手段383が生成したスキャンデータを対応させる。そして、通信制御手段381が対応付けられたデータを画像とともにアンテナ31から警備装置2へ送信する。 The camera control unit 382 associates the image captured by the camera 36 with the posture information calculated by the posture sensor 40 at the time of shooting and the scan data generated by the scanning unit 383. Then, the communication control unit 381 transmits the associated data together with the image from the antenna 31 to the security device 2.

次に、図5を参照して、警備装置2について詳細に説明する。図1に示す監視領域Eの建屋Bの内部に警備装置2は設置されている。警備装置2は、建屋B内への侵入者を検知するための適宜の場所に設置された建物内センサ5、監視領域E内であって駐車場等の建屋Bの外を検知領域とするレーザセンサ4とそれぞれ接続されている。 Next, the security device 2 will be described in detail with reference to FIG. The security device 2 is installed inside the building B in the monitoring area E shown in FIG. The security device 2 includes a sensor 5 in the building installed at an appropriate location for detecting an intruder into the building B, a laser in the monitoring area E and outside the building B such as a parking lot. Each sensor 4 is connected.

図5は、警備装置2の機能ブロックを示す図である。警備装置2は、監視領域Eを監視センタが監視する警備セット状態と監視センタで監視しない警備解除状態との切替操作を行う警備モード切替部21と、レーザセンサ4や建物内センサ5などの各種センサからの信号の入力を受けるセンサインタフェース22、飛行ロボット3との通信を行う飛行ロボット通信部25、飛行ロボット3が撮影した画像、各種センサが検知した異常信号などについて、センタ装置6とネットワークを介して通信を行う監視センタ通信部26、警備装置2の処理に必要なプログラムや各種のデータ、パラメータなどを記憶しているROM/RAMなどの周辺部品にて構成される記憶部24、および警備装置2の全体を統括制御するCPU,MPUなどから成る警備制御部23から構成されている。 FIG. 5 is a diagram illustrating functional blocks of the security device 2. The security device 2 includes a security mode switching unit 21 that performs a switching operation between a security set state monitored by the monitoring center and a security release state that is not monitored by the monitoring center, and various types of sensors such as the laser sensor 4 and the in-building sensor 5. A sensor interface 22 that receives input of signals from the sensors, a flying robot communication unit 25 that communicates with the flying robot 3, images captured by the flying robot 3, abnormal signals detected by various sensors, and the like are connected to the center device 6 and the network. A monitoring center communication unit 26 for performing communication, a storage unit 24 composed of peripheral components such as ROM / RAM storing programs and various data and parameters necessary for processing of the security device 2, and security The security control unit 23 is composed of a CPU, MPU, etc. for overall control of the entire apparatus 2.

ここで、記憶部24に記憶されている情報について説明する。監視空間マップ241は、監視領域Eを三次元にて表現した情報であって、地面から飛行ロボット3の飛行に必要な程度の高さまでの三次元の監視空間を表現したマップ情報である。本実施の形態では、監視領域Eと外部を仕切る塀の存在、建屋B、レーザセンサ4の設置位置などの予め監視空間内に存在している植栽の情報、禁止空間Mが記憶されている。なお、監視空間マップ241には、建屋B内部の三次元情報も入っており、例えば扉や窓のように人が出入り可能な場所が登録されている。   Here, information stored in the storage unit 24 will be described. The monitoring space map 241 is information that represents the monitoring area E in three dimensions, and is map information that represents a three-dimensional monitoring space from the ground to a height required for the flight of the flying robot 3. In the present embodiment, the presence of a fence separating the monitoring area E from the outside, the building B, the planting information existing in the monitoring space such as the installation position of the laser sensor 4, and the prohibited space M are stored. . Note that the monitoring space map 241 also includes three-dimensional information inside the building B, and places where people can enter and exit are registered, such as doors and windows.

禁止空間Mは、事前に監視空間マップ241を生成する際に、プライバシに配慮したい領域として予め設定されている。ここでは、監視領域E以外の場所をプライバシに配慮したいとして、禁止空間Mは監視領域Eの外延を示す監視空間マップ241上の領域を設定している。この禁止空間Mは、後述するマスク処理を実行する際に利用される。図1には、禁止空間Mが監視空間マップ241上に設定されたイメージを示している。 The forbidden space M is set in advance as an area for which privacy is to be considered when the monitoring space map 241 is generated in advance. Here, for the purpose of giving consideration to privacy in places other than the monitoring area E, the prohibited space M is set to an area on the monitoring space map 241 indicating the extension of the monitoring area E. This forbidden space M is used when performing mask processing to be described later. FIG. 1 shows an image in which the prohibited space M is set on the monitoring space map 241.

建物内センサ配置情報242は、各建物内センサ5の監視場所の監視空間マップ241における位置情報である。これは、予め警備計画によって決められており、建物内センサ5ごとに監視空間マップ241上の位置が対応付けられている。 The in-building sensor arrangement information 242 is position information in the monitoring space map 241 of the monitoring location of each in-building sensor 5. This is determined in advance by a security plan, and a position on the monitoring space map 241 is associated with each in-building sensor 5.

レーザセンサパラメータ243は、レーザセンサ4の監視空間マップ241における位置、レーザセンサ4の検知領域における位置と監視空間マップ241上の位置との対応関係を含む情報であり、レーザセンサ4にて物体検知した位置を監視空間マップ241上の位置に変換するためのパラメータである。 The laser sensor parameter 243 is information including the correspondence between the position of the laser sensor 4 in the monitoring space map 241 and the position in the detection area of the laser sensor 4 and the position on the monitoring space map 241. It is a parameter for converting the determined position into a position on the monitoring space map 241.

なお、各種パラメータ244は、そのほかに警備装置2が監視領域Eを監視するために必要なセンタ装置6のIPアドレスや飛行ロボット3との通信のためのデータ、飛行ロボット3に搭載されたカメラ36の画角等のカメラパラメータなど種々のパラメータである。記憶部24には、これら以外に警備装置2の機能を実現するための各種プログラムが記憶されている。 The various parameters 244 include the IP address of the center device 6 necessary for the security device 2 to monitor the monitoring area E, data for communication with the flying robot 3, and the camera 36 mounted on the flying robot 3. These are various parameters such as camera parameters such as angle of view. In addition to these, the storage unit 24 stores various programs for realizing the functions of the security device 2.

次に、警備制御部23について詳細に説明する。なお、警備制御部23は、記憶部24には図示していないソフトウェアモジュールを読み出して、CPU等にて各処理を行うものである。 Next, the security control unit 23 will be described in detail. The security control unit 23 reads a software module (not shown) in the storage unit 24 and performs each process by the CPU or the like.

移動体追跡モジュール231は、センサインタフェース22から入力されるレーザセンサ4の信号を解析処理するソフトウェアである。具体的には、レーザセンサ4がレーザー光にて検知エリアを走査した結果である探査信号を時系列に解析する。検知エリアに新たな進入物体等がなければ、時系列に入力されるレーザセンサ4の探査信号はあまり変化しないので、移動体なしとの解析結果となる。他方、検知エリアに新たな進入物体等があれば、レーザセンサ4の探査信号に変化が生じ、変化が出た検知エリアでの位置を解析して求める。 The moving body tracking module 231 is software for analyzing the signal of the laser sensor 4 input from the sensor interface 22. Specifically, the search signal which is the result of the laser sensor 4 scanning the detection area with laser light is analyzed in time series. If there is no new approaching object or the like in the detection area, the search signal of the laser sensor 4 input in time series does not change so much, and the analysis result indicates that there is no moving object. On the other hand, if there is a new approaching object or the like in the detection area, the search signal of the laser sensor 4 changes, and the position in the detection area where the change has occurred is obtained by analysis.

更に、記憶部24のレーザセンサパラメータ243を用いて、監視空間マップ241上の位置に変換し、進入物体の位置・大きさ・移動方向を算出し、進入物体を監視空間マップ241上で追跡する。また、進入物体が停止すると、その後の信号の変化がなくなるので、追跡していた自動車や人物が、停止または立ち止まったと判定することができる。更に、追跡中の進入物体が監視領域Eから外部へ出たことも検出する また、移動体追跡モジュール231の解析結果は、後述する異常判定モジュール232、ロボ制御モジュール233、マスク処理モジュール234に出力される。 Further, using the laser sensor parameter 243 of the storage unit 24, the position is converted into a position on the monitoring space map 241 to calculate the position / size / movement direction of the approaching object, and the approaching object is tracked on the monitoring space map 241. . Further, when the approaching object stops, there is no change in the signal thereafter, so it can be determined that the car or person being tracked has stopped or stopped. Further, it detects that an approaching object that is being tracked has gone out of the monitoring area E. The analysis result of the moving body tracking module 231 is output to an abnormality determination module 232, a robot control module 233, and a mask processing module 234, which will be described later. Is done.

異常判定モジュール232は、警備モード切替部21からの警備セット/解除信号、建物内センサ5、レーザセンサ4からの信号を受信し、監視領域Eに異常が発生したか否かを判定する。異常判定モジュール232は、警備モード切替部21から警備セット信号を受信すると監視領域Eを警戒する警備セットモードとし、警備解除信号を受信すると監視領域Eを警戒していない警備解除モードに設定する。そして、警備解除モードでは、建物内センサ5やレーザセンサ4からの検知信号を受信しても、特段の処理は行わない。 The abnormality determination module 232 receives a security set / release signal from the security mode switching unit 21 and signals from the in-building sensor 5 and the laser sensor 4 and determines whether an abnormality has occurred in the monitoring area E. When receiving the security set signal from the security mode switching unit 21, the abnormality determination module 232 sets the monitoring area E to the security set mode, and when receiving the security release signal, the abnormality determination module 232 sets the monitoring area E to the security release mode in which the warning is not set. In the security release mode, no special processing is performed even if a detection signal from the in-building sensor 5 or the laser sensor 4 is received.

他方、警備セットモードでは、建物内センサ5やレーザセンサ4からの検知信号を受信すると異常発生と判定し、監視センタ通信部26からセンタ装置6に異常通報する。異常通報とともに、ロボ制御モジュール233に対して飛行ロボット3の起動制御を実行する。そして、警備セットモードでは、飛行ロボット通信部25から受信した飛行ロボット3が撮影した画像を監視センタ通信部26からセンタ装置6に送信する処理を異常状態の解除がされるまで継続する。なお、異常状態の解除方法は種々存在するが、本発明との関連性が低いので説明は省略する。 On the other hand, in the security set mode, when a detection signal from the in-building sensor 5 or the laser sensor 4 is received, it is determined that an abnormality has occurred, and the monitoring center communication unit 26 notifies the center device 6 of the abnormality. Along with the abnormality report, the robot control module 233 is controlled to start the flying robot 3. In the security set mode, the process of transmitting the image captured by the flying robot 3 received from the flying robot communication unit 25 from the monitoring center communication unit 26 to the center device 6 is continued until the abnormal state is released. Although there are various methods for canceling the abnormal state, the description thereof is omitted because it is not relevant to the present invention.

ロボ制御モジュール233は、異常判定モジュール232にて飛行ロボット3の起動信号を受けると、飛行ロボット通信部25から飛行ロボット3の飛行制御を行う。 When the robot control module 233 receives the activation signal of the flying robot 3 from the abnormality determination module 232, the robot control module 233 performs flight control of the flying robot 3 from the flying robot communication unit 25.

ここで、図6を参照してロボ制御モジュール233を詳細に説明する。図6は、ロボ制御モジュール233の機能ブロック図である。ロボ制御モジュール233は、飛行ロボット3が到達するべき目標位置を決める目標位置設定手段イと、目標位置設定手段イが設定した目標位置に到達するための飛行経路を算出する飛行経路算出手段ロと、飛行経路算出手段ロが算出した飛行経路にて飛行するように飛行ロボット3へ飛行制御信号を生成して送信するロボ制御手段ハと、飛行ロボット3の監視空間マップ241上における現在の飛行位置を算出する飛行位置算出手段ニから構成されている。 Here, the robot control module 233 will be described in detail with reference to FIG. FIG. 6 is a functional block diagram of the robot control module 233. The robot control module 233 includes target position setting means A for determining a target position to be reached by the flying robot 3, flight path calculation means RO for calculating a flight path for reaching the target position set by the target position setting means A, Robo control means C for generating and transmitting a flight control signal to the flying robot 3 so as to fly along the flight path calculated by the flight path calculation means B, and a current flight position on the monitoring space map 241 of the flying robot 3 Flight position calculating means D for calculating

目標位置設定手段イは、移動体追跡モジュール231が算出した進入物体である自動車または人物の監視空間マップ241上の位置を上方5m程度の高度から撮影できる位置を目標位置とする。なお、ここで、5m程度というのは、カメラ36の解像度や画角などの諸性能によって変わるが、飛行ロボット3が自動車や人物の全体を撮影可能な程度の高さである。なお、自動車のナンバープレートを撮影する際は、カメラ36の俯角にもよるが2m程度の高度とし、自動車の後方から撮影できる位置を目標位置とする。 The target position setting means a sets the position on the monitoring space map 241 of the car or person that is the approaching object calculated by the moving body tracking module 231 as a target position where the position can be taken from an altitude of about 5 m above. Here, the distance of about 5 m varies depending on various performances such as the resolution and angle of view of the camera 36, but is high enough to allow the flying robot 3 to photograph the entire vehicle or person. Note that when shooting a license plate of an automobile, the altitude of about 2 m is set depending on the depression angle of the camera 36, and a position where the image can be taken from the rear of the automobile is set as a target position.

飛行位置算出手段ニは、飛行位置算出手段ニが、飛行ロボット3のスキャン手段383が取得したスキャンデータを受信し、このスキャンデータが監視空間マップ241に合致する場所を算出することにより、飛行ロボット3の現在位置を算出する。なお、本実施の形態では、スキャンデータに基づいて現在位置を算出しているが、これに限らず飛行ロボット3にGPS信号の受信機能を設けて、GPS信号に基づいて現在位置を算出してもよい。 The flight position calculation means D receives the scan data acquired by the scan position 383 of the flight robot 3 and calculates a place where the scan data matches the monitoring space map 241, thereby the flight robot. 3 is calculated. In the present embodiment, the current position is calculated based on the scan data. However, the present invention is not limited to this, and the flying robot 3 is provided with a GPS signal receiving function, and the current position is calculated based on the GPS signal. Also good.

飛行経路算出手段ロは、目標位置設定手段イにて設定された目標位置、飛行位置算出手段ニが算出した飛行ロボット3の現在位置および監視空間マップ241を用いて、A*経路探索アルゴリズムにより、飛行経路を計算する。A*経路探索アルゴリズムは、現在位置と目標位置を設定すれば、監視空間マップ241の配置状況および飛行ロボット3の大きさ等を考慮して、安全にかつ最短で到着できる経路を算出するロジックであって、一般的な方法なので詳細の説明を省略する。他の経路算出のアルゴリズムを適用してもよい。 The flight path calculation means B uses the target position set by the target position setting means a, the current position of the flying robot 3 calculated by the flight position calculation means D, and the monitoring space map 241 according to the A * path search algorithm. Calculate the flight path. The A * route search algorithm is a logic that calculates a route that can be reached safely and in the shortest time by setting the current position and the target position and taking into consideration the arrangement of the monitoring space map 241 and the size of the flying robot 3. Since it is a general method, detailed description is omitted. Other route calculation algorithms may be applied.

ロボ制御手段ハは、飛行ロボット3が飛行経路算出手段ロの算出した経路を飛行できるように、飛行ロボット3の飛行制御信号を算出する。具体的な飛行制御信号は、飛行ロボット3にある4つのロータ32のそれぞれの回転数である。そして、飛行ロボット通信部25から無線信号にて飛行制御信号を送信する。 The robot control means C calculates the flight control signal of the flying robot 3 so that the flying robot 3 can fly on the route calculated by the flight path calculation means B. A specific flight control signal is the number of rotations of each of the four rotors 32 in the flying robot 3. Then, a flight control signal is transmitted from the flying robot communication unit 25 as a radio signal.

ここで、ロボ制御モジュール233の制御フローについて、図8を参照して説明する。先ず、警備セット中に自動車7が監視領域Eに進入してくると、レーザセンサ4の信号に基づき、警備装置2にて異常を検出する。そして、警備装置2は、異常の発生に伴ってセンタ装置6に異常通報するとともに、飛行ロボット3の制御を開始する。 Here, the control flow of the robot control module 233 will be described with reference to FIG. First, when the automobile 7 enters the monitoring area E during the security set, the security device 2 detects an abnormality based on the signal from the laser sensor 4. The security device 2 notifies the center device 6 of an abnormality when the abnormality occurs, and starts control of the flying robot 3.

警備装置2の異常判定モジュール232にて自動車7を検出して異常発生と判定すると、ロボ制御モジュール233の目標位置設定手段イは、移動体追跡モジュール231が解析した自動車7の重心位置である現在位置から3.5m離れ、高度5mの位置を監視空間マップ241上の位置として目標位置に設定する(ステップS71)。   When the abnormality determination module 232 of the security device 2 detects the automobile 7 and determines that an abnormality has occurred, the target position setting means a of the robot control module 233 is the current center-of-gravity position of the automobile 7 analyzed by the moving body tracking module 231. A position at a distance of 3.5 m from the position and an altitude of 5 m is set as a target position as a position on the monitoring space map 241 (step S71).

そして、飛行経路算出手段ロは、ステップS71にて設定された目標位置、飛行ロボット3の現在位置、監視空間マップ241を用いて、飛行経路を計算する(ステップS72)。なお、飛行ロボット3は、起動信号を受信するまでは、所定の待機位置に所在しているので、その位置が現在位置となっている。その他のときは、飛行位置算出手段ニが、飛行ロボット3のスキャン手段383が取得したスキャンデータを受信し、このスキャンデータが監視空間マップ241に合致する場所を算出することにより、飛行ロボット3の現在位置を算出する。なお、本実施の形態では、スキャンデータに基づいて現在位置を算出しているが、これに限らず飛行ロボット3にGPS信号の受信機能を設けて、GPS信号に基づいて現在位置を算出してもよい。 Then, the flight path calculation means B calculates the flight path using the target position set in step S71, the current position of the flying robot 3, and the monitoring space map 241 (step S72). Since the flying robot 3 is located at a predetermined standby position until the activation signal is received, that position is the current position. At other times, the flight position calculation means D receives the scan data acquired by the scanning means 383 of the flying robot 3 and calculates a place where the scan data matches the monitoring space map 241. The current position is calculated. In the present embodiment, the current position is calculated based on the scan data. However, the present invention is not limited to this, and the flying robot 3 is provided with a GPS signal receiving function, and the current position is calculated based on the GPS signal. Also good.

次に、移動体追跡モジュール231の追跡結果から自動車または人物である移動体が移動しているか否かを判定する(ステップS73)。ステップS73にて、移動体が移動していないと判定すると(ステップS73−いいえ)、ステップS77に進み、ロボ制御モジュール233から目標位置に飛行するための飛行制御信号を飛行ロボット3に送信する。 Next, it is determined from the tracking result of the mobile object tracking module 231 whether or not the mobile object that is an automobile or a person is moving (step S73). If it is determined in step S73 that the moving body is not moving (step S73-No), the process proceeds to step S77, and a flight control signal for flying to the target position is transmitted from the robot control module 233 to the flying robot 3.

他方、ステップS73にて自動車または人物である移動体が移動したと判定すると(ステップS73−はい)、さらに自動車7が監視領域Eの外に移動したか否か判定する(ステップS74)。ここで、監視領域Eの外は、レーザセンサ4の検知エリア外なので、レーザセンサ4が追跡してきた移動体が消失したことを意味する。つまり、移動体追跡モジュール231が追跡中の自動車または人物である移動体を検出できなくなると監視領域Eの外に移動したと判断する。 On the other hand, if it determines with the mobile body which is a motor vehicle or a person having moved in step S73 (step S73-Yes), it will be further determined whether the motor vehicle 7 moved out of the monitoring area | region E (step S74). Here, since the outside of the monitoring region E is outside the detection area of the laser sensor 4, it means that the moving body tracked by the laser sensor 4 has disappeared. That is, when the mobile body tracking module 231 cannot detect a mobile body that is a car or a person being tracked, it is determined that the mobile body tracking module 231 has moved out of the monitoring area E.

ステップS74にて追跡を継続できる監視領域E内に自動車または人物である移動体を検出していると(ステップS74−いいえ)、自動車または人物である移動体の現在位置に基づき目標位置を変更設定し(ステップS75)、ステップS77に進み、ロボ制御モジュール233から目標位置への飛行するための飛行制御信号を飛行ロボット3に送信する。 If a moving body that is a car or a person is detected in the monitoring area E in which tracking can be continued in step S74 (step S74-No), the target position is changed and set based on the current position of the moving body that is a car or a person. In step S75, the robot control module 233 transmits a flight control signal for flying to the target position to the flying robot 3.

他方、ステップS74にて監視領域E内から自動車または人物である移動体が出ると(ステップS74−はい)、自動車または移動体が監視領域Eから出た位置を逃走位置として目標位置に変更設定し(ステップS76)、ステップS77に進み、ロボ制御モジュール233から目標位置への飛行するための飛行制御信号を飛行ロボット3に送信する。なお、本フローでは記載していないが、自動車または人物である移動体が監視領域Eから出た場合は、10秒程度の間はその場での撮影を継続し、その後に予め指定されている待機場所を目標位置に設定して待機場所に戻ることになる。 On the other hand, when a moving body that is a car or a person comes out of the monitoring area E in step S74 (step S74-Yes), the position at which the car or moving body leaves the monitoring area E is changed to the target position as the escape position. (Step S76), the process proceeds to Step S77, and a flight control signal for flying to the target position is transmitted from the robot control module 233 to the flying robot 3. Although not described in this flow, when a moving body that is a car or a person leaves the monitoring area E, shooting on the spot is continued for about 10 seconds, and then designated in advance. The standby place is set as the target position and the process returns to the standby place.

ステップS77では、ロボ制御手段ハは、飛行ロボット3が飛行経路算出手段ロの算出した経路を飛行できるように、飛行ロボット3の飛行制御信号を算出する。具体的な飛行制御信号は、飛行ロボット3にある4つのロータ32のそれぞれの回転数である。そして、飛行ロボット通信部25から無線信号にて飛行制御信号を送信する。 In step S77, the robot control means C calculates the flight control signal of the flying robot 3 so that the flying robot 3 can fly along the route calculated by the flight path calculation means B. A specific flight control signal is the number of rotations of each of the four rotors 32 in the flying robot 3. Then, a flight control signal is transmitted from the flying robot communication unit 25 as a radio signal.

飛行ロボット3は、アンテナ31から飛行制御信号を受信すると、受信した飛行制御信号に基づいて飛行する。具体的には、アンテナ31から受信した飛行制御信号が飛行制御手段384に入力され、ロータ駆動部33から各ロータ32の回転数を個別に制御して飛行する。飛行が開始された後は、これらのステップS72〜ステップS77を繰り返し処理して、自動車等を追跡しつつ撮影を行う。 When the flying robot 3 receives the flight control signal from the antenna 31, the flying robot 3 flies based on the received flight control signal. Specifically, the flight control signal received from the antenna 31 is input to the flight control means 384, and the number of rotations of each rotor 32 is individually controlled from the rotor drive unit 33 to fly. After the flight is started, these steps S72 to S77 are repeatedly performed, and shooting is performed while tracking a car or the like.

ここで、図8に示すフローに記載しなかったが、飛行ロボット3が最初に飛行制御信号を受信すると、スキャン手段383が測距センサ35および高度センサ34を起動する。また、カメラ制御手段382がカメラ36および姿勢センサ40を起動する。そして、カメラ制御手段382は、カメラ36が撮影した画像にスキャンデータおよび姿勢情報を対応付けて、警備装置2に送信する処理を継続している。 Here, although not described in the flow shown in FIG. 8, when the flying robot 3 first receives a flight control signal, the scanning unit 383 activates the distance measuring sensor 35 and the altitude sensor 34. Further, the camera control means 382 activates the camera 36 and the attitude sensor 40. And the camera control means 382 continues the process which matches scan data and attitude | position information with the image image | photographed with the camera 36, and transmits to the security apparatus 2. FIG.

図5に戻って、マスク処理モジュール234は、飛行ロボット通信部25から受信した飛行ロボット3が撮影した画像を処理する。ここで、図9を参照してマスク処理モジュール234を詳細に説明する。図9は、飛行ロボット3が撮影した画像をマスク処理モジュール234が処理する際のフローであり、取得した画像ごとに処理が行われる。 Returning to FIG. 5, the mask processing module 234 processes the image captured by the flying robot 3 received from the flying robot communication unit 25. Here, the mask processing module 234 will be described in detail with reference to FIG. FIG. 9 is a flow when the mask processing module 234 processes an image captured by the flying robot 3, and processing is performed for each acquired image.

マスク処理モジュール234は、画像を取得すると、その画像が撮影された監視空間マップ241で撮影空間Gを算出する(ステップS91)。具体的には、画像に対応付けられた姿勢情報、スキャンデータから監視空間マップ241上でのカメラ36の撮影空間Gを算出する。先ず、スキャンデータと監視空間マップ241とのマッチング処理をすることにより、飛行ロボット3の撮影時の監視空間マップ241上の位置および飛行ロボット3の前方向を算出する。次いで、算出した飛行ロボット3の位置・前方向を基準とし、監視空間マップ241上にて姿勢情報を対応させて視軸方向を求める。そして、カメラの画角等のカメラパラメータと監視空間マップ241上の合わせることにより、当該画像の監視空間マップ241上の撮影空間Gを算出する。 When the mask processing module 234 acquires the image, the mask processing module 234 calculates the shooting space G from the monitoring space map 241 in which the image is shot (step S91). Specifically, the shooting space G of the camera 36 on the monitoring space map 241 is calculated from the posture information and scan data associated with the image. First, by matching the scan data with the monitoring space map 241, the position on the monitoring space map 241 and the forward direction of the flying robot 3 when the flying robot 3 is photographed are calculated. Next, using the calculated position / front direction of the flying robot 3 as a reference, the visual axis direction is obtained by associating the posture information on the monitoring space map 241. Then, the shooting space G of the image on the monitoring space map 241 is calculated by combining the camera parameters such as the angle of view of the camera with the monitoring space map 241.

次に、ステップS92にて、撮影空間Gと禁止空間Mが重複しているか判定する。すなわち、記憶部24の監視空間マップ241に予め設定されている禁止空間MがステップS91にて算出した撮影空間Gと重複する領域があるかマッチング処理にて判定する。そして、重複があれば(ステップS93−はい)、ステップS94にて重複している領域をマスク領域Rに設定する。他方、重複していないと(ステップS93−いいえ)、ステップS98に進み、当該画像を監視センタ通信部26からセンタ装置6に出力させる。   Next, in step S92, it is determined whether the shooting space G and the prohibited space M overlap. That is, it is determined by matching processing whether there is an area where the prohibited space M set in advance in the monitoring space map 241 of the storage unit 24 overlaps the imaging space G calculated in step S91. If there is an overlap (Yes in step S93), the overlapping area is set as the mask area R in step S94. On the other hand, if they do not overlap (No at Step S93), the process proceeds to Step S98, and the image is output from the monitoring center communication unit 26 to the center device 6.

ステップS95では、移動体追跡モジュール231にてレーザセンサ4の信号に基づいて判定した結果が、自動車7や人物などの移動体がステップS94にて算出したマスク領域R内に所在しているか否か判定する。所在していると(ステップS95−はい)、ステップS96にて移動体が所在する領域をマスク領域Rの中から除外して新たなマスク領域Rとする。他方、所在していないと(ステップS95−いいえ)、ステップS94にて設定されたマスク領域RのままでステップS97に進む。   In step S95, whether the result of determination by the moving body tracking module 231 based on the signal from the laser sensor 4 is that the moving body such as the automobile 7 or a person is within the mask region R calculated in step S94. judge. If it is present (step S95-Yes), the region where the moving body is located is excluded from the mask region R in step S96 to form a new mask region R. On the other hand, if it is not present (step S95-No), the process proceeds to step S97 while keeping the mask region R set in step S94.

ステップS97では、画像に対して、マスク領域Rの画像を視認しにくくしたマスク処理を行う。すなわち、監視空間マップ241上のマスク領域Rを取得した画像上に投影し、当該マスク領域Rを純色にて塗りつぶす処理を行う。本実施の形態では、純色での塗りつぶし処理としているが、「画素を荒くする」「目の細かいハッチ処理を施す」など、視認しにくくすることができれば如何なる処理としてもよい。図4は、マスク処理が施されたときの画像を示している。図1に状況において撮影された画像に対し、撮影空間Gと禁止空間Mが重複しており、画像には自動車7が写っている。図4に示すように、斜線で示すマスク領域Rにその前傾に所在する自動車7、敷地内の地面や塀が撮影されている。このように、図1の状況であれば、隣家8が画像中に写っているにもかかわらず、マスク領域R内にあるため、出力される画像には視認できないようになる。 In step S97, a mask process that makes it difficult to visually recognize the image in the mask region R is performed on the image. That is, the mask area R on the monitoring space map 241 is projected on the acquired image, and the mask area R is filled with a pure color. In the present embodiment, the filling process is performed with a pure color. However, any process may be used as long as it can be made difficult to visually recognize, such as “roughening pixels” and “performing fine hatching”. FIG. 4 shows an image when the mask process is performed. The shooting space G and the prohibition space M overlap the image shot in the situation shown in FIG. 1, and the car 7 is shown in the image. As shown in FIG. 4, a car 7 located on the mask area R indicated by diagonal lines, and the ground and the fence in the site are photographed. Thus, in the situation of FIG. 1, although the neighbor 8 is in the image, it is in the mask region R and thus cannot be visually recognized in the output image.

その後、ステップS98にてマスク処理がなされた画像を監視センタ通信部26からセンタ装置6に出力させる。これにより、飛行ロボット3が禁止空間Mにあたる領域を撮影したとしても、マスク処理がされるのでプライバシに配慮することができる。更に、移動体が監視領域E内にいた場合でも、移動体にはマスク処理が施されることがないので、監視の精度を維持することができる。   Thereafter, the image subjected to the mask process in step S98 is output from the monitoring center communication unit 26 to the center device 6. Thereby, even if the flying robot 3 captures an area corresponding to the prohibited space M, the mask process is performed, so privacy can be considered. Furthermore, even when the moving body is in the monitoring area E, the moving body is not subjected to mask processing, so that the monitoring accuracy can be maintained.

以上のように、監視システム1では、監視センタのモニタを監視者が視て、自動車等の画像を迅速に確認することができる。 As described above, in the monitoring system 1, the monitor can monitor the monitor of the monitoring center and quickly check the image of the car or the like.

本実施の形態では、警備装置2の警備制御部23にて、飛行ロボット3をコントロールするようにしたが、警備装置2の機能の全部または一部を適宜に飛行ロボット3に搭載するようにしてもよい。 In this embodiment, the flight robot 3 is controlled by the security control unit 23 of the security device 2, but all or part of the functions of the security device 2 are appropriately mounted on the flight robot 3. Also good.

本実施の形態では、警備装置2にて飛行ロボット3の位置をスキャンデータから算出しているが、GPS信号にて位置を算出するようにしてもよい。 In the present embodiment, the position of the flying robot 3 is calculated from the scan data by the security device 2, but the position may be calculated by a GPS signal.

本実施の形態では、レーザセンサ4の信号を用いて移動体を追跡したが、飛行ロボット3の測距センサ35にて移動体を捉えることが可能になった後は、スキャンデータに基づいて移動体の追跡をするようにしてもよい。 In the present embodiment, the moving object is tracked using the signal of the laser sensor 4, but after the distance measuring sensor 35 of the flying robot 3 can capture the moving object, the moving object is moved based on the scan data. The body may be tracked.

本実施の形態では飛行ロボット3での形態を示したが、飛行ロボット3ではなく地上走行型のロボットを用いてもよい。 In the present embodiment, the form of the flying robot 3 is shown. However, a ground traveling type robot may be used instead of the flying robot 3.

本実施の形態では、自律型の飛行ロボット3を示しているが、人による遠隔操作型のロボットとしてもよい。 Although the autonomous flying robot 3 is shown in the present embodiment, it may be a remotely operated robot by a person.

1・・・監視システム
2・・・警備装置
3・・・飛行ロボット
4・・・レーザセンサ
5・・・建物内センサ

DESCRIPTION OF SYMBOLS 1 ... Monitoring system 2 ... Security apparatus 3 ... Flying robot 4 ... Laser sensor 5 ... Sensor in building

Claims (2)

ロボットが撮影した画像を表示して所定の監視領域を監視する監視システムであって、
少なくとも禁止空間が設定されている前記監視領域の三次元空間情報である監視空間マップを予め記憶した記憶部と、
前記ロボットに搭載したカメラの前記監視空間マップにおける撮影位置および姿勢情報を算出する姿勢算出部と、
前記ロボットが撮影したときの前記撮影位置および姿勢情報から前記監視空間マップにおける画像の撮影空間を算出する撮影空間算出部と、
前記撮影空間に前記禁止空間が重なった前記画像上の領域をマスク領域として算出し、当該マスク領域を視認困難にするマスク処理を行うマスク処理部とを具備することを特徴とした監視システム。
A monitoring system that displays an image captured by a robot and monitors a predetermined monitoring area,
A storage unit that stores in advance a monitoring space map that is three-dimensional space information of the monitoring region in which at least a prohibited space is set;
A posture calculation unit that calculates shooting position and posture information in the monitoring space map of the camera mounted on the robot;
A shooting space calculation unit that calculates a shooting space of an image in the monitoring space map from the shooting position and orientation information when the robot has shot;
A monitoring system comprising: a mask processing unit that calculates a region on the image in which the prohibited space overlaps the photographing space as a mask region, and performs a mask process that makes the mask region difficult to visually recognize.
更に、監視空間マップにおける移動体を検出する移動体検知部を有し、
前記マスク処理部は、前記移動体の位置が前記マスク領域内であると、当該移動体が所在している前記画像の移動体領域を当該マスク領域から除外する請求項1に記載の監視システム。

Furthermore, it has a moving body detection unit for detecting a moving body in the monitoring space map,
The monitoring system according to claim 1, wherein the mask processing unit excludes the moving body region of the image where the moving body is located from the mask region when the position of the moving body is within the mask region.

JP2013067890A 2013-03-28 2013-03-28 Monitoring system Pending JP2014192784A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013067890A JP2014192784A (en) 2013-03-28 2013-03-28 Monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013067890A JP2014192784A (en) 2013-03-28 2013-03-28 Monitoring system

Publications (1)

Publication Number Publication Date
JP2014192784A true JP2014192784A (en) 2014-10-06

Family

ID=51838664

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013067890A Pending JP2014192784A (en) 2013-03-28 2013-03-28 Monitoring system

Country Status (1)

Country Link
JP (1) JP2014192784A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016119628A (en) * 2014-12-22 2016-06-30 セコム株式会社 Image processing system
JP2016119629A (en) * 2014-12-22 2016-06-30 セコム株式会社 Image acquisition device
JP2016171441A (en) * 2015-03-12 2016-09-23 セコム株式会社 Monitoring system and flight robot
JP2016171442A (en) * 2015-03-12 2016-09-23 セコム株式会社 Monitoring system and flight robot
CN107729862A (en) * 2017-10-30 2018-02-23 珠海市微半导体有限公司 The security areas of robot video monitoring is set and secret keeping processing method
WO2018083798A1 (en) * 2016-11-07 2018-05-11 株式会社ラムロック Monitoring system and mobile robot device
JP2019062308A (en) * 2017-09-25 2019-04-18 富士ゼロックス株式会社 Mobile object with camera, mobile object with camera control system, and program
JP2020536431A (en) * 2017-10-05 2020-12-10 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation Transmission of real-time visual data to remote recipients
JP2021035002A (en) * 2019-08-29 2021-03-01 株式会社東芝 Image specification system and image specification method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005080100A (en) * 2003-09-02 2005-03-24 Matsushita Electric Ind Co Ltd Movement monitoring system and movement monitor terminal
JP2007243509A (en) * 2006-03-08 2007-09-20 Hitachi Ltd Image processing device
WO2009011380A1 (en) * 2007-07-19 2009-01-22 Nec Corporation Sensing device, system, control method and control program
JP2012023573A (en) * 2010-07-14 2012-02-02 Fujitsu Ltd Image processor, image processing program, image processing method, and mobile

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005080100A (en) * 2003-09-02 2005-03-24 Matsushita Electric Ind Co Ltd Movement monitoring system and movement monitor terminal
JP2007243509A (en) * 2006-03-08 2007-09-20 Hitachi Ltd Image processing device
WO2009011380A1 (en) * 2007-07-19 2009-01-22 Nec Corporation Sensing device, system, control method and control program
JP2012023573A (en) * 2010-07-14 2012-02-02 Fujitsu Ltd Image processor, image processing program, image processing method, and mobile

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016119629A (en) * 2014-12-22 2016-06-30 セコム株式会社 Image acquisition device
JP2016119628A (en) * 2014-12-22 2016-06-30 セコム株式会社 Image processing system
JP2016171441A (en) * 2015-03-12 2016-09-23 セコム株式会社 Monitoring system and flight robot
JP2016171442A (en) * 2015-03-12 2016-09-23 セコム株式会社 Monitoring system and flight robot
JPWO2018083798A1 (en) * 2016-11-07 2019-09-19 株式会社ラムロック Monitoring system and mobile robot apparatus
US11377210B2 (en) 2016-11-07 2022-07-05 Ramrock, Co., Ltd. Monitoring system and mobile robot device
WO2018083798A1 (en) * 2016-11-07 2018-05-11 株式会社ラムロック Monitoring system and mobile robot device
JP2019062308A (en) * 2017-09-25 2019-04-18 富士ゼロックス株式会社 Mobile object with camera, mobile object with camera control system, and program
JP7180063B2 (en) 2017-09-25 2022-11-30 富士フイルムビジネスイノベーション株式会社 Mobile body with camera, mobile body control system with camera, and program
JP2020536431A (en) * 2017-10-05 2020-12-10 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation Transmission of real-time visual data to remote recipients
JP7160446B2 (en) 2017-10-05 2022-10-25 インターナショナル・ビジネス・マシーンズ・コーポレーション Transmission of real-time visual data to remote recipients
CN107729862A (en) * 2017-10-30 2018-02-23 珠海市微半导体有限公司 The security areas of robot video monitoring is set and secret keeping processing method
JP2021035002A (en) * 2019-08-29 2021-03-01 株式会社東芝 Image specification system and image specification method

Similar Documents

Publication Publication Date Title
JP2014192784A (en) Monitoring system
JP6155032B2 (en) Shooting system
JP6080568B2 (en) Monitoring system
JP6539073B2 (en) Surveillance system and flight robot
JP6195457B2 (en) Shooting system
JP6635529B2 (en) Monitoring system and mobile robot device
JP6195447B2 (en) Shooting system
CN108958097B (en) The monitoring arrangement that the area of space that segmentation monitor area obtains is monitored
JP6172958B2 (en) Shooting system
KR101861045B1 (en) Drones for manhole and river facility inspection
KR101756603B1 (en) Unmanned Security System Using a Drone
JP6539072B2 (en) Surveillance system and flight robot
US11531340B2 (en) Flying body, living body detection system, living body detection method, program and recording medium
JP6509599B2 (en) Flight robot control system and flight robot
JP6140436B2 (en) Shooting system
KR101944952B1 (en) An unmanned aerial vehicle detecting fire
JP5982273B2 (en) Shooting system
JP6163302B2 (en) Monitoring system
KR20180040255A (en) Airport robot
JP6775981B2 (en) Surveillance system and object detection device
KR101865835B1 (en) Monitoring system for a flying object
JP6381585B2 (en) Own vehicle position estimation device
TWI652557B (en) Evacuation route guiding device and method thereof
JP6072533B2 (en) Shooting system
JP6775980B2 (en) Surveillance system and object detection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161129

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170530