JP2011076573A - Monitoring camera system and abnormality detecting method therefor - Google Patents

Monitoring camera system and abnormality detecting method therefor Download PDF

Info

Publication number
JP2011076573A
JP2011076573A JP2009230509A JP2009230509A JP2011076573A JP 2011076573 A JP2011076573 A JP 2011076573A JP 2009230509 A JP2009230509 A JP 2009230509A JP 2009230509 A JP2009230509 A JP 2009230509A JP 2011076573 A JP2011076573 A JP 2011076573A
Authority
JP
Japan
Prior art keywords
camera
photographed
cameras
video
installation position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009230509A
Other languages
Japanese (ja)
Other versions
JP5278273B2 (en
Inventor
Kentaro Tsuji
健太郎 辻
Eigo Segawa
英吾 瀬川
Takashi Morihara
隆 森原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2009230509A priority Critical patent/JP5278273B2/en
Publication of JP2011076573A publication Critical patent/JP2011076573A/en
Application granted granted Critical
Publication of JP5278273B2 publication Critical patent/JP5278273B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To discriminate an abnormal camera by detecting a fluctuation in the installation position or the direction and posture of each camera and an abnormality of a camera image with high accuracy concerning a monitoring camera system for performing monitoring by using a plurality of cameras and its abnormality detecting method. <P>SOLUTION: A plurality of cameras 6-2 having appearance features different from those of the other cameras are installed so as to photograph at least two other cameras, a camera selecting part 6-12 selects a video picture photographed by the cameras 6-2, and a camera detecting part 6-13 detects a camera image, and identifies a camera to be photographed from an appearance feature of the camera. A camera position calculating part 6-14 calculates an installation position of the camera from a video position of the camera, and a camera posture calculating part 6-15 calculates the posture of the camera. An abnormal camera detecting part 6-16 discriminates whether the camera photographing the camera has an abnormality or whether the photographed camera has an abnormality by checking the installation positions of the other cameras when the previously calculated position is different from the position of this time. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、複数のカメラを用いて異常事態や非常事態等の発生を監視する監視カメラシステム及びその異常検出方法に関する。   The present invention relates to a monitoring camera system that monitors the occurrence of an abnormal situation or emergency using a plurality of cameras, and an abnormality detection method thereof.

複数のカメラを利用してその映像から不審者や異常事態を発見するなどの用途で使用される監視カメラシステムにおいて、漏れなく対象物体を撮影するには、各カメラでそれぞれ所定の監視エリアが常に撮影されるよう、各カメラが所定の位置に所定の向き・姿勢で設置されていなければならない。   In a surveillance camera system that is used for applications such as finding suspicious persons or abnormal situations from the images using multiple cameras, in order to capture the target object without omission, each camera always has a predetermined surveillance area. Each camera must be installed at a predetermined position and in a predetermined direction and posture so that it can be photographed.

しかし、所期の通り各カメラを所定の位置に所定の向き・姿勢で設置しておいても、運用中に何者かによってカメラに悪戯や細工が為されたり、或いは荷物の運搬中にカメラに荷物が接触したりして、カメラの設置位置や向き・姿勢が動いてしまうことがある。カメラの位置や向き・姿勢が動いてしまうと、撮影範囲がずれてしまい、正常な監視映像が得られなくなる。また、カメラ自体や映像信号伝送経路等に障害が発生するなどして、正常な監視映像が得られなくなることもある。   However, even if each camera is installed at a predetermined position and orientation as expected, somebody may be mischiefed or crafted by the camera during operation, or There may be cases where the installation position, orientation, or posture of the camera moves due to contact with the load. If the position, orientation, and orientation of the camera move, the shooting range will shift and normal surveillance video will not be obtained. In addition, a normal surveillance video may not be obtained due to a failure in the camera itself or the video signal transmission path.

このような場合、監視エリアの正常な映像が得られず、異常カメラをそのまま放置しておくと、不審者や非常事態の発生等が見逃されてしまうこととなる。このようなトラブルを防ぐために、撮影範囲のズレを含むカメラ映像の異常が発生した場合、直ちに管理者等へ異常カメラを通知する等の対応処理を行わなければならない。   In such a case, a normal image of the monitoring area cannot be obtained, and if an abnormal camera is left as it is, the occurrence of a suspicious person or an emergency situation is overlooked. In order to prevent such troubles, when an abnormality occurs in the camera image including the deviation of the photographing range, it is necessary to perform a countermeasure process such as immediately notifying the administrator of the abnormal camera.

このような対応処理において、カメラの台数が少ない場合には、監視人等が全カメラの映像を目視し、映像に異常が発生したカメラを確認することにより対応可能である。しかし、広い範囲に数十台或いは数百台のカメラが設置されているような場合には、監視人等の人的作業によって全てのカメラ映像の異常を漏れなく発見することは困難であり、異常が発生しているカメラを自動的に判別して通報する監視カメラシステムが要望されている。   In such a handling process, when the number of cameras is small, a supervisor or the like can deal with the situation by visually checking the images of all the cameras and checking the camera in which an abnormality has occurred in the images. However, when dozens or hundreds of cameras are installed in a wide area, it is difficult to detect all camera image abnormalities without omission by human work such as surveillance. There is a demand for a surveillance camera system that automatically identifies and reports a camera in which an abnormality has occurred.

従来のこのような監視カメラシステムとしては、カメラに角度センサや位置センサ等を取り付け、それらのセンサの信号を解析してカメラの設置位置や向き・姿勢の変動を検知する手法を用いたものが提案されている。しかし、この手法では、カメラの視界が覆い隠されるなどによって発生したカメラ映像の異常を検知することはできない。   As such a conventional surveillance camera system, an angle sensor, a position sensor, and the like are attached to the camera, and a method of detecting a change in the installation position, orientation, and orientation of the camera by analyzing the signals of those sensors is used. Proposed. However, with this method, it is not possible to detect an abnormality in the camera image that occurs due to the camera's field of view being obscured.

一方、カメラで撮影した映像を利用してカメラの異常を検出する手法として、例えば、撮影範囲内の所定の場所に所定のマーカ(目印)を設置しておき、該マーカがカメラの映像中の所定の位置に存在するか否かを判定し、存在しないと判定されたときに、カメラの異常を通知する手法がある。しかし、この手法では、カメラの設置位置は変動していないにも拘わらず、マーカの位置が変動しただけでカメラに異常有りと判定されるため、真の異常カメラの特定が難しい。   On the other hand, as a technique for detecting camera abnormality using video captured by a camera, for example, a predetermined marker (mark) is set at a predetermined location within a shooting range, and the marker is included in the camera video. There is a method for determining whether or not a camera is present at a predetermined position and notifying the camera of an abnormality when it is determined that the camera does not exist. However, with this method, although the camera installation position does not change, it is determined that there is an abnormality in the camera only by the change in the marker position, so it is difficult to identify a true abnormal camera.

更に、広い範囲に数十台、数百台のカメラが設置されるような監視カメラシステムでは、マーカの数も数十個、数百個設置しなければならず、マーカの設置に非常に手間が掛かる。また、監視エリアの外観デザイン上の理由などによってマーカを配置することができない場合には採用することができない。   Furthermore, in a surveillance camera system in which dozens or hundreds of cameras are installed in a wide range, the number of markers must be set to tens or hundreds, which is very laborious to install the markers. It takes. In addition, when the marker cannot be arranged due to the external design of the monitoring area, it cannot be adopted.

このような問題に対して、複数のカメラを備える監視カメラシステムにおいて、人物等の観測対象の推定位置を各カメラで算出し、基準カメラでの推定位置と各カメラでの推定位置とのズレ具合から、各カメラの姿勢・位置を求める手法が提案されている(特許文献1参照)。しかし、この手法では、観測対象がカメラに撮影されているときしか、カメラ異常を検知することができない。   To solve such a problem, in a surveillance camera system having a plurality of cameras, the estimated position of the observation target such as a person is calculated by each camera, and the deviation between the estimated position of the reference camera and the estimated position of each camera is calculated. Therefore, a method for obtaining the posture / position of each camera has been proposed (see Patent Document 1). However, with this method, a camera abnormality can be detected only when the observation target is captured by the camera.

特開2003−279315号公報JP 2003-279315 A

本発明は、複数のカメラを用いて監視を行う監視カメラシステムにおいて、マーカ(目印)等を監視エリア内にカメラと別に配備することなく、各カメラの設置位置又は向き・姿勢の変動及びカメラ映像の異常を自動的に精度良く検出して異常カメラを判別することを目的とする。   The present invention relates to a monitoring camera system that performs monitoring using a plurality of cameras, and does not provide a marker or the like in the monitoring area separately from the camera, and changes in the installation position or orientation / posture of each camera and camera video. It is an object of the present invention to automatically detect an abnormality and accurately identify an abnormal camera.

上記課題を解決する一形態としての監視カメラシステムは、互いに他のカメラと異なる外観上の特徴を有する複数のカメラと、前記各カメラで撮影された映像画面の中から、カメラ映像を検出し、該カメラ映像の外観上の特徴を認識し、被撮影カメラを同定するカメラ検出部と、前記カメラ検出部で検出された同一の被撮影カメラを撮影した2つのカメラの映像画面における該被撮影カメラの映像位置から、該被撮影カメラの設置位置を算出するカメラ位置計算部と、前記カメラ位置計算部で前回算出された前記被撮影カメラの設置位置と今回の設置位置とを比較し、両者が異なる場合にカメラの設置位置に異常が発生したと判定する異常カメラ判定部と、を備えたものである。   A surveillance camera system as an embodiment for solving the above-described problem is to detect a camera image from a plurality of cameras having appearance characteristics different from those of other cameras, and an image screen shot by each of the cameras, A camera detection unit for recognizing appearance characteristics of the camera video and identifying a camera to be shot, and the camera to be shot on the video screens of two cameras that have shot the same camera shot detected by the camera detection unit The camera position calculation unit for calculating the installation position of the camera to be imaged from the image position of the camera, and the installation position of the camera to be photographed previously calculated by the camera position calculation unit and the current installation position are compared. And an abnormal camera determination unit that determines that an abnormality has occurred in the installation position of the camera in a different case.

また、上記課題を解決する他の形態としての異常検出方法は、互いに他のカメラと異なる外観上の特徴を有する複数のカメラを、他のカメラが少なくとも2つ撮影されるように設置し、前記各カメラで撮影された映像画面の中から、カメラ映像を検出し、該カメラ映像の外観上の特徴を認識し、被撮影カメラを同定する第1の過程と、前記第1の過程で検出された同一の被撮影カメラを撮影した2つのカメラの映像画面における該被撮影カメラの映像位置から、該被撮影カメラの設置位置を算出する第2の過程と、前記第2の過程で前回算出された前記被撮影カメラの設置位置と今回の設置位置とを比較し、両者が異なる場合に、該被撮影カメラを撮影した前記2つのカメラの各々に撮影された他のカメラの映像位置から前記第2の過程で算出された該他のカメラの設置位置について、前回算出された設置位置と今回算出された設置位置とを比較し、両者が不一致の場合、該映像を撮影したカメラに異常が発生した判定し、両者が一致する場合、前記被撮影カメラの設置位置に異常が発生したと判定する第3の過程と、を含むものである。   Further, according to another aspect of the present invention, there is provided an abnormality detection method in which a plurality of cameras having appearance characteristics different from those of other cameras are installed such that at least two other cameras are photographed. A first process of detecting a camera video from a video screen shot by each camera, recognizing an appearance feature of the camera video, and identifying a camera to be shot, and detected in the first process The second process of calculating the installation position of the camera to be photographed from the video positions of the camera to be photographed on the video screens of the two cameras that photographed the same camera to be photographed, and the previous calculation in the second process. When the installation position of the camera to be photographed is compared with the current installation position, and the two are different from each other, the image position of the other camera taken by each of the two cameras that photographed the camera to be photographed is Calculated in the process of 2 The installation position calculated for the other camera is compared with the installation position calculated last time and the installation position calculated this time. If they do not match, it is determined that an abnormality has occurred in the camera that captured the video. , The third step of determining that an abnormality has occurred at the installation position of the camera to be photographed.

複数のカメラを用いて監視を行う監視カメラシステムにおいて、マーカ(目印)等を監視エリア内にカメラと別に配備することなく、各カメラの設置位置又は向き・姿勢の変動及びカメラ映像の異常を、各カメラで撮影した各カメラの映像を基に、自動的に精度良く検出し、異常カメラを判別して管理センター等へ通知することができる。   In a surveillance camera system that uses multiple cameras for monitoring, it is possible to detect changes in the installation position or orientation / posture of each camera and camera image abnormalities without arranging markers (markers) in the surveillance area separately from the cameras. Based on the video of each camera taken by each camera, it can be automatically detected with high accuracy, and an abnormal camera can be identified and notified to the management center or the like.

2つのカメラによって同一の物体を撮影した例を示す図である。It is a figure which shows the example which image | photographed the same object with two cameras. 検出対象の位置を算出するための座標例を示す図である。It is a figure which shows the example of a coordinate for calculating the position of a detection target. 検出対象の位置を算出するための座標例をX−Z平面で示す図である。It is a figure which shows the example of a coordinate for calculating the position of a detection target on a XZ plane. カメラの位置・姿勢を算出する原理の流れを示す図である。It is a figure which shows the flow of the principle which calculates the position and attitude | position of a camera. 対象物の位置とカメラの位置・姿勢の関係の座標系を示す図である。It is a figure which shows the coordinate system of the relationship between the position of a target object, and the position and attitude | position of a camera. 監視カメラシステムの機器構成及び機能構成例を示す図である。It is a figure which shows the apparatus structure of a surveillance camera system, and the function structural example. 監視カメラシステムにおけるカメラ情報データベースの例を示す図である。It is a figure which shows the example of the camera information database in a surveillance camera system. 監視カメラシステムにおける処理フローを示す図である。It is a figure which shows the processing flow in a surveillance camera system. 監視カメラシステムを適用した実施例のシステム環境例を示す図である。It is a figure which shows the system environment example of the Example to which the surveillance camera system is applied. 実施例における三角測量の説明図である。It is explanatory drawing of the triangulation in an Example. 実施例における各カメラからの入力映像例を示す図である。It is a figure which shows the example of an input video from each camera in an Example. 実施例におけるカメラ情報データベースの変化例を示す図である。It is a figure which shows the example of a change of the camera information database in an Example. 実施例におけるカメラA及びカメラBの映像の例を示す図である。It is a figure which shows the example of the image | video of the camera A and the camera B in an Example. 実施例におけるカメラDの映像の例を示す図である。It is a figure which shows the example of the image | video of the camera D in an Example. 実施例におけるカメラ位置・姿勢の算出の伝搬例を示す図である。It is a figure which shows the propagation example of calculation of the camera position and attitude | position in an Example. 実施例におけるカメラの異常を検出する手法の例を示す図である。It is a figure which shows the example of the method of detecting the abnormality of the camera in an Example.

開示の監視カメラシステムは、複数のカメラで監視エリアを撮影する際に、監視対象物だけでなく、他のカメラも同時に各カメラで撮影されるよう各カメラを配置する。そして、各カメラで撮影した他のカメラの映像位置から相互に各カメラの位置又は向き・姿勢の座標位置を算出する。   In the disclosed surveillance camera system, when a surveillance area is photographed by a plurality of cameras, each camera is arranged so that not only the surveillance object but also other cameras are photographed simultaneously. Then, the position or orientation / posture coordinate position of each camera is calculated from the video position of the other camera taken by each camera.

カメラの位置又は向き・姿勢が変移したカメラの映像から算出した他のカメラの位置の座標位置は、正常なカメラでの映像から算出した他のカメラの位置の座標位置と異なることを利用して、位置又は向き・姿勢が変移した異常カメラを発見し判別する。以下、カメラの位置・姿勢の座標の算出について詳細に説明する。   Using the fact that the coordinate position of the other camera position calculated from the video of the camera whose camera position, orientation, or orientation has changed is different from the coordinate position of the other camera position calculated from the video of the normal camera. Detect and identify an abnormal camera whose position or orientation / posture has changed. Hereinafter, calculation of the coordinates of the position and orientation of the camera will be described in detail.

まず、カメラの設置条件として、少なくとも2つのカメラの位置及び向き・姿勢が既知であるとする。そして、位置及び向き・姿勢が既知の少なくとも2つのカメラに、新たに位置及び向き・姿勢を算出しようとするカメラが撮影されるように設置する。更に、位置及び向き・姿勢を算出しようとするカメラは、位置が既知のカメラが2つ以上撮影されるように設置する。   First, it is assumed that the position, orientation, and orientation of at least two cameras are known as camera installation conditions. Then, at least two cameras whose positions, orientations, and orientations are known are installed so that cameras that are to newly calculate the positions, orientations, and orientations are photographed. Furthermore, the camera whose position, orientation, and orientation are to be calculated is installed so that two or more cameras with known positions are photographed.

(1)カメラ位置の算出について
図1に示すように、位置及び向き・姿勢が既知の2台のカメラA,Bで、他の共通のカメラC(検出対象)を撮影することができれば、三角測量の原理を用いてカメラCの位置を算出することができる。例えば、図2に示すように、左側のカメラの焦点位置を原点とした座標系を想定する。2つのカメラA,Bは焦点距離fを有し、該2つのカメラA,B間の距離をdとし、該2つのカメラA,Bの光軸の方向は等しいとする。
(1) Calculation of Camera Position As shown in FIG. 1, if two cameras A and B whose positions, orientations and orientations are known can capture another common camera C (detection target), a triangle is obtained. The position of the camera C can be calculated using the principle of surveying. For example, as shown in FIG. 2, a coordinate system with the focal point position of the left camera as the origin is assumed. The two cameras A and B have a focal length f, the distance between the two cameras A and B is d, and the directions of the optical axes of the two cameras A and B are equal.

図2において、2−1は左側のカメラAの映像画面、2−2は右側のカメラBの映像画面、2−3は位置の検出対象であるカメラCである。カメラAの映像画面2−1での検出対象カメラCの座標値を(xl,yl)、カメラBの映像画面2−2での検出対象カメラCの座標値を(xr,yr)とする。また、検出対象カメラCの座標値を(X、Y,Z)とする。 In FIG. 2, 2-1 is a video screen of the left camera A, 2-2 is a video screen of the right camera B, and 2-3 is a camera C whose position is to be detected. The coordinate value of the detection target camera C on the video screen 2-1 of the camera A is (xl, yl), and the coordinate value of the detection target camera C on the video screen 2-2 of the camera B is (xr, yr). Further, the coordinate value of the detection target camera C is assumed to be (X p , Y p , Z p ).

図2に示した配置関係をY軸の上方から眺めた場合、XZ平面における位置関係は図3のように表され、三角形の相似の原理から、

Figure 2011076573
という関係式が成立する。 When the arrangement relationship shown in FIG. 2 is viewed from above the Y axis, the positional relationship in the XZ plane is expressed as shown in FIG. 3, and from the principle of similarity of triangles,
Figure 2011076573
The following relational expression holds.

物体の位置Xは、

Figure 2011076573
という計算式で算出される。同様に、物体の位置YとZ
Figure 2011076573
として算出される。 The position X p of the object is
Figure 2011076573
It is calculated by the following formula. Similarly, the positions Y p and Z p of the object are
Figure 2011076573
Is calculated as

そこでまず、図4(a)に示すように、相互に他の2つのカメラが撮影されるようにカメラα、カメラβ及びカメラγを配置し、カメラα及びカメラβについてはその位置及び向き・姿勢が既知であるとする。そして、図4(b)に示すように、カメラα及びカメラβからカメラγを撮影し、カメラα及びカメラβの映像からカメラγの位置を上記の計算式により算出する。   Therefore, first, as shown in FIG. 4A, the cameras α, β, and γ are arranged so that the other two cameras are photographed with respect to each other. Assume that the posture is known. Then, as shown in FIG. 4B, the camera γ is photographed from the camera α and the camera β, and the position of the camera γ is calculated from the images of the camera α and the camera β by the above formula.

(2)カメラの向き・姿勢の算出について
図5に示すように、カメラ座標系をxyz、地上座標系をXYZ、映像座標系をxyとすると、カメラの位置及び向き・姿勢は、カメラの地上座標値(X,Y,Z)、及びx軸・y軸・z軸回りのカメラの回転角(ω,φ,κ)の6つのパラメータによって表される。これら6つのパラメータと対象物Pの地上座標値(X,Y,Z)と該対象物Pの画面上の映像座標値(x、y)との間には、次式のような関係が成り立つことが知られている。

Figure 2011076573
(2) Calculation of camera orientation / posture As shown in FIG. 5, when the camera coordinate system is xyz, the ground coordinate system is XYZ, and the video coordinate system is xy, the camera position, orientation, and orientation are The coordinate values (X 0 , Y 0 , Z 0 ) and the camera rotation angles (ω, φ, κ) around the x-axis, y-axis, and z-axis are represented by six parameters. Between these six parameters, the ground coordinate values (X, Y, Z) of the object P and the image coordinate values (x, y) on the screen of the object P, the following relationship is established. It is known.
Figure 2011076573

この関係式から、カメラγの位置(X,Y,Z)が既知である場合、該カメラγで撮影されている2つ以上の対象物Pの地上座標値(X,Y,Z)が既知であれば、カメラγの向き・姿勢(ω,φ,κ)を求めることができる。即ち、前述の(1)で説明した手法で位置が算出されたカメラγに、既に位置が既知のカメラが2つ以上撮影されていれば、該カメラγの向き・姿勢を算出することができる。 From this relational expression, when the position (X 0 , Y 0 , Z 0 ) of the camera γ is known, the ground coordinate values (X, Y, Z) of two or more objects P photographed by the camera γ. ) Is known, the orientation and orientation (ω, φ, κ) of the camera γ can be obtained. That is, if two or more cameras whose positions are already known have been shot on the camera γ whose position has been calculated by the method described in the above (1), the direction and orientation of the camera γ can be calculated. .

この監視カメラシステムにおけるカメラの設置条件として、位置が既知の2つ以上のカメラが撮影されるように各カメラを設置することにより、例えば図4(c)に示すように配置されたカメラγの向き・姿勢は、該カメラγの映像中の、位置が既知のカメラα,βの撮影位置から算出することができる。このようにして、カメラ同士で他のカメラを相互に撮影し、各カメラの映像データから各カメラ位置及び向き・姿勢を算出することができる。   As a camera installation condition in this surveillance camera system, by installing each camera so that two or more cameras whose positions are known are photographed, for example, the camera γ arranged as shown in FIG. The direction and orientation can be calculated from the shooting positions of the cameras α and β whose positions are known in the video of the camera γ. In this way, it is possible to photograph other cameras with each other and calculate the position, orientation, and orientation of each camera from the video data of each camera.

図6はこの監視カメラシステムにおける処理装置の構成例を示す。この監視カメラシステムは、パーソナルコンピュータ等の処理装置6−1を有し、該処理装置6−1は、監視エリアを撮像するための複数のカメラ(撮像装置)6−2と接続される。また、該処理装置6−1内には、カメラ情報データベース6−11を格納した記憶部を備える。   FIG. 6 shows an example of the configuration of a processing device in this surveillance camera system. This monitoring camera system includes a processing device 6-1 such as a personal computer, and the processing device 6-1 is connected to a plurality of cameras (imaging devices) 6-2 for imaging a monitoring area. The processing device 6-1 includes a storage unit that stores a camera information database 6-11.

該カメラ情報データベース6−11は、図7に示すように、カメラ毎に、カメラID、カメラ特徴(色など)、カメラ位置(X,Y,Z)、カメラ向き・姿勢(ω,φ,κ)、位置及び向き・姿勢の算出に用いた利用カメラID、前回カメラ位置(X,Y,Z)、前回カメラ向き・姿勢(ω,φ,κ)、現時刻のカメラ映像データの情報が格納される。   As shown in FIG. 7, the camera information database 6-11 includes, for each camera, a camera ID, camera characteristics (color, etc.), camera position (X, Y, Z), camera orientation / posture (ω, φ, κ). ), Used camera ID used for calculation of position, orientation / posture, previous camera position (X, Y, Z), previous camera orientation / posture (ω, φ, κ), and information of camera video data at the current time Is done.

処理装置6−1には、更に、カメラ情報データベース6−11のカメラ位置及び向き・姿勢のデータを基に、位置及び向き・姿勢の算出に利用する映像データを選択するカメラ選択部6−12を備える。また、カメラによって撮影された映像画面(映像データ)から、被撮影カメラの映像の検出を行うカメラ検出部6−13を備える。   The processing device 6-1 further includes a camera selection unit 6-12 that selects video data used for calculation of the position, orientation, and orientation based on the camera position, orientation, and orientation data of the camera information database 6-11. Is provided. In addition, a camera detection unit 6-13 that detects a video of the camera to be shot from a video screen (video data) shot by the camera is provided.

また、カメラの設置位置を計算するカメラ位置計算部6−14、カメラ位置が算出されたカメラで撮影された映像データから、カメラの向き・姿勢を計算するカメラ姿勢計算部6−15を備える。また、設置位置及び向き・姿勢の前回の算出値と今回の算出値とを比較して異常カメラを検出する異常カメラ検出部6−16を備える。   In addition, a camera position calculation unit 6-14 that calculates the installation position of the camera and a camera posture calculation unit 6-15 that calculates the orientation / posture of the camera from video data captured by the camera whose camera position has been calculated are provided. Also, an abnormal camera detection unit 6-16 that detects an abnormal camera by comparing the previous calculated value of the installation position, orientation, and orientation with the current calculated value is provided.

図8はこの監視カメラシステムにおける処理の流れを示すフローチャートである。このフローチャートを参照して、カメラの設置位置及び向き・姿勢の異常を検出する処理を説明する。最初に、カメラ情報データベースのデータの初期化を行う。この初期化において、カメラ情報データベースに、設置されるカメラ台数分だけカメラIDを順に設定しておく。   FIG. 8 is a flowchart showing the flow of processing in this surveillance camera system. With reference to this flowchart, processing for detecting an abnormality in the installation position and orientation / posture of the camera will be described. First, the camera information database data is initialized. In this initialization, camera IDs are set in order in the camera information database for the number of cameras installed.

また、カメラ特徴として、カメラの映像から各カメラを個々に特定可能な特徴、例えばカメラの色等の特徴を設定しておく。このカメラ特徴は、カメラの色の他にカメラ固有の模様や記号や形状等の特徴であってもよい。また、カメラの設置位置及び向き・姿勢として、少なくとも2台の既知のカメラについて予めその設置位置及び向き・姿勢の値を格納し、それ以外のカメラに対しては「不明」の旨の情報を格納し、利用カメラIDも「なし」の旨の情報を格納しておく(8−1)。   Further, as camera features, features that can individually identify each camera from the camera image, for example, features such as camera color, are set. This camera feature may be a camera-specific pattern, symbol, shape, or the like in addition to the camera color. Also, as the camera installation position, orientation, and orientation, values of the installation position, orientation, and orientation are stored in advance for at least two known cameras, and “unknown” information is provided for other cameras. Stored and information indicating that the camera ID used is “none” is stored (8-1).

次に、各カメラで撮影した映像データを取得し、該映像データをカメラ情報データベースに格納する(8−2)。更に、現時点のカメラの設置位置及び向き・姿勢の値を、前回カメラ位置及び前回カメラ姿勢の値にコピーする。カメラ選択部6−12によって、カメラ情報データベース6−11から各カメラの設置位置及び向き・姿勢の情報を読み出し、位置及び向き・姿勢共に「不明」でないカメラIDを探索し、該カメラIDをカメラ検出部6−13に通知する。   Next, video data captured by each camera is acquired, and the video data is stored in the camera information database (8-2). Further, the current camera installation position and orientation / posture values are copied to the previous camera position and previous camera posture values. The camera selection unit 6-12 reads information on the installation position, orientation, and orientation of each camera from the camera information database 6-11, searches for a camera ID that is not “unknown” in both position, orientation, and orientation, and uses the camera ID as a camera. Notify the detection unit 6-13.

カメラ検出部6−13は、通知されたカメラIDの映像データを、カメラ情報データベース6−11から読み出し、その映像画面の中からカメラの映像を検出する。具体的には、予めカメラの形状を学習しておき、映像画面の中から該形状と類似する映像部分を抜き出すことによりカメラの映像の検出を行う。   The camera detection unit 6-13 reads out the video data of the notified camera ID from the camera information database 6-11, and detects the video of the camera from the video screen. Specifically, the shape of the camera is learned in advance, and the video of the camera is detected by extracting a video portion similar to the shape from the video screen.

カメラ位置計算部6−14は、2つ以上のカメラの映像で同一のカメラ特徴を有するカメラの映像が検出された場合、同一カメラが撮影されていると判断し、該カメラの位置を、2つのカメラの映像画面のカメラ映像位置から、三角測量の原理によって算出し推定する(8−3)。   When camera images having the same camera characteristics are detected in two or more camera images, the camera position calculation unit 6-14 determines that the same camera has been shot, and determines the camera position as 2 It is calculated and estimated from the camera image positions of the image screens of two cameras by the principle of triangulation (8-3).

更に、判別されたカメラ特徴と、カメラ情報データベース6−11のカメラ特徴とを照合し、判別されたカメラ特徴のカメラIDを同定し、そのカメラの位置を今回のカメラ位置に書き込んで更新する。更に、利用カメラIDとして、位置の算出に用いた映像のカメラIDを書き込む。   Further, the determined camera feature and the camera feature in the camera information database 6-11 are collated, the camera ID of the determined camera feature is identified, and the position of the camera is written in the current camera position and updated. Further, the camera ID of the video used for calculating the position is written as the use camera ID.

カメラ位置の算出値を、そのカメラの前回カメラ位置の値と比較し、異なるか否かを判定する(8−4)。今回のカメラ位置の値が前回カメラ位置と異なる場合は、フロー8−5以降の処理へ移行し、前回カメラ位置と等しい場合は、フロー8−9以降の処理へ移行する。   The calculated value of the camera position is compared with the value of the previous camera position of the camera to determine whether or not they are different (8-4). If the current camera position value is different from the previous camera position, the process proceeds to the flow after the flow 8-5, and if equal to the previous camera position, the process proceeds to the flow after the flow 8-9.

カメラ位置の値が前回カメラ位置と異なる場合、以下の2つの原因が想定される。その1つ目の原因として、実際に被撮影カメラの位置が前回の位置から移動した場合である。2つ目の原因として、カメラ位置を計算するために使用した撮影カメラの映像にズーム等による異常が起きた場合である。   When the value of the camera position is different from the previous camera position, the following two causes are assumed. The first cause is when the position of the camera to be photographed has actually moved from the previous position. The second cause is a case where an abnormality due to zooming or the like occurs in the video of the photographing camera used for calculating the camera position.

そこで、前回カメラ位置と異なる映像を撮影したカメラのカメラIDを調べ、該カメラの映像を利用して算出した別のカメラの位置を算出し推定する(8−5)。なお、別のカメラの位置のデータが未格納場合には、新たに別のカメラ(設置位置が正しいと認識されているもの)の設置位置を算出する。   Therefore, the camera ID of the camera that captured the image different from the previous camera position is checked, and the position of another camera calculated using the camera image is calculated and estimated (8-5). When the data of the position of another camera is not stored, the installation position of another camera (the camera whose installation position is recognized as correct) is calculated.

別のカメラの設置位置が前回のデータ(正常値)と異なるか否かを判定し(8−6)、一致する場合には、該設置位置の算出に使用したカメラの映像は正常であり、正しい算出結果が出力されていると判断し、設置位置の変化が検出された被撮影カメラに異常があると判断してそのカメラIDを管理センター等へ通知する(8−7)。   It is determined whether or not the installation position of another camera is different from the previous data (normal value) (8-6). If they match, the video of the camera used to calculate the installation position is normal, It is determined that the correct calculation result is output, it is determined that there is an abnormality in the camera to be photographed in which the change in the installation position is detected, and the camera ID is notified to the management center or the like (8-7).

また、別のカメラの設置位置も前回のデータ(正常値)と異なる場合には、この映像を撮影しているカメラ(位置算出に利用している利用カメラ)に異常が発生したと判断し、該カメラのカメラIDを管理センター等へ通知する(8−8)。   Also, if the installation position of another camera is also different from the previous data (normal value), it is determined that an abnormality has occurred in the camera that is shooting this video (the camera used for position calculation) The camera ID of the camera is notified to the management center or the like (8-8).

次にカメラの向き・姿勢を算出し推定する処理を以下のように行う(8−9)。まず、カメラ情報データベース6−11の中から、カメラ位置が既知であって、カメラ姿勢が「不明」のカメラIDを探索する。この探索で発見されたカメラIDの現時刻のカメラ映像データを読み込み、その映像画面の中からカメラの映像の検出を行う。   Next, processing for calculating and estimating the orientation / attitude of the camera is performed as follows (8-9). First, a camera ID whose camera position is known and whose camera posture is “unknown” is searched from the camera information database 6-11. The camera image data at the current time of the camera ID found by this search is read, and the camera image is detected from the image screen.

この映像画面で検出されたカメラ映像のカメラ特徴と、カメラ情報データベース6−11に格納されているカメラ特徴とを照合し、映像画面で検出されたカメラの特徴を有するカメラIDを同定し、該カメラIDのカメラ位置を読み出す。設置条件により、映像画面中には2つ以上のカメラが撮影されているため、それらの被撮影カメラの映像位置から、撮影カメラの向き・姿勢の値を算出し推定する。   The camera feature of the camera image detected on the video screen is compared with the camera feature stored in the camera information database 6-11 to identify the camera ID having the camera feature detected on the video screen, Read the camera position of the camera ID. Since two or more cameras are photographed on the video screen depending on the installation conditions, the direction / posture values of the photographing cameras are calculated and estimated from the video positions of those cameras.

算出したカメラの向き・姿勢の値が前回カメラ姿勢の値と異なるか否かを判定する(8−10)。異なる場合は、撮影カメラの向き・姿勢が実際に変更されたか、又は撮影カメラの映像に異常が発生したことが原因である。原因が何れであるにせよ、撮影カメラ自体に異常が発生しているので、この撮影カメラのカメラIDを管理センター等へ通知する(8−11)。   It is determined whether the calculated camera orientation / posture value is different from the previous camera posture value (8-10). If they are different, this is because the orientation / posture of the photographing camera has actually been changed, or an abnormality has occurred in the image of the photographing camera. Regardless of the cause, an abnormality has occurred in the photographing camera itself, and the camera ID of this photographing camera is notified to the management center or the like (8-11).

算出したカメラの向き・姿勢の値が前回カメラ姿勢の値と同一で有る場合は、正常であると判断し、全てのカメラに対して設置位置及び向き・姿勢が算出されたか判定し(8−12)、全てのカメラに対して算定が終わっていなければ、処理フロー8−3に戻って同様の処理を繰り返し実行する。全てのカメラに対して算定が終われば、処理フロー8−1に戻って同様の処理を繰り返し実行する。   If the calculated camera orientation / posture value is the same as the previous camera orientation value, it is determined that the camera is normal, and it is determined whether the installation position and orientation / posture have been calculated for all cameras (8- 12) If calculation has not been completed for all the cameras, the process returns to the process flow 8-3 and the same process is repeated. When the calculation is completed for all the cameras, the process returns to the process flow 8-1, and the same process is repeatedly executed.

実際にこの監視カメラシステムを使用した場合の具体例について説明する。ここでは、図9に示すように、複数のカメラA,B,C,D,E,F,G,H,Iを天井から真下に向けた監視システムの例について説明する。なお、この監視カメラシステムでは、カメラを真下に向けても、映像画面内に他のカメラが撮影されるよう、魚眼レンズ等、画角が180度以上あるレンズを装着したカメラを天井に設置する。   A specific example when this surveillance camera system is actually used will be described. Here, as shown in FIG. 9, an example of a monitoring system in which a plurality of cameras A, B, C, D, E, F, G, H, and I are directed directly from the ceiling will be described. In this surveillance camera system, a camera equipped with a lens having a field angle of 180 degrees or more, such as a fisheye lens, is installed on the ceiling so that other cameras can be photographed in the video screen even when the camera is pointed directly downward.

また、カメラの光軸が真下を向いており、更に全てのカメラの設置位置(天井)の高さZが等しいとする。すると、図10に示すように、設置位置が既知の2つのカメラA,Bと、設置位置の算出対象のカメラCの地上座標には、以下の関係式が成り立つ。ここで、カメラA,B,Cの地上座標の値をそれぞれ(Xa,Ya),(Xb,Yb),(Xc,Yc)とする。また、カメラA,B間の距離をdとする。カメラA,BからのカメラCの方向をそれぞれθ,φとする。なお、簡単化のためYa=Ybとしている。

Figure 2011076573
Further, it is assumed that the optical axis of the camera is directly below, and that the heights Z of all the camera installation positions (ceilings) are equal. Then, as shown in FIG. 10, the following relational expression is established between the ground coordinates of the two cameras A and B whose installation positions are known and the camera C whose installation position is to be calculated. Here, the values of the ground coordinates of the cameras A, B, and C are respectively (Xa, Ya), (Xb, Yb), and (Xc, Yc). The distance between the cameras A and B is d. The directions of the camera C from the cameras A and B are θ and φ, respectively. For simplicity, Ya = Yb.
Figure 2011076573

各カメラは、天井に真下に向けて設置されているため、各カメラには図11に示すような映像が撮影され、カメラA,Bの映像画面内にカメラCが撮影されてさえいれば、簡単にカメラCの方向(θ及びφ)が求められる。更に、カメラの向き・姿勢も1自由度(κ)しかないため、向き・姿勢の算出も、設置位置が既知のカメラの映像を1つ映像画面から検出すれば、算出することができる。   Since each camera is installed directly below the ceiling, as long as each camera captures an image as shown in FIG. 11 and the camera C is captured in the image screens of cameras A and B, The direction (θ and φ) of the camera C is easily obtained. Furthermore, since the camera orientation / orientation has only one degree of freedom (κ), the orientation / orientation can also be calculated by detecting one camera image with a known installation position from one image screen.

この実施例では、カメラA,Bの位置及び向き・姿勢は既知であり、各カメラIDとそのカメラ特徴である色とが対応付けられているとする。まず、カメラ情報データベースを初期化する。カメラ情報データベースは、図12(a)に示すように、カメラA,Bの位置及び向き・姿勢は既知であるため、それらの値が書き込まれ、また、カメラ特徴として色を各カメラID対応に予め書き込んでおく。   In this embodiment, it is assumed that the positions, orientations, and orientations of the cameras A and B are known, and each camera ID is associated with a color that is a feature of the camera. First, the camera information database is initialized. In the camera information database, as shown in FIG. 12A, since the positions, orientations and orientations of the cameras A and B are known, those values are written, and the colors are assigned to the camera IDs as camera features. Write in advance.

カメラA,Bの位置及び向き・姿勢が既知であるため、このカメラA,Bの映像データを読み出し、この映像画面の中からカメラ映像部分を検出する。カメラAでは、図13(a)に示すように、紫、橙及び白のカメラが撮影され、カメラBでは、図13(b)に示すように、赤、白、橙、黄緑及び黒のカメラが撮影される。   Since the positions, orientations and orientations of the cameras A and B are known, the video data of the cameras A and B are read, and the camera video portion is detected from the video screen. In camera A, purple, orange and white cameras are photographed as shown in FIG. 13 (a), and in camera B, red, white, orange, yellowish green and black are photographed as shown in FIG. 13 (b). The camera is photographed.

各映像画面の中のカメラ映像の色を比較すると、白及び橙のカメラが両方の映像画面に存在するため、この2つのカメラの位置を算出する。白及び橙のカメラ特徴のカメラIDをカメラ情報データベースから探すと、それらはカメラD及びカメラEであると同定されるので、それらの位置情報を更新するとともに、それらの利用カメラIDにそれぞれカメラA及びカメラBを格納する。その結果、カメラ情報データベースには図12(b)に示すデータが格納される。   Comparing the color of the camera video in each video screen, since the white and orange cameras exist in both video screens, the positions of these two cameras are calculated. When camera IDs of white and orange camera characteristics are searched from the camera information database, they are identified as camera D and camera E, so that their position information is updated and camera A is assigned to each of the used camera IDs. And camera B are stored. As a result, the data shown in FIG. 12B is stored in the camera information database.

カメラD,Eは、設置位置のみが算出されたカメラとなるので、次に向き・姿勢の算出を行う。カメラDの映像画面の中には、図14に示すように、赤、紫、橙、青及び緑のカメラが撮影されている。各色のカメラで、設置位置が既知のカメラIDを情報データベースから探索すると、それらはカメラA,B,Eであると同定され、何れかのカメラの位置を利用して向き・姿勢を算出し、カメラ情報データベースに格納する。その結果、カメラ情報データベースには図12(c)に示すようにカメラDの向き・姿勢の値が格納される。   Since the cameras D and E are cameras in which only the installation positions are calculated, the direction and orientation are calculated next. In the video screen of the camera D, red, purple, orange, blue and green cameras are photographed as shown in FIG. When the camera ID of each color is searched from the information database for camera IDs whose installation positions are known, they are identified as cameras A, B, and E, and the orientation and orientation are calculated using the position of any camera, Store in the camera information database. As a result, the orientation / attitude values of the camera D are stored in the camera information database as shown in FIG.

カメラEの映像画面についても同様の処理を行って、カメラEの向き・姿勢を算出する。これによって、カメラA,B,D,Eの位置及び向き・姿勢が算出されたことになる。次にこの4つのカメラの映像を利用して、映像画面に撮影されている同一のカメラ映像を検出することにより、更に周囲にある別のカメラの位置及び向き・姿勢を算出し推定する。   The same processing is performed on the video screen of the camera E, and the orientation / attitude of the camera E is calculated. As a result, the positions, orientations, and orientations of the cameras A, B, D, and E are calculated. Next, by using the images of the four cameras, the same camera image captured on the image screen is detected, and the position, orientation, and orientation of another camera in the vicinity are further calculated and estimated.

この処理を図15に示すように繰り返し実施することにより、全てのカメラの位置及び向き・姿勢を算出し推定することができる。初期状態では、図15(a)に示すよう、カメラA,Bの位置及び向き・姿勢が既知である。この状態から、図15(b)に示すように、カメラA,Bで撮影した映像から、カメラD,Eの位置が算出され、カメラD,Eの向き・姿勢は、カメラD,Eで撮影したカメラA又はBの映像から算出される。   By repeatedly performing this process as shown in FIG. 15, the positions, orientations, and orientations of all cameras can be calculated and estimated. In the initial state, as shown in FIG. 15A, the positions, orientations and orientations of the cameras A and B are known. From this state, as shown in FIG. 15B, the positions of the cameras D and E are calculated from the images taken by the cameras A and B, and the orientations and postures of the cameras D and E are taken by the cameras D and E. Calculated from the image of the camera A or B.

次に、図15(c)に示すように、カメラD,Eで撮影した映像から、カメラG,Hの位置が算出され、カメラG,Hの向き・姿勢は、カメラG,Hで撮影したカメラD又はEの映像から算出される。また、カメラB,Eで撮影した映像から、カメラC,Fの位置が算出され、カメラC,Fの向き・姿勢は、カメラC,Fで撮影したカメラB又はEの映像から算出される。次に、図15(d)に示すように、カメラE,Fで撮影した映像から、カメラIの位置が算出され、カメラIの向き・姿勢は、カメラIで撮影したカメラE又はFの映像から算出される。   Next, as shown in FIG. 15 (c), the positions of the cameras G and H are calculated from the images taken by the cameras D and E, and the directions and orientations of the cameras G and H are taken by the cameras G and H. It is calculated from the video of the camera D or E. Further, the positions of the cameras C and F are calculated from the images taken by the cameras B and E, and the orientations and orientations of the cameras C and F are calculated from the images of the cameras B and E taken by the cameras C and F. Next, as shown in FIG. 15 (d), the position of the camera I is calculated from the images taken by the cameras E and F, and the orientation / posture of the camera I is the image of the camera E or F taken by the camera I. Is calculated from

各カメラの位置及び向き・姿勢の値が新たに算出される毎に、前回の値との比較を行う。カメラに異常がなければ、前回の値と合致する比較結果が得られるはずである。全てのカメラについて、前回の値と合致する比較結果が得られれば、カメラ情報データベースの内容を初期化して、再度、カメラの位置及び向き・姿勢を算出する処理を最初から行う。   Each time the position and orientation / posture values of each camera are newly calculated, a comparison with the previous value is performed. If there is no abnormality in the camera, a comparison result that matches the previous value should be obtained. If a comparison result that matches the previous value is obtained for all cameras, the contents of the camera information database are initialized, and the process of calculating the camera position, orientation, and orientation is performed again from the beginning.

何れかのカメラの位置又は向き・姿勢が前回と異なっている場合、そのカメラ自体の位置又は向き・姿勢が変動したのか、それともそのカメラの位置又は向き・姿勢を算出する際に用いた利用カメラの映像が正常でないのかを判断する。例えば、図16に示すように、今回の位置算出により、カメラIの位置の値が前回の値とずれ、このカメラIの位置の算出にカメラFとカメラEの映像を利用したとする。   If the position or orientation / posture of any camera is different from the previous one, whether the camera's own position / orientation / posture has changed, or the camera used to calculate the camera's position, orientation / posture To determine if the video is normal. For example, as shown in FIG. 16, it is assumed that the position value of the camera I is deviated from the previous value by the current position calculation, and the images of the camera F and the camera E are used to calculate the position of the camera I.

カメラIの位置の値が前回と異なっていると判定された時点で、カメラIの利用カメラIDであるカメラE及びカメラFで撮影されている、位置が既知のカメラの映像位置を調査する。例えば、カメラFとカメラBとの組み合わせでカメラCの位置を算出し、カメラEとカメラDとの組み合わせでカメラBの位置を算出する。   When it is determined that the value of the position of the camera I is different from the previous time, the video positions of the cameras whose positions are known, which are taken by the cameras E and F, which are the camera IDs used by the camera I, are investigated. For example, the position of the camera C is calculated by the combination of the camera F and the camera B, and the position of the camera B is calculated by the combination of the camera E and the camera D.

即ち、カメラF及びカメラBで撮影した映像からカメラCの位置を算出し、その値が前回と異なる場合は、カメラFの映像が異常であると判断する。カメラCの位置が前回と同一である場合は、カメラFに異常が無く、カメラEについて調査する。そのために、カメラE及びカメラDで撮影した映像からカメラBの位置を算出し、その値が前回と異なる場合は、カメラEの映像が異常であると判断する。カメラBの位置が前回と同一である場合は、カメラEに異常が無く、カメラIが異常であると判断する。   That is, the position of the camera C is calculated from the images taken by the camera F and the camera B. If the value is different from the previous value, it is determined that the image of the camera F is abnormal. When the position of the camera C is the same as the previous time, the camera F is not abnormal and the camera E is investigated. Therefore, the position of the camera B is calculated from the images taken by the camera E and the camera D, and when the value is different from the previous value, it is determined that the image of the camera E is abnormal. When the position of the camera B is the same as the previous time, it is determined that the camera E is not abnormal and the camera I is abnormal.

映像の調査に使用するカメラの組み合わせは、上述の組み合わせに限られず、また1種類だけ調べるのではなく、複数の組み合わせによって調査する構成としてもよい。図16の例では、カメラIの位置がずれていたことによるため、カメラE及びカメラFを使って算出した他のカメラの位置は何れも正しい値となる。   The combination of cameras used for video investigation is not limited to the above-described combination, and may be configured to investigate by a plurality of combinations instead of examining only one type. In the example of FIG. 16, since the position of the camera I is shifted, the positions of the other cameras calculated using the camera E and the camera F are all correct values.

このように、他のカメラの位置を算出してその位置が前回と同一である場合は、カメラIに異常があったと判断し、その旨を管理センター等へ通知する。もし、カメラEの映像に異常がある場合には、カメラEを利用して算出した他のカメラの位置も前回と異なる結果となるため、これによってカメラEに異常があると判断する。   As described above, when the position of another camera is calculated and the position is the same as the previous time, it is determined that the camera I is abnormal, and a notification to that effect is sent to the management center or the like. If there is an abnormality in the video of the camera E, the position of the other camera calculated using the camera E is also different from the previous result, so that it is determined that there is an abnormality in the camera E.

この監視カメラシステムでは、カメラの設置位置又は向き・姿勢が変動した場合だけでなく、カメラがズームされたり、カメラの視界が隠されたりするなど、カメラの映像に異常が発生した場合にも、異常が発生したカメラを特定し、そのカメラIDを管理センター等通知することが可能である。   In this surveillance camera system, not only when the installation position or orientation / posture of the camera fluctuates, but also when the camera image is abnormal, such as when the camera is zoomed or the camera's field of view is hidden, It is possible to identify a camera in which an abnormality has occurred and notify the camera ID of the camera ID.

また、監視カメラシステムでは、カメラ自身がマーカの役割を果たすため、マーカを新たに設置する手間がなく、カメラが動いたことを検知した場合は、そのカメラを撮影しているカメラ、又は撮影されたカメラに異常があり、その何れであるかを、他のカメラの映像を基に確認するため、カメラ異常を精度良く判別することができる。   Also, in the surveillance camera system, since the camera itself plays the role of a marker, there is no need to newly install a marker, and if it is detected that the camera has moved, the camera that is shooting the camera or the camera is shot. Since there is an abnormality in the camera, which is confirmed based on the video of another camera, the camera abnormality can be determined with high accuracy.

また、どのカメラに異常が起こったのかを特定することができ、異常のカメラを別カメラで映すことができるため、その映像からカメラの現状把握、過去の映像からカメラ異常の原因解明等を行うことが可能となる。また、各カメラの設置位置又は向き・姿勢を算定するため、設置位置又は向き・姿勢の自動補正が可能な監視カメラシステムに適用した場合には、カメラの設置位置又は向き・姿勢にズレが発生したとき、そのズレを自動的に補正する構成とすることができる。   In addition, it is possible to identify which camera has an abnormality, and to display the abnormal camera with another camera, so the current state of the camera can be grasped from the image, and the cause of the camera abnormality can be elucidated from the past image. It becomes possible. In addition, when applied to a surveillance camera system that can automatically correct the installation position or orientation / posture to calculate the installation position or orientation / posture of each camera, a deviation occurs in the camera installation position, orientation / posture. In such a case, the deviation can be automatically corrected.

6−1 処理装置
6−2 カメラ(撮像装置)
6−11 カメラ情報データベース
6−12 カメラ選択部
6−13 カメラ検出部
6−14 カメラ位置計算部
6−15 カメラ姿勢計算部
6−16 異常カメラ検出部
6-1 Processing device 6-2 Camera (imaging device)
6-11 Camera information database 6-12 Camera selection unit 6-13 Camera detection unit 6-14 Camera position calculation unit 6-15 Camera posture calculation unit 6-16 Abnormal camera detection unit

Claims (6)

互いに他のカメラと異なる外観上の特徴を有する複数のカメラと、
前記各カメラで撮影された映像画面の中から、カメラ映像を検出し、該カメラ映像の外観上の特徴を認識し、被撮影カメラを同定するカメラ検出部と、
前記カメラ検出部で検出された同一の被撮影カメラを撮影した2つのカメラの映像画面における該被撮影カメラの映像位置から、該被撮影カメラの設置位置を算出するカメラ位置計算部と、
前記カメラ位置計算部で前回算出された前記被撮影カメラの設置位置と今回の設置位置とを比較し、両者が異なる場合にカメラの設置位置に異常が発生したと判定する異常カメラ判定部と、
を備えたことを特徴とする監視カメラシステム。
A plurality of cameras having different appearance characteristics from other cameras;
A camera detection unit for detecting a camera video from the video screen shot by each camera, recognizing features on the appearance of the camera video, and identifying a camera to be shot;
A camera position calculation unit that calculates an installation position of the camera to be photographed from video positions of the camera to be photographed on the video screens of two cameras that photographed the same camera to be photographed detected by the camera detection unit;
An abnormal camera determination unit that compares the installation position of the camera to be photographed previously calculated by the camera position calculation unit with the current installation position, and determines that an abnormality has occurred in the camera installation position when both are different,
A surveillance camera system characterized by comprising:
前記異常カメラ判定部は、前記カメラ位置計算部で前回算出された前記被撮影カメラの設置位置と今回の設置位置とを比較し、両者が異なる場合に、該被撮影カメラを撮影した前記2つのカメラの各々に撮影された他のカメラの映像位置から前記カメラ位置計算部で算出された該他のカメラの設置位置について、前回算出された設置位置と今回算出された設置位置とを比較し、両者が不一致の場合、該映像を撮影したカメラに異常が発生したと判定し、両者が一致する場合、前記被撮影カメラの設置位置に異常が発生したと判定することを特徴とする請求項1に記載の監視カメラシステム。   The abnormal camera determination unit compares the installation position of the camera to be photographed previously calculated by the camera position calculation unit with the current installation position, and when the two are different, the two cameras that photographed the camera to be photographed are compared. For the installation position of the other camera calculated by the camera position calculation unit from the video position of the other camera taken by each of the cameras, compare the installation position calculated last time with the installation position calculated this time, 2. If the two do not match, it is determined that an abnormality has occurred in the camera that has captured the video, and if both match, it is determined that an abnormality has occurred in the installation position of the camera to be photographed. The surveillance camera system as described in. 前記カメラ位置計算部は、前記カメラ検出部で検出され、設置位置が既知の被撮影カメラを撮影したカメラの映像画面における該被撮影カメラの映像位置から、該被撮影カメラを撮影したカメラの向き・姿勢を算出し、
前記異常カメラ判定部は、前記被撮影カメラを撮影したカメラの、前記カメラ位置計算部で算出された前回の向き・姿勢と今回の向き・姿勢とを比較し、両者が異なる場合に、該被撮影カメラを撮影したカメラに異常が発生したと判定することを特徴とする請求項1又は2に記載の監視カメラシステム。
The camera position calculation unit is detected by the camera detection unit, and from the video position of the camera to be photographed on the video screen of the camera that has photographed the camera to be photographed whose installation position is known, the direction of the camera that photographed the camera to be photographed・ Calculate posture,
The abnormal camera determination unit compares the previous orientation / attitude calculated by the camera position calculation unit with the current orientation / attitude of the camera that has photographed the subject camera. 3. The surveillance camera system according to claim 1, wherein it is determined that an abnormality has occurred in the camera that has photographed the photographing camera.
前記複数のカメラとして、画角が少なくとも180度のレンズを装着したカメラを、監視エリアの天井部分に真下に向けて設置したことを特徴とする請求項1乃至3の何れかに記載の監視カメラシステム。   The surveillance camera according to any one of claims 1 to 3, wherein a camera equipped with a lens having an angle of view of at least 180 degrees is installed as the plurality of cameras directly below the ceiling portion of the surveillance area. system. 互いに他のカメラと異なる外観上の特徴を有する複数のカメラを、他のカメラが少なくとも2つ撮影されるように設置し、
前記各カメラで撮影された映像画面の中から、カメラ映像を検出し、該カメラ映像の外観上の特徴を認識し、被撮影カメラを同定する第1の過程と、
前記第1の過程で検出された同一の被撮影カメラを撮影した2つのカメラの映像画面における該被撮影カメラの映像位置から、該被撮影カメラの設置位置を算出する第2の過程と、
前記第2の過程で前回算出された前記被撮影カメラの設置位置と今回の設置位置とを比較し、両者が異なる場合に、該被撮影カメラを撮影した前記2つのカメラの各々に撮影された他のカメラの映像位置から前記第2の過程で算出された該他のカメラの設置位置について、前回算出された設置位置と今回算出された設置位置とを比較し、両者が不一致の場合、該映像を撮影したカメラに異常が発生した判定し、両者が一致する場合、前記被撮影カメラの設置位置に異常が発生したと判定する第3の過程と、
を含むことを特徴とする監視カメラシステムの異常検出方法。
Install a plurality of cameras having different appearance characteristics from each other so that at least two other cameras are photographed;
A first process of detecting a camera video from the video screen shot by each camera, recognizing features on the appearance of the camera video, and identifying a camera to be shot;
A second step of calculating the installation position of the camera to be photographed from the video positions of the camera to be photographed on the video screens of the two cameras that photographed the same camera to be photographed detected in the first process;
When the installation position of the camera to be photographed previously calculated in the second process is compared with the current installation position, and the two are different, the camera was photographed by each of the two cameras that photographed the camera to be photographed. For the installation position of the other camera calculated in the second process from the video position of the other camera, the installation position calculated last time is compared with the installation position calculated this time. A third process of determining that an abnormality has occurred in the camera that has captured the video and determining that an abnormality has occurred in the installation position of the camera to be photographed if both match,
An abnormality detection method for a surveillance camera system, comprising:
前記第2の過程において、前記第1の過程で検出され、設置位置が既知の被撮影カメラを撮影したカメラの映像画面における該被撮影カメラの映像位置から、該被撮影カメラを撮影したカメラの向き・姿勢を算出し、
前記第3の過程において、前記被撮影カメラを撮影したカメラの、前記第2の過程で算出された前回の向き・姿勢と今回の向き・姿勢とを比較し、両者が異なる場合に、該被撮影カメラを撮影したカメラに異常が発生したと判定することを特徴とする請求項5に記載の監視カメラシステムの異常検出方法。
In the second process, from the video position of the camera to be photographed on the video screen of the camera that photographed the camera to be photographed that has been detected in the first process and whose installation position is known, Calculate the orientation and posture,
In the third step, the previous direction / posture calculated in the second step and the current direction / posture of the camera that shot the target camera are compared. 6. The abnormality detection method for a surveillance camera system according to claim 5, wherein it is determined that an abnormality has occurred in the camera that has photographed the photographing camera.
JP2009230509A 2009-10-02 2009-10-02 Surveillance camera system and abnormality detection method thereof Active JP5278273B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009230509A JP5278273B2 (en) 2009-10-02 2009-10-02 Surveillance camera system and abnormality detection method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009230509A JP5278273B2 (en) 2009-10-02 2009-10-02 Surveillance camera system and abnormality detection method thereof

Publications (2)

Publication Number Publication Date
JP2011076573A true JP2011076573A (en) 2011-04-14
JP5278273B2 JP5278273B2 (en) 2013-09-04

Family

ID=44020455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009230509A Active JP5278273B2 (en) 2009-10-02 2009-10-02 Surveillance camera system and abnormality detection method thereof

Country Status (1)

Country Link
JP (1) JP5278273B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017213010A1 (en) * 2016-06-06 2017-12-14 コニカミノルタ株式会社 Monitoring system and monitoring device placement information construction program
WO2019142325A1 (en) * 2018-01-19 2019-07-25 三菱電機株式会社 Monitoring assist device and monitoring assist program
JP2020115284A (en) * 2019-01-17 2020-07-30 株式会社日立製作所 Data creation system and data creation method
KR102376406B1 (en) * 2021-09-13 2022-03-21 동양컨설턴트주식회사 Method for providing information communication network system of apartment house
CN115082571A (en) * 2022-07-20 2022-09-20 深圳云游四海信息科技有限公司 Anomaly detection method and system for in-road parking camera

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002329207A (en) * 2001-05-02 2002-11-15 Riosu Corp:Kk Moving body tracking display system
JP2003087773A (en) * 2001-09-11 2003-03-20 Mitsubishi Electric Engineering Co Ltd Monitoring device
JP2003279315A (en) * 2002-01-16 2003-10-02 Advanced Telecommunication Research Institute International Automatic calibration method for camera
JP2005057592A (en) * 2003-08-06 2005-03-03 Matsushita Electric Ind Co Ltd Monitor system
JP2007251647A (en) * 2006-03-16 2007-09-27 Mitsubishi Electric Corp Position recognition system, apparatus, reference signal device, and position recognition method
JP2008118402A (en) * 2006-11-02 2008-05-22 Victor Co Of Japan Ltd Surveillance camera system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002329207A (en) * 2001-05-02 2002-11-15 Riosu Corp:Kk Moving body tracking display system
JP2003087773A (en) * 2001-09-11 2003-03-20 Mitsubishi Electric Engineering Co Ltd Monitoring device
JP2003279315A (en) * 2002-01-16 2003-10-02 Advanced Telecommunication Research Institute International Automatic calibration method for camera
JP2005057592A (en) * 2003-08-06 2005-03-03 Matsushita Electric Ind Co Ltd Monitor system
JP2007251647A (en) * 2006-03-16 2007-09-27 Mitsubishi Electric Corp Position recognition system, apparatus, reference signal device, and position recognition method
JP2008118402A (en) * 2006-11-02 2008-05-22 Victor Co Of Japan Ltd Surveillance camera system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017213010A1 (en) * 2016-06-06 2017-12-14 コニカミノルタ株式会社 Monitoring system and monitoring device placement information construction program
WO2019142325A1 (en) * 2018-01-19 2019-07-25 三菱電機株式会社 Monitoring assist device and monitoring assist program
JPWO2019142325A1 (en) * 2018-01-19 2020-05-28 三菱電機株式会社 Monitoring aids
GB2585276A (en) * 2018-01-19 2021-01-06 Mitsubishi Electric Corp Survelliance Assist Device
GB2585276B (en) * 2018-01-19 2022-03-23 Mitsubishi Electric Corp Surveillance assist device
JP2020115284A (en) * 2019-01-17 2020-07-30 株式会社日立製作所 Data creation system and data creation method
JP7065795B2 (en) 2019-01-17 2022-05-12 株式会社日立製作所 Data creation system and data creation method
KR102376406B1 (en) * 2021-09-13 2022-03-21 동양컨설턴트주식회사 Method for providing information communication network system of apartment house
CN115082571A (en) * 2022-07-20 2022-09-20 深圳云游四海信息科技有限公司 Anomaly detection method and system for in-road parking camera

Also Published As

Publication number Publication date
JP5278273B2 (en) 2013-09-04

Similar Documents

Publication Publication Date Title
US9805265B2 (en) Surveillance camera control device and video surveillance system
JP6355052B2 (en) Imaging apparatus, image processing apparatus, imaging method, and recording medium
JP6273685B2 (en) Tracking processing apparatus, tracking processing system including the tracking processing apparatus, and tracking processing method
US9477891B2 (en) Surveillance system and method based on accumulated feature of object
JP5278273B2 (en) Surveillance camera system and abnormality detection method thereof
WO2015045834A1 (en) Marker image processing system
US10373459B2 (en) Display control apparatus, display control method, camera system, control method for camera system, and storage medium
WO2010101227A1 (en) Device for creating information for positional estimation of matter, method for creating information for positional estimation of matter, and program
TWI587246B (en) Image differentiating method and camera system with an image differentiating function
KR101125233B1 (en) Fusion technology-based security method and security system thereof
JP2010128727A (en) Image processor
TW201727537A (en) Face recognition system and face recognition method
JPWO2019163212A1 (en) Monitoring system and control method of monitoring system
US9773143B2 (en) Image processing apparatus, image processing method, and image processing system
KR101452342B1 (en) Surveillance Camera Unit And Method of Operating The Same
JP2611173B2 (en) Positioning method and device using fisheye lens
JP2016092693A (en) Imaging apparatus, imaging apparatus control method, and program
JP2013065351A (en) Image processing apparatus and image processing method
JP2010217984A (en) Image detector and image detection method
US20100027839A1 (en) System and method for tracking movement of joints
US20190281257A1 (en) Video monitoring apparatus for displaying event information
US10432916B2 (en) Measurement apparatus and operation method of measurement apparatus
JP2015041913A (en) Monitor system
WO2023149603A1 (en) Thermal-image-monitoring system using plurality of cameras
KR20210007701A (en) Calibration Method for Real-Time Spherical 3D 360 Imaging and Apparatus Therefor

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130305

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130506

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5278273

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150