JP2009210331A

JP2009210331A - Camera calibration apparatus and camera calibration method

Info

Publication number: JP2009210331A
Application number: JP2008052169A
Authority: JP
Inventors: Yuzo Ogawa; 雄三小川
Original assignee: Toa Corp
Current assignee: Toa Corp
Priority date: 2008-03-03
Filing date: 2008-03-03
Publication date: 2009-09-17
Anticipated expiration: 2028-03-03
Also published as: JP5079547B2

Abstract

<P>PROBLEM TO BE SOLVED: To achieve camera calibration very simply. <P>SOLUTION: In a camera calibration apparatus and method which determines camera parameters for associating two-dimensional image coordinates set on a photographed image by a fixed camera with three-dimensional world coordinates set in the real space, a map image which simulates a plane (x, y, 0) of which the height z in the real space is zero is provided. The two dimensional coordinates (α, β) of the map image and the world coordinates (x, y, 0) of the plane are associated with each other by a scaler 40. When the position of an indicator placed in the real space is designated on the map image, therefore, the world coordinates (x, y, 0) of the position is determined, and by adding the height of the indicator to this, the world coordinates (x, y, z) at the height position of the indicator is determined. The world coordinates (x, y, z) of the indicator are thus determined very simply, achieving camera calibration very simply. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、カメラキャリブレーション装置およびカメラキャリブレーション方法に関し、特に、撮影領域が固定されたカメラによる撮影画像上に設定された２次元の画像座標と当該撮影領域を含む実空間に設定された３次元の世界座標とを対応付けるカメラパラメータを求める、カメラキャリブレーション装置およびカメラキャリブレーション方法に関する。 The present invention relates to a camera calibration device and a camera calibration method, and in particular, two-dimensional image coordinates set on a captured image by a camera with a fixed shooting area and 3 set in a real space including the shooting area. The present invention relates to a camera calibration device and a camera calibration method for obtaining a camera parameter that associates a world coordinate of a dimension.

この種のカメラキャリブレーション装置およびカメラキャリブレーション方法として、従来、例えば特許文献１に開示されたものがある。この従来技術によれば、次の数１で表される公知の射影変換行列に基づいて、カメラキャリブレーションが行われる。 As this type of camera calibration device and camera calibration method, there is a conventional one disclosed in Patent Document 1, for example. According to this prior art, camera calibration is performed based on a known projective transformation matrix expressed by the following equation (1).

ここで、ｓは、スケールファクタであり、ｕおよびｖは、画像座標の座標値である。そして、Ｘｗ，ＹｗおよびＺｗは、世界座標の座標値であり、Ｃ_１１〜Ｃ_１４，Ｃ_２１〜Ｃ_２４およびＣ_３１〜Ｃ_３４は、カメラパラメータである。 Here, s is a scale factor, and u and v are coordinate values of image coordinates. Then, Xw, Yw and Zw is the coordinates of the world _{_{_{coordinate, C 11 ~C 14, C 21}}} ~C 24 and _C 31 _{-C 34} is a camera parameter.

即ち、この数１によれば、画像座標値（ｕ，ｖ）と世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）との組合せが少なくとも６組構成されれば、これら６組の組合せから成る連立方程式によって、Ｃ_１１〜Ｃ_１４，Ｃ_２１〜Ｃ_２４およびＣ_３１〜Ｃ_３４という合計１２個のカメラパラメータが求められる、つまりカメラキャリブレーションが実現される。この実現のために、従来技術では、カメラによる撮影領域に指標点が設置される。そして、この指標点の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）が、三角測量等によって測定される。併せて、モニタの画面に映し出されたカメラによる撮影画像上で指標点が指定されることによって、この指標点の画像座標値（ｕ，ｖ）が特定される。そして、この作業が異なる指標点について合計６回行われることで、画像座標値（ｕ，ｖ）と世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）との組合せが６組構成される。 That is, according to Equation 1, if at least six combinations of the image coordinate values (u, v) and the world coordinate values (Xw, Yw, Zw) are configured, the simultaneous equations composed of these six combinations are used. , C _{11 to} C ₁₄ , C _{21 to} C ₂₄ and C _{31 to} C _{34 in} total, 12 camera parameters are obtained, that is, camera calibration is realized. In order to realize this, in the conventional technique, an index point is set in an imaging region by a camera. Then, the world coordinate values (Xw, Yw, Zw) of this index point are measured by triangulation or the like. At the same time, by specifying an index point on the image captured by the camera displayed on the monitor screen, the image coordinate value (u, v) of the index point is specified. Then, this operation is performed a total of six times for different index points, so that six combinations of image coordinate values (u, v) and world coordinate values (Xw, Yw, Zw) are configured.

なお、従来技術では、この射影変換行列の他に、カメラキャリブレーションを実現するための代表的な手法として、非特許文献１に開示されている手法がある旨も、紹介されている。 In addition, in the prior art, in addition to the projective transformation matrix, it is also introduced that there is a technique disclosed in Non-Patent Document 1 as a representative technique for realizing camera calibration.

特開２００６−６７２７２号公報JP 2006-67272 A R.Y.Tsai, “A versatile camera calibration technique for high-accuracy 3Dmachine vision metrology using off-the shelf TV cameras and lenses,” IEEE Journal of Robotics and Automation, vol.RA-3, no.4,pp.323-331, Aug.1987RYTsai, “A versatile camera calibration technique for high-accuracy 3Dmachine vision metrology using off-the shelf TV cameras and lenses,” IEEE Journal of Robotics and Automation, vol.RA-3, no.4, pp.323-331, Aug.1987

しかし、上述の如く撮影領域に設置された指標点の世界座標値（Ｘｗ，Ｙｗ，Ｚｗ）を三角測量等によって測定するのは、非常に面倒であり、それ相応の労力や時間，コストが掛かる。このことは、撮影領域が広いほど、顕著になる。また、例えば監視カメラシステムのように複数台のカメラを備える場合、これら複数台のカメラのそれぞれについて同様の作業を行う必要があるので、面倒さがさらに増大する。 However, it is very troublesome to measure the world coordinate values (Xw, Yw, Zw) of the index points set in the imaging region as described above by triangulation or the like, and it takes corresponding labor, time and cost. . This becomes more prominent as the shooting area is larger. In addition, when a plurality of cameras are provided as in a surveillance camera system, for example, it is necessary to perform the same operation for each of the plurality of cameras, so that troublesomeness further increases.

そこで、本発明は、従来よりも極めて簡単にカメラキャリブレーションを行うことができる装置および方法を提供することを、目的とする。 Accordingly, an object of the present invention is to provide an apparatus and method that can perform camera calibration much more easily than in the past.

この目的を達成するために、本発明のうちの第１発明は、撮影領域が固定されたカメラによる撮影画像上に設定された２次元の画像座標と当該撮影領域を含む実空間に設定された３次元の世界座標とを対応付けるカメラパラメータを求めるカメラキャリブレーション装置において、世界座標を構成する３つの座標軸のうち１つの座標軸の値が一定とされた平面における実空間を模擬すると共に当該平面を表す世界座標と相関する２次元座標が設定された模擬画像を表示する模擬画像表示手段を、具備する。そして、撮影領域に設置された指標の位置を模擬画像上で指定する模擬画像上指標位置指定手段と、この模擬画像上指標位置指定手段による指定位置の２次元座標における２次元座標値と当該２次元座標および世界座標間の相関関係とに基づいて指標の位置の当該世界座標における世界座標値を求める世界座標値演算手段と、をも具備する。さらに、撮影画像上で指標の位置を指定する撮影画像上指標位置指定手段と、この撮影画像上指標位置指定手段による指定位置の画像座標における画像座標値と世界座標値演算手段によって求められた世界座標値とに基づいてカメラパラメータを求めるパラメータ演算手段と、を具備するものである。 In order to achieve this object, the first invention of the present invention is set to a real space including a two-dimensional image coordinate set on a photographed image by a camera having a photographing area fixed and the photographing area. In a camera calibration device for obtaining a camera parameter that associates a three-dimensional world coordinate, a real space in a plane in which the value of one of the three coordinate axes constituting the world coordinate is constant is simulated and the plane is represented Simulated image display means for displaying a simulated image in which two-dimensional coordinates correlated with world coordinates are set is provided. Then, the on-simulated image index position specifying means for specifying the position of the index set in the imaging area on the simulated image, the two-dimensional coordinate value in the two-dimensional coordinates of the specified position by the on-simulated image index position specifying means, and the 2 World coordinate value calculation means for obtaining a world coordinate value in the world coordinate of the position of the index based on the correlation between the dimensional coordinate and the world coordinate is also provided. Further, the captured image index position specifying means for specifying the position of the index on the captured image, and the image coordinate value at the image coordinates of the specified position by the captured image index position specifying means and the world obtained by the world coordinate value calculating means. Parameter calculating means for obtaining camera parameters based on the coordinate values.

即ち、本第１発明では、模擬画像表示手段によって、模擬画像が表示される。この模擬画像は、世界座標を構成する３つの座標軸のうち１つの座標軸の値が一定とされた平面、言い換えれば当該１つの座標軸に直交する平面、における実空間を模擬したものであり、この模擬画像には、当該平面を表す世界座標と相関する２次元座標が設定されている。ここで、カメラによる撮影領域の適宜の位置に指標が設置されると、この指標を含む撮影領域が、カメラによって撮影される。そして、このカメラによる撮影画像上で、指標の位置が、撮影画像上指標位置指定手段によって指定される。併せて、模擬画像上において、指標の位置が、模擬画像上指標位置指定手段によって指定される。そして、この模擬画像上指標位置指定手段による指定位置の２次元座標における２次元座標値と、当該２次元座標および世界座標間の相関関係と、に基づいて、指標の位置の世界座標における世界座標値が、世界座標値演算手段によって求められる。つまり、模擬画像上で指定された指標の位置から、当該指標の世界座標値が求められる。そして、この指標の世界座標値と、撮影画像上指標位置指定手段による指定位置の画像座標における画像座標値と、に基づいて、カメラパラメータが、パラメータ演算手段によって求められる。 That is, in the first invention, the simulated image is displayed by the simulated image display means. This simulated image simulates a real space in a plane in which the value of one coordinate axis among the three coordinate axes constituting the world coordinate is constant, in other words, a plane orthogonal to the one coordinate axis. Two-dimensional coordinates that correlate with world coordinates representing the plane are set in the image. Here, when an index is set at an appropriate position in the imaging area by the camera, the imaging area including the index is captured by the camera. Then, the position of the index is designated by the index position designation means on the photographed image on the photographed image by the camera. At the same time, the position of the index on the simulated image is specified by the index position specifying means on the simulated image. Then, based on the two-dimensional coordinate value in the two-dimensional coordinate of the designated position by the index position designation means on the simulated image and the correlation between the two-dimensional coordinate and the world coordinate, the world coordinate in the world coordinate of the index position The value is obtained by the world coordinate value calculation means. That is, the world coordinate value of the index is obtained from the position of the index specified on the simulated image. Then, based on the world coordinate value of the index and the image coordinate value at the image coordinate of the specified position by the index position specifying unit on the captured image, the camera parameter is obtained by the parameter calculating unit.

なお、本第１発明において、世界座標を構成する３つの座標軸のうち上述した１つの座標軸、つまり模擬画像によって模擬された平面が直交する座標軸は、実空間の垂直方向における位置、言わば高さ、を規定するものとする。この場合、模擬画像は、この高さがゼロの平面を模擬したものとするのが、望ましい。 In the first invention, of the three coordinate axes constituting the world coordinate, the above-described one coordinate axis, that is, the coordinate axis where the plane simulated by the simulated image is orthogonal, is the position in the vertical direction of the real space, that is, the height, Shall be defined. In this case, it is desirable for the simulated image to simulate a plane having a height of zero.

また、模擬画像上に設定された２次元座標と、実空間に設定された世界座標と、の間の相関関係は、当該模擬画像上における任意の２点間の距離と、この模擬画像によって模擬された平面における当該２点間に対応する部分の距離と、の比率を含むものであってもよい。 The correlation between the two-dimensional coordinates set on the simulated image and the world coordinates set on the real space is simulated by the distance between any two points on the simulated image and the simulated image. The ratio of the distance of the part corresponding between the two points in the formed plane may be included.

さらに、本第１発明においては、複数台のカメラについてカメラキャリブレーションを行うことができる。この場合、模擬画像として、各カメラに共通の画像を用いることができる。そして、上述の撮影画像上指標位置指定手段は、各カメラのそれぞれによる撮影画像上で指標の位置を指定し、パラメータ演算手段は、各カメラのそれぞれについてカメラパラメータを求めるものとする。 Furthermore, in the first invention, camera calibration can be performed for a plurality of cameras. In this case, an image common to each camera can be used as a simulated image. Then, the above-mentioned index position designation unit on the photographed image designates the position of the index on the photographed image by each camera, and the parameter calculation means obtains the camera parameter for each camera.

第２発明は、第１発明に対応する方法発明であり、撮影領域が固定されたカメラによる撮影画像上に設定された２次元の画像座標と当該撮影領域を含む実空間に設定された３次元の世界座標とを対応付けるカメラパラメータを求めるカメラキャリブレーション方法において、世界座標を構成する３つの座標軸のうち１つの座標軸の値が一定とされた平面における実空間を模擬すると共に当該平面を表す世界座標と相関する２次元座標が設定された模擬画像を表示する模擬画像表示過程を、具備する。そして、撮影領域に設置された指標の位置を模擬画像上で指定する模擬画像上指標位置指定過程と、この模擬画像上指標位置指定過程による指定位置の２次元座標における２次元座標値と当該２次元座標および世界座標間の相関関係とに基づいて指標の位置の当該世界座標における世界座標値を求める世界座標値演算過程と、をも具備する。さらに、撮影画像上で指標の位置を指定する撮影画像上指標位置指定過程と、この撮影画像上指標位置指定過程による指定位置の画像座標における画像座標値と世界座標値演算過程において求められた世界座標値とに基づいてカメラパラメータを求めるパラメータ演算過程と、を具備するものである。 The second invention is a method invention corresponding to the first invention, and a two-dimensional image coordinate set on a photographed image by a camera having a fixed photographing region and a three-dimensional set in a real space including the photographing region. In a camera calibration method for obtaining a camera parameter that associates a world coordinate with a world coordinate that simulates a real space in a plane in which the value of one coordinate axis of the three coordinate axes constituting the world coordinate is constant and represents the plane A simulated image display process for displaying a simulated image in which two-dimensional coordinates correlated with the image are set. Then, the index position designation process on the simulated image for designating the position of the index set in the imaging region on the simulated image, the two-dimensional coordinate value in the two-dimensional coordinates of the designated position in the index position designation process on the simulated image, and the 2 And a world coordinate value calculation process for obtaining a world coordinate value in the world coordinate of the position of the index based on the correlation between the dimension coordinate and the world coordinate. In addition, the index position on the captured image that specifies the position of the index on the captured image, and the image coordinate value and the world coordinate value calculated in the process of calculating the world coordinate value in the image coordinates of the specified position in the index position on the captured image. And a parameter calculation process for obtaining a camera parameter based on the coordinate value.

上述したように、本発明によれば、実空間の一平面を模擬すると共に当該一平面を表す世界座標と相関する２次元座標が設定された模擬画像が用意されており、この模擬画像上で指定された指標の位置から、当該指標の世界座標値が求められる。従って、実空間において指標点の世界座標（Ｘｗ，Ｙｗ，Ｚｗ）を三角測量等によって測定するという従来技術に比べて、極めて簡単に当該指標の世界座標値を求めることができ、ひいてはカメラキャリブレーションを行うことができる。このことは、カメラによる撮影領域が広いほど、また当該カメラの台数が多いほど、顕著である。 As described above, according to the present invention, a simulated image is prepared in which two-dimensional coordinates correlating with the world coordinates representing one plane are set while simulating one plane in real space. From the position of the designated index, the world coordinate value of the index is obtained. Therefore, compared to the conventional technique of measuring the world coordinates (Xw, Yw, Zw) of the index point in the real space by triangulation or the like, the world coordinate value of the index can be obtained very easily, and hence the camera calibration. It can be performed. This is more conspicuous as the imaging area of the camera is wider and the number of cameras is larger.

本発明の一実施形態について、図１に示す監視カメラシステム１０を例に挙げて説明する。 An embodiment of the present invention will be described by taking the surveillance camera system 10 shown in FIG. 1 as an example.

同図に示すように、本実施形態に係る監視カメラシステム１０は、撮影領域が固定された複数台の固定カメラ１２，１２，…と、撮影領域が可変の、詳しくはパン方向およびチルト方向のそれぞれに旋回可能であると共にズームレンズを備えた、複数台の旋回型カメラ１４，１４，…と、を具備する。そして、これらの固定カメラ１２，１２，…および旋回型カメラ１４，１４，…は、パーソナルコンピュータ（以下、ＰＣと言う。）１６に接続されている。 As shown in the figure, the surveillance camera system 10 according to the present embodiment has a plurality of fixed cameras 12, 12,... With fixed shooting areas and variable shooting areas, specifically in the pan and tilt directions. A plurality of revolving cameras 14, 14,... Each capable of revolving and having a zoom lens. These fixed cameras 12, 12,... And turning cameras 14, 14,... Are connected to a personal computer (hereinafter referred to as PC) 16.

ＰＣ１６は、自身にインストールされた制御プログラムを実行することで、各固定カメラ１２，１２，…による撮影画像に基づいて各旋回型カメラ１４，１４，…を制御するカメラ制御装置として機能する。また、それぞれの固定カメラ１２について、後述するカメラキャリブレーションを行うカメラキャリブレーション装置としても機能する。さらに、それぞれの旋回型カメラ１４について、後述する設置条件を特定するための設置条件特定装置としても機能する。なお、このＰＣ１６には、これに各種命令を入力するための入力手段、例えばマウス１８およびキーボード２０を含む操作装置２２と、当該ＰＣ１６による処理結果を含む各種情報を出力するための情報出力手段としてのディスプレイ２４と、が接続されている。 The PC 16 functions as a camera control device that controls the revolving cameras 14, 14,... Based on the images taken by the fixed cameras 12, 12,. Each fixed camera 12 also functions as a camera calibration device that performs camera calibration described later. Further, each turning camera 14 also functions as an installation condition specifying device for specifying an installation condition described later. The PC 16 has input means for inputting various commands thereto, for example, an operation device 22 including a mouse 18 and a keyboard 20, and information output means for outputting various information including processing results by the PC 16. Are connected to the display 24.

この監視カメラシステム１０は、例えば図２に示すようなビル等の建物を含む敷地内を監視するのに、用いられる。同図のケースでは、概略矩形状の敷地内の４隅Ａ，Ｂ，ＣおよびＤに、１台ずつ、つまり合計４台、の固定カメラ１２，１２，…が設置されている。そして、これら４台の固定カメラ１２，１２，…の近傍ａ，ｂ，ｃおよびｄに、１台ずつ、つまり合計４台、の旋回型カメラ１４，１４，…が設置されている。なお、各固定カメラ１２，１２，…は、互いに異なる領域を撮影するように設置されている。例えば、敷地内の南西隅（同図において左下隅）Ａに設置されている固定カメラ１２は、同図に矢印１２ａで示すように、当該敷地内の建物の南側にある南側領域を撮影するように設置されている。そして、敷地内の南東隅（同図において右下隅）Ｂに設置されている固定カメラ１２は、同図に矢印１２ｂで示すように、当該敷地内の建物の東側にある東側領域を撮影するように設置されている。さらに、敷地内の北東隅（同図において右上隅）Ｃに設置されている固定カメラ１２は、同図に矢印１２ｃで示すように、当該敷地内の建物の北側にある北側領域を撮影するように設置されている。そして、敷地内の北西隅（同図において左上隅）Ｄに設置されている固定カメラ１２は、同図に矢印１２ｄで示すように、当該敷地内の建物の西側にある西側領域を撮影するように設置されている。 The surveillance camera system 10 is used to monitor a site including a building such as a building shown in FIG. In the case of the figure, one fixed camera 12, 12,..., Is installed in each of the four corners A, B, C and D in the generally rectangular site. In the vicinity of these four fixed cameras 12, 12,..., One, that is, a total of four turning cameras 14, 14,. The fixed cameras 12, 12,... Are installed so as to photograph different areas. For example, the fixed camera 12 installed in the southwest corner (the lower left corner in the figure) A of the site may take a picture of the south area on the south side of the building on the site, as indicated by an arrow 12a in the figure. Is installed. Then, the fixed camera 12 installed in the southeast corner (lower right corner in the figure) B in the site captures the east region on the east side of the building in the site, as indicated by an arrow 12b in the figure. Is installed. Furthermore, the fixed camera 12 installed in the northeast corner (upper right corner in the figure) C of the site captures the north region on the north side of the building in the site, as indicated by an arrow 12c in the figure. Is installed. Then, the fixed camera 12 installed in the northwest corner (upper left corner in the figure) D in the site captures the west region on the west side of the building in the site as indicated by an arrow 12d in the figure. Is installed.

各固定カメラ１２，１２，…による撮影画像は、所定の順番に従って１つずつ、または分割画面によって同時に、ディスプレイ２４に表示される。例えば、敷地内の南西隅Ａに設置されている固定カメラ１２による撮影画像は、図３のように表示される。併せて、ディスプレイ２４には、図４に示すような模擬画像としてのマップ画像が表示される。このマップ画像は、敷地内の平面図（建物等の各箇所の形状や寸法等）を忠実に表現したものであり、ビットマップファイルやＪＰＥＧ（Joint Photographic Experts Group）ファイル等の適宜の画像ファイルによって表示される。また、当該マップ画像として、建物等の建築図面を利用することもできる。即ち、建築図面には、建物等の形状や寸法が正確に記されているので、これを利用（画像ファイル化）することによって、新たにマップ画像を作成する手間を省くことができる。 Images taken by the fixed cameras 12, 12,... Are displayed on the display 24 one by one according to a predetermined order or simultaneously by a divided screen. For example, an image taken by the fixed camera 12 installed in the southwest corner A of the site is displayed as shown in FIG. In addition, a map image as a simulated image as shown in FIG. 4 is displayed on the display 24. This map image is a faithful representation of the floor plan of the site (the shape and dimensions of each part of the building, etc.), and can be represented by appropriate image files such as bitmap files and JPEG (Joint Photographic Experts Group) files. Is displayed. Moreover, an architectural drawing such as a building can be used as the map image. That is, since the shape and dimensions of the building and the like are accurately described in the architectural drawing, it is possible to save the trouble of newly creating a map image by using this (making it into an image file).

ここで、例えば、敷地内の南西隅Ａに設置されている固定カメラ１２による撮影領域（つまり南側領域）に、人間等の移動体が侵入したとする。すると、この固定カメラ１２による撮影画像は、図５のようになる。即ち、当該撮影画像に、移動体（厳密には移動体の像）３０が表示される。そして、この移動体３０が、フレーム差分法や背景差分法等の公知の移動体検出技術によって検出され、当該移動体３０を囲む（内接させる）ように、矩形状の枠３２が表示される。さらに、撮影画像上の所定位置、例えば左上隅近傍に、注意を喚起するための注意マーク３４が表示される。これらの矩形枠３２および注意マーク３４の表示を受けて、オペレータ（監視者）は、移動体３０が侵入したことを認識することができる。なお、これらの矩形枠３２および注意マーク３４の表示は、ＰＣ１６によって制御される。 Here, for example, it is assumed that a moving body such as a human has entered the shooting area (that is, the south area) of the fixed camera 12 installed in the southwest corner A of the site. Then, an image captured by the fixed camera 12 is as shown in FIG. That is, the moving body (strictly speaking, an image of the moving body) 30 is displayed on the captured image. The moving body 30 is detected by a known moving body detection technique such as a frame difference method or a background difference method, and a rectangular frame 32 is displayed so as to surround (inscribe) the moving body 30. . Further, a caution mark 34 for calling attention is displayed at a predetermined position on the photographed image, for example, near the upper left corner. Upon receiving the display of the rectangular frame 32 and the caution mark 34, the operator (monitoring person) can recognize that the moving body 30 has entered. The display of the rectangular frame 32 and the caution mark 34 is controlled by the PC 16.

併せて、図４に示したマップ画像上に、図６に示すように、移動体３０の現在位置を示す移動体マーク３６と、当該移動体３０の移動径路を示す軌跡線３８が表示される。この表示を受けて、オペレータは、敷地内における移動体３０の現在位置および移動径路を認識することができる。なお、これらの移動体マーク３６および軌跡線３８の表示もまた、ＰＣ１６によって制御される。 In addition, as shown in FIG. 6, a moving body mark 36 indicating the current position of the moving body 30 and a locus line 38 indicating the moving path of the moving body 30 are displayed on the map image shown in FIG. . Upon receiving this display, the operator can recognize the current position and moving path of the moving body 30 in the site. The display of the mobile object mark 36 and the trajectory line 38 is also controlled by the PC 16.

さらに、移動体３０の現在位置に応じて、適宜の旋回型カメラ１４、例えば南西隅ａの旋回型カメラ１４が、当該移動体３０の方向を向くように旋回すると共に、当該移動体３０を拡大して撮影するようにズームアップする。そして、この旋回型カメラ１４による撮影画像が、図７に示すように、ディスプレイ２４に表示される。そして、この移動体３０を自動追尾するように、旋回型カメラ１４の旋回動作およびズーム動作が制御される。なお、この旋回型カメラ１４の旋回動作およびズーム動作、ならびに当該旋回型カメラ１４による撮影画像のディスプレイ２４への表示も、ＰＣ１６によって制御される。また、この南西隅ａの旋回型カメラ１４のみならず、当該移動体３０を捕捉可能な別の旋回型カメラ１４、例えば南東隅ｂの旋回型カメラ１４についても、自動追尾させると共に、その撮影画像をディスプレイ２４に表示させてもよい。 Further, according to the current position of the moving body 30, an appropriate turning type camera 14, for example, the turning type camera 14 at the southwest corner a turns to face the moving body 30, and the moving body 30 is enlarged. And zoom up to shoot. Then, an image captured by the turning camera 14 is displayed on the display 24 as shown in FIG. Then, the turning operation and zoom operation of the turning camera 14 are controlled so as to automatically track the moving body 30. Note that the turning operation and zooming operation of the turning camera 14 and the display of the captured image by the turning camera 14 on the display 24 are also controlled by the PC 16. In addition to the swivel camera 14 in the southwest corner a, another swivel camera 14 that can capture the moving body 30, for example, the swivel camera 14 in the southeast corner b, is automatically tracked and the captured image thereof. May be displayed on the display 24.

以上のことは、他のそれぞれの固定カメラ１２による撮影領域に移動体３０が侵入したときも、同様である。 The above is the same when the moving body 30 enters the shooting area of each of the other fixed cameras 12.

このように、マップ画像上における移動体マーク３６および軌跡線３８の表示、ならびに適宜の旋回型カメラ１４による自動追尾および当該自動追尾している旋回型カメラ１４による撮影画像の表示によって、移動体３０の侵入に対してより迅速かつ適切な対処が可能となり、言わば統合的な監視が実現される。 In this manner, the moving body 30 is displayed by displaying the moving body mark 36 and the trajectory line 38 on the map image, automatically tracking by the appropriate turning type camera 14, and displaying the captured image by the turning type camera 14 that is automatically tracking. It is possible to deal with the intrusion more quickly and appropriately, so that integrated monitoring is realized.

ところで、このような統合的な監視を実現するには、それぞれの固定カメラ１２による撮影画像において、移動体３０が現れたときにこれを検知すると共に、この移動体３０の実空間における位置を当該固定カメラ１２による撮影画像から認識する必要がある。このうち、前者の移動体検知については、上述したようにフレーム差分法や背景差分法等の公知の技術が採用される。一方、固定カメラ１２による撮影画像から実空間における移動体３０の位置を認識するという後者については、カメラキャリブレーションが行われることが前提とされる。本実施形態では、このカメラキャリブレーションを極めて簡単に実現するべく、次のような工夫が成されている。 By the way, in order to realize such integrated monitoring, when the moving body 30 appears in the captured images of the respective fixed cameras 12, this is detected, and the position of the moving body 30 in the real space is determined. It is necessary to recognize from an image captured by the fixed camera 12. Among these, for the former moving body detection, known techniques such as the frame difference method and the background difference method are employed as described above. On the other hand, for the latter of recognizing the position of the moving body 30 in the real space from an image taken by the fixed camera 12, it is assumed that camera calibration is performed. In the present embodiment, the following device is devised in order to realize this camera calibration very easily.

即ち、図４に示したマップ画像において、図８に示すように、直線状のスケーラ４０が設定される。具体的には、実空間において実寸が判明している部分、例えば図８においては矩形状の建物の北西角部Ｑａから南西角部Ｑｂまでの部分に、上述したマウス１８の操作（ドラッグ＆ドロップ操作）によって当該スケーラ４０が設定される。そして、実空間においてこのスケーラ４０に対応する部分の実際の寸法（実寸）Ｌｗが、例えば上述したキーボード２０の操作によって入力される。なお、実寸Ｌｗの単位は、例えば［ｍｍ］（ミリメートル）であり、マップ画像上におけるスケーラ４０の長さ寸法Ｌｍは、当該マップ画像を構成する画素の単位、いわゆる［ｐｉｘｅｌ］（ピクセル）である。そして、実空間における実際の寸法Ｌｗをマップ画像上におけるスケーラ４０の長さ寸法Ｌｍで除することによって、つまり次の数２によって、当該マップ画像上における１［ｐｉｘｅｌ］が実空間においてどれくらいの長さ寸法に対応するのかを表す係数ｋが求められる。 That is, in the map image shown in FIG. 4, a linear scaler 40 is set as shown in FIG. Specifically, the above-described operation of the mouse 18 (drag and drop) is performed on a part where the actual size is known in the real space, for example, the part from the northwest corner Qa to the southwest corner Qb of the rectangular building in FIG. The scaler 40 is set by the operation. Then, the actual dimension (actual dimension) Lw of the part corresponding to the scaler 40 in the real space is input by, for example, the operation of the keyboard 20 described above. The unit of the actual size Lw is, for example, [mm] (millimeters), and the length dimension Lm of the scaler 40 on the map image is a unit of pixels constituting the map image, so-called [pixel] (pixel). . Then, by dividing the actual dimension Lw in the real space by the length dimension Lm of the scaler 40 on the map image, that is, by the following equation 2, how long 1 [pixel] on the map image is in the real space A coefficient k indicating whether it corresponds to the height dimension is obtained.

さらに、図９（ａ）に示すように、マップ画像における左下角部が、当該マップ画像における原点Ｏｍとされる。そして、この原点Ｏｍを通りかつ水平方向に沿う（同図において右側に向かって延伸する）直線が、α軸とされ、当該原点Ｏｍを通りかつ垂直方向に沿う（同図において上側に向かって延伸する）直線が、β軸とされる。これによって、マップ画像上に、α軸およびβ軸から成る２次元の直交座標が設定される。なお、このマップ画像上の２次元座標の単位は、上述した［ｐｉｘｅｌ］である。 Further, as shown in FIG. 9A, the lower left corner of the map image is set as the origin Om in the map image. A straight line passing through the origin Om and extending along the horizontal direction (extending toward the right side in the figure) is the α axis, passing through the origin Om and extending along the vertical direction (extending toward the upper side in the figure). The straight line is the β axis. As a result, two-dimensional orthogonal coordinates composed of an α axis and a β axis are set on the map image. The unit of two-dimensional coordinates on this map image is [pixel] described above.

併せて、図９（ｂ）に示すように、実空間において、マップ画像における原点Ｏｍに対応する位置が、原点Ｏｗとされ、当該マップ画像におけるα軸およびβ軸に対応するように、ｘ軸およびｙ軸が設定される。そして、原点Ｏｗを通り、かつｘ軸およびｙ軸のそれぞれに直交するように（同図において上側に向かって延伸するように）、高さ方向を規定するｚ軸が設定される。これによって、実空間に、ｘ軸，ｙ軸およびｚ軸から成る３次元の世界座標が設定される。なお、この実空間に設定された世界座標の単位は、上述の［ｍｍ］である。 In addition, as shown in FIG. 9B, in the real space, the position corresponding to the origin Om in the map image is set as the origin Ow, and the x axis is set so as to correspond to the α axis and the β axis in the map image. And the y-axis is set. Then, a z-axis that defines the height direction is set so as to pass through the origin Ow and to be orthogonal to each of the x-axis and the y-axis (so as to extend upward in the figure). As a result, three-dimensional world coordinates including the x-axis, y-axis, and z-axis are set in the real space. The unit of world coordinates set in this real space is the above-mentioned [mm].

つまり、図９（ａ）のマップ画面は、図９（ｂ）の実空間における高さｚがゼロ（ｚ＝０）の平面を模擬したものである。従って、これら両者の座標値（α，β）および（ｘ，ｙ，０）の関係は、上述した係数ｋを言わば変換係数とする次の数３で表される。 That is, the map screen of FIG. 9A simulates a plane having a height z of zero (z = 0) in the real space of FIG. 9B. Therefore, the relationship between these coordinate values (α, β) and (x, y, 0) is expressed by the following equation (3) where the coefficient k is a conversion coefficient.

ゆえに、例えば、図９（ａ）のマップ画像における任意の位置Ｑｃにおける２次元座標値を（α’，β’）とすると、図９（ｂ）の実空間において当該位置Ｑｃに対応する位置Ｑｄの世界座標値（ｘ’、ｙ’，ｚ’）は、この数３の関係から、（ｘ’、ｙ’，ｚ’）＝（ｋ・α’，ｋ・β’，０）となる。 Therefore, for example, if the two-dimensional coordinate value at an arbitrary position Qc in the map image of FIG. 9A is (α ′, β ′), the position Qd corresponding to the position Qc in the real space of FIG. The world coordinate values (x ′, y ′, z ′) of (x ′, y ′, z ′) = (k · α ′, k · β ′, 0) from the relationship of Equation 3.

そして、このようにスケーラ４０が設定されることによって言わばキャリブレーションされたマップ画像を利用して、次のような手順でカメラキャリブレーションが行われる。 Then, camera calibration is performed in the following procedure using the map image calibrated by setting the scaler 40 in this way.

即ち、当該カメラキャリブレーションのための変換アルゴリズムとしては、公知の射影変換行列、特に１１変数の射影変換行列、が用いられる。この１１変数の射影変換行列では、固定カメラ１２による２次元の撮影画像の座標値が（ｕ，ｖ）で表されるとすると、この画像座標値（ｕ，ｖ）と実空間の絶対座標値（ｘ，ｙ，ｚ）との関係は、次の数４のようになる。 That is, as a conversion algorithm for the camera calibration, a known projective transformation matrix, particularly an eleven-variable projective transformation matrix is used. In this 11-variable projective transformation matrix, assuming that the coordinate value of the two-dimensional captured image by the fixed camera 12 is represented by (u, v), this image coordinate value (u, v) and the absolute coordinate value in the real space. The relationship with (x, y, z) is as shown in the following equation 4.

なお、この数４において、ｓは、スケールファクタである。そして、ｐ_１〜ｐ_１１が、カメラパラメータである。また、固定カメラ１２による撮影画像の座標値（ｕ，ｖ）は、後述する図１２に示すように、当該撮影画像の左上角を原点Ｏｉとし、この原点Ｏｉを通りかつ水平方向に沿う（同図において右側に向かって延伸する）直線がα軸とされ、当該原点Ｏｉを通りかつ垂直方向に沿う（同図において下側に向かって延伸する）直線がβ軸とされた、２次元の画像座標上の値である。 In Equation 4, s is a scale factor. _Then, p 1 _{~p 11} is a camera parameter. Further, as shown in FIG. 12 described later, the coordinate value (u, v) of the captured image by the fixed camera 12 is set to the upper left corner of the captured image as an origin Oi, and passes through the origin Oi and extends in the horizontal direction (same A two-dimensional image in which a straight line extending to the right in the figure is the α axis, and a straight line passing through the origin Oi and extending along the vertical direction (extending downward in the figure) is the β axis. It is a coordinate value.

この数４において、スケールファクタｓが消去されると、次の数５および数６から成る連立方程式が導き出される。 In this equation 4, when the scale factor s is eliminated, the following simultaneous equations consisting of the following equations 5 and 6 are derived.

これら数５および数６によれば、画像座標値（ｕ，ｖ）と世界座標値（ｘ，ｙ，ｚ）との組合せが少なくとも６組構成されれば、これら６組の組合せから成る連立方程式によって、ｐ_１〜ｐ_１１という合計１１個のカメラパラメータが求められる。ただし、全ての組合せが、同じ平面上、例えばｚ＝０という平面上にある場合は、カメラパラメータは求められない。従って、当該組合せは、少なくとも２つの異なる平面上にあることが、必要とされる。 According to these equations 5 and 6, if at least six combinations of image coordinate values (u, v) and world coordinate values (x, y, z) are configured, simultaneous equations composed of these six combinations. Thus, a total of 11 camera parameters of p _{1 to} p ₁₁ are obtained. However, when all combinations are on the same plane, for example, on a plane where z = 0, camera parameters are not obtained. Therefore, the combination is required to be on at least two different planes.

この実現のために、本実施形態では、まず、図１０に示すように、カメラキャリブレーションの対象となる固定カメラ１２による撮影領域の適当な位置Ｑｅに、指標としての人間４２が立つ。なお、この人間４２の身長は既知であるとする。また、人間４２の立ち位置Ｑｅとしては、マップ画像上においても分かり易いところが、好ましい。 In order to realize this, in the present embodiment, first, as shown in FIG. 10, a person 42 as an index stands at an appropriate position Qe in the imaging region of the fixed camera 12 to be subjected to camera calibration. It is assumed that the height of the human 42 is known. Further, it is preferable that the standing position Qe of the human 42 is easy to understand on the map image.

次に、図１１に示すように、マップ画像上において、図１０における人間４２の立ち位置Ｑｅに対応する位置Ｑｆが、例えばマウス１８の操作（クリック操作）によって指定される。これによって、この指定された位置Ｑｆの２次元座標値（α，β）が特定される。さらに、この２次元座標値（α，β）が、上述した数３によって世界座標値（ｚ，ｙ，０）に変換される。この世界座標値（ｚ，ｙ，０）は、図１０における人間４２の足元の位置Ｑｅに対応する。 Next, as shown in FIG. 11, on the map image, a position Qf corresponding to the standing position Qe of the person 42 in FIG. 10 is designated by an operation (click operation) of the mouse 18, for example. Thereby, the two-dimensional coordinate value (α, β) of the designated position Qf is specified. Further, the two-dimensional coordinate value (α, β) is converted into the world coordinate value (z, y, 0) by the above-described equation (3). The world coordinate value (z, y, 0) corresponds to the foot position Qe of the human 42 in FIG.

続いて、人間４２の身長（単位［ｍｍ］）が、例えばキーボード２０の操作によって入力される。入力された身長は、実空間における人間４２の頭部の位置ｚに相当する。つまり、この人間４２の身長が、上述の数３によって変換された世界座標値（ｚ，ｙ，０）に加えられることで、実空間における当該人間４２の頭部の世界座標値（ｚ，ｙ，ｚ）が求められる。 Subsequently, the height (unit [mm]) of the human 42 is input by operating the keyboard 20, for example. The input height corresponds to the position z of the head of the human 42 in the real space. That is, the height of the human 42 is added to the world coordinate value (z, y, 0) converted by the above equation 3, so that the world coordinate value (z, y) of the head of the human 42 in the real space. , Z).

さらに、図１２に示すように、固定カメラ１２による撮影画像上において、人間（厳密には人間の像）４２の足元Ｑｇが、例えばマウス１８の操作によって指定される。これによって、撮影画像における当該足元Ｑｇの画像座標値（ｕ，ｖ）が特定される。 Further, as shown in FIG. 12, the foot Qg of a human (strictly speaking, a human image) 42 is designated by, for example, an operation of the mouse 18 on an image captured by the fixed camera 12. Thereby, the image coordinate value (u, v) of the foot Qg in the captured image is specified.

これと同様に、図１３に示すように、固定カメラ１２による撮影画像上において、人間４２の頭部Ｑｈが、マウス１８の操作によって指定される。これによって、撮影画像における当該頭部Ｑｈの画像座標値（ｕ，ｖ）が特定される。 Similarly, as shown in FIG. 13, the head Qh of the human 42 is designated by the operation of the mouse 18 on the image taken by the fixed camera 12. Thereby, the image coordinate value (u, v) of the head Qh in the captured image is specified.

この一連の作業によって、互いに異なる平面上に存在する世界座標値（ｚ，ｙ，０）および（ｚ，ｙ，ｚ）と、それぞれに対応する画像座標値（ｕ，ｖ）と、の組合せが２組得られる。従って、図１０に示した実空間において人間４２が別の位置Ｑｅに移動した上で同様の作業が行われ、この作業が合計で３回行われることによって、画像座標値（ｕ，ｖ）と世界座標値（ｚ，ｙ，ｚ）（（ｚ，ｙ，０）を含む。）との組合せが合計６組得られる。そして、これら６組の組合せから成る連立方程式に基づいて、カメラパラメータｐ_１〜ｐ_１１が求められ、つまりカメラキャリブレーションが実現される。 Through this series of operations, combinations of world coordinate values (z, y, 0) and (z, y, z) existing on mutually different planes and image coordinate values (u, v) corresponding to the combinations are obtained. Two sets are obtained. Accordingly, the same work is performed after the human 42 moves to another position Qe in the real space shown in FIG. 10, and this work is performed three times in total, thereby obtaining the image coordinate values (u, v) and A total of 6 combinations with world coordinate values (z, y, z) (including (z, y, 0)) are obtained. Then, camera parameters p _{1 to} p ₁₁ are obtained based on simultaneous equations composed of these six combinations, that is, camera calibration is realized.

このように、本実施形態によれば、実空間におけるｚ＝０の平面を模擬したマップ画像上で、図１１に示したように指標としての人間４２の足元の位置Ｑｆが指定され、この指定された足元の位置Ｑｆの２次元座標値（α，β）が、上述した数３によって実空間における世界座標値（ｘ，ｙ，０）に変換される。これによって、図１０に示した実空間における当該人間４２の足元の位置Ｑｅの世界座標値（ｘ，ｙ，０）が求められる。さらに、この足元の位置Ｑｅの世界座標値（ｘ，ｙ，０）に人間４２の身長が加えられることで、当該人間４２の頭部の世界座標値（ｘ，ｙ，ｚ）が得られる。従って、実空間において指標点の世界座標（Ｘｗ，Ｙｗ，Ｚｗ）を三角測量等によって測定するという従来技術に比べて、極めて簡単に当該指標の世界座標値（ｘ，ｙ，ｚ）（（ｚ，ｙ，０）を含む。）を求めることができ、ひいてはカメラキャリブレーションを行うことができる。このことは、固定カメラ１２による撮影領域が広いほど、顕著である。 As described above, according to the present embodiment, the position Qf of the foot of the human 42 as an index is designated as shown in FIG. 11 on the map image simulating the z = 0 plane in the real space. The two-dimensional coordinate value (α, β) of the foot position Qf thus obtained is converted into the world coordinate value (x, y, 0) in the real space by the above-described Expression 3. Thereby, the world coordinate value (x, y, 0) of the foot position Qe of the person 42 in the real space shown in FIG. 10 is obtained. Further, by adding the height of the person 42 to the world coordinate value (x, y, 0) of the foot position Qe, the world coordinate value (x, y, z) of the head of the person 42 is obtained. Therefore, compared to the conventional technique of measuring the world coordinates (Xw, Yw, Zw) of the index point in real space by triangulation or the like, the world coordinate values (x, y, z) ((z , Y, 0).)), And thus camera calibration can be performed. This is more conspicuous as the imaging area of the fixed camera 12 is wider.

なお、他のそれぞれの固定カメラ１２についても、同じマップ画像を用いてカメラキャリブレーションを行うことができる。このようにマップ画像を共有化することで、カメラキャリブレーションに掛かる手間がさらに省ける。 Note that the camera calibration can be performed using the same map image for each of the other fixed cameras 12. By sharing the map image in this way, it is possible to further save the trouble of camera calibration.

さて、このようにしてカメラキャリブレーションが行われることによって、任意の固定カメラ１２による撮影画像上における２次元の画像座標値（ｕ，ｖ）から実空間における３次元の世界座標値（ｘ，ｙ，ｚ）への変換が、可能となる。例えば、図５に示した人間３０の足元の画像座標値（ｕ，ｖ）は、次のようにして世界座標値（ｘ，ｙ，ｚ）に変換される。 Now, by performing the camera calibration in this way, a two-dimensional image coordinate value (u, v) on an image captured by an arbitrary fixed camera 12 is converted into a three-dimensional world coordinate value (x, y) in real space. , Z). For example, the image coordinate values (u, v) at the foot of the human 30 shown in FIG. 5 are converted into world coordinate values (x, y, z) as follows.

即ち、まず、上述した数５を変形すると、次の数７が導き出される。同様に、数６を変形すると、数８が導き出される。 That is, first, when the above equation 5 is transformed, the following equation 7 is derived. Similarly, when Equation 6 is transformed, Equation 8 is derived.

ここで、実空間における人間３０の足元は地面に接しており、この地面の世界座標における高さ寸法ｚはｚ＝０である、とみなすことができるので、このｚ＝０という条件が数７および数８に当てはめられることによって、次の数９および数１０が導き出される。 Here, since the foot of the human 30 in the real space is in contact with the ground, and the height dimension z in the world coordinates of the ground can be regarded as z = 0, the condition that z = 0 is expressed by the following equation (7). And the following Equation 9 and Equation 10 are derived by fitting to Equation 8 and Equation 8.

即ち、数９によって、世界座標のｘ軸における足元の座標値が求められ、数１０によって、ｙ軸における当該足元の座標値が求められる。そして、これらの座標値（ｘ，ｙ）が、上述した数３の変形式である次の数１１に代入されることで、マップ画像上における人間３０の足元の２次元座標値（α，β）が求められる。 That is, the coordinate value of the foot on the x-axis of the world coordinates is obtained by Equation 9, and the coordinate value of the foot on the y-axis is obtained by Equation 10. Then, by substituting these coordinate values (x, y) into the following equation 11 which is the above-described transformation equation of the equation 3, the two-dimensional coordinate values (α, β) of the foot of the human 30 on the map image. ) Is required.

このようにしてマップ画像上における人間３０の足元の２次元座標値（α，β）が求められることで、図６に示したような移動体マーク３６や軌跡線３８の表示が可能となる。 Thus, by obtaining the two-dimensional coordinate values (α, β) of the foot of the person 30 on the map image, it is possible to display the moving object mark 36 and the locus line 38 as shown in FIG.

さらに、数９によって求められたｘ軸における座標値と、数１０によって求められたｙ軸における座標値とが、数７に代入されることで、実空間における人間３０の頭部の高さｚを求めるための次の数１２が導き出される。 Further, the coordinate value on the x-axis obtained by Equation 9 and the coordinate value on the y-axis obtained by Equation 10 are substituted into Equation 7, so that the height z of the head of the human 30 in real space is obtained. The following number 12 is derived for

同様に、数９によって求められたｘ軸における座標値と、数１０によって求められたｙ軸における座標値とが、数８に代入されることによっても、実空間における人間３０の頭部の高さｚを求めるための次の数１３が導き出される。 Similarly, by substituting the coordinate value on the x-axis obtained by Equation 9 and the coordinate value on the y-axis obtained by Equation 10 into Equation 8, the height of the head of the human 30 in the real space can also be calculated. The following equation 13 for deriving the length z is derived.

なお、このように人間３０の頭部の高さｚが求められることによって、当該人間３０の身長も分かる。また、当該高さ寸法ｚを半分にすることで、人間３０の略中心位置を求めることもできる。 It should be noted that the height z of the human 30 can be determined by obtaining the height z of the head of the human 30 in this way. Moreover, the approximate center position of the person 30 can be obtained by halving the height dimension z.

そしてさらに、カメラキャリブレーションが精確に行われているか否かを、次のようにして検証することができる。 Further, whether or not the camera calibration is accurately performed can be verified as follows.

即ち、図１４（ａ）に示すように、カメラ画像上において、高さがゼロの条件を満足する任意の位置、好ましくは実空間およびマップ画像上でも分かり易い（言わば目印となる）位置Ｑｉが、例えばマウス１８の操作によって指定される。なお、同図は、建物の南東角部と地面との境界部分が、当該位置Ｑｉとして指定された状態を示す。すると、この指定位置Ｑｉのカメラ座標上における画像座標値（ｕ，ｖ）が特定される。そして、特定された画像座標値（ｕ，ｖ）が、上述の数９に代入されることで、世界座標のｘ軸における座標値が求められる。併せて、当該画像座標（ｕ，ｖ）が、上述の数１０に代入されることで、世界座標のｙ軸における座標値が求められる。 That is, as shown in FIG. 14A, an arbitrary position satisfying the condition of zero height on the camera image, preferably a position Qi that is easy to understand (to be a mark) on the real space and the map image is provided. For example, it is designated by the operation of the mouse 18. This figure shows a state in which the boundary portion between the southeast corner of the building and the ground is designated as the position Qi. Then, the image coordinate value (u, v) on the camera coordinates of the designated position Qi is specified. Then, the specified image coordinate value (u, v) is substituted into the above-described equation 9, whereby the coordinate value of the world coordinate on the x-axis is obtained. At the same time, the image coordinates (u, v) are substituted into the above-mentioned equation 10, whereby the coordinate value of the world coordinates on the y-axis is obtained.

そして、このようにして求められた世界座標のｘ軸およびｙ軸のそれぞれにおける座標値が、上述した数１１に代入されることで、マップ画像における２次元座標値（α，β）が求められる。そして、図１４（ｂ）に示すように、マップ画像上において、当該２次元座標値（α，β）に従う位置Ｑｊにマーカ４６が表示される。このマーカ４６の位置Ｑｊが、図１４（ａ）の撮影画像における指定位置Ｑｉに対応すれば、カメラキャリブレーションが精確に行われたことになる。 Then, the two-dimensional coordinate values (α, β) in the map image are obtained by substituting the coordinate values on the x-axis and y-axis of the world coordinates obtained in this way into the above-described equation 11. . And as shown in FIG.14 (b), the marker 46 is displayed on the position Qj according to the said two-dimensional coordinate value ((alpha), (beta)) on a map image. If the position Qj of the marker 46 corresponds to the designated position Qi in the captured image of FIG. 14A, the camera calibration has been performed accurately.

一方、例えば図１５に示すように、マップ画像上におけるマーカ４６の位置Ｑｊが、図１４（ａ）の撮影画像における位置Ｑｉと対応しない場合には、カメラキャリブレーションが精確に行われていないことになる。この場合は、例えばマウス１８の操作によって、マップ画像上で、図１４（ｂ）に示した本来の位置Ｑｊが改めて指定される。すると、この位置Ｑｊにおける２次元座標値（α，β）が、上述した数３によって世界座標値（ｘ，ｙ，０）に変換される。そして、この変換された世界座標値（ｘ，ｙ，０）と図１４（ａ）の撮影座標における位置Ｑｉの画像座標値（ｕ，ｖ）との組合せに基づいて、改めてカメラキャリブレーションが行われる。具体的には、この新たな組合せと先に求められた組合せとに基づいて、上述した数５および数６の連立方程式が解かれる。このとき、各カメラパラメータｐ_１〜ｐ_１１のそれぞれについて、複数個の解が求められるので、例えば最小２乗法等の回帰分析によって、当該各カメラパラメータｐ_１〜ｐ_１１として最良の値が求められる。このような修正が成されることで、カメラキャリブレーションの精度が向上する。 On the other hand, for example, as shown in FIG. 15, when the position Qj of the marker 46 on the map image does not correspond to the position Qi in the captured image of FIG. 14A, the camera calibration is not accurately performed. become. In this case, for example, by operating the mouse 18, the original position Qj shown in FIG. 14B is designated again on the map image. Then, the two-dimensional coordinate value (α, β) at the position Qj is converted into the world coordinate value (x, y, 0) by the above-described equation 3. Then, based on the combination of the converted world coordinate value (x, y, 0) and the image coordinate value (u, v) of the position Qi in the shooting coordinates of FIG. 14A, camera calibration is performed again. Is called. Specifically, the above-described simultaneous equations (5) and (6) are solved based on this new combination and the previously obtained combination. In this case, for each of the camera parameters p ₁ ~p _11, since a plurality of solutions are determined by least squares regression analysis, such as for example, the best value is obtained as the respective camera parameter p ₁ ~p ₁₁ . By making such correction, the accuracy of camera calibration is improved.

また、カメラキャリブレーションの精度を検証するのに、例えば図１６に示すように、固定カメラ１２による撮影画像上において、適宜の目盛、例えば格子状のグリッド４８、を表示させることもできる。即ち、世界座標上における当該固定カメラ１２による撮影領域において、ｚ＝０という条件で複数個の世界座標値（ｘ，ｙ，０）が一定の間隔で設定される。そして、それぞれの世界座標値（ｘ，ｙ，０）が上述した数５および数６に代入されることで、それぞれに対応する画像座標値（ｕ，ｖ）が求められる。そして、これらの画像座標値（ｕ，ｖ）に従う各位置（座標点）が互いに直線５０，５０，…で結ばれることによって、これらの直線５０，５０，…から成るグリッド４８が撮影画像上に表示される。なお、図１６においては、グリッド４８が、実空間においてｘ軸に平行な柵および建物の壁に沿って延伸しているので、カメラキャリブレーションが精確に行われているものと、認められる。 In order to verify the accuracy of the camera calibration, for example, as shown in FIG. 16, an appropriate scale, for example, a grid grid 48 can be displayed on the image captured by the fixed camera 12. That is, a plurality of world coordinate values (x, y, 0) are set at regular intervals under the condition that z = 0 in the imaging region of the fixed camera 12 on the world coordinates. Then, the respective world coordinate values (x, y, 0) are substituted into the above-mentioned formulas 5 and 6, whereby the corresponding image coordinate values (u, v) are obtained. Then, the positions (coordinate points) according to these image coordinate values (u, v) are connected to each other by straight lines 50, 50,..., So that a grid 48 composed of these straight lines 50, 50,. Is displayed. In FIG. 16, since the grid 48 extends along the fence and the wall of the building parallel to the x axis in the real space, it is recognized that the camera calibration is accurately performed.

さらに、本実施形態においては、それぞれの旋回型カメラ１４の設置条件、詳しくは実空間における設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）および基準方向Ｅについても、上述したマップ画像を用いることで、簡単に特定（推定）することができる。即ち、旋回型カメラ１４は、ポール上や建物の壁面等に設置されるが、その設置位置Ｑｋ、特に世界座標値（ｘ’，ｙ’，ｚ’）、に何ら配慮されないまま設置されることがある。また、旋回型カメラ１４においては、所定の基準方向Ｅが決められており、この基準方向Ｅに対するパン角θおよびチルト角ρによって、当該旋回型カメラ１４の向きが制御される。ところが、この基準方向Ｅについても、何ら配慮されないまま、設置されることがある。例えば、実空間における世界座標（ｘ，ｙ，ｚ）を用いて、上述した自動追尾を行うには、これら設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）および基準方向Ｅが既知である必要がある。言い換えれば、これら設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）および基準方向Ｅが既知であれば、当該世界座標（ｘ，ｙ，ｚ）を用いた自動追尾を行うことができる。なお、当該世界座標（ｘ，ｙ，ｚ）を用いた自動追尾の実現例は、例えば特開２００５−３３７７号公報に開示されている。そこで、本実施形態においては、マップ画像を用いることで、旋回型カメラ１４の設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）および基準方向Ｅを簡単に特定することのできる手法についても、説明する。 Furthermore, in the present embodiment, the above-described map is also provided for the installation conditions of each of the swivel cameras 14, more specifically, the world coordinate values (x ′, y ′, z ′) and the reference direction E of the installation position Qk in real space. By using the image, it can be easily specified (estimated). That is, the revolving camera 14 is installed on a pole or a wall of a building, but installed without taking into consideration the installation position Qk, particularly the world coordinate values (x ′, y ′, z ′). There is. Further, in the turning camera 14, a predetermined reference direction E is determined, and the direction of the turning camera 14 is controlled by the pan angle θ and the tilt angle ρ with respect to the reference direction E. However, the reference direction E may be installed without any consideration. For example, in order to perform the above-described automatic tracking using the world coordinates (x, y, z) in the real space, the world coordinate values (x ′, y ′, z ′) and the reference direction E of these installation positions Qk are Must be known. In other words, if the world coordinate values (x ′, y ′, z ′) and the reference direction E of these installation positions Qk are known, automatic tracking using the world coordinates (x, y, z) can be performed. it can. In addition, the implementation example of the automatic tracking using the said world coordinate (x, y, z) is disclosed by Unexamined-Japanese-Patent No. 2005-3377, for example. Therefore, in the present embodiment, a method of easily specifying the world coordinate values (x ′, y ′, z ′) and the reference direction E of the installation position Qk of the turning camera 14 by using a map image. Will also be described.

例えば、今、図１７に示す実空間において、旋回型カメラ１４が、世界座標におけるｚ軸に平行な直線を中心としてパン方向に旋回し、かつ、当該世界座標のｘ軸−ｙ軸平面に平行な直線を中心としてチルト方向に旋回するように、設置されている、とする。そして、基準方向Ｅが、世界座標のｘ軸−ｙ軸平面に平行であり、かつ、当該ｘ軸−ｙ軸平面においてｘ軸に沿う方向に対して或る角度、言わばオフセット角θ_０、を成している、と仮定する。なお、パン角θおよびチルト角ρの単位は、［ｒａｄ］（ラジアン）である。また、パン角θについては、旋回型カメラ１４を上方から見たときに反時計回りの方向がプラス（＋）であり、チルト角ρについては、水平よりも下方の方向がプラス（＋）である、とする。そして、これらパン角θおよびチルト角ρについては、それぞれの値を旋回型カメラ１４から取得することができる、とする。 For example, now, in the real space shown in FIG. 17, the turning camera 14 turns in the pan direction around a straight line parallel to the z-axis in the world coordinates, and is parallel to the x-axis / y-axis plane of the world coordinates. It is assumed that it is installed so as to turn in the tilt direction around a straight line. Then, the reference direction E is parallel to the x-axis / y-axis plane of the world coordinates, and a certain angle with respect to the direction along the x-axis in the x-axis / y-axis plane, that is, an offset angle θ ₀ is set. Assume that The unit of the pan angle θ and the tilt angle ρ is [rad] (radian). As for the pan angle θ, the counterclockwise direction is plus (+) when the revolving camera 14 is viewed from above, and the tilt angle ρ is plus (+) below the horizontal. Suppose there is. The pan angle θ and the tilt angle ρ can be obtained from the turning camera 14.

このような状態において、旋回型カメラ１４が実空間における或る位置Ｑｍを注視しており、この注視点Ｑｍの世界座標値が（ｘ”，ｙ”，ｚ”）である、とする。すると、次の数１４および数１５が成立する。 In such a state, it is assumed that the turning camera 14 is gazing at a certain position Qm in the real space, and the world coordinate value of the gazing point Qm is (x ″, y ″, z ″). The following equations 14 and 15 hold.

これらの数１４および数１５によれば、注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）と、この注視点Ｑｍに旋回型カメラ１４が向いているとき、詳しくは注視点Ｑｍが旋回型カメラ１４の光軸上に存在するときの、当該旋回型カメラ１４のパン角θおよびチルト角ρが与えられると、この旋回型カメラ１４の設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）と上述のオフセット角θ_０とを未知数とした、２つの方程式が成立する。従って、これら注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）と旋回型カメラ１４のパン角θおよびチルト角ρとの組合せが少なくとも２組以上得られると、当該４つの未知数ｘ’，ｙ’，ｚ’およびθ_０を求めることができる。 According to these formulas 14 and 15, when the revolving camera 14 faces the world coordinate value (x ″, y ″, z ″) of the gazing point Qm and the gazing point Qm, the gazing point Qm is described in detail. When the pan angle θ and tilt angle ρ of the swivel camera 14 are given when the is present on the optical axis of the swivel camera 14, the world coordinate values (x ′, y ′, z ′) and the above-described offset angle θ ₀ are used as two unknowns, and therefore, the world coordinate values (x ″, y ″, z ″) of the gazing point Qm and the turning camera If at least two or more combinations of 14 pan angles θ and tilt angles ρ are obtained, the four unknowns x ′, y ′, z ′ and θ ₀ can be obtained.

そこで、まず、図１８に示すように、上述したマップ画像上で、例えばマウス１８の操作によって任意の位置、好ましくは実空間および旋回型カメラ１４による撮影画像上でも分かり易い位置Ｑｎ、が注視点として指定される。そして、この注視点Ｑｎにおける当該マップ画像上の２次元座標値（α，β）が特定されると共に、この２次元座標値（α，β）が上述した数３に代入されることで、図１７に示した実空間における注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）が求められる。なお、この実空間における注視点Ｑｍの高さｚ’は、ゼロであるのが、好ましい。ゼロでない場合には、例えばキーボード２０の操作によって当該高さｚ’の実測値が設定される。 Therefore, first, as shown in FIG. 18, an arbitrary position on the above-described map image, for example, a position Qn that is easy to understand on the real space and the captured image by the turning camera 14 by the operation of the mouse 18, is a gazing point. Specified as Then, the two-dimensional coordinate value (α, β) on the map image at the gazing point Qn is specified, and the two-dimensional coordinate value (α, β) is substituted into the above-described formula 3, so that FIG. The world coordinate value (x ″, y ″, z ″) of the gazing point Qm in the real space shown in FIG. 17 is obtained. The height z ′ of the gazing point Qm in the real space is zero. If it is not zero, the measured value of the height z ′ is set by operating the keyboard 20, for example.

続いて、旋回型カメラ１４が、手動制御によって、実空間における注視点Ｑｍに向けられる。そして、このときの当該旋回型カメラ１４のパン角θおよびチルト角ρが取得される。この一連の作業によって、注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）と旋回型カメラ１４のパン角θおよびチルト角ρとの組合せが得られる。そして、異なる注視点Ｑｍについて、同じ作業が合計２回行われることによって、注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）と旋回型カメラ１４のパン角θおよびチルト角ρとの組合せが合計２組得られる。そして、この２組の組合せから成る連立方程式に基づいて、旋回型カメラ１４の設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）とオフセット角θ_０とが求められる。 Subsequently, the turning camera 14 is directed to the gazing point Qm in the real space by manual control. At this time, the pan angle θ and the tilt angle ρ of the turning camera 14 are acquired. By this series of operations, a combination of the world coordinate value (x ″, y ″, z ″) of the gazing point Qm and the pan angle θ and the tilt angle ρ of the turning camera 14 is obtained. By performing the same operation twice in total, a total of two combinations of the world coordinate values (x ″, y ″, z ″) of the gazing point Qm and the pan angle θ and the tilt angle ρ of the turning camera 14 can be obtained. It is done. Then, based on the simultaneous equations composed of the two sets of combinations, the world coordinate values (x ′, y ′, z ′) and the offset angle θ ₀ of the installation position Qk of the turning camera 14 are obtained.

このようにして旋回型カメラ１４の設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）とオフセット角θ_０とが求められることで、実空間において任意の世界座標値（ｘ，ｙ，ｚ）が与えられると、この世界座標値（ｘ，ｙ，ｚ）に対応する位置に旋回型カメラ１４を向かせるためのパン角θおよびチルト角ρが求められる。つまり、パン角θは、上述の数１４の変形式である次の数１６によって求められ、チルト角ρは、数１５の変形式である数１７によって求められる。 Thus, by obtaining the world coordinate value (x ′, y ′, z ′) of the installation position Qk of the turning camera 14 and the offset angle θ ₀ , any world coordinate value (x, y in real space) is obtained. , Z), a pan angle θ and a tilt angle ρ for directing the turning camera 14 to a position corresponding to the world coordinate value (x, y, z) are obtained. That is, the pan angle θ is obtained by the following equation 16 which is a modified equation of the above-mentioned equation 14, and the tilt angle ρ is obtained by the equation 17 which is a modified equation of the equation 15.

なお、この旋回型カメラ１４の設置条件の特定が精確に成されたか否かは、次のようにして検証することができる。 In addition, it can be verified as follows whether or not the installation conditions of the revolving camera 14 are specified accurately.

即ち、図１９（ａ）に示すように、マップ画像上において、任意の位置、好ましくは実空間および旋回型カメラ１４による撮影画像上でも分かり易い位置Ｑｏが、例えばマウス１８の操作によって指定される。なお、同図は、建物の南東角部と地面との境界部分が、当該位置Ｑｏとして指定された状態を示す。すると、この指定位置Ｑｏのマップ画像上における２次元座標値（α，β）が特定され、さらに、この特定された２次元座標値（α，β）が、上述した数３によって世界座標値（ｚ，ｙ，０）に変換される。そして、この変換された世界座標値（ｚ，ｙ，０）が図１７に示した注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）として上述の数１６および数１７のそれぞれに代入されることで、当該注視点Ｑｍに旋回型カメラ１４を向けるためのパン角θおよびチルト角ρが求められる。そして、この求められたパン角θおよびチルト角ρに基づいて旋回型カメラ１４が旋回することで、図１９（ｂ）に示すように、注視点Ｑｍに対応する位置Ｑｐが撮影画像の略中央に映し出される。このように、位置Ｑｐが撮影画像の略中央に映し出されることで、旋回型カメラ１４の設置条件の特定が精確に行われたことが、確認される。 That is, as shown in FIG. 19 (a), an arbitrary position on the map image, preferably a position Qo that is easy to understand even on the real space and the image taken by the turning camera 14, is designated by operating the mouse 18, for example. . This figure shows a state where the boundary portion between the southeast corner of the building and the ground is designated as the position Qo. Then, the two-dimensional coordinate value (α, β) on the map image of the designated position Qo is specified, and the specified two-dimensional coordinate value (α, β) is further converted into a world coordinate value ( z, y, 0). Then, the converted world coordinate value (z, y, 0) is expressed as the world coordinate value (x ″, y ″, z ″) of the gazing point Qm shown in FIG. By substituting, the pan angle θ and the tilt angle ρ for directing the turning camera 14 to the gazing point Qm are obtained, and the turning camera 14 is based on the obtained pan angle θ and tilt angle ρ. 19b, the position Qp corresponding to the gazing point Qm is displayed at the approximate center of the photographed image, as shown in Fig. 19B, and the position Qp is displayed at the approximate center of the photographed image. Thus, it is confirmed that the installation conditions of the revolving camera 14 have been specified accurately.

一方、旋回型カメラ１４による撮影画像上の略中央に位置Ｑｐが映し出されない場合には、当該旋回型カメラ１４の設置条件の特定が精確に行われていないことになる。この場合は、例えば旋回型カメラ１４による撮影画像上の略中央に位置Ｑｐが映し出されるように、当該旋回型カメラ１４の向きが手動制御で変更される。そして、この変更後の旋回型カメラ１４のパン角θおよびチルト角ρが取得される。これにより、今現在の注視点Ｑｍの世界座標値（ｘ”，ｙ”，ｚ”）と旋回型カメラ１４のパン角θおよびチルト角ρとの組合せが得られる。そして、この新たな組合せと先に求められた組合せとに基づいて、改めて旋回型カメラ１４の設置位置Ｑｋの世界座標値（ｘ’，ｙ’，ｚ’）とオフセット角θ_０とが求められる。この修正により、特定精度が向上する。なお、この修正においても、上述したカメラキャリブレーションの修正時と同様に、最小２乗法等の回帰分析を用いてもよい。 On the other hand, when the position Qp is not projected at the approximate center on the image captured by the revolving camera 14, the installation conditions for the revolving camera 14 are not accurately specified. In this case, for example, the orientation of the swivel camera 14 is changed by manual control so that the position Qp is projected at the approximate center on the image captured by the swivel camera 14. Then, the pan angle θ and the tilt angle ρ of the revolving camera 14 after the change are acquired. As a result, a combination of the current world coordinate value (x ″, y ″, z ″) of the gazing point Qm and the pan angle θ and tilt angle ρ of the turning camera 14 is obtained. Based on the previously obtained combination, the world coordinate value (x ′, y ′, z ′) of the installation position Qk of the turning camera 14 and the offset angle θ ₀ are obtained again. In this correction, regression analysis such as a least square method may be used as in the above-described correction of camera calibration.

なお、本実施形態においては、複数台の固定カメラ１２，１２，…が設けられるものとしたが、当該固定カメラ１２は１台であってもよい。また、旋回型カメラ１４についても、１台であってもよい。さらに、図６に示したように移動体マーク３６および軌跡線３８を表示させる機能があれば足り、自動追尾機能については不要である場合には、旋回型カメラ１４はなくてもよい。 In the present embodiment, a plurality of fixed cameras 12, 12,... Are provided, but one fixed camera 12 may be provided. Further, the turning type camera 14 may be one. Furthermore, as shown in FIG. 6, it is sufficient if there is a function for displaying the moving body mark 36 and the locus line 38, and when the automatic tracking function is unnecessary, the turning type camera 14 may be omitted.

そして、カメラキャリブレーションにおいては、射影変換行列を採用したが、これに限らない。例えば、上述の非特許文献１に開示されている手法を採用してもよい。 In the camera calibration, the projective transformation matrix is used, but the present invention is not limited to this. For example, you may employ | adopt the method currently disclosed by the above-mentioned nonpatent literature 1.

さらに、カメラキャリブレーションにおいて、既知の身長の人間を指標として利用したが、人間以外の指標、例えば棒状のものや、円錐状のものを利用してもよい。また、指標として特別なものを用意しなくても、例えば建物の角部や門柱等のように、外観的に特徴のある既存のもの（部分）を、当該指標として利用してもよい。勿論、指標の寸法（特に高さ寸法）は、既知であることが、必要とされる。 Furthermore, in the camera calibration, a person with a known height is used as an index, but an index other than a person, for example, a rod-shaped object or a cone-shaped object may be used. Further, without preparing a special index, an existing one (part) having an appearance characteristic such as a corner or a gate of a building may be used as the index. Of course, it is necessary that the dimension of the index (particularly the height dimension) is known.

また、図８に示したスケーラ４０は、１つの設定例であり、これに限定されない。即ち、当該図８において、スケーラ４０は、垂直方向に沿って延伸しているが、水平方向や斜め方向等の他の方向に沿って延伸するものであってもよい。ただし、上述したように、実空間における当該スケーラ４０に対応する部分の実寸が正確に分かっていることが、必要である。言い換えれば、当該実寸が正確に分かっているのであれば、スケーラ４０は、直線に限らず、曲線であってもよい。要するに、スケーラ４０と実空間における当該スケーラ４０に対応する部分とが、幾何学的に相似であり、かつそれぞれの長さ寸法ＬｍおよびＬｗが正確に分かればよい。 Moreover, the scaler 40 shown in FIG. 8 is one setting example, and is not limited to this. That is, in FIG. 8, the scaler 40 extends along the vertical direction, but may extend along other directions such as a horizontal direction and an oblique direction. However, as described above, it is necessary that the actual size of the portion corresponding to the scaler 40 in the real space is accurately known. In other words, as long as the actual size is accurately known, the scaler 40 is not limited to a straight line but may be a curved line. In short, the scaler 40 and the portion corresponding to the scaler 40 in the real space are geometrically similar, and the respective length dimensions Lm and Lw may be accurately known.

そして、本実施形態においては、建物を含む敷地内の監視用途に本発明を適用したが、これに限らない。例えば、建物内における監視に本発明を適用してもよいし、監視用途以外にも本発明を適用してもよい。 And in this embodiment, although this invention was applied to the monitoring use in the site including a building, it is not restricted to this. For example, the present invention may be applied to monitoring in a building, or the present invention may be applied to a purpose other than monitoring.

また、上述のカメラキャリブレーションおよび旋回型カメラ１４の設置条件の特定は、ＰＣ１６によって実現されるが、例えば専用の装置によって実現してもよい。 Moreover, although the above-mentioned camera calibration and specification of the installation conditions of the turning camera 14 are realized by the PC 16, it may be realized by a dedicated device, for example.

さらに、例えば、図６に示したように移動体マーク３６および軌跡線３８を表示させる機能と、自動追尾機能とを、互いに別々の装置によって実現してもよい。また、全てが別々の装置でなくとも、例えばディスプレイ２４のみについて、移動体マーク３６および軌跡線３８を含むマップ画像を表示させるものと、自動追尾を行っている旋回型カメラ１４による撮影画像を表示させるものと、固定カメラ１２による撮影画像を表示させるものとを、別々にしてもよい。 Further, for example, as shown in FIG. 6, the function of displaying the moving object mark 36 and the locus line 38 and the automatic tracking function may be realized by separate devices. Further, even if not all devices are separate, for example, only the display 24 displays a map image including the moving object mark 36 and the locus line 38 and an image captured by the revolving camera 14 performing automatic tracking. What is to be displayed may be different from what is to be displayed by the fixed camera 12.

本発明の一実施形態に係る監視カメラシステムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the surveillance camera system which concerns on one Embodiment of this invention. 同実施形態において各カメラの設置状況を示す実空間の概略平面図である。It is a schematic plan view of the real space which shows the installation condition of each camera in the embodiment. 同実施形態において或る固定カメラによって撮影された画像の一例を示す図解図である。It is an illustration figure which shows an example of the image image | photographed with a certain fixed camera in the embodiment. 図２の概略平面図に対応するマップ画像を示す図解図である。FIG. 3 is an illustrative view showing a map image corresponding to the schematic plan view of FIG. 2. 図３の撮影画像に移動体が現れた状態を示す図解図である。FIG. 4 is an illustrative view showing a state in which a moving body appears in the captured image of FIG. 3. 図５の状態にあるときのマップ画像の状態を示す図解図である。It is an illustration figure which shows the state of the map image when it exists in the state of FIG. 図５の状態にあるときの或る旋回型カメラによる撮影画像の一例を示す図解図である。It is an illustration figure which shows an example of the picked-up image with a certain turning type camera in the state of FIG. 図４のマップ画像にスケーラが設定された状態を示す図解図である。It is an illustration figure which shows the state by which the scaler was set to the map image of FIG. 図８のマップ画像と実空間との関係を示す図解図である。It is an illustration figure which shows the relationship between the map image of FIG. 8, and real space. 同実施形態においてカメラキャリブレーションを行うときの実空間の一状態を示す図解図である。It is an illustration figure which shows one state of real space when camera calibration is performed in the embodiment. 図１０の状態にあるときのマップ画像の状態を示す図解図である。It is an illustration figure which shows the state of the map image when it exists in the state of FIG. 図１０の状態にあるときの固定カメラによる撮影画像の状態を示す図解図である。It is an illustration figure which shows the state of the picked-up image by a fixed camera in the state of FIG. 図１０の状態にあるときの固定カメラによる撮影画像の図１２とは異なる状態を示す図解図である。It is an illustration figure which shows the state different from FIG. 12 of the picked-up image by a fixed camera in the state of FIG. 同実施形態においてカメラキャリブレーションが行われた結果の検証手順を説明するための図解図である。It is an illustration figure for demonstrating the verification procedure of the result in which the camera calibration was performed in the embodiment. 同カメラキャリブレーションが精確に行われなかったときの検証結果の一例を示す図解図である。It is an illustration figure which shows an example of the verification result when the camera calibration is not performed correctly. 図１４とは別の検証手順を説明するための図解図である。It is an illustration figure for demonstrating the verification procedure different from FIG. 同実施形態において旋回型カメラの設置条件を特定するときの実空間の一状態を示す図解図である。It is an illustration figure which shows one state of real space when specifying the installation conditions of a turning type camera in the embodiment. 図１７の状態にあるときのマップ画像の状態を示す図解図である。It is an illustration figure which shows the state of a map image when it exists in the state of FIG. 同実施形態において旋回型カメラの設置条件が特定された結果の検証手順を説明するための図解図である。It is an illustration figure for demonstrating the verification procedure of the result in which the installation conditions of the turning type camera were specified in the embodiment.

Explanation of symbols

１０監視カメラシステム
１２固定カメラ
１４旋回型カメラ
１６ＣＰＵ
１８マウス
２０キーボード
２２操作装置
２４ディスプレイ
４０スケーラ 10 surveillance camera system 12 fixed camera 14 revolving camera 16 CPU
18 mouse 20 keyboard 22 operation device 24 display 40 scaler

Claims

In a camera calibration device for obtaining a camera parameter for associating a two-dimensional image coordinate set on a photographed image by a camera having a fixed photographing region with a three-dimensional world coordinate set in a real space including the photographing region,
A simulated image in which the real space in a plane in which the value of one of the three coordinate axes constituting the world coordinate is constant is simulated and two-dimensional coordinates that correlate with the world coordinate representing the plane are set Simulated image display means for displaying,
An index position designation means on the simulated image for designating the position of the index installed in the imaging area on the simulated image;
Based on the two-dimensional coordinate value in the two-dimensional coordinate of the designated position by the index position designation means on the simulated image and the correlation between the two-dimensional coordinate and the world coordinate, the world coordinate value in the world coordinate of the index position World coordinate value calculation means for obtaining
An index position specifying means on the captured image for specifying the position of the index on the captured image;
Parameter computing means for obtaining the camera parameter based on the image coordinate value at the image coordinate at the designated position by the index position designation means on the captured image and the world coordinate value obtained by the world coordinate value computing means;
A camera calibration apparatus comprising:

The one coordinate axis defines a position in the vertical direction of the real space,
The simulated image is an image simulating the plane whose position in the vertical direction is zero.
The camera calibration device according to claim 1.

The correlation includes a ratio between a distance between any two points on the simulated image and a distance between portions corresponding to the two points on the plane.
The camera calibration apparatus according to claim 1 or 2.

The simulated image is common to a plurality of the cameras,
The captured image index position specifying means specifies the position of the index on the captured image by each of the plurality of cameras,
The parameter calculation means obtains the camera parameters for each of the plurality of cameras.
The camera calibration apparatus according to claim 1.

In a camera calibration method for obtaining a camera parameter for associating a two-dimensional image coordinate set on a photographed image by a camera having a fixed photographing region with a three-dimensional world coordinate set in a real space including the photographing region,
A simulated image in which the real space in a plane in which the value of one of the three coordinate axes constituting the world coordinate is constant is simulated and two-dimensional coordinates that correlate with the world coordinate representing the plane are set A simulated image display process for displaying
An index position designation process on the simulated image for designating the position of the index installed in the shooting area on the simulated image;
Based on the two-dimensional coordinate value in the two-dimensional coordinate of the designated position in the indicator position designation process on the simulated image and the correlation between the two-dimensional coordinate and the world coordinate, the world coordinate value in the world coordinate of the index position World coordinate value calculation process to find
An index position designation process on the photographed image for designating the position of the index on the photographed image;
A parameter calculation process for obtaining the camera parameter based on the image coordinate value at the image coordinate at the designated position by the index position designation process on the captured image and the world coordinate value obtained in the world coordinate value computation process;
A camera calibration method comprising: