JP2008061260A - Fisheye lens camera apparatus and image distortion correcting method thereof - Google Patents
Fisheye lens camera apparatus and image distortion correcting method thereof Download PDFInfo
- Publication number
- JP2008061260A JP2008061260A JP2007244733A JP2007244733A JP2008061260A JP 2008061260 A JP2008061260 A JP 2008061260A JP 2007244733 A JP2007244733 A JP 2007244733A JP 2007244733 A JP2007244733 A JP 2007244733A JP 2008061260 A JP2008061260 A JP 2008061260A
- Authority
- JP
- Japan
- Prior art keywords
- image
- fisheye lens
- area
- distortion
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012937 correction Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000003702 image correction Methods 0.000 claims abstract description 15
- 238000003384 imaging method Methods 0.000 abstract description 27
- 230000015654 memory Effects 0.000 abstract description 19
- 238000009434 installation Methods 0.000 abstract description 17
- 238000013507 mapping Methods 0.000 abstract description 11
- 239000000284 extract Substances 0.000 abstract description 8
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 51
- 238000001514 detection method Methods 0.000 description 27
- 238000004364 calculation method Methods 0.000 description 23
- 238000006243 chemical reaction Methods 0.000 description 21
- 239000000872 buffer Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000002093 peripheral effect Effects 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Abstract
Description
本発明は、魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法に関し、特に、魚眼レンズカメラにより画像を取り込み、その一部の画像を切り出してモニタテレビに表示するテレビ会議システム又は遠隔監視システム等における魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法に関する。 The present invention relates to a fisheye lens camera device, an image distortion correction method thereof, and an image extraction method, and more particularly to a video conference system or a remote monitoring system that captures an image with a fisheye lens camera, cuts out a part of the image, and displays the image on a monitor television. The present invention relates to a fisheye lens camera device, an image distortion correction method thereof, and an image extraction method thereof.
魚眼レンズは約１８０度の画角を有し、広範囲の画像を映し出すことができるが、その画像はたる型に歪曲し、特に周辺部は歪みが著しい。本発明は、魚眼レンズの撮像範囲が広範囲であることを利用し、１台の魚眼レンズカメラで取り込んだ画像の中から、注目する画像の部分を切り出し、画像の歪みを補正してモニタテレビ画面に表示するものである。 The fish-eye lens has an angle of view of about 180 degrees and can display a wide range of images, but the images are distorted into a barrel shape, and the peripheral portion is particularly distorted. The present invention utilizes the wide imaging range of the fisheye lens, cuts out the portion of the image of interest from the image captured by one fisheye lens camera, corrects the distortion of the image, and displays it on the monitor TV screen To do.
更に、本発明は、魚眼レンズカメラで映し取った映像の中から、人物の侵入等の動きを伴う像を検出し、その像のモニタ表示領域（切り出し領域）を自動的に決定してその移動像を追尾させるものであり、遠隔監視システムやテレビ会議システムのカメラ装置に好適に用いられるものである。 Furthermore, the present invention detects an image accompanied by a movement of a person or the like from an image captured by a fisheye lens camera, automatically determines a monitor display area (cutout area) of the image, and moves the image. And is suitably used for a camera device of a remote monitoring system or a video conference system.
図１３は従来の魚眼レンズカメラ装置の構成及びそれを用いた遠隔監視システム及びテレビ会議システムを示す図である。図の（ａ）は魚眼レンズカメラ装置の構成を示し、図の（ｂ）は魚眼レンズカメラ装置を用いた遠隔監視システムを示し、図の（ｃ）は魚眼レンズカメラ装置を用いたテレビ会議システムを示す。 FIG. 13 is a diagram showing a configuration of a conventional fisheye lens camera device and a remote monitoring system and a video conference system using the same. (A) of the figure shows the configuration of the fisheye lens camera apparatus, (b) of the figure shows a remote monitoring system using the fisheye lens camera apparatus, and (c) of the figure shows a video conference system using the fisheye lens camera apparatus.
同図において、１３−１０は魚眼レンズカメラ装置、１３−１は魚眼レンズ、１３−２はＣＣＤ撮像装置、１３−３は映像メモリ（フレームメモリ）、１３−４は画像補正処理回路、１３−５は補正映像（ＮＴＳＣ）出力回路である。 In this figure, 13-10 is a fisheye lens camera device, 13-1 is a fisheye lens, 13-2 is a CCD imaging device, 13-3 is a video memory (frame memory), 13-4 is an image correction processing circuit, and 13-5 is It is a corrected video (NTSC) output circuit.
魚眼レンズ１３−１は約１８０度の画角で対象物を光学的に映し出し、ＣＣＤ撮像装置１３−２は光学的な映像から電気的な画像信号を生成し、映像メモリ（フレームメモリ）１３−３はその画像信号をフレーム単位に記憶する。 The fish-eye lens 13-1 optically projects an object at an angle of view of about 180 degrees, and the CCD imaging device 13-2 generates an electrical image signal from the optical image, and the image memory (frame memory) 13-3. Stores the image signal in units of frames.
画像補正処理回路１３−４は、モニタ表示する領域について、魚眼レンズの歪んだ画像を補正して元の像に戻し、補正映像（ＮＴＳＣ）出力回路１３−５は、補正された画像信号をＮＴＳＣ方式等の通常のテレビ映像信号として出力する。 The image correction processing circuit 13-4 corrects the distorted image of the fisheye lens and returns it to the original image for the area to be displayed on the monitor, and the corrected video (NTSC) output circuit 13-5 outputs the corrected image signal to the NTSC system. Etc. are output as normal TV video signals.
魚眼レンズは画角が広いため、そのレンズを用いたカメラ装置により広範囲のエリアの映像を取り込む遠隔監視システムやテレビ会議システムを構成することができる。図の（ｂ），（ｃ）に示すように、魚眼レンズカメラ装置１３−１０に符号化装置１３−２０を取付け、又は符号化装置付きの魚眼レンズカメラ装置１３−３０により、映像信号を公衆回線１３−４０を介して伝送し、復号化装置１３−５０を介してモニタテレビ画面１３−６０等に表示することにより、それらのシステムを構成することができる。但し、魚眼レンズは画角が広い分、映像の歪みが大きく、その歪みを補正してモニタテレビ画面１３−６０等に表示しなければならない。 Since the fisheye lens has a wide angle of view, a remote monitoring system or a video conference system that captures images of a wide area by a camera device using the lens can be configured. As shown in (b) and (c) of the figure, the encoding device 13-20 is attached to the fisheye lens camera device 13-10, or the video signal is transmitted to the public line 13 by the fisheye lens camera device 13-30 with the encoding device. These systems can be configured by transmitting via -40 and displaying them on the monitor television screen 13-60 via the decoding device 13-50. However, since the fisheye lens has a wide angle of view, the distortion of the image is large, and the distortion must be corrected and displayed on the monitor TV screen 13-60 or the like.
図１４は従来の魚眼レンズカメラ画像の歪み補正の説明図である。同図において、１４−１は仮想の画像フレーム、１４−２は仮想の半球面、１４−３は魚眼レンズ撮像画面である。又、ｘ，ｙ，ｚ軸で示す３次元空間の原点Ｏに魚眼レンズが置かれ、且つ、魚眼レンズはｚ軸の方向に向けて置かれているものとする。 FIG. 14 is an explanatory diagram of distortion correction of a conventional fisheye lens camera image. In the figure, 14-1 is a virtual image frame, 14-2 is a virtual hemispherical surface, and 14-3 is a fisheye lens imaging screen. Further, it is assumed that the fisheye lens is placed at the origin O of the three-dimensional space indicated by the x, y, and z axes, and the fisheye lens is placed in the direction of the z axis.
又、仮想の半球面１４−２は、魚眼レンズが正射影方式のレンズでその焦点距離がｆであるとすると、半径ｆの仮想的な半球の球面であり、その平面部はｘ−ｙ平面上に置かれ、その中心は原点Ｏの位置に置かれる。 The virtual hemispherical surface 14-2 is a virtual hemispherical spherical surface having a radius f, assuming that the fisheye lens is an orthographic lens and the focal length is f, and its plane portion is on the xy plane. And its center is located at the origin O.
仮想の画像フレーム１４−１は、魚眼レンズの位置（原点）から撮影対象物へ向かう視線方向ベクトルＤＯＶ（Ｄｉｒｅｃｔｉｏｎ Ｏｆ Ｖｉｅｗ）と直交する仮想的な平面上のフレームで、所定の大きさの枠を持ち、後に説明するように、この枠内の映像が魚眼レンズ画像から切り出されてモニタテレビ画面に表示されることとなる。即ち、モニタテレビ等の表示フレームの枠と同じ大きさの枠を持つ。 The virtual image frame 14-1 is a frame on a virtual plane orthogonal to the line-of-sight direction vector DOV (Direction Of View) from the position (origin point) of the fisheye lens toward the object to be photographed, and has a frame of a predetermined size. As will be described later, the video in this frame is cut out from the fisheye lens image and displayed on the monitor television screen. That is, it has a frame of the same size as the frame of the display frame of a monitor television or the like.
又、画像フレーム１４−１は、そのフレーム内に視線方向ベクトルＤＯＶと交差する点を原点とする２次元座標軸（ｐ，ｑ）を持ち、仮想画像フレーム１４−１内の点はこの座標の成分（ｐ，ｑ）によって表される。 The image frame 14-1 has a two-dimensional coordinate axis (p, q) whose origin is a point intersecting the line-of-sight direction vector DOV in the frame, and the point in the virtual image frame 14-1 is a component of this coordinate. It is represented by (p, q).
魚眼レンズによって映し出される像（魚眼レンズ画像）は、レンズの射影方式（projection formula）によっていくつかのタイプに分けられるが、以下、正射影（orthographic projection）方式の魚眼レンズについて説明する。 An image projected by a fisheye lens (fisheye lens image) is divided into several types according to a lens projection formula. Hereinafter, an orthographic projection fisheye lens will be described.
魚眼レンズの置かれた位置（原点Ｏ）から前記仮想の半球面１４−２を通して見える像を、そのまま該仮想の半球面１４−２に貼り付けたと仮定する。そして、その半球面１４−２上に貼り付けた３次元空間の像を、図のｘ軸及びｙ軸からなる２次元空間の平面上に、該平面に垂直に（ｚ方向から原点方向に）押し潰して貼り付けた像が、正射影方式の魚眼レンズの画像である。 It is assumed that an image that can be seen through the virtual hemispherical surface 14-2 from the position where the fisheye lens is placed (origin O) is pasted on the virtual hemispherical surface 14-2 as it is. Then, the image of the three-dimensional space pasted on the hemispherical surface 14-2 is perpendicular to the plane on the plane of the two-dimensional space composed of the x-axis and the y-axis (from the z direction to the origin direction). The image that is crushed and pasted is an image of an orthographic fisheye lens.
なお、実際には、魚眼レンズの画像は上下左右逆転した位置に像を結ぶが、像の歪曲の相対的な関係は変わらないので、説明を簡略化するため前述したように結像するものとする。 Actually, the image of the fisheye lens is formed at a position where the image is reversed upside down, left and right, but the relative relationship of the distortion of the image does not change, so that the image is formed as described above in order to simplify the explanation. .
前記半球面１４−２上の像を垂直に押し潰した２次元空間の平面が魚眼レンズ撮像画面１４−３であり、該魚眼レンズ撮像画面１４−３の円の内側の画像が魚眼レンズで撮影された画像である。外側の四角の枠は、ＣＣＤ撮像装置から得られる全体の撮像画面の外枠である。 A plane in a two-dimensional space obtained by vertically squashing the image on the hemispherical surface 14-2 is a fisheye lens imaging screen 14-3, and an image inside the circle of the fisheye lens imaging screen 14-3 is an image taken by a fisheye lens. It is. The outer square frame is an outer frame of the entire imaging screen obtained from the CCD imaging device.
魚眼レンズの画像は歪曲しているため、魚眼レンズカメラで撮影した像を表示するには、その一部を切り出して正常な画像に補正する必要がある。そこで、表示するフレームに対応するフレームを仮想の画像フレーム１４−１として想定する。 Since the image of the fisheye lens is distorted, in order to display an image taken by the fisheye lens camera, it is necessary to cut out a part of the image and correct it to a normal image. Therefore, a frame corresponding to the frame to be displayed is assumed as a virtual image frame 14-1.
魚眼レンズが向いているｚ軸の方向が、鉛直線の上方の方向であるとし、前記視線方向ベクトルＤＯＶがｚ軸と成す頂点角（天頂角）をφ、水平面の基準軸（ｘ軸又はｙ軸）と成す方位角をθとする。又、焦点距離（魚眼レンズ画像の円の半径）をｆ、画像フレームの回転角をω、拡大率をｍとする。拡大率ｍは、魚眼レンズの位置（原点Ｏ）から画像フレーム１４−１内の原点までの距離をＤとすると、ｍ＝Ｄ／ｆである。 The z-axis direction to which the fisheye lens is directed is the direction above the vertical line, the vertex angle (zenith angle) formed by the line-of-sight direction vector DOV with the z-axis is φ, and the horizontal axis is the reference axis (x-axis or y-axis) ) Is defined as θ. Further, the focal length (radius of the circle of the fisheye lens image) is f, the rotation angle of the image frame is ω, and the magnification is m. The magnification ratio m is m = D / f, where D is the distance from the position of the fisheye lens (origin O) to the origin in the image frame 14-1.
魚眼レンズ画像平面１４−３内の点（ｘ，ｙ）と画像フレーム１４−１内の点（ｐ，ｑ）との対応関係は、式（１）の関係式によって表わされる。 The correspondence between the point (x, y) in the fish-eye lens image plane 14-3 and the point (p, q) in the image frame 14-1 is represented by the relational expression (1).
式（１）の対応関係を利用して魚眼レンズ画像の歪みを補正し、元の画像を復元してモニタテレビ画面に表示させることができる。即ち、先ず前記画像フレーム１４−１を定位させ、モニタ表示する領域（切り出し領域）を定める。この定位操作は、画像フレームの頂点角φ、方位角θ、回転角φ及び拡大率ｍを外部から画像補正処理回路１３−４に入力することによって設定する。 It is possible to correct the distortion of the fisheye lens image using the correspondence relationship of Expression (1), restore the original image, and display it on the monitor television screen. That is, first, the image frame 14-1 is localized and an area (cutout area) to be displayed on the monitor is determined. This localization operation is set by inputting the vertex angle φ, azimuth angle θ, rotation angle φ, and magnification m of the image frame from the outside to the image correction processing circuit 13-4.
画像補正処理回路１３−４は、画像フレーム１４−１内の点（ｐ，ｑ）に対応する魚眼レンズ画像平面１４−３内の点（ｘ，ｙ）を、前記式（１）の関係式により求め、その点の色情報信号を映像メモリ（フレームメモリ）１３−３から読み出して、画像フレーム１４−１内の点（ｐ，ｑ）に対応するアドレスを有する出力用の映像メモリ（図示省略）に該色情報信号を書き込む。 The image correction processing circuit 13-4 calculates the point (x, y) in the fisheye lens image plane 14-3 corresponding to the point (p, q) in the image frame 14-1 by the relational expression of the above equation (1). Then, the color information signal at that point is read from the video memory (frame memory) 13-3, and an output video memory having an address corresponding to the point (p, q) in the image frame 14-1 (not shown). The color information signal is written in.
この映像メモリ間の色情報転送操作を、画像フレーム１４−１内の全ての点（ｐ，ｑ）について行い、出力用の映像メモリから順次、色情報信号を補正映像（ＮＴＳＣ）出力回路１３−５に送出することにより、補正映像（ＮＴＳＣ）出力回路１３−５は、原点Ｏから仮想の画像フレーム１４−１の枠を通して見た実物象の画像を、歪みなく表示することができる。魚眼レンズの画像の歪補正については、下記の特許文献１等に記載されている。
前述の魚眼レンズ画像の歪み補正は、対象とする魚眼レンズが正射影の像となるときの補正であり、実際の魚眼レンズとして多く使用されている等面積写像の像となる魚眼レンズのときは、座標変換の演算が更に複雑なものとなる。 The above-described distortion correction of the fisheye lens image is a correction when the target fisheye lens is an orthographic image. When the fisheye lens is an image of an equal area map that is often used as an actual fisheye lens, coordinate conversion is performed. The computation is further complicated.
魚眼レンズ画像の歪み補正の演算は、表示する画像フレームの座標点毎に座標変換の演算を行うため膨大な演算量となり、又、画像の解像度を上げると更に演算量が増大することになるので、座標変換の演算量は極力少ないものとしなければならない。 The calculation for distortion correction of the fisheye lens image is an enormous amount of calculation because the calculation of coordinate conversion is performed for each coordinate point of the image frame to be displayed, and the amount of calculation further increases when the resolution of the image is increased. The amount of calculation for coordinate transformation must be as small as possible.
又、前述の魚眼レンズ画像の歪み補正は、魚眼レンズカメラを机等に設置して天井方向に真上に向ける、或いは、天井に取り付けて床方向に真下に向ける等、鉛直方向に向けて置くことを前提としているため、魚眼レンズカメラの設置アングルを自由に選定して設置することができない。一方、魚眼レンズカメラを壁に横向きに取り付けたり、天井の隅に斜めの角度で取り付けたりした方が、監視領域等の撮像領域を魚眼レンズ画像のより有効な撮像エリアに取り込むことができる場合が多い。 In addition, the above-described distortion correction of the fisheye lens image may be performed by placing the fisheye lens camera on a desk or the like and directing it directly above the ceiling, or by attaching it to the ceiling or directing it directly below the floor. Because it is a premise, the installation angle of the fisheye lens camera cannot be freely selected and installed. On the other hand, when the fisheye lens camera is attached to the wall sideways or attached to the corner of the ceiling at an oblique angle, an imaging area such as a monitoring area can often be taken into a more effective imaging area of the fisheye lens image.
更に、魚眼レンズカメラを使って撮影される映像は、実際には個々の魚眼レンズカメラの特性により変動する。この魚眼レンズカメラの特性の相違は、魚眼レンズ画像の歪み補正による画像変換を行っても、変換後の画像に画像歪みとして残って表示されてしまう。 Furthermore, an image captured using a fisheye lens camera actually varies depending on the characteristics of each fisheye lens camera. This difference in characteristics of the fisheye lens camera is displayed as image distortion in the converted image even if image conversion is performed by correcting distortion of the fisheye lens image.
従来は魚眼レンズカメラの映像パラメータである、ＣＣＤ撮像装置の撮像画面における魚眼レンズ画像の左右方向のずれの補正や、ＣＣＤの撮像装置の構造等に起因する縦横比の補正については、手動で調整しなければならなかった。 The correction of the horizontal deviation of the fisheye lens image on the imaging screen of the CCD imaging device and the correction of the aspect ratio caused by the structure of the CCD imaging device, which are conventional video parameters of the fisheye lens camera, must be manually adjusted. I had to.
又、魚眼レンズカメラを使った追尾型の遠隔監視システムにおいて、人物像等の検出とモニタ表示領域（切り出し領域）の決定を自動的に行なわなければならないが、単に魚眼レンズ画像のフレーム間差分によりモニタ表示領域（切り出し領域）を決定する方法では、動く物が１つのみである場合の検出が限界であり、領域内に複数の物が移動する場合にその各々を追尾する映像を作成することは不可能であった。 In a tracking-type remote monitoring system using a fisheye lens camera, it is necessary to automatically detect a human image and determine a monitor display area (cutout area). In the method of determining an area (cutout area), detection is limited when there is only one moving object, and it is not possible to create a video that tracks each object when multiple objects move within the area. It was possible.
又、魚眼レンズ画像は、その中心部と周辺部とで明るさや歪曲の大きさが違っているため、追尾の際の切り出し領域が変化するに伴い、モニタ表示される画像についても不自然になり易いという欠点があった。 Further, since the brightness and distortion of the fisheye lens image are different between the central portion and the peripheral portion, the image displayed on the monitor tends to become unnatural as the cutout region changes during tracking. There was a drawback.
本発明は、魚眼レンズカメラを任意の設置アングルで取り付けた場合の魚眼レンズ画像の歪み補正の画像変形処理を高速化するとともに、又、魚眼レンズカメラで撮影した人物像等の移動する像を精度よく検出して抽出し、モニタテレビ等に高精度で表示させることを目的とする。 The present invention speeds up image deformation processing for correcting distortion of a fisheye lens image when a fisheye lens camera is mounted at an arbitrary installation angle, and also accurately detects a moving image such as a human image photographed by a fisheye lens camera. The purpose is to extract and display with high accuracy on a monitor TV or the like.
本発明の魚眼レンズカメラ装置は、（１）魚眼レンズカメラにより撮影された画像の歪みを補正する画像補正処理部を備えた魚眼レンズカメラ装置において、前記画像補正処理部は、魚眼レンズカメラの設置角を補正する座標変換と、魚眼レンズ画像の歪みを補正する座標変換とを組み合わせて演算する構成を有するものである。又、（２）前記画像補正処理部は、等面積写像の魚眼レンズ画像の歪みを補正する座標変換を演算する構成を有するものである。 The fisheye lens camera device of the present invention is (1) a fisheye lens camera device provided with an image correction processing unit that corrects distortion of an image taken by a fisheye lens camera, wherein the image correction processing unit corrects an installation angle of the fisheye lens camera. It has the structure which calculates by combining coordinate transformation and coordinate transformation which correct | amends distortion of a fish-eye lens image. (2) The image correction processing unit has a configuration for calculating coordinate transformation for correcting distortion of a fish-eye lens image of an equal area map.
又、（３）魚眼レンズカメラにより撮影された画像の歪みを補正する画像補正処理部を備えた魚眼レンズカメラ装置において、魚眼レンズ画像の歪み補正のための、表示画像の中心位置、魚眼レンズ画像の縦横比、魚眼レンズ画像エリアの半径等のパラメータを、撮像された魚眼レンズ画像自体から抽出し、該パラメータにより魚眼レンズ画像の歪み捕正を行う構成を備えたものである。 (3) In the fisheye lens camera device including an image correction processing unit that corrects distortion of an image captured by the fisheye lens camera, the center position of the display image, the aspect ratio of the fisheye lens image for correcting distortion of the fisheye lens image, Parameters such as the radius of the fisheye lens image area are extracted from the captured fisheye lens image itself, and the distortion correction of the fisheye lens image is performed using the parameters.
又、（４）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する魚眼レンズカメラ装置において、魚眼レンズ画像内の相互の位置関係を利用して領域を統合し、像の変化した領域を抽出する構成を備えたものである。 (4) In a fish-eye lens camera device for extracting a moving image from an image taken by a fish-eye lens camera, the regions are integrated using the mutual positional relationship in the fish-eye lens image, and the region where the image has changed is extracted. It is equipped with.
又、（５）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する魚眼レンズカメラ装置において、魚眼レンズ画像をパノラマ状の横長映像に変換し、その映像のフレーム間差分の信号又はフレーム間差分とフレーム内差分とを結合した信号を抽出し、該信号により領域抽出を行い、複数の移動像の領域抽出を同時に行う構成を備えたものである。 (5) In a fish-eye lens camera device that extracts a moving image from an image photographed by a fish-eye lens camera, the fish-eye lens image is converted into a panoramic landscape image, and an inter-frame difference signal or inter-frame difference and frame A signal obtained by combining the internal differences is extracted, and a region is extracted based on the signal, and a region is extracted from a plurality of moving images at the same time.
又、（６）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する魚眼レンズカメラ装置において、フレーム間差分の信号又はフレーム間差分とフレーム内差分とを結合した信号等の特徴量の抽出演算を魚眼レンズ画像の映像をもとに行い、特徴検出領域に対する領域抽出処理において、極座標と直交座標とのアドレス変換を行って魚眼レンズ画像の映像内を走査し、円形の魚眼レンズ画像の映像の中から複数の移動像の領域抽出を行う構成を備えたものである。 (6) In the fish-eye lens camera device for extracting a moving image from an image taken by a fish-eye lens camera, a feature-value extraction operation such as a signal of inter-frame difference or a signal obtained by combining inter-frame difference and intra-frame difference is performed. Based on the image of the fisheye lens image, in the region extraction process for the feature detection region, the address conversion between polar coordinates and orthogonal coordinates is performed to scan the image of the fisheye lens image, and a plurality of images of the circular fisheye lens image are selected. It has a configuration for extracting a moving image region.
又、（７）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する魚眼レンズカメラ装置において、魚眼レンズ画像の映像の中から得られる複数の人物像の領域について、各人物像の形状を正規化し、各像の形状内の色情報を記億し、個々の像の色情報をもとに移動する複数の人物像を個別に追尾する映像を作成する構成を備えたものである。 (7) In the fish-eye lens camera device that extracts a moving image from an image photographed by the fish-eye lens camera, the shape of each person image is normalized with respect to a plurality of human-image areas obtained from the fish-eye lens image. It has a configuration in which color information in the shape of each image is recorded, and an image for individually tracking a plurality of human images that move based on the color information of each image is created.
又、（８）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する魚眼レンズカメラ装置において、魚眼レンズ画像の中心部分と周辺部分との歪みの大きさに応じて異なる重み係数を乗じた特徴量をもとに領域抽出を行う構成を備えたものである。又、（９）前記重み係数として、更に魚眼レンズ画像の映像内の領域に対応して異なる値を与え、非抽出領域をマスクして領域抽出を行う構成を備えたものである。 (8) In a fish-eye lens camera device that extracts a moving image from an image photographed by a fish-eye lens camera, a feature amount multiplied by a different weighting factor according to the magnitude of distortion between the central portion and the peripheral portion of the fish-eye lens image. Based on this, a configuration for performing region extraction is provided. Further, (9) the weighting coefficient is further provided with a different value corresponding to the region in the image of the fisheye lens image, and the region extraction is performed by masking the non-extraction region.
又、本発明の魚眼レンズカメラの画像歪み補正方法は、（１０）魚眼レンズカメラにより撮影された画像の歪みの補正において、魚眼レンズカメラの設置角を補正する座標変換と、魚眼レンズ画像の歪みを補正する座標変換とを組み合わせて演算する過程を含むものである。又、（１１）前記魚眼レンズカメラの画像歪み補正において、等面積写像の魚眼レンズ画像の歪みを補正する座標変換を演算する過程を含むものである。 The image distortion correction method for a fisheye lens camera according to the present invention includes (10) coordinate correction for correcting the installation angle of the fisheye lens camera and coordinates for correcting distortion of the fisheye lens image in correcting distortion of an image photographed by the fisheye lens camera. It includes a process of calculating in combination with conversion. (11) The image distortion correction of the fisheye lens camera includes a process of calculating coordinate transformation for correcting the distortion of the fisheye lens image of the equal area mapping.
又、（１２）魚眼レンズカメラにより撮影された画像の歪みの補正において、魚眼レンズ画像の歪み補正のための、表示画像の中心位置、魚眼レンズ画像の縦横比、魚眼レンズ画像エリアの半径等のパラメータを、撮像された魚眼レンズ画像自体から抽出し、該パラメータにより魚眼レンズ画像の歪み捕正を行う過程を含むものである。 Also, (12) in correcting distortion of an image taken by a fisheye lens camera, parameters such as the center position of the display image, the aspect ratio of the fisheye lens image, and the radius of the fisheye lens image area are corrected for correcting the distortion of the fisheye lens image. This includes a process of extracting from the fisheye lens image itself and correcting the distortion of the fisheye lens image using the parameters.
又、本発明の魚眼レンズカメラの画像抽出方法は、（１３）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、魚眼レンズ画像内の相互の位置関係を利用して領域を統合し、像の変化した領域を抽出する過程を含むものである。 The image extraction method of the fisheye lens camera according to the present invention is (13) an image extraction method for extracting a moving image from an image taken by a fisheye lens camera, and integrating regions using the mutual positional relationship in the fisheye lens image. And a process of extracting the changed area of the image.
又、（１４）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、魚眼レンズ画像をパノラマ状の横長映像に変換し、その映像のフレーム間差分の信号又はフレーム間差分とフレーム内差分とを結合した信号を抽出し、該信号により領域抽出を行い、複数の移動像の領域抽出を同時に行う過程を含むものである。 (14) In an image extraction method for extracting a moving image from an image photographed by a fisheye lens camera, the fisheye lens image is converted into a panoramic landscape image, and the interframe difference signal or interframe difference and frame This includes a process of extracting a signal combined with the internal difference, extracting a region based on the signal, and simultaneously extracting a plurality of moving images.
又、（１５）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、フレーム間差分の信号又はフレーム間差分とフレーム内差分とを結合した信号等の特徴量の抽出演算を魚眼レンズ画像の映像をもとに行い、特徴検出領域に対する領域抽出処理において、極座標と直交座標とのアドレス変換を行って魚眼レンズ画像の映像内を走査し、円形の魚眼レンズ画像の映像の中から複数の移動像の領域抽出を行う過程を含むものである。 (15) In an image extraction method for extracting a moving image from an image captured by a fisheye lens camera, a feature amount extraction operation such as a signal of interframe difference or a signal obtained by combining interframe difference and intraframe difference is performed. Based on the image of the fisheye lens image, in the region extraction process for the feature detection area, the address conversion between the polar coordinates and the orthogonal coordinates is performed to scan the image of the fisheye lens image. This includes a process of extracting a moving image region.
又、（１６）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、魚眼レンズ画像の映像の中から得られる複数の人物像の領域について、各人物像の形状を正規化し、各像の形状内の色情報を記億し、個々の像の色情報をもとに移動する複数の人物像を個別に追尾する映像を作成する過程を含むものである。 Further, (16) in an image extraction method for extracting a moving image from an image photographed by a fisheye lens camera, the shape of each person image is normalized with respect to a plurality of person image regions obtained from a fisheye lens image image; This includes a process of recording color information in the shape of each image and creating an image for individually tracking a plurality of human images that move based on the color information of each image.
又、（１７）魚眼レンズカメラにより撮影した画像から、移動する像を抽出する画像抽出方法において、魚眼レンズ画像の中心部分と周辺部分との歪みの大きさに応じて異なる重み係数を乗じた特徴量をもとに領域抽出を行う過程を含むものである。 (17) In an image extraction method for extracting a moving image from an image photographed by a fisheye lens camera, a feature amount multiplied by a different weighting factor according to the magnitude of distortion between the central portion and the peripheral portion of the fisheye lens image. This includes the process of performing region extraction.
又、（１８）前記重み係数として、更に魚眼レンズ画像の映像内の領域に対応して異なる値を与え、非抽出領域をマスクして領域抽出を行う過程を含むものである。 Further, (18) the process further includes a process of giving a different value corresponding to the area in the image of the fisheye lens image as the weighting coefficient, and extracting the area by masking the non-extracted area.
以上説明したように、本発明によれば、約１８０度の広い画角を持つ魚眼レンズカメラにより映像を取り込むので、１台のカメラにより広範囲のエリアを監視することができ、設置カメラ台数を削減することができるとともに、その画像を精度よく高速に補正して表示することができる。 As described above, according to the present invention, since a video is captured by a fisheye lens camera having a wide angle of view of about 180 degrees, a wide area can be monitored by one camera, and the number of installed cameras can be reduced. In addition, the image can be corrected and displayed with high accuracy and high speed.
又、魚眼レンズカメラの設置角を補正する座標変換と、魚眼レンズ画像の歪みを補正する座標変換とを組み合わせて演算することにより、設置角度によらず画像補正の演算処理を高速に行うことができる。又、魚眼レンズ画像の歪み補正のためのパラメータを、撮像された魚眼レンズ画像自体から抽出して魚眼レンズ画像の歪み捕正を行うことにより、設置時の調整や経年変化に対して、安定した歪み補正を行うことができる。 Further, by performing a combination of coordinate conversion for correcting the installation angle of the fisheye lens camera and coordinate conversion for correcting distortion of the fisheye lens image, it is possible to perform image correction calculation processing at high speed regardless of the installation angle. In addition, by extracting the parameters for correcting the distortion of the fisheye lens image from the captured fisheye lens image itself, and correcting the distortion of the fisheye lens image, stable distortion correction can be performed against adjustment during installation and aging. It can be carried out.
魚眼レンズ画像の中心部分と周辺部分との歪みの大きさに応じて異なる重み係数を乗じた特徴量をもとに領域抽出を行うことにより、歪みの大きい周辺部分での人物像等の検出を安定して行うことができ、更に、重み係数として、更に魚眼レンズ画像の映像内の領域に対応して異なる値を与えて非抽出領域をマスクすることにより、人物像等の抽出処理における不安定要素を予め取り除くことができる。 Stable detection of human images, etc. in peripheral areas with large distortions by extracting regions based on feature quantities multiplied by different weighting factors depending on the magnitude of distortion between the central and peripheral areas of fisheye lens images Furthermore, by giving different values corresponding to the areas in the image of the fisheye lens image as weighting factors and masking the non-extracted areas, unstable elements in the extraction process of human images and the like can be performed. It can be removed in advance.
又、魚眼レンズカメラにより取り込んだ広範囲の画像の中から、任意の部分を切り出してモニタテレビ画面に表示するなど映像作成の自由度が大きく、遠隔監視システムやテレビ会議システムのカメラに適用することにより、利便性の向上を図ることができる。 In addition, from the wide range of images captured by the fisheye lens camera, it has a high degree of freedom for video creation, such as cutting out an arbitrary part and displaying it on a monitor TV screen. By applying it to the camera of a remote monitoring system or a video conference system, Convenience can be improved.
更に、魚眼レンズカメラで映し取った映像の中から、人物の侵入等の動きを伴う像を検出し、その像のモニタ表示領域（切り出し領域）を自動的に決定して滑らかな動きで追尾する電子追尾型の遠隔監視システム又はテレビ会議システムを構成することができる。 In addition, an electronic device that detects an image with movement such as the invasion of a person from an image captured by a fisheye lens camera, automatically determines a monitor display area (cutout area) of the image, and tracks the image with smooth movement. A tracking type remote monitoring system or a video conference system can be configured.
図１は、本発明の実施の形態の魚眼レンズカメラ装置の構成を示す図である。同図において、１−１は魚眼レンズ、１−２はＣＣＤ撮像装置、１−３は映像メモリ（フレームメモリ）、１−４は画像補正処理部、１−４１はカメラ設置角補正部、１−４２はパン／チルト角回転補正部、１−４３はズーム補正部、１−４４は映像補間作成部、１−５は補正映像（ＮＴＳＣ）出力回路である。 FIG. 1 is a diagram showing a configuration of a fisheye lens camera device according to an embodiment of the present invention. In the figure, 1-1 is a fisheye lens, 1-2 is a CCD imaging device, 1-3 is a video memory (frame memory), 1-4 is an image correction processing unit, 1-41 is a camera installation angle correction unit, 1- Reference numeral 42 denotes a pan / tilt angle rotation correction unit, 1-43 denotes a zoom correction unit, 1-44 denotes a video interpolation creation unit, and 1-5 denotes a corrected video (NTSC) output circuit.
魚眼レンズ１−１により広範囲の像を光学的に取り込み、ＣＣＤ撮像装置１−２により光学的な像から電気的な画像信号を生成し、映像メモリ（フレームメモリ）１−３はその画像信号をフレーム単位に記憶する。 A fish-eye lens 1-1 optically captures a wide range of images, a CCD imaging device 1-2 generates an electrical image signal from the optical image, and a video memory (frame memory) 1-3 frames the image signal. Store in units.
画像補正処理部１−４は、魚眼レンズによる歪んだ画像を補正して元の像に戻す処理を行い、補正映像（ＮＴＳＣ）出力回路１−５は、補正された像の信号を通常のＮＴＳＣ方式等のテレビ映像信号として出力する。又、この信号を符号化装置により符号化して送信し、遠隔地で映像表示することもできる。 The image correction processing unit 1-4 performs a process of correcting the distorted image by the fisheye lens and returning it to the original image, and the corrected video (NTSC) output circuit 1-5 outputs the corrected image signal to the normal NTSC system. Etc. are output as TV video signals. Also, this signal can be encoded by an encoding device and transmitted to display an image at a remote place.
画像補正処理部１−４のカメラ設置角補正部１−４１は、任意の方向を向いた魚眼レンズカメラ装置の設置角を補正し、パン／チルト角回転補正部１−４２は、映像表示エリア（切り取りエリア）のパン・チルト角の回転量を制御し、ズーム補正部１−４３は、表示映像の拡大率を制御し、映像補間作成部１−４４は、座標点の間の補間を行い、映像表示エリア（切り取りエリア）の画像について歪みを補正して元の像に戻す処理を行う。 The camera installation angle correction unit 1-41 of the image correction processing unit 1-4 corrects the installation angle of the fish-eye lens camera device facing an arbitrary direction, and the pan / tilt angle rotation correction unit 1-42 displays a video display area ( The zoom correction unit 1-43 controls the enlargement ratio of the display video, the video interpolation creation unit 1-44 performs interpolation between coordinate points, Processing for correcting the distortion of the image in the video display area (cutting area) and returning it to the original image is performed.
図２は本発明の実施の形態の魚眼レンズカメラで撮影される映像の説明図である。図の（ａ）は、魚眼レンズカメラが直上を向いた場合の魚眼レンズ画像ｉｍｇを示し、図の（ｂ）は、表示対象の魚眼レンズ画像ｉｍｇを、画像フレームｆｒｍの平面へ写像する様子を模式的に表し、図の（ｃ）はｙ軸方向から図の（ｂ）の球を見通した図を示している。魚眼レンズ画像ｉｍｇが正射影方式の画像の場合、図の（ａ）の魚眼レンズ画像ｉｍｇはｚ軸方向から図２の（ｂ）の球を見通した画像となる。 FIG. 2 is an explanatory diagram of an image photographed by the fisheye lens camera according to the embodiment of the present invention. (A) of the figure shows a fisheye lens image img when the fisheye lens camera faces directly above, and (b) of the figure schematically shows how the fisheye lens image img to be displayed is mapped onto the plane of the image frame frm. (C) of the figure shows a diagram in which the sphere of (b) of the figure is seen from the y-axis direction. When the fisheye lens image img is an orthographic image, the fisheye lens image img in FIG. 2A is an image in which the sphere in FIG. 2B is viewed from the z-axis direction.
魚眼レンズカメラをｘ軸，ｙ軸，ｚ軸の原点に上方に（ｚ軸方向に）向けて置いたとすると、魚眼レンズカメラで映される映像は、先ず、原点の周りの距離Ｒの半径の球の内側に、映像が貼り付けられた状態を想定して解析することができる。 If the fisheye lens camera is placed upward (in the z-axis direction) on the origin of the x-axis, y-axis, and z-axis, the image projected by the fisheye lens camera is first a sphere with a radius R around the origin. Analysis can be performed assuming a state in which an image is pasted inside.
このように物体までの距離は無視されて、魚眼レンズカメラによる画像ｉｍｇは、特定の方角（ｒ，θ，φ）から入射された像が、２次元のｘ−ｙ平面で、式（２）の写像変換式により表される点（ｘ″，ｙ″）へ写像されるものとみなすことができる。式（２）においてθは方位角、φは頂点角（天頂角）であり、Ｌは頂点角φで入射した像が魚眼レンズ画像上に結像したときの、原点Ｏからの距離（像高）である。 Thus, the distance to the object is ignored, and the image img by the fisheye lens camera is an image incident from a specific direction (r, θ, φ) in a two-dimensional xy plane, It can be considered that it is mapped to the point (x ″, y ″) represented by the mapping conversion formula. In Equation (2), θ is an azimuth angle, φ is a vertex angle (zenith angle), and L is a distance (image height) from the origin O when an image incident at the vertex angle φ is formed on the fisheye lens image. It is.
即ち、魚眼レンズ画像ｉｍｇは、３次元極座標（ｒ，θ，φ）の点から、二次元の（ｘ″，ｙ″）への写像と考えることができる。距離（像高）Ｌは魚眼レンズの射影方式によって異なり、前述の正射影方式の場合は式（３−１）、等面積射影の場合は式（３−２）、等距離射影の場合は式（３−３）のように表わされる。なお、ｆはレンズの焦点距離である。 That is, the fisheye lens image img can be considered as a mapping from a point of three-dimensional polar coordinates (r, θ, φ) to a two-dimensional (x ″, y ″). The distance (image height) L varies depending on the projection method of the fish-eye lens. In the case of the above-described orthographic projection method, the equation (3-1), in the case of the equal area projection, the equation (3-2), in the case of the equidistant projection, the equation (3) 3-3). Here, f is the focal length of the lens.
図２の（ｂ）において、歪み補正して表示する画像フレームｆｒｍの方位角をθ、頂点角をφとすると、表示画像をパン／チルト操作させることは、この仮想の画像フレームｆｒｍを、３次元座標内で回転した場合に、そこに投影される映像を表示することに一致する。 In FIG. 2B, assuming that the azimuth angle of the image frame frm to be displayed after distortion correction is θ and the apex angle is φ, pan / tilt operation of the display image is performed by changing the virtual image frame frm to 3 When rotating within the dimensional coordinates, this corresponds to displaying an image projected there.
即ち、画像フレームｆｒｍ内のラスター上に並んだ各点の座標に対応する、魚眼レンズ画像ｉｍｇの点の座標を特定し、その座標の点の色情報信号を、表示フレームｆｒｍの座標の点の色情報信号に対応させることにより、魚眼レンズ画像ｉｍｇを元の画像に変換する補正処理を行うことができる。カメラが、直上または直下を向いている場合には、画像フレームｆｒｍのパンの操作は方位角θを所定量変化させ、又、チルトの操作は頂点角φを所定量変化させて、対応する魚眼レンズ画像ｉｍｇ内の２次元座標の色情報信号のマッピングを行えばよい。 That is, the coordinates of the point of the fisheye lens image img corresponding to the coordinates of each point arranged on the raster in the image frame frm are specified, and the color information signal of the point of the coordinate is used as the color of the point of the coordinate of the display frame frm. By making it correspond to the information signal, it is possible to perform correction processing for converting the fisheye lens image img to the original image. When the camera is facing directly above or below, the pan operation of the image frame frm changes the azimuth angle θ by a predetermined amount, and the tilt operation changes the vertex angle φ by a predetermined amount, and the corresponding fisheye lens Mapping of the color information signal of the two-dimensional coordinates in the image img may be performed.
図３は、横方向に向けた魚眼レンズカメラの撮影画像の説明図である。同図は魚眼レンズカメラをｘ軸方向に向けた場合を示している。この場合魚眼レンズ画像ｉｍｇは垂直面に形成されることとなる。 FIG. 3 is an explanatory diagram of a captured image of the fisheye lens camera directed in the horizontal direction. This figure shows the case where the fisheye lens camera is directed in the x-axis direction. In this case, the fisheye lens image img is formed on the vertical plane.
この場合でも前述したような歪み補正により、歪みのない画像を表示させることはできるが、そのまま、直上の映像として魚眼レンズ画像の変換を行うと、パン／チルトの操作を行ったとき、回転方向が実際の映像のパン／チルトの方向と違った方向に回転することになる。即ち、直上の映像の場合、ｚ軸との角度φを変化させてチルトの操作を行ったが、横方向に魚眼レンズカメラが向いている場合には角度φを変化させてもチルトの操作にはならない。 Even in this case, it is possible to display an image without distortion by the distortion correction as described above. However, if a fisheye lens image is converted as it is as it is, the rotation direction is changed when a pan / tilt operation is performed. It will rotate in a direction different from the actual pan / tilt direction. That is, in the case of the image directly above, the tilt operation is performed by changing the angle φ with respect to the z axis. However, if the fisheye lens camera is facing in the horizontal direction, the tilt operation can be performed even if the angle φ is changed. Don't be.
そのため、先ず、歪み補正を行う前に、魚眼レンズカメラの向き、即ち、カメラ設置角について補正を行う。この補正処理は前記カメラ設置角補正部１−４１により行う。 Therefore, first, before performing distortion correction, the direction of the fisheye lens camera, that is, the camera installation angle is corrected. This correction process is performed by the camera installation angle correction unit 1-41.
図４は横方向を向けた魚眼レンズカメラ画像の補正の説明図である。図３に示したように魚眼レンズカメラが横軸のｘ軸の方向を向いている場合、座標系をｙ軸の回りに予め９０度回転させ、魚眼レンズ画像面ｉｍｇがｚ軸と垂直に交わる位置に回転移動させることにより、パン／チルトの操作に対して、前述した直上の画像の場合と同等の処理を行うことが可能になる。即ち、前記角度φを変化させることによりチルト操作を行うことができ、又、前記角度θを変化させることによりパン操作を行うことができる。 FIG. 4 is an explanatory diagram of correction of the fisheye lens camera image oriented in the horizontal direction. As shown in FIG. 3, when the fish-eye lens camera is oriented in the x-axis direction of the horizontal axis, the coordinate system is rotated by 90 degrees in advance around the y-axis so that the fish-eye lens image plane img intersects the z-axis perpendicularly. By rotating and moving, it is possible to perform the same processing as that of the above-described image for the pan / tilt operation. That is, a tilt operation can be performed by changing the angle φ, and a pan operation can be performed by changing the angle θ.
図４に示した例は、魚眼レンズカメラが横方向を向いている場合であったが、魚眼レンズカメラを上、下、横、斜めの任意の方向に向いているとき、鉛直方向をｚ′軸とする座標系を（ｘ′，ｙ′，ｚ′）とし、画像フレームｆｒｍ上の点の座標を（ｘ′，ｙ′，ｚ′）で表し、この画像フレームｆｒｍ上の点（ｘ′，ｙ′，ｚ′）と魚眼レンズカメラの向き（ｚ軸方向）との角度をφ、画像フレームｆｒｍ上の点（ｘ′，ｙ′，ｚ′）とｘ軸との角度をθ、画像フレームｆｒｍ上の点（ｘ′，ｙ′，ｚ′）とｙ軸との角度をρとすると、式（４）の回転行列の式を用いて回転座標変換を行うことにより、パン／チルトの操作方向を実際の映像と一致させることができる。ここで、式（４）の回転行列の式の行列Ｒｘ，Ｒｚ，Ｒｙはそれぞれｘ軸、ｙ軸、ｚ軸の回りに回転を与える行列であり、行列Ｒｘはカメラアングルに対応した回転を与える。 The example shown in FIG. 4 is a case where the fisheye lens camera is oriented in the lateral direction. However, when the fisheye lens camera is oriented in any upward, downward, lateral, or diagonal direction, the vertical direction is defined as the z ′ axis. The coordinate system to be used is (x ′, y ′, z ′), the coordinates of the point on the image frame frm are represented by (x ′, y ′, z ′), and the point (x ′, y on this image frame frm) ', Z') and the angle of the fisheye lens camera direction (z-axis direction) φ, the angle between the point (x ', y', z ') on the image frame frm and the x-axis is θ, and on the image frame frm If the angle between the point (x ′, y ′, z ′) and the y-axis is ρ, the rotation coordinate transformation is performed using the rotation matrix equation of Equation (4), thereby changing the pan / tilt operation direction. Can match the actual picture. Here, the matrixes Rx, Rz, and Ry of the rotation matrix of Expression (4) are matrices that give rotation around the x-axis, y-axis, and z-axis, respectively, and the matrix Rx gives rotation corresponding to the camera angle. .
同一の方位角及びカメラアングル（頂点角）について、前記式（４）の回転行列の式を一度計算することにより、回転後の座標が（ｘ，ｙ，ｚ）として得られる。次にこの点の２次元座標上の魚眼レンズ画像の点（ｘ″，ｙ″）への写像を計算するにより、画像フレーム上の点と魚眼レンズ画像の点と対応させることができる。魚眼レンズカメラの設置角についての計算量の増加は、一度だけ回転行列を生成することによる増加であり僅かである。 For the same azimuth angle and camera angle (vertex angle), by calculating the equation of the rotation matrix of the equation (4) once, the coordinates after rotation are obtained as (x, y, z). Next, by calculating the mapping of this point to the point (x ″, y ″) of the fisheye lens image on the two-dimensional coordinates, it is possible to make the point on the image frame correspond to the point of the fisheye lens image. The increase in the calculation amount for the installation angle of the fisheye lens camera is an increase due to the generation of the rotation matrix only once, and is slight.
３次元座標の点（ｘ，ｙ，ｚ）から２次元座標上の魚眼レンズ画像の点Ｐ（ｘ″，ｙ″）への写像は、先ず、点（ｘ，ｙ，ｚ）を極座標表現の点（ｒ，θ，φ）に変換する。この変換は、式（５）の極座標変換の式により変換することができる。 The mapping from the point (x, y, z) of the three-dimensional coordinate to the point P (x ″, y ″) of the fisheye lens image on the two-dimensional coordinate is performed by first converting the point (x, y, z) to a polar coordinate representation point. Convert to (r, θ, φ). This conversion can be performed by the polar coordinate conversion formula (5).
更に、等面積写像方式の魚眼レンズの場合は、式（３−２）の式で表されるため、この式を式（２）に代入することにより、式（６）の式が得られる。ｘ2＋ｙ2＋ｚ2＝ｘ′2＋ｙ′2＋ｚ′2＝ｒ2であること及び式（５）更に三角関数の基本式を利用して、式（６）の式は式（７）の式のように簡素化される。 Furthermore, in the case of the equi-area mapping type fisheye lens, it is expressed by the equation (3-2). Therefore, by substituting this equation into the equation (2), the equation (6) can be obtained. x 2 + y 2 + z 2 = x ′ 2 + y ′ 2 + z ′ 2 = r 2 and Formula (5) Furthermore, using the basic formula of the trigonometric function, the formula of Formula (6) is expressed by Formula (7). It is simplified like the formula.
このようにして、魚眼レンズカメラ設置角の補正は、先ず、画像変形処理を行う前に、画像フレームｆｒｍの矩形領域の座標（ｘ′，ｙ′，ｚ′）を、回転座標変換により（ｘ，ｙ，ｚ）の座標に変換し、その後、該（ｘ，ｙ，ｚ）座標の点を、魚眼レンズ画像の座標上の点（ｘ″，ｙ″）へ変換する。なお、ｚ軸の成分はズーム率に相当するため、基本的には（ｘ，ｙ）から（ｘ″，ｙ″）への２次元２次元変換となる。式（７）の式に関する座標の変換式は、座標軸回転に伴う座標変換と魚眼レンズの特性に伴った写像変換とを一度に計算することにより、計算回数の削減が図られている。 In this way, correction of the fisheye lens camera installation angle is performed by first converting the coordinates (x ′, y ′, z ′) of the rectangular area of the image frame frm to (x, The coordinates of y, z) are converted, and then the point of the (x, y, z) coordinates is converted to a point (x ″, y ″) on the coordinates of the fisheye lens image. Since the z-axis component corresponds to the zoom factor, the two-dimensional two-dimensional conversion from (x, y) to (x ″, y ″) is basically performed. In the coordinate conversion formula relating to the formula (7), the number of calculations is reduced by calculating the coordinate conversion associated with the rotation of the coordinate axis and the mapping conversion associated with the characteristics of the fisheye lens at a time.
ここで、前記の演算により求めた魚眼レンズ画像の座標上の点（ｘ″，ｙ″）を（ｕ，ｖ）と記す。この座標点（ｕ，ｖ）を滑らかに補間するために、以下のような補間処理を行う。映像信号の３色の色情報信号成分をＹ，Ｕ，Ｖとし、点（ｕ，ｖ）のそれらの成分を、Ｙｕ，ｖ、Ｕｕ，ｖ、Ｖｕ，ｖとし、又、点（ｕ，ｖ）の座標成分ｕ，ｖの小数点を切り捨てて整数化した値をｕ０、ｖ０とし、座標（ｕ０，ｖ０）の点における色情報信号Ｙの値をＹｕ０ｖ０とする。同様に、色情報信号Ｕ，ＶについてもＵｕ０ｖ０，Ｖｕ０ｖ０により同様な内容を表す。更に、座標成分ｕ，ｖをそれぞれ小数点を切り上げした値をｕ１，ｖ１とし、それに対応した座標の色情報信号Ｙ，Ｕ，Ｖの値を、それぞれＹｕ１ｖ１，Ｕｕ１ｖ１，Ｖｕ１ｖ１と表す。そして、座標成分ｕ，ｖの小数部をそれぞれｄｕ，ｄｖとする。 Here, the point (x ″, y ″) on the coordinates of the fisheye lens image obtained by the above calculation is denoted as (u, v). In order to smoothly interpolate the coordinate point (u, v), the following interpolation processing is performed. The color information signal components of the three colors of the video signal are Y, U, and V, those components of the point (u, v) are Yu, v, Uu, v, Vu, v, and the point (u, v ), The values obtained by rounding off the decimal points of the coordinate components u and v are expressed as u0 and v0, and the value of the color information signal Y at the point of the coordinates (u0 and v0) is set as Yu0v0. Similarly, the color information signals U and V have the same contents as Uu0v0 and Vu0v0. Furthermore, the values obtained by rounding up the coordinate components u and v are represented as u1 and v1, respectively, and the values of the color information signals Y, U, and V corresponding to the coordinates are represented as Yu1v1, Uu1v1, and Vu1v1, respectively. The decimal parts of the coordinate components u and v are defined as du and dv, respectively.
入力映像信号を式（８）の一次変換の式により補間してマッピングすることにより、滑らかな画像を表示させることができる。 A smooth image can be displayed by interpolating and mapping the input video signal according to the primary conversion equation (8).
次に、魚眼レンズカメラの撮像エリアから、魚眼レンズカメラのパラメータである画像中心位置（Ｘｂａｓｅ，Ｙｂａｓｅ）及び焦点距離に対応した値ｆを自動抽出する手法について説明する。前記のパラメータは魚眼レンズカメラ画像の歪み補正において使用されるパラメータである。 Next, a method for automatically extracting the value f corresponding to the image center position (Xbase, Ybase) and the focal length, which are parameters of the fisheye lens camera, from the imaging area of the fisheye lens camera will be described. The above parameters are parameters used in distortion correction of a fisheye lens camera image.
図５は魚眼レンズカメラのパラメータ抽出の説明図である。同図において５−１は魚眼レンズカメラの撮像エリア、５−２は魚眼レンズ画像エリアである。円像魚眼レンズを用いたカメラの撮像エリア５−１内には、円形の魚眼レンズ画像エリア５−２が観測される。この魚眼レンズ画像エリア５−２はカメラ撮像エリア５−１内の所定の位置に観測され、又、魚眼レンズ画像エリア５−２の外周は光が到達しないため非常に輝度の低いエリアとなる。 FIG. 5 is an explanatory diagram of parameter extraction of a fisheye lens camera. In the figure, reference numeral 5-1 denotes an imaging area of the fisheye lens camera, and 5-2 denotes a fisheye lens image area. A circular fisheye lens image area 5-2 is observed in the imaging area 5-1 of the camera using the circular fisheye lens. This fisheye lens image area 5-2 is observed at a predetermined position in the camera imaging area 5-1, and the outer periphery of the fisheye lens image area 5-2 is an area with very low luminance because light does not reach.
そこで、カメラ撮像エリア５−１の全体について、水平及び垂直のそれぞれの方向に関してヒストグラムを抽出し、魚眼レンズ画像エリアの位置及びその半径を測定することができる。 Therefore, a histogram can be extracted for the entire camera imaging area 5-1 in each of the horizontal and vertical directions, and the position and radius of the fisheye lens image area can be measured.
水平方向のヒストグラムＨｈ（ｎ）と垂直方向のヒストグラムＨｖ（ｎ）とに関して適度な閥値Ｔｈ，Ｔｖを設定し、撮像エリア画面の両端からヒストグラムを測定して最初に閾値Ｔｖ，Ｔｈを越す点を探索する。 Set appropriate threshold values Th and Tv for the horizontal histogram Hh (n) and the vertical histogram Hv (n), measure the histogram from both ends of the imaging area screen, and first exceed the thresholds Tv and Th Explore.
その点を水平、垂直それぞれに対して２点ずつ抽出し、水平ヒストグラムから魚眼レンズ画像エリアの左端Ｘｌｅｆｔ及び右端Ｘｒｉｇｈｔの点を検出することができる。又、垂直ヒストグラムから魚眼レンズ画像エリアの上端Ｙｕｐ及び下端Ｙｄｏｗｎの点を検出することができる。 Two points are extracted for each of the horizontal and vertical points, and the left end Xleft and the right end Xright of the fisheye lens image area can be detected from the horizontal histogram. Further, the upper end Yup and the lower end Ydown of the fisheye lens image area can be detected from the vertical histogram.
上記魚眼レンズ画像エリアの左端Ｘｌｅｆｔ、右端Ｘｒｉｇｈｔ、Ｙｕｐ及び下端Ｙｄｏｗｎのそれぞれの位置から、水平方向の半径Ｒｈと垂直方向の半径Ｒｖとを式（９）により抽出することができる。又、画像中心位置（Ｘｂａｓｅ，Ｙｂａｓｅ）は式（１０）により抽出することができる。 From the respective positions of the left end Xleft, right end Xright, Yup, and lower end Ydown of the fisheye lens image area, the horizontal radius Rh and the vertical radius Rv can be extracted by Expression (9). Further, the image center position (Xbase, Ybase) can be extracted by Expression (10).
魚眼レンズ画像エリア５−２は基本的には円形であり、水平方向の半径Ｒｈと垂直方向の半径Ｒｖとは等しく、Ｒｈ＝Ｒｖとなるが、ＣＣＤ等の撮像素子の縦横方向のアスペクト比の違いにより、水平方向の半径Ｒｈと垂直方向の半径Ｒｖとに相違が生じる場合がある。 The fisheye lens image area 5-2 is basically circular, and the horizontal radius Rh is equal to the vertical radius Rv, and Rh = Rv. However, the aspect ratio in the vertical and horizontal directions of the image sensor such as a CCD is different. Therefore, there may be a difference between the horizontal radius Rh and the vertical radius Rv.
魚眼レンズ画像エリア５−２の半径Ｒは、本来、魚眼レンズの焦点距離ｆによって定まる値で、例えば、正射影方式の魚眼レンズでは式（１１−１）で表され、等面積射影方式の魚眼レンズでは式（１１−２）で表される。 The radius R of the fisheye lens image area 5-2 is originally a value determined by the focal length f of the fisheye lens. For example, the radius R of the fisheye lens is represented by the equation (11-1), and the equation (11-1) for the fisheye lens of the equal area projection method. 11-2).
従って、前述の魚眼レンズ画像の座標上の点（ｘ″，ｙ″）を求める式（６）の式の計算において、水平方向の半径Ｒｈと垂直方向の半径Ｒｖとに相違が生じる場合、焦点距離ｆの値として同一の値を使用することなく、方向毎に水平方向の半径Ｒｈ又は垂直方向の半径Ｒｖの値を、式（１１−１）又は式（１１−２）のＲの値に代入することによりｆの値を修正し、アスペクト比の違いを考慮した魚眼レンズの歪み補正を行うことができる。 Accordingly, in the calculation of the equation (6) for obtaining the point (x ″, y ″) on the coordinates of the fisheye lens image described above, if there is a difference between the horizontal radius Rh and the vertical radius Rv, the focal length Without using the same value as the value of f, the value of the radius Rh in the horizontal direction or the radius Rv in the vertical direction is substituted for the R value in the equation (11-1) or the equation (11-2) for each direction. By doing so, it is possible to correct the value of f and correct the distortion of the fisheye lens in consideration of the difference in aspect ratio.
図６は本発明の第１の実施の形態の移動像検出装置の構成を示す図である。同図において、６−１は魚眼レンズカメラ、６−２，６−３はフレームバッファ、６−４，６−５はフレーム間差分計算部、６−６は領域重みテーブル、６−７は領域抽出部である。 FIG. 6 is a diagram showing a configuration of the moving image detection apparatus according to the first embodiment of the present invention. In the figure, 6-1 is a fish-eye lens camera, 6-2 and 6-3 are frame buffers, 6-4 and 6-5 are inter-frame difference calculation units, 6-6 is an area weight table, and 6-7 is an area extraction. Part.
魚眼レンズカメラ６−１により撮影した画像信号を第１のフレームバッファ６−２に格納し、第１のフレームバッファ６−２に格納した画像信号を第２のフレームバッファ６−３に格納する。第２のフレームバッファ６−３には１フレーム前の画像信号が格納される。 The image signal photographed by the fisheye lens camera 6-1 is stored in the first frame buffer 6-2, and the image signal stored in the first frame buffer 6-2 is stored in the second frame buffer 6-3. The second frame buffer 6-3 stores the image signal of the previous frame.
そして、第１のフレームバッファ６−２から出力される画像信号と第２のフレームバッファ６−３から出力される画像信号とにより、そのフレーム間差分を第１のフレーム間差分計算部６−４により計算し、移動像に対して大きな値となるフレーム間差分信号を第２のフレーム間差分計算部６−５に出力する。 Then, based on the image signal output from the first frame buffer 6-2 and the image signal output from the second frame buffer 6-3, the inter-frame difference is calculated as a first inter-frame difference calculation unit 6-4. And outputs the inter-frame difference signal that is a large value with respect to the moving image to the second inter-frame difference calculation unit 6-5.
第２のフレーム間差分計算部６−５は、第１のフレーム間差分計算部６−４から出力されるフレーム間差分信号と、領域重みテーブル６−６から出力される領域に対応した値とにより、フレーム間差分信号に領域に応じた重み付けを行い、その信号を領域抽出部６−７に出力する。 The second inter-frame difference calculation unit 6-5 includes an inter-frame difference signal output from the first inter-frame difference calculation unit 6-4 and a value corresponding to the region output from the region weight table 6-6. Thus, the interframe difference signal is weighted according to the region, and the signal is output to the region extracting unit 6-7.
領域抽出部６−７は、領域に応じた重み付けを持つフレーム間差分信号により、移動像の検出を行って検出フラグ信号を出力するとともにその検出領域を抽出し、領域情報を出力する。 The region extraction unit 6-7 detects a moving image and outputs a detection flag signal using an inter-frame difference signal having a weight corresponding to the region, extracts the detection region, and outputs region information.
図７は本発明の第２の実施の形態の移動像検出装置の構成を示す図である。同図において、７−１は魚眼レンズカメラ、７−２，７−３はフレームバッファ、７−４はフレーム間差分計算部、７−５はフレーム内差分計算部、７−６は動輪郭抽出部、７−７は領域重みテーブル、７−８は領域抽出判定部、７−９は領域抽出部である。 FIG. 7 is a diagram showing the configuration of the moving image detection apparatus according to the second embodiment of the present invention. In the figure, 7-1 is a fish-eye lens camera, 7-2 and 7-3 are frame buffers, 7-4 is an inter-frame difference calculation unit, 7-5 is an intra-frame difference calculation unit, and 7-6 is a moving contour extraction unit. 7-7 is an area weight table, 7-8 is an area extraction determination unit, and 7-9 is an area extraction unit.
魚眼レンズカメラ７−１により撮影した画像信号を第１のフレームバッファ７−２に格納し、第１のフレームバッファ７−２に格納した画像信号を第２のフレームバッファ７−３に格納する。第２のフレームバッファ７−３には１フレーム前の画像信号が格納される。 The image signal photographed by the fisheye lens camera 7-1 is stored in the first frame buffer 7-2, and the image signal stored in the first frame buffer 7-2 is stored in the second frame buffer 7-3. The second frame buffer 7-3 stores the image signal of the previous frame.
そして、第１のフレームバッファ７−２から出力される画像信号と第２のフレームバッファ７−３から出力される画像信号とにより、そのフレーム間差分をフレーム間差分計算部７−４により計算し、移動像に対して大きな値となるフレーム間差分信号を動輪郭抽出部７−６に出力する。 Then, the inter-frame difference is calculated by the inter-frame difference calculation unit 7-4 based on the image signal output from the first frame buffer 7-2 and the image signal output from the second frame buffer 7-3. The inter-frame difference signal having a large value with respect to the moving image is output to the moving contour extracting unit 7-6.
フレーム内差分計算部７−５は、第１のフレームバッファ７−２から出力される画像信号のフレーム内の差分を計算し、像の輪郭部で大きな値となるフレーム内差分信号を動輪郭抽出部７−６に出力する。 The intra-frame difference calculation unit 7-5 calculates the intra-frame difference of the image signal output from the first frame buffer 7-2, and extracts an intra-frame difference signal that has a large value at the image contour part. Output to section 7-6.
動輪郭抽出部７−６は、フレーム間差分計算部７−４からのフレーム間差分信号と、フレーム内差分計算部７−５からのフレーム内差分信号とを線形結合させ、輪郭部が強調された移動像の信号を生成し、その信号を領域抽出判定部７−８に出力する。 The moving contour extraction unit 7-6 linearly combines the inter-frame difference signal from the inter-frame difference calculation unit 7-4 and the intra-frame difference signal from the intra-frame difference calculation unit 7-5 to enhance the contour portion. The moving image signal is generated, and the signal is output to the region extraction determination unit 7-8.
領域抽出判定部７−８は、動輪郭抽出部７−６から出力される輪郭部が強調された移動像の信号と、領域重みテーブル７−７から出力される領域に対応した値とにより、移動像の信号に領域に応じた重み付けを行い、その信号を領域抽出部７−９に出力する。 The region extraction determination unit 7-8 uses a moving image signal in which the contour portion output from the moving contour extraction unit 7-6 is emphasized and a value corresponding to the region output from the region weight table 7-7. The moving image signal is weighted according to the region, and the signal is output to the region extracting unit 7-9.
領域抽出部７−９は、領域に応じた重み付けを持つ移動像の信号により、移動像の検出を行って検出フラグ信号を出力するとともにその検出領域を抽出し、領域情報を出力する。 The region extraction unit 7-9 detects a moving image based on a moving image signal having a weight corresponding to the region, outputs a detection flag signal, extracts the detection region, and outputs region information.
図６及び図７に示した本発明の実施の形態の移動像検出装置は、移動像の領域抽出において領域に対応して映像信号に重み付けを行い、魚眼レンズによる画像の歪みによる検出パラメータ信号への影響を低減している。 The moving image detection apparatus according to the embodiment of the present invention shown in FIGS. 6 and 7 weights the video signal corresponding to the region in the extraction of the moving image region, and applies the detection parameter signal to the detection parameter signal due to image distortion by the fisheye lens. The impact is reduced.
即ち、通常、ｎフレームの映像信号Ｐn（ｘ，ｙ）とｎ−１フレームの映像信号Ｐn-1（ｘ，ｙ）とのフレーム間差分Ｄn（ｘ，ｙ）を計算する場合に、式（１２）により計算を行うが、本発明は、魚眼レンズ画像の領域に対応した特徴抽出の重み係数Ｗ（ｘ，ｙ）を格納した領域重みテーブル６−６，７−７を備え、この重み係数Ｗ（ｘ，ｙ）を前記フレーム間差分Ｄn（ｘ，ｙ）に乗じた値Ｇn（ｘ，ｙ）を用いて移動像の抽出処理を行う。
Ｄn（ｘ，ｙ）＝Ｐn（ｘ，ｙ）−Ｐn-1（ｘ，ｙ）・・・（１２）
That is, when calculating the inter-frame difference D n (x, y) between the video signal P n (x, y) of n frames and the video signal P n-1 (x, y) of n−1 frames. The calculation is performed according to the equation (12). The present invention includes region weight tables 6-6 and 7-7 storing weight extraction factors W (x, y) for feature extraction corresponding to the regions of the fisheye lens image. A moving image extraction process is performed using a value G n (x, y) obtained by multiplying the inter-frame difference D n (x, y) by a weighting factor W (x, y).
D n (x, y) = P n (x, y) −P n−1 (x, y) (12)
即ち、図６に示した第１のフレーム間差分計算部６−４から出力されるフレーム間差分信号、又は図７に示した動輪郭抽出部７−６から出力されるフレーム間差分及びフレーム内差分を線形結合させた信号を、移動像抽出のための特徴量Ｄn（ｘ，ｙ）とすると、式（１３）により、この特徴量Ｄn（ｘ，ｙ）と魚眼レンズ画像の領域に応じた重み係数Ｗ（ｘ，ｙ）との積Ｇn（ｘ，ｙ）を移動像抽出のための特徴量として用いる。
Ｇn（ｘ，ｙ）＝Ｗ（ｘ，ｙ）・Ｄn（ｘ，ｙ）・・・（１３）
That is, the inter-frame difference signal output from the first inter-frame difference calculation unit 6-4 illustrated in FIG. 6 or the inter-frame difference and the intra-frame difference output from the moving contour extraction unit 7-6 illustrated in FIG. If a signal obtained by linearly combining the differences is a feature amount D n (x, y) for moving image extraction, the feature amount D n (x, y) and the fisheye lens image region are determined according to Equation (13). The product G n (x, y) with the weight coefficient W (x, y) is used as a feature amount for moving image extraction.
G n (x, y) = W (x, y) · D n (x, y) (13)
このように魚眼レンズ画像の領域に応じて重み付けられた特徴量Ｇｎ（ｘ，ｙ）を用いて抽出を行う処理により、魚眼レンズ画像エリア内の領域毎に対応した等価的なマスク及び強調操作を行うことができる。 By performing extraction using the feature amount Gn (x, y) weighted according to the area of the fisheye lens image in this manner, an equivalent mask and enhancement operation corresponding to each area in the fisheye lens image area is performed. Can do.
図８は魚眼レンズ画像の領域に応じた重み係数Ｗ（ｘ，ｙ）の説明図である。同図は魚眼レンズ画像の領域内を３つの領域８−１，８−２，８−３に分割し、領域８−１には重み係数０、領域８−２には重み係数１、領域８−３には重み係数２を割り当てた例を示している。
FIG. 8 is an explanatory diagram of the weighting factor W (x, y) corresponding to the area of the fisheye lens image. The figure divides the area of the fisheye lens image into three areas 8-1, 8-2, and 8-3. The area 8-1 has a
魚眼レンズ画像の周辺部分では中心部分に比べて同一面積の領域が小さな領域に表示される。そのため周辺部における移動像検出の精度が低下するが、周辺部の重み係数Ｗ（ｘ，ｙ）を大きな値としておくことにより、周辺部における精度低下を補償することができる。更に、通常、周辺部分に人物像が存在する確率が高いので、周辺部分を大きな値をとし、中心部分で０に近い値としておく。 In the peripheral portion of the fisheye lens image, a region having the same area is displayed in a small region as compared with the central portion. For this reason, the accuracy of moving image detection in the peripheral portion is reduced, but by setting the weighting factor W (x, y) in the peripheral portion to a large value, it is possible to compensate for the decrease in accuracy in the peripheral portion. Furthermore, since there is usually a high probability that a person image exists in the peripheral portion, the peripheral portion is set to a large value, and a value close to 0 is set in the central portion.
又、魚眼レンズカメラでは撮像エリアが広大であるため、照明等が直接撮像エリア内に入ることが多い。このような場合でも極端な輝度の違いを、等価的な領域マスクにより補償して移動像の誤検出を低減させることができる。 In addition, since the imaging area of a fisheye lens camera is vast, illumination or the like often enters the imaging area directly. Even in such a case, an extreme difference in luminance can be compensated by an equivalent area mask to reduce the detection error of the moving image.
領域抽出部６−７，７−９は、領域対応の重み付けがされた特徴量を、予め設定された閾値（Ｔｈｍ）と比較することにより、人物像等の像検出判定処理を行う。この像検出判定処理を伴う領域抽出処理は魚眼レンズ画像の全画面について行う。 The region extraction units 6-7 and 7-9 perform image detection determination processing such as a human image by comparing the weighted feature amount corresponding to the region with a preset threshold value (Thm). The region extraction process that accompanies this image detection determination process is performed for the entire screen of the fisheye lens image.
図９は領域抽出された人物等の像の例を示す図である。図の（ａ）は魚眼レンズ画像エリアを示し、魚眼レンズカメラが机上等に上を向けて置かれ、そのカメラの周りに４人の人物が着席している場合の魚眼レンズ画像の例を示している。９−１乃至９−４は人物像検出エリア（Ａ）乃至人物像検出エリア（Ｄ）である。図の（ｂ）は魚眼レンズ画像の人物像の形状を示し、人物を下側から魚眼レンズで撮影した場合には体底部が長く、頭長部の短い略台形状のような形状となり、人物像を該形状に正規化することができる。 FIG. 9 is a diagram illustrating an example of an image of an extracted person or the like. (A) of the figure shows a fish-eye lens image area, and shows an example of a fish-eye lens image when a fish-eye lens camera is placed on a desk or the like and four persons are seated around the camera. Reference numerals 9-1 to 9-4 denote a person image detection area (A) to a person image detection area (D). (B) in the figure shows the shape of a human image in a fisheye lens image. When a person is photographed from below with a fisheye lens, the shape of the human image becomes a substantially trapezoidal shape with a long body bottom and a short head. The shape can be normalized.
図の（ａ）に示すような魚眼レンズ画像エリアのイメージ上をラスタースキャンし、人物像としての特徴量の大きい点を検出すると、その点から下方へ略台形状のような形の像の探索を行い、その領域を切り出す。 When raster scanning is performed on the image of the fisheye lens image area as shown in (a) of the figure and a point having a large feature amount as a human image is detected, an image having a shape like a substantially trapezoidal shape is searched downward from that point. And cut out the area.
切り出された領域に対して大きさ及び形状についての照合を行い、人物像の領域であるかどうかの判定を行う。同様の処理を複数の領域に対して同時に処理し、複数の人物像が検出されたときは複数の人物像の同時切り出しを行う。 A size and shape are collated with respect to the cut out region, and it is determined whether or not the region is a human image region. Similar processing is performed simultaneously on a plurality of areas, and when a plurality of person images are detected, a plurality of person images are cut out simultaneously.
又、個々の切り出された領域について、図の（ｂ）に示すような人物の頭頂部、体底部及び体高のそれぞれのパラメータ及びその内側の色データを左右及び高さ方向にサンプリングすることにより、画像毎の人物像識別のためのデータベースとすることができる。 In addition, by sampling the parameters of the person's top, bottom, and body height as well as the color data on the inside and left in the left and right directions for each segmented region as shown in FIG. It can be used as a database for identifying a human image for each image.
抽出された特徴量から人物像等の領域を抽出する処理に関しては、基本的に通常のカメラ映像での領域抽出のためのアルゴリズムを使用することができるが、魚眼レンズ画像が円形に歪曲して配置されているため、座標変換を施す必要がある。 For the process of extracting the area such as a human image from the extracted feature quantity, you can basically use the algorithm for area extraction in normal camera video, but the fisheye lens image is distorted in a circle Therefore, it is necessary to perform coordinate conversion.
座標変換の方法として以下の二つの方式がある。第一の方式は、魚眼レンズ画像を、３６０度のパノラマ映像として座標変換された映像へと写像変換を行う方式である。この方式は円形の魚眼レンズ撮像エリアを矩形エリアへ変換する。 There are the following two methods for coordinate conversion. The first method is a method in which a fisheye lens image is subjected to mapping conversion into a 360-degree panoramic image coordinate-converted image. This method converts a circular fisheye lens imaging area into a rectangular area.
第二の方式としては、領域抽出を通常のラスタースキャンとして走査し、走査時の座標系のみを直交座標（ｘ，ｙ）から極座標（ｒ，θ）へと変換する方式である。即ち、ｘ＝ｒｃｏｓθ，ｙ＝ｒｓｉｎθとして領域抽出の処理を行う。 The second method is a method in which region extraction is scanned as a normal raster scan, and only the coordinate system at the time of scanning is converted from orthogonal coordinates (x, y) to polar coordinates (r, θ). That is, region extraction processing is performed with x = r cos θ and y = r sin θ.
第一の方式は、パノラマ映像に展開するための大きなメモリが必要になる欠点があるが、変換後は通常の画像に対する領城抽出処理をそのまま適用することができる。第二の方式は領域抽出処理時に常に座標変換を行いながら処理しなければならないが、使用するメモリ量は原画としての魚眼レンズ画像を与えるメモリ量のみでよくコンパクトなシステムを構築することができる。 The first method has a drawback that a large memory is required to develop a panoramic image, but after conversion, the castle extraction process for a normal image can be applied as it is. In the second method, processing must be performed while always performing coordinate conversion at the time of region extraction processing, but the memory amount used is only a memory amount that gives a fisheye lens image as an original image, and a compact system can be constructed.
そして、特徴量を抽出し、上下関係等、既知の映像の相互関係を利用して領域の統合処理を行う。例えば、真上を向いた魚眼レンズカメラの場合は、魚眼レンズ画像の中心を上、周辺を下とした映像の位置関係を利用して領域を統合し、その領域が背景像から人物像に変化した領域を抽出する。 Then, feature amounts are extracted, and region integration processing is performed using a known relationship between images such as a vertical relationship. For example, in the case of a fisheye lens camera facing upwards, an area is integrated using the positional relationship of images with the center of the fisheye lens image up and the periphery down, and the area changes from a background image to a human image To extract.
人物の侵入等の移動像の追尾処理に関しては、切り出された略台形状の人物領域内を上下左右に前もって決められた分割数で等分する格子点を算出し、その格子点での色情報信号を人物像の特徴量として保存する。そして、この人物像の特徴量の登録処理と人物像の切り出し処理とを任意の時間間隔で繰り返し行い、複数の人物像が魚眼レンズカメラ撮像エリア内に存在する場合でも、各人物像を個別に追尾することができる。 For tracking processing of moving images such as intrusion of people, calculate the grid points that equally divide the cut out trapezoidal human area vertically and horizontally by the predetermined number of divisions, and color information at the grid points The signal is stored as a feature amount of the person image. This person image feature value registration process and person image segmentation process are repeated at arbitrary time intervals, and each person image is individually tracked even when a plurality of person images are present in the fisheye lens camera imaging area. can do.
図１０は本発明の実施の形態の人物像抽出位置決定の処理のフローチャートである。先ず、魚眼レンズ画像内の人物像等の切り出し処理のコマンドを与え（１０−１）、フレームについてのループ処理（１０−２）により、フレーム間差分による又はフレーム間差分とフレーム内差分とによる人物像等の特徴量を抽出し（１０−３）、魚眼レンズ画像内の領域に対応した重み付け処理を行い（１０−４）、魚眼レンズ画面内のラスターループ処理を行い（１０−５）、特徴点を検出し（１０−６）、略台形上のエリアについて魚眼レンズ画像の座標変換を行って特徴点を抽出の処理を行い（１０−７）、特徴点があるかどうかを判定し（１０−８）、特徴点がある場合には、抽出点を消去し（１０−９）、（ｘ，ｙ）座標の領域の最大値と最小値とを記憶し（１０−１０）、最終ラインかどうかを判定し（１０−１１）、最終ラインであれば終了する（１０−１２）。 FIG. 10 is a flowchart of the person image extraction position determination process according to the embodiment of the present invention. First, a command for clipping a human image or the like in a fisheye lens image is given (10-1), and a human image based on a difference between frames or a difference between frames and a difference between frames is obtained by loop processing (10-2) for the frame. (10-3), weighting processing corresponding to the region in the fisheye lens image is performed (10-4), raster loop processing in the fisheye lens screen is performed (10-5), and feature points are detected. (10-6), a fish-eye lens image coordinate transformation is performed on an approximately trapezoidal area to extract a feature point (10-7), and it is determined whether there is a feature point (10-8). If there is a feature point, the extracted point is deleted (10-9), the maximum value and the minimum value of the (x, y) coordinate area are stored (10-10), and it is determined whether or not it is the final line. (10-11), final To the end if it is in (10-12).
前記特徴点があるかどうかの判定（１０−８）において、特徴点がない場合、複数ライン連続して特徴点がないかどうかを判定し（１０−１３）、連続して特徴点がない場合は領域数をカウントして人物領域を記憶し（１０−１４）、前述の最終ラインかどうかの判定（１０−１１）に移る。 In the determination of whether or not there is a feature point (10-8), if there is no feature point, it is determined whether or not there is a feature point continuously for a plurality of lines (10-13), and there is no feature point continuously. Counts the number of areas, stores the person area (10-14), and proceeds to the determination (10-11) of whether it is the last line.
前記複数ライン連続して特徴点がないかどうかの判定（１０−１３）において、複数ライン連続していなければ前記特徴点を検出する処理（１０−６）に戻る。又、前記最終ラインかどうかの判定（１０−１１）において、最終ラインでないときは前記特徴点を検出する処理（１０−６）に戻る。 In the determination (10-13) of whether there are no feature points continuously in the plurality of lines, the processing returns to the processing (10-6) for detecting the feature points if the plurality of lines are not consecutive. If the final line is not the final line (10-11), the process returns to the process (10-6) for detecting the feature point.
人物像の存在領域を抽出すると、その領域から魚眼レンズ画像を補正して表示するためのパラメータを求めることができる。図１１は本発明の実施の形態の領域切り出し及び表示画面作成を行う構成の説明図である。同図において、１１−１は領域抽出部、１１−２は領域切り出し部、１１−３は魚眼レンズ画像パラメータ決定部、１１−４は表示画面作成部である。 When a human image existence region is extracted, parameters for correcting and displaying a fisheye lens image from the region can be obtained. FIG. 11 is an explanatory diagram of a configuration for performing area segmentation and display screen creation according to the embodiment of this invention. In the same figure, 11-1 is a region extraction unit, 11-2 is a region cutout unit, 11-3 is a fisheye lens image parameter determination unit, and 11-4 is a display screen creation unit.
領域抽出部１１−１は、前述の図６及び図７に示した領域抽出部６−７，７−９と同一のものであり、特徴量により人物像等を検出し、その領域を抽出すると、検出フラグ及び領域情報の信号を出力する。検出フラグの信号は警報又は通知用の信号として使用することができる。領域情報の信号は領域切り出し部１１−２に出力される。 The region extraction unit 11-1 is the same as the region extraction units 6-7 and 7-9 shown in FIGS. 6 and 7 described above, and detects a person image or the like based on the feature amount and extracts the region. The detection flag and area information signals are output. The signal of the detection flag can be used as a warning or notification signal. The region information signal is output to the region cutout unit 11-2.
領域切り出し部１１−２は、領域情報の信号に基づいて領域を切り出し、魚眼レンズ画像パラメータ決定部１１−３は、切り出された全領域について魚眼レンズ画像を補正して表示するためのパラメータを決定し、そのパラメータの信号を表示画面作成部１１−４に送出する。表示画面作成部１１−４は、パラメータの信号に基づいて表示画面を生成し、映像信号を出力する。 The region cutout unit 11-2 cuts out a region based on the signal of the region information, and the fisheye lens image parameter determination unit 11-3 determines parameters for correcting and displaying the fisheye lens image for all cut out regions, The parameter signal is sent to the display screen creation unit 11-4. The display screen creation unit 11-4 generates a display screen based on the parameter signal and outputs a video signal.
ここで、簡単化のために、真上を向いたカメラアングルの場合の魚眼レンズ画像の前記パラメータの決定について説明する。魚眼レンズ画像の補正のためのパラメータとしては、画像フレームの方位角θ、頂点角φ及び拡大率ｍが必要である。 Here, for the sake of simplification, the determination of the parameters of the fisheye lens image in the case of the camera angle facing upward will be described. As parameters for correcting the fisheye lens image, the azimuth angle θ, vertex angle φ, and magnification m of the image frame are required.
魚眼レンズ画像の領域から、例えば、図９の（ａ）の人物像検出エリア（Ｂ）９−２を抽出して表示するとする。この場合、人物像検出エリア（Ｂ）９−２の中心位置に関する角度α及び魚眼レンズ画像の中心Ｏから人物像検出エリア（Ｂ）９−２を挟む角度（立体角）βを計算する。又、魚眼レンズ画像の中心Ｏから領域最上部までの距離Ｌを計算する。 For example, it is assumed that the person image detection area (B) 9-2 in FIG. 9A is extracted and displayed from the fisheye lens image region. In this case, an angle (solid angle) β sandwiching the person image detection area (B) 9-2 from the angle α related to the center position of the person image detection area (B) 9-2 and the center O of the fisheye lens image is calculated. Also, the distance L from the center O of the fisheye lens image to the top of the region is calculated.
前記角度α及び距離Ｌにより、人物像検出エリア（Ｂ）９−２を表示する画像フレームの方位角θと頂点角φの値を求めることができる。即ち、方位角θは前記角度αに等しく、θ＝αである。又、頂点角φは魚眼レンズ画像の半径Ｒと前記距離Ｌとの比から式（３−１）乃至式（３−３）を用いて求めることができる。又、ズ−ム率であるｍについては、領域の左端及び右端と魚眼レンズ画像の中心Ｏとの立体角βにより求めることができる。これらのパラメータを元に、個々の人物の表示領域を切り出し、魚眼レンズ画像の歪曲を補正してモニタテレビ等に映像信号を送出する。 From the angle α and the distance L, the values of the azimuth angle θ and the vertex angle φ of the image frame displaying the human image detection area (B) 9-2 can be obtained. That is, the azimuth angle θ is equal to the angle α, and θ = α. Further, the vertex angle φ can be obtained from the ratio between the radius R of the fisheye lens image and the distance L using the equations (3-1) to (3-3). The zoom ratio m can be obtained from the solid angle β between the left and right ends of the region and the center O of the fisheye lens image. Based on these parameters, the display area of each person is cut out, the distortion of the fisheye lens image is corrected, and a video signal is transmitted to a monitor television or the like.
図１２は１台の魚眼レンズカメラで撮影した画像を合成した映像を示す図である。前述したように魚眼レンズ画像から人物像をその特徴量により抽出し、抽出した画像に歪み補正の処理を行い、１台のモニタテレビ画面を４分割して前記抽出した人物像を表示させた様子を模式的に示している。 FIG. 12 is a diagram showing an image obtained by synthesizing images taken by one fisheye lens camera. As described above, a person image is extracted from a fisheye lens image based on the feature amount, distortion correction processing is performed on the extracted image, and one monitor television screen is divided into four to display the extracted person image. This is shown schematically.
１−１ 魚眼レンズ
１−２ ＣＣＤ撮像装置
１−３ 映像メモリ（フレームメモリ）
１−４ 画像補正処理部
１−４１ カメラ設置角補正部
１−４２ パン／チルト角回転補正部
１−４３ ズーム補正部
１−４４ 映像補間作成部
１−５ 補正映像（ＮＴＳＣ）出力回路
1-1 Fisheye Lens 1-2 CCD Imaging Device 1-3 Video Memory (Frame Memory)
1-4 Image Correction Processing Unit 1-41 Camera Installation Angle Correction Unit 1-42 Pan / Tilt Angle Rotation Correction Unit 1-43 Zoom Correction Unit 1-44 Video Interpolation Creation Unit 1-5 Corrected Video (NTSC) Output Circuit
Claims (2)
魚眼レンズ画像の歪み補正のための、表示画像の中心位置、魚眼レンズ画像の縦横比、魚眼レンズ画像エリアの半径等のパラメータを、撮像された魚眼レンズ画像自体から抽出し、該パラメータにより魚眼レンズ画像の歪み捕正を行う構成を備えたことを特徴とする魚眼レンズカメラ装置。 In a fisheye lens camera device provided with an image correction processing unit for correcting distortion of an image photographed by a fisheye lens camera,
Parameters such as the center position of the display image, the aspect ratio of the fisheye lens image, the radius of the fisheye lens image area, etc., are extracted from the captured fisheye lens image itself to correct the distortion of the fisheye lens image. A fish-eye lens camera device characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007244733A JP4268206B2 (en) | 2007-09-21 | 2007-09-21 | Fisheye lens camera device and image distortion correction method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007244733A JP4268206B2 (en) | 2007-09-21 | 2007-09-21 | Fisheye lens camera device and image distortion correction method thereof |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06253198A Division JP4048511B2 (en) | 1998-03-13 | 1998-03-13 | Fisheye lens camera device and image distortion correction method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008061260A true JP2008061260A (en) | 2008-03-13 |
| JP4268206B2 JP4268206B2 (en) | 2009-05-27 |
Family
ID=39243418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007244733A Expired - Fee Related JP4268206B2 (en) | 2007-09-21 | 2007-09-21 | Fisheye lens camera device and image distortion correction method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4268206B2 (en) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010193170A (en) * | 2009-02-18 | 2010-09-02 | Mitsubishi Electric Corp | Camera calibration device and monitoring area setting device |
| JP2011061511A (en) * | 2009-09-10 | 2011-03-24 | Dainippon Printing Co Ltd | Fish-eye monitoring system |
| JP2011071766A (en) * | 2009-09-25 | 2011-04-07 | Canon Inc | Imaging apparatus and method for correcting image data |
| JP2012027340A (en) * | 2010-07-26 | 2012-02-09 | Brother Ind Ltd | Karaoke apparatus and method of outputting still picture of karaoke singer |
| JP2012027339A (en) * | 2010-07-26 | 2012-02-09 | Brother Ind Ltd | Karaoke device |
| JP2012053740A (en) * | 2010-09-02 | 2012-03-15 | Mitsubishi Electric Corp | Image processing method and image processing system |
| JP2013009050A (en) * | 2011-06-22 | 2013-01-10 | Canon Inc | Image processing apparatus and image processing method |
| KR20130027356A (en) * | 2011-09-07 | 2013-03-15 | 엘지전자 주식회사 | Method for calculating amount of cloud from whole sky image and apparatus thereof |
| US8659655B2 (en) | 2009-04-29 | 2014-02-25 | Koninklijke Philips N.V. | Method of selecting an optimal viewing angle position for a camera |
| US8818101B1 (en) | 2012-01-03 | 2014-08-26 | Google Inc. | Apparatus and method for feature matching in distorted images |
| US8837858B2 (en) | 2012-07-09 | 2014-09-16 | Hyundai Motor Company | Apparatus and method for correcting image distortion of rear camera |
| CN104639832A (en) * | 2015-01-23 | 2015-05-20 | 广东欧珀移动通信有限公司 | Panoramic photography method and terminal |
| EP2988248A1 (en) | 2014-07-22 | 2016-02-24 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, information processing apparatus, information processing method, and program |
| CN106204421A (en) * | 2016-06-29 | 2016-12-07 | 深圳市优象计算技术有限公司 | A kind of ultra-wide angle image rapid distortion antidote |
| CN106600548A (en) * | 2016-10-20 | 2017-04-26 | 广州视源电子科技股份有限公司 | Fish-eye camera image processing method and system |
| WO2017092631A1 (en) * | 2015-11-30 | 2017-06-08 | 宁波舜宇光电信息有限公司 | Image distortion correction method for fisheye image, and calibration method for fisheye camera |
| CN103685917B (en) * | 2012-09-11 | 2018-05-04 | 株式会社理光 | Image processor, image processing method and imaging system |
| CN112381982A (en) * | 2020-10-19 | 2021-02-19 | 北京科技大学 | Unmanned supermarket system constructed based on deep learning |
| US10972660B2 (en) | 2018-02-20 | 2021-04-06 | Olympus Corporation | Imaging device and imaging method |
-
2007
- 2007-09-21 JP JP2007244733A patent/JP4268206B2/en not_active Expired - Fee Related
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010193170A (en) * | 2009-02-18 | 2010-09-02 | Mitsubishi Electric Corp | Camera calibration device and monitoring area setting device |
| US8659655B2 (en) | 2009-04-29 | 2014-02-25 | Koninklijke Philips N.V. | Method of selecting an optimal viewing angle position for a camera |
| JP2011061511A (en) * | 2009-09-10 | 2011-03-24 | Dainippon Printing Co Ltd | Fish-eye monitoring system |
| JP2011071766A (en) * | 2009-09-25 | 2011-04-07 | Canon Inc | Imaging apparatus and method for correcting image data |
| JP2012027340A (en) * | 2010-07-26 | 2012-02-09 | Brother Ind Ltd | Karaoke apparatus and method of outputting still picture of karaoke singer |
| JP2012027339A (en) * | 2010-07-26 | 2012-02-09 | Brother Ind Ltd | Karaoke device |
| JP2012053740A (en) * | 2010-09-02 | 2012-03-15 | Mitsubishi Electric Corp | Image processing method and image processing system |
| JP2013009050A (en) * | 2011-06-22 | 2013-01-10 | Canon Inc | Image processing apparatus and image processing method |
| KR20130027356A (en) * | 2011-09-07 | 2013-03-15 | 엘지전자 주식회사 | Method for calculating amount of cloud from whole sky image and apparatus thereof |
| US8818101B1 (en) | 2012-01-03 | 2014-08-26 | Google Inc. | Apparatus and method for feature matching in distorted images |
| US8837858B2 (en) | 2012-07-09 | 2014-09-16 | Hyundai Motor Company | Apparatus and method for correcting image distortion of rear camera |
| US10666860B2 (en) | 2012-09-11 | 2020-05-26 | Ricoh Company, Ltd. | Image processor, image processing method and program, and imaging system |
| CN103685917B (en) * | 2012-09-11 | 2018-05-04 | 株式会社理光 | Image processor, image processing method and imaging system |
| EP2988248A1 (en) | 2014-07-22 | 2016-02-24 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, information processing apparatus, information processing method, and program |
| CN104639832B (en) * | 2015-01-23 | 2018-11-27 | 广东欧珀移动通信有限公司 | A kind of panorama photographic method and terminal |
| CN104639832A (en) * | 2015-01-23 | 2015-05-20 | 广东欧珀移动通信有限公司 | Panoramic photography method and terminal |
| WO2017092631A1 (en) * | 2015-11-30 | 2017-06-08 | 宁波舜宇光电信息有限公司 | Image distortion correction method for fisheye image, and calibration method for fisheye camera |
| CN106204421A (en) * | 2016-06-29 | 2016-12-07 | 深圳市优象计算技术有限公司 | A kind of ultra-wide angle image rapid distortion antidote |
| CN106204421B (en) * | 2016-06-29 | 2019-07-09 | 深圳市优象计算技术有限公司 | A kind of ultra-wide angle image rapid distortion antidote |
| CN106600548A (en) * | 2016-10-20 | 2017-04-26 | 广州视源电子科技股份有限公司 | Fish-eye camera image processing method and system |
| CN106600548B (en) * | 2016-10-20 | 2020-01-07 | 广州视源电子科技股份有限公司 | Fisheye camera image processing method and system |
| US10972660B2 (en) | 2018-02-20 | 2021-04-06 | Olympus Corporation | Imaging device and imaging method |
| CN112381982A (en) * | 2020-10-19 | 2021-02-19 | 北京科技大学 | Unmanned supermarket system constructed based on deep learning |
| CN112381982B (en) * | 2020-10-19 | 2022-02-22 | 北京科技大学 | Unmanned supermarket system constructed based on deep learning |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4268206B2 (en) | 2009-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4048511B2 (en) | Fisheye lens camera device and image distortion correction method thereof | |
| JP4243767B2 (en) | Fisheye lens camera device and image extraction method thereof | |
| JP4268206B2 (en) | Fisheye lens camera device and image distortion correction method thereof | |
| JP6587113B2 (en) | Image processing apparatus and image processing method | |
| JP5454674B2 (en) | Image generation apparatus, image generation program, synthesis table generation apparatus, and synthesis table generation program | |
| US8427538B2 (en) | Multiple view and multiple object processing in wide-angle video camera | |
| US8855441B2 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
| US20130021434A1 (en) | Method and System of Simultaneously Displaying Multiple Views for Video Surveillance | |
| TWI535285B (en) | Conference system, surveillance system, image processing device, image processing method and image processing program, etc. | |
| WO2019049421A1 (en) | Calibration device, calibration system, and calibration method | |
| KR101521008B1 (en) | Correction method of distortion image obtained by using fisheye lens and image display system implementing thereof | |
| JP2001094857A (en) | Method for controlling virtual camera, camera array and method for aligning camera array | |
| WO2003036565A2 (en) | System and method for obtaining video of multiple moving fixation points within a dynamic scene | |
| CN110691175B (en) | Video processing method and device for simulating motion tracking of camera in studio | |
| US20100002074A1 (en) | Method, device, and computer program for reducing the resolution of an input image | |
| US20070263093A1 (en) | Real-time capture and transformation of hemispherical video images to images in rectilinear coordinates | |
| TWI615808B (en) | Image processing method for immediately producing panoramic images | |
| JP2000253391A (en) | Panorama video image generating system | |
| US20230005213A1 (en) | Imaging apparatus, imaging method, and program | |
| Yuan et al. | A novel method for geometric correction of multi-cameras in panoramic video system | |
| JP3066594U (en) | Image conversion device | |
| US20240119676A1 (en) | Image generation method, apparatus, and system, and computer-readable storage medium | |
| KR20000058739A (en) | Panorama video surveillance system and controlling method therefore | |
| JP2005005816A (en) | Wide angle camera and wide angle camera system | |
| CN115147262A (en) | Image generation method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090219 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |