JP2014092922A - Detector, detection method, and detection program - Google Patents
Detector, detection method, and detection program Download PDFInfo
- Publication number
- JP2014092922A JP2014092922A JP2012242929A JP2012242929A JP2014092922A JP 2014092922 A JP2014092922 A JP 2014092922A JP 2012242929 A JP2012242929 A JP 2012242929A JP 2012242929 A JP2012242929 A JP 2012242929A JP 2014092922 A JP2014092922 A JP 2014092922A
- Authority
- JP
- Japan
- Prior art keywords
- image
- spherical
- vanishing point
- vector
- voting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 153
- 239000013598 vector Substances 0.000 claims abstract description 199
- 238000000034 method Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 description 24
- 238000004364 calculation method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 14
- 238000012360 testing method Methods 0.000 description 13
- 230000014509 gene expression Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 244000290594 Ficus sycomorus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、消失点及び直線の少なくとも一方の検出装置、検出方法及び検出プログラムに関する。 The present invention relates to a detection device, a detection method, and a detection program for at least one of a vanishing point and a straight line.
消失点は、例えば、人工環境（又は仮想空間）における重要な要素であり、画像解析、カメラの校正や、カメラの姿勢推定などに広く利用されている。また、画像上の直線検出は、コンピュータビジョン／ロボットビジョンにおいて、基本的な処理である。例えば、自動車の走行補助のために車線の検出に利用されたり、複数の平行な直線群から撮影されたシーン構造の解析などに使用される。消失点は、２つ以上の平行な直線の画像上の交点として定義され得るので、特許文献１のように、平行な直線を特定して、それらの直線の交点として算出され得る。また、直線は、特許文献２のように、撮影画像上のエッジ点を抽出して、そのエッジ点の位置情報に基づいて、エッジ点をハフ変換することで、検出され得る。 The vanishing point is an important element in an artificial environment (or virtual space), for example, and is widely used for image analysis, camera calibration, camera posture estimation, and the like. In addition, straight line detection on an image is a basic process in computer vision / robot vision. For example, it is used for detecting a lane for driving assistance of an automobile, or for analyzing a scene structure photographed from a plurality of parallel straight lines. Since the vanishing point can be defined as an intersection point on an image of two or more parallel straight lines, as in Patent Document 1, a parallel straight line can be specified and calculated as an intersection point of these straight lines. Further, as in Patent Document 2, a straight line can be detected by extracting an edge point on a captured image and performing Hough transform on the edge point based on the position information of the edge point.
消失点及び／又は直線は、画像処理において基本的な処理であり、それらを利用して他の処理が行われることもある。そのため、消失点及び／又は直線はより早く検出することが求められてきている。 Vanishing points and / or straight lines are basic processes in image processing, and other processes may be performed using them. Therefore, it has been required to detect vanishing points and / or straight lines earlier.
本発明は、上記の問題点を解決するためになされたものであり、消失点及び／又は直線は、より早く検出可能な、検出装置、検出方法及び検出プログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and an object thereof is to provide a detection device, a detection method, and a detection program in which a vanishing point and / or a straight line can be detected earlier.
本発明の一側面に係る検出装置は、入力画像の画像データを受ける入力部と、入力部で受けた画像データにおける直線の投影像上のエッジ点の球面勾配ベクトルに基づいて、消失点及び直線の少なくとも一方を検出する検出部と、を備える。上記球面勾配ベクトルは、画像データを球面上に投影することによって形成される球面画像上における上記エッジ点の勾配ベクトルである。上記検出部は、消失点を検出する場合には、球面画像上における検出すべき消失点の位置ベクトルとエッジ点の球面勾配ベクトルとの関係から消失点を検出し、直線を検出する場合には、球面画像上における検出すべき直線の投影像を含む大円の法線ベクトルとエッジ点の球面勾配ベクトルとの関係から直線を検出とする。 A detection apparatus according to one aspect of the present invention includes an input unit that receives image data of an input image, and a vanishing point and a straight line based on a spherical gradient vector of an edge point on a straight projection image in the image data received by the input unit. A detection unit that detects at least one of the following. The spherical gradient vector is a gradient vector of the edge point on a spherical image formed by projecting image data onto a spherical surface. When detecting the vanishing point, the detection unit detects the vanishing point from the relationship between the position vector of the vanishing point to be detected on the spherical image and the spherical gradient vector of the edge point, and when detecting the straight line. A straight line is detected from the relationship between the normal vector of the great circle including the projected image of the straight line to be detected on the spherical image and the spherical gradient vector of the edge point.
本発明の他の側面は、入力画像の画像データを受け付ける画像データ受付け工程と、データ受け工程で受け付けられた画像データにおける直線の投影像上のエッジ点の球面勾配ベクトルに基づいて、消失点及び直線の少なくとも一方を検出する検出工程と、を備える。球面勾配ベクトルは、画像データを球面上に投影することによって形成される球面画像上におけるエッジ点の勾配ベクトルである。上記検出工程において、消失点を検出する場合には、球面画像上における検出すべき消失点の位置ベクトルとエッジ点の球面勾配ベクトルとの関係から消失点を検出し、直線を検出する場合には、球面画像上における検出すべき直線の投影像を含む大円の法線ベクトルとエッジ点の球面勾配ベクトルとの関係から直線を検出とする。 Another aspect of the present invention is an image data receiving step for receiving image data of an input image, and a vanishing point and a vanishing point based on a spherical gradient vector of an edge point on a straight projection image in the image data received in the data receiving step. A detection step of detecting at least one of the straight lines. The spherical gradient vector is a gradient vector of edge points on a spherical image formed by projecting image data onto a spherical surface. When the vanishing point is detected in the above detection step, the vanishing point is detected from the relationship between the position vector of the vanishing point to be detected on the spherical image and the spherical gradient vector of the edge point, and when the straight line is detected. A straight line is detected from the relationship between the normal vector of the great circle including the projected image of the straight line to be detected on the spherical image and the spherical gradient vector of the edge point.
実空間における直線は、球面画像上では、大円の一部として現れる。エッジ点の球面勾配ベクトルと、上記大円の法線ベクトルとは平行であり、エッジ点の球面勾配ベクトルと球面画像における消失点の位置ベクトル（以下、消失点ベクトルと称す）とは直交する。このような関係があるので、上記のように、エッジ点の球面勾配ベクトルに基づいて消失点及び直線の少なくとも一方を検出することができる。このように球面勾配ベクトルを利用することによって、消失点又は直線をより早く検出出来る。 A straight line in real space appears as a part of a great circle on a spherical image. The spherical gradient vector of the edge point and the normal vector of the great circle are parallel to each other, and the spherical gradient vector of the edge point and the vanishing point position vector (hereinafter referred to as vanishing point vector) in the spherical image are orthogonal. Since there is such a relationship, as described above, at least one of the vanishing point and the straight line can be detected based on the spherical gradient vector of the edge point. Thus, by using the spherical gradient vector, the vanishing point or the straight line can be detected earlier.
上記検出部は、球面画像上における検出すべき消失点の位置ベクトルとエッジ点の球面勾配ベクトルとの内積が０であるという条件に基づいて、消失点を検出してもよい。このよう場合の一例として、検出部は、消失点の位置ベクトルとエッジ点の球面勾配ベクトルとの内積が０であるときに投票するという投票条件の下で、球面画像上の消失点の位置ベクトルを表すパラメータで構成されるパラメータ空間に、投票を行うことによって、消失点を検出してもよい。 The detection unit may detect the vanishing point based on a condition that the inner product of the position vector of the vanishing point to be detected on the spherical image and the spherical gradient vector of the edge point is zero. As an example of such a case, the detection unit detects the position vector of the vanishing point on the spherical image under a voting condition of voting when the inner product of the position vector of the vanishing point and the spherical gradient vector of the edge point is 0. The vanishing point may be detected by voting in a parameter space composed of parameters representing.
同様に、上記検出工程では、球面画像上における検出すべき消失点の位置ベクトルとエッジ点の球面勾配ベクトルとの内積が０であるという条件に基づいて、消失点を検出してもよい。この場合、検出工程は、消失点の位置ベクトルとエッジ点の球面勾配ベクトルとの内積が０であるときに投票するという投票条件の下で、球面画像上の消失点の位置ベクトルを表すパラメータで構成されるパラメータ空間に、投票を行う工程と、投票結果を判定する工程であって、前記投票結果に基づいて前記消失点を検出する判定工程と、有しても良い。 Similarly, in the detection step, the vanishing point may be detected based on the condition that the inner product of the position vector of the vanishing point to be detected on the spherical image and the spherical gradient vector of the edge point is zero. In this case, the detection step is a parameter representing the position vector of the vanishing point on the spherical image under the voting condition that voting is performed when the inner product of the position vector of the vanishing point and the spherical gradient vector of the edge point is 0. The configured parameter space may include a voting step and a voting result determining step for detecting the vanishing point based on the voting result.
上記検出部は、球面画像上における検出すべき直線の投影像を含む大円の法線ベクトルであって、エッジ点の球面勾配ベクトルの方向と一致する法線ベクトルに投票するとい投票条件の下で、法線ベクトルを表すパラメータで構成されるパラメータ空間に、投票を行うことによって、直線を検出してもよい。 The detection unit is a normal vector of a great circle including a projected image of a straight line to be detected on a spherical image, and is subject to voting conditions when voting for a normal vector that matches the direction of the spherical gradient vector of the edge point. Thus, a straight line may be detected by voting in a parameter space composed of parameters representing normal vectors.
同様に、上記検出工程は、球面画像上における検出すべき直線の投影像を含む大円の法線ベクトルであって、エッジ点の球面勾配ベクトルの方向と一致する法線ベクトルに投票するとい投票条件の下で、法線ベクトルを表すパラメータで構成されるパラメータ空間に、投票を行う投票工程と、投票結果を判定する工程であって、投票結果に基づいて直線を検出する判定工程と、を有してもよい。 Similarly, in the detection step, voting is performed for a normal vector of a great circle including a projected image of a straight line to be detected on a spherical image, which is the same as the direction of the spherical gradient vector of the edge point. Under a condition, a voting process for voting in a parameter space composed of parameters representing a normal vector, and a determination process for determining a voting result, and a determination process for detecting a straight line based on the voting result, You may have.
この場合、球面勾配ベクトルから直接的に直線を検出できるので、直線をより早く検出出来る。 In this case, since a straight line can be directly detected from the spherical gradient vector, the straight line can be detected earlier.
本発明の更に他の側面は、コンピュータに、本発明に係る検出方法を実行せしめる、検出プログラムにも係る。 Still another aspect of the present invention also relates to a detection program that causes a computer to execute the detection method according to the present invention.
本発明によれば、消失点及び／又は直線を、より早く検出し得る。 According to the present invention, the vanishing point and / or the straight line can be detected earlier.
以下、図面を参照して本発明の実施形態について説明する。以下の説明においては、同一の要素には同一の符号を用いると共に、重複する説明は省略する。図面及び数式において、ベクトル表現は、記号上に矢印を付して表す場合もある。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same reference numerals are used for the same elements, and redundant descriptions are omitted. In the drawings and mathematical expressions, the vector expression may be expressed by adding an arrow on the symbol.
（第１の実施形態）
第１の実施形態に係る検出装置として、撮像装置で得られた画像中の消失点を検出する消失点検出装置について説明する。第１の実施形態に係る消失点検出装置により消失点を検出するための原理について、図１を参照して説明する。図１は、実空間の直線Ｌが投影された球面画像の模式図である。
(First embodiment)
As a detection apparatus according to the first embodiment, a vanishing point detection apparatus that detects a vanishing point in an image obtained by an imaging apparatus will be described. The principle for detecting a vanishing point by the vanishing point detection apparatus according to the first embodiment will be described with reference to FIG. FIG. 1 is a schematic diagram of a spherical image onto which a straight line L in real space is projected.
球面画像Ｓは、撮像装置で得られた画像の画像データを球面上に投影することで形成される画像である。球面画像Ｓにおいて、直線Ｌは、球面の大円の一部として表される。換言すれば、直線Ｌは、球面にその大円の一部として投影される。直線Ｌの投影像ｌを含む平面Πは、球面と直交するので、平面Πの法線ベクトルｎｐは、投影像ｌ上のエッジ点ＰＬの球面勾配ベクトルｇＬと平行である。 The spherical image S is an image formed by projecting image data of an image obtained by the imaging device onto a spherical surface. In the spherical image S, the straight line L is represented as a part of a spherical great circle. In other words, the straight line L is projected on the spherical surface as a part of the great circle. Since the plane Π including the projection image l of the straight line L is orthogonal to the spherical surface, the normal vector n p of the plane Π is parallel to the spherical gradient vector g L of the edge point P L on the projection image l.
消失点Ｖは、実空間における２つ以上の平行な直線の画像上での交点として定義される。実空間における互いに平行な複数の直線Ｌの対応する投影像ｌを含む平面Πの法線ベクトルｎｐは共通の平面内にあるので、複数の法線ベクトルｎｐに直交するベクトルとして消失点Ｖのベクトルｎｖが推定され得る。 The vanishing point V is defined as an intersection point on an image of two or more parallel straight lines in the real space. Since the normal vector n p of the plane を including the corresponding projection images l of the plurality of straight lines L parallel to each other in the real space is in a common plane, the vanishing point V is a vector orthogonal to the plurality of normal vectors n p. The vector n v can be estimated.
上記のように、一つの投影像ｌのエッジ点の球面勾配ベクトルｇＬは、その投影像ｌを含む平面Πの法線ベクトルｎｐと平行であることから、平行な直線群に属するエッジ点の球面勾配ベクトルｇＬに直交するベクトルとして消失点ベクトルｎｖが推定され得る。具体的には、検出すべき消失点ベクトルｎｖと球面勾配ベクトルｇＬとの内積が０であるという条件に基づいて、消失点Ｖを検出可能である。 As described above, since the spherical gradient vector g L of the edge point of one projection image l is parallel to the normal vector n p of the plane plane including the projection image l, the edge point belonging to the parallel straight line group The vanishing point vector n v can be estimated as a vector orthogonal to the spherical gradient vector g L of. Specifically, the vanishing point V can be detected based on the condition that the inner product of the vanishing point vector n v to be detected and the spherical gradient vector g L is zero.
図２は、一実施形態に係る検出装置としての消失点検出装置の概略構成を示す図面である。図１に示した検出装置１０は、撮像装置で得られた画像中の消失点を検出する装置である。よって、検出装置１０を消失点検出装置１０と称す。消失点検出装置１０では、球面勾配ベクトルに基づく消失点検出において、いわゆるハフ変換を利用する。消失点検出装置１０で消失点を算出する撮像装置は、特に限定されない。撮像装置の例はカメラである。カメラとしての撮像装置の一例は、画角が１８０°以上である魚眼レンズを備えた魚眼カメラであり得る。撮像装置が、互いに反対方向を向いた一対の魚眼カメラを有する場合は、全天周画像を取得できる。以下では、特に断らない限り、撮像装置は魚眼カメラである。 FIG. 2 is a diagram illustrating a schematic configuration of a vanishing point detection device as a detection device according to an embodiment. The detection device 10 illustrated in FIG. 1 is a device that detects a vanishing point in an image obtained by an imaging device. Therefore, the detection device 10 is referred to as a vanishing point detection device 10. The vanishing point detection apparatus 10 uses so-called Hough transform in vanishing point detection based on a spherical gradient vector. The imaging device that calculates the vanishing point by the vanishing point detection device 10 is not particularly limited. An example of the imaging device is a camera. An example of the imaging device as a camera may be a fisheye camera including a fisheye lens having an angle of view of 180 ° or more. When the imaging device has a pair of fisheye cameras facing in opposite directions, an all-sky image can be acquired. In the following, unless otherwise specified, the imaging device is a fisheye camera.
消失点検出装置１０は、データ入力部１１と、消失点検出部１２と、データ出力部１３とを備える。消失点検出装置１０は、データ入力部１１、消失点検出部１２などを制御するＣＰＵ１４と、各種データ及びプログラムを格納する記憶部１５を更に備えてもよい。図１に示した消失点検出装置１０が有する各構成要素（データ入力部１１、消失点検出部１２など）は、バスなどによって接続されて、データなどを通信可能である。消失点検出装置１０の例は、コンピュータ装置である。消失点検出装置１０は、記憶部１５に格納された消失点検出部プログラムを実行することによって、データ入力部１１と、消失点検出部１２と、データ出力部１３の各機能を実現する。 The vanishing point detection device 10 includes a data input unit 11, a vanishing point detection unit 12, and a data output unit 13. The vanishing point detection apparatus 10 may further include a CPU 14 that controls the data input unit 11, the vanishing point detection unit 12, and the like, and a storage unit 15 that stores various data and programs. Each component (the data input unit 11, the vanishing point detection unit 12, and the like) included in the vanishing point detection device 10 illustrated in FIG. 1 is connected by a bus or the like, and can communicate data and the like. An example of the vanishing point detection device 10 is a computer device. The vanishing point detection device 10 implements the functions of the data input unit 11, the vanishing point detection unit 12, and the data output unit 13 by executing the vanishing point detection unit program stored in the storage unit 15.
データ入力部１１は、撮像装置で得られた画像の画像データの撮像装置からの入力を受け付ける。データ入力部１１は、無線及び有線通信の少なくとも一方を介してデータを受け取ってもよいし、又は記録媒体（ＤＶＤやＳＤカード等）からデータを受け取ってもよい。 The data input unit 11 receives input from the imaging device of image data of an image obtained by the imaging device. The data input unit 11 may receive data via at least one of wireless and wired communication, or may receive data from a recording medium (DVD, SD card, etc.).
データ出力部１３は、消失点検出部１２で検出した消失点に関するデータ又は消失点を検出過程上及び／又は検出後における各種画像データを、例えば、他の表示装置などに出力する。データ出力部１３は、撮像装置としての魚眼カメラのカメラパラメータなどを利用して消失点のデータを撮像装置にマッピングした画像データを出力してもよい。 The data output unit 13 outputs, for example, other image data on the vanishing point detected by the vanishing point detection unit 12 or various image data during and / or after detecting the vanishing point. The data output unit 13 may output image data obtained by mapping vanishing point data to the imaging device using camera parameters of a fisheye camera as the imaging device.
消失点検出部１２は、データ入力部１１で受け付けた画像（入力画像）の画像データを元に、図１を用いて説明した原理に基づいて、消失点Ｖを検出する。消失点検出部１２の一実施形態について具体的に説明する。 The vanishing point detection unit 12 detects the vanishing point V based on the principle described with reference to FIG. 1 based on the image data of the image (input image) received by the data input unit 11. An embodiment of the vanishing point detection unit 12 will be specifically described.
消失点検出部１２は、エッジ点検出部１２Ａと、球面勾配ベクトル算出部１２Ｂと、投票部１２Ｃと、判定部１２Ｄとを有する。 The vanishing point detection unit 12 includes an edge point detection unit 12A, a spherical gradient vector calculation unit 12B, a voting unit 12C, and a determination unit 12D.
エッジ点検出部１２Ａは、入力画像内の特徴点としてのエッジ点ｐＬを検出する。エッジ点は、例えば輝度の明確な変化（例えば、明→暗又は暗→明の変化）が生じる点として検出される。エッジ点ｐＬは、例えば、ｃａｎｎｙオペレータによって検出され得る。 The edge point detection unit 12A detects an edge point p L as a feature point in the input image. The edge point is detected as a point at which a clear change in brightness (for example, a change from light → dark or dark → light) occurs. Edge point p L can be detected, for example, by the canny operator.
球面勾配ベクトル算出部１２Ｂは、エッジ点検出部１２Ａで検出されたエッジ点ｐＬの球面画像Ｓ上における球面勾配ベクトルｇＬを算出する。エッジ点ｐＬの球面勾配ベクトルｇＬとは、エッジ点ｐＬに対応する球面画像Ｓ上の点ＰＬの勾配ベクトルである。点ＰＬを単にエッジ点ＰＬとも称す。 The spherical gradient vector calculation unit 12B calculates a spherical gradient vector g L on the spherical image S of the edge point p L detected by the edge point detection unit 12A. A spherical gradient vector g L of edge point p L is the gradient vector of the point P L on the spherical image S corresponding to the edge point p L. The point P L is also simply referred to as an edge point P L.
図３を参照して球面勾配ベクトルの算出方法について説明する。図３は、球面勾配ベクトルの算出方法を説明するための図面である。図３中のｘｙｚ直交座標系は、球面画像Ｓを表す際の座標系である。図３には、球面画像Ｓの半球分を模式的に示している。図３においては、ｘｙ平面が、撮像装置を介して実空間の像が投影される面に対応する。 A method of calculating the spherical gradient vector will be described with reference to FIG. FIG. 3 is a diagram for explaining a method of calculating a spherical gradient vector. The xyz orthogonal coordinate system in FIG. 3 is a coordinate system for representing the spherical image S. FIG. 3 schematically shows the hemisphere of the spherical image S. In FIG. 3, the xy plane corresponds to a plane on which an image in real space is projected via the imaging device.
図３中のｒ，θ及びφは、球面画像Ｓ上の任意の点Ｑを表すためのパラメータである。ｒは、球面画像Ｓを形成するための球の半径である。通常、球面画像Ｓを表すための球として単位球が設定されるため、ｒ＝１とし得る。θは、ｚ軸方向に対する点Ｑの角度であり、いわゆる天頂角又は極角である。φは、ｘ軸方向に対する点Ｑの角度であり、いわゆる方位角である。点Ｑは、ｒ、θ及びφで表されるが、球面画像Ｓの全ての点において、ｒは同じであるため、球面画像Ｓ上の点Ｑは、θ及びφで実質的に表される。 In FIG. 3, r, θ, and φ are parameters for representing an arbitrary point Q on the spherical image S. r is the radius of the sphere for forming the spherical image S. Usually, since a unit sphere is set as a sphere for representing the spherical image S, r = 1 can be set. θ is an angle of the point Q with respect to the z-axis direction and is a so-called zenith angle or polar angle. φ is an angle of the point Q with respect to the x-axis direction, which is a so-called azimuth angle. The point Q is represented by r, θ, and φ. Since r is the same at all points of the spherical image S, the point Q on the spherical image S is substantially represented by θ and φ. .
撮影画像上の点ｑの画素値をＩ（ｘ，ｙ）とし、注目点ｑに対応する球面画像Ｓ上の点Ｑの画素値をＩ（θ，φ）としたとき、球面画像Ｓ上の点Ｑにおける球面勾配ベクトルは、点Ｑの位置に設定される直交曲線座標系で表される。図３中のベクトルｅｒ、ｅθ及びｅφは、点Ｑに設定された直交曲線座標系のｒ方向、θ方向及びφ方向の単位ベクトルである。 When the pixel value of the point q on the photographed image is I (x, y) and the pixel value of the point Q on the spherical image S corresponding to the point of interest q is I (θ, φ), it is on the spherical image S. The spherical gradient vector at the point Q is represented by an orthogonal curve coordinate system set at the position of the point Q. Vectors e r , e θ and e φ in FIG. 3 are unit vectors in the r direction, θ direction and φ direction of the orthogonal curve coordinate system set at the point Q.
点Ｑの球面勾配ベクトルを∇Ｉｓ（θ,φ）とすると、∇Ｉｓ（θ,φ）は、次式で表される。
θ及びφで規定される点Ｑは、ｘ及びｙで規定される点ｑと対応づけられるので、θ及びφはそれぞれ、式（２ａ）及び式（２ｂ）に示すように、ｘとｙとの関数である。
従って、式（３）が成り立つ。
式（３）より、式（４）が導かれる
よって、式（５）が成り立つ。
Therefore, Expression (3) is established.
Equation (4) is derived from Equation (3).
Therefore, Expression (5) is established.
式（５）を式（１）に代入することによって、球面勾配ベクトル∇Ｉｓ（θ,φ）が算出される。式（１）は直交曲線座標系における球面勾配ベクトル∇Ｉｓ（θ,φ）である。この直交曲線座標系における球面勾配ベクトル∇Ｉｓ（θ,φ）を、ｘｙｚ直交座標系における球面勾配ベクトルに変換する。θ及びφを利用した直交曲線座標系からｘｙｚ直交座標系への変換は、従来の方法（例えば「長谷川正之、稲岡毅著、“ベクトル解析の基礎”、森北出版株式会社、２００４年３月１５日」記載の方法）に基づいて行い得る。以下、ｘｙｚ直交座標系における球面勾配ベクトルを∇ＩＯ（ｘ，ｙ，ｚ）と称す。 By substituting Equation (5) into Equation (1), the spherical gradient vector ∇Is (θ, φ) is calculated. Expression (1) is a spherical gradient vector ∇Is (θ, φ) in the orthogonal curve coordinate system. The spherical gradient vector ∇Is (θ, φ) in this orthogonal curve coordinate system is converted into a spherical gradient vector in the xyz orthogonal coordinate system. The transformation from the Cartesian coordinate system using θ and φ to the xyz Cartesian coordinate system is performed by a conventional method (for example, “Masayuki Hasegawa, Atsushi Inaoka,“ Basics of Vector Analysis ”, Morikita Publishing Co., Ltd., March 15, 2004). The method described in “Day” can be performed. Hereinafter, the spherical gradient vector in the xyz orthogonal coordinate system is referred to as ∇I O (x, y, z).
エッジ点ＰＬのｘｙｚ直交座標系における位置座標を（ｘＬ，ｙＬ，ｚＬ）と表すと、
球面勾配ベクトル算出部１２Ｂは、上記のようにして、エッジ点ＰＬの球面勾配ベクトル∇ＩＯ（ｘＬ，ｙＬ，ｚＬ）を得る。なお、式（５）における入力画像の微分は、例えば、Sobelオペレータを使用して計算され得る。球面勾配ベクトル∇ＩＯ（ｘ，ｙ，ｚ）は、ｘ、ｙ及びｚを用いた表現形式であるが、ハフ変換では、通常、球座標表示が採用される。そのため、球面勾配ベクトル算出部１２Ｂでは、∇ＩＯ（ｘＬ，ｙＬ，ｚＬ）を、ｘＬ，ｙＬ，ｚＬで表されるθＬ及びφＬを用いて∇ＩＯ（θＬ，φＬ）＝ｇ（θＬ，φＬ）に変換する。なお、ｒＬもパラメータの一つであるが、一つの球面画像Ｓでは共通であること等から省略していることは前述した通りである。
When the position coordinates of the edge point P L in the xyz orthogonal coordinate system are expressed as (x L , y L , z L ),
The spherical gradient vector calculation unit 12B obtains the spherical gradient vector ∇I O (x L , y L , z L ) of the edge point P L as described above. In addition, the differentiation of the input image in Formula (5) can be calculated using a Sobel operator, for example. The spherical gradient vector ∇ I O (x, y, z) is an expression format using x, y, and z, but normally, spherical coordinate display is adopted in the Hough transform. Therefore, the spherical gradient vector calculation unit 12B, ∇I O (x L, y L, z L) a, x L, y L, ∇I using theta L and phi L represented by z L O (theta L , φ L ) = g (θ L , φ L ). As described above, r L is also one of the parameters, but is omitted because it is common to one spherical image S.
投票部１２Ｃは、エッジ点ＰＬの球面勾配ベクトルｇＬをハフ空間に以下の条件で投票する。
ベクトルｎｖは、検出すべき消失点ベクトルを示している。式（６）におけるθ及びφの添え字Ｌは、直線Ｌの投影像ｌ上のエッジ点ＰＬのθ及びφを示すためのものである。同様に、θ及びφの添え字ｖは、消失点Ｖのθ及びφを示すためのものである。
The voting unit 12C votes the spherical gradient vector g L of the edge point P L in the Hough space under the following conditions.
A vector n v indicates a vanishing point vector to be detected. The subscripts L of θ and φ in Equation (6) are for indicating θ and φ of the edge point P L on the projected image 1 of the straight line L. Similarly, the suffixes v of θ and φ are for indicating θ and φ of the vanishing point V.
投票部１２Ｃが消失点ベクトルｎｖ（θｖ，φｖ）を投票するハフ空間は、消失点ベクトルｎｖ（θｖ，φｖ）を表すためのパラメータであるθｖ及びφｖで規定されるパラメータ空間（又は投票空間）である。ハフ空間は、図４に示されるように、記憶部１５内に確保される投票用の２次元配列領域２０として実装される。２次元配列領域２０の各配列要素２１にはθｖとφｖの組が一意に割り当てられる。２次元配列領域２０は、それを構成する配列要素２１にθｖとφｖの組が一意に割り当てられていれば特に限定されない。ここで、２次元配列領域２０の一例について説明する。 Hough space voting unit 12C to vote the vanishing point vector n v (θ v, φ v ) is vanishing point vector n v (θ v, φ v ) is defined by a parameter for representing the theta v and phi v Parameter space (or voting space). As shown in FIG. 4, the Hough space is implemented as a two-dimensional array area 20 for voting secured in the storage unit 15. Set of each array element 21 of the two-dimensional array region 20 theta v and phi v is uniquely assigned. 2-dimensional array region 20, it constitutes the array elements 21 in the theta v and phi v set is not particularly limited as long as uniquely assigned. Here, an example of the two-dimensional array region 20 will be described.
消失点検出装置１０内のデータ処理では、球面画像Ｓは離散的に扱われる。換言すれば、球面画像Ｓは、離散化された単位球の球面の各画素に輝度といった画素値を割り当てられて構成されている。球面画像Ｓは、例えば、測地ドーム法に基づいて離散化され得る。 In the data processing in the vanishing point detection apparatus 10, the spherical image S is handled discretely. In other words, the spherical image S is configured by assigning a pixel value such as luminance to each pixel of the spherical surface of the discrete unit sphere. The spherical image S can be discretized based on, for example, the geodetic dome method.
図５は、複数の画素により構成される離散球面に画像を投影した離散球面画像の一例を示す模式図である。図５に示す離散球面画像Ｓ１は、ＳＣＶＴ（Sperical Centroidal Voronoi Tessellation)画像として知られている（例えば、Q.Du, M.Bunzburger, and L. Ju, “Constrained centroidal Voronoi tessellations ongeneralsurface,” SIAM J. Sci. Comput., 24(5), 2003, pp1499-1506参照）。 FIG. 5 is a schematic diagram illustrating an example of a discrete spherical image obtained by projecting an image onto a discrete spherical surface including a plurality of pixels. The discrete spherical image S1 shown in FIG. 5 is known as an SCVT (Sperical Centroidal Voronoi Tessellation) image (for example, Q. Du, M. Bunzburger, and L. Ju, “Constrained centroidal Voronoi tessellations on general surface,” SIAM J. Sci. Comput., 24 (5), 2003, pp1499-1506).
離散球面画像Ｓ１において画像データが投影される離散的な球面である離散球面は、理論的な球面、すなわち、連続した球面を、測地ドーム法によってＫ回（Ｋは０以上の整数）分割した測地ドーム３０の双対多面体である。本実施形態では、上述した球又は測地ドームにおける位置を説明する際に、緯度及び経度といった地球座標系を使用する。 The discrete sphere, which is a discrete sphere onto which image data is projected in the discrete sphere image S1, is a geodesic surface obtained by dividing a theoretical sphere, that is, a continuous sphere, K times (K is an integer of 0 or more) by the geodetic dome method. It is a dual polyhedron of the dome 30. In this embodiment, when explaining the position in the above-mentioned sphere or geodetic dome, an earth coordinate system such as latitude and longitude is used.
図６（ａ）〜図６（ｃ）は、測地ドーム法における各分割レベルの測地ドーム３０を示す図面である。図６（ａ）〜図６（ｃ）では、球面を地球座標系で表現した場合の北極（第１の極）側から見た場合の図面である。図６（ａ）は、０回分割レベル（Ｋ＝０）の測地ドーム３０を示しており、正二十面体に対応する。図６（ｂ）は、１回分割レベル（Ｋ＝１）の測地ドーム３０を示している。図６（ｃ）は、２回分割レベル（Ｋ＝２）の場合を示している。図６（ａ）〜図６（ｃ）に示される中括弧内に示された各数字は、説明の便宜のために示した測地ドーム３０の頂点３１の頂点番号を示している。図６（ａ）〜図６（ｃ）では、各測地ドーム３０を分割レベルに応じて、測地ドーム３０Ｋとして示している。 FIG. 6A to FIG. 6C are drawings showing the geodetic dome 30 at each division level in the geodetic dome method. FIG. 6A to FIG. 6C are drawings when viewed from the north pole (first pole) side when the spherical surface is expressed in the earth coordinate system. FIG. 6A shows the geodetic dome 30 at the zero division level (K = 0), which corresponds to a regular icosahedron. FIG. 6B shows the geodetic dome 30 at the one-time division level (K = 1). FIG. 6C shows the case of the two-time division level (K = 2). Each number shown in the curly brackets shown in FIGS. 6A to 6C indicates the vertex number of the vertex 31 of the geodetic dome 30 shown for convenience of explanation. In FIG. 6 (a) ~ FIG 6 (c), in accordance with the division level each geodesic dome 30 is shown as a geodesic dome 30 K.
測地ドーム３０を生成するための分割回数に応じて、離散球面の画素数が決まるので、分割回数は、撮影画像の画素数に応じて決めればよい。 Since the number of pixels of the discrete spherical surface is determined according to the number of divisions for generating the geodetic dome 30, the number of divisions may be determined according to the number of pixels of the captured image.
測地ドーム３０の各頂点３１を一つの画素で表した場合、各頂点３１を表す画素と、離散球面画像Ｓ１の画素Ｓ１ａとは双対である。この場合、測地ドーム３０の中心に対する各頂点３１を表す画素の方向と、離散球面画像Ｓ１の中心から画素Ｓ１ａの中心（中心部の点）への方向、すなわち、画素Ｓ１ａの主方向とは一致する。 When each vertex 31 of the geodetic dome 30 is represented by one pixel, the pixel representing each vertex 31 and the pixel S1a of the discrete spherical image S1 are dual. In this case, the direction of the pixel representing each vertex 31 with respect to the center of the geodetic dome 30 coincides with the direction from the center of the discrete spherical image S1 to the center of the pixel S1a (the center point), that is, the main direction of the pixel S1a. To do.
画素Ｓ１ａの位置は、θ及びφで規定される。すなわち、各画素Ｓ１ａに一つのθ及びφの組みが対応する。そのため、記憶部１５内に各画素Ｓ１ａに対応したセルを確保することで、ハフ空間としての２次元格納領域２０を確保できる。 The position of the pixel S1a is defined by θ and φ. That is, one set of θ and φ corresponds to each pixel S1a. Therefore, by securing a cell corresponding to each pixel S1a in the storage unit 15, the two-dimensional storage area 20 as a Hough space can be secured.
図４に示したような２次元格納領域２０の形成方法は、例えば、S. Li and Y. Hai, ”A full view spherical image format,” ICPR, 2010,pp.2337-2340記載の方法が使用され得る。この文献記載の方法について簡単に説明する。 For example, the method described in S. Li and Y. Hai, “A full view spherical image format,” ICPR, 2010, pp. 2337-2340 is used as the method of forming the two-dimensional storage area 20 as shown in FIG. Can be done. The method described in this document will be briefly described.
図５に示した離散球面画像Ｓ１の各画素Ｓ１ａに対応した２次元配列領域２０の配列要素２１の配置状態は、離散球面画像Ｓ１に双対な測地ドーム３０の複数の頂点３１を、図７に示したように、２次元状に展開した後、長方形になるように配列要素２１の配置を調整したものに対応する。図７は、測地ドーム３０の所定の経線上の複数の頂点３１を基準にして、その頂点３１と同じ緯度の頂点３１が、基準となる頂点３１と同じ行になるように展開した図である。図７では、配列要素２１との対応関係を示すため、各頂点３１を四角形のセル３２で表している。なお、頂点１，１２に対応する配列要素２１は、２次元配列領域２０を生成する過程において削除される。 The arrangement state of the array element 21 of the two-dimensional array region 20 corresponding to each pixel S1a of the discrete spherical image S1 shown in FIG. 5 is the plurality of vertices 31 of the geodetic dome 30 dual to the discrete spherical image S1, and FIG. As shown, this corresponds to a case where the arrangement of the array elements 21 is adjusted so as to be rectangular after being expanded in two dimensions. FIG. 7 is a diagram in which a plurality of vertices 31 on a predetermined meridian of the geodetic dome 30 are used as a reference, and the vertices 31 having the same latitude as the vertices 31 are developed so as to be in the same row as the reference vertex 31. . In FIG. 7, each vertex 31 is represented by a rectangular cell 32 in order to show the correspondence with the array element 21. The array element 21 corresponding to the vertices 1 and 12 is deleted in the process of generating the two-dimensional array region 20.
ここでは、説明の便宜上、図７に破線の矢印で示したようにセル３２が移動するような表現を用いているが、実際には、２次元格納領域２０を記憶部１５内に確保しておき、その２次元格納領域２０を上記手順で格納したとして、配列要素２１に対応するセル３２と測地ドーム３０を構成する頂点３１との対応関係を規定しておけばよい。 Here, for convenience of explanation, an expression is used in which the cell 32 moves as indicated by the dashed arrow in FIG. 7, but actually, the two-dimensional storage area 20 is secured in the storage unit 15. In addition, assuming that the two-dimensional storage area 20 is stored in the above procedure, the correspondence between the cell 32 corresponding to the array element 21 and the vertex 31 constituting the geodetic dome 30 may be defined.
記憶部１５内の２次元配列領域２０において（θＶ,φＶ）で指定される配列要素２１の値をＡ（θＶ,φＶ）として具体的に説明すると、投票部１２Ｃは、式（７）を満たす場合に、Ａ（θＶ,φＶ）＝Ａ（θＶ,φＶ）＋１を実行する。 The value of the array element 21 designated by (θ V , φ V ) in the two-dimensional array area 20 in the storage unit 15 will be specifically described as A (θ V , φ V ). If 7) is satisfied, A (θ V , φ V ) = A (θ V , φ V ) +1 is executed.
判定部１２Ｄは、投票部１２Ｃで行われた投票結果を判定し、消失点Ｖを特定する。具体的には、所定の投票数以上の投票数を有する配列要素２１を決定する。判定部１２Ｄは、所定の投票数以上の投票数の配列要素２１を規定するθＶ及びφＶで規定される消失点ベクトルｎｖで表される点を消失点Ｖとして特定する。 The determination unit 12D determines the voting result performed by the voting unit 12C and specifies the vanishing point V. Specifically, the array element 21 having a vote count equal to or greater than a predetermined vote count is determined. The determination unit 12D specifies, as the vanishing point V, the point represented by the vanishing point vector n v defined by θ V and φ V that defines the array element 21 having the number of votes equal to or greater than a predetermined number of votes.
図８は、消失点検出装置を利用した消失点検出方法の一例のフローチャートである。図８を利用して消失点を検出する方法について説明する。 FIG. 8 is a flowchart of an example of a vanishing point detection method using the vanishing point detection device. A method for detecting the vanishing point will be described with reference to FIG.
データ入力部１１が、撮影装置で撮影された撮影画像（入力画像）の画像データを受け付ける（データ受付け工程Ｓ１０）。 The data input unit 11 receives image data of a captured image (input image) captured by the imaging apparatus (data reception step S10).
その後、エッジ点検出部１２Ａが撮影画像における直線Ｌの投影像上のエッジ点ｐＬを検出する（エッジ点検出工程Ｓ１１）。 Thereafter, the edge point detection unit 12A detects the edge point p L on the projected image of the straight line L in the captured image (edge point detection step S11).
次に、球面勾配ベクトル算出部１２Ｂが、検出したエッジ点ｐＬに対して球面勾配ベクトルｇｖ（θＬ，φＬ）＝∇Ｉ０（θＬ，φＬ）を算出する。（球面勾配ベクトル算出工程Ｓ１２）。 Next, the spherical gradient vector calculation unit 12B calculates a spherical gradient vector g v (θ L , φ L ) = ∇I 0 (θ L , φ L ) for the detected edge point p L. (Spherical gradient vector calculation step S12).
その後、投票部１２Ｃが、算出した球面勾配ベクトルｇｖ（θＬ，φＬ）に対して、球面勾配ベクトルｇＬ（θＬ，φＬ）と直交するベクトルを、式（６）を満たす消失点ベクトルｎｖ（θｖ，φｖ）として、ハフ空間に投票する（投票工程Ｓ１３）。 Thereafter, the voting unit 12C eliminates a vector orthogonal to the spherical gradient vector g L (θ L , φ L ) that satisfies the formula (6) with respect to the calculated spherical gradient vector g v (θ L , φ L ). The point vector n v (θ v , φ v ) is voted on the Hough space (voting step S13).
投票を行った後、判定部１２Ｄが、投票部１２Ｃにおける投票結果において、所定の投票数以上の投票数の消失点ベクトルｎｖ（θｖ，φｖ）を決定することによって、撮影画像における消失点Ｖを検出する（判定工程Ｓ１４）。 After voting, the determination unit 12D determines the vanishing point vector n v (θ v , φ v ) of the number of votes greater than or equal to a predetermined number of votes in the voting result in the voting unit 12C, thereby erasing the captured image. A point V is detected (determination step S14).
上記エッジ点検出工程Ｓ１１、球面勾配ベクトル算出工程Ｓ１２、投票工程Ｓ１３及び判定工程Ｓ１４が、消失点検出方法における消失点の検出工程に対応する。 The edge point detection step S11, the spherical gradient vector calculation step S12, the voting step S13, and the determination step S14 correspond to the vanishing point detection step in the vanishing point detection method.
そして、データ出力部１３が、判定部１２Ｄで特定された消失点Ｖを撮影画像に重畳した画像を表示装置又はネットワークなどに出力する（データ出力工程Ｓ１５）。ここでは、特定された消失点Ｖが撮影画像に重畳された画像を出力する場合を示したが、データ出力部１３は、球面画像Ｓ、エッジ点ｐＬ（又はエッジ点ＰＬ）を検出した画像などの処理過程の画像、又は、撮影画像自体を適宜出力してもよい。 Then, the data output unit 13 outputs an image in which the vanishing point V specified by the determination unit 12D is superimposed on the captured image to a display device or a network (data output step S15). Here, the case where the image in which the specified vanishing point V is superimposed on the captured image is output is shown, but the data output unit 13 detects the spherical image S and the edge point p L (or the edge point P L ). You may output suitably the image of process processes, such as an image, or the picked-up image itself.
消失点Ｖは、２つ以上の平行な直線の画像上の交点として定義される。この定義によれば、直線を検出した後に、それらの交点として消失点Ｖを算出可能である。 The vanishing point V is defined as the intersection on the image of two or more parallel straight lines. According to this definition, after detecting straight lines, the vanishing point V can be calculated as an intersection of them.
これに対して、上記消失点検出装置１０では、エッジ点ｐＬ（又はエッジ点ＰＬ）の球面勾配ベクトルｇＬ（θＬ，φＬ）と法線ベクトルｎｐとの内積が０という条件を利用して消失点Ｖを検出している。すなわち、消失点検出装置１０では、直線を検出せずに消失点Ｖを直接算出可能である。その結果、消失点Ｖをより早く検出（特定）できる。 Conditions In contrast, in the vanishing point detecting device 10, as spherical gradient vector g L (θ L, φ L ) of the edge point p L (or edge points P L) is the inner product between the normal vector n p 0 Is used to detect the vanishing point V. That is, the vanishing point detection device 10 can directly calculate the vanishing point V without detecting a straight line. As a result, the vanishing point V can be detected (specified) earlier.
消失点Ｖは、画像の解析及び撮像装置の姿勢推定などに広く利用される。すなわち、消失点Ｖを利用して更に他の画像処理が行われることになる。そのため、消失点Ｖを早く検出することで、消失点Ｖを含む画像の利用者に所望の画像処理が施された画像を早く提供可能である。 The vanishing point V is widely used for image analysis and posture estimation of the imaging device. That is, further image processing is performed using the vanishing point V. Therefore, by quickly detecting the vanishing point V, it is possible to quickly provide an image subjected to desired image processing to the user of the image including the vanishing point V.
例えば、消失点Ｖを利用すれば、自動車の後方を撮影する撮像装置において、取得した画像の鳥瞰画像を形成することも可能である。このような画像は、例えば、自動車を駐車する際等の後方確認に有用である。消失点Ｖをより早く検出できることから、消失点検出装置１０を利用することで、リアルタイムにより近い状態で運転者に後方画像として鳥瞰画像を提供し得る。 For example, if the vanishing point V is used, it is also possible to form a bird's-eye image of the acquired image in an imaging device that captures the back of the automobile. Such an image is useful for backward confirmation, for example, when parking a car. Since the vanishing point V can be detected earlier, by using the vanishing point detection device 10, a bird's-eye view image can be provided as a rear image to the driver in a state closer to real time.
以下、実験例を利用して具体的に説明する。実験では、撮影装置として、魚眼レンズを利用した魚眼カメラを用いた。 Hereinafter, it demonstrates concretely using an experiment example. In the experiment, a fisheye camera using a fisheye lens was used as a photographing device.
実験例１について説明する。実験例１では、白と黒とのストライプパターンをテストパターンとして用意した。このテストパターンを、撮像装置としての魚眼カメラで撮影した。図９は、テストパターンの魚眼画像である。実験例１では、一つの魚眼レンズを備えた一つの魚眼カメラでテストパターンを撮影したので、球面画像における半球分の像が得られている。この魚眼画像を入力画像として、図２に示した消失点検出装置１０で、消失点Ｖの検出を行った。 Experimental example 1 will be described. In Experimental Example 1, a stripe pattern of white and black was prepared as a test pattern. This test pattern was photographed with a fish-eye camera as an imaging device. FIG. 9 is a fish-eye image of the test pattern. In Experimental Example 1, since the test pattern was photographed with one fisheye camera provided with one fisheye lens, an image of a hemisphere in a spherical image was obtained. With this fisheye image as an input image, the vanishing point V was detected by the vanishing point detection apparatus 10 shown in FIG.
図１０は、球面勾配ベクトルの検出結果を示す図面である。図１０中のグレースケールの濃淡における同じ「濃さ」は、球面勾配ベクトルｇＬが同じ方向であることを示している。図９と図１０とを比較すると、ストライプにおける白と黒との境界を示す直線毎に、球面勾配ベクトルｇＬの方向が同じであることが理解される。これは、前述したように、直線の投影像ｌ中の全てのエッジ点ＰＬの球面勾配ベクトルｇＬは、投影像ｌを含む平面Πの法線ベクトルｎｐと平行であるからである。 FIG. 10 is a diagram illustrating the detection result of the spherical gradient vector. The same “darkness” in grayscale shades in FIG. 10 indicates that the spherical gradient vector g L is in the same direction. Comparing FIG. 9 and FIG. 10, it is understood that the direction of the spherical gradient vector g L is the same for each straight line indicating the boundary between white and black in the stripe. This is because, as described above, the spherical gradient vector g L of all the edge points P L in the straight projection image l is parallel to the normal vector n p of the plane 含 む including the projection image l.
図１１は、投票結果の一例を示す図面である。図１１では、図４に示した２次元配列領域２０をハフ空間として投票した。なお、本実施形態では、半球のデータに対して投票しているので、長方形のうちの半分の領域に投票が実施されている。図１１中において、実線の円及び破線の円で囲んだ領域で投票数が大きいことがわかる。図９から理解されるように、テストパターンの像には、一対の消失点Ｖが存在しているので、消失点検出装置１０で、適切に消失点Ｖを検出できていることが理解され得る。図１１の検出結果と図９との対応関係を示すため、実線の円及び破線の円で囲んだ領域の検出結果それぞれに対応する消失点の位置を、図９では、実線で表した白い円及び破線で表した白い円で示している。 FIG. 11 is a diagram illustrating an example of a vote result. In FIG. 11, the two-dimensional array area 20 shown in FIG. 4 is voted as a Hough space. In this embodiment, since voting is performed on hemispherical data, voting is performed on a half area of the rectangle. In FIG. 11, it can be seen that the number of votes is large in a region surrounded by a solid circle and a broken circle. As can be understood from FIG. 9, since there is a pair of vanishing points V in the test pattern image, it can be understood that the vanishing point detection device 10 can detect the vanishing points V appropriately. . In order to show the correspondence between the detection result of FIG. 11 and FIG. 9, the position of the vanishing point corresponding to each of the detection results of the region surrounded by the solid circle and the broken circle is shown in FIG. 9 as a white circle represented by a solid line. And a white circle represented by a broken line.
図１２は、消失点の検出結果の評価を示す図表である。図１２には、図１１中の実線の円から推定される消失点の座標と共に、計算誤差も示している。計算誤差は、推定された消失点の球面画像Ｓ上の位置ベクトルと、消失点の正確な位置ベクトル（０，１，０）とのずれ角で表した。更に、図１２には、複数の平行な直線を実際に特定して、それらの交点として消失点を算出した場合の消失点の座標と共に、計算誤差を、実験例２として示している。 FIG. 12 is a chart showing evaluation of vanishing point detection results. FIG. 12 shows the calculation error along with the coordinates of the vanishing point estimated from the solid circle in FIG. The calculation error is represented by a deviation angle between the estimated position vector of the vanishing point on the spherical image S and the accurate position vector (0, 1, 0) of the vanishing point. Further, FIG. 12 shows a calculation error as Experimental Example 2 together with the vanishing point coordinates when a plurality of parallel straight lines are actually specified and the vanishing point is calculated as an intersection of them.
図１２に示した図表より、球面勾配ベクトルｇＬを利用する方法でも、実際に検出した直線を利用して消失点Ｖを検出する場合と、ほとんど同様の計算誤差で消失点Ｖを検出できていることが理解される。すなわち、直線を検出せずに球面勾配ベクトルｇＬから直接的に消失点Ｖを検出したとしても、直線検出とほぼ同様の精度で、直線検出する場合より早く消失点Ｖを検出し得る。 From the chart shown in FIG. 12, even with the method using the spherical gradient vector g L , the vanishing point V can be detected with almost the same calculation error as when the vanishing point V is detected using the actually detected straight line. It is understood that In other words, even if the vanishing point V is detected directly from the spherical gradient vector g L without detecting a straight line, the vanishing point V can be detected earlier than when a straight line is detected with almost the same accuracy as the straight line detection.
実験例３として、実際の風景を撮像装置で撮影した画像を入力画像に用いた場合の実験結果を説明する。図１３は、実験例３の撮影画像を示す図面である。図１３中において、白い円の部分が消失点に対応する。図１４は、実験例３における消失点検出装置における投票結果を示す図面である。図１４に示すように、投票数の多い点として、黒い円の部分を特定することで、消失点Ｖを検出できることが理解され得る。 As Experimental Example 3, an experimental result when an image obtained by photographing an actual landscape with an imaging device is used as an input image will be described. FIG. 13 is a drawing showing a photographed image of Experimental Example 3. In FIG. 13, the white circle corresponds to the vanishing point. FIG. 14 is a drawing showing voting results in the vanishing point detection apparatus in Experimental Example 3. As shown in FIG. 14, it can be understood that the vanishing point V can be detected by specifying a black circle portion as a point having a large number of votes.
（第２の実施形態）
第２の実施形態として、球面勾配ベクトルを利用して直線を検出する形態について説明する。
(Second Embodiment)
As a second embodiment, a mode of detecting a straight line using a spherical gradient vector will be described.
図１５は、一実施形態に係る検出装置としての直線検出装置の概略構成を示す図面である。図１５に示した検出装置４０は、撮像装置で得られた画像中の直線を検出する装置である。よって、検出装置４０を直線検出装置４０と称す。直線検出装置４０は、球面勾配ベクトルに基づいて直線を検出する一つの方法としてハフ変換を利用した装置である。 FIG. 15 is a diagram illustrating a schematic configuration of a straight line detection device as a detection device according to an embodiment. The detection device 40 illustrated in FIG. 15 is a device that detects a straight line in an image obtained by the imaging device. Therefore, the detection device 40 is referred to as a straight line detection device 40. The straight line detection device 40 is a device that uses Hough transform as one method for detecting a straight line based on a spherical gradient vector.
直線検出装置４０は、消失点検出部１２の代わりに直線検出部４１を備える点以外は、消失点検出装置１０の構成と同様であるので、直線検出部４１を中心にして説明する。 The straight line detection device 40 is the same as the configuration of the vanishing point detection device 10 except that a straight line detection unit 41 is provided instead of the vanishing point detection unit 12, and therefore the straight line detection unit 41 will be mainly described.
直線検出部４１は、エッジ点検出部１２Ａと、球面勾配ベクトル算出部１２Ｂと、投票部４１Ａと、判定部１２Ｄとを有する。エッジ点検出部１２Ａ、球面勾配ベクトル算出部１２Ｂ及び判定部１２Ｄの機能は、消失点検出部１２の場合と同様であるので、説明を省略する。 The straight line detection unit 41 includes an edge point detection unit 12A, a spherical gradient vector calculation unit 12B, a voting unit 41A, and a determination unit 12D. Since the functions of the edge point detection unit 12A, the spherical gradient vector calculation unit 12B, and the determination unit 12D are the same as those of the vanishing point detection unit 12, the description thereof is omitted.
投票部４１Ａは、一つの球面勾配ベクトルｇＬ（θＬ，φＬ）と同じ方向の法線ベクトルｎｐ（θｐ，φｐ）に対して、一つの投票を行う。 The voting unit 41A performs one vote for the normal vector n p (θ p , φ p ) in the same direction as one spherical gradient vector g L (θ L , φ L ).
すなわち、次の条件で投票を行う。
図１６は、直線検出装置を利用した直線検出方法のフローチャートである。直線の検出方法では、投票部１２Ｃが投票する投票工程Ｓ１３の代わりに、投票部４１Ａが投票する投票工程Ｓ２０を備える点以外は、消失点検出装置１０を利用して消失点Ｖを検出する場合の工程と同様である。データ受付け工程Ｓ１０、エッジ点検出工程Ｓ１１及び球面勾配ベクトル算出工程Ｓ１２は、図８に示した場合と同様であるため、説明を省略する。 FIG. 16 is a flowchart of a straight line detection method using a straight line detection device. In the straight line detection method, the vanishing point V is detected using the vanishing point detection device 10 except that the voting unit 41A includes a voting step S20 instead of the voting step S13 that the voting unit 12C votes. This is the same as the process. The data receiving step S10, the edge point detecting step S11, and the spherical gradient vector calculating step S12 are the same as those shown in FIG.
投票工程Ｓ２０において、投票部４１Ａは、式（７）に基づいて投票を行う。その後、判定部１２Ｄが、投票部４１Ａにおける投票結果において、所定の投票数以上の投票数の法線ベクトルｎｐ（θｐ，φｐ）を決定することによって、撮影画像における直線を検出する（判定工程Ｓ１４）。 In the voting process S20, the voting unit 41A performs voting based on the equation (7). Thereafter, the determination unit 12D detects a straight line in the captured image by determining a normal vector n p (θ p , φ p ) of the number of votes greater than or equal to a predetermined number of votes in the voting result in the voting unit 41A ( Determination step S14).
図１６に示したエッジ点検出工程Ｓ１１、球面勾配ベクトル算出工程Ｓ１２、投票工程Ｓ２０及び判定工程Ｓ１４が、直線検出方法における直線の検出工程に対応する。 The edge point detection step S11, spherical gradient vector calculation step S12, voting step S20, and determination step S14 shown in FIG. 16 correspond to the straight line detection step in the straight line detection method.
その後、データ出力部１３が、判定部１２Ｄで特定された直線を撮影画像に重畳した画像を表示装置又はネットワークなどに出力する（データ出力工程Ｓ１５）。ここでは、特定された直線が撮影画像に重畳された画像を出力する場合を示したが、データ出力部１３は、球面画像、エッジ点を検出した画像などの処理過程の画像、又は、撮影画像自体を適宜出力してもよい。 Thereafter, the data output unit 13 outputs an image obtained by superimposing the straight line specified by the determination unit 12D on the captured image to a display device or a network (data output step S15). Here, the case where the image in which the specified straight line is superimposed on the captured image is output is shown, but the data output unit 13 is a processing image such as a spherical image, an image in which an edge point is detected, or the captured image. You may output itself suitably.
次に、球面勾配ベクトルｇＬ（θＬ，φＬ）を利用して直線を検出する点の作用効果について説明する。 Next, the effect of the point of detecting a straight line using the spherical gradient vector g L (θ L , φ L ) will be described.
図１７（ａ）は、撮影対象としてのテストパターンの一例を示している。図１７（ａ）のテストパターンは、説明のための便宜的なものである。図１７（ａ）中のハッチングは、同じ色が付されていることを模式的に示している。図１７（ａ）に示したテストパターン５０では、互いに平行で幅の異なる３つの線状パターン５１，５２，５３を有すると共に、線状パターン５１〜５３と交差する２つの線状パターン５４，５５を有する。図１７（ｂ）は、図１７（ａ）に示したテストパターン５０の球面画像Ｓを示している。図１７（ｂ）では、図１７（ａ）に示したハッチングは省略している。図１７（ｂ）には、線状パターン５１〜５５の投影パターン５１ｓ〜５５ｓを模式的に示している。図１７（ｂ）に示すように、テストパターン５０内で線状パターン５１〜５５は、球面画像Ｓでは湾曲した投影パターン５１ｓ〜５５ｓとして現れる。 FIG. 17A shows an example of a test pattern as an imaging target. The test pattern in FIG. 17A is for convenience of explanation. The hatching in FIG. 17A schematically indicates that the same color is given. The test pattern 50 shown in FIG. 17A has three linear patterns 51, 52, 53 that are parallel to each other and have different widths, and two linear patterns 54, 55 that intersect the linear patterns 51-53. Have FIG. 17B shows a spherical image S of the test pattern 50 shown in FIG. In FIG. 17B, the hatching shown in FIG. 17A is omitted. FIG. 17B schematically shows projection patterns 51 s to 55 s of the linear patterns 51 to 55. As shown in FIG. 17B, the linear patterns 51 to 55 in the test pattern 50 appear as curved projection patterns 51 s to 55 s in the spherical image S.
３つの線状パターン５１，５２，５３それぞれは、一対の平行な直線５１ａ，５１ｂ、直線５２ａ，５２ｂ及び直線５３ａ，５３ｂで構成される。図１７（ａ）に示したような平面画像（或いは透視画像）において、線状パターン５３を構成する一対の直線５３ａ，５３ｂそれぞれの勾配ベクトルは、互いに反対方向である。そのため、理論的には、勾配ベクトルを利用して、一対の直線５３ａ，５３ｂを検出可能である。これは、線状パターン５１，５２においても同様である。しかしながら、線状パターン５２，５３を構成する一対の平行な直線５２ａ，５２ｂ，５３ａ，５３ｂのうち、図１７（ａ）において、上側に位置する２つの直線５２ａ，５３ａの勾配ベクトルは同じ方向である。これは、直線５２ｂ，５３ｂでも同様である。従って、直線５２ａ，５３ａ又は直線５２ｂ，５３ｂは勾配ベクトルを利用して検出できない。 Each of the three linear patterns 51, 52, 53 includes a pair of parallel straight lines 51a, 51b, straight lines 52a, 52b, and straight lines 53a, 53b. In the planar image (or perspective image) as shown in FIG. 17A, the gradient vectors of the pair of straight lines 53a and 53b constituting the linear pattern 53 are in opposite directions. Therefore, theoretically, it is possible to detect the pair of straight lines 53a and 53b using the gradient vector. The same applies to the linear patterns 51 and 52. However, among the pair of parallel straight lines 52a, 52b, 53a, 53b constituting the linear patterns 52, 53, the gradient vectors of the two straight lines 52a, 53a located on the upper side in FIG. is there. The same applies to the straight lines 52b and 53b. Therefore, the straight lines 52a and 53a or the straight lines 52b and 53b cannot be detected using the gradient vector.
これに対して、球面画像Ｓ上では、直線５１ａ，５１ｂ、５２ａ，５２ｂ，５３ａ，５３ｂは、それぞれ異なる大円の一部として表される。直線５１ａ，５１ｂ、５２ａ，５２ｂ，５３ａ，５３ｂそれぞれに対応する大円の法線ベクトルは互いに異なるので、直線５１ａ，５１ｂ、５２ａ，５２ｂ，５３ａ，５３ｂそれぞれに対応する球面画像Ｓ上の投影像ｌ内のエッジ点ＰＬの球面勾配ベクトルｇＬも異なる。そのため、直線５１ａ，５１ｂ、５２ａ，５２ｂ，５３ａ，５３ｂそれぞれの投影像ｌ上のエッジ点ＰＬにおける球面勾配ベクトルｇＬを利用することで、直線５１ａ，５１ｂ，５２ａ，５２ｂ，５３ａ，５３ｂを検出可能である。 On the other hand, on the spherical image S, the straight lines 51a, 51b, 52a, 52b, 53a, 53b are each represented as a part of a different great circle. Since the normal vectors of the great circles corresponding to the straight lines 51a, 51b, 52a, 52b, 53a, and 53b are different from each other, the projected images on the spherical image S corresponding to the straight lines 51a, 51b, 52a, 52b, 53a, and 53b, respectively. The spherical gradient vector g L of the edge point P L in l is also different. Therefore, the straight lines 51a, 51b, 52a, 52b, 53a, 53b are obtained by using the spherical gradient vector g L at the edge point P L on the projected image l of each of the straight lines 51a, 51b, 52a, 52b, 53a, 53b. It can be detected.
球面勾配ベクトルｇＬを利用する場合、直線Ｌの投影像ｌを含む大円で分けられる２つの半球のうち、球面勾配ベクトルｇＬの方向に位置する半球と同じ側に位置する法線ベクトルｎｐを検出することで、２つの法線ベクトルｎｐのうちの一つを特定している。その結果、大円、すなわち、直線を特定する法線ベクトルｎｐが一意に決定され得る。 When the spherical gradient vector g L is used, a normal vector n located on the same side as the hemisphere located in the direction of the spherical gradient vector g L out of the two hemispheres divided by the great circle including the projection image l of the straight line L. By detecting p , one of the two normal vectors n p is specified. As a result, a great circle, that is, a normal vector n p that identifies a straight line can be uniquely determined.
更に、平行な複数の線状パターンにおける同じ側の直線（例えば、図１７（ａ）において上側の直線５１ａ，５２ａ，５３ａ）は、平面画像上では同じ勾配になるが、球面画像Ｓ上での勾配である球面勾配ベクトルは異なると共に、一つの線状パターンを構成する一対の直線の球面勾配ベクトルも異なる。その結果、撮影対象内において、平行な複数の線状パターンのうち同じ側の直線も区別可能であると共に、一つの線状パターンの幅が狭くてもハフ空間における一定数以上の投票数で特定される法線ベクトルｎｐを明確に区別できる。よって、直線をより高い精度で検出可能である。 Further, straight lines on the same side (for example, the upper straight lines 51a, 52a, 53a in FIG. 17A) in the plurality of parallel linear patterns have the same gradient on the planar image, but on the spherical image S. The spherical gradient vectors that are gradients are different, and the spherical gradient vectors of a pair of straight lines that form one linear pattern are also different. As a result, it is possible to distinguish straight lines on the same side among a plurality of parallel linear patterns within the object to be imaged, and even if the width of one linear pattern is narrow, it is specified with a certain number of votes in a Hough space. normal vector n p which is clearly distinguished. Therefore, a straight line can be detected with higher accuracy.
式（７）を利用して投票する場合には、球面勾配ベクトルｇＬの方向と一致する法線ベクトルｎｐに投票している。そのため、球面勾配ベクトルｇＬから直接的に直線を検出できるので、直線をより早く検出できる。 When voting using the equation (7), the voting is performed on the normal vector n p that coincides with the direction of the spherical gradient vector g L. Therefore, since a straight line can be directly detected from the spherical gradient vector g L , a straight line can be detected earlier.
以下、実験結果が参照しながら、直線検出装置の作用効果について更に説明する。実験では、自動車の側面に取り付けた撮像装置で撮影した画像に対して直線検出を行った。撮像装置は、魚眼レンズを備えた、いわゆる魚眼カメラを利用した。図１８は、魚眼カメラで取得された撮影画像を示す図面である。撮影画像の画素数は、６４０×４８０画素であった。実験では、Intel E4700 2.6GHをプロセッサとして有する共に、１ＧＢのメモリーを有するデスクトップ型パーソナルコンピュータにおいて、所定のプログラムを実装し、そのプログラムを実行することで、そのコンピュータを直線検出装置４０として使用した。 Hereinafter, the effects of the straight line detection device will be further described with reference to the experimental results. In the experiment, straight line detection was performed on an image taken with an imaging device attached to the side of the automobile. The imaging device utilized a so-called fisheye camera equipped with a fisheye lens. FIG. 18 is a drawing showing a captured image acquired by a fisheye camera. The number of pixels of the photographed image was 640 × 480 pixels. In the experiment, a desktop personal computer having Intel E4700 2.6GH as a processor and a 1 GB memory was mounted with a predetermined program, and the computer was used as the straight line detection device 40 by executing the program.
図１９は、図１８に示した撮影画像中のエッジ点を検出した図面である。図１９における各白点がエッジ点である。図１９では、図示の都合上、一つのエッジ点ｐＬに符号を付している。 FIG. 19 is a diagram in which edge points in the captured image shown in FIG. 18 are detected. Each white point in FIG. 19 is an edge point. In Figure 19, for convenience of illustration, and reference numeral to one edge point p L.
（実験例４）
実験例４では、球面勾配ベクトルを利用せずに以下の式に従って、投票を行った
式（８）中のベクトルＰＬは、エッジ点ＰＬの位置ベクトルを示している。式（８）の法線ベクトルｎｐとエッジ点ＰＬの位置ベクトルとの内積は、エッジ点ＰＬを通る大円を表す。従って、式（８）では、各エッジ点ＰＬを通る複数の大円の法線ベクトルｎｐが投票される。換言すれば、一つのエッジ点ＰＬに対応して、大円を示す法線ベクトルｎｐの投票結果としてのハフ曲線がハフ空間上に複数現れる。一つの直線の投影像に属する複数のエッジ点は同じ大円に属するので、複数のハフ曲線の交点、すなわち、投票数の大きい点で規定される法線ベクトルを特定することによって、直線が検出され得る。
(Experimental example 4)
In Experimental Example 4, voting was performed according to the following formula without using the spherical gradient vector.
A vector P L in Expression (8) indicates a position vector of the edge point P L. Inner product of the position vector of the normal vector n p and the edge point P L of the formula (8) represents the great circle passing through the edge point P L. Thus, in Formula (8), the normal vector n p of a plurality of great circle passing through each edge point P L is voted. In other words, a plurality of Hough curves appearing in the Hough space as voting results of the normal vector n p indicating the great circle corresponding to one edge point P L. Since multiple edge points belonging to one straight line projection image belong to the same great circle, a straight line can be detected by specifying a normal vector defined by the intersection of multiple Hough curves, that is, a point with a large number of votes Can be done.
図２０（ａ）は、式（８）に従って、投票を行った場合の投票結果を示す図面である。図２０（ｂ）は、図２０（ａ）に基づいた直線検出結果を示す図面である。 FIG. 20A is a drawing showing the voting results when voting is performed according to the equation (8). FIG. 20B is a diagram showing a straight line detection result based on FIG.
（実験例５）
実験例５では、球面勾配ベクトルを利用した以下の式に従って、投票を行った。
In Experimental Example 5, voting was performed according to the following equation using a spherical gradient vector.
式（１０）では、式（８）における条件に加えて、法線ベクトルｎｐと球面勾配ベクトルｇＬの内積が０より大きいという条件が付加されている。この新たな条件は、法線ベクトルｎｐの方向とエッジ点ＰＬの球面勾配ベクトルｇＬ（θＬ，φＬ）とのなす角度が９０°より小さいことを規定している。従って、式（９）に従って投票する場合には、各エッジ点ＰＬを通る複数の大円のうち、その大円を含む平面の法線ベクトルｎｐの方向がエッジ点ＰＬにおける球面勾配ベクトルｇＬと９０°より小さい角度をなす法線ベクトルｎｐが投票される。 In the equation (10), in addition to the condition in the equation (8), a condition that the inner product of the normal vector n p and the spherical gradient vector g L is larger than 0 is added. This new condition defines that the angle formed by the direction of the normal vector n p and the spherical gradient vector g L (θ L , φ L ) of the edge point P L is smaller than 90 °. Therefore, in the case of voting according to equation (9), among a plurality of great circle passing through each edge point P L, spherical gradient vector direction of the normal vector n p of the plane including the great circle in the edge point P L The normal vector n p forming an angle smaller than 90 ° with g L is voted.
図２１（ａ）は、式（９）に従って投票を行った場合の投票結果を示す図面である。図２１（ｂ）は、図２１（ａ）に基づいた直線検出結果を示す図面である。 FIG. 21 (a) is a drawing showing voting results when voting is performed according to equation (9). FIG. 21B is a diagram showing a straight line detection result based on FIG.
図２０（ａ）中において、領域α１，α２，α３，α５，α７内の点（配列要素）で決まる直線が、図２０（ｂ）に示した直線Ｌ１，Ｌ２，Ｌ３，Ｌ５，Ｌ７である。図２１（ａ）中において、領域α１，α２，α３，α４，α５，α６，α７内の点（配列要素）で決まる直線が、図２１（ｂ）に示した直線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６，Ｌ７に対応する。 In FIG. 20A, the straight lines determined by the points (array elements) in the regions α1, α2, α3, α5, α7 are the straight lines L1, L2, L3, L5, L7 shown in FIG. . In FIG. 21A, straight lines determined by points (array elements) in the regions α1, α2, α3, α4, α5, α6, α7 are the straight lines L1, L2, L3, L4 shown in FIG. , L5, L6, and L7.
図２０（ａ）及び図２０（ｂ）を比較することで理解されるように、球面勾配ベクトルを利用しない式（８）に従って投票した場合には一つの直線に対してハフ空間上に２つの対応点（配列要素２１）が生じている。これは前述したように一つ平面Πに対する法線ベクトルが２つ存在することによる。図２０（ａ）中において破線で囲んだ領域では、一定の閾値以上の投票数が得られた配列要素２１が存在するが、それらの配列要素２１を十分に分離できる程度の投票数差が得られていないため、図２０（ｂ）に示したように、撮影画像で視認できる直線とは別の直線（図２０（ｂ）中の破線で示す直線）が検出された。 As understood by comparing FIG. 20 (a) and FIG. 20 (b), when voting is performed according to the equation (8) that does not use the spherical gradient vector, two lines on the Hough space for one straight line are used. Corresponding points (array element 21) have occurred. This is because there are two normal vectors for one plane as described above. In the area surrounded by the broken line in FIG. 20A, there are array elements 21 in which the number of votes exceeding a certain threshold value is obtained, but a difference in the number of votes that can sufficiently separate these array elements 21 is obtained. Therefore, as shown in FIG. 20B, a straight line (a straight line indicated by a broken line in FIG. 20B) different from the straight line visible in the captured image was detected.
これに対して、図２１（ａ）及び図２１（ｂ）を比較すると、図２１（ａ）では、一つの直線に対してハフ空間上の対応点（配列要素２１）が一意に決定できている。その結果、図２１（ｂ）では、図２０（ｂ）において破線で示された直線は検出されていない。 On the other hand, when FIG. 21A and FIG. 21B are compared, in FIG. 21A, the corresponding point (array element 21) on the Hough space can be uniquely determined for one straight line. Yes. As a result, in FIG. 21B, the straight line indicated by the broken line in FIG. 20B is not detected.
すなわち、球面勾配ベクトルｇＬを利用することで、直線と、ハフ空間上の対応点との関係が一意に決定されやすく、結果として、直線の検出精度の向上が図られ得る。 That is, by using the spherical gradient vector g L, and the straight line, likely to be relevant is uniquely determined and the corresponding point on the Hough space, as a result, improvement in the linear detection accuracy can be achieved.
（実験例６）
実験例６では、球面勾配ベクトルを利用した以下の式に従って、投票を行った。
式（１０）中の”Ｔ”は、０より大きい所定の閾値である。実験例６では、Ｔ＝ｃｏｓ（π／３５）とした。図２２は、式（１０）を利用して投票した結果を示す。
(Experimental example 6)
In Experimental Example 6, voting was performed according to the following equation using a spherical gradient vector.
“T” in equation (10) is a predetermined threshold value greater than zero. In Experimental Example 6, T = cos (π / 35). FIG. 22 shows the result of voting using equation (10).
（実験例７）
実験例７では、式（７）に従って投票を行った。図２３は、式（７）を利用して投票した結果を示す。
(Experimental example 7)
In Experimental Example 7, voting was performed according to Equation (7). FIG. 23 shows the result of voting using equation (7).
実験例５〜７における投票結果である図２１（ａ）、図２２及び図２３を比較すると、同様の結果が得られていることがわかる。 Comparing FIG. 21A, FIG. 22 and FIG. 23 which are the voting results in Experimental Examples 5 to 7, it can be seen that similar results are obtained.
図２４は、計算速度の比較結果を示す図表である。図２４に示したように、球面勾配ベクトルを利用しない実験例４に対して、実験例５〜７はより早く直線の検出ができている。特に、式（７）を利用する実験例７が、処理時間が一番少なく、最も早く直線検出が可能であることが理解され得る。 FIG. 24 is a chart showing comparison results of calculation speeds. As shown in FIG. 24, the experimental examples 5 to 7 can detect a straight line faster than the experimental example 4 that does not use the spherical gradient vector. In particular, it can be understood that Experimental Example 7 using Expression (7) has the shortest processing time and can detect a straight line the fastest.
第２の実施形態の投票部４１Ａは、式（７）に従ったハフ変換を実施しているが、投票部４１Ａは、例えば、式（１０）に従ったハフ変換を実施してもよい。図２４の結果に示されるように、球面勾配ベクトルｇＬを利用しない場合より早く算出できるからである。 The voting unit 41A of the second embodiment performs the Hough transformation according to the equation (7), but the voting unit 41A may perform the Hough transformation according to the equation (10), for example. This is because, as shown in the result of FIG. 24, the calculation can be performed earlier than when the spherical gradient vector g L is not used.
以上、本発明の実施形態を説明したが、本発明は上記実施形態に限定されない。例えば、消失点検出装置１０及び直線検出装置４０の検出部が、エッジ点検出部、球面勾配ベクトル算出部、投票部及び判定部を備えていた。このように複数の構成要素を例示したのは、検出部を説明するための便宜的なものである。すなわち、例えば、撮影画像上の各画素に対して球面勾配ベクトルに変換する変換式や、ハフ空間を構成するセルと撮影画素との対応関係などが記憶部３９等に予め格納されていれば、検出部が、備えている複数の構成要素は、適宜統合されてもよい。換言すれば、検出部は、球面勾配ベクトルとハフ変換とを利用して、消失点又は直線を検出すればよい。 As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment. For example, the detection units of the vanishing point detection device 10 and the straight line detection device 40 include an edge point detection unit, a spherical gradient vector calculation unit, a voting unit, and a determination unit. The example of the plurality of components as described above is convenient for explaining the detection unit. That is, for example, if the conversion formula for converting each pixel on the captured image into a spherical gradient vector, the correspondence between the cells constituting the Hough space and the captured pixel, and the like are stored in advance in the storage unit 39 or the like, The plurality of components included in the detection unit may be integrated as appropriate. In other words, the detection unit may detect the vanishing point or the straight line using the spherical gradient vector and the Hough transform.
更に、第１の実施形態では消失点を検出するために、ハフ変換を利用した。しかしながら、検出すべき消失点ベクトルと、球面勾配ベクトルとの内積が０であるという条件を利用して、消失点ベクトルを特定出来ればよい。従って、検出すべき消失点ベクトルと、球面勾配ベクトルとの内積が０という条件の元で、例えば、最小二乗法を利用して、消失点ベクトルを特定してもよい。 Furthermore, in the first embodiment, the Hough transform is used to detect the vanishing point. However, it is sufficient that the vanishing point vector can be specified using the condition that the inner product of the vanishing point vector to be detected and the spherical gradient vector is zero. Therefore, the vanishing point vector may be specified using, for example, the least square method under the condition that the inner product of the vanishing point vector to be detected and the spherical gradient vector is zero.
上記第１及び第２の実施形態では、入力画像として、画角が１８０度以上である魚眼レンズといった広角レンズで撮影された画像を例示した。しかしながら、入力画像を取得する撮像装置がレンズ部は、魚眼レンズといった広角レンズに限らず、画角が１８０度より小さい他のレンズを有していてもよい。 In the said 1st and 2nd embodiment, the image image | photographed with wide angle lenses, such as a fisheye lens whose angle of view is 180 degree | times or more, was illustrated as an input image. However, in the imaging device that acquires an input image, the lens unit is not limited to a wide-angle lens such as a fisheye lens, and may have another lens with an angle of view smaller than 180 degrees.
更に、図２５に示した検出装置６０のように、消失点検出部１２と直線検出部４０とを有する検出部６１を備えてもよい。検出部６１は、検出装置６０のユーザからの指示により、消失点検出部１２と直線検出部４０とを利用して消失点及び直線の少なくとも一方を検出すればよい。なお、図２５では、消失点検出部１２と直線検出部４０とを別々に分けて記載しているが、それらの共通した機能については、共有化してもよい。また、検出装置１０，４０，６０は、それぞれ検出部で検出された消失点及び直線の少なくとも一方を利用して更に他の画像処理を施す画像処理部を有してもよい。 Furthermore, a detection unit 61 having a vanishing point detection unit 12 and a straight line detection unit 40 may be provided as in the detection device 60 shown in FIG. The detection unit 61 may detect at least one of the vanishing point and the straight line using the vanishing point detection unit 12 and the straight line detection unit 40 according to an instruction from the user of the detection device 60. In FIG. 25, the vanishing point detection unit 12 and the straight line detection unit 40 are separately described, but their common functions may be shared. The detection devices 10, 40, and 60 may include an image processing unit that performs further image processing using at least one of the vanishing point and the straight line detected by the detection unit.
本発明は、消失点及び直線の少なくとも一方の検出が必要とされる移動ロボット、監視カメラ、レスキュー道具及び自動車といった車両に搭載されるナビゲーション用又は外部確認用のカメラ等に適用可能である。 The present invention can be applied to a mobile robot, a surveillance camera, a rescue tool, and a camera for navigation or external confirmation mounted on a vehicle such as an automobile in which at least one of a vanishing point and a straight line is required.
１０…消失点検出装置（検出装置）、１１…データ入力部（入力部）、１２…消失点検出部（検出部）、４０…直線検出装置（検出装置）、４１…直線検出部、６０…検出装置、６１…検出部。 DESCRIPTION OF SYMBOLS 10 ... Vanishing point detection apparatus (detection apparatus), 11 ... Data input part (input part), 12 ... Vanishing point detection part (detection part), 40 ... Straight line detection apparatus (detection apparatus), 41 ... Straight line detection part, 60 ... Detection device, 61... Detection unit.
Claims (9)
前記入力部で受けた前記画像データにおける直線の投影像上のエッジ点の球面勾配ベクトルに基づいて、消失点及び直線の少なくとも一方を検出する検出部と、
を備え、
前記球面勾配ベクトルは、前記画像データを球面上に投影することによって形成される球面画像上における前記エッジ点の勾配ベクトルであり、
前記検出部は、前記消失点を検出する場合には、前記球面画像上における検出すべき前記消失点の位置ベクトルと前記エッジ点の球面勾配ベクトルとの関係から前記消失点を検出し、前記直線を検出する場合には、前記球面画像上における検出すべき前記直線の投影像を含む大円の法線ベクトルと前記エッジ点の球面勾配ベクトルとの関係から前記直線を検出する、
検出装置。 An input unit for receiving image data of the input image;
A detection unit for detecting at least one of a vanishing point and a straight line based on a spherical gradient vector of an edge point on a straight projection image in the image data received by the input unit;
With
The spherical gradient vector is a gradient vector of the edge point on a spherical image formed by projecting the image data onto a spherical surface,
When the vanishing point is detected, the detection unit detects the vanishing point from a relationship between a position vector of the vanishing point to be detected on the spherical image and a spherical gradient vector of the edge point, and the straight line Is detected from the relationship between the normal vector of the great circle including the projected image of the straight line to be detected on the spherical image and the spherical gradient vector of the edge point,
Detection device.
請求項１記載の検出装置。 The detection unit detects the vanishing point based on a condition that an inner product of a position vector of the vanishing point to be detected on the spherical image and a spherical gradient vector of the edge point is 0;
The detection device according to claim 1.
請求項２記載の検出装置。 The detection unit represents the position vector of the vanishing point on the spherical image under a voting condition of voting when the inner product of the position vector of the vanishing point and the spherical gradient vector of the edge point is 0. The vanishing point is detected by voting in a parameter space composed of parameters.
The detection device according to claim 2.
請求項１記載の検出装置。 The detection unit is to vote for the normal vector of a great circle that includes the projected image of the straight line to be detected on the spherical image and coincides with the direction of the spherical gradient vector of the edge point. Detecting the straight line by voting in a parameter space composed of parameters representing the normal vector under voting conditions;
The detection device according to claim 1.
前記受受け工程で受け付けられた前記画像データにおける直線の投影像上のエッジ点の球面勾配ベクトルに基づいて、消失点及び直線の少なくとも一方を検出する検出工程と、
を備え、
前記球面勾配ベクトルは、前記画像データを球面上に投影することによって形成される球面画像上における前記エッジ点の勾配ベクトルであり、
前記検出工程では、前記消失点を検出する場合には、前記球面画像上における検出すべき前記消失点の位置ベクトルと前記エッジ点の球面勾配ベクトルとの関係から前記消失点を検出し、前記直線を検出する場合には、前記球面画像上における検出すべき前記直線の投影像を含む大円の法線ベクトルと前記エッジ点の球面勾配ベクトルとの関係から前記直線を検出とする、
検出方法。 An image data receiving process for receiving image data of an input image;
A detection step of detecting at least one of a vanishing point and a straight line based on a spherical gradient vector of an edge point on a projected image of a straight line in the image data received in the receiving step;
With
The spherical gradient vector is a gradient vector of the edge point on a spherical image formed by projecting the image data onto a spherical surface,
In the detecting step, when the vanishing point is detected, the vanishing point is detected from a relationship between a position vector of the vanishing point to be detected on the spherical image and a spherical gradient vector of the edge point, and the straight line Is detected from the relationship between the normal vector of the great circle including the projected image of the straight line to be detected on the spherical image and the spherical gradient vector of the edge point,
Detection method.
請求項５記載の検出方法。 In the detection step, the vanishing point is detected based on a condition that an inner product of a position vector of the vanishing point to be detected on the spherical image and a spherical gradient vector of the edge point is 0.
The detection method according to claim 5.
前記消失点の位置ベクトルと前記エッジ点の球面勾配ベクトルとの内積が０であるときに投票するという投票条件の下で、前記球面画像上の前記消失点の位置ベクトルを表すパラメータで構成されるパラメータ空間に、投票を行う投票工程と、
前記投票結果を判定する工程であって、前記投票結果に基づいて前記消失点を検出する判定工程と、
を有する、
請求項６記載の検出方法。 The detection step includes
Consists of parameters representing the vanishing point position vector on the spherical image under a voting condition of voting when the inner product of the position vector of the vanishing point and the spherical gradient vector of the edge point is 0 A voting process for voting in the parameter space;
A step of determining the voting result, wherein the vanishing point is detected based on the voting result; and
Having
The detection method according to claim 6.
前記投票結果を判定する工程であって、前記投票結果に基づいて前記直線を検出する判定工程と、
を有する、
請求項５記載の検出方法。 The detecting step is a voting condition for voting on the normal vector of a great circle including the projected image of the straight line to be detected on the spherical image, which is coincident with the spherical gradient vector of the edge point A voting process for voting in a parameter space composed of parameters representing the normal vector,
A step of determining the voting result, wherein the determining step detects the straight line based on the voting result;
Having
The detection method according to claim 5.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012242929A JP2014092922A (en) | 2012-11-02 | 2012-11-02 | Detector, detection method, and detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012242929A JP2014092922A (en) | 2012-11-02 | 2012-11-02 | Detector, detection method, and detection program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014092922A true JP2014092922A (en) | 2014-05-19 |
Family
ID=50936956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012242929A Pending JP2014092922A (en) | 2012-11-02 | 2012-11-02 | Detector, detection method, and detection program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014092922A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296645A (en) * | 2015-06-25 | 2017-01-04 | 株式会社理光 | Image processing method and image processing apparatus |
| JP2017090450A (en) * | 2015-11-02 | 2017-05-25 | コグネックス・コーポレイション | System and method for detecting line in vision system |
| CN107424160A (en) * | 2015-11-02 | 2017-12-01 | 康耐视公司 | The system and method that image center line is searched by vision system |
| CN110570439A (en) * | 2018-06-06 | 2019-12-13 | 康耐视公司 | system and method for finding and classifying lines in an image using a vision system |
| US10937168B2 (en) | 2015-11-02 | 2021-03-02 | Cognex Corporation | System and method for finding and classifying lines in an image with a vision system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05173637A (en) * | 1991-12-26 | 1993-07-13 | Toshiba Corp | Visual guidance device for moving robot |
| JP2005252482A (en) * | 2004-03-02 | 2005-09-15 | Softopia Japan Foundation | Image generating apparatus and three-dimensional distance information acquisition apparatus |
| JP2009288885A (en) * | 2008-05-27 | 2009-12-10 | Tottori Univ | Lane detection device, lane detection method and lane detection program |
| JP2010225125A (en) * | 2009-03-25 | 2010-10-07 | Ihi Corp | Passage detecting program, and passage detection device and method |
-
2012
- 2012-11-02 JP JP2012242929A patent/JP2014092922A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05173637A (en) * | 1991-12-26 | 1993-07-13 | Toshiba Corp | Visual guidance device for moving robot |
| JP2005252482A (en) * | 2004-03-02 | 2005-09-15 | Softopia Japan Foundation | Image generating apparatus and three-dimensional distance information acquisition apparatus |
| JP2009288885A (en) * | 2008-05-27 | 2009-12-10 | Tottori Univ | Lane detection device, lane detection method and lane detection program |
| JP2010225125A (en) * | 2009-03-25 | 2010-10-07 | Ihi Corp | Passage detecting program, and passage detection device and method |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296645A (en) * | 2015-06-25 | 2017-01-04 | 株式会社理光 | Image processing method and image processing apparatus |
| JP2017010555A (en) * | 2015-06-25 | 2017-01-12 | 株式会社リコー | Image processing method and image processing apparatus |
| JP2017090450A (en) * | 2015-11-02 | 2017-05-25 | コグネックス・コーポレイション | System and method for detecting line in vision system |
| CN107424160A (en) * | 2015-11-02 | 2017-12-01 | 康耐视公司 | The system and method that image center line is searched by vision system |
| US10152780B2 (en) | 2015-11-02 | 2018-12-11 | Cognex Corporation | System and method for finding lines in an image with a vision system |
| US10902568B2 (en) | 2015-11-02 | 2021-01-26 | Cognex Corporation | System and method for finding lines in an image with a vision system |
| US10937168B2 (en) | 2015-11-02 | 2021-03-02 | Cognex Corporation | System and method for finding and classifying lines in an image with a vision system |
| US11699283B2 (en) | 2015-11-02 | 2023-07-11 | Cognex Corporation | System and method for finding and classifying lines in an image with a vision system |
| US11854173B2 (en) | 2015-11-02 | 2023-12-26 | Cognex Corporation | System and method for finding lines in an image with a vision system |
| CN110570439A (en) * | 2018-06-06 | 2019-12-13 | 康耐视公司 | system and method for finding and classifying lines in an image using a vision system |
| CN110570439B (en) * | 2018-06-06 | 2024-05-17 | 康耐视公司 | System and method for finding and classifying lines in an image using a vision system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7054803B2 (en) | Camera parameter set calculation device, camera parameter set calculation method and program | |
| US10594941B2 (en) | Method and device of image processing and camera | |
| US10681269B2 (en) | Computer-readable recording medium, information processing method, and information processing apparatus | |
| JP7018566B2 (en) | Image pickup device, image processing method and program | |
| US9429418B2 (en) | Information processing method and information processing apparatus | |
| JP6767998B2 (en) | Estimating external parameters of the camera from the lines of the image | |
| JP4825980B2 (en) | Calibration method for fisheye camera. | |
| JP5783567B2 (en) | Straight line detection device, straight line detection method, straight line detection program, and imaging system | |
| CN103065323B (en) | Subsection space aligning method based on homography transformational matrix | |
| JP2016057108A (en) | Arithmetic device, arithmetic system, arithmetic method and program | |
| JP2006059202A (en) | Imaging device and image correction method | |
| CN111279354A (en) | Image processing method, apparatus and computer-readable storage medium | |
| KR101482645B1 (en) | Distortion Center Correction Method Applying 2D Pattern to FOV Distortion Correction Model | |
| JP4132068B2 (en) | Image processing apparatus, three-dimensional measuring apparatus, and program for image processing apparatus | |
| JP2014092922A (en) | Detector, detection method, and detection program | |
| CN108933902A (en) | Panoramic picture acquisition device builds drawing method and mobile robot | |
| CN105205459A (en) | Method and device for identifying type of image feature point | |
| Núnez et al. | Data Fusion Calibration for a 3D Laser Range Finder and a Camera using Inertial Data. | |
| CN113034347A (en) | Oblique photographic image processing method, device, processing equipment and storage medium | |
| CN111582204A (en) | Attitude detection method and apparatus, computer device and storage medium | |
| JP2010217984A (en) | Image detector and image detection method | |
| JP5783569B2 (en) | Straight line detection device, straight line detection method, straight line detection program, and imaging system | |
| CN116363185B (en) | Geographic registration method, geographic registration device, electronic equipment and readable storage medium | |
| CN208638479U (en) | Panoramic picture acquisition device and mobile robot | |
| EP3557858B1 (en) | Imaging device and imaging method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151029 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20151029 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20151029 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151120 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160913 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170314 |