JP2012083157A - Outdoor feature detection system, program for the same, and record media of program for the same - Google Patents

Outdoor feature detection system, program for the same, and record media of program for the same Download PDF

Info

Publication number
JP2012083157A
JP2012083157A JP2010228418A JP2010228418A JP2012083157A JP 2012083157 A JP2012083157 A JP 2012083157A JP 2010228418 A JP2010228418 A JP 2010228418A JP 2010228418 A JP2010228418 A JP 2010228418A JP 2012083157 A JP2012083157 A JP 2012083157A
Authority
JP
Japan
Prior art keywords
feature
point
image
region
outdoor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010228418A
Other languages
Japanese (ja)
Other versions
JP5535025B2 (en
Inventor
Yosuke Ishiwatari
要介 石渡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2010228418A priority Critical patent/JP5535025B2/en
Publication of JP2012083157A publication Critical patent/JP2012083157A/en
Application granted granted Critical
Publication of JP5535025B2 publication Critical patent/JP5535025B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To specify a point group included in a target feature based on the point group obtained as a result of a laser survey as well as a designated piece of a camera image, and to detect a position and a size of the feature from the specified point group.SOLUTION: The present invention comprises: a camera image data storage section (31) which stores an image of a periphery of a target feature; a point group data storage section (32) which stores a laser survey result of the periphery of the target feature as a point group; an image drawing section (21) which displays the image of the periphery of the target feature on a monitor; a point designation section (12) which designates at least one point included in a range of the target feature from the image of the periphery of the target feature; and a feature detection processing sections (22 to 25) which detect a position and a size of the range of the feature by deciding the range of the feature on the image based on at least the one designated point, selecting the point group included in the decided range from the point group storage section and separating the point group corresponding to the feature through grouping the point groups having distances therebetween equal to or less than a certain value.

Description

本発明は、レーザ点群とカメラ画像を用いて屋外の地物検知を行う屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体に関するものである。   The present invention relates to an outdoor feature detection system that performs outdoor feature detection using a laser point cloud and a camera image, an outdoor feature detection system program, and an outdoor feature detection system program recording medium.

近年、GPS衛星やジャイロ・レーザ等を搭載した車両を利用したモービルマッピングシステム技術が発展してきている。このモービルマッピングシステムは、車両が走行した周辺の情報を連続的に取得することができるため、高精度地図作成等の技術への適用が主に期待されている。   In recent years, mobile mapping system technology using a vehicle equipped with a GPS satellite, a gyro laser, or the like has been developed. Since this mobile mapping system can continuously acquire information on the surroundings where the vehicle has traveled, it is mainly expected to be applied to techniques such as high-precision map creation.

ここで、高精度地図作成への応用には、モービルマッピングシステムによって取得した情報から、屋外の建物、広告といった地物を検知し、必要な情報を抜き出す必要がある。   Here, for application to high-precision map creation, it is necessary to detect features such as outdoor buildings and advertisements from information acquired by the mobile mapping system and extract necessary information.

レーザ測量は、車両からの距離を主に求めるものであり、そこから位置(点)を求める。このようにして求めた点のみでは、「レーザが何に当ったか」の判別ができないため、他の情報によって点がどの物体にあたっているかを判別する必要がある。   Laser surveying mainly determines the distance from the vehicle, from which the position (point) is determined. Since it is impossible to determine “what the laser hit” using only the points thus obtained, it is necessary to determine which object the point is in contact with by other information.

点群(レーザ測量によって得られた点の集合)と物体との関係を特定するためには、カメラ画像が使われることが多い。具体的には、カメラ画像によって検知される物体(地物)の画像上での位置と、カメラ画像撮影位置と点群との関係から、地物に当っている点群候補を見つけ出すことができる。   Camera images are often used to identify the relationship between a point cloud (a set of points obtained by laser surveying) and an object. Specifically, a point cloud candidate hitting the feature can be found from the position of the object (feature) detected by the camera image on the image and the relationship between the camera image shooting position and the point cloud. .

一方で、このような点群候補だけでは、地物に当る点群を絞り込むには不十分である。図15は、画像上の地物(看板)の範囲に含まれる点群の緯度・経度をプロットしたグラフである。図15に示すようなプロットには、目的の看板の前後の地物(例えば、建物の壁、電柱、電線等)も含まれるため、これらの除去処理が必要である。   On the other hand, such point cloud candidates alone are insufficient to narrow down the point cloud that hits the feature. FIG. 15 is a graph in which the latitude and longitude of the point group included in the range of the feature (signboard) on the image is plotted. The plot as shown in FIG. 15 also includes features before and after the target signboard (for example, building walls, utility poles, electric wires, etc.), and these removal processes are necessary.

特定の地物の点群を選び出す手法として、2つのカメラ画像による点群候補から選び出す手法がある(例えば、特許文献1参照)。この特許文献1では、同一の地物に対して2枚の画像を使い、それぞれから点群候補を抽出し、両者に含まれる点群の中で一致度の高いものを、対象の地物の点群とみなすものである。   As a method of selecting a point cloud of a specific feature, there is a method of selecting from point cloud candidates based on two camera images (see, for example, Patent Document 1). In this Patent Document 1, two images are used for the same feature, point cloud candidates are extracted from each of them, and a point cloud having a high degree of coincidence among the point clouds included in both is extracted. It is considered as a point cloud.

特開2009−76096号公報JP 2009-76096 A

しかしながら、従来技術には、以下のような課題がある。
この特許文献1に記載されたような手法のように、2枚の画像における点群の重なりから、対象の地物の点群を求める場合には、画像を取得した位置関係により重なりの範囲が異なる。図16および図17は、2枚の画像を取得した位置関係により、重なりの範囲が異なる場合を示す説明図である。
However, the prior art has the following problems.
When the point cloud of the target feature is obtained from the overlap of the point clouds in the two images as in the technique described in Patent Document 1, the overlap range is determined by the positional relationship in which the images are acquired. Different. FIG. 16 and FIG. 17 are explanatory diagrams showing a case where the overlapping range is different depending on the positional relationship in which two images are acquired.

モービルマッピングシステムの走行方向を、図16、図17中の矢印で示した向きとする。ここで、図16のように、2枚の画像を撮影した間隔が短い場合には、2枚の画像における点群の重なりが大きくなり、単純に重なるだけでは目的の地物以外のものに当った点群を拾う可能性がある。その逆に、図17のように、2枚の画像を撮影した距離が離れた場合には、2枚の画像における点群の重なりは小さくなるが、地物周辺のものに当った点群も含めて選ぶ可能性が高い。   The traveling direction of the mobile mapping system is the direction indicated by the arrows in FIGS. Here, as shown in FIG. 16, when the interval at which two images are taken is short, the overlap of the point groups in the two images increases, and simply overlapping does not hit the target feature. There is a possibility of picking up a point cloud. On the other hand, as shown in FIG. 17, when the distance at which two images are photographed is long, the overlap of the point clouds in the two images is small, but the point cloud that hits the surroundings of the feature is also present. There is a high possibility of selecting.

また、特許文献1では、地物の大きさによるグルーピングも行われている。しかしながら、このようなグルーピングを行うためには、あらかじめ地物の大きさを知る必要があり、大きさのわからない地物については、グルーピングできない問題もある。   Moreover, in patent document 1, grouping by the size of the feature is also performed. However, in order to perform such grouping, it is necessary to know the size of the feature in advance, and there is a problem that the feature cannot be grouped for a feature whose size is unknown.

本発明は、前記のような課題を解決するためになされたものであり、レーザ測量結果である点群と、指定された1枚のカメラ画像とに基づいて、対象となる地物に含まれる点群を特定し、特定した点群から地物の位置と大きさを検知することのできる屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体を得ることを目的とする。   The present invention has been made to solve the above-described problems, and is included in a target feature based on a point cloud that is a laser survey result and a specified one camera image. An outdoor feature detection system, an outdoor feature detection system program, and an outdoor feature detection system program recording medium capable of identifying a point cloud and detecting the position and size of the feature from the identified point cloud The purpose is to obtain.

本発明に係る屋外地物検知システムは、レーザ測量結果である点群とカメラ画像とを用いて屋外地物の検知を行なう屋外地物検知システムにおいて、対象となる地物周辺の画像を格納するカメラ画像データ格納部と、対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部と、カメラ画像データ格納部に格納された対象となる地物周辺の画像をモニタ上に表示させる画面描画部と、モニタ上に表示された対象となる地物周辺の画像の中から地物の領域内に含まれる少なくとも1点を指定する点指定部と、点指定部で指定された少なくとも1点に基づいて、画像上の地物の領域を決定し、決定した領域に含まれる点群を点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで地物に対応する点群を分離し、分離した点群の位置と範囲から点指定部で指定された少なくとも1点を含む地物の領域の位置と大きさを検知する地物検知処理部とを備えるものである。   An outdoor feature detection system according to the present invention stores an image around a target feature in an outdoor feature detection system that detects an outdoor feature using a point cloud as a laser survey result and a camera image. A camera image data storage unit, a point cloud data storage unit that stores laser survey results around the target feature as a point cloud, and an image around the target feature stored in the camera image data storage unit on the monitor Specified by the point drawing unit, the point designating unit for designating at least one point included in the region of the feature from the image around the target feature displayed on the monitor, and the point designating unit Based on at least one point, the region of the feature on the image is determined, the point group included in the determined region is extracted from the point cloud data storage unit, and the distance between the point groups is less than a certain distance. Feature by grouping A feature point detection processing unit for separating a corresponding point group and detecting the position and size of a feature region including at least one point designated by the point designation unit from the position and range of the separated point cloud It is.

また、本発明に係る屋外地物検知システム用プログラムは、コンピュータを、カメラ画像データ格納部に格納された対象となる地物周辺の画像をモニタ上に表示させる画面描画手段と、モニタ上に表示された対象となる地物周辺の画像の中から地物の領域内に含まれる少なくとも1点を指定する点指定手段と、点指定手段で指定された少なくとも1点に基づいて、画像上の地物の領域を決定し、決定した領域に含まれる点群を、対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで地物に対応する点群を分離し、分離した点群の位置と範囲から点指定手段で指定された少なくとも1点を含む地物の領域の位置と大きさを検知する地物検知処理手段として機能させるためのものである。   In addition, the outdoor feature detection system program according to the present invention includes a screen drawing means for displaying an image around a target feature stored in the camera image data storage unit on the monitor, and a display on the monitor. A point designating unit for designating at least one point included in the region of the feature among the images around the target feature to be processed, and a feature on the image based on at least one point designated by the point designating unit. The area of the object is determined, the point cloud included in the determined area is extracted from the point cloud data storage unit that stores the laser survey results around the target feature as the point cloud, and the distance between the point clouds is a fixed distance The point group corresponding to the feature is separated by grouping the following, and the position and size of the feature region including at least one point designated by the point designation means from the position and range of the separated point group Feature detection to detect It is intended to function as a management unit.

さらに、本発明に係る屋外地物検知システム用プログラムの記録媒体は、屋外地物検知システム用プログラムが記録されたコンピュータで読み取り可能な記録媒体であって、コンピュータに、カメラ画像データ格納部に格納された対象となる地物周辺の画像をモニタ上に表示させる画面描画ステップと、モニタ上に表示された対象となる地物周辺の画像の中から地物の領域内に含まれる少なくとも1点を指定する点指定ステップと、点指定ステップで指定された少なくとも1点に基づいて、画像上の地物の領域を決定し、決定した領域に含まれる点群を、対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで地物に対応する点群を分離し、分離した点群の位置と範囲から点指定ステップで指定された少なくとも1点を含む地物の領域の位置と大きさを検知する地物検知処理ステップとを含む処理を実行させるためのコンピュータで読み取り可能な屋外地物検知システム用プログラムの記録媒体である。   Furthermore, the recording medium for the outdoor feature detection system program according to the present invention is a computer-readable recording medium in which the program for the outdoor feature detection system is recorded, and is stored in the camera image data storage unit in the computer. A screen rendering step for displaying on the monitor an image around the target feature that has been set, and at least one point included in the region of the feature from among the images around the target feature displayed on the monitor A point designation step to be designated, and a region of the feature on the image is determined based on at least one point designated in the point designation step, and a point group included in the decided region is a laser around the target feature. The point cloud corresponding to the feature is separated by extracting the survey results from the point cloud data storage unit that stores them as point clouds, and grouping the distances between the point clouds below a certain distance. Reading by a computer for executing processing including a feature detection processing step for detecting the position and size of a feature region including at least one point specified in the point specification step from the position and range of the separated point cloud This is a recording medium for a program for a possible outdoor feature detection system.

本発明に係る屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体によれば、指定入力されたポイントに基づいて決定された画像上の地物領域に含まれる点群を抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで地物に対応する点群を特定することにより、レーザ測量結果である点群と、指定された1枚のカメラ画像とに基づいて、対象となる地物に含まれる点群を特定し、特定した点群から地物の位置と大きさを検知することのできる屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体を得ることができる。   According to the outdoor feature detection system, the program for the outdoor feature detection system, and the recording medium for the program for the outdoor feature detection system according to the present invention, the feature region on the image determined based on the designated input point By specifying the point cloud corresponding to the feature by extracting the point cloud included in the group and grouping the distance between the point clouds below a certain distance, the point cloud that is the laser survey result is specified. An outdoor feature detection system capable of identifying a point group included in a target feature based on a single camera image and detecting the position and size of the feature from the identified point group, A recording medium for the feature detection system program and the outdoor feature detection system program can be obtained.

本発明の実施の形態1における屋外地物検知システムの画面例である。It is an example of a screen of the outdoor feature detection system in Embodiment 1 of this invention. 本発明の実施の形態1における屋外地物検知システムで点群を取得する一例の説明図である。It is explanatory drawing of an example which acquires a point cloud with the outdoor feature detection system in Embodiment 1 of this invention. 本発明の実施の形態1における屋外地物検知システムの構成図である。It is a block diagram of the outdoor feature detection system in Embodiment 1 of this invention. 本発明の実施の形態1における点群抽出部の入力、処理、出力の一連動作を示したフローチャートである。It is the flowchart which showed a series of operation | movement of the input of a point cloud extraction part in Embodiment 1 of this invention, a process, and an output. 本発明の実施の形態1における図4のステップS400の具体的な処理を示したフローチャートである。It is the flowchart which showed the specific process of step S400 of FIG. 4 in Embodiment 1 of this invention. 本発明の実施の形態1における点群抽出部による点群の画像上の位置の算出方法に関する説明図である。It is explanatory drawing regarding the calculation method of the position on the image of the point cloud by the point cloud extraction part in Embodiment 1 of this invention. 本発明の実施の形態1における図4のステップS500の具体的な処理を示したフローチャートである。It is the flowchart which showed the specific process of step S500 of FIG. 4 in Embodiment 1 of this invention. 本発明の実施の形態1における図7のステップS510の具体的な処理を示したフローチャートである。It is the flowchart which showed the specific process of step S510 of FIG. 7 in Embodiment 1 of this invention. 本発明の実施の形態1における図7のステップS520の具体的な処理を示したフローチャートである。It is the flowchart which showed the specific process of FIG.7 S520 in Embodiment 1 of this invention. 本発明の実施の形態1における図9のステップS5220の具体的な処理を示したフローチャートである。It is the flowchart which showed the specific process of step S5220 of FIG. 9 in Embodiment 1 of this invention. 本発明の実施の形態1における図10のステップS5221の具体的な処理を示したフローチャートである。It is the flowchart which showed the specific process of step S5221 of FIG. 10 in Embodiment 1 of this invention. 本発明の実施の形態1における点群抽出部で算出した点群の外形の一例を示す説明図である。It is explanatory drawing which shows an example of the external shape of the point cloud calculated by the point cloud extraction part in Embodiment 1 of this invention. 本発明の実施の形態1における点群抽出部の処理により、電線等の影響を除去するための説明図である。It is explanatory drawing for removing the influence of an electric wire etc. by the process of the point cloud extraction part in Embodiment 1 of this invention. 本発明の実施の形態1における点群抽出部で抽出した電柱および電線の点群をプロットした説明図である。It is explanatory drawing which plotted the point group of the utility pole extracted by the point group extraction part in Embodiment 1 of this invention, and an electric wire. 画像上の地物(看板)の範囲に含まれる点群の緯度・経度をプロットしたグラフである。It is the graph which plotted the latitude and longitude of the point group contained in the range of the feature (signboard) on the image. 2枚の画像を取得した位置関係により、重なりの範囲が異なる場合を示す説明図である。It is explanatory drawing which shows the case where the range of overlap differs by the positional relationship which acquired two images. 2枚の画像を取得した位置関係により、重なりの範囲が異なる場合を示す説明図である。It is explanatory drawing which shows the case where the range of overlap differs by the positional relationship which acquired two images.

以下、本発明の屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体の好適な実施の形態につき図面を用いて説明する。本発明に係る屋外地物検知システムは、カメラ画像内の所望の地物の位置を特定する指定入力に基づいて、所望の地物に対応するレーザ点群を抽出することで、当該所望の地物の領域を求め、地物の位置および大きさを検知することを技術的特徴とする。   Hereinafter, preferred embodiments of an outdoor feature detection system, an outdoor feature detection system program, and an outdoor feature detection system program recording medium according to the present invention will be described with reference to the drawings. The outdoor feature detection system according to the present invention extracts a laser point group corresponding to a desired feature based on a designation input that specifies the position of the desired feature in the camera image, thereby obtaining the desired feature. The technical feature is to obtain the region of the object and detect the position and size of the feature.

また、本発明の屋外地物検知システム用プログラムは、上述した本発明の屋外地物検知システムに必要とされる機能をコンピュータで実行するためのプログラムである。また、屋外地物検知システム用プログラムの記録媒体は、当該プログラムが記録されたコンピュータで読み取り可能な記録媒体である。   Moreover, the program for outdoor feature detection systems of this invention is a program for performing the function required for the outdoor feature detection system of this invention mentioned above with a computer. The recording medium for the outdoor feature detection system program is a computer-readable recording medium in which the program is recorded.

実施の形態1.
まず始めに、本願発明における「点群を選び出す手法」の概略を、図1、図2を用いて説明する。図1は、本発明の実施の形態1における屋外地物検知システムの画面例である。本発明では、「システム利用者が画面上にある地物を指定(ここでは、標識を指定)」することで、所望の地物の位置、大きさを指定する、というものである。
Embodiment 1 FIG.
First, the outline of the “method for selecting a point group” in the present invention will be described with reference to FIGS. FIG. 1 is a screen example of the outdoor feature detection system in Embodiment 1 of the present invention. In the present invention, “the system user designates a feature on the screen (here, a sign is designated)” to designate the position and size of a desired feature.

この際、指定手段は、「利用者が地物の領域を指定する」方法でも構わないし、「利用者の指定した位置を利用した画像認識によって領域を判定する」方法でも構わない。   At this time, the designation means may be a “user designates an area of a feature” method or a “determine area by image recognition using a position designated by the user” method.

そして、本発明では、「システム利用者が画面上にある地物を指定」することに基づいて、「システム利用者から画面上の所望の地物が認識されている」ことに着目する。すなわち、本発明は、多少他の地物に隠れるようなこともあるが、システム利用者からは、地物があること、および大きさの程度が認識し得る、という前提を考慮している。   In the present invention, attention is paid to the fact that “a desired feature on the screen is recognized by the system user” based on the “designation of the feature on the screen by the system user”. That is, the present invention considers the premise that the system user can recognize the presence of the feature and the degree of size, although it may be somewhat hidden behind other features.

そこで、このような前提を、点群を選び出す手法に適用することを考える。点群を何らかの形でグルーピングすることで、「地物別の点群」をまとめ、それらの点群とモービルマッピングシステムの位置関係を考えるとする。このとき、前述の「システム利用者が対象の地物を認識」できる状況であるという前提を鑑みると、「地物はモービルマッピングシステムで検出すべき所望の地物に最も近い」ものであると考えられる。   Therefore, it is considered that such a premise is applied to a method for selecting a point cloud. Suppose that the point cloud is grouped in some form, and the “point cloud by feature” is put together, and the positional relationship between the point cloud and the mobile mapping system is considered. At this time, in view of the premise that “the system user can recognize the target feature” described above, the “feature is closest to the desired feature to be detected by the mobile mapping system”. Conceivable.

しかしながら、この際に、地物の手前に障害物がある場合の除去が必要である。このような除去処理にあたっては、システム利用者が地物を認識できていることから、「障害物の大きさが(地物領域に比して)小さく、地物認識の障害にならない」ことを利用する。すなわち、点群を画面上にマッピングした時に、地物領域をどの程度覆うかを判別し、閾値以下ならば地物ではない、と判断することができ、その結果、障害物の除去が可能となる。   However, at this time, it is necessary to remove the obstacle in front of the feature. In such a removal process, since the system user can recognize the feature, “the size of the obstacle is small (compared to the feature region) and does not become an obstacle to feature recognition”. Use. That is, when the point cloud is mapped on the screen, it is determined how much the feature area is covered, and if it is below the threshold value, it can be determined that it is not a feature, and as a result, obstacles can be removed. Become.

また、点群のグルーピングに関しては、同じ地物に当った点群ならば近くに存在するということを利用するなどによって可能である。具体的には、例えば、点群間の距離が一定距離以下のもの同士をすべてまとめる、などである。   In addition, regarding the grouping of point clouds, it is possible to use the fact that a point cloud that hits the same feature exists nearby. Specifically, for example, all the distances between the point groups are equal to or less than a certain distance.

また、図2は、本発明の実施の形態1における屋外地物検知システムで点群を取得する一例の説明図である。図2に示すように、「あるタイミングでは手前の地物によって点群が取得できない」場合でも、レーザの送出頻度が高いため、別のタイミングで取得できることから、障害物による影響は少ない。すなわち、図2の例では、カメラでは、地物2が邪魔なために地物1の一部の場所が映らない場合にも、別の場所からのレーザ送出により、カメラでは取得できなかった場所の点群を取得できることとなる。   FIG. 2 is an explanatory diagram of an example of acquiring point clouds by the outdoor feature detection system according to Embodiment 1 of the present invention. As shown in FIG. 2, even when “a point cloud cannot be acquired by a previous feature at a certain timing”, since the laser transmission frequency is high, it can be acquired at another timing, and therefore, the influence of the obstacle is small. That is, in the example of FIG. 2, even if a part of the feature 1 is not shown because the feature 2 is obstructed by the camera, a place that could not be obtained by the camera due to laser transmission from another place. The point cloud can be acquired.

上述した一連の処理により、特定の地物に当った点群を選び出すことができる。さらに、もしも地物の大きさが事前にわかっているならば、得られた点群を利用して大きさを計算し、条件に合うかどうかの検算を行うこともできる。ただし、点群が必ずしも地物の端点を覆うとは限らないため、計算した大きさには誤差が乗ることには注意しなければならない。   By the series of processes described above, it is possible to select a point cloud that hits a specific feature. Furthermore, if the size of the feature is known in advance, the size can be calculated using the obtained point cloud, and a check can be made as to whether or not the condition is met. However, since the point cloud does not necessarily cover the end points of the feature, it must be noted that there is an error in the calculated size.

次に、上述した「点群を選び出す手法」を実現するための、本願発明の屋外地物検知システムの具体的な構成および動作について、図3〜図14を用いて、以下に詳細に説明する。
図3は、本発明の実施の形態1における屋外地物検知システムの構成図である。本実施の形態1における屋外地物検知システムは、指定入力手段10、処理手段20、およびデータ記憶手段30で構成されている。
Next, a specific configuration and operation of the outdoor feature detection system of the present invention for realizing the above-described “point cloud selection method” will be described in detail below with reference to FIGS. .
FIG. 3 is a configuration diagram of the outdoor feature detection system according to Embodiment 1 of the present invention. The outdoor feature detection system according to the first embodiment includes a designation input unit 10, a processing unit 20, and a data storage unit 30.

指定入力手段10は、オペレータにより指定される入力データを受け付ける部分であり、画像指定部11、および点指定部12を有している。また、処理手段20は、受け付けた入力データ、およびデータ記憶手段30に保持されたデータに基づいて、データ処理を行う部分であり、画面描画部21、画像領域決定部22、点群抽出部23、実平面算出部24、および領域算出部25を有している。ここで、画像領域決定部22、点群抽出部23、実平面算出部24、および領域算出部25は、地物検知処理部に相当する。   The designation input means 10 is a part that receives input data designated by an operator, and includes an image designation unit 11 and a point designation unit 12. The processing unit 20 is a part that performs data processing based on the received input data and the data stored in the data storage unit 30, and includes a screen drawing unit 21, an image region determination unit 22, and a point group extraction unit 23. A real plane calculation unit 24 and a region calculation unit 25. Here, the image region determination unit 22, the point group extraction unit 23, the real plane calculation unit 24, and the region calculation unit 25 correspond to a feature detection processing unit.

さらに、データ記憶手段30は、入出力データが蓄積された記憶部であり、カメラ画像データ格納部31、点群データ格納部32、車両・カメラパラメータ格納部33、および領域出力結果格納部34を有している。   Further, the data storage means 30 is a storage unit in which input / output data is accumulated, and includes a camera image data storage unit 31, a point cloud data storage unit 32, a vehicle / camera parameter storage unit 33, and a region output result storage unit 34. Have.

次に、各構成要素の機能について、詳細に説明する。
まず始めに、指定入力手段10内の機能について説明する。画像指定部11は、カメラ画像データ格納部31内の各画像の中から、表示する画像を指定する手段である。具体的には、この画像指定部11としては、例えば、先の図1に示したように、カメラ画像データ格納部31内の各画像のサムネイルを画面上の一部に表示させ、その中から所望のものを選んで等倍表示させる、等が行われ得る。
Next, the function of each component will be described in detail.
First, functions in the designation input means 10 will be described. The image designation unit 11 is a unit that designates an image to be displayed from among the images in the camera image data storage unit 31. Specifically, as the image specifying unit 11, for example, as shown in FIG. 1, the thumbnails of the images in the camera image data storage unit 31 are displayed on a part of the screen, and from among them, A desired item can be selected and displayed at the same magnification.

点指定部12は、画像指定部11で指定された画像上の1点を指定する手段であり、この点が画像上の地物内に含まれているものとする。具体的には、画面上に選択表示された画像上の1点を、マウス等によるポインティング操作により指定することで行われ得る。   The point designating unit 12 is a means for designating one point on the image designated by the image designating unit 11, and this point is included in the feature on the image. Specifically, it can be performed by designating one point on the image selected and displayed on the screen by a pointing operation using a mouse or the like.

次に、データ記憶手段30内に格納されているデータについて説明する。
カメラ画像データ格納部31は、車両から撮影したカメラ画像が収められている記憶部である。この際、各画像とともに撮影時の時刻が格納されている。
Next, data stored in the data storage unit 30 will be described.
The camera image data storage unit 31 is a storage unit that stores camera images taken from a vehicle. At this time, the time at the time of photographing is stored together with each image.

点群データ格納部32は、車両から測量したレーザ測量データが収められている記憶部である。測量データは、各点群の座標値とともにレーザ測量を行った時刻が格納されている。なお、この各点群の座標系は、平面直角座標系(x、y、z座標)を用い、x座標が緯度方向、y座標が経度方向の原点からの距離、そしてz座標が標高をそれぞれ表す(例えば、非特許文献1:国土地理院、平面直角座標系(平成十四年国土交通省告示第九号)、http://www.gsi.go.jp/LAW/heimencho.html参照)。   The point cloud data storage unit 32 is a storage unit that stores laser survey data measured from a vehicle. The survey data stores the time when the laser survey was performed together with the coordinate values of each point group. The coordinate system of each point group is a plane rectangular coordinate system (x, y, z coordinate), where the x coordinate is the latitude direction, the y coordinate is the distance from the origin in the longitude direction, and the z coordinate is the altitude. (For example, see Non-Patent Document 1: Geospatial Information Authority of Japan, Plane Cartesian Coordinate System (Ministry of Land, Infrastructure, Transport and Tourism Notification No. 9 in 2004), http://www.gsi.go.jp/LAW/heimencho.html) .

車両・カメラパラメータ格納部33は、カメラ画像データ格納部31内のカメラ画像データおよび点群データ格納部32内の点群データを取得した際の車両パラメータおよびカメラパラメータが収められている記憶部である。具体的には、カメラ撮影時の車両の位置・向きや、車両上のカメラの配置・カメラ焦点距離等のデータが格納されている。   The vehicle / camera parameter storage unit 33 is a storage unit that stores the camera parameters and camera parameters when the camera image data in the camera image data storage unit 31 and the point cloud data in the point cloud data storage unit 32 are acquired. is there. Specifically, data such as the position / orientation of the vehicle at the time of camera shooting, the arrangement of the camera on the vehicle, and the camera focal length are stored.

領域出力結果格納部34は、後述する領域算出部25によって算出された地物の位置・大きさが収められている記憶部である。   The region output result storage unit 34 is a storage unit that stores the position and size of the feature calculated by the region calculation unit 25 described later.

次に、処理手段20内の機能について説明する。画面描画部21は、画像指定部11による画像指定に伴う一連の表示、点指定部12による点指定に伴う一連の表示、および領域算出部25で算出された領域等の表示を行う。   Next, functions in the processing means 20 will be described. The screen drawing unit 21 performs a series of displays accompanying image designation by the image designation unit 11, a series of displays accompanying point designation by the point designation unit 12, and a region calculated by the region calculation unit 25.

画像領域決定部22は、点指定部12で指定された1点から、地物の画像上での領域を決定する手段である。この決定手段としては、例えば、Adaboost等の学習を利用した手法を利用する(例えば、非特許文献2:Yoav Freund and Robert E.Schapire. “A decision−theoretic generalization of on−line learning and an application to boosting”.Journal of Computer and System Sciences、 55(1):119−139、August 1997参照)。   The image region determination unit 22 is a unit that determines a region on the image of the feature from one point specified by the point specification unit 12. As this determination means, for example, a method using learning such as Adaboost is used (for example, Non-Patent Document 2: Yoav Freund and Robert E. Schapier. “A decision-theoretic generalization of on-line learning and camp. boosting ". Journal of Computer and System Sciences, 55 (1): 119-139, August 1997).

点群抽出部23は、画像指定部11で指定された画像、画像領域決定部22で決定した地物領域、点群データ格納部32に格納されている点群データ、および車両・カメラパラメータ格納部33に格納されている車両・カメラパラメータを用いて、後段の実平面算出部24での処理に必要な点群を抽出する(詳細は、後述する)。   The point cloud extraction unit 23 stores an image designated by the image designation unit 11, a feature region decided by the image region decision unit 22, point cloud data stored in the point cloud data storage unit 32, and vehicle / camera parameter storage. Using the vehicle / camera parameters stored in the unit 33, a point group necessary for processing in the subsequent real plane calculation unit 24 is extracted (details will be described later).

実平面算出部24は、点群抽出部23によって抽出された点群から、地物を含む実平面を算出する。本算出によって、地物と実在の位置(点群)が結び付けられる。   The real plane calculation unit 24 calculates a real plane including the feature from the point group extracted by the point group extraction unit 23. By this calculation, the feature and the actual position (point cloud) are linked.

そして、領域算出部25は、実平面算出部24によって算出された実平面上において、対象地物の範囲を求める。範囲計算の結果により、地物の幅、高さが算出できる。   Then, the area calculation unit 25 obtains the range of the target feature on the real plane calculated by the real plane calculation unit 24. The width and height of the feature can be calculated from the result of the range calculation.

次に、本実施の形態1における屋外地物検知システムの一連の動作について説明する。
画像指定部11によって、カメラ画像データ格納部31内の所望の画像を指定することで、画像およびその画像撮影時刻を一意に定める。画面描画部21は、この情報および領域算出部25で算出された範囲を、画面上に重ねて表示する。画像の外に領域の範囲がまたがる場合には、画面描画部21は、画像内に収まる範囲のみ描画する。
Next, a series of operations of the outdoor feature detection system according to the first embodiment will be described.
By designating a desired image in the camera image data storage unit 31 by the image designation unit 11, the image and its image shooting time are uniquely determined. The screen drawing unit 21 displays this information and the range calculated by the region calculation unit 25 in an overlapping manner on the screen. When the range of the region extends outside the image, the screen drawing unit 21 draws only the range that fits within the image.

なお、領域算出部25による領域計算が行われていない場合には、領域は表示されない。また、画像指定部11によって、領域を表示する/しないの指定を行ってもよい。なお、領域を表示しない指定となっている場合には、領域計算が行われた後でも、画面描画部21は、画像のみを表示する。   In addition, when the area calculation by the area calculation unit 25 is not performed, the area is not displayed. Further, the image designation unit 11 may designate whether or not to display the area. If it is specified that the area is not displayed, the screen drawing unit 21 displays only the image even after the area calculation is performed.

画面描画部21により画面上に画像が表示された後、オペレータは、点指定部12を介して、画像上の1点を指定する。   After the image is displayed on the screen by the screen drawing unit 21, the operator designates one point on the image via the point designation unit 12.

次に、画像領域決定部22は、点指定部12で指定された画像上の1点に基づいて、画像上の地物の領域(地物を覆う最小の矩形形状の4頂点)を決定する。なお、画像領域決定部22は、指定された点を含む範囲に地物が存在しないと判断した場合には、以降の処理は行わず、点指定部12からの入力を待つ。   Next, the image region determination unit 22 determines the region of the feature on the image (four vertices of the minimum rectangular shape covering the feature) based on one point on the image specified by the point specification unit 12. . If the image area determination unit 22 determines that no feature exists in the range including the specified point, the image region determination unit 22 waits for input from the point specification unit 12 without performing the subsequent processing.

次に、点群抽出部23は、画像領域決定部22により決定された地物の領域に基づいて、地物の点群を抽出する。図4は、本発明の実施の形態1における点群抽出部23の入力、処理、出力の一連動作を示したフローチャートである。   Next, the point cloud extraction unit 23 extracts a point cloud of the feature based on the feature region determined by the image region determination unit 22. FIG. 4 is a flowchart showing a series of input, processing, and output operations of the point cloud extraction unit 23 according to Embodiment 1 of the present invention.

まず始めに、点群抽出部23は、目的の点群以外を含む点群(入力1に相当)、領域の範囲R(入力2に相当)、およびその面積S(入力3に相当)を入力する。そして、ステップS400において、点群抽出部23は、範囲R内の点群を求める。   First, the point cloud extraction unit 23 inputs a point cloud (other than the target point cloud) including the target point cloud (corresponding to input 1), a region range R (corresponding to input 2), and an area S (corresponding to input 3). To do. In step S400, the point group extraction unit 23 obtains a point group within the range R.

図5は、本発明の実施の形態1における図4のステップS400の具体的な処理を示したフローチャートである。まず、ステップS410において、点群抽出部23は、カメラ画像の撮影時刻tcから、一定時間範囲内に測定された点群データのみを、点群データ格納部32から抽出する。この際、主に使うデータは、カメラ撮影時刻近傍の点である。   FIG. 5 is a flowchart showing specific processing of step S400 of FIG. 4 in Embodiment 1 of the present invention. First, in step S410, the point cloud extraction unit 23 extracts only point cloud data measured within a certain time range from the point cloud data storage unit 32 from the camera image capturing time tc. At this time, the data mainly used is a point near the camera photographing time.

次に、ステップS420において、点群抽出部23は、抽出した各点群をカメラ画像上にマッピングした場合の位置計算を行う。具体的には、点群抽出部23は、点群の画像上の位置を算出するにあたり、まず、車両・カメラパラメータ格納部33内のデータに基づいて、点群内の各点のカメラ位置からの相対位置(x、y、z)を、カメラ画像撮影時の車両位置・向きと車両上のカメラ位置・向きから算出する。その後、カメラ焦点距離f、カメラの1画素あたりの距離p、およびカメラの光軸中心座標(xc、yc)を用いて、点群の画像上の位置を算出する。 Next, in step S420, the point group extraction unit 23 performs position calculation when each extracted point group is mapped on the camera image. Specifically, when calculating the position of the point cloud on the image, the point cloud extraction unit 23 first calculates the camera position of each point in the point cloud based on the data in the vehicle / camera parameter storage unit 33. Relative positions (x 1 , y 1 , z 1 ) are calculated from the vehicle position / orientation at the time of camera image capturing and the camera position / orientation on the vehicle. Thereafter, the position of the point cloud on the image is calculated using the camera focal length f, the distance p m per pixel of the camera, and the optical axis center coordinates (xc, yc) of the camera.

図6は、本発明の実施の形態1における点群抽出部23による点群の画像上の位置の算出方法に関する説明図である。図6に示すように、画像上の位置(x、y)は、下式(1)により算出することができる。
(x、y)=(xc+dx、yc−dy)
=(xc+(f・z)/(p・x
、yc−(f・y)/(p・x)) (1)
FIG. 6 is an explanatory diagram relating to a method for calculating the position of the point cloud on the image by the point cloud extraction unit 23 according to Embodiment 1 of the present invention. As shown in FIG. 6, the position (x, y) on the image can be calculated by the following equation (1).
(X, y) = (xc + dx, yc−dy)
= (Xc + (f · z 1 ) / (p m · x 1 )
, Yc- (f · y 1 ) / (p m · x 1 )) (1)

次に、ステップS430において、点群抽出部23は、先のステップS420で算出した点群の画像上の位置の中から、画像領域決定部22によって決定された領域内に含まれるものを抽出する。これにより、目的の地物に当った可能性のある点群が得られることとなり、ここから、絞込みを行うこととなる。   Next, in step S430, the point group extraction unit 23 extracts the points included in the region determined by the image region determination unit 22 from the positions on the image of the point group calculated in the previous step S420. . As a result, a point cloud that may have hit the target feature is obtained, and narrowing down is performed from here.

先の図4に戻り、ステップS500において、点群抽出部23は、さらに点群限定を行い、その結果を出力する。図7は、本発明の実施の形態1における図4のステップS500の具体的な処理を示したフローチャートである。まず、ステップS510において、点群抽出部23は、入力点群をグルーピングし、「点群分離」を行う。   Returning to FIG. 4, in step S <b> 500, the point group extraction unit 23 further performs point group limitation and outputs the result. FIG. 7 is a flowchart showing specific processing of step S500 of FIG. 4 in Embodiment 1 of the present invention. First, in step S510, the point cloud extraction unit 23 groups input point clouds and performs “point cloud separation”.

図8は、本発明の実施の形態1における図7のステップS510の具体的な処理を示したフローチャートである。点群抽出部23は、入力された点群を、点群の位置と、「画像撮影時のモービルマッピングシステムの位置」との距離によってソートし(ステップS5101)、最も近い点から、それぞれ近傍にある点群同士を1グループとする(ステップS5102〜ステップS5108)。   FIG. 8 is a flowchart showing specific processing of step S510 in FIG. 7 according to Embodiment 1 of the present invention. The point cloud extraction unit 23 sorts the input point clouds according to the distance between the position of the point cloud and the “position of the mobile mapping system at the time of image capture” (step S5101), and the closest point is moved to the vicinity. A certain point group is made into one group (step S5102-step S5108).

具体的な処理としては、モービルマッピングシステムに最も近い1点に対して、閾値α(例えば、28cm)以下の距離にある点群をすべて選び出し(ステップS5103)、選び出した各点について、α以下の距離にある点群を選び出していく(ステップS5106)。処理を続け、点が増えなくなった時点で、得られたグループを1グループとする(ステップS5105)。   As a specific process, for all the points closest to the mobile mapping system, a point group having a distance less than or equal to a threshold value α (for example, 28 cm) is selected (step S5103). A point group at a distance is selected (step S5106). The process is continued, and when the points no longer increase, the obtained group is set as one group (step S5105).

次に、グループに入らなかった点について同じ処理を行い、すべての入力点群に対して処理を行うまで続ける(ステップS5102〜ステップS5109)。最後に、このようにして得られたグループを、得られたグループ順にナンバリングする(ステップS5110)。このような一連処理により、先のステップS510における「点群分離」が完了する。   Next, the same processing is performed for points that have not entered the group, and the processing is continued until processing is performed for all input point groups (steps S5102 to S5109). Finally, the groups obtained in this way are numbered in the order of the obtained groups (step S5110). By such a series of processes, the “point group separation” in the previous step S510 is completed.

次に、先の図7に戻り、ステップS520において、点群抽出部23は、「点群分離」処理によりグルーピングされた点群から地物を選び出す「各グループから最適なグループ選択」を行う。すなわち、点群抽出部23は、グルーピングされた点群について、それらが目的の地物かどうかの判定を行う。   Next, referring back to FIG. 7, in step S520, the point group extraction unit 23 performs “optimal group selection from each group” for selecting features from the point group grouped by the “point group separation” process. That is, the point group extraction unit 23 determines whether or not the grouped point groups are target features.

図9は、本発明の実施の形態1における図7のステップS520の具体的な処理を示したフローチャートである。「各グループから最適なグループ選択」を行うために、点群抽出部23は、モービルマッピングシステムに最も近い点群グループを1つ選び出し(ステップS5210)、その点群が、画像領域決定部22によって決定された領域のどの程度を占めるかを計算し(ステップS5220)、その値が閾値β(例えば0.9)以上であれば(ステップS5230)、その点群グループが目的の地物と判定する(ステップS5240)。   FIG. 9 is a flowchart showing specific processing of step S520 in FIG. 7 according to Embodiment 1 of the present invention. In order to perform “optimal group selection from each group”, the point cloud extraction unit 23 selects one point cloud group closest to the mobile mapping system (step S5210), and the point cloud is determined by the image region determination unit 22. Calculate how much of the determined area is occupied (step S5220), and if the value is equal to or greater than a threshold β (for example, 0.9) (step S5230), the point cloud group is determined to be the target feature. (Step S5240).

ただし、点群は単なる位置情報であるため、先のステップS5220における点群の占める範囲S’の計算として、点群抽出部23は、「点群の構成する外形の輪郭線」によって得られる面積を用いる。図10は、本発明の実施の形態1における図9のステップS5220の具体的な処理を示したフローチャートである。   However, since the point cloud is merely position information, the point cloud extraction unit 23 calculates the area obtained by “the outline of the outline formed by the point cloud” as the calculation of the range S ′ occupied by the point cloud in the previous step S5220. Is used. FIG. 10 is a flowchart showing specific processing of step S5220 of FIG. 9 in Embodiment 1 of the present invention.

図10では、まず、アウトライン点群を取得することで、点群によって得られる外形を求める(ステップS5221)。図11は、本発明の実施の形態1における図10のステップS5221の具体的な処理を示したフローチャートである。   In FIG. 10, first, an outline point group is acquired to obtain an outer shape obtained by the point group (step S5221). FIG. 11 is a flowchart showing specific processing of step S5221 of FIG. 10 according to Embodiment 1 of the present invention.

図11に示したステップS1101〜ステップS1114までの一連処理を行うことで、点群の外周をできる限り取る形で点群を選択した上で、点群の外形を得ることができる。   By performing a series of processing from step S1101 to step S1114 shown in FIG. 11, the point cloud can be obtained after selecting the point cloud in such a way as to take the outer circumference of the point cloud as much as possible.

また、図12は、本発明の実施の形態1における点群抽出部23で算出した点群の外形の一例を示す説明図である。この図12において、黒点(◆)が画像上にマッピングした点群であり、白抜き点(□)が、黒点(◆)から計算した点群の外形である。図11に示した一連処理を行うことで、点群抽出部23は、図12に白抜き点(□)として示したような外形を抽出することができる。   FIG. 12 is an explanatory diagram showing an example of the outline of the point cloud calculated by the point cloud extraction unit 23 according to Embodiment 1 of the present invention. In FIG. 12, a black point (♦) is a point group mapped on the image, and a white point (□) is an outline of the point group calculated from the black point (♦). By performing the series of processing shown in FIG. 11, the point cloud extraction unit 23 can extract the outer shape as shown as white dots (□) in FIG. 12.

先の図10に戻り、点群抽出部23は、次に、ステップS5222において、入力点群から、先のステップS5221で得られた外形を構成する点群を除去する。さらに、点群抽出部23は、ステップS5223において、先のステップS5221と同様の処理により、残った点群から外形を計算する。   Returning to FIG. 10, the point group extraction unit 23 next removes the point group constituting the outer shape obtained in the previous step S5221 from the input point group in step S5222. Further, in step S5223, the point group extraction unit 23 calculates the outer shape from the remaining point group by the same processing as in the previous step S5221.

このステップS5223による外形計算は、電線等の影響を除去するために有効である。図13は、本発明の実施の形態1における点群抽出部23の処理により、電線等の影響を除去するための説明図である。図13の左側に示した画像においては、所望の地物である看板の手前に、電柱と電線が存在している状況を示している。   The outline calculation in step S5223 is effective for removing the influence of electric wires and the like. FIG. 13 is an explanatory diagram for removing the influence of an electric wire or the like by the processing of the point cloud extraction unit 23 according to Embodiment 1 of the present invention. The image shown on the left side of FIG. 13 shows a situation where a utility pole and an electric wire are present in front of a signboard that is a desired feature.

図13の右上に示した点群は、電柱および電線に対応するものであり、図13の右下に示した点群は、看板に対応するものである。この図13から分かるように、電線等は、所望の地物である看板の領域を広く覆う一方で、中央部に点群が存在しないものとなっている。   The point group shown in the upper right of FIG. 13 corresponds to a utility pole and an electric wire, and the point group shown in the lower right of FIG. 13 corresponds to a signboard. As can be seen from FIG. 13, the electric wire or the like widely covers a signboard area, which is a desired feature, while no point cloud is present in the center.

図14は、本発明の実施の形態1における点群抽出部23で抽出した電柱および電線の点群をプロットした説明図であり、図13の右上の図に対応するものである。図14に示すように、「作成した外形で覆う範囲」に比べて、実際に点群の量が少なく見えるが、これは電線のように細いものが領域の上下部を覆う形で検知されているために起こるものである。一方、この電線のような細いものに対応する点群は、高々一列程度になるため、外形を作った後に、その点群を抜くことで、電線の影響を取り除くことができる。   FIG. 14 is an explanatory diagram in which the utility poles and the point groups of the electric wires extracted by the point group extraction unit 23 according to the first embodiment of the present invention are plotted, and corresponds to the upper right diagram of FIG. As shown in FIG. 14, the amount of point clouds actually looks smaller than the “range covered with the created outline”, but this is detected as a thin object such as an electric wire covers the upper and lower parts of the area. That's what happens. On the other hand, since the point cloud corresponding to such a thin wire is about one row at most, the influence of the wire can be removed by removing the point cloud after creating the outer shape.

再び先の図10に戻り、点群抽出部23は、ステップS5224において、先のステップS5221〜ステップS5223の処理結果として得られた外形の面積を計算する。このような一連の処理により、点群抽出部23は、点群で覆われた範囲の面積計算を行うことができる。   Returning to FIG. 10 again, in step S5224, the point group extraction unit 23 calculates the area of the outer shape obtained as the processing result of steps S5221 to S5223. By such a series of processing, the point cloud extraction unit 23 can perform area calculation of the range covered with the point cloud.

そして、点群抽出部23は、上述したように、先の図9におけるステップS5230、ステップS5240の処理を行い、画像領域決定部22によって決定された領域の面積(S)と、先のステップS5220で求めた面積(S’)との比を求めることで、対象となる点群のグループを決定することができる。   Then, as described above, the point group extraction unit 23 performs the processing of Step S5230 and Step S5240 in FIG. 9, and the area (S) of the region determined by the image region determination unit 22 and the previous Step S5220. By obtaining the ratio to the area (S ′) obtained in step 1, a group of target point groups can be determined.

点群抽出部23によって得られた点が3点未満の場合は、エラーとして以降の処理は行わず、画像指定部11による画像指定に戻る。一方、点群抽出部23によって点が3点以上得られた場合には、実平面算出部24により、得られた点を含む平面を算出する(先の図3参照)。   When the number of points obtained by the point group extraction unit 23 is less than 3, the subsequent processing is not performed as an error, and the image designation unit 11 returns to the image designation. On the other hand, when three or more points are obtained by the point group extraction unit 23, the actual plane calculation unit 24 calculates a plane including the obtained points (see FIG. 3 above).

実際には、得られた点には誤差が乗るため、すべての点が乗るような平面を算出できることは少ない。そのため、実平面算出部24は、最小二乗法等を用いて、最も近い平面を算出する。この得られた平面が、指定した地物を含む平面となる。   Actually, since the obtained point has an error, it is rare that a plane on which all the points lie can be calculated. Therefore, the real plane calculation unit 24 calculates the closest plane using a least square method or the like. The obtained plane is a plane including the specified feature.

実平面算出部24によって平面を得た後、領域算出部25は、対象の範囲を決定する(先の図3参照)。そのためには、実平面算出部24で得られた平面と、画像領域決定部22で決定した地物領域を規定する矩形の頂点4点を利用して、「得られた平面で、4点がマッピングされる位置」を計算する。   After obtaining the plane by the real plane calculation unit 24, the region calculation unit 25 determines the target range (see FIG. 3 above). For this purpose, using the plane obtained by the real plane calculation unit 24 and the four vertices of the rectangle defining the feature region determined by the image region determination unit 22, “the obtained plane has four points. Calculate “mapped location”.

本計算は上式(1)、および算出する点の位置(x、y、z)が、実平面算出部24で得られる平面の式を満たすことから、一意に定まる。   This calculation is uniquely determined because the above equation (1) and the position of the point to be calculated (x, y, z) satisfy the equation of the plane obtained by the real plane calculator 24.

先の図3に示すように、領域算出部25による領域計算後は、画面描画部21に戻り、画像の上に領域を描画し、画像指定部11からの画像選択を待つ。また、領域算出部25は、領域出力結果格納部34に、地物の幅、高さおよび矩形の頂点4点を格納する。   As shown in FIG. 3, after the area calculation by the area calculation unit 25, the process returns to the screen drawing unit 21, draws an area on the image, and waits for image selection from the image designation unit 11. In addition, the area calculation unit 25 stores the width and height of the feature and the four vertexes of the rectangle in the area output result storage unit 34.

以上のように、実施の形態1によれば、カメラ画像とレーザ点群とに基づいて、地物の位置・大きさを算出することができる。さらに、特定された地物の領域を、画像上に描画することで、人の目による確認も同時に行うことができる。   As described above, according to the first embodiment, the position / size of the feature can be calculated based on the camera image and the laser point group. Furthermore, by drawing the specified region of the feature on the image, confirmation by human eyes can be performed at the same time.

さらに、画像指定部によって別の画像が指定された場合には、前述の通り、領域が指定された画像の上に再描画される。領域を計算した画像以外の、地物が映っている画像に、計算した領域を重ねることで、計算した領域の正しさが確認できる。   Further, when another image is designated by the image designation unit, the area is redrawn on the designated image as described above. The correctness of the calculated area can be confirmed by superimposing the calculated area on an image showing a feature other than the image for which the area has been calculated.

これにより、「複数の画像で映っている地物に関しては、それぞれで計算を行い、別の画像に重ね合わせる」処理を行い、人が「最もよく重ね合っているもの」を判断することで、正確な地物の位置・大きさを選び出すことができる。このようにすることで、計算だけでは拾いきれない誤差を、画面による目視確認を通じて吸収することができる。   By doing this, for each feature that appears in multiple images, calculate each one and superimpose it on another image, and determine what the person best overlaps, You can select the exact position and size of the feature. By doing in this way, the error which cannot be picked up only by calculation can be absorbed through visual confirmation on a screen.

実施の形態2.
先の実施の形態1では、画像上の1点を指定入力することで地物の検知を行う場合について説明した。これに対して、本実施の形態2では、指定入力する点を、1点ではなく2点にして地物検知を行う場合について説明する。
Embodiment 2. FIG.
In the first embodiment, the case where the feature is detected by designating and inputting one point on the image has been described. On the other hand, in the second embodiment, a case will be described in which the feature input is detected with two points to be designated and input instead of one point.

本実施の形態2においては、システム利用者は、求める地物を覆う矩形の対角2点を指定入力する。これにより、画像領域決定部22は、この対角の2点に基づいて決定する範囲を限定することができ、誤検知を減らすことができる。このとき、領域算出部25で算出する位置のうち、2点は、利用者によって入力された位置であり、残り2点が、画像領域決定部22で決定した位置となる。   In the second embodiment, the system user designates and inputs two diagonal diagonal points covering the desired feature. Thereby, the image area determination part 22 can limit the range determined based on two points of this diagonal, and can reduce misdetection. At this time, of the positions calculated by the area calculation unit 25, two points are positions input by the user, and the remaining two points are positions determined by the image area determination unit 22.

以上のように、実施の形態2によれば、地物を特定するために指定入力する点を2点とすることで、先の実施の形態1の効果に加え、地物の画像上での領域を決定する際の誤検知を減らすことができ、性能をさらに向上させることができる。   As described above, according to the second embodiment, by specifying two points for specifying and specifying a feature, in addition to the effect of the first embodiment, the feature image can be displayed on the image of the feature. It is possible to reduce false detection when determining a region, and to further improve performance.

なお、上述した実施の形態1、2によって、地物の位置が検知され、画像内の地物の範囲が求められた際に、先の図1に示すように、画像から地物の範囲を切り出して、別途保存しても構わない。このようにして、位置と画像を別途表示することにより、地物検知状況をオペレータが確認しやすくなる利点が加わる。   In addition, when the position of the feature is detected and the range of the feature in the image is obtained by the first and second embodiments described above, the range of the feature is determined from the image as shown in FIG. It may be cut out and saved separately. In this way, by separately displaying the position and the image, there is an additional advantage that the operator can easily confirm the feature detection status.

10 指定入力手段、11 画像指定部、12 点指定部、20 処理手段、21 画面描画部、22 画像領域決定部、23 点群抽出部、24 実平面算出部、25 領域算出部、30 データ記憶手段、31 カメラ画像データ格納部、32 点群データ格納部、33 車両・カメラパラメータ格納部、34 領域出力結果格納部。   DESCRIPTION OF SYMBOLS 10 designation | designated input means, 11 image designation | designated part, 12 point designation | designated part, 20 processing means, 21 screen drawing part, 22 image area determination part, 23 point group extraction part, 24 real plane calculation part, 25 area | region calculation part, 30 data storage Means 31 Camera image data storage unit 32 Point cloud data storage unit 33 Vehicle / camera parameter storage unit 34 Area output result storage unit

Claims (6)

レーザ測量結果である点群とカメラ画像とを用いて屋外地物の検知を行なう屋外地物検知システムにおいて、
対象となる地物周辺の画像を格納するカメラ画像データ格納部と、
対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部と、
前記カメラ画像データ格納部に格納された前記対象となる地物周辺の画像をモニタ上に表示させる画面描画部と、
前記モニタ上に表示された前記対象となる地物周辺の画像の中から前記地物の領域内に含まれる少なくとも1点を指定する点指定部と、
前記点指定部で指定された前記少なくとも1点に基づいて、画像上の地物の領域を決定し、決定した前記領域に含まれる点群を点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで前記地物に対応する点群を分離し、分離した前記点群の位置と範囲から前記点指定部で指定された前記少なくとも1点を含む地物の領域の位置と大きさを検知する地物検知処理部と
を備えることを特徴とする屋外地物検知システム。
In an outdoor feature detection system that detects outdoor features using a point cloud and camera image that are laser survey results,
A camera image data storage unit for storing an image around the target feature;
A point cloud data storage unit for storing laser survey results around the target feature as a point cloud;
A screen drawing unit for displaying on the monitor an image around the target feature stored in the camera image data storage unit;
A point designating unit for designating at least one point included in the region of the feature from the image around the target feature displayed on the monitor;
Based on the at least one point designated by the point designating unit, a region of the feature on the image is determined, a point group included in the determined region is extracted from the point group data storage unit, A point group corresponding to the feature is separated by grouping those whose distance is equal to or less than a certain distance, and the ground including the at least one point designated by the point designation unit from the position and range of the separated point group An outdoor feature detection system comprising: a feature detection processing unit that detects the position and size of an object region.
請求項1に記載の屋外地物検知システムにおいて、
前記地物検知処理部は、グルーピングした各点群に対して外形を算出し、算出した前記外形から面積を算出し、前記少なくとも1点に基づいて決定した前記画像上の地物の領域に占める前記面積の割合が所定閾値以上である点群を、対象の地物に含まれる点群として特定する
ことを特徴とする屋外地物検知システム。
The outdoor feature detection system according to claim 1,
The feature detection processing unit calculates an outer shape for each group of point groups, calculates an area from the calculated outer shape, and occupies a region of the feature on the image determined based on the at least one point An outdoor feature detection system, wherein a point group having an area ratio equal to or greater than a predetermined threshold is specified as a point group included in the target feature.
請求項1または2に記載の屋外地物検知システムにおいて、
前記地物検知処理部による検知結果を格納する領域出力結果格納部をさらに備え、
前記地物検知処理部は、前記対象となる地物周辺の画像の中から、検知した地物の位置と大きさに対応する画像を切り出し、前記領域出力結果格納部に記憶させる
ことを特徴とする屋外地物検知システム。
In the outdoor feature detection system according to claim 1 or 2,
A region output result storage unit for storing a detection result by the feature detection processing unit;
The feature detection processing unit cuts out an image corresponding to the position and size of the detected feature from images around the target feature, and stores the image in the region output result storage unit. Outdoor feature detection system.
請求項3に記載の屋外地物検知システムにおいて、
前記画面描画部は、前記領域出力結果格納部に格納された前記地物検知処理部による検知結果を、前記カメラ画像データ格納部に格納された別の画像に重ね合わせて前記モニタ上に表示させる
ことを特徴とする屋外地物検知システム。
In the outdoor feature detection system according to claim 3,
The screen drawing unit superimposes the detection result by the feature detection processing unit stored in the region output result storage unit on another image stored in the camera image data storage unit and displays it on the monitor. An outdoor feature detection system characterized by that.
屋外地物検知システム用プログラムであって、
コンピュータを、
カメラ画像データ格納部に格納された対象となる地物周辺の画像をモニタ上に表示させる画面描画手段と、
前記モニタ上に表示された前記対象となる地物周辺の画像の中から地物の領域内に含まれる少なくとも1点を指定する点指定手段と、
前記点指定手段で指定された前記少なくとも1点に基づいて、画像上の地物の領域を決定し、決定した前記領域に含まれる点群を、対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで前記地物に対応する点群を分離し、分離した前記点群の位置と範囲から前記点指定手段で指定された前記少なくとも1点を含む地物の領域の位置と大きさを検知する地物検知処理手段と
して機能させるための屋外地物検知システム用プログラム。
A program for an outdoor feature detection system,
Computer
Screen drawing means for displaying on the monitor an image around the target feature stored in the camera image data storage unit;
Point designating means for designating at least one point included in the region of the feature from the image around the target feature displayed on the monitor;
Based on the at least one point designated by the point designating means, a region of the feature on the image is determined, and a point group included in the determined region is pointed to a laser survey result around the target feature. Extracting from the point cloud data storage unit stored as a group, separating the point group corresponding to the feature by grouping the distance between the point groups below a certain distance, the position of the separated point group and An outdoor feature detection system program for functioning as a feature detection processing means for detecting the position and size of a feature region including at least one point designated by the point designation means from a range.
屋外地物検知システム用プログラムが記録されたコンピュータで読み取り可能な記録媒体であって、
コンピュータに、
カメラ画像データ格納部に格納された対象となる地物周辺の画像をモニタ上に表示させる画面描画ステップと、
前記モニタ上に表示された前記対象となる地物周辺の画像の中から地物の領域内に含まれる少なくとも1点を指定する点指定ステップと、
前記点指定手段で指定された前記少なくとも1点に基づいて、画像上の地物の領域を決定し、決定した前記領域に含まれる点群を、対象となる地物周辺のレーザ測量結果を点群として格納する点群データ格納部から抽出し、点群間の距離が一定距離以下のもの同士をグルーピングすることで前記地物に対応する点群を分離し、分離した前記点群の位置と範囲から前記点指定手段で指定された前記少なくとも1点を含む地物の領域の位置と大きさを検知する地物検知処理ステップと
を含む処理を実行させるためのコンピュータで読み取り可能な屋外地物検知システム用プログラムの記録媒体。
A computer-readable recording medium in which a program for an outdoor feature detection system is recorded,
On the computer,
A screen drawing step for displaying on the monitor an image around the target feature stored in the camera image data storage unit;
A point designating step of designating at least one point included in the region of the feature from the image around the target feature displayed on the monitor;
Based on the at least one point designated by the point designating means, a region of the feature on the image is determined, and a point group included in the determined region is pointed to a laser survey result around the target feature. Extracting from the point cloud data storage unit stored as a group, separating the point group corresponding to the feature by grouping the distance between the point groups below a certain distance, the position of the separated point group and A computer-readable outdoor feature for executing processing including: a feature detection processing step for detecting a position and a size of a feature region including the at least one point specified by the point specifying means from a range. Recording medium for detection system program.
JP2010228418A 2010-10-08 2010-10-08 Outdoor feature detection system, program for outdoor feature detection system, and recording medium for program for outdoor feature detection system Expired - Fee Related JP5535025B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010228418A JP5535025B2 (en) 2010-10-08 2010-10-08 Outdoor feature detection system, program for outdoor feature detection system, and recording medium for program for outdoor feature detection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010228418A JP5535025B2 (en) 2010-10-08 2010-10-08 Outdoor feature detection system, program for outdoor feature detection system, and recording medium for program for outdoor feature detection system

Publications (2)

Publication Number Publication Date
JP2012083157A true JP2012083157A (en) 2012-04-26
JP5535025B2 JP5535025B2 (en) 2014-07-02

Family

ID=46242185

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010228418A Expired - Fee Related JP5535025B2 (en) 2010-10-08 2010-10-08 Outdoor feature detection system, program for outdoor feature detection system, and recording medium for program for outdoor feature detection system

Country Status (1)

Country Link
JP (1) JP5535025B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015176412A (en) * 2014-03-17 2015-10-05 アジア航測株式会社 Laser point cloud coloring method and laser point cloud coloring program
JP2017191605A (en) * 2016-04-13 2017-10-19 ジック インクSICK Inc. Method and system for measuring dimensions of target object
WO2020045057A1 (en) * 2018-08-31 2020-03-05 パイオニア株式会社 Posture estimation device, control method, program, and storage medium
JP2020042790A (en) * 2018-09-07 2020-03-19 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド Actual data expansion method, apparatus and terminal
JP2020098188A (en) * 2018-09-27 2020-06-25 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド Obstacle detection method, obstacle detection device, electronic apparatus, vehicle and storage medium
WO2021112809A1 (en) * 2019-12-07 2021-06-10 Ozturk Deniz Point designation system in 3-dimensional space with using multiple laser beams
WO2021166381A1 (en) 2020-02-18 2021-08-26 富士フイルム株式会社 Point cloud data processing device, point cloud data processing method, and program
WO2021199822A1 (en) 2020-03-30 2021-10-07 富士フイルム株式会社 Point cloud data processing device, point cloud data processing method, and program
JP2021177136A (en) * 2020-05-07 2021-11-11 株式会社トヨタマップマスター Information processing device, information processing method and information processing program
JP7080402B1 (en) * 2020-11-10 2022-06-03 三菱電機株式会社 Information management system and information management method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053059A (en) * 2007-08-27 2009-03-12 Mitsubishi Electric Corp Object specifying device, object specifying method, and object specifying program
JP2009076096A (en) * 2008-11-27 2009-04-09 Mitsubishi Electric Corp Object specifying device
JP2009075117A (en) * 2007-02-16 2009-04-09 Mitsubishi Electric Corp Road feature measuring device, feature identifying device, road feature measuring method, road feature measuring program, measuring instrument, measuring method, measuring program, measured position data, measuring terminal device, measuring server device, drawing device, drawing method, drawing program, and drawing data
JP2011185777A (en) * 2010-03-09 2011-09-22 Mitsubishi Electric Corp Feature detection system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009075117A (en) * 2007-02-16 2009-04-09 Mitsubishi Electric Corp Road feature measuring device, feature identifying device, road feature measuring method, road feature measuring program, measuring instrument, measuring method, measuring program, measured position data, measuring terminal device, measuring server device, drawing device, drawing method, drawing program, and drawing data
JP2009204615A (en) * 2007-02-16 2009-09-10 Mitsubishi Electric Corp Road/feature measuring device, feature identifying device, road/feature measuring method, road/feature measuring program, measuring device, measuring method, measuring terminal device, measuring server device, plotting device, plotting method, plotting program, and plotted data
JP2009053059A (en) * 2007-08-27 2009-03-12 Mitsubishi Electric Corp Object specifying device, object specifying method, and object specifying program
JP2009076096A (en) * 2008-11-27 2009-04-09 Mitsubishi Electric Corp Object specifying device
JP2011185777A (en) * 2010-03-09 2011-09-22 Mitsubishi Electric Corp Feature detection system

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015176412A (en) * 2014-03-17 2015-10-05 アジア航測株式会社 Laser point cloud coloring method and laser point cloud coloring program
JP2017191605A (en) * 2016-04-13 2017-10-19 ジック インクSICK Inc. Method and system for measuring dimensions of target object
CN107289855A (en) * 2016-04-13 2017-10-24 西克股份有限公司 For the method and system for the size for measuring destination object
US10262222B2 (en) 2016-04-13 2019-04-16 Sick Inc. Method and system for measuring dimensions of a target object
WO2020045057A1 (en) * 2018-08-31 2020-03-05 パイオニア株式会社 Posture estimation device, control method, program, and storage medium
US11205289B2 (en) 2018-09-07 2021-12-21 Baidu Online Network Technology (Beijing) Co., Ltd. Method, device and terminal for data augmentation
JP2020042790A (en) * 2018-09-07 2020-03-19 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド Actual data expansion method, apparatus and terminal
JP2020098188A (en) * 2018-09-27 2020-06-25 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド Obstacle detection method, obstacle detection device, electronic apparatus, vehicle and storage medium
US11393219B2 (en) 2018-09-27 2022-07-19 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method and apparatus for detecting obstacle, electronic device, vehicle and storage medium
WO2021112809A1 (en) * 2019-12-07 2021-06-10 Ozturk Deniz Point designation system in 3-dimensional space with using multiple laser beams
WO2021166381A1 (en) 2020-02-18 2021-08-26 富士フイルム株式会社 Point cloud data processing device, point cloud data processing method, and program
JPWO2021166381A1 (en) * 2020-02-18 2021-08-26
CN115088020A (en) * 2020-02-18 2022-09-20 富士胶片株式会社 Point cloud data processing device, point cloud data processing method, and program
WO2021199822A1 (en) 2020-03-30 2021-10-07 富士フイルム株式会社 Point cloud data processing device, point cloud data processing method, and program
JP2021177136A (en) * 2020-05-07 2021-11-11 株式会社トヨタマップマスター Information processing device, information processing method and information processing program
JP7417466B2 (en) 2020-05-07 2024-01-18 株式会社トヨタマップマスター Information processing device, information processing method, and information processing program
JP7080402B1 (en) * 2020-11-10 2022-06-03 三菱電機株式会社 Information management system and information management method

Also Published As

Publication number Publication date
JP5535025B2 (en) 2014-07-02

Similar Documents

Publication Publication Date Title
JP5535025B2 (en) Outdoor feature detection system, program for outdoor feature detection system, and recording medium for program for outdoor feature detection system
CN105512646B (en) A kind of data processing method, device and terminal
JP6484228B2 (en) Visually enhanced navigation
CN107015724B (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium storing program
US9361731B2 (en) Method and apparatus for displaying video on 3D map
KR102200299B1 (en) A system implementing management solution of road facility based on 3D-VR multi-sensor system and a method thereof
CN107710280B (en) Object visualization method
CN110794955B (en) Positioning tracking method, device, terminal equipment and computer readable storage medium
EP3413266B1 (en) Image processing device, image processing method, and image processing program
JP7156515B2 (en) Point cloud annotation device, method and program
KR20070057561A (en) Apparatus, system, and method for mapping information
CN110428372B (en) Depth data and 2D laser data fusion method and device and storage medium
JP2011170599A (en) Outdoor structure measuring instrument and outdoor structure measuring method
US20130135446A1 (en) Street view creating system and method thereof
JP7420815B2 (en) System and method for selecting complementary images from a plurality of images for 3D geometric extraction
TWI682361B (en) Method and system for road image reconstruction and vehicle positioning
EP3825804A1 (en) Map construction method, apparatus, storage medium and electronic device
WO2014112909A1 (en) Method and system for geo-referencing at least one sensor image
KR20220062709A (en) System for detecting disaster situation by clustering of spatial information based an image of a mobile device and method therefor
JP5276032B2 (en) Device for calculating the position of an object
JP5473683B2 (en) Feature detection system
CN113032499B (en) Auxiliary display and auxiliary labeling method, device, equipment and medium for ground object information
KR101463906B1 (en) Location Correction Method Using Additional Image Information
JP6546898B2 (en) Three-dimensional space identification apparatus, method, and program
JP2013114381A (en) Object identification device and object identification method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140422

R150 Certificate of patent or registration of utility model

Ref document number: 5535025

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees