JP2002074358A - Device and method for processing road extraction picture - Google Patents
Device and method for processing road extraction pictureInfo
- Publication number
- JP2002074358A JP2002074358A JP2000262580A JP2000262580A JP2002074358A JP 2002074358 A JP2002074358 A JP 2002074358A JP 2000262580 A JP2000262580 A JP 2000262580A JP 2000262580 A JP2000262580 A JP 2000262580A JP 2002074358 A JP2002074358 A JP 2002074358A
- Authority
- JP
- Japan
- Prior art keywords
- road
- template
- straight line
- matching degree
- continuous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Instructional Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、道路抽出画像処理
装置および方法に関し、特に、航空機や衛星等より撮影
された陸地の画像から道路地図を作成するために道路部
分を画像処理技術の利用により抽出する道路抽出画像処
理装置および方法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a road extraction image processing apparatus and method, and more particularly, to the use of an image processing technique for a road portion in order to create a road map from images of land taken by an aircraft or a satellite. The present invention relates to a road extraction image processing apparatus and method for extracting roads.
【０００２】[0002]
【従来の技術】航空機や衛星等より撮影された陸地の画
像から、道路地図を作成するために、道路部分を抽出す
る手法として、図６に示されるように、コンピュータの
ディスプレイ１００に原画像（撮像画像）を表示し、オ
ペレータがポインティングデバイス１０１等を使用して
画面表示されている道路部分（道路）Ｒを選ぶ手動抽出
がある。2. Description of the Related Art As a technique for extracting a road portion from a land image taken by an aircraft, a satellite, or the like, a road portion is extracted as shown in FIG. There is a manual extraction in which a captured image) is displayed and the operator selects a road portion (road) R displayed on the screen using the pointing device 101 or the like.
【０００３】また、撮像画像から道路部分を抽出する手
法として、撮像画像において道路部分の輝度と道路近傍
部分の輝度とに差があることに注目し、画像処理技術を
利用してモフォロジー処理により道路部分を自動的に抽
出する自動抽出が知られている。As a technique for extracting a road portion from a captured image, attention is paid to the difference between the brightness of the road portion and the brightness of the vicinity of the road in the captured image, and the road is extracted by morphology processing using image processing technology. Automatic extraction for automatically extracting portions is known.
【０００４】ここで、図７を参照してモフォロジー処理
による道路部分の自動抽出の概略を説明する。モフォロ
ジー処理は、原画像Ｄｏを最大化処理（近傍画素の最大
輝度に置換する処理）し（Ｐ１）、原画像Ｄｏを最小化
処理（近傍画素の最小輝度に置換する処理）し（Ｐ
２）、最大化処理画像と最小化処理画像の同一画素同士
の輝度を減算し（Ｐ３）、それをあるしきい値で２値化
し（Ｐ４）、道路部分の画素のみを抽出した道路抽出画
像Ｄｒを作成する。Here, an outline of automatic extraction of a road portion by morphology processing will be described with reference to FIG. In the morphology process, the original image Do is maximized (process of replacing with the maximum brightness of neighboring pixels) (P1), and the original image Do is minimized (process of replacing with the minimum brightness of neighboring pixels) (P1).
2) A road extracted image obtained by subtracting the luminance of the same pixel between the maximized image and the minimized image (P3), binarizing it with a certain threshold (P4), and extracting only the pixels of the road portion Create Dr.
【０００５】なお、図７の（ａ）は原画像Ｄｏのある場
所の横方向の輝度ヒストグラムを、（ｂ）は最大化処理
後のある場所の横方向の輝度ヒストグラムを、（ｃ）は
最小化処理後のある場所の横方向の輝度ヒストグラム
を、（ｄ）は減算処理後のある場所の横方向の輝度ヒス
トグラムを、（ｅ）は２値化処理後のある場所の横方向
の輝度ヒストグラムを各々示している。FIG. 7A shows a horizontal luminance histogram at a certain place of the original image Do, FIG. 7B shows a horizontal luminance histogram at a certain place after the maximization processing, and FIG. (D) is a horizontal luminance histogram of a certain place after the subtraction processing, and (e) is a horizontal luminance histogram of a certain place after the binarization processing. Are respectively shown.
【０００６】[0006]
【発明が解決しようとする課題】しかし、オペレータが
画面表示を見ながら行う道路部分の手動抽出では、人手
がいると共に作業に時間がかかり、しかも抽出精度にば
らつきが生じ、推奨されるものではない。However, manual extraction of a road portion performed by an operator while looking at a screen display is not recommended because there is human labor and time is required for the operation, and the extraction accuracy varies. .
【０００７】モフォロジー処理による道路部分の自動抽
出では、手動抽出に比べて作業能率はよくなるが、しか
し、原画像における道路部分と道路近傍部分のコントラ
スト変化により、本来連続した道路Ｒ（図８（ａ）参
照）であるにも拘らず、図８（ｂ）に示されているよう
に分断された道路Ｒｅとして抽出されることがあり、確
実性に欠けるところがある。このため、正しい道路抽出
画像を得るためには、後処理として、オペレータによる
補正作業が必要になる。In the automatic extraction of the road portion by the morphological processing, the work efficiency is improved as compared with the manual extraction. However, due to the change in contrast between the road portion and the vicinity of the road in the original image, the originally continuous road R (FIG. 8), it may be extracted as a divided road Re as shown in FIG. 8B, and there is a lack of certainty. For this reason, in order to obtain a correct road extracted image, correction work by the operator is required as post-processing.
【０００８】本発明は、上述の如き問題点を解消するた
めになされたもので、原画像における道路部分と道路近
傍部分のコントラスト変化に対応でき，連続した道路が
誤って分断された道路として抽出されることがなく、オ
ペレータによる厄介な補正作業を必要とせずに正しい道
路抽出画像を能率よく得ることができる道路抽出画像処
理装置および方法を提供することを目的としている。SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and can cope with a change in contrast between a road portion and a portion near a road in an original image. A continuous road is extracted as an erroneously divided road. It is an object of the present invention to provide a road-extracted image processing apparatus and method capable of efficiently obtaining a correct road-extracted image without requiring a troublesome correction operation by an operator.
【０００９】[0009]
【課題を解決するための手段】上述の目的を達成するた
めに、この発明の道路抽出画像処理装置は、画像撮像装
置によって取得される原画像から道路を抽出するために
スタートポイントを選択する画像処理を行うスタートポ
イント選択手段と、道路部分の画像とのパターンマッチ
ングを行うためのテンプレートのデータを保有するテン
プレートデータメモリと、前記スタートポイント選択手
段によって選択されたスタートポイントの各々を中心と
して、それら各スタートポイントにて前記画像撮像装置
よりの原画像の輝度値と前記テンプレートデータメモリ
が保有するテンプレートについてテンプレートマッチン
グ処理を行うテンプレートマッチング手段と、前記テン
プレートマッチング手段によるテンプレートマッチング
処理により得られるマッチング度から道路らしさを評価
するマッチング度評価手段と、前記スタートポイント選
択手段によって選択されたスタートポイントの各々で、
前記マッチング度評価手段によって評価された道路らし
さ評価値をもとに直線候補を抽出する初期直線候補抽出
手段と、連続直線探索手段を含み、前記初期直線候補抽
出手段によって抽出された初期直線候補に連続する直線
を探索し、連続直線探索を繰り返し実行して連続する道
路を抽出し、道路抽出画像を出力する連続線抽出手段と
を有しているものである。In order to achieve the above object, a road extraction image processing apparatus according to the present invention provides an image for selecting a start point for extracting a road from an original image obtained by an image pickup apparatus. A start point selecting means for performing processing, a template data memory holding template data for performing pattern matching with an image of a road portion, and a start point selected by the start point selecting means. At each start point, a template matching unit that performs a template matching process on a luminance value of an original image from the image capturing apparatus and a template held in the template data memory, and a template matching process performed by the template matching unit. Matching degree evaluating means for evaluating a road likelihood from the matching degree in each of the start point selected by the starting point selecting means,
An initial straight line candidate extracting unit that extracts a straight line candidate based on the road likelihood evaluation value evaluated by the matching degree evaluating unit; and a continuous straight line searching unit, wherein the initial straight line candidate extracted by the initial straight line candidate extracting unit includes A continuous line extracting means for searching for a continuous straight line, repeatedly executing a continuous straight line search, extracting a continuous road, and outputting a road extracted image.
【００１０】また、この発明の道路抽出画像処理装置に
おけるスタートポイント選択手段は、前記原画像におけ
る道路部分が比較的低輝度であることを前提とし、全画
面の輝度ヒストグラムの解析等から決定される低いしき
い値で前記原画像の低輝度側を２値化し、その２値画像
に対して、小ブロック内の充填率が高い部分を除去し、
残った線状の領域の端点スタートポイントとするもので
あってよい。Further, the start point selecting means in the road extraction image processing apparatus of the present invention is based on the assumption that the road portion in the original image has a relatively low luminance, and is determined by analyzing a luminance histogram of the entire screen. Binarizing the low-luminance side of the original image with a low threshold value, removing a high-filling portion in a small block from the binary image,
It may be an end point start point of the remaining linear area.
【００１１】また、この発明の道路抽出画像処理装置に
おけるテンプレートマッチング処理で使用するテンプレ
ートは、道路部分の画像とのパターンマッチングを行う
ための線素テンプレートとすることができ、更に、その
線素テンプレートは、あるサイズの矩形領域中に、任意
幅で、長さが矩形領域中心から矩形領域の外縁部までの
線分を引いたもので、矩形領域中心からの角度が０〜３
６０度、任意刻みで複数個、準備される。Further, the template used in the template matching process in the road extraction image processing apparatus of the present invention can be a line element template for performing pattern matching with an image of a road portion. Is a line obtained by drawing a line segment from the center of the rectangular area to the outer edge of the rectangular area with an arbitrary width in a rectangular area of a certain size. The angle from the center of the rectangular area is 0 to 3
A plurality of pieces are prepared at an arbitrary interval of 60 degrees.
【００１２】また、この発明の道路抽出画像処理装置の
マッチング度評価手段は、全周に対してのマッチング度
から対象とする角度範囲内でのマッチング度の最大値と
して最大マッチング度と、各マッチング度の平均値とし
て平均マッチング度を算出し、それらより最大マッチン
グ度／平均マッチング度を算出し、最大マッチング度と
最大マッチング度／平均マッチング度の両方が高いもの
を道路らしさが高いと評価するものとすることができ
る。Further, the matching degree evaluating means of the road extraction image processing apparatus according to the present invention includes the maximum matching degree as the maximum value of the matching degree within the target angle range from the matching degree for the entire circumference, Calculate the average matching degree as the average value of the degrees, calculate the maximum matching degree / average matching degree from them, and evaluate those with high both the maximum matching degree and the maximum matching degree / average matching degree as having high road-likeness It can be.
【００１３】また、この発明の道路抽出画像処理装置の
連続直線探索手段は、前記初期直線候補抽出手段のしき
い値より低いしきい値で連続直線を探索するものであっ
てよい。Further, the continuous straight line searching means of the road extracted image processing apparatus of the present invention may search for a continuous straight line at a threshold lower than the threshold of the initial straight line candidate extracting means.
【００１４】また、上述の目的を達成するために、この
発明の道路抽出画像処理方法は、画像撮像装置によって
取得される原画像から道路を抽出するためにスタートポ
イントを選択し、スタートポイント選択手段によって選
択されたスタートポイントの各々を中心として、それら
各スタートポイントにて前記画像撮像装置よりの原画像
の輝度値とテンプレートについてテンプレートマッチン
グ処理を行い、テンプレートマッチング処理により得ら
れるマッチング度から道路らしさを評価し、前記スター
トポイントの各々で評価された道路らしさ評価値をもと
に初期直線候補を抽出し、抽出された初期直線候補に連
続する直線を探索し、連続直線探索を繰り返し実行して
連続する道路を抽出して道路抽出画像を出力するもので
ある。According to another aspect of the present invention, there is provided a road extraction image processing method, comprising: selecting a start point for extracting a road from an original image obtained by an image pickup device; With each of the start points selected as the center, the template matching process is performed on the luminance value of the original image from the image capturing apparatus and the template at each of the start points, and the road-likeness is determined from the matching degree obtained by the template matching process. Evaluating, extracting an initial straight line candidate based on the road-likeness evaluation value evaluated at each of the start points, searching for a straight line continuous with the extracted initial straight line candidate, and repeatedly executing a continuous straight line search to continuously execute the continuous straight line search. A road to be extracted is extracted and a road extraction image is output.
【００１５】この発明による道路抽出画像処理方法によ
れば、画像処理によるテンプレートマッチング及び道路
が連続線であることを利用した限定探索により、連続し
た道路として抽出することができる。According to the road extraction image processing method of the present invention, continuous roads can be extracted by template matching based on image processing and limited search using roads as continuous lines.
【００１６】[0016]
【発明の実施の形態】以下に添付の図を参照してこの発
明の実施の形態を詳細に説明する。図１はこの発明によ
る道路抽出画像処理装置の一つの実施の形態を示してい
る。Embodiments of the present invention will be described below in detail with reference to the accompanying drawings. FIG. 1 shows an embodiment of a road extraction image processing apparatus according to the present invention.
【００１７】道路抽出画像処理装置１０は、航空機や衛
星等に搭載された画像撮像装置５０より撮影された陸地
の画像、すなわち原画像（原画像データ）Ｄｏを入力
し、画像処理を行って原画像Ｄｏから道路部分のみを抽
出した画像、すなわち道路抽出画像（道路抽出画像デー
タ）Ｄｒを出力するものである。ここで、画像撮像装置
５０により入力する原画像Ｄｏとしては、モノクロ画像
（濃淡画像、強度画像）やカラー画像、マルチスペクト
ル画像が考えられる。The road extraction image processing apparatus 10 receives an image of a land taken by an image pickup device 50 mounted on an aircraft, a satellite, or the like, that is, an original image (original image data) Do, performs image processing, and performs image processing. An image in which only the road portion is extracted from the image Do, that is, a road extracted image (road extracted image data) Dr is output. Here, as the original image Do input by the image capturing device 50, a monochrome image (shade image, intensity image), a color image, or a multispectral image can be considered.
【００１８】道路抽出画像処理装置１０は、スタートポ
イント選択手段１１と、テンプレートデータメモリ１２
と、テンプレートマッチング手段１３と、マッチング度
評価手段１４と、初期直線候補抽出手段１５と、連続線
抽出手段１６とを有している。連続線抽出手段１６は、
テンプレートマッチング手段１７と、マッチング度評価
手段１８と、連続直線探索手段１９とにより構成されて
いる。The road extraction image processing apparatus 10 comprises a start point selecting means 11 and a template data memory 12
, A template matching unit 13, a matching degree evaluation unit 14, an initial straight line candidate extraction unit 15, and a continuous line extraction unit 16. The continuous line extraction means 16
It comprises a template matching means 17, a matching degree evaluating means 18, and a continuous straight line searching means 19.
【００１９】スタートポイント選択手段１１は、画像撮
像装置５０によって取得された原画像Ｄｏから、道路を
抽出するために探索開始場所（スタートポイントＰｓ）
を選択する画像処理を行う。The start point selecting means 11 searches a starting point (start point Ps) for extracting a road from the original image Do obtained by the image pickup device 50.
Perform image processing to select.
【００２０】テンプレートデータメモリ１２は、道路部
分の画像とのパターンマッチングを行うためのテンプレ
ートのデータを保存するものであり、テンプレート作成
手段５１によって作成されたテンプレートデータを与え
られる。ここで使用されるテンプレート、すなわち、テ
ンプレートデータメモリ１２に格納されるテンプレート
は、処理画像中に道路が存在するか否かを調べるため
に、画像とのパターンマッチングを行う線素テンプレー
トである。The template data memory 12 stores template data for performing pattern matching with an image of a road portion. The template data memory 12 is provided with template data created by the template creating means 51. The template used here, that is, the template stored in the template data memory 12, is a line element template that performs pattern matching with an image in order to check whether or not a road exists in the processed image.
【００２１】線素テンプレートは、図２（ｂ）に示され
ているように、あるサイズ（テンプレートサイズ）の矩
形領域（テンプレート）Ｄ中に、任意幅（予想される道
路幅）で、長さが矩形領域中心から矩形領域の外縁部ま
での線分Ｌを引いたもので、そのようなテンプレート形
式のものが、図２（ａ）に符合Ｔ1 〜Ｔn で示されてい
るように、矩形領域中心からの角度が０〜３６０度、任
意刻みで複数個、準備される。As shown in FIG. 2B, the line element template has an arbitrary width (expected road width) and a length within a rectangular area (template) D of a certain size (template size). There minus the line L from the rectangular area center to the outer edge of the rectangular area, one of such template format, as indicated by reference character T 1 through T n in FIG. 2 (a), A plurality of angles are prepared from 0 to 360 degrees from the center of the rectangular area at arbitrary intervals.
【００２２】テンプレートマッチング手段１３は、画像
撮像装置５０で取得された原画像Ｄｏとテンプレートデ
ータメモリ１２のテンプレートとのマッチングを取る処
理を行う。The template matching means 13 performs processing for matching the original image Do acquired by the image pickup device 50 with the template in the template data memory 12.
【００２３】より詳細には、テンプレートマッチング手
段１３は、スタートポイント選択手段１１によって選択
された複数のスタートポイントの各々を中心として、そ
れら各スタートポイントで、画像撮像装置５０よりの原
画像Ｄｏの輝度値とテンプレートデータメモリ１２が保
有する全周（全方位）のテンプレートＴ1 〜Ｔn につい
て、すべてマッチングをとる。More specifically, the template matching unit 13 centers on each of the plurality of start points selected by the start point selection unit 11 and at each of those start points, the luminance of the original image Do from the image pickup device 50. All values and templates T 1 to T n of the entire circumference (all directions) held by the template data memory 12 are matched.
【００２４】マッチング度評価手段１４は、テンプレー
トマッチング手段１３によるテンプレートマッチング処
理により得られるマッチング度から、ある角度範囲内で
の道路らしさを評価するものである。The matching degree evaluating means 14 evaluates the likelihood of a road within a certain angle range from the matching degree obtained by the template matching processing by the template matching means 13.
【００２５】この実施の形態では、マッチング度評価手
段１４は、全周に対してのマッチング度から対象とする
角度範囲内でのマッチング度の最大値として最大マッチ
ング度と、各マッチング度の平均値として平均マッチン
グ度を算出し、さらに、それらより最大マッチング度／
平均マッチング度を算出する。In this embodiment, the matching degree evaluation means 14 calculates the maximum matching degree as the maximum value of the matching degree within the target angle range from the matching degree for the entire circumference, and the average value of each matching degree. The average matching degree is calculated as
Calculate the average matching degree.
【００２６】つぎに、図３を参照してマッチング度評価
手段１４によるテンプレートマッチング評価方法につい
て説明する。この道路らしさの評価では、図３の（ａ）
〜（ｆ）に示されているようなテンプレートマッチング
の結果から、最大マッチング度と最大マッチング度／平
均マッチング度の両方が高いもの（ｄ）、（ｅ）が、道
路らしさが高いと云うことになる。Next, a template matching evaluation method by the matching degree evaluation means 14 will be described with reference to FIG. In this evaluation of the roadiness, FIG.
From the results of template matching as shown in (f) to (f), those having both a high maximum matching degree and a maximum matching degree / average matching degree (d) and (e) have high road-likeness. Become.
【００２７】初期直線候補抽出手段１５は、スタートポ
イント選択手段１１によって選択されたスタートポイン
トＰｓの各々で、マッチング度評価手段１４によって評
価された道路らしさ評価値をもとに直線候補を抽出する
処理を行う。The initial straight line candidate extracting means 15 extracts a straight line candidate at each of the start points Ps selected by the start point selecting means 11 based on the road-likeness evaluation value evaluated by the matching degree evaluating means 14. I do.
【００２８】連続線抽出手段１６は、連続直線探索手段
１９において、初期直線候補抽出手段１５によって抽出
された初期直線候補に連続する直線を探索するものであ
り、連続直線探索を繰り返し実行して連続する道路を抽
出し、最終的に、道路抽出画像Ｄｒを出力する。The continuous line extracting means 16 searches the continuous straight line searching means 19 for a straight line which is continuous with the initial straight line candidate extracted by the initial straight line candidate extracting means 15. A road to be extracted is extracted, and finally a road extraction image Dr is output.
【００２９】つぎに、図４、図５を参照して道路抽出画
像処理装置１０による道路抽出画像処理の具体例につい
て説明する。Next, a specific example of road extraction image processing by the road extraction image processing apparatus 10 will be described with reference to FIGS.
【００３０】画像撮像装置５０によって取得された原画
像Ｄｏはスタートポイント選択手段１１に入力され、道
路を抽出するための探索開始場所（スタートポイントＰ
ｓ）を選択することが行われる。The original image Do obtained by the image pickup device 50 is inputted to the start point selecting means 11 and a search start place (start point P) for extracting a road is extracted.
selecting s) is performed.
【００３１】スタートポイント選択手段１１では、図４
（ａ）に示されているような原画像Ｄｏにおける道路部
分Ｒが比較的低輝度であることを前提とし、まず道路以
外の領域Ａをできるだけ排除するために、全画面の輝度
ヒストグラムの解析等から決定される低いしきい値で単
純に低輝度側を２値化する。In the start point selecting means 11, FIG.
Assuming that the road portion R in the original image Do as shown in (a) has a relatively low luminance, first, in order to exclude the region A other than the road as much as possible, analysis of the luminance histogram of the entire screen, etc. Is simply binarized with the low threshold value determined from
【００３２】その２値画像Ｄ２（図４（ｂ））に対し
て、小ブロック内の充填率（２値化された画素の全面積
／小ブロック面積）の高い部分、つまり、道のような線
状の領域ｒではなく、田畑のような面状の領域ａを除去
し、図４（ｃ）に示されているように、残ったセグメン
ト（線状の領域ｒ）の端点を探索開始点、すなわちスタ
ートポイントＰｓとして選択する。With respect to the binary image D2 (FIG. 4B), a portion having a high filling rate (total area of binarized pixels / small block area) in a small block, that is, a road-like portion Instead of the linear region r, a planar region a, such as a field, is removed, and as shown in FIG. 4C, the end point of the remaining segment (linear region r) is determined as a search start point. , That is, as the start point Ps.
【００３３】このように処理する画素をスタートポイン
トＰｓとしてある程度しぼり、そのスタートポイントＰ
ｓから道路部分Ｒを探索していくことにより、過剰抽出
が抑止されることが期待される。The pixel to be processed in this way is squeezed to some extent as a start point Ps, and the start point Ps
By searching for the road portion R from s, it is expected that excessive extraction will be suppressed.
【００３４】つぎに、テンプレートマッチング手段１３
によって各スタートポイントＰｓを中心として、それら
各点で、画像撮像装置５０で取得された原画像Ｄｏの輝
度値とテンプレートデータメモリ１２より読み出した各
方位のテンプレートＴ1 〜Ｔ n の各々についてマッチン
グをとる。Next, the template matching means 13
With each start point Ps as the center,
At each point, the brightness of the original image Do acquired by the image pickup device 50
Frequency values and the respective values read from the template data memory 12.
Orientation template T1~ T nMatchon for each of
Take a break.
【００３５】つぎに、マッチング度評価手段１４によっ
てテンプレートマッチング手段１３で算出された各方位
に対してのマッチング度から、ある角度範囲内での道路
らしさを評価する。このテンプレートマッチング評価で
は、前述したように、最大マッチング度と最大マッチン
グ度／平均マッチング度の両方が高いものが、道路らし
いということになる。Next, the likelihood of a road within a certain angle range is evaluated from the matching degree for each direction calculated by the template matching means 13 by the matching degree evaluating means 14. In this template matching evaluation, as described above, the one having both the highest matching degree and the highest matching degree / average matching degree is regarded as a road.
【００３６】つぎに、初期直線候補抽出手段１５では、
スタートポイント選択手段１１によって選択された各々
のスタートポイントＰｓでのマッチング度評価手段１４
により算出された道路らしさ評価値をもとに、スタート
ポイントＰｓから延長している直線候補を抽出する。Next, in the initial straight line candidate extracting means 15,
Matching degree evaluation means 14 at each start point Ps selected by start point selection means 11
A straight line candidate extending from the start point Ps is extracted based on the roadlikeness evaluation value calculated by the above.
【００３７】図５（ａ）に示されているように、スター
トポイントＰｓでは、それが道路の一部であり、道路が
連続的に延びているとし、そのポイントから２方向（０
度〜１８０度と１８０度〜３６０度）に道路の探索を開
始する。マッチング度評価手段１４によって算出された
それぞれ２方向についての評価値が、あるしきい値を超
えた場合には、その方向を初期直線候補として、図４
（ａ）に示されているように、出力する。ある値以下の
場合には、道路候補がないものとする。As shown in FIG. 5A, at the start point Ps, it is assumed that it is a part of the road, the road extends continuously, and two directions (0
(Degree-180 degrees and 180-360 degrees). When the evaluation values for the two directions calculated by the matching degree evaluation means 14 exceed a certain threshold value, the directions are set as initial straight line candidates, and FIG.
Output as shown in (a). If it is less than a certain value, it is determined that there is no road candidate.
【００３８】つぎに、連続直線探索手段１９によって、
初期直線候補抽出手段１５で抽出された初期直線候補に
連続する直線を探索する。Next, the continuous straight line searching means 19
A straight line continuous with the initial straight line candidate extracted by the initial straight line candidate extracting means 15 is searched.
【００３９】図５（ａ）に示されているように、初期直
線候補が抽出された場合には、その方向±９０度の範囲
で、テンプレートマッチング手段１７にてテンプレート
マッチングを行い、マッチング度評価手段１８によって
道路らしさ評価を行い、図５（ｂ）に示されているよう
に、連続直線探索手段１９によって、最も確からしい方
向の線分を順次探索していく。As shown in FIG. 5A, when an initial straight line candidate is extracted, template matching is performed by the template matching means 17 within a range of ± 90 degrees in the direction, and the matching degree evaluation is performed. The likeness of the road is evaluated by the means 18, and as shown in FIG. 5B, the continuous straight line search means 19 sequentially searches for a line segment in the most probable direction.
【００４０】その際、道路の連続性を考慮し、初期直線
候補抽出手段１５のしきい値より低いしきい値で探索す
ることにより、コントラストが弱い場合においても、連
続する直線として抽出できる。At this time, by performing a search with a threshold value lower than the threshold value of the initial straight line candidate extracting means 15 in consideration of road continuity, a continuous straight line can be extracted even when the contrast is weak.
【００４１】そして、連続線抽出手段１６では、連続直
線探索手段１９による連続直線探索を繰り返し実行し、
連続する道路部分を抽出する。これにより、図５（ｃ）
に示されているように正しい道路抽出画像Ｄｒが得られ
る。The continuous line extracting means 16 repeatedly executes a continuous line search by the continuous line searching means 19,
Extract continuous road sections. As a result, FIG.
As shown in FIG. 7, a correct road extraction image Dr is obtained.
【００４２】[0042]
【発明の効果】以上の説明から理解される如く、この発
明による道路抽出画像処理装置および方法によれば、航
空機や衛星等より撮影された陸上の原画像から、道路を
抽出する際に、道路部分と道路近傍部分のコントラスト
が、場所によって大きく変化し、最悪時は、部分的にコ
ントラスト差が目視認識困難な状態においても，画像処
理によるテンプレートマッチング及び道路が連続線であ
ることを利用した限定探索により、連続した道路として
抽出でき、連続した道路が誤って分断された道路として
抽出されることがなく、オペレータによる厄介な補正作
業を必要とせずに正しい道路抽出画像を能率よく得るこ
とができる。As will be understood from the above description, according to the road extraction image processing apparatus and method according to the present invention, when a road is extracted from an original land image taken by an aircraft, a satellite, or the like, the road is extracted. In the worst case, the contrast between the part and the part near the road greatly changes depending on the location, and even when the contrast difference is partially difficult to visually recognize, template matching by image processing and limitation using the road as a continuous line By the search, it can be extracted as a continuous road, the continuous road is not extracted as an erroneously divided road, and a correct road extracted image can be efficiently obtained without requiring a troublesome correction work by an operator. .
【図１】この発明による道路抽出画像処理装置の一つの
実施の形態を示すブロック線図である。FIG. 1 is a block diagram showing one embodiment of a road extraction image processing apparatus according to the present invention.
【図２】（ａ）、（ｂ）はこの発明による道路抽出画像
処理装置のテンプレートマッチング処理で使用されるテ
ンプレートの例を示す図である。FIGS. 2A and 2B are diagrams showing examples of templates used in a template matching process of the road extraction image processing apparatus according to the present invention.
【図３】（ａ）〜（ｆ）はこの発明による道路抽出画像
処理装置でのテンプレートマッチング評価の要領を示す
図である。FIGS. 3 (a) to 3 (f) are diagrams showing the outline of template matching evaluation in the road extraction image processing apparatus according to the present invention.
【図４】（ａ）〜（ｃ）はこの発明による道路抽出画像
処理装置における直線探索のスタートポイントの選択要
領を示す図である。4 (a) to 4 (c) are diagrams showing how to select a start point of a straight line search in the road extraction image processing apparatus according to the present invention.
【図５】（ａ）〜（ｃ）はこの発明による道路抽出画像
処理装置における直線探索の要領を示す図である。5 (a) to 5 (c) are diagrams showing the outline of a straight line search in the road extraction image processing apparatus according to the present invention.
【図６】従来のオペレータ入力法を示す図である。FIG. 6 is a diagram showing a conventional operator input method.
【図７】従来のモフォロジー処理による道路抽出法を示
す図である。FIG. 7 is a diagram showing a conventional road extraction method using morphology processing.
【図８】（ａ）、（ｂ）は原画像と従来の画像処理装置
による道路抽出結果例を示す図である。FIGS. 8A and 8B are diagrams showing an example of an original image and a result of road extraction by a conventional image processing apparatus.
１０ 道路抽出画像処理装置 １１ スタートポイント選択手段 １２ テンプレートデータメモリ １３ テンプレートマッチング手段 １４ マッチング度評価手段 １５ 初期直線候補抽出手段 １６ 連続線抽出手段 １７ テンプレートマッチング手段 １８ マッチング度評価手段 １９ 連続直線探索手段 ５０ 画像撮像装置 ５１ テンプレート作成手段 DESCRIPTION OF SYMBOLS 10 Road extraction image processing apparatus 11 Start point selecting means 12 Template data memory 13 Template matching means 14 Matching degree evaluating means 15 Initial straight line candidate extracting means 16 Continuous line extracting means 17 Template matching means 18 Matching degree evaluating means 19 Continuous straight line searching means 50 Image pickup device 51 Template creation means
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｂ 29/00 Ｇ０９Ｂ 29/00 Ｚ (72)発明者 宅原 雅人 神戸市兵庫区和田崎町一丁目１番１号 三 菱重工業株式会社神戸造船所内 (72)発明者 櫻井 浩己 名古屋市港区大江町10番地 三菱重工業株 式会社名古屋航空宇宙システム製作所内 Ｆターム(参考） 2C032 HA02 5B057 AA13 AA16 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC02 CE12 CE20 DA06 DB02 DB06 DB09 DC07 DC23 DC33 5L096 AA06 BA18 EA43 FA13 FA32 FA37 JA03 JA09 JA24 Continuation of the front page (51) Int.Cl. 7 Identification symbol FI Theme coat II (reference) G09B 29/00 G09B 29/00 Z (72) Inventor Masato Takuhara 1-1-1, Wadazakicho, Hyogo-ku, Kobe-shi 3 (72) Hiromi Sakurai, Inventor Hiroshi Sakurai, Nagoya Aerospace Systems Works, Minato-ku, Nagoya-shi, Nagoya Aerospace Systems Works F-term (reference) CB16 CC02 CE12 CE20 DA06 DB02 DB06 DB09 DC07 DC23 DC33 5L096 AA06 BA18 EA43 FA13 FA32 FA37 JA03 JA09 JA24
Claims (7)
から道路を抽出するためにスタートポイントを選択する
画像処理を行うスタートポイント選択手段と、 道路部分の画像とのパターンマッチングを行うためのテ
ンプレートのデータを保有するテンプレートデータメモ
リと、 前記スタートポイント選択手段によって選択されたスタ
ートポイントの各々を中心として、それら各スタートポ
イントにて前記画像撮像装置よりの原画像の輝度値と前
記テンプレートデータメモリが保有するテンプレートに
ついてテンプレートマッチング処理を行うテンプレート
マッチング手段と、 前記テンプレートマッチング手段によるテンプレートマ
ッチング処理により得られるマッチング度から道路らし
さを評価するマッチング度評価手段と、 前記スタートポイント選択手段によって選択されたスタ
ートポイントの各々で、前記マッチング度評価手段によ
って評価された道路らしさ評価値をもとに直線候補を抽
出する初期直線候補抽出手段と、 連続直線探索手段を含み、前記初期直線候補抽出手段に
よって抽出された初期直線候補に連続する直線を探索
し、連続直線探索を繰り返し実行して連続する道路を抽
出し、道路抽出画像を出力する連続線抽出手段と、 を有していることを特徴とする道路抽出画像処理装置。1. A start point selecting means for performing image processing for selecting a start point for extracting a road from an original image acquired by an image pickup device, and a template for performing pattern matching with an image of a road portion. A template data memory holding data, and a brightness value of an original image from the image pickup device and the template data memory held at each of these start points, centering on each of the start points selected by the start point selection means. Template matching means for performing template matching processing on a template to be performed; matching degree evaluation means for evaluating the likelihood of a road from the matching degree obtained by the template matching processing by the template matching means; At each of the start points selected by the point selection means, an initial straight line candidate extraction means for extracting straight line candidates based on the road-likeness evaluation value evaluated by the matching degree evaluation means; and a continuous straight line search means, Continuous line extracting means for searching for a straight line continuous with the initial straight line candidate extracted by the initial straight line candidate extracting means, repeatedly executing a continuous straight line search to extract a continuous road, and outputting a road extracted image; A road extraction image processing apparatus, comprising:
原画像における道路部分が比較的低輝度であることを前
提とし、全画面の輝度ヒストグラムの解析等から決定さ
れる低いしきい値で前記原画像の低輝度側を２値化し、
その２値画像に対して、小ブロック内の充填率が高い部
分を除去し、残った線状の領域の端点スタートポイント
とすることを特徴とする請求項１に記載の道路抽出画像
処理装置。2. The method according to claim 1, wherein the starting point selecting unit is configured to assume that a road portion in the original image has relatively low luminance, and to use a low threshold value determined from analysis of a luminance histogram of the entire screen. Binarize the low-luminance side of
2. The road-extracted image processing apparatus according to claim 1, wherein a portion having a high filling rate in the small block is removed from the binary image and is used as an end point start point of a remaining linear area.
のパターンマッチングを行うための線素テンプレートで
あることを特徴とする請求項１または２に記載の道路抽
出画像処理装置。3. The road extraction image processing apparatus according to claim 1, wherein the template is a line element template for performing pattern matching with an image of a road portion.
矩形領域中に、任意幅で、長さが矩形領域中心から矩形
領域の外縁部までの線分を引いたもので、矩形領域中心
からの角度が０〜３６０度、任意刻みで複数個、準備さ
れることを特徴とする請求項３に記載の道路抽出画像処
理装置。4. The line element template is obtained by drawing a line segment from the center of a rectangular area of an arbitrary width and length to an outer edge of the rectangular area in a rectangular area of a certain size. 4. The road extraction image processing apparatus according to claim 3, wherein a plurality of angles are prepared at 0 to 360 degrees at arbitrary intervals.
してのマッチング度から対象とする角度範囲内でのマッ
チング度の最大値として最大マッチング度と、各マッチ
ング度の平均値として平均マッチング度を算出し、それ
らより最大マッチング度／平均マッチング度を算出し、
最大マッチング度と最大マッチング度／平均マッチング
度の両方が高いものを道路らしさが高いと評価すること
を特徴とする請求項４に記載の道路抽出画像処理装置。5. The matching degree evaluating means includes a maximum matching degree as a maximum value of the matching degrees within a target angle range from a matching degree for the entire circumference, and an average matching degree as an average value of the respective matching degrees. Is calculated, and the maximum matching degree / average matching degree is calculated from them,
The road extraction image processing apparatus according to claim 4, wherein a road having a high maximum matching degree and a high maximum matching degree / average matching degree is evaluated as having high road-likeness.
候補抽出手段のしきい値より低いしきい値で連続直線を
探索することを特徴とする請求項１〜５のいずれか一つ
に記載の道路抽出画像処理装置。6. The apparatus according to claim 1, wherein said continuous line searching means searches for a continuous line at a threshold lower than a threshold of said initial straight line candidate extracting means. Road extraction image processing device.
から道路を抽出するためにスタートポイントを選択し、
スタートポイント選択手段によって選択されたスタート
ポイントの各々を中心として、それら各スタートポイン
トにて前記画像撮像装置よりの原画像の輝度値とテンプ
レートについてテンプレートマッチング処理を行い、テ
ンプレートマッチング処理により得られるマッチング度
から道路らしさを評価し、前記スタートポイントの各々
で評価された道路らしさ評価値をもとに初期直線候補を
抽出し、抽出された初期直線候補に連続する直線を探索
し、連続直線探索を繰り返し実行して連続する道路を抽
出して道路抽出画像を出力することを特徴とする道路抽
出画像処理方法。7. A start point is selected to extract a road from an original image obtained by the image pickup device,
With each of the start points selected by the start point selection means as the center, the template matching process is performed on the luminance value of the original image from the image pickup device and the template at each start point, and the matching degree obtained by the template matching process is obtained. To evaluate the likelihood of a road, extract an initial straight line candidate based on the road likelihood evaluation value evaluated at each of the start points, search for a straight line that is continuous with the extracted initial straight line candidate, and repeat the continuous straight line search. A road extraction image processing method, comprising: executing a continuous road to output a road extraction image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000262580A JP2002074358A (en) | 2000-08-31 | 2000-08-31 | Device and method for processing road extraction picture |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000262580A JP2002074358A (en) | 2000-08-31 | 2000-08-31 | Device and method for processing road extraction picture |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002074358A true JP2002074358A (en) | 2002-03-15 |
Family
ID=18750241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000262580A Withdrawn JP2002074358A (en) | 2000-08-31 | 2000-08-31 | Device and method for processing road extraction picture |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002074358A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003030649A (en) * | 2001-07-18 | 2003-01-31 | Hitachi Software Eng Co Ltd | Image processing method and image processor |
| US6721660B2 (en) * | 2002-08-19 | 2004-04-13 | Korea Advanced Institute Of Science And Technology | Road extraction from images using template matching |
| KR100491446B1 (en) * | 2002-07-23 | 2005-05-25 | 한국과학기술원 | Road Extraction from images using Template Matching |
| JP2008299834A (en) * | 2007-05-02 | 2008-12-11 | Nikon Corp | Photographic subject tracking program and photographic subject tracking device |
| CN110188606A (en) * | 2019-04-23 | 2019-08-30 | 合刃科技（深圳）有限公司 | Lane recognition method, device and electronic equipment based on high light spectrum image-forming |
-
2000
- 2000-08-31 JP JP2000262580A patent/JP2002074358A/en not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003030649A (en) * | 2001-07-18 | 2003-01-31 | Hitachi Software Eng Co Ltd | Image processing method and image processor |
| KR100491446B1 (en) * | 2002-07-23 | 2005-05-25 | 한국과학기술원 | Road Extraction from images using Template Matching |
| US6721660B2 (en) * | 2002-08-19 | 2004-04-13 | Korea Advanced Institute Of Science And Technology | Road extraction from images using template matching |
| JP2008299834A (en) * | 2007-05-02 | 2008-12-11 | Nikon Corp | Photographic subject tracking program and photographic subject tracking device |
| CN110188606A (en) * | 2019-04-23 | 2019-08-30 | 合刃科技（深圳）有限公司 | Lane recognition method, device and electronic equipment based on high light spectrum image-forming |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110678901B (en) | Information processing apparatus, information processing method, and computer-readable storage medium | |
| WO2019085971A1 (en) | Method and apparatus for positioning text over image, electronic device, and storage medium | |
| JP4713107B2 (en) | Character string recognition method and device in landscape | |
| EP1600889A1 (en) | Apparatus and method for extracting character(s) from image | |
| EP2645305A2 (en) | A system and method for processing image for identifying alphanumeric characters present in a series | |
| JP2003256807A (en) | Land block data preparing method and device | |
| CN104239909A (en) | Method and device for recognizing images | |
| CN112818983B (en) | Method for judging character inversion by using picture acquaintance | |
| CN113628202A (en) | Determination method, cleaning robot and computer storage medium | |
| EP3044734B1 (en) | Isotropic feature matching | |
| JP2002074358A (en) | Device and method for processing road extraction picture | |
| JP2006155126A (en) | Vehicle number recognition device | |
| CN117132797A (en) | POLMARK positioning detection method and system for LCD display screen | |
| KR101473713B1 (en) | Apparatus for recognizing character and method thereof | |
| JP2010186246A (en) | Image processing apparatus, method, and program | |
| US9665938B2 (en) | Image processing apparatus and specific figure detecting method | |
| CN116152834A (en) | Multi-code decoding method and system based on gradient algorithm | |
| Liu et al. | Effectively localize text in natural scene images | |
| Valiente et al. | A process for text recognition of generic identification documents over cloud computing | |
| RU2609069C2 (en) | Text detection in graphic user interfaces images | |
| US10579896B2 (en) | Mark detection system and method | |
| Huang et al. | An efficient method of license plate location in natural-scene image | |
| WO2008023886A1 (en) | Method for optimizing image for vehicle's identification plate | |
| Tam et al. | Quadrilateral Signboard Detection and Text Extraction. | |
| Jian et al. | A swt verified method of natural scene text location |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20071106 |