JP2012203723A - Feature information learning system, feature information learning program, and feature information learning method - Google Patents
Feature information learning system, feature information learning program, and feature information learning method Download PDFInfo
- Publication number
- JP2012203723A JP2012203723A JP2011068821A JP2011068821A JP2012203723A JP 2012203723 A JP2012203723 A JP 2012203723A JP 2011068821 A JP2011068821 A JP 2011068821A JP 2011068821 A JP2011068821 A JP 2011068821A JP 2012203723 A JP2012203723 A JP 2012203723A
- Authority
- JP
- Japan
- Prior art keywords
- information
- feature
- shade
- image recognition
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Navigation (AREA)
- Processing Or Creating Images (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習システム、地物情報学習プログラム及び地物情報学習方法に関する。 The present invention relates to a feature information learning system, a feature information learning program, and a feature information learning method for learning feature information that is information relating to a feature to be image-recognized.
人や車両などの進路を案内するナビゲーションシステムが、広く活用されている。このようなナビゲーションシステムでは、GPS(global positioning system)を利用した測量により得られた位置情報や、デッドレコニング(Dead-Reckoning)技術を利用して得られた相対的な位置情報を用いて進路を案内する。また、GPSを利用した測量やデッドレコニングにより得られる位置情報に含まれる誤差を抑制し、位置情報のさらなる精度向上を狙って、画像処理により位置情報が演算される場合がある。例えば、予め存在位置が把握されている路上のペイント(道路標示)や看板、標識などの地物を、撮影画像中から画像認識することによって位置情報が演算される。特開2008−299650号公報(特許文献1)には、そのような地物を画像認識することによって高精度な自位置情報を取得し、この高精度な自位置情報に基づいて経路案内等のナビゲーション処理を行うナビゲーションシステムが例示されている(第67段落等)。 Navigation systems that guide the route of people and vehicles are widely used. In such a navigation system, the position information obtained by surveying using GPS (global positioning system) and the relative position information obtained by using dead-reckoning technology are used to determine the course. invite. In addition, there is a case where position information is calculated by image processing to suppress errors included in position information obtained by surveying using GPS or dead reckoning, and to further improve the accuracy of position information. For example, the position information is calculated by recognizing features such as paint (road markings), signboards, signs, and the like on the road whose existence position is known in advance from the captured image. In Japanese Patent Laid-Open No. 2008-299650 (Patent Document 1), highly accurate self-location information is acquired by recognizing such a feature, and route guidance or the like is obtained based on the high-precision self-location information. A navigation system that performs navigation processing is exemplified (67th paragraph, etc.).
但し、一般的に画像認識には比較的高い演算負荷を要するため、撮影画像中に存在すると想定される全ての地物を画像認識することは現実的ではない。そこで、特許文献1では、画像認識処理に用いるのに適した地物を適切に選定(抽出)することによって、誤認識を抑制すると共に効率的に画像認識を行うようにしている(第5段落、要約等)。例えば、かすれがひどく画像認識に適さない地物や、画像認識の成功確率を示す認識率が低い地物を除外して、最も認識しやすい地物が選定される(第102〜204段落等)。しかし、画像認識では、認識対象となる画像の明るさの違いなど、例えば日照による認識結果への影響も小さくはない。従って、画像認識を実施する時点における日照の状況等を考慮すれば、上記地物とは異なる地物の方が、画像認識の対象として最適な場合も有り得る。この点に鑑みて、予め存在が把握されている複数の地物の中から画像認識の対象とする対象地物を選定するに際して、画像認識処理を実施する時点における日射の状況も効果的に反映して、より最適な対象地物を選定すると好適である。そして、対象地物の選定に際して、日射の状況も効果的に反映するためには、各地物において当該地物を画像認識する際の日射の影響を示す情報を含む地物情報を整備することが望ましい。
However, since image recognition generally requires a relatively high calculation load, it is not realistic to recognize all the features that are assumed to be present in the captured image. Therefore, in
上記背景に鑑みて、画像認識を実施する時点における日照の状況も効果的に反映して、画像認識を行うために、画像認識する際の日射の影響を示す情報を含む地物情報を整備する技術が望まれる。 In view of the above background, feature information including information indicating the influence of solar radiation at the time of image recognition is prepared in order to effectively reflect the sunshine situation at the time of image recognition and to perform image recognition. Technology is desired.
画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習システムであって、
撮影画像を取得する撮影画像取得部と、
前記撮影画像に含まれる前記地物の画像認識を行なう画像認識部と、
少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、前記地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する地物日陰情報演算部と、
日陰と日向とのコントラストを示すコントラスト情報を取得するコントラスト情報取得部と、
前記地物日陰情報と前記コントラスト情報とを含む日照要因情報と、前記画像認識部による前記地物の画像認識結果とを関連付けて学習データベースに記憶する学習記憶部と、
前記学習データベースに記憶された情報に基づいて、前記地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、前記地物のそれぞれについての前記地物情報を構成する情報として格納する地物情報学習部と、
を備える点にある。
A feature information learning system that learns feature information that is information about a feature that is subject to image recognition,
A captured image acquisition unit for acquiring captured images;
An image recognition unit for performing image recognition of the feature included in the captured image;
It is information that can distinguish at least a shade state in which all the features are included in the shade, a sunny state in which all the features are included in the shade, and a partial shade state in which some of the features are included in the shade. A feature / shade information calculation unit for calculating feature / shade information, which is information indicating a positional relationship between the feature and the shade,
A contrast information acquisition unit that acquires contrast information indicating contrast between the shade and the sun;
A learning storage unit that stores sunshine factor information including the feature shade information and the contrast information and an image recognition result of the feature by the image recognition unit in association with each other in a learning database;
Based on the information stored in the learning database, for each of the features, sunshine characteristic information indicating a degree of influence on image recognition by sunshine is generated, and the feature information about each of the features is A feature information learning unit that stores information as constituent information;
It is in the point provided with.
地物の画像認識は、撮影画像に対してエッジ抽出やパターンマッチング等の公知の画像処理を施すことによって実施される場合が多い。例えばエッジ抽出は、隣接する画素、あるいは画素群の示す輝度や濃度などの画素値の差や勾配などに応じて演算される。このため、画像認識の対象となる地物と地物の背景との画素値の差の他に、日向と日陰との画素値の差などが生じると、エッジ抽出が不正確となる可能性がある。また、エッジ検出が不正確となると、その後に実施されるパターンマッチングなどの成功率も低下する可能性がある。特に、対象地物の候補となる地物(候補地物)と日陰との位置関係によって画像認識の成功率が異なる。また、日向と日陰との画素値の差、つまりコントラストによっても画像認識の成功率が異なる。学習記憶部は、このように画像認識に対して影響の大きい、地物日陰情報(候補地物と日陰との位置関係を示す情報)とコントラスト情報とを含む日照要因情報と、画像認識部による画像認識結果とを関連付けて学習データベースに記憶する。また、地物情報学習部は、学習データベースに記憶された情報に基づいて、画像認識への影響の度合いを示す日照特性情報を生成し、地物情報を構成する情報として格納する。従って、上記のような画像認識の成功率に影響を及ぼす情報を含む地物情報が良好に整備される。 Image recognition of features is often performed by performing known image processing such as edge extraction and pattern matching on a captured image. For example, edge extraction is calculated according to a difference or gradient of pixel values such as luminance and density indicated by adjacent pixels or pixel groups. For this reason, in addition to the pixel value difference between the feature to be image-recognized and the background of the feature, if there is a difference in pixel value between the sun and the shade, edge extraction may become inaccurate. is there. In addition, if the edge detection becomes inaccurate, there is a possibility that the success rate of the pattern matching performed after that will also decrease. In particular, the success rate of image recognition differs depending on the positional relationship between the feature (candidate feature) that is a candidate for the target feature and the shade. Also, the success rate of image recognition varies depending on the difference in pixel values between the sun and shade, that is, the contrast. The learning storage unit has the sunshine factor information including the feature shade information (information indicating the positional relationship between the candidate feature and the shade) and the contrast information, which has a great influence on the image recognition, and the image recognition unit. The image recognition result is associated and stored in the learning database. The feature information learning unit generates sunshine characteristic information indicating the degree of influence on image recognition based on the information stored in the learning database, and stores it as information constituting the feature information. Therefore, the feature information including information that affects the success rate of the image recognition as described above is well prepared.
ところで、地物情報は、例えば、情報収集専用の車両などを走行させて収集することも可能であるが、実際にその地物情報を用いて地物を画像認識する画像認識システムと協働して収集することも可能である。一般的に、地物を画像認識して、位置情報の精度を向上させる場合には、画像認識の対象となる対象地物が複数の候補地物の中から選択される場合が多い。つまり、対象地物に対する画像認識が行われる際には、他の地物についても、その存在位置や、種別などの情報が取得されており、さらには当該他の地物が含まれる撮影画像も取得されているから、地物情報の収集に際して効率がよい。また、対象地物の画像認識が成功すれば、位置の情報はより高精度な情報となるから、対象地物以外の地物、つまり学習地物の存在位置も精度よく把握可能となる。その結果、高い精度で効率的に地物情報を整備することが可能となる。 By the way, the feature information can be collected, for example, by running a vehicle dedicated to collecting information, but in cooperation with an image recognition system that actually recognizes the feature using the feature information. It is also possible to collect them. In general, when a feature is image-recognized and the accuracy of position information is improved, the target feature to be image-recognized is often selected from a plurality of candidate features. That is, when image recognition is performed on the target feature, information such as the location and type of the other feature is acquired, and a captured image including the other feature is also acquired. Since it is acquired, it is efficient when collecting feature information. Further, if the image recognition of the target feature is successful, the position information becomes more accurate information, and therefore it is possible to accurately grasp the existence position of the feature other than the target feature, that is, the learning feature. As a result, it is possible to maintain feature information efficiently with high accuracy.
そのような1つの態様として、本発明に係る地物情報学習システムは、
前記撮影画像を撮影する撮影装置と、
前記撮影装置の推定位置を示す推定位置情報を取得する推定位置情報取得部と、
前記撮影画像を所定期間に亘って蓄積し、前記推定位置情報に関連付けて一時記憶する一時記憶部と、
前記地物の位置情報を少なくとも含む前記地物情報を格納した地物データベースに接続し、前記撮影装置の移動経路に沿って存在する複数の候補地物についての前記地物情報である候補地物情報を取得する地物情報取得部と、を備え、
前記画像認識部は、複数の前記候補地物の中から選定された1つの対象地物の画像認識を行なうと共に、前記対象地物の画像認識が成功した場合には、前記対象地物についての前記地物情報に含まれる位置情報に基づいて前記一時記憶部に記憶された前記推定位置情報を補正し、当該補正後の前記推定位置情報に基づいて前記一時記憶部から読み出される前記撮影画像と、前記候補地物情報とに基づいて、前記撮影画像に含まれる前記対象地物とは別の前記候補地物である学習地物の画像認識を行い、
前記学習記憶部は、当該画像認識の結果と前記日照要因情報とを関連付けて学習データベースに記憶するように構成されると好適である。
As such one aspect, the feature information learning system according to the present invention is:
A photographing device for photographing the photographed image;
An estimated position information acquisition unit that acquires estimated position information indicating an estimated position of the imaging device;
A temporary storage unit that accumulates the captured image over a predetermined period and temporarily stores the image in association with the estimated position information;
A candidate feature that is connected to a feature database that stores the feature information including at least the position information of the feature and that is the feature information of a plurality of candidate features that exist along the movement path of the imaging device A feature information acquisition unit for acquiring information,
The image recognition unit performs image recognition of one target feature selected from the plurality of candidate features, and when image recognition of the target feature is successful, The estimated position information stored in the temporary storage unit is corrected based on the position information included in the feature information, and the captured image is read from the temporary storage unit based on the corrected estimated position information. , Based on the candidate feature information, image recognition of the learning feature that is the candidate feature different from the target feature included in the captured image,
Preferably, the learning storage unit is configured to store the result of the image recognition and the sunshine factor information in the learning database in association with each other.
ところで、地物日陰情報とコントラスト情報とを含む日照要因情報と、画像認識部による画像認識結果とを関連付けて学習データベースに記憶するためには、地物のそれぞれについて、当該地物と日陰との関係を示す情報である地物日陰情報を良好に演算する必要がある。そして、画像認識部は、この地物日陰情報を加味して、各学習地物の画像認識を行う必要がある。このため、1つの態様として、本発明に係る地物情報学習システムは、前記撮影装置の移動経路に沿った位置を示す経路位置情報に関連付けて各位置での日照状態を検出する日照状態検出部を備え、前記地物日陰情報演算部が、前記日照状態検出部の検出結果と、前記地物情報に含まれる前記地物の位置情報とに基づいて、前記地物のそれぞれについての前記地物日陰情報を演算し、前記画像認識部が、前記学習地物についての前記地物情報に含まれる位置情報と、前記補正後の前記推定位置情報とに基づいて、前記一時記憶部に記憶された前記撮影画像に含まれる前記学習地物の画像認識を行なうと好適である。 By the way, in order to store the sunshine factor information including the feature shade information and the contrast information and the image recognition result by the image recognition unit in association with each other in the learning database, for each feature, the feature and shade It is necessary to satisfactorily calculate the feature shade information that is information indicating the relationship. And the image recognition part needs to perform image recognition of each learning feature in consideration of this feature shade information. Therefore, as one aspect, the feature information learning system according to the present invention is a sunshine state detection unit that detects the sunshine state at each position in association with the route position information indicating the position along the movement route of the imaging device. The feature shade information calculation unit includes the feature for each of the features based on the detection result of the sunshine state detection unit and the position information of the feature included in the feature information. Shade information is calculated, and the image recognition unit is stored in the temporary storage unit based on the position information included in the feature information about the learned feature and the corrected estimated position information. It is preferable to perform image recognition of the learning feature included in the captured image.
上述した本発明に係る地物情報学習システムの種々の技術的特徴は、地物情報学習プログラムや、地物情報学習方法にも適用可能である。従って、本発明は、そのような地物情報学習プログラムや、地物情報学習方法も権利の対象とすることができる。例えば、本発明に係る地物情報学習プログラムは、上述した地物情報学習システムの特徴を備えた各種の機能をコンピュータに実現させることが可能である。以下にその代表的な態様を例示する。当然ながらこのような地物情報学習プログラムも、上述した地物情報学習システムの作用効果を奏することができる。さらに、地物情報学習システムの好適な態様として例示した種々の付加的特徴をこの地物情報学習プログラムに組み込むことも可能であり、当該プログラムはそれぞれの付加的特徴に対応する作用効果も奏することができる。本発明に係る地物情報学習方法についても同様である。 Various technical features of the feature information learning system according to the present invention described above can be applied to a feature information learning program and a feature information learning method. Therefore, the present invention can also target such a feature information learning program and a feature information learning method. For example, the feature information learning program according to the present invention can cause a computer to realize various functions having the features of the feature information learning system described above. The typical aspect is illustrated below. As a matter of course, such a feature information learning program can also exhibit the effects of the above-described feature information learning system. Furthermore, various additional features exemplified as a preferred mode of the feature information learning system can be incorporated into the feature information learning program, and the program also exhibits the effects corresponding to the respective additional features. Can do. The same applies to the feature information learning method according to the present invention.
1つの態様として、本発明に係る地物情報学習プログラムは、
画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習プログラムであって、
撮影画像を取得する撮影画像取得機能と、
前記撮影画像に含まれる前記地物の画像認識を行なう画像認識機能と、
少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、前記地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する地物日陰情報演算機能と、
日陰と日向とのコントラストを示すコントラスト情報を取得するコントラスト情報取得機能と、
前記地物日陰情報と前記コントラスト情報とを含む日照要因情報と、前記画像認識機能により実現された前記地物の画像認識結果とを関連付けて学習データベースに記憶する学習記憶機能と、
前記学習データベースに記憶された情報に基づいて、前記地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、前記地物のそれぞれについての前記地物情報を構成する情報として格納する地物情報学習機能と、
をコンピュータに実現させるものであると好適である。
As one aspect, the feature information learning program according to the present invention includes:
A feature information learning program for learning feature information, which is information about a feature to be image-recognized,
A captured image acquisition function for acquiring captured images;
An image recognition function for performing image recognition of the feature included in the captured image;
It is information that can distinguish at least a shade state in which all the features are included in the shade, a sunny state in which all the features are included in the shade, and a partial shade state in which some of the features are included in the shade. A feature / shade information calculation function for calculating feature / shade information, which is information indicating the positional relationship between the feature and the shade,
A contrast information acquisition function for acquiring contrast information indicating contrast between the shade and the sun;
A learning storage function for associating and storing in the learning database the sunshine factor information including the feature shade information and the contrast information, and the image recognition result of the feature realized by the image recognition function;
Based on the information stored in the learning database, for each of the features, sunshine characteristic information indicating a degree of influence on image recognition by sunshine is generated, and the feature information about each of the features is A feature information learning function to store as constituent information;
Is preferably realized by a computer.
また、1つの態様として、本発明掛かる地物情報学習方法は、
画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習方法であって、
撮影画像を取得する撮影画像取得ステップと、
前記撮影画像に含まれる前記地物の画像認識を行なう画像認識ステップと、
少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、前記地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する地物日陰情報演算ステップと、
日陰と日向とのコントラストを示すコントラスト情報を取得するコントラスト情報取得ステップと、
前記地物日陰情報と前記コントラスト情報とを含む日照要因情報と、前記画像認識ステップによる前記地物の画像認識結果とを関連付けて学習データベースに記憶する学習記憶ステップと、
前記学習データベースに記憶された情報に基づいて、前記地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、前記地物のそれぞれについての前記地物情報を構成する情報として格納する地物情報学習ステップと、
を備えるものであると好適である。
Moreover, as one aspect, the feature information learning method according to the present invention includes:
A feature information learning method for learning feature information, which is information about a feature to be image-recognized,
A captured image acquisition step of acquiring a captured image;
An image recognition step for performing image recognition of the feature included in the captured image;
It is information that can distinguish at least a shade state in which all the features are included in the shade, a sunny state in which all the features are included in the shade, and a partial shade state in which some of the features are included in the shade. A feature / shade information calculation step for calculating feature / shade information, which is information indicating the positional relationship between the feature and the shade,
A contrast information acquisition step of acquiring contrast information indicating contrast between the shade and the sun;
A learning storage step of associating and storing a sunshine factor information including the feature shade information and the contrast information in a learning database in association with an image recognition result of the feature by the image recognition step;
Based on the information stored in the learning database, for each of the features, sunshine characteristic information indicating a degree of influence on image recognition by sunshine is generated, and the feature information about each of the features is A feature information learning step to store as constituent information;
It is suitable that it is provided.
以下、本発明の実施形態を、車両用のナビゲーションシステムにおいて、車両の位置情報の精度を向上させるために路面のペイント(道路標示)などの地物を画像認識する地物認識システムを例にして説明する。以下においては、地物として道路標示を例示して説明するが、路側に設置されたり、道路を跨いで懸架されたりした道路標識などの看板も含め、地上との相対位置が固定されている設置物も地物とすることができる。また、以下においては、このような地物認識システムを備えた車両用のナビゲーションシステムを例として説明するが、このナビゲーションシステムは車両に固定的に搭載されたいわゆる車載ナビゲーションシステムに限らず、任意に移動可能なポータブルナビゲーションシステムであってもよい。また、携帯電話機や、デジタルカメラ等のポータブル機器にアプリケーションとして搭載されたナビゲーションシステムであってもよい。 Hereinafter, an embodiment of the present invention will be described with an example of a feature recognition system for recognizing features such as paint on a road surface (road marking) in order to improve the accuracy of vehicle position information in a vehicle navigation system. explain. In the following description, road markings will be described as examples of features. However, installations where the relative position to the ground is fixed, including signs such as road signs that are installed on the roadside or suspended across the road. Objects can also be features. In the following, a vehicle navigation system equipped with such a feature recognition system will be described as an example. However, this navigation system is not limited to a so-called in-vehicle navigation system that is fixedly mounted on a vehicle, but can be arbitrarily selected. It may be a portable navigation system that can be moved. Further, it may be a navigation system installed as an application in a portable device such as a mobile phone or a digital camera.
〔ナビゲーションシステム〕
図1は、このようなナビゲーションシステムのシステム構成を模式的に示すブロック図である。図1に示すように、ナビゲーションシステム1は、自位置特定システム2と、ガイドシステム7とを備えて構成されている。ガイドシステム7は、ナビゲーションシステム1の案内機能の中核となるシステムであり、ナビゲーションシステム1の存在する位置(自位置)に基づいて、目的地までの経路案内や自位置における種々の情報提供を実施する。自位置特定システム2は、ナビゲーションシステム1の存在する位置(自位置)を特定するシステムであり、GPS(global positioning system)による測量やデッドレコニング(Dead-Reckoning)による自律制御を利用して自位置を演算する測位システム3、上述した地物を認識して自位置を演算する地物認識システム4を備えて構成されている。
[Navigation system]
FIG. 1 is a block diagram schematically showing the system configuration of such a navigation system. As shown in FIG. 1, the
尚、「自位置」は、各システム、特にナビゲーションシステム1において定義され、ナビゲーションシステム1による案内を受けるユーザーが認知でき、案内結果を好適に利用できる位置である。例えば、ナビゲーションシステム1が車両に固定的に搭載された車載ナビゲーションシステムであり、ユーザーが当該車両の搭乗者である場合には、「自位置」は、ナビゲーションシステム1の位置であり、当該車両の位置であり、車載カメラなどの撮影装置の位置であり、ユーザーの位置である。ナビゲーションシステム1が、ポータブルナビゲーションシステムである場合には、「自位置」は、少なくともナビゲーションシステム1の位置であり、当該ポータブルナビゲーションシステムを携帯するユーザーの位置である。当該ポータブルナビゲーションシステムにカメラ(撮影装置)が付属されている場合には、当該カメラの位置も「自位置」である。また、ポータブルナビゲーションシステムが、車両に持ち込まれている場合には、当然ながら、「自位置」に当該車両の位置が含まれる。さらに、ポータブルナビゲーションシステムが、当該車両に搭載された車載カメラなどの撮影装置による撮影画像を取得可能な場合には、当該車載カメラの位置も自位置に含まれる。携帯電話機や、デジタルカメラ等のポータブル機器にアプリケーションとして搭載されたナビゲーションシステムの「自位置」も、ポータブルナビゲーションシステムと同様であるから、詳細な説明は省略する。
The “own position” is a position that is defined in each system, particularly the
地物認識システム4は、地物選定システム5と、画像処理システム6とを備えて構成されている。地物選定システム5は、予め存在位置が把握されている複数の地物から、画像処理システム6による画像認識の対象となる対象地物を選定するシステムである。また、画像処理システム6は、地物選定システム5により選定された対象地物を画像認識するシステムである。本実施形態において、自位置は、まず、測位システム3の推定位置演算部31において推定される。ここでは、この自位置を「推定位置情報」と称する。この推定位置情報は、地物認識システム4による対象地物の認識結果に基づき、測位システム3の位置情報補正部32において高精度な自位置を示す「高精度位置情報」に補正される。ガイドシステム7は、少なくとも推定位置情報を用いて、より好適には高精度位置情報を用いて、目的地までの経路案内や自位置における種々の情報提供を実施する。
The feature recognition system 4 includes a
本実施形態において、ナビゲーションシステム1は、マイクロコンピュータやDSP(digital signal processor)などの演算処理装置を中核部材として構成されている。つまり、演算処理装置をはじめ、メモリやディスク装置などの記憶媒体、周辺ICなどのハードウェアと、当該ハードウェア上で用いられるプログラムやパラメータなどのソフトウェアとの協働によって、ナビゲーションシステム1が構成される。ナビゲーションシステム1を構成する上述した各システム2〜7や、後述する地物情報学習システム8についても同様である。
In the present embodiment, the
図1に示すように、ナビゲーションシステム1は、ナビゲーションデータベース(ナビゲーションDB)11を備えている。例えば、ナビゲーションデータベース11は、光ディスク装置や磁気ディスク装置、SSD(solid state drive)などによって実現される。本実施形態において、ナビゲーションデータベース11は、所定の領域毎に分けられた複数の地図情報と、この地図情報に関連付けられた複数の地物情報とが少なくとも格納されたデータベースである。ナビゲーションデータベース11は、図2に示すように、レイヤ構造を有して構築されている。本実施形態では、道路ネットワークレイヤm1、道路形状レイヤm2、地物レイヤm3がナビゲーションデータベース11に格納されている例を示している。
As shown in FIG. 1, the
道路ネットワークレイヤm1は、道路間の接続情報を示すレイヤである。具体的には、緯度及び経度で表現された地図上の位置情報を有する多数のノードnの情報と、2つのノードnを連結して道路を構成する多数のリンクkの情報とを有して構成されている。また、各リンクkは、そのリンク情報として、道路の種別(高速道路、有料道路、国道、県道等の種別)やリンク長さ等の情報を有している。また、道路形状レイヤm2は、道路ネットワークレイヤm1に関連付けられて格納され、道路の形状を示すレイヤである。具体的には、2つのノードnの間(リンクk上)に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点sの情報や道路幅の情報等を有して構成されている。これらの道路ネットワークレイヤm1及び道路形状レイヤm2に格納された情報により、地図情報が構成される。 The road network layer m1 is a layer indicating connection information between roads. Specifically, it has information on a large number of nodes n having position information on a map expressed by latitude and longitude, and information on a large number of links k that form a road by connecting two nodes n. It is configured. Each link k has information such as road type (type of highway, toll road, national road, prefectural road, etc.) and link length as link information. The road shape layer m2 is a layer stored in association with the road network layer m1 and indicating the shape of the road. Specifically, information on a number of road shape complementing points s, information on road widths, and the like, which are arranged between two nodes n (on link k) and have position information on a map expressed by latitude and longitude, It is configured. Map information is constituted by information stored in the road network layer m1 and the road shape layer m2.
地物レイヤm3は、道路ネットワークレイヤm1及び道路形状レイヤm2に関連付けられて構成され、道路上や道路周辺に設けられた各種の地物の情報、すなわち地物情報Fが格納されているレイヤである。この地物レイヤm3に地物情報Fが格納される地物には、道路の路面に設けられた道路標示が含まれている。このような道路標示に係る地物としては、例えば、横断歩道、停止線、各車線の進行方向を指定する進行方向別通行区分標示(直進矢印、右折矢印等)、交差点形状標示(十字マーク、T字マーク等)、道路に沿って車線を分ける区画線(実線、破線、二重線等)、速度表示、ゼブラゾーン等の各種のペイント標示が含まれる。なお、地物情報Fが格納される地物としては、このような道路標示のほか、信号機、標識、陸橋、トンネル等の各種の地物も含めることができる。このように、ナビゲーションデータベース11には、詳細な地物情報Fが格納されている。ナビゲーションデータベース11は、少なくとも図1に示すように、地図データベース11mと地物データベース11fとを備えて構成されているということもできる。尚、本実施形態においては、ナビゲーションデータベース11には、後述する立体物データベース11bも構築され、立体物情報も格納されている。図示は省略するが、上述した各レイヤm1〜m3に加えて、立体物情報が格納された立体物レイヤが備えられていてもよい。
The feature layer m3 is configured in association with the road network layer m1 and the road shape layer m2, and is a layer in which information of various features provided on the road and around the road, that is, the feature information F is stored. is there. The feature in which the feature information F is stored in the feature layer m3 includes a road marking provided on the road surface. Examples of such features related to road markings include pedestrian crossings, stop lines, traffic direction markings that specify the traveling direction of each lane (straight arrows, right-turn arrows, etc.), intersection shape markings (cross marks, T mark, etc.), lane markings dividing the lane along the road (solid line, broken line, double line, etc.), various display marks such as speed display, zebra zone and the like are included. In addition to such road markings, the features in which the feature information F is stored can include various features such as traffic lights, signs, overpasses, and tunnels. As described above, the detailed feature information F is stored in the navigation database 11. It can also be said that the navigation database 11 includes at least a
地物情報Fは、少なくとも地物が存在する位置についての位置情報を含む情報である。この位置情報は、各地物の代表点の地図上の位置(緯度及び経度)及び各地物の向きの情報を有している。地物の代表点は、例えば、各地物の長さ方向及び幅方向の中心位置に設定される。また、地物情報Fは、各地物の属性情報を含んでいる。本実施形態においては、属性情報は、地物種別、地物の形態、地物の状態、認識特性の情報を含んでいる。地物種別の情報は、各地物の種別を表す情報であり、基本的には同じ形状の地物が1つの種別として規定されている。例えば、地物種別の情報は、直進矢印、右折矢印、十字マーク、T字マーク、停止線、横断歩道等の道路標示の具体的な種別を表す情報となる。地物の形態の情報は、各地物の形状、大きさ、色彩等の情報を有している。地物の状態の情報は、現実の各地物のかすれの状態等のような各地物の画像認識処理に影響を与える地物の状態の情報を有している。また、認識特性の情報として、本実施形態では、日照特性情報と、基準認識率の情報とを有している。日照特性情報は、各地物の、日照による画像認識への影響の度合いを示す特性の情報である。基準認識率の情報は、各地物に対する画像認識の平均的な成功確率を示す情報である。 The feature information F is information including position information about at least a position where the feature exists. This position information includes information on the position (latitude and longitude) of the representative point of each feature on the map and the direction of each feature. The representative point of the feature is set, for example, at the center position in the length direction and the width direction of each feature. The feature information F includes attribute information of each feature. In the present embodiment, the attribute information includes information on a feature type, a feature form, a feature state, and recognition characteristics. The feature type information is information representing the type of each feature, and basically features of the same shape are defined as one type. For example, the feature type information is information indicating a specific type of road marking such as a straight arrow, a right turn arrow, a cross mark, a T-shaped mark, a stop line, and a pedestrian crossing. The feature form information includes information such as the shape, size, and color of each feature. The feature state information includes feature state information that affects the image recognition processing of each feature, such as the actual fading state of each feature. In addition, the present embodiment includes sunshine characteristic information and reference recognition rate information as recognition characteristic information. The sunshine characteristic information is information on characteristics indicating the degree of influence of each day on image recognition by sunshine. The reference recognition rate information is information indicating an average success probability of image recognition for each feature.
上述したように、ナビゲーションシステム1は、自位置特定システム2と、ガイドシステム7とを備えて構成されており、ガイドシステム7は自位置特定システム2により特定された自位置の情報を用いて、経路案内などを実施する。自位置特定システム2は、測位システム3と、地物認識システム4とを備えて構成されており、地物認識システム4は、地物選定システム5と、画像処理システム6とを備えて構成されている。地物選定システム5で選定された対象地物を画像処理システム6により画像認識することによって、測位システム3は、測位結果に含まれる誤差を補正して高精度位置情報を得る。
As described above, the
本実施形態においては、測位システム3は、推定位置演算部31と位置情報補正部32とを備えて構成されており、まず、推定位置演算部31によって、推定位置情報が演算されて取得される。図1に示すように、推定位置演算部31は、GPS受信機12、方位センサ13、及び距離センサ14と接続されている。尚、推定位置演算部31は、現在位置の情報を蓄積することによって、車両の進行方位や移動速度等の情報も取得することができる。位置情報補正部32は、推定位置情報をより高精度な位置に関する情報を用いて補正し、ガイドシステム7に提供する。そのような高精度な位置に関する情報が得られなかった場合、例えば、画像処理システム6によって地物が認識されなかったような場合には、そのまま推定位置情報をガイドシステム7に提供する。
In the present embodiment, the
尚、常に高精度位置情報が演算され、ガイドシステム7に利用される必要はない。例えば、ナビゲーションシステム1の上位の制御機能部(ソフトウェアを含む)により、高精度位置情報が要求された場合にのみ、高精度位置情報が演算される構成であってもよい。一般的に、画像処理は演算負荷が高いため、常に高精度位置情報を得るための演算が可能なシステムを構築することは現実的ではない場合がある。従って、推定位置演算部31による位置情報に含まれると想定される累積誤差が所定のしきい値を超えるなどの一定の条件を満たした場合に、地物認識システム4を活用して高精度位置情報が演算されると好適である。また、進路変更点など高精度な案内が必要であったり、停止線における制動補助を行うために高精度な位置情報が必要であったりする場合には、位置情報に含まれる累積誤差に拘わらず、優先的に地物認識システム4を活用して高精度位置情報が演算されてもよい。
Note that high-precision position information is always calculated and does not need to be used for the guide system 7. For example, a configuration in which high-accuracy position information is calculated only when high-accuracy position information is requested by an upper control function unit (including software) of the
ところで、画像処理、特に画像認識は一般的に演算負荷の大きい処理であるため、存在が把握されている全ての地物を認識することは、演算時間や、演算装置の性能及び規模の点から現実的ではない。このため、地物認識システム4は、対象地物の候補となる候補地物の中から画像認識の対象となる対象地物を選定するための地物選定システム5を備えて構成されている。本実施形態において、地物選定システム5は、測位システム3の推定位置演算部31により演算された推定位置情報を用いて、認識対象となる対象地物を選定する。図1に示すように、地物選定システム5は、日時情報取得部41と、推定位置情報取得部42と、地物情報取得部43と、立体物情報取得部44と、コントラスト情報取得部51と、ハレーション情報取得部52と、地物日陰情報演算部53と、対象地物選定部58とを備えた選定演算部50を備えて構成されている。また、地物選定システム5は、選定演算部50に加え、画像処理システム6と共有する撮影画像取得部61も備えて構成されている。以下、図3〜図6のフローチャートも利用して、対象地物を選定する手順の一例を説明する。上述した各機能部、及びその他の付随する機能部の詳細な説明は、以下における対象地物を選定する手順の説明の中で適宜実施する。
By the way, since image processing, particularly image recognition, is generally a processing with a large calculation load, recognizing all the features whose existence is known is from the viewpoint of calculation time, performance and scale of the calculation device. Not realistic. For this reason, the feature recognition system 4 includes a
〔対象地物の選定(地物選定システム)〕
ナビゲーションシステム1の上位の制御機能部(ソフトウェアを含む)により、高精度位置情報が要求されると、推定位置情報取得部42により推定位置情報が取得される(図3#01:推定位置情報取得ステップ/機能)。推定位置情報が示す「自位置」は、上述したように「種々の対象の位置」とすることができるが、撮影画像を用いて地物を認識する際の「自位置」であるから、ここでは、少なくとも画像認識に用いる撮影画像を撮影する撮影装置の推定位置を示す情報である。本実施形態において、撮影装置は図1に示すカメラ16である。カメラ16は、CCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を用いて、毎秒15〜30フレームの2次元画像を時系列に撮影し、デジタル変換して動画データ(撮影画像)をリアルタイムに出力する。カメラ16は、例えば水平方向に140〜190°の視野角が確保されている広角カメラであり、その光軸に30度程度の俯角を有して車両に設置され、車両からおおよそ8m程度までの領域を撮影可能である。カメラ16が車両の後方を撮影する後方カメラとして車両の後部バンパーや背面ドアなどに設置された場合には、カメラ16は車両の後方の路面を含む画像を撮影画像として出力する。尚、撮影装置として、車両の前方を撮影する前方カメラが備えられ、当該前方カメラの撮影画像が用いられてもよい。このような前方カメラは、上述した後方カメラよりも光軸を上向きにして設置されている場合が多く、道路標識など、道路標示とは異なる地物も良好に視野に含むことができる。また、当然ながら、前方カメラ及び後方カメラ双方の撮影画像が用いられてもよい。
[Selection of target features (feature selection system)]
When high-precision position information is requested by a higher-level control function unit (including software) of the
地物情報取得部43は、推定位置情報に基づいて、画像認識の対象となる対象地物の候補となる候補地物を探索する範囲である所定範囲(探索範囲)を設定する(探索範囲設定ステップ/機能)。図7は、探索範囲SPの中の地物fの一例を示している。ここでは、予め存在が把握されている地物として、地物f1〜f6の6つの地物が探索範囲SPの中に含まれる例を示している。続いて、地物情報取得部43は、地物データベース11f(ナビゲーションデータベース11)から、探索範囲SP(所定範囲)内に存在する複数の候補地物についての地物情報Fである候補地物情報を取得する(図3#02:地物情報取得ステップ/機能)。尚、本実施形態の場合には、推定位置情報に基づいて探索範囲SPを設定し、探索範囲SPの中に存在する地物fを候補地物として、候補地物の地物情報F(候補地物情報)を取得している。従って、地物情報取得部43により実施される地物情報取得ステップ(機能)は、探索範囲設定ステップ(機能)を含めて、推定位置情報に基づいて、カメラ16の進行方向の探索範囲SP(所定範囲)内に存在する地物fを候補地物として地物データベース11fから候補地物情報を取得するということもできる。
The feature
候補地物の地物情報Fを取得すると、候補地物の中から対象地物を選定する対象地物選定部58は、対象地物の選定が必要か否かを判定する(図3#03:選定要否判定ステップ/機能)。探索範囲SP内に候補地物が存在しなければ選定は必要ではないので、選定処理を終了する。尚、厳密には、候補地物が1つの場合にも、選定は必要なく当該1つの候補地物を対象地物とすれば足りる。しかし、本実施形態では、少なくとも一般的な条件に基づく画像認識に対する適合性の評価を経た後に対象地物を決定することとする。従って、候補地物が1つの場合にも、対象地物の選定が必要と判定される。
When the feature information F of the candidate feature is acquired, the target
ステップ#03において、対象地物の選定が必要と判定されると、対象地物選定部58は、一般条件に基づいて候補地物を絞り込む。つまり、対象地物選定部58は、探索範囲SP内に存在が把握されている地物fの中から候補地物を選定する(図3#04:候補地物選定ステップ/機能)。地物情報Fには、地物fに関する情報として、地物の状態、例えば道路標示のかすれ具合なども含まれている。かすれが大きい地物fでは、当該地物fを対象地物としても、画像認識を失敗したり、他の地物と誤認識したりする可能性が高くなるため、認識対象とはしないほうが好ましい場合がある。従って、対象地物選定部58は、かすれ状態などの一般条件に基づいて、探索範囲SPの中の候補地物を選定する。また、図7に示す菱形形状の横断歩道予告を示す地物f3及び地物f4は、2つ連続した地物である。このような地物fは、より認識精度を向上させるために、組み合わせて地物セットg1(g)とすると好適である。対象地物選定部58は、組み合わせ条件などの一般条件に基づいて、探索範囲SPの中の地物を地物セットgに再編して候補地物と選定してもよい。
If it is determined in
続いて、対象地物選定部58は、選定した候補地物が複数存在するか否かを判定する(図3#05)。候補地物が複数存在しない場合には、次に候補地物が1つであるかゼロであるかが判定される(#06)。候補地物がゼロの場合には、対象地物となる地物fが存在しないことになるので、地物選定システム5全体の処理が終了される。候補地物が1つの場合には選択の余地はないので、対象地物選定部58は、当該候補地物を対象地物に選定する(#08)。一方、候補地物が複数存在する場合には、対象地物選定部58は、対象地物選定のための判定を休止し、選定に必要な種々の情報の演算や取得を、地物選定システム5を構成する他の機能部、特に選定演算部50の他の機能部に委ねる。具体的には、撮影画像、日時情報、日照要因情報などの種々の情報が取得され、画像処理に対する日照の影響を考慮して対象地物が選定される。以下、これら種々の情報の取得、並びに日照の影響を考慮した対象地物の選定について説明する。尚、以下のステップ#07、ステップ#09、ステップ#20に示す種々の情報の取得の順序は説明のために便宜的に定めた一例であり、他の順序であっても問題はない。
Subsequently, the target
まず、図1に示すように、画像処理システム6の機能部でもある撮影画像取得部61により、カメラ16の撮影画像が取得される(図3#07:撮影画像取得ステップ/機能)。上述したように、カメラ16は、時系列に撮影された毎秒15〜30フレームの2次元画像を動画データとして出力するので、不図示のフレームメモリ等に所定数のフレームが一時記憶されると好適である。この際、方位センサ13や距離センサ14による検出結果を利用して、車両と共に移動するカメラ16の単位移動量に応じて適宜フレームが間引かれて記憶されると、フレームメモリの容量を抑制することができる。尚、このフレームメモリとして、後述する地物学習システム8の一時記憶部81を活用してもよい。次に、日時情報取得部41により現在日時を示す日時情報が取得される(図3#09:日時情報取得ステップ/機能)。この日時情報は、図1に示すように、GPS受信器12により受信されたGPS信号に基づいて取得されると好適である。
First, as shown in FIG. 1, a captured image of the
続いて、選定演算部50を構成する種々の機能部により、日照要因情報が取得される(図3#20:日照要因情報取得ステップ/機能)。日照要因情報とは、画像処理システム6の画像認識部63による地物fの画像認識に影響を与える要因で、日照による起因する状態を示す情報である。日照要因情報には、少なくとも地物日陰情報とコントラスト情報とが含まれる。また、日照要因情報には、ハレーション情報も含まれると好適である。地物日陰情報は、詳細は後述するが、候補地物と日陰との関係を示す情報であり、好適には、少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報である。同様に詳細は後述するが、コントラスト情報は、撮影画像におけるコントラスト、つまり、撮影画像に現れた、或いは撮影画像に現れると推定される日陰及び日向のコントラストを示す情報である。また、ハレーション情報は、撮影画像におけるハレーションの発生状態を示す情報である。以下、図4のフローチャートも利用して、日照要因情報を取得する手順を説明するが、この場合も、特にステップ#22〜ステップ#24の順序が限定されるものではない。
Subsequently, sunshine factor information is acquired by various functional units constituting the selection calculation unit 50 (FIG. 3 # 20: sunshine factor information acquisition step / function). The sunshine factor information is a factor affecting the image recognition of the feature f by the
日照要因情報の1つである地物日陰情報や、コントラスト情報を正確に取得するためには、撮影画像に生じると推定される影の位置の情報が必要である。そして、そのような影、つまり撮影画像に含まれる日陰を形成する大きな要因となるのは、地物の周辺の建物などの立体物である。そこで、立体物情報取得部44は、立体物データベース11b(ナビゲーションデータベース11)から、探索範囲SP(所定範囲)内に存在する複数の立体物についての立体物情報を取得する(図4#21:立体物情報取得ステップ/機能)。立体物情報には、立体物についての位置の情報、大きさ(幅、奥行き、高さ)の情報、形状(直方体状、塔状、棒状、傾斜屋根など)の情報などが含まれる。日時情報より、太陽の位置は特定されるので、日時情報と立体物情報とに基づいて、地物選定システム5を構成する機能部は、図8に示すように探索範囲SPにおいて形成される日陰SHの位置及び形状を演算することができる。日時情報と太陽の位置との関係は、ナビゲーションデータベース11や、地物選定システム5を構成するメモリ等にマップとして格納されていると好適である。当然ながら、立体物データベース11bに日時情報に対応した日陰SHの情報が格納されていてもよい。
In order to accurately acquire the feature shade information that is one of the sunshine factor information and the contrast information, information on the position of the shadow estimated to occur in the captured image is necessary. And it is solid objects, such as a building around a feature, that becomes a big factor which forms such a shadow, ie, the shade contained in a photography picture. Therefore, the three-dimensional object
例えば、コントラスト情報取得部51は、日陰SHの位置及び形状に基づいて、車両100が図8に示す一点鎖線Yを走行する際の撮影画像から、日陰と日向とのコントラストを演算して取得することができる。また、車両100が走行する際に、照度センサ17によって検出された照度に基づき日照状態検出部55で検出された日照状態の情報と、日陰SHの位置及び形状とに基づいて、日陰と日向とのコントラストを演算して取得することができる。このようにして、コントラスト情報取得部51は、撮影画像に含まれる日陰と日向とのコントラストを示すコントラスト情報を取得する(図4#22:コントラスト情報取得ステップ/機能)。
For example, based on the position and shape of the shade SH, the contrast information acquisition unit 51 calculates and acquires the contrast between the shade and the sun from a captured image when the
ハレーション情報取得部52は、撮影画像において輝度情報がサチレーションを発生しているか否かなどを判定することによって、撮影画像におけるハレーションの発生状態を演算して取得する(図4#23:ハレーション情報取得ステップ/機能)。日射によるハレーションは、基本的には日光が当たっている場合に生じるから、ハレーション情報取得部52は、撮影画像の日向に対応する位置においてハレーションの発生状態を演算すると好適である。 The halation information acquisition unit 52 calculates and acquires the state of occurrence of halation in the photographed image by determining whether or not the luminance information is saturated in the photographed image (# 23 in FIG. 4: obtaining halation information). Step / function). Since halation due to solar radiation basically occurs when it is exposed to sunlight, it is preferable that the halation information acquisition unit 52 calculates the occurrence state of halation at a position corresponding to the sunlight in the captured image.
地物日陰情報演算部53は、候補地物に関する地物情報である候補地物情報と日時情報とに基づいて、候補地物のそれぞれについて、当該候補地物と日陰SHとの関係を示す情報である地物日陰情報を演算して取得する(図4#24:地物日陰情報演算ステップ/機能)。図8を示して上述したように、太陽の位置を示す日時情報と立体物情報とに基づいて、探索範囲SPにおいて形成される日陰SHの位置及び形状が明らかとなるから、日陰SHと候補地物との位置関係も明らかとなる。図8を参照すれば、矢印の地物f6は、その一部に立体物201の日陰SH1が掛かっており、地物日陰情報は「部分日陰状態」となる(以下適宜、「部分日陰」と略称する。)。かすれた矢印の地物f5は候補地物から除外されているため、地物日陰情報が演算されない。横断歩道予告の菱形の地物f4には、立体物201の日陰SH1が掛かっており、地物日陰情報は「日陰状態」となる(以下適宜、「日陰」と略称する。)。同様に、菱形の地物f3には、立体物202の日陰202が掛かっており、地物日陰情報は「日陰状態」となる。尚、図8に示す例では、地物セットg1も日陰SH1及び日陰SH2の中に入っているため、地物セットg1の地物日陰情報も「日陰状態」となる。仮に、立体物202が存在しない場合には、地物セットg1の一部に日陰SH1が掛かることとなるので、地物セットg1の地物日陰情報は「部分日陰」となる。停止線の地物f2及び横断歩道の地物f1には、近傍に存在する立体物203の日陰SH3も掛かっておらず、これらの地物日陰情報は「日向状態」となる(以下適宜、「日向」と略称する。)。
The feature shade
このようにして、日照要因情報が取得されると、対象地物選定部58は、少なくとも地物日陰情報とコントラスト情報とを含む日照要因情報に基づいて、候補地物の中から対象地物を選定する(対象地物選定ステップ/機能)。対象地物選定ステップ/機能は、図3に示すステップ#30と、ステップ#60とから構成される。ステップ#30では、画像認識への影響の度合いが演算される(影響度合い演算ステップ/機能)。ステップ#30では、各候補地物に対して、各対象地物の日照要因情報に基づいて、各候補地物を画像認識する際の影響度合いが演算される。ステップ#60では、この影響の度合いに基づいて、候補地物の中から1つの対象地物が選定される(地物決定ステップ/機能)。つまり、全ての候補地物に対する影響度合いの演算が終了した後、ステップ#60(地物決定ステップ/機能)が実施され、候補地物の中から1つの対象地物が選定される。
In this way, when the sunshine factor information is acquired, the target
はじめに、ステップ#30(影響度合い演算ステップ/機能)について図5のフローチャートを利用して説明する。地物の画像認識は、撮影画像に対してエッジ抽出、パターンマッチング等の公知の画像処理を施すことによって実施される。例えばエッジ抽出は、隣接する画素あるいは画素群の示す、輝度や濃度など画素値の差や勾配などに応じて演算する。このため、対象物(ここでは地物)と背景(ここでは路面)との画素値の差以外に、日向と日陰との画素値の差が生じると、エッジ抽出が不正確となり、その後のパターンマッチングなどの成功率も低下する可能性がある。特に、日向と日陰との画素値の差、つまりコントラストが大きいと、エッジ抽出が不正確となる可能性が高い。従って、影響度合いの演算対象である候補地物の日照要因情報(地物日陰情報)を参照して、当該候補地物の属性が「部分日陰」に該当する地物fであるか否かが、はじめに判定される(図5#31)。当該候補地物の属性が部分日陰である場合には、日照要因情報(コントラスト情報)を参照して、コントラストの大小が判定される(#34)。コントラストが大きい場合には、上述したようにエッジ抽出が不正確となる可能性が高いので、画像認識への影響が大きいと判定される(#41)。コントラストが小さい場合には、日陰による画素値への影響が小さくなるので、画像認識への影響が小さいと判定される(#42)。 First, step # 30 (influence degree calculating step / function) will be described with reference to the flowchart of FIG. The feature image recognition is performed by performing known image processing such as edge extraction and pattern matching on the photographed image. For example, the edge extraction is calculated according to a difference in pixel values such as luminance and density, a gradient, or the like indicated by adjacent pixels or pixel groups. For this reason, in addition to the difference in pixel value between the object (here, the feature) and the background (here, the road surface), if there is a difference in the pixel value between the sun and the shade, the edge extraction becomes inaccurate, and the subsequent pattern The success rate of matching etc. may also decrease. In particular, if the difference in pixel values between the sun and the shade, that is, the contrast is large, there is a high possibility that edge extraction will be inaccurate. Accordingly, referring to the sunshine factor information (feature shade information) of the candidate feature that is the calculation target of the influence degree, it is determined whether or not the attribute of the candidate feature is the feature f corresponding to “partial shade”. First, determination is made (FIG. 5 # 31). If the attribute of the candidate feature is partial shade, the magnitude of the contrast is determined with reference to the sunshine factor information (contrast information) (# 34). If the contrast is large, the edge extraction is likely to be inaccurate as described above, so it is determined that the influence on the image recognition is large (# 41). When the contrast is small, the influence on the pixel value due to the shade is small, so it is determined that the influence on the image recognition is small (# 42).
一方、ステップ#31において部分日陰ではないと判定されると、次に、地物日陰情報を参照して、当該候補地物の属性が「日陰」であるか否かが判定される(#32)。当該候補地物の属性が「日陰」である場合には、地物情報に含まれ、地物に固有の属性を示す日照特性情報が参照され、「日陰による画像認識への影響の有無」が判定される(#33)。日照特性情報とは、地物fのそれぞれについて、少なくとも地物日陰情報が日陰状態である場合の画像認識への影響の度合いを含み、日照による画像認識への影響の度合いを示す情報である。例えば、地物が日陰にあって地物と背景との間のコントラストが低下し、地物の認識率に影響する程度や、地物が日向にあってハレーションの影響を受け、地物の認識率に影響する程度などが、日照特性情報として規定されている。本実施形態では、地物が日陰にある場合に、コントラスト不足によって認識率に与える影響を、「影響有り」、「影響無し」の2つに簡略化した日照特性情報として例示している。従って、本実施形態のステップ#33では、コントラスト不足による影響が有るか否かが判定される。尚、この日照特性情報は、地物情報取得部43により、地物データベース11fから取得されている。
On the other hand, if it is determined in
図9は、地物データベース11fから取得された、候補地物についての地物情報である候補地物情報の一例を示している。ここでは、地物情報として、種別の情報、基準認識率の情報、日照特性(地物日陰情報が日陰状態である場合の画像認識への影響)の情報を示している。尚、基準認識率の情報とは、各地物に対する画像認識の平均的な成功確率を示す情報である。図7及び図9を参照すれば、地物f1の種別は、横断歩道の道路標示であり、基準認識率は70%、日照特性は「コントラスト不足」である。地物f2の種別は、停止線の道路標示であり、基準認識率は60%、日照特性は「コントラスト不足」である。地物f3及び地物f4の種別は、横断歩道予告の道路標示であり、基準認識率は90%、日照特性は「コントラスト不足」である。地物f6の種別は、矢印の道路標示であり、基準認識率は50%、日照特性は「無し」である。
FIG. 9 shows an example of candidate feature information that is the feature information about the candidate feature acquired from the
ところで、例えば、日陰により、対象物(ここでは地物)と背景(ここでは路面)との画素値の差、つまりコントラストが低下すると、エッジ抽出が不正確となる可能性がある。上述したように、地物日陰情報が日陰状態である場合の画像認識への影響を示す日照特性情報には、「日陰によりコントラストが低下する」等の情報が含まれる。さらに、撮影画像全体が明るい、つまり、晴れた状態で、日陰以外は明るい場合などでは、一般的にカメラ16により撮影画像の全体に対するダイナミックレンジの調整が実施される。これにより、相対的に撮影画像における日陰の部分の階調数が減少するため、よりコントラストが低下する可能性もある。逆に、撮影画像全体が暗い、つまり、曇った状態などで、日陰以外も暗い場合などでは、このダイナミックレンジの調整によっても、撮影画像における日陰の部分の階調数が減少せず、対象物と背景との画素値の差、つまりコントラストが低下しない可能性がある。
By the way, for example, when the difference in pixel value between the object (here, the feature) and the background (here, the road surface), that is, the contrast due to the shade, the edge extraction may become inaccurate. As described above, the sunshine characteristic information indicating the influence on the image recognition when the feature shade information is in the shaded state includes information such as “contrast decreases due to shade”. Furthermore, when the entire captured image is bright, that is, in a clear state and bright except in the shade, the dynamic range of the entire captured image is generally adjusted by the
ステップ#33において、「日陰による画像認識への影響が無い」と判定されると、当該候補地物は、「日照要因情報に基づく画像認識への影響が無い」と判定される(#43)。一方、ステップ#33において、「日陰による画像認識への影響が有る」と判定されると、上述したステップ#34において、日照要因情報(コントラスト情報)を参照して、日陰と日向とのコントラストの大小が判定される。コントラストが大きい場合には、撮影画像の全体が明るい可能性が高くなる。そして、上述したように、撮影画像における日陰の部分の階調数が減少し、対象物と背景との画素値の差、つまりコントラストが低下する可能性がある。従って、ステップ#34において、日陰と日向とのコントラストが大きいと判定された場合には、画像認識への影響が大きいと判定される(#41)。ステップ#34において、日陰と日向とのコントラストが小さいと判定された場合には、日陰によるコントラストの低下のみが画像認識への影響となるので、画像認識への影響が小さいと判定される(#42)。
If it is determined in
ステップ#32において、当該候補地物の属性が「日陰」ではないと判定されると、本実施形態においては、当該候補地物の属性が「日向」であるということになる。日向の場合には、カメラ16に対する太陽の位置(照射角度)や、路面などの反射係数の関係で撮影画像にハレーションが発生する可能性がある。ハレーションが発生する位置が、地物の位置と重なると、撮影画像の画素値がサチレーションを発生してしまい、地物と路面とのコントラストも低下し、画像認識の成功率が低下する。このため、ステップ#32において、当該候補地物の属性が「日陰」ではないと判定されると、次にハレーション情報(日照要因情報)を参照して、当該候補地物の位置にハレーションが生じているか否かが判定される(#35)。ハレーションが生じていない場合には、画像認識に対する影響がないので、「影響度合い=無し」と判定される(#43)。一方、ハレーションが生じている場合には、当該ハレーションの大きさが判定される(#36)。そして、ハレーションが大きい場合には、「影響度合い=大」と判定され(#44)、ハレーションが大きくない場合には、「影響度合い=小」と判定される(#45)。
If it is determined in
以上説明したように、対象地物選定部58は、地物日陰情報が部分日陰状態を示す候補地物の優先度を下げて対象地物の選定を進めていく。また、対象地物選定部58は、コントラスト情報が示す日陰と日向とのコントラストが大きいほど、地物日陰情報が部分日陰状態を示す候補地物の優先度を下げて対象地物の選定を進めていく。
As described above, the target
上述したステップ#41〜ステップ#45の判定結果、つまり、影響度合いの演算結果は、候補地物ごとに記憶される(#47)。そして、全ての候補地物についての影響度合いの演算が終了したか否かが判定され(#48)、影響度合いの演算が未完了の候補地物が存在した場合には、上述したステップ#31〜ステップ#47の演算が当該未完了の候補地物に対して実施される。全ての候補地物に対しての影響度合いの演算が終了している場合には、各候補地物の影響度合いに応じて、候補地物が複数のグループに分類される(#49)。本実施形態では、「影響度合い=無し」の候補地物をグループA、「影響度合い=小」の候補地物をグループB、「影響度合い=大」の候補地物をグループCに分類する。当然ながら、この分類は一例であり、4つ以上のグループに分類されることや、2つのグループへの分類を妨げるものではない。また、この分類数に応じて、ステップ#31〜ステップ#45に例示した判定も適宜変更可能であることは言うまでもない。
The determination results of
全ての候補地物に対する影響度合いの演算が終了した後、ステップ#60(地物決定ステップ/機能)が実施され、候補地物の中から1つの対象地物が選定される。以下、ステップ#60の詳細について、図6のフローチャートを利用して説明する。はじめに、「影響度合い=無し」の候補地物により構成されるグループAが存在するか否かが判定される(#61)。グループAが存在する場合、対象地物として選定される候補地物が属するグループとして、グループAが選択される(#63)。グループAが存在しない場合は、「影響度合い=小」の候補地物により構成されるグループBが選択される(#64)。グループBも存在しない場合は、「影響度合い=大」の候補地物により構成されるグループCが選択される(#65)。そして、対象地物として選定される候補地物が属するグループとして選択されたグループに属する候補地物の中から、上述した基準認識率が最も高い候補地物が対象地物として選定される(#66)。即ち、選択されたグループに属する候補地物が1つであった場合には、当該候補地物が選択され、選択されたグループに属する候補地物が複数であった場合には、複数の候補地物の中で最高の基準認識率を有する候補地物が選択される。
After the calculation of the degree of influence on all candidate features is completed, step # 60 (feature determination step / function) is performed, and one target feature is selected from the candidate features. Details of
ここで具体例を挙げて対象地物の選定について説明する。図10は、日照要因に応じて地物を選定する例を示している。図5、図8及び図10を参照すれば、横断歩道の道路標示である地物f1及び停止線の道路標示である地物f2は、地物日陰情報が「日向」であり、ハレーション情報が「なし」である。地物日陰情報が「日向」であるから、日照特性情報及びコントラスト情報は考慮する必要がなく、画像認識への影響度合いは「なし」となる。従って、地物f1及び地物f2は、グループAに分類される。横断歩道予告の道路標示である地物f3及び地物f4は、地物日陰情報が「日陰」であり、コントラスト情報が「大」である。また、地物f3及び地物f4の日照特性情報は、「コントラスト不足」である。地物日陰情報が「日陰」であるから、ハレーション情報は考慮する必要がなく、画像認識への影響度合いは、地物日陰情報と日照特性情報とに基づいて「大」となる。従って、地物f3及び地物f4は、グループCに分類される。矢印の道路標示である地物f6の地物日陰情報は「部分日陰」であり、コントラスト情報が「大」である。地物日陰情報が「部分日陰」であるから、日照特性情報及びハレーション情報は考慮する必要がなく、地物日陰情報とコントラスト情報とに基づいて、地物f6は、グループCに分類される。 Here, the selection of the target feature will be described with a specific example. FIG. 10 shows an example of selecting features according to the sunshine factor. Referring to FIGS. 5, 8, and 10, the feature f1 that is the road marking of the pedestrian crossing and the feature f2 that is the road marking of the stop line have the feature shade information “Hyuga” and the halation information “None”. Since the feature shade information is “Hyuga”, it is not necessary to consider the sunshine characteristic information and the contrast information, and the degree of influence on the image recognition is “None”. Therefore, the feature f1 and the feature f2 are classified into the group A. For the feature f3 and the feature f4, which are road markings for pedestrian crossing notice, the feature shade information is “shade” and the contrast information is “large”. Further, the sunshine characteristic information of the feature f3 and the feature f4 is “insufficient contrast”. Since the feature shade information is “shade”, there is no need to consider halation information, and the degree of influence on image recognition is “large” based on the feature shade information and the sunshine characteristic information. Therefore, the feature f3 and the feature f4 are classified into the group C. The feature shade information of the feature f6 that is the road marking of the arrow is “partial shade”, and the contrast information is “large”. Since the feature shade information is “partial shade”, it is not necessary to consider the sunshine characteristic information and the halation information, and the feature f6 is classified into the group C based on the feature shade information and the contrast information.
尚、ここまでの説明では、図5に例示したように、各情報をフローチャートに沿って順次判断していく例を示した。しかし、地物日陰情報、コントラスト情報、ハレーション情報などの日照要因情報と、日照特性情報とから、定量的な影響度情報を演算し、この影響度情報に基づいて、日照による影響の度合いを決定してもよい。例えば、地物日陰情報が「部分日陰」の場合には影響度係数を「7」とし、「日陰」の場合には影響度係数を「5」とし、「日向」の場合には影響度係数を「1」とする。また、本実施形態では、地物日陰情報が「日陰」の場合には、日照特性情報に関する影響度係数として、日照特性情報が「コントラストによる影響有り」の場合には影響度係数を「5」とし、「影響無し」の場合には影響度係数を「0」とする。地物日陰情報が「部分日陰」の場合には、日照特性情報に関する影響度係数を日照特性情報に拘わらず「5」とし、地物日陰情報が「日向」の場合には、日照特性情報に関する影響度係数を日照特性情報に拘わらず「0」とする。尚、コントラストの大小に応じ、コントラストが「小」の場合には、「0」を下限として日照特性情報に関する影響度係数を「2」減じると好適である。ハレーション情報の影響度係数は、地物日陰情報が「日向」の場合のみ「15」が設定され、その他の場合には「0」が設定される。 In the description so far, as illustrated in FIG. 5, an example is shown in which each information is sequentially determined according to a flowchart. However, quantitative influence information is calculated from sunshine factor information such as feature shade information, contrast information, and halation information, and sunshine characteristic information, and the degree of influence of sunshine is determined based on this influence information. May be. For example, when the feature shade information is “partial shade”, the influence coefficient is set to “7”, when it is “shade”, the influence coefficient is set to “5”, and when it is “Hyuga”, the influence coefficient is set. Is “1”. Further, in the present embodiment, when the feature shade information is “shade”, the influence coefficient is “5” as the influence coefficient regarding the sunshine characteristic information, and when the sunshine characteristic information is “influenced by contrast”. In the case of “no influence”, the influence coefficient is set to “0”. When the feature shade information is “partial shade”, the influence coefficient regarding the sunshine characteristic information is set to “5” regardless of the sunshine characteristic information, and when the feature shade information is “sunshine”, the influence factor coefficient is related to the sunshine characteristic information. The influence coefficient is set to “0” regardless of the sunshine characteristic information. It should be noted that when the contrast is “small” according to the magnitude of the contrast, it is preferable to subtract “2” from the influence coefficient related to the sunshine characteristic information with “0” as the lower limit. As the influence coefficient of halation information, “15” is set only when the feature shade information is “hinata”, and “0” is set otherwise.
以上の係数を図10の例に適用すれば、横断歩道の道路標示である地物f1及び停止線の道路標示である地物f2は、地物日陰情報が「日向」であり、ハレーション情報が「なし」である。ハレーション情報「なし」の場合の影響度係数は「0」となるので、地物日陰情報が「日向」の場合の影響度係数「1」と乗算されて、定量的な影響度情報は「0」となる。横断歩道予告の道路標示である地物f3及び地物f4は、地物日陰情報が「日陰」であり、コントラスト情報が「大」であり、日照特性情報は、「コントラスト不足の影響あり」である。従って、地物日陰情報が「日陰」の場合の影響度係数「5」、日照特性情報の影響度係数を「5」が乗算されて、定量的な影響度情報が「25」となる。矢印の道路標示である地物f6の地物日陰情報は「部分日陰」であり、コントラスト情報が「大」である。従って、「部分日陰」の場合の影響度係数「7」、日照特性情報に拘わらず設定される影響度係数「5」が乗算されて、定量的な影響度情報は「35」となる。そして、例えば、この定量的な影響度情報が、0〜14の場合にグループA、15〜24の場合にグループB、25以上の場合にグループCに分類される。このように、定量的な演算によって、日照による影響の度合いを決定することも可能である。 Applying the above coefficients to the example of FIG. 10, the feature f1 that is the road marking of the pedestrian crossing and the feature f2 that is the road marking of the stop line have the feature shade information “Hyuga” and the halation information “None”. When the halation information is “None”, the influence coefficient is “0”. Therefore, when the feature shade information is “Hyuga”, the influence coefficient is “1”, and the quantitative influence information is “0”. " For the feature f3 and the feature f4, which are road markings for the pedestrian crossing notice, the feature shade information is “shade”, the contrast information is “large”, and the sunshine characteristic information is “influence of insufficient contrast”. is there. Therefore, the influence coefficient “5” when the feature shade information is “shade” and the influence coefficient “5” of the sunshine characteristic information are multiplied by “5”, and the quantitative influence information becomes “25”. The feature shade information of the feature f6 that is the road marking of the arrow is “partial shade”, and the contrast information is “large”. Therefore, the influence coefficient “7” in the case of “partial shade” is multiplied by the influence coefficient “5” set regardless of the sunshine characteristic information, and the quantitative influence information becomes “35”. For example, this quantitative influence information is classified into group A when it is 0-14, group B when it is 15-24, and group C when it is 25 or more. As described above, it is possible to determine the degree of the influence of sunshine by quantitative calculation.
以上説明したように、図10に示す例では、4種類の地物fが、2つのグループ、グループAとグループCとに分類される。図6のフローチャートを例示して説明したように、ここでは、グループAが優先的に選択され、グループAに属する候補地物のうち、基準認識率が最大の地物fが対象地物として選定される。グループAに属する地物f1(横断歩道)と地物f2(停止線)とでは、地物f1の方が基準認識率が高いため、図10に示す例では、画像認識の対象となる対象地物として地物f1(横断歩道)が選定される。 As described above, in the example shown in FIG. 10, the four types of features f are classified into two groups, group A and group C. As described with reference to the flowchart of FIG. 6, here, group A is preferentially selected, and among the candidate features belonging to group A, the feature f having the highest standard recognition rate is selected as the target feature. Is done. For the feature f1 (pedestrian crossing) and the feature f2 (stop line) belonging to the group A, the feature f1 has a higher standard recognition rate. Therefore, in the example shown in FIG. The feature f1 (crosswalk) is selected as the object.
図11は、図10とは異なる日照要因に対して地物を選定する例を示している。図10との違いは、コントラスト情報とハレーション情報とである。図11の例では、コントラスト情報が「小」であり、ハレーション情報が「大」であるから、地物日陰情報が「日陰」や「部分日陰」の地物よりも、「日向」の地物の方が厳しい条件となる。地物日陰情報が「日向」である地物f1(横断歩道)及び地物f2(停止線)は、ハレーション情報が「大」であることから、画像認識への影響度合いが「大」となり、グループCに分類される。一方、地物日陰情報が「日陰」の地物f3及び地物f4(横断歩道予告)は、日照特性情報が「コントラスト不足」であるが、コントラスト情報が「小」であるから、画像認識への影響度合いが「小」となり、グループBに分類される。また、地物日陰情報が「部分日陰」である地物f6(矢印)は、日照特性情報として示される日陰の影響が「なし」であり、コントラスト情報が「小」であるから、画像認識への影響度合いが「小」となり、グループBに分類される。 FIG. 11 shows an example of selecting a feature for a sunshine factor different from FIG. The difference from FIG. 10 is contrast information and halation information. In the example of FIG. 11, the contrast information is “small” and the halation information is “large”, so the feature shade information is “hinata” rather than “shade” or “partial shade” feature. Is a more severe condition. The feature f1 (pedestrian crossing) and the feature f2 (stop line) whose feature shade information is “Hyuga” have “Large” halation information, so the degree of influence on image recognition is “Large” Classified into group C. On the other hand, for the feature f3 and the feature f4 (pedestrian crossing notice) whose feature shade information is “shade”, the sunshine characteristic information is “insufficient contrast”, but the contrast information is “small”. The degree of influence is “small” and is classified into group B. In addition, the feature f6 (arrow) whose feature shade information is “partial shade” has the influence of shade indicated as the sunshine characteristic information “none” and the contrast information is “small”. The degree of influence is “small” and is classified into group B.
以上説明したように、図11に示す例では、4種類の地物fが、2つのグループ、グループBとグループCとに分類される。図6のフローチャートを例示して説明したように、ここでは、グループBが優先的に選択され、グループBに属する候補地物のうち、基準認識率が最大の地物fが対象地物として選定される。グループBに属する地物f3,f4(横断歩道予告)と地物f6(矢印)とでは、地物f3,f4の方が基準認識率が高いため、図11に示す例では、画像認識の対象となる対象地物として地物f3,f4(横断歩道予告)が選定される。尚、上述したように、地物f3と地物f4とは、地物セットg1を構成することもできる。従って、対象地物として地物セットg1を選定してもよい。また、地物f3と地物f4の内の何れか、例えば、進行方向手前側の地物f4を優先的に選定するようにしてもよい。 As described above, in the example shown in FIG. 11, the four types of features f are classified into two groups, group B and group C. As described with reference to the flowchart of FIG. 6, here, group B is preferentially selected, and among the candidate features belonging to group B, feature f having the highest standard recognition rate is selected as the target feature. Is done. For the features f3 and f4 belonging to the group B (the pedestrian crossing notice) and the feature f6 (arrow), the features f3 and f4 have a higher standard recognition rate. Therefore, in the example shown in FIG. Features f3 and f4 (notice of pedestrian crossing) are selected as target features. As described above, the feature f3 and the feature f4 can also constitute the feature set g1. Therefore, the feature set g1 may be selected as the target feature. Further, any one of the feature f3 and the feature f4, for example, the feature f4 on the front side in the traveling direction may be preferentially selected.
図12は、図10と同じ日照要因に応じて、図10(図5及び図6)とは異なる手法で地物を選定する例を示している。具体的には、図5におけるステップ#31〜ステップ#36、及びステップ#48は共通しているが、ステップ#41〜ステップ#45において、基準認識率を推定認識率に補正する。つまり、画像認識に対する影響度合い、つまり、基準認識率よりも実際の認識率が低下する可能性に応じて基準認識率を推定認識率に補正する。従って、ステップ#49のような複数のグループへの分類も行わない。
FIG. 12 shows an example in which features are selected by a method different from that in FIG. 10 (FIGS. 5 and 6) according to the same sunshine factor as in FIG. Specifically,
上述したように、画像認識への影響度合いが「なし」となる地物f1(横断歩道)及び地物f2(停止線)は、実際の認識率が低下する可能性が無い(低下量=0%)と推定される。そして、推定認識率は基準認識率と同様に、地物f1(横断歩道)が70%、地物f2(停止線)が60%となる。一方、地物f3,f4(横断歩道予告)の画像認識への影響度合いは「大」であり、例えば実際の認識率が25%低下する可能性があると推定される。その結果、推定認識率は65%となる。また、同じく画像認識への影響度合いが「大」である地物f6(矢印)は、実際の認識率が35%低下する可能性があると推定される。その結果、推定認識率は15%となる。対象地物選定部58は、候補地物の中で、推定認識率が最大の地物を対象地物として選定する。図12に示す例においては、推定認識率が70%の地物f1(横断歩道)が選定される。その他、地物日陰情報が「部分日陰」であって、コントラスト情報が「小」である場合には、実際の認識率が20%程度低下する可能性があると推定されるなど、例えば、図5のステップ#41〜#45のそれぞれに対応するような認識率の低下の推定値が設定されていると好適である。尚、上述した定量的な影響度情報に基づいて、認識率の低下の推定値が設定されてもよい。
As described above, the feature f1 (pedestrian crossing) and the feature f2 (stop line) whose influence on the image recognition is “none” are unlikely to decrease in actual recognition rate (reduction amount = 0). %)It is estimated to be. The estimated recognition rate is 70% for the feature f1 (pedestrian crossing) and 60% for the feature f2 (stop line), similarly to the reference recognition rate. On the other hand, the degree of influence of the features f3, f4 (crosswalk notice) on the image recognition is “large”, and it is estimated that the actual recognition rate may be reduced by 25%, for example. As a result, the estimated recognition rate is 65%. Similarly, it is estimated that the feature f6 (arrow) whose influence on image recognition is “large” may have a 35% decrease in the actual recognition rate. As a result, the estimated recognition rate is 15%. The target
尚、上記の説明においては、複数のグループに分類して対象地物を選定する場合と、基準認識率を推定認識率に補正して対象地物を選定する場合とについて説明したが、何れか一方の手法を選択的に用いることなく、双方を合わせて用いてもよい。つまり、基準認識率よりも実際の認識率が低下する可能性、つまり、画像認識への影響度合いの大きさに基づいて複数のグループに分類すると共に、基準認識率を推定認識率に補正してもよい。そして、画像認識への影響度合いが最も低いグループに属する候補地物の中で推定認識率が最も高い地物を対象地物として選定してもよい。 In the above description, the case where the target features are selected by classification into a plurality of groups and the case where the target features are selected by correcting the reference recognition rate to the estimated recognition rate have been described. You may use both together, without selectively using one method. In other words, the actual recognition rate may be lower than the standard recognition rate, that is, it is classified into multiple groups based on the degree of influence on image recognition, and the standard recognition rate is corrected to the estimated recognition rate. Also good. Then, a feature having the highest estimated recognition rate among candidate features belonging to the group having the lowest degree of influence on image recognition may be selected as the target feature.
〔日照特性情報を含む地物情報の学習(地物情報学習システム)〕
上述したように日照要因に鑑みて対象地物を選定するためには、各地物fに対する日照要因による画像認識への影響を示す日照特性情報を含む地物情報を整備する必要がある。そこで、以下に説明するような、画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習システムが構築されると好適である。尚、地物情報は、例えば、情報収集専用の車両などを走行させて収集することも可能であるが、上述した地物認識システム4を備えるナビゲーションシステム1との協働によって収集することも可能である。本実施形態では、上述した地物認識システム4を備えるナビゲーションシステム1との協働によって日照特性情報を含む地物情報を収集する地物情報学習システムを例として説明する。
[Learn feature information including sunshine characteristic information (feature information learning system)]
As described above, in order to select a target feature in view of the sunshine factor, it is necessary to prepare feature information including sunshine characteristic information indicating the influence on the image recognition by the sunshine factor with respect to the feature f. Therefore, it is preferable to construct a feature information learning system that learns feature information that is information related to features that are targets of image recognition as described below. The feature information can be collected, for example, by running a vehicle dedicated to collecting information, but can also be collected in cooperation with the
図1に示すように、本実施形態の地物情報学習システム8は、学習記憶部83を中核として構成される学習演算部80と、学習データベース19と、地物情報学習部85とを備えて構成されている。学習記憶部83は、地物日陰情報とコントラスト情報とを含む日照要因情報と、画像認識部による前記地物の画像認識結果とを関連付けて学習データベース19に記憶する機能部である。地物情報学習部85は、学習データベースに記憶された情報に基づいて、地物のそれぞれについての、少なくとも日陰を含む日照による画像認識への影響の度合いを示す日照特性情報を生成し、地物のそれぞれについての地物情報を構成する情報として格納する機能部である。
As shown in FIG. 1, the feature
学習記憶部83を中核とする学習演算部80は、好適にはナビゲーションシステム1の中核となる演算装置(及び協働するソフトウェア)において、地物認識システム4と共に実現されている。一方、地物情報学習部85は、ナビゲーションデータベース11を整備する管理センターなどの演算装置(及び協働するソフトウェア)において実現されると好適である。管理センターにおいて一元管理されている地物情報学習部85は、各ナビゲーション装置1と協働する学習記憶部83からの複数の情報を用いて日照特性情報を生成し、地物情報を生成することができる。複数の学習記憶部83と、一元管理される地物情報学習部85とは、有線や無線によってネットワーク接続されていると好適である。また、メモリカードなどの記憶媒体を経由して各学習記憶部83から地物情報学習部85へ情報を伝達してもよい。さらに、各学習記憶部83と地物情報学習部85とを仲介する媒体が存在してもよい。例えば、車両のディーラーや、ナビゲーションシステムの製造元のサービスセンター、ポータブル機器上で動作するアプリケーションソフトウェアの制作元や販売元のサービスセンターなどを介して情報が伝達されてもよい。地物情報学習部85により生成された最新の地物情報は、同様の伝達経路により各ナビゲーションシステム1のナビゲーションデータベース11に提供可能である。
The learning
図1には、地物情報学習部85が、管理センターなどにおいて一元管理されている場合のシステム構成を例示している。従って、学習データベース19B(19)も管理センターなどにおいて一元管理されている場合を例示している。学習演算部80には、この学習データベース19Bへ情報を伝達する前の情報を一時的に格納するための学習データベース19A(19)が備えられている。尚、当然ながら、地物情報学習部85は、必ずしもこのように一元管理されている必要はなく、各ナビゲーションシステム1においてそれぞれ設けられていてもよい。そして、各ナビゲーションシステム1において、各ナビゲーションデータベース11の地物情報が更新されてもよい。当然ながら、この場合には学習データベース19は1つでよい。
FIG. 1 illustrates a system configuration when the feature
以下、地物情報学習システム8による日照特性情報を含む地物情報の学習の手順について、図13及び図14のフローチャートも参照しながら説明する。地物情報学習システム8は、上述した自位置特定システム2と同様に、撮影画像取得部61と、画像認識部63と、日時情報取得部55と、推定位置情報取得部42と、地物情報取得部43と、コントラスト情報取得部51と、地物日陰情報演算部53とを備えて構成される。これらの機能部については、上述したとおりであるが、地物情報学習システム8として見た場合の機能を明確にするために、再度簡単に説明する。
Hereinafter, the procedure of learning of feature information including sunshine characteristic information by the feature
撮影画像取得部61は、カメラ16(撮影装置)により撮影された撮影画像を取得する機能部である。撮影画像には、学習対象となる地物、つまり学習地物が含まれる。画像認識部63は、撮影画像に含まれる地物の画像認識を行う機能部である。上記においては、自位置特定システム2の一部として機能する画像認識部63が、選定された対象地物のみを画像認識するものとして説明した。しかし、地物情報学習システム8の一部として機能する画像認識部63は、複数の学習地物を画像認識する。詳細は後述するが、画像認識部63は、複数の候補地物の中から選定された1つの対象地物の画像認識を行なうと共に、当該対象地物の画像認識が成功した場合には、当該対象地物とは別の候補地物である学習地物の画像認識を行う。日時情報取得部41は、現在日時を示す日時情報を取得する機能部である。推定位置情報取得部42は、自位置、特にここではカメラ16の推定位置を示す推定位置情報を取得する機能部である。
The captured
地物情報取得部42は、探索範囲SP(所定範囲)内に存在する候補地物についての地物情報を取得する機能部である。ここでは、地物情報取得部42は、カメラ16の移動経路に沿って存在する複数の候補地物(学習地物)についての地物情報を取得する。当然ながら、範囲を限定し、探索範囲SPを定めて当該探索範囲SP内において、カメラ16の移動経路に沿って存在する候補地物の地物情報を取得しても良いし、探索範囲SPを定めることなく、順次、当該移動経路に沿った候補地物の地物情報を取得してもよい。また、固定された撮影装置により撮影画像を用いて、地物情報を学習してもよく、この場合には撮影装置の位置は固定されているので移動経路等は考慮する必要はない。コントラスト情報取得部51は、日陰と日向とのコントラストを示すコントラスト情報を取得する機能部である。また、地物日陰情報演算部53は、少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する機能部である。
The feature
これらの機能部により、図13のステップ#71〜#75に示すように、推定位置情報、地物情報、撮影画像、日時情報、日照要因情報が取得される。これらのステップは、ステップ#71が図3のステップ#01に、ステップ#72が図3のステップ#02に、ステップ#73が図3のステップ#07に、ステップ#74が図3のステップ#09に、ステップ#75が図3のステップ#20及び図4に相当するものであるから、詳細な説明は省略する。上述したように、地物選定システム5は、これらの情報を用いて、探索範囲SP内から1つの対象地物を選定する。地物学習システム8は、地物選定システム5が対象地物を選定し、画像処理システム6が当該対象地物の画像認識を実施する間、例えば探索範囲SP内の撮影画像を蓄積し、推定位置情報に関連付けて一時記憶部81に一時記憶させる。この際、日照要因情報も関連付けて一時記憶部81に一時記憶させてもよい。ここでは、探索範囲SPを一時記憶の対象としたが、上述したように、地物の学習は探索範囲SPとは無関係に実施される場合もある。従って、一時記憶部81は、撮影画像を所定期間に亘って蓄積し、推定位置情報に関連付けて一時記憶する機能部として構成されると好適である。
By these function units, as shown in steps # 71 to # 75 in FIG. 13, estimated position information, feature information, captured images, date and time information, and sunshine factor information are acquired. In these steps,
画像処理システム6による対象地物の画像認識、つまり画像認識部63による対象地物の画像認識が完了すると、当該対象地物の画像認識が成功したか否かが判定される(図13#76:対象地物認識結果判定ステップ/機能)。対象地物の画像認識が成功していない場合には、地物情報学習システム8は学習処理を終了する。一方、対象地物の画像認識が成功している場合には、推定位置情報を高精度位置情報へ補正することで、対象地物とは別の候補地物が撮影画像上に存在している位置が高精度に予測できるので地物情報の学習が継続される。
When the image recognition of the target feature by the
つまり、画像認識部63は、選定された1つの対象地物の画像認識を行なうと共に、推定位置情報を高精度位置情報へ補正して、撮影画像に含まれ、対象地物とは別の候補地物である学習地物の画像認識を行う。具体的には、画像認識部63は、対象地物の画像認識が成功した場合には、対象地物についての地物情報に含まれる位置情報に基づいて一時記憶部81に記憶された推定位置情報を補正する。つまり、一時記憶部81の位置情報に基づくインデックスの情報を変更する。そして、画像認識部63は、補正後の推定位置情報(高精度位置情報)に基づいて一時記憶部81から読み出される撮影画像と、候補地物情報とに基づいて、学習地物の画像認識を行う。一時記憶部81のインデックス情報は高精度位置情報に変更されているから、候補地物についての地物情報である候補地物情報に規定されている各地物の位置情報に基づいて、学習地物が含まれると推測される撮影画像を精度良く取得することができる。ステップ#76の後に継続されるこのような処理について以下に説明する。
That is, the
ステップ#76において対象地物の画像認識が成功したと判定されると、次に対象地物以外の候補地物、つまり学習地物となる地物が存在するか否かが判定される(#77:学習地物存在確認ステップ)。学習地物となる地物が存在しない場合には、当然ながら地物情報学習システム8は学習処理を終了する。一方、学習地物となる地物が1つでも存在する場合には、高精度位置情報が取得される(#81:高精度位置情報取得ステップ)。高精度位置情報は、測位システム3の位置情報補正部32によって演算されてもよいし、画像認識部63によって演算されてもよい。
If it is determined in
続いて、画像認識部63は、高精度位置情報に基づいて一時記憶部81から読み出された撮影画像と、候補地物情報とに基づいて学習地物の画像認識を行う(#82:学習地物画像認識ステップ)。画像認識部63による画像認識が完了すると、学習記憶部83は、日照要因情報と、学習地物の画像認識結果とを関連付けて学習データベース19に記憶する(#83:学習記憶ステップ)。学習地物は、候補地物の中で対象地物として選定されなかった地物であるから、対象地物に比べて画像認識に適さない可能性が高い地物である。しかし、高精度位置情報に基づいて一時期億部81から取得された撮影画像を用いて画像認識が実施されるので、当該地物のパターンマッチングにおける適合度が精度よく演算される。このため、単純に認識の成否のみでなく、適合度の情報を認識結果として学習記憶部83に記憶しておくと好適である。これにより、地物情報学習部85は、日照による影響、つまり日照特性情報を精度よく生成することが可能となる。
Subsequently, the
尚、適合度とは、撮影画像から抽出された地物の特徴量と、辞書64とのマッチングにおいて一致した割合を定量的に示す値である。抽出された地物の特徴量と、辞書64とが完全に一致すれば、適合度は100%となる。例えば、この適合度が所定の適合度しきい値(例えば80%)以上の場合に、画像認識が成功したと判定される。基準認識率は、異なる撮影画像を対象して複数回、地物を画像認識した際に、適合度が適合度しきい値以上となった回数の割合である。適合度を記憶しておくことによって、画像認識の結果、適合度が適合度しきい値を下回っても、どの程度下回ったかによって、後述する地物情報学習部85は、画像認識への影響度合いを定量的に演算することが可能となる。従って、より精度の高い日照特性情報を演算することが可能となる。尚、カメラ16が固定された撮影装置である場合には、対象地物の画像認識によって高精度位置情報を求めなくても、位置情報の精度が高い場合がある。そのような場合には、対象地物の画像認識は不要であり、探索範囲SP内の地物を画像認識して学習すればよい。
The degree of conformity is a value that quantitatively indicates the ratio of the feature amount extracted from the photographed image and the matching amount in matching with the
上述したようにして、学習データベース19に日照要因情報と学習地物の画像認識結果とが関連づけられて蓄積される。地物情報学習部85は、学習データベース19に蓄積された情報に基づいて日照特性情報を生成し、地物情報を構成する情報として格納する。日照特性情報の生成には、学習データベース19に所定量以上の情報が蓄積されていることが求められる。従って、情報が所定量に達したことを自動的に判定して、あるいは所定の時期ごとに、あるいは人為的な指示により、学習データベース19に蓄積された情報に基づいて、日照特性情報が生成される。一例として、上述したようにして集積された適合度を統計解析して、日照特性情報が演算されると好適である。つまり、日照要因情報のそれぞれに対して、適合度を分類・集積し、集積された適合度と、適合度しきい値や当該地物の平均的な適合度や目標適合度との差に応じて、画像認識への影響の度合いを演算し、日照特性情報が生成されると好適である。図14に示すように、ナビゲーションデータベースの生成指示の有無が判定され(#91)、生成指示がある場合に日照特性情報が生成される(#92)。そして、生成された日照特性情報を、地物情報を構成する情報として地物情報に組み込み、地物情報を更新する。更新された地物情報をナビゲーションデータベース11に格納することによって学習が完了する(#93)。
As described above, the sunshine factor information and the image recognition result of the learned feature are stored in the
〔その他の実施形態〕
以下、その他の実施形態について説明する。なお、以下に説明する各実施形態の構成は、それぞれ単独で適用されるものに限られず、矛盾が生じない限り、他の実施形態の構成と組み合わせて適用することも可能である。
[Other Embodiments]
Hereinafter, other embodiments will be described. Note that the configuration of each embodiment described below is not limited to being applied independently, and can be applied in combination with the configuration of other embodiments as long as no contradiction arises.
(1)上記実施形態においては、例えば図5を利用して説明したように、日照要因情報としてコントラスト情報と、ハレーション情報と、地物日陰情報とを用いて日照による画像認識への影響を判定する例を示した。しかし、例えばハレーション情報を用いることなく、コントラスト情報と地物日陰情報とを日照要因情報として日照による画像認識への影響を判定してもよい。当業者であれば、図5に例示したフローチャートからハレーション情報に関する処理を除けば容易に実現可能であるから、詳細な説明は省略する。 (1) In the above embodiment, for example, as described with reference to FIG. 5, the influence on the image recognition by the sunshine is determined using the contrast information, the halation information, and the feature shade information as the sunshine factor information. An example to show. However, for example, without using halation information, the influence of sunshine on image recognition may be determined using contrast information and feature shade information as sunshine factor information. Those skilled in the art can easily realize the processing by excluding the processing related to halation information from the flowchart illustrated in FIG.
(2)上記実施形態においては、地物日陰情報が「日陰」、「日向」、「部分日陰」を区別可能な情報を有する場合を例示したが、本発明はこれに限定されるものではない。例えば、部分日陰であるか否かのみを表す情報であってもよい。日陰及び日向の場合には、撮影画像の明るさは一様であるが、部分日陰の場合には大きく明るさが変化することになる。従って、撮影画像のコントラストが大きい場合には画像認識への影響が大きくなる。従って、地物日陰情報が部分日陰であるか否かのみを示す情報であっても、地物選定における効果は大きい。一例として、対象地物選定部58が、地物日陰情報が部分日陰を示す候補地物の優先度を下げて対象地物を選定するようにすることもできる。当業者であれば、図5に例示したフローチャートにおいて、地物日陰情報に関する処理を部分日陰のみに改変して容易に実現可能であるから、詳細な説明は省略する。
(2) In the above embodiment, the case where the feature shade information has information that can distinguish between “shade”, “hinata”, and “partial shade” is exemplified, but the present invention is not limited to this. . For example, it may be information indicating only whether it is a partial shade. In the case of shade and sun, the brightness of the captured image is uniform, but in the case of partial shade, the brightness changes greatly. Therefore, when the contrast of the captured image is large, the influence on the image recognition becomes large. Therefore, even if the feature shade information is information indicating only whether or not the feature shade information is partial shade, the effect in feature selection is great. As an example, the target
(3)上記実施形態においては、図5、図9等に例示したように地物情報に含まれる日照特性情報を利用して、日照による画像認識への影響を判定する例を示した。しかし、日照特性情報を考慮することなく、日照による画像認識への影響が判定されてもよい。具体的には、図5においてステップ#32の後、ステップ#33を経ることなくステップ#34へ進んでもよい。
(3) In the above-described embodiment, as illustrated in FIGS. 5 and 9, the example in which the influence on the image recognition due to the sunshine is determined using the sunshine characteristic information included in the feature information has been described. However, the influence of sunshine on image recognition may be determined without considering sunshine characteristic information. Specifically, after
(4)上記実施形態においては、ナビゲーションデータベース11が、日陰を形成する要因となる立体物の位置情報及び形状情報を少なくとも含む立体物情報を格納した立体物データベース11bを備えて構成される例を示した。そして、探索範囲SP(所定範囲)内に存在する複数の立体物についての立体物情報は、立体物情報取得部44により取得され、地物日陰情報演算部53は、立体物情報と日時情報に基づく太陽の位置とに基づいて地物日陰情報を演算する形態を例示した。しかし、地物選定システム4及び地物情報学習システム8は、立体物データベース11bから読み出される立体物情報を用いることなく、地物日陰情報を演算して取得してもよい。
(4) In the above-described embodiment, the navigation database 11 is configured to include the three-
例えば、撮影画像をモザイク化するなどの画像処理を施し、撮影画像における輝度の分布や変化に基づいて、日照状態を検出する日照状態検出部55が備えられていてもよい。また、図8の下段に示すように、車両100やカメラ16に照度センサ17が搭載され、車両100やカメラ16の移動に伴って照度センサ17により検出された照度に基づいて、日照状態検出部55が照度の変化を検出してもよい。図8において符号Lは輝度が高く明るいことを示しており、符号Dは輝度が低く暗いことを示している。これにより、各地物が明るい領域に存在するか暗い領域に存在するかを判定することができる。つまり、地物情報に含まれる位置情報により、当該地物が明るい領域に存在する場合には、地物日陰情報が「日向」と演算される。また、当該地物が暗い領域に存在する場合には、地物日陰情報が「日陰」と演算される。また、地物情報に含まれる位置情報により地物が存在する領域の途中で、明るい領域から暗い領域、又は暗い領域から明るい領域へと変化する場合には、「部分日陰」と演算される。
For example, a sunshine
(5)上記実施形態においては、例えば自位置の情報としての車両100やカメラ16(撮影装置)の推定位置を示す推定位置情報を取得し、この推定位置情報に基づいて候補地物の存在する範囲となる所定範囲(探索範囲SP)を設定する手順を例示した。しかし、この手順に限定されることなく、進路変更する位置や任意の位置を基準として探索範囲SPが設定されてもよい。
(5) In the above embodiment, for example, estimated position information indicating the estimated position of the
(6)上記実施形態においては、複数の候補地物から対象地物を選定する際に、基準認識率を用いる例を示して説明した。しかし、基準認識率を用いることなく、対象地物が選定されてもよい。例えば、図5や図10及び図11に示したように、複数のグループに分類した場合には、選択されたグループに属する地物の内、撮影装置に近い地物を対象地物として選定してもよい。また、予め地物の種別によって優先順位を定めておき、選択されたグループに属する地物から当該優先順位に従って、対象地物を選定してもよい。図12に示したように、認識率の低下の程度を演算する場合には、認識率の低下が少ない地物を優先して対象地物を選定すると好適である。認識率の低下量が同じ地物が複数存在する場合には、グループに分類した時と同様に優先順位をつけることが可能である。 (6) In the above embodiment, an example in which the reference recognition rate is used when selecting a target feature from a plurality of candidate features has been described. However, the target feature may be selected without using the reference recognition rate. For example, as shown in FIGS. 5, 10, and 11, when classified into a plurality of groups, a feature close to the photographing apparatus is selected as a target feature among the features belonging to the selected group. May be. Alternatively, the priority order may be determined in advance according to the type of the feature, and the target feature may be selected according to the priority order from the features belonging to the selected group. As shown in FIG. 12, when calculating the degree of reduction in the recognition rate, it is preferable to select the target feature by giving priority to the feature with a small reduction in the recognition rate. When there are a plurality of features having the same amount of decrease in recognition rate, it is possible to set priorities in the same manner as when classified into groups.
(7)上記実施形態においては、ナビゲーションシステムを適用例として説明したが、地物選定システムは、当然ながらナビゲーションシステム以外の用途においても利用可能である。例えば、写真から行政区画を認識するような画像認識システムや、駐車区画の空き状態を認識するための画像認識システムにおいて、認識に用いる地物を選定する用途として利用することができる。 (7) In the above embodiment, the navigation system has been described as an application example. However, the feature selection system can naturally be used in applications other than the navigation system. For example, in an image recognition system for recognizing an administrative division from a photograph or an image recognition system for recognizing an empty state of a parking lot, it can be used as an application for selecting a feature used for recognition.
以上説明したように、本発明は、予め存在が把握されている複数の地物の中から画像認識の対象とする対象地物を選定する地物選定システムに適用することができる。また、本発明は、画像認識の対象となる地物に関する情報である地物情報を学習する地物情報学習システムに適用することができる。また、本発明は、このような地物選定システムにより選定された地物を画像認識する画像認識システムに適用することもできる。さらに、本発明は、そのような画像認識システムの認識結果に基づいて、位置を特定する自位置特定システムにも適用することができる。さらに、本発明は、そのような自位置特定システムにより特定された自位置に基づいて、経路などを案内するナビゲーションシステムに適用することもできる。 As described above, the present invention can be applied to a feature selection system that selects a target feature to be subjected to image recognition from a plurality of features whose presence is known in advance. In addition, the present invention can be applied to a feature information learning system that learns feature information that is information about a feature that is a target of image recognition. The present invention can also be applied to an image recognition system that recognizes an image of a feature selected by such a feature selection system. Furthermore, the present invention can also be applied to a self-position specifying system that specifies a position based on the recognition result of such an image recognition system. Furthermore, the present invention can also be applied to a navigation system that guides a route or the like based on the own position specified by such an own position specifying system.
5:地物選定システム
8:地物情報学習システム
11f:地物データベース
11b:立体物データベース
19,19A,19B:学習データベース
41:日時情報取得部
42:推定位置情報取得部
43:地物情報取得部
44:立体物情報取得部
51:コントラスト情報取得部
52:ハレーション情報取得部
53:地物日陰情報演算部
55:日照状態検出部
58:対象地物選定部
61:撮影画像取得部
63:画像認識部
80:学習演算部
81:一時記憶部
83:学習記憶部
85:地物情報学習部
200,201,202,203:立体物
f,f1〜f6:地物
SP:探索範囲(所定範囲)
SH,SH1,SH2,SH3:影
5: feature selection system 8: feature
SH, SH1, SH2, SH3: Shadow
Claims (5)
撮影画像を取得する撮影画像取得部と、
前記撮影画像に含まれる前記地物の画像認識を行なう画像認識部と、
少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、前記地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する地物日陰情報演算部と、
日陰と日向とのコントラストを示すコントラスト情報を取得するコントラスト情報取得部と、
前記地物日陰情報と前記コントラスト情報とを含む日照要因情報と、前記画像認識部による前記地物の画像認識結果とを関連付けて学習データベースに記憶する学習記憶部と、
前記学習データベースに記憶された情報に基づいて、前記地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、前記地物のそれぞれについての前記地物情報を構成する情報として格納する地物情報学習部と、
を備える地物情報学習システム。 A feature information learning system that learns feature information that is information about a feature that is subject to image recognition,
A captured image acquisition unit for acquiring captured images;
An image recognition unit for performing image recognition of the feature included in the captured image;
It is information that can distinguish at least a shade state in which all the features are included in the shade, a sunny state in which all the features are included in the shade, and a partial shade state in which some of the features are included in the shade. A feature / shade information calculation unit for calculating feature / shade information, which is information indicating a positional relationship between the feature and the shade,
A contrast information acquisition unit that acquires contrast information indicating contrast between the shade and the sun;
A learning storage unit that stores sunshine factor information including the feature shade information and the contrast information and an image recognition result of the feature by the image recognition unit in association with each other in a learning database;
Based on the information stored in the learning database, for each of the features, sunshine characteristic information indicating a degree of influence on image recognition by sunshine is generated, and the feature information about each of the features is A feature information learning unit that stores information as constituent information;
Feature information learning system with
前記撮影装置の推定位置を示す推定位置情報を取得する推定位置情報取得部と、
前記撮影画像を所定期間に亘って蓄積し、前記推定位置情報に関連付けて一時記憶する一時記憶部と、
前記地物の位置情報を少なくとも含む前記地物情報を格納した地物データベースに接続し、前記撮影装置の移動経路に沿って存在する複数の候補地物についての前記地物情報である候補地物情報を取得する地物情報取得部と、を備え、
前記画像認識部は、複数の前記候補地物の中から選定された1つの対象地物の画像認識を行なうと共に、前記対象地物の画像認識が成功した場合には、前記対象地物についての前記地物情報に含まれる位置情報に基づいて前記一時記憶部に記憶された前記推定位置情報を補正し、当該補正後の前記推定位置情報に基づいて前記一時記憶部から読み出される前記撮影画像と、前記候補地物情報とに基づいて、前記撮影画像に含まれる前記対象地物とは別の前記候補地物である学習地物の画像認識を行い、
前記学習記憶部は、当該画像認識の結果と前記日照要因情報とを関連付けて学習データベースに記憶する請求項1に記載の地物情報学習システム。 A photographing device for photographing the photographed image;
An estimated position information acquisition unit that acquires estimated position information indicating an estimated position of the imaging device;
A temporary storage unit that accumulates the captured image over a predetermined period and temporarily stores the image in association with the estimated position information;
A candidate feature that is connected to a feature database that stores the feature information including at least the position information of the feature and that is the feature information of a plurality of candidate features that exist along the movement path of the imaging device A feature information acquisition unit for acquiring information,
The image recognition unit performs image recognition of one target feature selected from the plurality of candidate features, and when image recognition of the target feature is successful, The estimated position information stored in the temporary storage unit is corrected based on the position information included in the feature information, and the captured image is read from the temporary storage unit based on the corrected estimated position information. , Based on the candidate feature information, image recognition of the learning feature that is the candidate feature different from the target feature included in the captured image,
The feature information learning system according to claim 1, wherein the learning storage unit stores the result of the image recognition and the sunshine factor information in a learning database in association with each other.
前記地物日陰情報演算部は、前記日照状態検出部の検出結果と、前記地物情報に含まれる前記地物の位置情報とに基づいて、前記地物のそれぞれについての前記地物日陰情報を演算し、
前記画像認識部は、前記学習地物についての前記地物情報に含まれる位置情報と、前記補正後の前記推定位置情報とに基づいて、前記一時記憶部に記憶された前記撮影画像に含まれる前記学習地物の画像認識を行なう請求項2に記載の地物情報学習システム。 A sunshine state detection unit that detects a sunshine state at each position in association with path position information indicating a position along the movement path of the imaging device;
The feature shade information calculation unit obtains the feature shade information for each of the features based on the detection result of the sunshine state detection unit and the position information of the feature included in the feature information. Operate,
The image recognition unit is included in the captured image stored in the temporary storage unit based on position information included in the feature information about the learned feature and the corrected estimated position information. The feature information learning system according to claim 2, wherein image recognition of the learned feature is performed.
撮影画像を取得する撮影画像取得機能と、
前記撮影画像に含まれる前記地物の画像認識を行なう画像認識機能と、
少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、前記地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する地物日陰情報演算機能と、
日陰と日向とのコントラストを示すコントラスト情報を取得するコントラスト情報取得機能と、
前記地物日陰情報と前記コントラスト情報とを含む日照要因情報と、前記画像認識機能により実現された前記地物の画像認識結果とを関連付けて学習データベースに記憶する学習記憶機能と、
前記学習データベースに記憶された情報に基づいて、前記地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、前記地物のそれぞれについての前記地物情報を構成する情報として格納する地物情報学習機能と、
をコンピュータに実現させる地物情報学習プログラム。 A feature information learning program for learning feature information, which is information about a feature to be image-recognized,
A captured image acquisition function for acquiring captured images;
An image recognition function for performing image recognition of the feature included in the captured image;
It is information that can distinguish at least a shade state in which all the features are included in the shade, a sunny state in which all the features are included in the shade, and a partial shade state in which some of the features are included in the shade. A feature / shade information calculation function for calculating feature / shade information, which is information indicating the positional relationship between the feature and the shade,
A contrast information acquisition function for acquiring contrast information indicating contrast between the shade and the sun;
A learning storage function for associating and storing in the learning database the sunshine factor information including the feature shade information and the contrast information, and the image recognition result of the feature realized by the image recognition function;
Based on the information stored in the learning database, for each of the features, sunshine characteristic information indicating a degree of influence on image recognition by sunshine is generated, and the feature information about each of the features is A feature information learning function to store as constituent information;
Is a feature information learning program that makes computers realize.
撮影画像を取得する撮影画像取得ステップと、
前記撮影画像に含まれる前記地物の画像認識を行なう画像認識ステップと、
少なくとも地物が全て日陰に含まれる日陰状態、地物が全て日向に含まれる日向状態、地物の一部が日陰に含まれる部分日陰状態を区別可能な情報であり、前記地物のそれぞれについて、当該地物と日陰との位置関係を示す情報である地物日陰情報を演算する地物日陰情報演算ステップと、
日陰と日向とのコントラストを示すコントラスト情報を取得するコントラスト情報取得ステップと、
前記地物日陰情報と前記コントラスト情報とを含む日照要因情報と、前記画像認識ステップによる前記地物の画像認識結果とを関連付けて学習データベースに記憶する学習記憶ステップと、
前記学習データベースに記憶された情報に基づいて、前記地物のそれぞれについての、日照による画像認識への影響の度合いを示す日照特性情報を生成し、前記地物のそれぞれについての前記地物情報を構成する情報として格納する地物情報学習ステップと、
を備える地物情報学習方法。 A feature information learning method for learning feature information, which is information about a feature to be image-recognized,
A captured image acquisition step of acquiring a captured image;
An image recognition step for performing image recognition of the feature included in the captured image;
It is information that can distinguish at least a shade state in which all the features are included in the shade, a sunny state in which all the features are included in the shade, and a partial shade state in which some of the features are included in the shade. A feature / shade information calculation step for calculating feature / shade information, which is information indicating the positional relationship between the feature and the shade,
A contrast information acquisition step of acquiring contrast information indicating contrast between the shade and the sun;
A learning storage step of associating and storing a sunshine factor information including the feature shade information and the contrast information in a learning database in association with an image recognition result of the feature by the image recognition step;
Based on the information stored in the learning database, for each of the features, sunshine characteristic information indicating a degree of influence on image recognition by sunshine is generated, and the feature information about each of the features is A feature information learning step to store as constituent information;
A feature information learning method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011068821A JP2012203723A (en) | 2011-03-25 | 2011-03-25 | Feature information learning system, feature information learning program, and feature information learning method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011068821A JP2012203723A (en) | 2011-03-25 | 2011-03-25 | Feature information learning system, feature information learning program, and feature information learning method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012203723A true JP2012203723A (en) | 2012-10-22 |
Family
ID=47184653
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011068821A Withdrawn JP2012203723A (en) | 2011-03-25 | 2011-03-25 | Feature information learning system, feature information learning program, and feature information learning method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012203723A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111422128A (en) * | 2019-01-09 | 2020-07-17 | 丰田自动车株式会社 | Server, in-vehicle device, vehicle, storage medium, and information providing method |
-
2011
- 2011-03-25 JP JP2011068821A patent/JP2012203723A/en not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111422128A (en) * | 2019-01-09 | 2020-07-17 | 丰田自动车株式会社 | Server, in-vehicle device, vehicle, storage medium, and information providing method |
JP2020112941A (en) * | 2019-01-09 | 2020-07-27 | トヨタ自動車株式会社 | Server, on-vehicle device, vehicle, program, and information provision method |
JP7115325B2 (en) | 2019-01-09 | 2022-08-09 | トヨタ自動車株式会社 | SERVER, VEHICLE DEVICE, VEHICLE, PROGRAM, AND INFORMATION PROVIDING METHOD |
US11641453B2 (en) | 2019-01-09 | 2023-05-02 | Toyota Jidosha Kabushiki Kaisha | Server, on-board device, vehicle, non-transitory storage medium storing program, and method for providing information |
CN111422128B (en) * | 2019-01-09 | 2023-05-23 | 丰田自动车株式会社 | Server, in-vehicle apparatus, vehicle, storage medium, and information providing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7349792B2 (en) | How to provide information for vehicle operation | |
US20200309541A1 (en) | Localization and mapping methods using vast imagery and sensory data collected from land and air vehicles | |
CN108802785B (en) | Vehicle self-positioning method based on high-precision vector map and monocular vision sensor | |
WO2020000137A1 (en) | Integrated sensor calibration in natural scenes | |
CN109405824A (en) | A kind of multi-source perceptual positioning system suitable for intelligent network connection automobile | |
CN111830953A (en) | Vehicle self-positioning method, device and system | |
US11232582B2 (en) | Visual localization using a three-dimensional model and image segmentation | |
JP5500388B2 (en) | Shooting position specifying system, shooting position specifying program, and shooting position specifying method | |
CN112308913B (en) | Vehicle positioning method and device based on vision and vehicle-mounted terminal | |
JP2008065087A (en) | Apparatus for creating stationary object map | |
CN114663852A (en) | Method and device for constructing lane line graph, electronic equipment and readable storage medium | |
CN110794828A (en) | Road sign positioning method fusing semantic information | |
CN115205559A (en) | Cross-domain vehicle weight recognition and continuous track construction method | |
CN114248778B (en) | Positioning method and positioning device of mobile equipment | |
JP2012215442A (en) | Own position determination system, own position determination program, own position determination method | |
CN110018503B (en) | Vehicle positioning method and positioning system | |
JP2012203722A (en) | Feature selection system, feature selection program, and feature selection method | |
JP7136138B2 (en) | Map generation data collection device, map generation data collection method, and vehicle | |
JP6916975B2 (en) | Sign positioning system and program | |
CN111651547A (en) | Method and device for acquiring high-precision map data and readable storage medium | |
CN111596090A (en) | Method and device for measuring vehicle running speed, vehicle and medium | |
US11815362B2 (en) | Map data generation apparatus | |
US20220404170A1 (en) | Apparatus, method, and computer program for updating map | |
JP2012159373A (en) | Data management system, data management method and data management program | |
JP2012203723A (en) | Feature information learning system, feature information learning program, and feature information learning method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140603 |