JP2009251667A - Image retrieval device - Google Patents
Image retrieval device Download PDFInfo
- Publication number
- JP2009251667A JP2009251667A JP2008095329A JP2008095329A JP2009251667A JP 2009251667 A JP2009251667 A JP 2009251667A JP 2008095329 A JP2008095329 A JP 2008095329A JP 2008095329 A JP2008095329 A JP 2008095329A JP 2009251667 A JP2009251667 A JP 2009251667A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- background
- key
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、画像検索装置に関する。 The present invention relates to an image search apparatus.
監視カメラなどを利用して物体を検出する方法として、時々刻々と入力される撮像画像と同じ位置かつ同じ姿勢で予め撮像された背景画像とで背景差分を行い、その差のある領域を抽出して物体を検出する方法が知られている。しかし、入力画像と背景画像とで撮像時の照明条件（特に、屋外の場合には天候条件、撮像時刻など）が異なると、入力画像と背景画像とで影の出方に差が生じる。その結果、背景差分によって抽出された領域が、影によるものかあるいは新たに現れた物体によるものかを特定できない。そこで、高精度な背景差分を行うためには、様々な照明条件で背景画像を予め撮像し、その様々な照明条件の複数の背景画像の中から入力画像と同じ照明条件の背景画像を検索し、同じ照明条件の入力画像と背景画像で背景差分を行う必要がある。 As a method of detecting an object using a surveillance camera or the like, a background difference is extracted from a background image captured in advance at the same position and in the same posture as a captured image that is input every moment, and an area having the difference is extracted. A method for detecting an object is known. However, if the input image and the background image have different illumination conditions at the time of imaging (especially, weather conditions, imaging time, etc. when outdoors), there is a difference in shadow appearance between the input image and the background image. As a result, it cannot be specified whether the region extracted by the background difference is due to a shadow or a newly appearing object. Therefore, in order to perform highly accurate background subtraction, a background image is captured in advance under various illumination conditions, and a background image with the same illumination condition as the input image is searched from a plurality of background images under the various illumination conditions. It is necessary to perform background difference between the input image and the background image under the same lighting conditions.
複数の検索対象画像の中から検索する方法としては、オペレータによって指定あるいは自動で指定された検索キーとなる特徴部分に基づいて、入力画像と同じ特徴部分を持つ画像を検索する方法がある。特許文献１に記載の画像検索装置では、基準画像と複数の各検索対象画像との間で対応する領域の類似性を算出し、類似性の高い一部の領域の特徴量に基づいて類似度を求め、その類似度に基づいて複数の検索対象画像の中から基準画像に類似する画像を抽出する。
上記したような画像検索は、適用される用途によってはリアルタイム性が要求される。例えば、車両に搭載される障害物検出装置において入力画像から障害物を検出するために入力画像と同じ照明条件の背景画像を検索することが考えられるが、このように車両で用いられる場合にはリアルタイムで障害物を検出することが必須要件となる。しかし、上記した画像検索装置では、基準画像（例えば、入力画像）と複数の検索対象画像との間で類似度をそれぞれ求める必要があるので、演算コストが増大し、リアルタイム処理に適さない。また、車両では、その都度、オペレータ（運転者）が検索キーあるいは背景画像自体を指定することはできない。 The above-described image search requires real-time properties depending on the application used. For example, in an obstacle detection device mounted on a vehicle, it is conceivable to search for a background image under the same illumination conditions as the input image in order to detect an obstacle from the input image. It is essential to detect obstacles in real time. However, in the above-described image search apparatus, since it is necessary to obtain similarities between a reference image (for example, an input image) and a plurality of search target images, the calculation cost increases and it is not suitable for real-time processing. Further, in the vehicle, the operator (driver) cannot designate the search key or the background image every time.
そこで、本発明は、自動的かつリアルタイムで画像検索を行うことができる画像検索装置を提供することを課題とする。 Therefore, an object of the present invention is to provide an image search apparatus that can perform image search automatically and in real time.
本発明に係る画像検索装置は、複数の検索対象画像の中から入力画像に対応する検索対象画像を検索する画像検索装置であって、複数の検索対象画像間の対応する位置での部分画像の非類似度に基づいて各検索対象画像の特徴部分画像を検出する特徴部分画像検出手段と、特徴部分画像検出手段で検出された各検索対象画像の特徴部分画像と入力画像の部分画像との一致度をそれぞれ算出し、当該一致度に基づいて複数の検索対象画像の中から入力画像に対応する検索対象画像を検索する検索手段とを備えることを特徴とする。 An image search apparatus according to the present invention is an image search apparatus for searching for a search target image corresponding to an input image from a plurality of search target images, wherein a partial image at a corresponding position between the plurality of search target images. Feature partial image detection means for detecting a feature partial image of each search target image based on the dissimilarity, and a match between the feature partial image of each search target image detected by the feature partial image detection means and the partial image of the input image And a search means for searching for a search target image corresponding to the input image from a plurality of search target images based on the degree of coincidence.
この画像検索装置では、特徴部分画像検出手段により、複数の検索対象画像間において対応する位置（同じ位置）での部分画像をそれぞれ抽出し、異なる検索対象画像の対応する部分画像間の非類似度に基づいて各検索対象画像の特徴部分画像を検出する。つまり、任意の検索対象画像において、他の検索対象画像との間で同じ位置の部分画像を比較し、他の検索対象画像に対して類似していない部分画像（その任意の検索対象画像に特徴的に現れる部分画像）を抽出する。したがって、この特徴部分画像を検索キーとすることにより、他の検索対象画像との判別ができる。複数の検索対象画像について特徴部分画像がそれぞれ検出されている場合、入力画像が入力されると、画像検索装置では、検索手段により、各検索対象画像の特徴部分画像と入力画像の部分画像との一致度をそれぞれ算出し、複数の検索対象画像との各一致度に基づいて複数の検索対象画像の中から入力画像と同じような部分画像を持つ検索対象画像を抽出する。このように、この画像検索装置では、入力画像に関係なく複数の検索対象画像間での非類似度から検索キーとなる特徴部分画像を予め決定しておくことができるので、入力画像が入力された後の処理負荷を軽減でき、自動的かつリアルタイムで画像検索を行うことができる。その結果、リアルタイム性が要求される各種装置に適用することができる。 In this image search apparatus, the feature partial image detection means extracts partial images at corresponding positions (same positions) between a plurality of search target images, and the dissimilarity between corresponding partial images of different search target images. Based on the above, a feature partial image of each search target image is detected. That is, in an arbitrary search target image, partial images at the same position are compared with other search target images, and partial images that are not similar to the other search target images (features of the arbitrary search target images) Partial image that appears automatically). Therefore, by using this characteristic partial image as a search key, it can be distinguished from other search target images. When a feature partial image is detected for each of a plurality of search target images, when an input image is input, the image search device causes the search means to obtain a feature partial image of each search target image and a partial image of the input image. The degree of coincidence is calculated, and a search target image having a partial image similar to the input image is extracted from the plurality of search target images based on the degree of coincidence with the plurality of search target images. As described above, in this image search apparatus, a feature part image serving as a search key can be determined in advance from the dissimilarity between a plurality of search target images regardless of the input image. Image processing can be reduced, and image retrieval can be performed automatically and in real time. As a result, it can be applied to various devices that require real-time performance.
本発明の上記画像検索装置では、検索手段は、検索対象画像の特徴部分画像と対応する位置での入力画像の部分画像との一致度を算出すると好適である。 In the image search device of the present invention, it is preferable that the search means calculates the degree of coincidence between the feature partial image of the search target image and the partial image of the input image at a corresponding position.
この画像検索装置の検索手段では、入力画像の部分画像と各検索対象画像の特徴部分画像間で一致度を算出する際に、入力画像から検索対象画像の特徴部分画像と対応する位置にある部分画像を抽出し、対応する位置の部分画像間で一致度を算出する。このように、画像検索装置では、入力画像の任意の位置での部分画像と一致度を算出するのではなく、画像上で対応する位置（同じ位置）での部分画像間でのみ一致度を算出するので、処理負荷をより軽減することができ、検索速度を更に向上させることができる。 In the search means of this image search device, when calculating the degree of coincidence between the partial image of the input image and the feature partial image of each search target image, the part at the position corresponding to the feature partial image of the search target image from the input image An image is extracted, and the degree of coincidence is calculated between partial images at corresponding positions. In this way, the image search device does not calculate the degree of coincidence with the partial image at an arbitrary position of the input image, but calculates the degree of coincidence only between the partial images at the corresponding position (same position) on the image. Therefore, the processing load can be further reduced, and the search speed can be further improved.
本発明の上記画像検索装置では、特徴部分画像検出手段は、各検索対象画像の中から特徴部分画像の候補を抽出する候補抽出手段と、候補抽出手段で抽出された任意の検索対象画像の特徴部分画像の候補毎に、当該候補の部分画像が他の検索対象画像に出現する回数をカウントする出現回数カウント手段と、出現回数カウント手段でカウントされた出現回数が少ない候補を特徴部分画像として検出する検出手段とを備える構成としてもよい。 In the image search device according to the present invention, the feature partial image detection means includes a candidate extraction means for extracting a feature partial image candidate from each search target image, and a feature of any search target image extracted by the candidate extraction means. For each partial image candidate, an appearance count counting unit that counts the number of times the candidate partial image appears in another search target image, and a candidate with a small number of appearances counted by the appearance count counting unit are detected as feature partial images. It is good also as a structure provided with the detection means to do.
この画像検索装置の特徴部分画像検出手段では、候補抽出手段により、各検索対象画像の中から特徴部分画像の候補となる部分画像を抽出する。そして、特徴部分画像検出手段では、出現回数カウント手段により、任意の検索候補画像の特徴部分画像の各候補について、他の検索候補画像においてその候補の部分画像と同様の部分画像が現れる回数をカウントする。任意の検索候補画像の候補の部分画像と同様の部分画像を持つ検索候補画像の数が多ければ、その候補の部分画像は任意の検索候補画像が特有に持つ画像ではない。一方、任意の検索候補画像の候補の部分画像と同様の部分画像を持つ検索候補画像の数が少なければ（特に、その候補の部分画像を持つ検索候補画像が他に無い場合）、その候補の部分画像は任意の検索候補画像が特有に持つ画像となる。そこで、特徴部分画像検出手段では、検出手段により、カウントされた出現回数が少ない候補の部分画像を検索対象画像の特徴部分画像として検出する。このように、画像検索装置では、他の検索対象画像に現れない部分画像を特徴部分画像とすることにより、検索対象画像の検索キーとして適切な特徴部分画像を決定することができる。この特徴部分画像を用いて画像検索を行うことにより、高精度な画像検索を行うことができる。 In the feature partial image detection means of this image search device, the candidate extraction means extracts a partial image as a feature partial image candidate from each search target image. The feature partial image detection means counts the number of appearances of the partial image similar to the candidate partial image in the other search candidate images for each candidate candidate feature image of an arbitrary search candidate image by the appearance count counting means. To do. If there are a large number of search candidate images having the same partial images as the candidate partial images of any search candidate image, the candidate partial images are not images that the arbitrary search candidate images have. On the other hand, if the number of search candidate images having a partial image similar to a candidate partial image of an arbitrary search candidate image is small (particularly, when there are no other search candidate images having the candidate partial image), The partial image is an image that an arbitrary search candidate image has. Therefore, in the feature partial image detection unit, the detection unit detects a candidate partial image with a small number of appearances as a feature partial image of the search target image. As described above, in the image search apparatus, by selecting a partial image that does not appear in another search target image as a feature partial image, an appropriate feature partial image can be determined as a search key for the search target image. By performing an image search using this characteristic partial image, a highly accurate image search can be performed.
本発明は、入力画像に関係なく複数の検索対象画像間での非類似度から検索キーとなる特徴部分画像を予め決定しておくことができるので、自動的かつリアルタイムで画像検索を行うことができる。 In the present invention, a feature partial image serving as a search key can be determined in advance based on dissimilarity between a plurality of search target images regardless of an input image, so that an image search can be performed automatically and in real time. it can.
以下、図面を参照して、本発明に係る画像検索装置の実施の形態を説明する。 Embodiments of an image search apparatus according to the present invention will be described below with reference to the drawings.
本実施の形態では、本発明に係る画像検索装置を、車両に搭載される装置に適用する。本実施の形態では、前処理を行うキー画像抽出装置（特許請求の範囲に記載の特徴部分画像検出手段に相当）と車両走行中にリアルタイム処理を行う背景画像検索装置（特許請求の範囲に記載の検索手段に相当）又は天候路面状況検索装置からなる。なお、キー画像抽出装置は、背景画像検索装置や天候路面状況検索装置と共に車両に搭載される装置としもよいし、あるいは、別体で構成され、車両に搭載されなくてもよい。 In the present embodiment, the image search device according to the present invention is applied to a device mounted on a vehicle. In the present embodiment, a key image extraction device that performs preprocessing (corresponding to the feature image detection unit described in the claims) and a background image search device that performs real-time processing while the vehicle is traveling (described in the claims) Or a weather road surface condition retrieval device. The key image extraction device may be a device mounted on the vehicle together with the background image search device and the weather road surface condition search device, or may be configured separately and not mounted on the vehicle.
図１及び図２を参照して、本実施の形態に係るキー画像抽出装置１について説明する。図１は、本実施の形態に係るキー画像抽出装置の構成図である。図２は、図１の画像処理部での処理の説明図である。 With reference to FIG.1 and FIG.2, the key image extraction apparatus 1 which concerns on this Embodiment is demonstrated. FIG. 1 is a configuration diagram of a key image extraction apparatus according to the present embodiment. FIG. 2 is an explanatory diagram of processing in the image processing unit of FIG.
キー画像抽出装置１は、背景画像又は天候路面状況を検索する際のキー画像を抽出する装置である。キー画像抽出装置１は、パーソナルコンピュータなどの屋内に設けられるコンピュータ上に構成されてもよいし、あるいは、車載の装置として構成されてもよい。キー画像抽出装置１は、背景画像データベース１０及び画像処理部１１（領域抽出部１２、出現回数算出部１３、キー画像判定部１４）を備えている。 The key image extraction device 1 is a device that extracts a key image when searching for a background image or a weather road surface condition. The key image extraction device 1 may be configured on a computer provided indoors, such as a personal computer, or may be configured as an in-vehicle device. The key image extraction apparatus 1 includes a background image database 10 and an image processing unit 11 (region extraction unit 12, appearance count calculation unit 13, and key image determination unit 14).
なお、本実施の形態では、領域抽出部１２が特許請求の範囲に記載の候補抽出手段に相当し、出現回数算出部１３が特許請求の範囲に記載の出現回数カウント手段に相当し、キー画像判定部１４が特許請求の範囲に記載の検出手段に相当する。 In the present embodiment, the area extracting unit 12 corresponds to the candidate extracting unit described in the claims, the appearance number calculating unit 13 corresponds to the appearance number counting unit described in the claims, and the key image The determination unit 14 corresponds to the detection means described in the claims.
背景画像データベース１０は、ハードディスクやＲＡＭなどの所定の領域に構成される。背景画像データベース１０は、撮像位置毎に、同じ撮像位置から異なる条件で撮像された複数の背景画像と各背景画像に対応付けられる撮像日時、撮像時の天候、撮像時の路面状況などからなるデータを格納するデータベースである。 The background image database 10 is configured in a predetermined area such as a hard disk or a RAM. The background image database 10 includes, for each imaging position, data including a plurality of background images captured from the same imaging position under different conditions, imaging dates and times associated with each background image, weather during imaging, road surface conditions during imaging, and the like. Is a database that stores
撮像位置は、車両走行中に車載カメラから撮像する際の各位置（車両の現在位置相当）である。撮像位置としては、車両に搭載されるＧＰＳ[Global Positioning System]受信機での現在位置情報あるいはナビゲーションシステムを搭載した車両の場合にはナビゲーションシステムで求められた現在位置などの情報が利用される。 The imaging position is each position (equivalent to the current position of the vehicle) when imaging from the in-vehicle camera while the vehicle is traveling. As the imaging position, current position information obtained by a GPS [Global Positioning System] receiver mounted on the vehicle or information such as the current position obtained by the navigation system in the case of a vehicle equipped with a navigation system is used.
背景画像は、車両走行中に車載か布良から撮像した場合の背景画像（車両、自転車、歩行者などの移動体及び車両からの落下物などのその場所に通常存在しない物体を除いた画像）である。撮像時の天候としては、晴れ、曇り、雨、雪などがある。撮像時の路面状況としては、ドライ、ウエット、アイスバーン、雪面などがある。同じ撮像位置の複数の背景画像は、撮像時の照明環境（天候、日時）と路面環境が様々な組み合わせの環境条件で撮像した場合の背景画像であり、同じ撮像位置から撮像日時、撮像時の天候、撮像時の路面状況を様々な組み合わせで撮像したときのものとする。 The background image is a background image (images excluding moving objects such as vehicles, bicycles, and pedestrians, and objects that do not normally exist in the place, such as falling objects from the vehicle) when the image is taken from the vehicle or cloth while driving. is there. The weather at the time of imaging includes sunny, cloudy, rainy, and snowy. The road surface condition at the time of imaging includes dry, wet, ice burn, snow surface and the like. Multiple background images at the same imaging position are background images when the lighting environment (weather, date and time) and road surface environment at the time of imaging are captured under various combinations of environmental conditions. Assume that the weather and the road surface conditions at the time of imaging are captured in various combinations.
画像処理部１１では、背景画像データベース１０に格納されているデータを用いて、撮像位置毎に、各背景画像について画像検索時の検索キーとなるキー画像（１個又は複数個）をそれぞれ検出する。そのために、画像処理部１１は、領域抽出部１２、出現回数算出部１３及びキー画像判定部１４を有している。 The image processing unit 11 uses the data stored in the background image database 10 to detect a key image (one or a plurality) as a search key at the time of image search for each background image for each imaging position. . For this purpose, the image processing unit 11 includes an area extraction unit 12, an appearance count calculation unit 13, and a key image determination unit 14.
領域抽出部１２では、同じ撮像位置の背景画像毎に、各背景画像のキー画像の候補となり得る領域（部分画像）を抽出する。抽出する領域としては、背景画像の中の特徴的な画像を含む領域でもよいし、あるいは、背景画像を予め決められたメッシュに従って切り出した領域でもよい。特徴的な画像の抽出方法としては、例えば、エッジ点検出などの公知の特徴点抽出技術を利用すればよい。 The region extraction unit 12 extracts a region (partial image) that can be a candidate for a key image of each background image for each background image at the same imaging position. The area to be extracted may be an area including a characteristic image in the background image, or may be an area obtained by cutting the background image according to a predetermined mesh. As a characteristic image extraction method, for example, a known feature point extraction technique such as edge point detection may be used.
図２に示す例の場合、同じ撮像位置の背景画像として符号Ｂ１，・・・，Ｂｎで示す画像があり、背景画像内には壁や歩道、歩道のマンホールなどがある。この例では、背景画像Ｂ１には影がないが、背景画像Ｂｎには壁の影がある。背景画像Ｂ１の場合には領域Ａ１１，Ａ１２，・・・，Ａ１ｍが抽出され、背景画像Ｂｎの場合には領域Ａｎ１，Ａｎ２，・・・，Ａｎｍが抽出される。 In the case of the example shown in FIG. 2, there are images denoted by reference symbols B 1 ,..., B n as background images at the same imaging position, and the background image includes walls, sidewalks, sidewalk manholes, and the like. In this example, there is no shadow in the background image B 1, the background image B n is the shadow of the wall. Background image region A 11 in the case of B 1, A 12, ···, A 1m is extracted, the region A n1, A n2, ···, A nm are extracted in the case of the background image B n .
出現回数算出部１３では、各背景画像から抽出された領域（抽出領域）毎に、その領域の部分画像が他の背景画像に現れる回数（出現回数）をカウントする。同じ撮像位置の背景画像でも、撮像時の天候や撮像日時によって照明条件が異なると、影の出方に差が発生する。また、同じ撮像位置の背景画像でも、路面条件によって、画像の色情報や輝度情報に差が発生する。したがって、同じ撮像位置の背景画像でも、同じ撮像位置の他の背景画像に現れないような特徴的な部分画像を有することになる。そこで、各背景画像の抽出領域の部分画像が、他の背景画像に現れる出現回数を求める。この出現回数が少ないほど（つまり、同じ部分画像を有している他の背景画像の数が少ないほど）、その背景画像に現れる特徴的な画像となる。 For each region (extraction region) extracted from each background image, the appearance number calculation unit 13 counts the number of times (the number of appearances) the partial image of that region appears in another background image. Even in the background image at the same imaging position, if the lighting conditions differ depending on the weather at the time of imaging and the imaging date and time, a difference in shadow appearance occurs. Further, even in the background image at the same imaging position, a difference occurs in the color information and luminance information of the image depending on the road condition. Therefore, even a background image at the same imaging position has a characteristic partial image that does not appear in other background images at the same imaging position. Therefore, the number of appearances of the partial images in the extraction region of each background image appearing in other background images is obtained. The smaller the number of appearances (that is, the smaller the number of other background images having the same partial image), the more characteristic images appear in the background image.
具体的な処理としては、出現回数算出部１３では、抽出領域毎に、複数の他の背景画像から抽出領域と同じ位置の領域（部分画像）をそれぞれ抽出し、抽出領域の部分画像と他の各背景画像の同じ位置の領域の部分画像との類似度をそれぞれ算出する。類似度は、値が大きいほど領域間の画像が類似していることを示し、例えば、領域（部分画像）間の正規化相関処理などの公知の相関値を利用すればよい。 As a specific process, the appearance count calculation unit 13 extracts, for each extraction region, a region (partial image) at the same position as the extraction region from a plurality of other background images. The degree of similarity of each background image with the partial image in the region at the same position is calculated. The degree of similarity indicates that the larger the value, the more similar the images between the regions. For example, a known correlation value such as normalized correlation processing between the regions (partial images) may be used.
そして、出現回数算出部１３では、抽出領域毎に、複数の他の背景画像の中から領域間の類似度が閾値α１以上を持つ他の背景画像を抽出し、閾値α１以上を持つ他の背景画像の数を出現回数としてカウントする。閾値α１は、類似度から領域間の部分画像が同じ画像であるか否かを判定するための閾値であり、予め設定される設計値である。 Then, the appearance count calculation unit 13 extracts, for each extraction region, another background image having a similarity between regions of a plurality of other background images having a threshold value α1 or more, and another background having a threshold value α1 or more. The number of images is counted as the number of appearances. The threshold value α1 is a threshold value for determining whether or not the partial images between the regions are the same image based on the similarity, and is a preset design value.
キー画像判定部１４では、各背景画像の抽出領域毎に、他の背景画像での出現回数に基づいて、キー画像になるか否かを判定する。キー画像は、検索を行う際に検索キーとなる画像であり、他の背景画像との判別を可能とする画像である。そこで、キー画像としては、他の背景画像との類似性が低く、その背景画像に現れる特徴的な画像とし、特に、その背景画像にだけ現れる特徴的な画像が望ましい。 The key image determination unit 14 determines, for each background image extraction region, whether or not to become a key image based on the number of appearances in another background image. The key image is an image that serves as a search key when performing a search, and is an image that can be distinguished from other background images. Therefore, the key image is preferably a characteristic image that has low similarity to other background images and appears in the background image, and in particular, a characteristic image that appears only in the background image.
具体的な処理としては、キー画像判定部１４では、抽出領域毎に、他の背景画像での出現回数が閾値β１以下か否かを判定し、出現回数が閾値β１以下の抽出領域をその背景画像のキー画像とする。キー画像判定部１４では、抽出領域をキー画像にすると判定した場合、その背景画像に対応させてそのキー画像を背景画像データベース１０に格納する。閾値β１は、他の背景画像での出現回数が少ない抽出領域を判定するための閾値であり、予め設定される設計値である。閾値β１を０とした場合、出現回数が閾値β１以下の抽出領域の部分画像は他の全ての背景画像に現れないので、その背景画像にしか現れない特有の領域（キー画像）を判定することができる。このような他の全ての背景画像に現れないキー画像を用いて検索を行うことにより、少ない個数のキー画像で高精度な検索が可能となる。 As a specific process, the key image determination unit 14 determines, for each extraction region, whether or not the number of appearances in other background images is equal to or less than a threshold value β1, and selects an extraction region whose appearance number is equal to or less than the threshold value β1 as its background. The key image of the image. When the key image determination unit 14 determines that the extraction area is a key image, the key image is stored in the background image database 10 in association with the background image. The threshold value β1 is a threshold value for determining an extraction region with a small number of appearances in other background images, and is a preset design value. When the threshold value β1 is set to 0, the partial image of the extraction area whose number of appearances is equal to or less than the threshold value β1 does not appear in all other background images, and therefore a specific area (key image) that appears only in the background image is determined. Can do. By performing a search using a key image that does not appear in all other background images, a high-precision search can be performed with a small number of key images.
キー画像は、１枚の背景画像について１個又は複数個選択される。キー画像が少ないほど検索時に処理負荷を軽減することができ、キー画像が多いほど検索時に高精度な検索が可能となる。キー画像の個数については、処理負荷と検索精度を考慮して適宜の個数を設定してよい。 One or a plurality of key images are selected for one background image. The smaller the key image, the more the processing load can be reduced. The more the key image, the more accurate the search can be performed. An appropriate number of key images may be set in consideration of processing load and search accuracy.
図２に示す例の場合、背景画像Ｂｎの領域Ａｎ１などは、他の背景画像Ｂ１，・・・に現れないので、キー画像となる。 In the case of the example shown in FIG. 2, the region A n1 of the background image B n does not appear in the other background images B 1 ,.
キー画像抽出装置１では、背景画像検索装置２，３に対しては、背景画像データベース１０に格納される撮像日時毎の各背景画像とその背景画像に対応付けられたキー画像を出力する。また、キー画像抽出装置１では、天候路面状況検索装置４に対しては、背景画像データベース１０に格納される撮像日時毎の撮像時の天候と路面状況の各組み合わせとその組み合わせ（背景画像）に対応付けられたキー画像を出力する。 In the key image extraction device 1, the background image search devices 2 and 3 output each background image for each imaging date and time stored in the background image database 10 and a key image associated with the background image. Further, in the key image extraction device 1, the weather road surface condition search device 4 is combined with each combination of weather and road surface condition at the time of imaging stored in the background image database 10 and the combination (background image). The associated key image is output.
図１及び図２を参照して、キー画像抽出装置１の動作について説明する。特に、画像処理部１１における処理については図３のフローチャートに沿って説明する。図３は、図１の画像処理部での処理の流れを示すフローチャートである。 The operation of the key image extraction apparatus 1 will be described with reference to FIGS. In particular, the processing in the image processing unit 11 will be described with reference to the flowchart of FIG. FIG. 3 is a flowchart showing the flow of processing in the image processing unit of FIG.
背景画像データベース１０には、撮像位置毎に、撮像日時、撮像時の天候、撮像時の路面状況が対応付けられた背景画像が複数個格納されている。 The background image database 10 stores a plurality of background images each associated with an imaging date and time, weather at the time of imaging, and road surface conditions at the time of imaging for each imaging position.
画像処理部１１では、背景画像データベース１０から、同じ撮像位置の複数の背景画像を入力する（Ｓ１０）。 The image processing unit 11 inputs a plurality of background images at the same imaging position from the background image database 10 (S10).
画像処理部１１では、同じ撮像位置の背景画像毎に、背景画像からキー画像の候補となる領域を抽出する（Ｓ１１）。そして、画像処理部１１では、抽出した領域毎に、その領域の部分画像が他の背景画像に出現する回数をカウントする（Ｓ１２）。 The image processing unit 11 extracts a candidate area for the key image from the background image for each background image at the same imaging position (S11). Then, the image processing unit 11 counts the number of times a partial image of the area appears in another background image for each extracted area (S12).
画像処理部１１では、同じ撮像位置の背景画像毎に、他の背景画像での出現回数が少ない（特に、出現回数が０のものが良い）領域を抽出し、その抽出した領域をキー画像（その背景画像に現れる特徴的な部分画像）として設定する（Ｓ１３）。そして、画像処理部１１では、その設定したキー画像を背景画像に対応付けて背景画像データベース１０に記憶させる。 In the image processing unit 11, for each background image at the same imaging position, an area with a small number of appearances in other background images (especially, one with an appearance count of 0 is good) is extracted, and the extracted area is extracted as a key image ( It is set as a characteristic partial image appearing in the background image (S13). The image processing unit 11 stores the set key image in the background image database 10 in association with the background image.
このキー画像抽出装置１によれば、同じ撮像位置の他の背景画像に出現する回数の少ない領域をキー画像とすることにより、各背景画像について画像検索用の適切なキー画像を設定することができる。このキー画像を用いて検索を行うことにより、複数の背景画像あるいは天候や路面状況の中から入力画像に対応したものを高精度に検索することができる。 According to this key image extraction device 1, an appropriate key image for image search can be set for each background image by using, as a key image, an area that appears less frequently in other background images at the same imaging position. it can. By performing a search using this key image, it is possible to search with high accuracy a plurality of background images or those corresponding to the input image from the weather and road surface conditions.
また、キー画像抽出装置１によれば、撮像位置の同じ複数の背景画像間で領域（部分画像）の類似度を判定（非類似性を評価）することにより、入力画像に関係なく、キー画像を自動的に抽出することができる。 Further, according to the key image extraction device 1, by determining the similarity of regions (partial images) between a plurality of background images having the same imaging position (evaluating dissimilarity), the key image can be obtained regardless of the input image. Can be automatically extracted.
図４及び図５を参照して、第１の実施の形態に係る背景画像検索装置２について説明する。図４は、第１の実施の形態に係る背景画像検索装置の構成図である。図５は、図４のＥＣＵでの処理の説明図である。 With reference to FIG.4 and FIG.5, the background image search device 2 which concerns on 1st Embodiment is demonstrated. FIG. 4 is a configuration diagram of the background image search apparatus according to the first embodiment. FIG. 5 is an explanatory diagram of processing in the ECU of FIG.
背景画像検索装置２は、入力画像と同じ撮像位置の複数の背景画像の中から入力画像と同じ照明環境（撮像時の天候、撮像時刻など）を持つ背景画像を検索する装置である。背景画像検索装置２は、車載装置として構成され、検索された背景画像を車載の障害物検出装置などに出力する。背景画像検索装置２は、カメラ２０、ＧＰＳ受信機２１及びＥＣＵ[Electronic Control Unit]２２を備えている。 The background image search device 2 is a device that searches for a background image having the same illumination environment (weather, imaging time, etc.) as the input image from a plurality of background images at the same imaging position as the input image. The background image search device 2 is configured as an in-vehicle device, and outputs the searched background image to an in-vehicle obstacle detection device or the like. The background image search device 2 includes a camera 20, a GPS receiver 21, and an ECU [Electronic Control Unit] 22.
カメラ２０は、ＣＣＤ[Charge Coupled Device]などを用いたステレオカメラあるいは単眼カメラである。カメラ２０は、車両の所定の位置（障害物検出などを行う方向に応じた位置）に取り付けられる。カメラ２０では、車両周辺の所定の方向を撮像し、その撮像したカラー画像（例えば、ＲＧＢ[RedGreen Blue]による画像）を取得する。カメラ２０では、一定時間毎に、その撮像画像のデータを画像信号としてＥＣＵ２２に送信する。なお、カメラはカラーであるが、白黒のカメラでもよい。 The camera 20 is a stereo camera or a monocular camera using a CCD [Charge Coupled Device] or the like. The camera 20 is attached to a predetermined position of the vehicle (a position corresponding to a direction in which an obstacle is detected). The camera 20 captures a predetermined direction around the vehicle and acquires a captured color image (for example, an image by RGB [RedGreen Blue]). The camera 20 transmits data of the captured image to the ECU 22 as an image signal at regular time intervals. The camera is a color camera, but may be a black and white camera.
ＧＰＳ受信機２１は、ＧＰＳを利用して自車の現在位置などを推定するための装備である。ＧＰＳ受信機２１では、一定時間毎に、ＧＰＳアンテナによってＧＰＳ衛星からのＧＰＳ信号を受信し、そのＧＰＳ信号を復調し、その復調された各ＧＰＳ衛星の位置データに基づいて自車の現在位置（緯度、経度、高度）などを算出する。そして、ＧＰＳ受信機２１では、自車の現在位置情報などをＧＰＳ検出信号としてＥＣＵ２２に送信する。なお、自車の現在位置を検出する手段としては、ナビゲーションシステムでの現在位置検出などの他の手段でもよい。また、ＧＰＳ受信機では主にＧＰＳ信号の受信処理だけを行い、ＧＰＳ信号に基づく現在位置の算出処理をＥＣＵで行ってもよい。 The GPS receiver 21 is a device for estimating the current position of the vehicle using GPS. The GPS receiver 21 receives a GPS signal from a GPS satellite by a GPS antenna at regular intervals, demodulates the GPS signal, and based on the demodulated position data of each GPS satellite, Latitude, longitude, altitude) etc. are calculated. Then, the GPS receiver 21 transmits the current position information of the vehicle to the ECU 22 as a GPS detection signal. The means for detecting the current position of the host vehicle may be other means such as detection of the current position in the navigation system. The GPS receiver may mainly perform only GPS signal reception processing, and the ECU may perform current position calculation processing based on the GPS signals.
ＥＣＵ２２は、ＣＰＵ[Central ProcessingUnit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]などからなる電子制御ユニットであり、背景画像検索装置２を統括制御する。ＥＣＵ２２では、一定時間毎に、カメラ２０からの画像信号やＧＰＳ受信機２１からのＧＰＳ検出信号を受信する。そして、ＥＣＵ２２では、送信された画像信号やＧＰＳ検出信号及びキー画像／背景画像記憶部２３のデータに基づいて部分画像抽出部２４、合致度算出部２５、高合致度背景画像選択部２６での処理を行い、入力画像と同じ照明環境の背景画像を検索する。 The ECU 22 is an electronic control unit including a CPU [Central Processing Unit], a ROM [Read Only Memory], a RAM [Random Access Memory], and the like, and comprehensively controls the background image search device 2. The ECU 22 receives an image signal from the camera 20 and a GPS detection signal from the GPS receiver 21 at regular intervals. Then, in the ECU 22, the partial image extraction unit 24, the matching degree calculation unit 25, and the high matching degree background image selection unit 26 based on the transmitted image signal, GPS detection signal, and data in the key image / background image storage unit 23. Processing is performed to search for a background image in the same lighting environment as the input image.
キー画像／背景画像記憶部２３は、ＲＡＭの所定の領域に構成される。キー画像／背景画像記憶部２３には、キー画像抽出装置１の背景画像データベース１０に格納されているデータを用いて、撮像位置毎の複数の背景画像と各背景画像に対応付けられたキー画像が予め記憶される。 The key image / background image storage unit 23 is configured in a predetermined area of the RAM. The key image / background image storage unit 23 uses the data stored in the background image database 10 of the key image extraction device 1 and uses a plurality of background images for each imaging position and a key image associated with each background image. Is stored in advance.
部分画像抽出部２４では、カメラ２０からの撮像画像が入力される毎に、この撮像画像の特徴的な部分画像を抽出する。特徴的な部分画像の抽出方法としては、例えば、エッジ点検出などの公知の特徴点抽出技術を利用し、この特徴点を中心として矩形領域を抽出する。 The partial image extraction unit 24 extracts a characteristic partial image of the captured image every time the captured image from the camera 20 is input. As a method for extracting a characteristic partial image, for example, a known feature point extraction technique such as edge point detection is used, and a rectangular region is extracted around the feature point.
図５に示す例の場合、入力画像として符号Ｉで示す画像があり、この入力画像Ｉ内には壁や歩道、歩道のマンホールなどがあり、壁の影も出ている。この入力画像Ｉの場合、マンホールの端部と影の角部を含む特徴的な部分画像Ｐが抽出される。 In the case of the example shown in FIG. 5, there is an image indicated by the symbol I as an input image. The input image I includes a wall, a sidewalk, a sidewalk manhole, and the like, and a shadow of the wall is also present. In the case of this input image I, a characteristic partial image P including the end of the manhole and the corner of the shadow is extracted.
合致度算出部２５では、キー画像／背景画像記憶部２３に記憶される入力画像と同じ撮像位置の複数の背景画像の各キー画像と入力画像の特徴的な部分画像との合致度（一致度）を算出する。 In the matching degree calculation unit 25, the matching degree (matching degree) between each key image of a plurality of background images at the same imaging position as the input image stored in the key image / background image storage unit 23 and a characteristic partial image of the input image. ) Is calculated.
具体的な処理としては、合致度算出部２５では、ＧＰＳ受信機２１からの現在位置（撮像位置に相当）に基づいて、キー画像／背景画像記憶部２３から入力画像と同じ撮像位置の複数の背景画像とそのキー画像を抽出する。この際、キー画像／背景画像記憶部２３に入力画像と同じ撮像位置のものが無い場合、入力画像に最も近い撮像位置の背景画像とそのキー画像を抽出し、入力画像あるいは背景画像及びそのキー画像のどちらか一方をその撮像位置の相対的な差に基づいて画像変換して同じ撮像位置の画像に相当するものとする。 As a specific process, the matching degree calculation unit 25, based on the current position from the GPS receiver 21 (corresponding to the imaging position), a plurality of imaging positions at the same imaging position as the input image from the key image / background image storage unit 23. A background image and its key image are extracted. At this time, if there is no key image / background image storage unit 23 having the same image pickup position as the input image, the background image at the image pickup position closest to the input image and its key image are extracted, and the input image or background image and its key are extracted. One of the images is converted based on the relative difference between the imaging positions and corresponds to an image at the same imaging position.
合致度算出部２５では、抽出した各背景画像のキー画像毎に、入力画像の特徴的な部分画像との合致度を算出する。合致度は、値が大きいほど入力画像の部分画像とキー画像とが合致していることを示し、例えば、類似度を評価する正規化相関処理などの公知の相関値を利用すればよい。 The degree-of-match calculation unit 25 calculates the degree of match with the characteristic partial image of the input image for each extracted key image of each background image. The degree of matching indicates that the larger the value is, the more the partial image of the input image matches the key image. For example, a known correlation value such as normalized correlation processing for evaluating the degree of similarity may be used.
図５に示す例の場合、入力画像Ｉと同じ撮像位置の背景画像として符号Ｂ１，・・・，Ｂｎで示す画像がある。背景画像Ｂ１の場合、マンホールの端部を含むキー画像Ｋ１を有しており、部分画像Ｐとキー画像Ｋ１との合致度が算出される。背景画像Ｂｎの場合、マンホールの端部及び影の角部を含むキー画像Ｋｎを有しており、部分画像Ｐとキー画像Ｋｎとの合致度が算出される。 In the case of the example shown in FIG. 5, there are images indicated by symbols B 1 ,..., B n as background images at the same imaging position as the input image I. If the background image B 1, has a key image K 1 including an end portion of the manhole, matching degree with the partial image P and the key image K 1 is calculated. If the background image B n, has a key image K n including the corner portion of the end portion and the shadow of the manhole, matching degree with the partial image P and the key image K n is calculated.
高合致度背景画像選択部２６では、入力画像と同じ撮像位置の複数の背景画像の各キー画像と入力画像の特徴的な部分画像との合致度に基づいて、合致度の高いキー画像を持つ背景画像（すなわち、入力画像と同じような照明環境で撮像された背景画像）を選択する。 The high match degree background image selection unit 26 has a key image with a high match degree based on the match degree between each key image of a plurality of background images at the same imaging position as the input image and a characteristic partial image of the input image. A background image (that is, a background image captured in an illumination environment similar to the input image) is selected.
具体的な処理としては、高合致度背景画像選択部２６では、各背景画像のキー画像毎に、入力画像の部分画像との合致度が閾値α２以上か否かを判定する。閾値α２は、合致度から入力画像の部分画像とキー画像とが同じ画像であるか否かを判定するための閾値であり、予め設定される設計値である。 As a specific process, the high match degree background image selection unit 26 determines, for each key image of each background image, whether or not the match degree with the partial image of the input image is greater than or equal to a threshold value α2. The threshold value α2 is a threshold value for determining whether or not the partial image of the input image and the key image are the same image based on the degree of match, and is a preset design value.
そして、高合致度背景画像選択部２６では、背景画像毎に、入力画像の部分画像との合致度が閾値α２以上と判定されたキー画像の個数が閾値β２以上か否かを判定し、キー画像の個数が閾値β２以上となる背景画像を選択する。閾値β２は、入力画像と同じ照明環境で撮像された背景画像であるか否かを判定するための閾値であり、予め設定される設計値である。閾値β２は、背景画像が有しているキー画像の個数に応じて設定される。 Then, the high match degree background image selection unit 26 determines, for each background image, whether or not the number of key images whose degree of match with the partial image of the input image is greater than or equal to the threshold value α2 is greater than or equal to the threshold value β2. A background image in which the number of images is equal to or greater than the threshold value β2 is selected. The threshold value β2 is a threshold value for determining whether or not the background image is captured in the same illumination environment as the input image, and is a preset design value. The threshold value β2 is set according to the number of key images that the background image has.
ここでは、入力画像と同じ照明環境で撮像した背景画像としては、１枚又は複数枚選択される。複数枚選択された場合でも、障害物検出装置などの後処理の装置において適切な背景画像が１枚選択される。 Here, one or more background images picked up in the same illumination environment as the input image are selected. Even when a plurality of images are selected, one appropriate background image is selected in a post-processing device such as an obstacle detection device.
なお、背景画像を１枚だけ絞る場合、合致度が最も高くなる背景画像を選択するかあるいは合致度が閾値α２以上のキー画像の個数が最も多い背景画像を選択すればよい。また、各背景画像にキー画像が１個しか対応付けられていない場合、閾値α２や閾値β２による判定を行わないで、合致度が最も高くなる背景画像を選択すればよい。 When only one background image is selected, a background image with the highest degree of matching may be selected, or a background image with the largest number of key images having a matching degree equal to or higher than the threshold α2 may be selected. In addition, when only one key image is associated with each background image, the background image with the highest matching degree may be selected without performing the determination based on the threshold value α2 or the threshold value β2.
図５に示す例の場合、背景画像Ｂｎのキー画像Ｋｎと入力画像Ｉの部分画像Ｐとの合致度が高く、入力画像Ｉの背景画像としてはキー画像Ｋｎを持つ背景画像Ｂｎが選択される。 In the example shown in FIG. 5, the background image B n coincidence degree of the partial image P of the key image K n and the input image I is high, the background image B n with the key image K n as a background image of the input image I Is selected.
図４及び図５を参照して、背景画像検索装置２の動作について説明する。特に、ＥＣＵ２２における処理については図６のフローチャートに沿って説明する。図６は、図４のＥＣＵでの処理の流れを示すフローチャートである。 The operation of the background image search device 2 will be described with reference to FIGS. In particular, the processing in the ECU 22 will be described along the flowchart of FIG. FIG. 6 is a flowchart showing the flow of processing in the ECU of FIG.
ＥＣＵ２２のキー画像／背景画像記憶部２３には、キー画像抽出装置１の背景画像データベース１０を利用して、撮像位置毎に照明環境の異なる複数の背景画像とそのキー画像が予め記憶される。 The key image / background image storage unit 23 of the ECU 22 stores in advance a plurality of background images having different illumination environments and their key images for each imaging position using the background image database 10 of the key image extraction device 1.
カメラ２０では、一定時間毎に、車両の周辺を撮像し、その撮像画像を画像信号としてＥＣＵ２２に送信する。ＥＣＵ２２では、一定時間毎に、画像信号を受信し、入力画像を入力する（Ｓ２０）。 The camera 20 captures the periphery of the vehicle at regular intervals, and transmits the captured image to the ECU 22 as an image signal. The ECU 22 receives an image signal and inputs an input image at regular intervals (S20).
ＧＰＳ受信機２１では、一定時間毎に、ＧＰＳアンテナによってＧＰＳ衛星からのＧＰＳ信号を受信し、各ＧＰＳ信号に基づいて自車の現在位置（緯度、経度、高度）などを算出する。そして、ＧＰＳ受信機２１では、自車の現在位置情報などをＧＰＳ検出信号としてＥＣＵ２２に送信する。ＥＣＵ２２では、一定時間毎に、ＧＰＳ検出信号を受信し、現在位置（撮像位置に相当）を取得する。 The GPS receiver 21 receives a GPS signal from a GPS satellite by a GPS antenna at regular intervals, and calculates the current position (latitude, longitude, altitude) of the vehicle based on each GPS signal. Then, the GPS receiver 21 transmits the current position information of the vehicle to the ECU 22 as a GPS detection signal. The ECU 22 receives a GPS detection signal at regular intervals and acquires a current position (corresponding to an imaging position).
入力画像を入力する毎に、ＥＣＵ２２では、入力画像から特徴的な部分画像を抽出する（Ｓ２１）。そして、ＥＣＵ２２では、キー画像／背景画像記憶部２３から入力画像と同じ撮像位置の複数の背景画像及びそのキー画像を抽出し、その複数の背景画像の各キー画像と入力画像の部分画像との合致度をそれぞれ算出する（Ｓ２２）。さらに、ＥＣＵ２２では、複数の背景画像の各キー画像の合致度に基づいて、複数の背景画像の中から高い合致度の背景画像（入力画像と同じ照明環境で撮像された背景画像）を抽出する（Ｓ２３）。そして、ＥＣＵ２２では、その抽出した背景画像を後処理の障害物検出装置などに提供する。 Each time an input image is input, the ECU 22 extracts a characteristic partial image from the input image (S21). Then, the ECU 22 extracts a plurality of background images and key images at the same imaging position as the input image from the key image / background image storage unit 23, and obtains the key images of the plurality of background images and the partial images of the input image. The degree of match is calculated (S22). Further, the ECU 22 extracts a background image having a high matching degree (a background image captured in the same lighting environment as the input image) from the plurality of background images based on the matching degree of each key image of the plurality of background images. (S23). Then, the ECU 22 provides the extracted background image to a post-processing obstacle detection device or the like.
この背景画像検索装置２によれば、キー画像抽出装置１で予め抽出されたキー画像を用いて背景画像検索を行うことにより、入力画像を入力後の処理負荷を軽減でき、入力画像が入力する毎にリアルタイムで検索を行うことができる。その結果、リアルタイム性が要求される障害物検出などに対応することができる。 According to this background image search device 2, by performing a background image search using the key image previously extracted by the key image extraction device 1, the processing load after inputting the input image can be reduced, and the input image is input. You can search in real time every time. As a result, it is possible to cope with obstacle detection that requires real-time performance.
図７及び図８を参照して、第２の実施の形態に係る背景画像検索装置３について説明する。図７は、第２の実施の形態に係る背景画像検索装置の構成図である。図８は、図７のＥＣＵでの処理の説明図である。 With reference to FIG.7 and FIG.8, the background image search device 3 which concerns on 2nd Embodiment is demonstrated. FIG. 7 is a configuration diagram of a background image search apparatus according to the second embodiment. FIG. 8 is an explanatory diagram of processing in the ECU of FIG.
背景画像検索装置３は、第１の実施の形態に係る背景画像検索装置２と同様の装置であり、背景画像検索装置２よりも効率的に背景画像を検索する。背景画像検索装置２では入力画像の特徴的な部分画像に基づいて検索を行ったが、背景画像検索装置３では各背景画像のキー画像に基づいて検索を行う。背景画像検索装置３は、カメラ３０、ＧＰＳ受信機３１及びＥＣＵ３２を備えている。なお、カメラ３０、ＧＰＳ受信機３１は、第１の実施の形態に係る背景画像検索装置２のカメラ２０、ＧＰＳ受信機２１と同様のものなので、その説明を省略する。 The background image search device 3 is the same device as the background image search device 2 according to the first embodiment, and searches for a background image more efficiently than the background image search device 2. Although the background image search device 2 performs a search based on a characteristic partial image of the input image, the background image search device 3 performs a search based on a key image of each background image. The background image search device 3 includes a camera 30, a GPS receiver 31, and an ECU 32. Note that the camera 30 and the GPS receiver 31 are the same as the camera 20 and the GPS receiver 21 of the background image search apparatus 2 according to the first embodiment, and thus description thereof is omitted.
ＥＣＵ３２は、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、背景画像検索装置３を統括制御する。ＥＣＵ３２では、一定時間毎に、カメラ３０からの画像信号やＧＰＳ受信機３１からのＧＰＳ検出信号を受信する。そして、ＥＣＵ３２では、送信された画像信号やＧＰＳ検出信号及びキー画像／背景画像記憶部３３のデータに基づいて合致度算出部３４、低合致度背景画像除去部３５での処理を行い、入力画像と同じ照明環境の背景画像を検索する。なお、キー画像／背景画像記憶部３３は、第１の実施の形態に係るＥＣＵ２２のキー画像／背景画像記憶部２３と同様のものなので、その説明を省略する。 The ECU 32 is an electronic control unit including a CPU, a ROM, a RAM, and the like, and comprehensively controls the background image search device 3. The ECU 32 receives an image signal from the camera 30 and a GPS detection signal from the GPS receiver 31 at regular intervals. Then, the ECU 32 performs processing in the coincidence degree calculation unit 34 and the low coincidence degree background image removal unit 35 based on the transmitted image signal, GPS detection signal, and data in the key image / background image storage unit 33 to obtain an input image. Search for a background image of the same lighting environment. Note that the key image / background image storage unit 33 is the same as the key image / background image storage unit 23 of the ECU 22 according to the first embodiment, and a description thereof will be omitted.
合致度算出部３４では、カメラ３０からの撮像画像が入力される毎に、キー画像／背景画像記憶部３３に記憶される入力画像と同じ撮像位置の複数の背景画像の各キー画像と入力画像におけるそのキー画像と対応する位置の領域の部分画像との合致度（一致度）を算出する。 Each time a captured image is input from the camera 30, the matching degree calculation unit 34 inputs each key image and input image of a plurality of background images at the same imaging position as the input image stored in the key image / background image storage unit 33. The degree of coincidence (degree of coincidence) between the key image and the partial image of the corresponding region is calculated.
具体的な処理としては、合致度算出部３４では、ＧＰＳ受信機３１からの現在位置に基づいて、キー画像／背景画像記憶部３３から入力画像と同じ撮像位置の複数の背景画像とそのキー画像を抽出する。この際、キー画像／背景画像記憶部３３に入力画像と同じ撮像位置のものが無い場合、第１の実施の形態に係るＥＣＵ２２と同様に、入力画像あるいは背景画像及びそのキー画像のどちらか一方を画像変換する。 As a specific process, in the matching degree calculation unit 34, based on the current position from the GPS receiver 31, a plurality of background images at the same imaging position as the input image from the key image / background image storage unit 33 and the key image thereof. To extract. At this time, if the key image / background image storage unit 33 does not have the same image pickup position as the input image, either the input image or the background image and the key image, as in the ECU 22 according to the first embodiment. Convert the image.
合致度算出部３４では、抽出した各背景画像のキー画像毎に、入力画像からそのキー画像と同じ位置の領域を抽出し、その抽出した領域の部分画像とキー画像との合致度を算出する。合致度は、第１の実施の形態に係るＥＣＵ２２における合致度と同様のものである。 For each key image of each extracted background image, the degree-of-match calculation unit 34 extracts a region at the same position as the key image from the input image, and calculates the degree of match between the partial image of the extracted region and the key image. . The degree of matching is the same as the degree of matching in the ECU 22 according to the first embodiment.
図８に示す例の場合、入力画像Ｉと同じ撮像位置の背景画像として符号Ｂ１，・・・，Ｂｎで示す画像があり、背景画像内には壁や歩道、歩道のマンホールなどがある。背景画像Ｂ１の場合、マンホールの端部を含むキー画像Ｋ１を有しており、入力画像Ｉにおけるそのキー画像Ｋ１と同じ位置の領域の部分画像Ｐとキー画像Ｋ１との合致度が算出される。背景画像Ｂｎの場合、マンホールの端部及び影の角部を含むキー画像Ｋｎを有しており、入力画像Ｉにおけるそのキー画像Ｋｎと同じ位置の領域の部分画像Ｐとキー画像Ｋｎとの合致度が算出される。 In the case of the example shown in FIG. 8, there are images denoted by reference symbols B 1 ,..., B n as background images at the same imaging position as the input image I, and there are walls, sidewalks, sidewalk manholes, etc. in the background images. . In the case of the background image B 1, the key image K 1 including the end of the manhole is included, and the degree of coincidence between the partial image P in the region at the same position as the key image K 1 in the input image I and the key image K 1. Is calculated. In the case of the background image B n, the key image K n includes the end of the manhole and the corner of the shadow, and the partial image P and the key image K in the region at the same position as the key image K n in the input image I. The degree of coincidence with n is calculated.
低合致度背景画像除去部３５では、入力画像と同じ撮像位置の複数の背景画像の各キー画像と入力画像における同じ位置の部分画像との合致度に基づいて、合致度の低いキー画像を持つ背景画像（すなわち、入力画像と異なる照明環境で撮像された背景画像）を除去し、最終的に入力画像と同じような照明環境で撮像された背景画像を残す。 The low coincidence degree background image removing unit 35 has a key image with a low degree of coincidence based on the degree of coincidence between each key image of a plurality of background images at the same imaging position as the input image and a partial image at the same position in the input image. A background image (that is, a background image captured in an illumination environment different from the input image) is removed, and finally a background image captured in an illumination environment similar to the input image is left.
具体的な処理としては、低合致度背景画像除去部３５では、各背景画像のキー画像毎に、入力画像の部分画像との合致度が閾値α３以上か否かを判定する。閾値α３は、合致度からキー画像と入力画像の部分画像とが同じ画像であるか否かを判定するための閾値であり、予め設定される設計値である。 As a specific process, the low match degree background image removal unit 35 determines, for each key image of each background image, whether or not the match degree with the partial image of the input image is greater than or equal to a threshold value α3. The threshold value α3 is a threshold value for determining whether or not the key image and the partial image of the input image are the same image based on the degree of match, and is a preset design value.
そして、低合致度背景画像除去部３５では、背景画像毎に、入力画像の部分画像との合致度が閾値α３以上と判定されたキー画像の個数が閾値β３以下か否かを判定し、キー画像の個数が閾値β３以下となる背景画像を除去する。閾値β３は、入力画像と異なる照明環境で撮像された背景画像であるか否かを判定するための閾値であり、予め設定される設計値である。閾値β３は、背景画像が有しているキー画像の個数に応じて設定される。 Then, the low match degree background image removal unit 35 determines, for each background image, whether or not the number of key images for which the degree of match with the partial image of the input image is greater than or equal to the threshold value α3 is less than or equal to the threshold value β3. A background image in which the number of images is equal to or less than the threshold β3 is removed. The threshold value β3 is a threshold value for determining whether or not the background image is captured in an illumination environment different from the input image, and is a preset design value. The threshold value β3 is set according to the number of key images that the background image has.
入力画像と同じ撮像位置の複数の背景画像から低合致度の背景画像を除去すると、入力画像と同じような照明環境で撮像された背景画像が残る。ここで、残る背景画像の数が多い場合、閾値β３の値を更に厳しくし（β３の値を大きくし）、残った背景画像の中から更に背景画像を除去し、高合致度の背景画像を絞る。 When a background image with a low matching degree is removed from a plurality of background images at the same imaging position as the input image, a background image captured in an illumination environment similar to the input image remains. Here, when the number of remaining background images is large, the value of the threshold β3 is further tightened (the value of β3 is increased), the background images are further removed from the remaining background images, and a background image with a high degree of matching is obtained. squeeze.
なお、低合致度の背景画像を除去してゆくのではなく、高合致度の背景画像を選択してもよい。この場合、入力画像の部分画像との合致度が閾値α３以上と判定されたキー画像の個数が閾値β３’以上となる背景画像を選択する。 Note that a background image with a high degree of match may be selected instead of removing the background image with a low degree of match. In this case, a background image is selected in which the number of key images for which the degree of match with the partial image of the input image is greater than or equal to the threshold value α3 is greater than or equal to the threshold value β3 ′.
図８に示す例の場合、背景画像Ｂ１のキー画像Ｋ１と入力画像Ｉの部分画像Ｐとの合致度が低く、背景画像Ｂ１などが除去され、背景画像Ｂｎが残る。 In the example shown in FIG. 8, low degree of match between the partial image P of the input image I and the key image K 1 of the background image B 1, is removed and the background image B 1, the background image B n remains.
図７及び図８を参照して、背景画像検索装置３の動作について説明する。特に、ＥＣＵ３２における処理については図９のフローチャートに沿って説明する。図９は、図７のＥＣＵでの処理の流れを示すフローチャートである。 The operation of the background image search device 3 will be described with reference to FIGS. In particular, the processing in the ECU 32 will be described along the flowchart of FIG. FIG. 9 is a flowchart showing a flow of processing in the ECU of FIG.
ＥＣＵ３２のキー画像／背景画像記憶部３３には、キー画像抽出装置１の背景画像データベース１０を利用して、撮像位置毎に照明環境の異なる複数の背景画像とそのキー画像が予め記憶される。 In the key image / background image storage unit 33 of the ECU 32, a plurality of background images having different illumination environments and their key images are stored in advance for each imaging position using the background image database 10 of the key image extraction device 1.
カメラ３０では、一定時間毎に、車両の周辺を撮像し、その撮像画像を画像信号としてＥＣＵ３２に送信する。ＥＣＵ３２では、一定時間毎に、画像信号を受信し、入力画像を入力する（Ｓ３０）。 The camera 30 captures the periphery of the vehicle at regular intervals, and transmits the captured image to the ECU 32 as an image signal. The ECU 32 receives an image signal and inputs an input image at regular intervals (S30).
ＧＰＳ受信機３１では、一定時間毎に、ＧＰＳアンテナによってＧＰＳ衛星からのＧＰＳ信号を受信し、各ＧＰＳ信号に基づいて自車の現在位置（緯度、経度、高度）などを算出する。そして、ＧＰＳ受信機３１では、自車の現在位置情報などをＧＰＳ検出信号としてＥＣＵ３２に送信する。ＥＣＵ３２では、一定時間毎に、ＧＰＳ検出信号を受信し、現在位置（撮像位置に相当）を取得する。 The GPS receiver 31 receives a GPS signal from a GPS satellite by a GPS antenna at regular time intervals, and calculates the current position (latitude, longitude, altitude) of the vehicle based on each GPS signal. Then, the GPS receiver 31 transmits the current position information of the own vehicle to the ECU 32 as a GPS detection signal. The ECU 32 receives a GPS detection signal at regular intervals and acquires a current position (corresponding to an imaging position).
入力画像を入力する毎に、ＥＣＵ３２では、キー画像／背景画像記憶部３３から入力画像と同じ撮像位置の複数の背景画像及びそのキー画像を抽出し、その複数の背景画像の各キー画像と入力画像におけるキー画像と同じ位置の領域の部分画像との合致度をそれぞれ算出する（Ｓ３１）。さらに、ＥＣＵ３２では、複数の背景画像の各キー画像との合致度に基づいて、複数の背景画像の中から低い合致度の背景画像（入力画像と異なる照明環境で撮像された背景画像）を除去し、入力画像と同じ照明環境で撮像された背景画像を残す（Ｓ３２）。そして、ＥＣＵ３２では、その残った背景画像を後処理の障害物検出装置などに提供する。 Each time an input image is input, the ECU 32 extracts a plurality of background images and key images at the same imaging position as the input image from the key image / background image storage unit 33, and inputs each key image of the plurality of background images. The degree of coincidence with the partial image in the region at the same position as the key image in the image is calculated (S31). Further, the ECU 32 removes a background image having a low matching level (a background image captured in a lighting environment different from the input image) from the plurality of background images based on the matching levels of the plurality of background images with the key images. Then, a background image captured in the same illumination environment as the input image is left (S32). Then, the ECU 32 provides the remaining background image to a post-processing obstacle detection device or the like.
この背景画像検索装置３によれば、第１の実施の形態に係る背景画像検索装置２と同様の効果を有する上に、以下の効果も有する。背景画像検索装置３によれば、様々な照明環境で撮像された背景画像のキー画像に基づいて、入力画像におけるキー画像と同じ位置の部分画像とだけ合致度を算出して検索を行うので、処理負荷をより軽減でき、高効率な検索を行うことができる。 The background image search device 3 has the same effects as the background image search device 2 according to the first embodiment, and also has the following effects. According to the background image search device 3, based on the key image of the background image captured in various lighting environments, the search is performed by calculating the degree of match only with the partial image at the same position as the key image in the input image. The processing load can be further reduced and highly efficient search can be performed.
図１０及び図１１を参照して、本実施の形態に係る天候路面状況検索装置４について説明する。図１０は、本実施の形態に係る天候路面状況検索装置の構成図である。図１１は、図１０のＥＣＵでの処理の説明図である。 With reference to FIG.10 and FIG.11, the weather road surface condition search apparatus 4 which concerns on this Embodiment is demonstrated. FIG. 10 is a configuration diagram of the weather road surface condition search apparatus according to the present embodiment. FIG. 11 is an explanatory diagram of processing in the ECU of FIG.
天候路面状況検索装置４は、入力画像と同じ撮像位置の複数の背景画像のキー画像に基づいて、その複数の背景画像を撮像したときの天候と路面状況の組み合わせの中から入力画像と同じ天候と路面状況の組み合わせを検索する装置である。天候路面状況検索装置４は、車載装置として構成され、検索された天候と路面状況を各種車両制御装置（例えば、アンチロックブレーキ装置、トラクションコントロール装置、自動運転装置）あるいは天候や路面状況に基づく警報装置などに出力する。天候路面状況検索装置４は、カメラ４０、ＧＰＳ受信機４１及びＥＣＵ４２を備えている。なお、カメラ４０、ＧＰＳ受信機４１は、第１の実施の形態に係る背景画像検索装置２のカメラ２０、ＧＰＳ受信機２１と同様のものなので、その説明を省略する。 The weather road surface condition search device 4 is based on key images of a plurality of background images at the same imaging position as the input image, and the same weather as the input image from among combinations of weather and road surface conditions when the plurality of background images are captured. Is a device that searches for combinations of road surface conditions. The weather road surface condition retrieval device 4 is configured as an in-vehicle device, and the retrieved weather and road surface condition are alarmed based on various vehicle control devices (for example, antilock brake device, traction control device, automatic driving device) or weather and road surface conditions. Output to the device. The weather road surface condition search device 4 includes a camera 40, a GPS receiver 41, and an ECU 42. Note that the camera 40 and the GPS receiver 41 are the same as the camera 20 and the GPS receiver 21 of the background image search device 2 according to the first embodiment, and thus description thereof is omitted.
ＥＣＵ４２は、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、天候路面状況検索装置４を統括制御する。ＥＣＵ４２では、一定時間毎に、カメラ４０からの画像信号やＧＰＳ受信機４１からのＧＰＳ検出信号を受信する。そして、ＥＣＵ４２では、送信された画像信号やＧＰＳ検出信号及びキー画像／天候・路面状況記憶部４３のデータに基づいて合致度算出部４４、天候・路面状況出力部４５での処理を行い、入力画像と同じ天候と路面状況を検索する。 The ECU 42 is an electronic control unit including a CPU, a ROM, a RAM, and the like, and comprehensively controls the weather road surface condition search device 4. The ECU 42 receives an image signal from the camera 40 and a GPS detection signal from the GPS receiver 41 at regular intervals. Then, the ECU 42 performs processing in the matching degree calculation unit 44 and the weather / road surface condition output unit 45 based on the transmitted image signal, GPS detection signal, and data in the key image / weather / road surface state storage unit 43, and inputs Search for the same weather and road conditions as the image.
キー画像／天候・路面状況記憶部４３は、ＲＡＭの所定の領域に構成される。キー画像／天候・路面状況記憶部４３には、キー画像抽出装置１の背景画像データベース１０に格納されているデータを用いて、撮像位置毎の複数の背景画像に対応付けられた撮像時の天候、撮像時の路面状況及びキー画像が予め記憶される。つまり、様々な組み合わせの撮像時の天候と路面状況にキー画像が対応付けられて記憶される。 The key image / weather / road surface state storage unit 43 is configured in a predetermined area of the RAM. The key image / weather / road surface condition storage unit 43 uses the data stored in the background image database 10 of the key image extraction device 1 to use the weather at the time of imaging associated with a plurality of background images for each imaging position. The road surface condition and key image at the time of imaging are stored in advance. That is, key images are stored in association with weather and road surface conditions at the time of imaging in various combinations.
合致度算出部４４では、カメラ４０からの撮像画像が入力される毎に、キー画像／天候・路面状況記憶部４３に記憶される入力画像と同じ撮像位置の撮像時の天候と路面状況の複数の組み合わせについての各キー画像と入力画像におけるそのキー画像と対応する位置の領域の部分画像との合致度（一致度）を算出する。 Each time a captured image from the camera 40 is input, the coincidence calculation unit 44 provides a plurality of weather and road surface conditions at the time of imaging at the same imaging position as the input image stored in the key image / weather / road surface state storage unit 43. A degree of coincidence (a degree of coincidence) between each key image for the combination and a partial image in a region corresponding to the key image in the input image is calculated.
具体的な処理としては、合致度算出部４４では、ＧＰＳ受信機４１からの現在位置に基づいて、キー画像／天候・路面状況記憶部４３から入力画像と同じ撮像位置の複数の組み合わせの撮像時の天候と路面状況及びそのキー画像を抽出する。この際、キー画像／天候・路面状況記憶部４３に入力画像と同じ撮像位置のものが無い場合、第１の実施の形態に係るＥＣＵ２２と同様に、入力画像あるいはキー画像のどちらか一方を画像変換する。 As a specific process, the degree-of-match calculation unit 44 captures a plurality of combinations of the same imaging position as the input image from the key image / weather / road surface state storage unit 43 based on the current position from the GPS receiver 41. Weather and road surface conditions and key images are extracted. At this time, if there is no key image / weather / road surface condition storage unit 43 having the same imaging position as the input image, either the input image or the key image is displayed as in the case of the ECU 22 according to the first embodiment. Convert.
合致度算出部４４では、抽出した各組み合わせのキー画像毎に、入力画像からそのキー画像と同じ位置の領域を抽出し、その抽出した領域の部分画像とキー画像との合致度を算出する。合致度は、第１の実施の形態に係るＥＣＵ２２における合致度と同様のものである。 For each extracted key image of each combination, the matching degree calculation unit 44 extracts a region at the same position as the key image from the input image, and calculates a matching degree between the partial image of the extracted region and the key image. The degree of matching is the same as the degree of matching in the ECU 22 according to the first embodiment.
図１１に示す例の場合、入力画像Ｉと同じ撮像位置の撮像時の天候と路面状況の組み合わせとして符号Ｓ１，・・・，Ｓｎで示す組み合わせがある。組み合わせＳ１の場合、天候が曇りで路面状況がドライであり、マンホールの端部を含むキー画像Ｋ１などを有しており、入力画像Ｉにおけるそのキー画像Ｋ１と同じ位置の領域の部分画像Ｐとキー画像Ｋ１との合致度が算出される。組み合わせＳｎの場合、天候が晴れで路面状況がドライであり、マンホールの端部及び影の角部を含むキー画像Ｋｎなどを有しており、入力画像Ｉにおけるそのキー画像Ｋｎと同じ位置の領域の部分画像Ｐとキー画像Ｋｎとの合致度が算出される。 In the example shown in FIG. 11, the letter S 1 designates as a combination of weather and road conditions at the time of imaging of the same imaging position as the input image I, · · ·, a combination indicated by S n. In the case of the combination S 1 , the weather is cloudy, the road surface condition is dry, the key image K 1 including the end of the manhole is included, and the portion of the area at the same position as the key image K 1 in the input image I degree of coincidence between the image P and the key image K 1 is calculated. The combination S n, the weather is road conditions are dry and sunny, it has a key image K n including the corner portion of the end portion and the shadow of the manhole, the same as the key image K n in the input image I matching degree with the partial image P and the key image K n position region is calculated.
天候・路面状況出力部４５では、入力画像と同じ撮像位置の撮像時の天候と路面状況の複数の組み合わせの各キー画像と入力画像におけるキー画像と同じ位置の部分画像との合致度に基づいて、合致度の高い組み合わせの撮像時の天候と路面状況（すなわち、入力画像の撮像時と同じ天候と路面状況）を選択する。 In the weather / road surface condition output unit 45, based on the degree of coincidence between each key image of a plurality of combinations of weather and road surface conditions at the same imaging position as the input image and a partial image at the same position as the key image in the input image Then, the weather and road surface condition (that is, the same weather and road surface condition as when the input image is captured) at the time of capturing a combination with a high degree of match are selected.
具体的な処理としては、天候・路面状況出力部４５では、各組み合わせのキー画像毎に、入力画像の部分画像との合致度が閾値α４以上か否かを判定する。閾値α４は、合致度からキー画像と入力画像の部分画像とが同じ画像であるか否かを判定するための閾値であり、予め設定される設計値である。 As specific processing, the weather / road surface condition output unit 45 determines, for each key image of each combination, whether or not the degree of coincidence with the partial image of the input image is a threshold value α4 or more. The threshold α4 is a threshold for determining whether the key image and the partial image of the input image are the same image based on the degree of match, and is a preset design value.
そして、天候・路面状況出力部４５では、組み合わせ毎に、入力画像の部分画像との合致度が閾値α４以上と判定されたキー画像の個数が閾値β４以上か否かを判定し、キー画像の個数が閾値β４以上となる組み合わせを選択する。閾値β４は、入力画像の撮像時と同じ天候と路面状況であるか否かを判定するための閾値であり、予め設定される設計値である。閾値β４は、背景画像が有しているキー画像の個数に応じて設定される。 Then, the weather / road surface condition output unit 45 determines, for each combination, whether or not the number of key images whose degree of match with the partial image of the input image is equal to or greater than the threshold value α4 is equal to or greater than the threshold value β4. A combination whose number is equal to or greater than the threshold value β4 is selected. The threshold value β4 is a threshold value for determining whether or not the weather and the road surface condition are the same as when the input image is captured, and is a preset design value. The threshold value β4 is set according to the number of key images that the background image has.
ここでは、入力画像の撮像時と同じ天候と路面状況の組み合わせとしては、１つの組み合わせ又は複数の組み合わせが選択される。複数の組み合わせが選択された場合でも、車両制御装置などの後処理の装置において適切な組み合わせが１つ選択される。 Here, one combination or a plurality of combinations are selected as the same combination of weather and road surface conditions as when the input image was captured. Even when a plurality of combinations are selected, one appropriate combination is selected in a post-processing device such as a vehicle control device.
なお、組み合わせを１つだけに絞る場合、合致度が最も高くなる組み合わせを選択するかあるいは合致度が閾値α４以上のキー画像の個数が最も多い組み合わせを選択すればよい。また、各組み合わせにキー画像が１個しか対応付けられていない場合、閾値α４や閾値β４による判定を行わないで、合致度が最も高くなる組み合わせを選択すればよい。 When only one combination is selected, a combination with the highest matching degree may be selected, or a combination with the largest number of key images having a matching degree equal to or higher than the threshold α4 may be selected. In addition, when only one key image is associated with each combination, the combination with the highest matching degree may be selected without performing the determination based on the threshold value α4 and the threshold value β4.
図１１に示す例の場合、組み合わせＳｎのキー画像Ｋｎと入力画像Ｉの部分画像Ｐとの合致度が高く、入力画像Ｉの撮像時と同じ天候と路面状況の組み合わせとしては組み合わせＳｎ（天候が晴れで路面状況がドライ）が選択される。 In the example shown in FIG. 11, the combination S coincidence degree of the partial image P of the key image K n and the input image I n is high, the combination S n as the same combination of weather and road conditions and time of imaging of the input image I (The weather is sunny and the road surface is dry) is selected.
図１０及び図１１を参照して、天候路面状況検索装置４の動作について説明する。特に、ＥＣＵ４２における処理については図１２のフローチャートに沿って説明する。図１２は、図１０のＥＣＵでの処理の流れを示すフローチャートである。 With reference to FIG.10 and FIG.11, operation | movement of the weather road surface condition search apparatus 4 is demonstrated. In particular, the processing in the ECU 42 will be described along the flowchart of FIG. FIG. 12 is a flowchart showing the flow of processing in the ECU of FIG.
ＥＣＵ４２のキー画像／天候・路面状況記憶部４３には、キー画像抽出装置１の背景画像データベース１０を利用して、撮像位置毎に撮像時の天候と路面状況の複数の組み合わせとそのキー画像が予め記憶される。 The key image / weather / road surface condition storage unit 43 of the ECU 42 uses the background image database 10 of the key image extraction apparatus 1 to store a plurality of combinations of the weather and road surface conditions at the time of imaging and the key images for each imaging position. Stored in advance.
カメラ４０では、一定時間毎に、車両の周辺を撮像し、その撮像画像を画像信号としてＥＣＵ４２に送信する。ＥＣＵ４２では、一定時間毎に、画像信号を受信し、入力画像を入力する（Ｓ４０）。 The camera 40 captures the periphery of the vehicle at regular intervals and transmits the captured image to the ECU 42 as an image signal. The ECU 42 receives an image signal and inputs an input image at regular intervals (S40).
ＧＰＳ受信機４１では、一定時間毎に、ＧＰＳアンテナによってＧＰＳ衛星からのＧＰＳ信号を受信し、各ＧＰＳ信号に基づいて自車の現在位置（緯度、経度、高度）などを算出する。そして、ＧＰＳ受信機４１では、自車の現在位置情報などをＧＰＳ検出信号としてＥＣＵ４２に送信する。ＥＣＵ４２では、一定時間毎に、ＧＰＳ検出信号を受信し、現在位置（撮像位置に相当）を取得する。 The GPS receiver 41 receives a GPS signal from a GPS satellite by a GPS antenna at regular time intervals, and calculates the current position (latitude, longitude, altitude) of the vehicle based on each GPS signal. Then, the GPS receiver 41 transmits the current position information of the own vehicle to the ECU 42 as a GPS detection signal. The ECU 42 receives a GPS detection signal at regular intervals and acquires a current position (corresponding to an imaging position).
入力画像を入力する毎に、ＥＣＵ４２では、キー画像／天候・路面状況記憶部４３から入力画像と同じ撮像位置の撮像時の天候と路面状況の複数の組み合わせ及びそのキー画像を抽出し、その複数の組み合わせの各キー画像と入力画像におけるキー画像と同じ位置の領域の部分画像との合致度をそれぞれ算出する（Ｓ４１）。さらに、ＥＣＵ４２では、複数の組み合わせの各キー画像との合致度に基づいて、複数の組み合わせの中から高い合致度の組み合わせの天候と路面状況（入力画像の撮像時と同じ天候と路面状況）を抽出する（Ｓ４２）。そして、ＥＣＵ４２では、その抽出した天候と路面状況の組み合わせを後処理の車両制御装置などに提供する。 Each time an input image is input, the ECU 42 extracts a plurality of combinations of the weather and road surface condition at the time of imaging at the same imaging position as the input image and the key image from the key image / weather / road surface condition storage unit 43, and the plurality of the key images. The degree of coincidence between each key image of the combination and a partial image in the same position as the key image in the input image is calculated (S41). Furthermore, in the ECU 42, based on the degree of coincidence with each key image of the plurality of combinations, the weather and road surface condition (same weather and road surface condition as when the input image was captured) of the combination with a high degree of coincidence among the plurality of combinations. Extract (S42). Then, the ECU 42 provides the combination of the extracted weather and road surface condition to a post-processing vehicle control device or the like.
この天候路面状況検索装置４によれば、キー画像抽出装置１で予め抽出されたキー画像を用いて天候と路面状況の検索を行うことにより、入力画像を入力後の処理負荷を軽減でき、入力画像が入力する毎にリアルタイムで検索を行うことができる。その結果、リアルタイム性が要求される車両制御などに対応することができる。さらに、天候路面状況検索装置４によれば、様々な天候と路面状況で撮像された場合のキー画像に基づいて、入力画像におけるキー画像と同じ位置の部分画像とだけ合致度を算出して検索を行うので、処理負荷をより軽減でき、高効率な検索を行うことができる。 According to this weather road surface condition search device 4, by searching the weather and road surface condition using the key image extracted in advance by the key image extraction device 1, the processing load after inputting the input image can be reduced. Each time an image is input, a search can be performed in real time. As a result, it is possible to deal with vehicle control that requires real-time performance. Furthermore, according to the weather road surface condition search device 4, based on the key image when imaged in various weather and road surface conditions, the degree of match is calculated and searched only for the partial image at the same position as the key image in the input image. As a result, the processing load can be further reduced and a highly efficient search can be performed.
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。 As mentioned above, although embodiment which concerns on this invention was described, this invention is implemented in various forms, without being limited to the said embodiment.
例えば、本実施の形態では車載装置に適用した場合について説明したが、監視カメラなどの他の用途にも適用可能である。 For example, in the present embodiment, the case where the present invention is applied to an in-vehicle device has been described, but the present invention can also be applied to other uses such as a surveillance camera.
また、本実施の形態では検索対象画像として車載カメラから撮像される背景画像を検索する装置に適用したが、他の画像を検索対象画像とする装置にも適用可能である。 In the present embodiment, the present invention is applied to a device that searches for a background image captured from a vehicle-mounted camera as a search target image. However, the present invention is also applicable to a device that uses another image as a search target image.
また、本実施の形態では天候と路面状況の両方を検索する装置に適用したが、天候と路面状況のいずれか一方を検索する装置にも適用可能である。 In the present embodiment, the present invention is applied to an apparatus that searches for both weather and road surface conditions. However, the present invention is also applicable to an apparatus that searches for either one of weather or road surface conditions.
１…キー画像抽出装置、２，３…背景画像検索装置、４…天候路面状況検索装置、１０…背景画像データベース、１１…画像処理部、１２…領域抽出部、１３…出現回数算出部、１４…キー画像判定部、２０，３０，４０…カメラ、２１，３１，４１…ＧＰＳ受信機、２２，３２，４２…ＥＣＵ、２３，３３…キー画像／背景画像記憶部、２４…部分画像抽出部、２５，３４，４４…合致度算出部、２６…高合致度背景画像選択部、３５…低合致度背景画像除去部、４３…キー画像／天候・路面状況記憶部、４５…天候・路面状況出力部 DESCRIPTION OF SYMBOLS 1 ... Key image extraction apparatus, 2, 3 ... Background image search apparatus, 4 ... Weather road surface condition search apparatus, 10 ... Background image database, 11 ... Image processing part, 12 ... Area extraction part, 13 ... Appearance frequency calculation part, 14 ... key image determination unit, 20, 30, 40 ... camera, 21, 31, 41 ... GPS receiver, 22, 32, 42 ... ECU, 23, 33 ... key image / background image storage unit, 24 ... partial image extraction unit , 25, 34, 44 ... coincidence calculation unit, 26 ... high coincidence background image selection unit, 35 ... low coincidence background image removal unit, 43 ... key image / weather / road surface state storage unit, 45 ... weather / road surface state Output section
Claims (3)
複数の検索対象画像間の対応する位置での部分画像の非類似度に基づいて各検索対象画像の特徴部分画像を検出する特徴部分画像検出手段と、
前記特徴部分画像検出手段で検出された各検索対象画像の特徴部分画像と入力画像の部分画像との一致度をそれぞれ算出し、当該一致度に基づいて複数の検索対象画像の中から入力画像に対応する検索対象画像を検索する検索手段と
を備えることを特徴とする画像検索装置。 An image search device for searching for a search target image corresponding to an input image from a plurality of search target images,
Feature partial image detection means for detecting a feature partial image of each search target image based on the dissimilarity of the partial images at corresponding positions between the plurality of search target images;
The degree of coincidence between the feature partial image of each search target image detected by the feature partial image detection means and the partial image of the input image is calculated, and the input image is selected from the plurality of search target images based on the degree of coincidence. An image search apparatus comprising: search means for searching for a corresponding search target image.
各検索対象画像の中から特徴部分画像の候補を抽出する候補抽出手段と、
前記候補抽出手段で抽出された任意の検索対象画像の特徴部分画像の候補毎に、当該候補の部分画像が他の検索対象画像に出現する回数をカウントする出現回数カウント手段と、
前記出現回数カウント手段でカウントされた出現回数が少ない候補を特徴部分画像として検出する検出手段と
を備えることを特徴とする請求項１又は請求項２に記載する画像検索装置。 The characteristic part image detecting means includes
Candidate extraction means for extracting feature part image candidates from each search target image;
An appearance count counting unit that counts the number of times that the candidate partial image appears in another search target image for each candidate of the feature partial image of the arbitrary search target image extracted by the candidate extraction unit;
The image search apparatus according to claim 1, further comprising: a detecting unit that detects a candidate with a small number of appearances counted by the appearance number counting unit as a feature partial image.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008095329A JP4577392B2 (en) | 2008-04-01 | 2008-04-01 | Image search device |
| US12/415,038 US8379989B2 (en) | 2008-04-01 | 2009-03-31 | Image search apparatus and image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008095329A JP4577392B2 (en) | 2008-04-01 | 2008-04-01 | Image search device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009251667A true JP2009251667A (en) | 2009-10-29 |
| JP4577392B2 JP4577392B2 (en) | 2010-11-10 |
Family
ID=41312362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008095329A Expired - Fee Related JP4577392B2 (en) | 2008-04-01 | 2008-04-01 | Image search device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4577392B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011161934A1 (en) | 2010-06-23 | 2011-12-29 | パナソニック株式会社 | Server device and content acquisition method |
| JP2013152543A (en) * | 2012-01-24 | 2013-08-08 | Fujitsu Ltd | Image storage program, method and device |
| JP2014099110A (en) * | 2012-11-15 | 2014-05-29 | Nippon Telegr & Teleph Corp <Ntt> | Image search device, method, and program |
| JP2015118599A (en) * | 2013-12-19 | 2015-06-25 | 株式会社 ミックウェア | Image output device, image output method and program |
| JPWO2020194792A1 (en) * | 2019-03-26 | 2020-10-01 | ||
| JP2021068240A (en) * | 2019-10-24 | 2021-04-30 | 株式会社東芝 | Road surface image management system and road surface image management method thereof |
| JP7417504B2 (en) | 2020-10-23 | 2024-01-18 | 株式会社日立ソリューションズ | Similar image difference extraction device, similar image difference extraction method, program and recording medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08263522A (en) * | 1995-03-24 | 1996-10-11 | Dainippon Screen Mfg Co Ltd | Image retrieving method |
| JPH11312248A (en) * | 1998-04-30 | 1999-11-09 | Canon Inc | Image retrieval device and its method |
| JP2000163576A (en) * | 1998-11-25 | 2000-06-16 | Hitachi Ltd | Image retrieval method, execution device therefor and medium recording processing program therefor |
| JP2004021430A (en) * | 2002-06-13 | 2004-01-22 | Fuji Xerox Co Ltd | Image searching device, image searching method, and image searching program |
| WO2005001593A2 (en) * | 2003-06-27 | 2005-01-06 | Nippon Kogaku Kk | Reference pattern extraction method and device, pattern matching method and device, position detection method and device, and exposure method and device |
| JP2006079458A (en) * | 2004-09-10 | 2006-03-23 | Fuji Photo Film Co Ltd | Image transmission system, method, and program |
| JP2006338313A (en) * | 2005-06-01 | 2006-12-14 | Nippon Telegr & Teleph Corp <Ntt> | Similar image retrieving method, similar image retrieving system, similar image retrieving program, and recording medium |
-
2008
- 2008-04-01 JP JP2008095329A patent/JP4577392B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08263522A (en) * | 1995-03-24 | 1996-10-11 | Dainippon Screen Mfg Co Ltd | Image retrieving method |
| JPH11312248A (en) * | 1998-04-30 | 1999-11-09 | Canon Inc | Image retrieval device and its method |
| JP2000163576A (en) * | 1998-11-25 | 2000-06-16 | Hitachi Ltd | Image retrieval method, execution device therefor and medium recording processing program therefor |
| JP2004021430A (en) * | 2002-06-13 | 2004-01-22 | Fuji Xerox Co Ltd | Image searching device, image searching method, and image searching program |
| WO2005001593A2 (en) * | 2003-06-27 | 2005-01-06 | Nippon Kogaku Kk | Reference pattern extraction method and device, pattern matching method and device, position detection method and device, and exposure method and device |
| JP2006079458A (en) * | 2004-09-10 | 2006-03-23 | Fuji Photo Film Co Ltd | Image transmission system, method, and program |
| JP2006338313A (en) * | 2005-06-01 | 2006-12-14 | Nippon Telegr & Teleph Corp <Ntt> | Similar image retrieving method, similar image retrieving system, similar image retrieving program, and recording medium |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011161934A1 (en) | 2010-06-23 | 2011-12-29 | パナソニック株式会社 | Server device and content acquisition method |
| US8719218B2 (en) | 2010-06-23 | 2014-05-06 | Panasonic Corporation | Server apparatus and method of aquiring contents |
| JP2013152543A (en) * | 2012-01-24 | 2013-08-08 | Fujitsu Ltd | Image storage program, method and device |
| US9224069B2 (en) | 2012-01-24 | 2015-12-29 | Fujitsu Limited | Program, method and apparatus for accumulating images that have associated text information |
| JP2014099110A (en) * | 2012-11-15 | 2014-05-29 | Nippon Telegr & Teleph Corp <Ntt> | Image search device, method, and program |
| JP2015118599A (en) * | 2013-12-19 | 2015-06-25 | 株式会社 ミックウェア | Image output device, image output method and program |
| JPWO2020194792A1 (en) * | 2019-03-26 | 2020-10-01 | ||
| WO2020194792A1 (en) * | 2019-03-26 | 2020-10-01 | 日本電信電話株式会社 | Search device, learning device, search method, learning method, and program |
| JP7192966B2 (en) | 2019-03-26 | 2022-12-20 | 日本電信電話株式会社 | SEARCH DEVICE, LEARNING DEVICE, SEARCH METHOD, LEARNING METHOD AND PROGRAM |
| JP2021068240A (en) * | 2019-10-24 | 2021-04-30 | 株式会社東芝 | Road surface image management system and road surface image management method thereof |
| US11256930B2 (en) | 2019-10-24 | 2022-02-22 | Kabushiki Kaisha Toshiba | Road surface management system and road surface management method thereof |
| JP7102383B2 (en) | 2019-10-24 | 2022-07-19 | 株式会社東芝 | Road surface image management system and its road surface image management method |
| JP7417504B2 (en) | 2020-10-23 | 2024-01-18 | 株式会社日立ソリューションズ | Similar image difference extraction device, similar image difference extraction method, program and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4577392B2 (en) | 2010-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8379989B2 (en) | Image search apparatus and image processing apparatus | |
| JP4577392B2 (en) | Image search device | |
| Omer et al. | An automatic image recognition system for winter road surface condition classification | |
| US9082014B2 (en) | Methods and apparatus to estimate demography based on aerial images | |
| JP2008168811A (en) | Traffic lane recognition device, vehicle, traffic lane recognition method, and traffic lane recognition program | |
| US20150220791A1 (en) | Automatic training of a parked vehicle detector for large deployment | |
| Joubert et al. | Pothole tagging system | |
| JP2022037064A (en) | Accident determination apparatus | |
| JP4887520B2 (en) | Object detection apparatus, object detection method, and object detection program | |
| CN110658539B (en) | Vehicle positioning method, device, vehicle and computer readable storage medium | |
| US20130188837A1 (en) | Positioning system | |
| EP3601001B1 (en) | Method and system for real-time estimation of road conditions and vehicle behavior | |
| JP2010210477A (en) | Navigation device | |
| CN104422426A (en) | Method and apparatus for providing vehicle navigation information within elevated road region | |
| KR101568683B1 (en) | Method to estimate the distance between vehicles using image alalysis and apparatus therefor | |
| JP5189556B2 (en) | Lane detection device | |
| JP2008269218A (en) | Image processor, image processing method, and image processing program | |
| KR101603293B1 (en) | Lane recognition method | |
| JP7103201B2 (en) | Information processing systems, programs, and information processing methods | |
| Pehere et al. | Detection of pothole by image processing using UAV | |
| JP6718025B2 (en) | Device and method for identifying a small object area around a vehicle | |
| US11145041B2 (en) | Image processing device and method predicting areas in which to search for parking space delimiting lines | |
| Bhope et al. | Use of image processing in lane departure warning system | |
| Long et al. | Automatic Vehicle Speed Estimation Method for Unmanned Aerial Vehicle Images. | |
| JP2011214961A (en) | Reference pattern information generating device, method, program and general vehicle position specifying device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100309 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100518 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100614 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100727 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100809 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130903 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4577392 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130903 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |