JP2012027773A - Pseudo grayscale image generation device and program - Google Patents
Pseudo grayscale image generation device and program Download PDFInfo
- Publication number
- JP2012027773A JP2012027773A JP2010166984A JP2010166984A JP2012027773A JP 2012027773 A JP2012027773 A JP 2012027773A JP 2010166984 A JP2010166984 A JP 2010166984A JP 2010166984 A JP2010166984 A JP 2010166984A JP 2012027773 A JP2012027773 A JP 2012027773A
- Authority
- JP
- Japan
- Prior art keywords
- image
- visible light
- luminance information
- infrared
- infrared image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、擬似濃淡画像生成装置及びプログラムに係り、特に、夜間における視覚支援のための擬似濃淡画像を生成する擬似濃淡画像生成装置及びプログラムに関する。 The present invention relates to a pseudo grayscale image generation apparatus and program, and more particularly to a pseudo grayscale image generation apparatus and program for generating a pseudo grayscale image for visual assistance at night.
従来、可視光カメラが可視光による第１の風景画像を得、赤外線カメラが赤外線による第２の風景画像を得、ＣＰＵがドライバにとって視認困難な視界部位に該当する第１の風景画像上の部位を合成領域として決定し、第２の風景画像から合成領域に該当する部位を切出して第１の風景画像の対応する部位に合成して合成画像を得、表示モニタに表示させる表示処理装置が提案されている（例えば、特許文献１参照）。 Conventionally, a visible light camera obtains a first landscape image by visible light, an infrared camera obtains a second landscape image by infrared rays, and a portion on the first landscape image corresponding to a visual field portion that is difficult for the driver to visually recognize Is proposed as a synthesis area, a part corresponding to the synthesis area is cut out from the second landscape image, synthesized with a corresponding part of the first landscape image, and a composite image is obtained and displayed on the display monitor. (For example, refer to Patent Document 1).
また、可視画像を撮影する可視外界センサにて撮影する領域の少なくとも一部を含む領域の赤外画像を赤外外界センサにて撮影し、可視画像上の消失点、可視画像上の道路領域、あるいは、入力装置を介して操作者から入力される入力指示に応じて、赤外画像に重畳させる可視画像中の重畳領域を設定し、可視画像上の重畳領域と、赤外画像とを重畳させる表示装置が提案されている（例えば、特許文献２参照）。 In addition, an infrared image of a region including at least a part of a region photographed by a visible external sensor that captures a visible image is photographed by an infrared external sensor, a vanishing point on the visible image, a road region on the visible image, Alternatively, in accordance with an input instruction input from the operator via the input device, a superimposing region in the visible image to be superimposed on the infrared image is set, and the superimposing region on the visible image is superimposed on the infrared image. A display device has been proposed (see, for example, Patent Document 2).
しかしながら、上記特許文献１に記載の技術では、対向車のヘッドライトによる眩惑を防止するために、高輝度領域を検出して可視光画像に対する赤外画像の重畳領域を設定しているが、高輝度領域であっても信号などの領域は、赤外画像を重畳することにより逆に視認性が低下してしまう、という問題がある。 However, in the technique described in Patent Document 1, in order to prevent dazzling due to the headlight of an oncoming vehicle, a high luminance region is detected and an overlapping region of an infrared image with respect to a visible light image is set. Even in the luminance region, there is a problem that the visibility of the region such as a signal is reduced by superimposing the infrared image.
また、上記特許文献２に記載の技術では、可視画像上の消失点より上部を赤外画像の重畳領域として設定しているが、この領域に信号や街灯等のドライバにとって夜間の運転時に重要な手がかりが存在するため、特許文献１の場合と同様に視認性が低下して、必要な情報を見落としてしまう可能性がある、という問題がある。 Further, in the technique described in Patent Document 2, an area above the vanishing point on the visible image is set as a superimposed area of the infrared image. This area is important for drivers such as signals and street lamps at night driving. Since there is a clue, there is a problem that the visibility is lowered as in the case of Patent Document 1, and necessary information may be overlooked.
本発明は、上記の問題点を解決するためになされたもので、画像全体の視認性を保持したまま、背景に対して歩行者が強調された擬似濃淡画像を生成することができる擬似濃淡画像生成装置及びプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and is capable of generating a pseudo gray image in which a pedestrian is emphasized with respect to the background while maintaining the visibility of the entire image. An object is to provide a generation device and a program.
上記目的を達成するために、本発明の擬似濃淡画像生成装置は、所定領域を撮影し、可視光を含む第１波長帯の光による可視光画像、及び帯域が前記第１波長帯とは異なり、かつ赤外光を含む第２波長帯の光による赤外画像を出力する撮影手段から出力された前記可視光画像及び前記赤外画像の各々から輝度情報を抽出する輝度情報抽出手段と、前記撮影手段からの路面上の距離が予め定めた第１の距離以上で、かつ前記撮影手段からの路面上の距離が前記第１の距離より遠方の予め定めた第２の距離における路面からの高さが予め定めた所定高さ以内に相当する領域において、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成する生成手段と、を含んで構成されている。 In order to achieve the above object, the pseudo grayscale image generation apparatus of the present invention captures a predetermined region, and the visible light image by the light of the first wavelength band including the visible light and the band are different from the first wavelength band. Brightness information extraction means for extracting brightness information from each of the visible light image and the infrared image output from the imaging means for outputting an infrared image by light in the second wavelength band including infrared light, and The distance from the road surface at a predetermined second distance, the distance on the road surface from the imaging means being equal to or greater than the predetermined first distance, and the distance on the road surface from the imaging means being farther than the first distance. The visible light image and the infrared image are combined so that the luminance information of the infrared image is higher in ratio than the luminance information of the visible light image in a region corresponding to a predetermined height within a predetermined height. Generating means for generating a pseudo gray image; Is constituted comprise.
本発明の擬似濃淡画像生成装置によれば、輝度情報抽出手段が、所定領域を撮影し、可視光を含む第１波長帯の光による可視光画像、及び帯域が第１波長帯とは異なり、かつ赤外光を含む第２波長帯の光による赤外画像を出力する撮影手段から出力された可視光画像及び赤外画像の各々から輝度情報を抽出する。撮影手段は、１台で可視光画像及び赤外画像を撮影可能なカメラでもよいし、可視光画像及び赤外画像をそれぞれ撮影する複数のカメラを用いてもよい。 According to the pseudo gray-scale image generation device of the present invention, the luminance information extraction unit captures a predetermined area, and the visible light image by the light of the first wavelength band including visible light, and the band are different from the first wavelength band, In addition, luminance information is extracted from each of the visible light image and the infrared image output from the photographing unit that outputs the infrared image by the light in the second wavelength band including the infrared light. The imaging unit may be a camera that can capture a visible light image and an infrared image with a single unit, or may use a plurality of cameras that respectively capture a visible light image and an infrared image.
そして、生成手段が、撮影手段からの路面上の距離が予め定めた第１の距離以上で、かつ撮影手段からの路面上の距離が第１の距離より遠方の予め定めた第２の距離における路面からの高さが予め定めた所定高さ以内に相当する領域において、赤外画像の輝度情報が可視光画像の輝度情報より比率が高くなるように可視光画像と赤外画像とを合成した擬似濃淡画像を生成する。このように、背景に街灯や対向車のヘッドライト等の明かりが集中して、その前景となる歩行者等とのコントラストが低下する遠方に相当する領域において、赤外画像の輝度情報の比率を高くして背景を暗くすることで、歩行者等とのコントラストが明確になる。また、この領域には、撮影手段からの距離が近い箇所や、遠方であっても信号等の高さのある灯火は含まれない範囲とすることで、画像全体の視認性は保持される。 Then, the generating means has a distance on the road surface from the photographing means equal to or greater than a predetermined first distance, and a distance on the road surface from the photographing means is a predetermined second distance farther than the first distance. The visible light image and the infrared image were synthesized so that the luminance information of the infrared image was higher in ratio than the luminance information of the visible light image in an area corresponding to a predetermined height above the road surface. Generate a pseudo gray image. In this way, the ratio of the brightness information of the infrared image is set in a region corresponding to a distant area where the contrast with the pedestrian or the like that is the foreground is reduced due to the concentration of lights such as street lights and headlights of oncoming vehicles in the background. By making it high and darkening the background, the contrast with pedestrians etc. becomes clear. In addition, the visibility of the entire image is maintained by setting this region to a location where the distance from the photographing unit is short or a range where a lamp having a height such as a signal is not included even if it is far away.
このように、画像全体の視認性を保持したまま、背景に対して歩行者が強調された擬似濃淡画像を生成することができる。 In this manner, a pseudo gray image in which a pedestrian is emphasized with respect to the background can be generated while maintaining the visibility of the entire image.
また、前記領域を、無限遠点の近傍領域とすることができる。無限遠点の近傍領域は、上記のように明かりが集中する確率が高い領域である。 Further, the region can be a region near the infinity point. The region near the infinity point is a region with a high probability that the light concentrates as described above.
また、前記領域に対応する前記赤外画像の輝度情報として、前記赤外画像の所定ライン数分の輝度情報を用いるようにすることができる。これにより、可視光画像と赤外画像とを合成して擬似濃淡画像を生成する際の処理がライン単位となって、画素単位で処理する場合に比べて処理を簡略化することができる。 Further, as the luminance information of the infrared image corresponding to the region, luminance information for a predetermined number of lines of the infrared image can be used. As a result, the processing when the pseudo light image is generated by synthesizing the visible light image and the infrared image is in units of lines, and the processing can be simplified as compared with the case of processing in units of pixels.
また、本発明の擬似濃淡画像生成装置は、前記可視光画像または前記赤外画像から路面領域を検出する路面検出手段を含んで構成することができ、前記生成手段は、前記路面検出手段により検出された路面領域において、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成することができる。このように遠方の歩行者等に至る路面を暗くすることにより、歩行者等がより強調される。 In addition, the pseudo grayscale image generation apparatus of the present invention can be configured to include a road surface detection unit that detects a road surface region from the visible light image or the infrared image, and the generation unit is detected by the road surface detection unit. In the road surface area, a pseudo gray image can be generated by combining the visible light image and the infrared image so that the luminance information of the infrared image is higher in ratio than the luminance information of the visible light image. . In this way, the pedestrians and the like are more emphasized by darkening the road surface reaching the distant pedestrians and the like.
また、本発明の擬似濃淡画像生成装置は、前記可視光画像または前記赤外画像から対象物を識別する識別手段を含んで構成することができ、前記生成手段は、前記対象物検出手段により検出された対象物を含む対象物領域において、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成することができる。これにより、検出された歩行者も強調して表示することができる。 In addition, the pseudo grayscale image generation apparatus of the present invention can include an identification unit that identifies an object from the visible light image or the infrared image, and the generation unit is detected by the object detection unit. A pseudo grayscale image obtained by synthesizing the visible light image and the infrared image so that the luminance information of the infrared image has a higher ratio than the luminance information of the visible light image. Can be generated. Thereby, the detected pedestrian can also be highlighted and displayed.
また、本発明の擬似濃淡画像生成装置は、自車両の速度が予め定めた所定速度以上か否かを判定する判定手段を含んで構成することができ、前記生成手段は、前記判定手段により前記自車両の速度が予め定めた所定速度以上であると判定された場合には、前記自車両の速度が予め定めた所定速度より小さい場合に比べて、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成することができる。これにより、車速が所定値以上の場合には、情報量を低減させた画像が生成されるため、ドライバの負担を軽減することができる。 Further, the pseudo grayscale image generation apparatus of the present invention can include a determination unit that determines whether or not the speed of the host vehicle is equal to or higher than a predetermined speed, and the generation unit includes the determination unit by the determination unit. When it is determined that the speed of the host vehicle is equal to or higher than a predetermined speed, the luminance information of the infrared image is more visible than the case where the speed of the host vehicle is smaller than the predetermined speed. A pseudo gray image in which the visible light image and the infrared image are combined so that the ratio is higher than the luminance information of the image can be generated. As a result, when the vehicle speed is equal to or higher than a predetermined value, an image with a reduced amount of information is generated, so that the burden on the driver can be reduced.
また、本発明の擬似濃淡画像生成プログラムは、コンピュータを、所定領域を撮影し、可視光を含む第１波長帯の光による可視光画像、及び帯域が前記第１波長帯とは異なり、かつ赤外光を含む第２波長帯の光による赤外画像を出力する撮影手段から出力された前記可視光画像及び前記赤外画像の各々から輝度情報を抽出する輝度情報抽出手段、及び前記撮影手段からの路面上の距離が予め定めた第１の距離以上で、かつ前記撮影手段からの路面上の距離が前記第１の距離より遠方の予め定めた第２の距離における路面からの高さが予め定めた所定高さ以内に相当する領域において、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成する生成手段として機能させるためのプログラムである。 In addition, the pseudo grayscale image generation program of the present invention causes a computer to photograph a predetermined region, a visible light image by light in a first wavelength band including visible light, and a band different from the first wavelength band, and a red color. Luminance information extracting means for extracting luminance information from each of the visible light image and the infrared image output from the photographing means for outputting an infrared image by light in the second wavelength band including outside light, and from the photographing means The distance from the road surface is a predetermined second distance that is greater than a predetermined first distance and a distance on the road surface from the photographing means that is farther than the first distance. A pseudo grayscale image obtained by combining the visible light image and the infrared image so that the luminance information of the infrared image is higher in ratio than the luminance information of the visible light image in a region corresponding to a predetermined height. Generating means for generating Is a program to function with.
以上説明したように、本発明の擬似濃淡画像生成装置及びプログラムによれば、背景が明るくなる領域において、赤外画像の輝度情報を可視光画像の輝度情報より比率が高くなるように擬似濃淡画像を生成するため、画像全体の視認性を保持したまま、背景に対して歩行者が強調された擬似濃淡画像を生成することができる、という効果が得られる。 As described above, according to the pseudo grayscale image generating apparatus and program of the present invention, the pseudo grayscale image is configured so that the ratio of the luminance information of the infrared image is higher than the luminance information of the visible light image in the region where the background becomes bright. Therefore, it is possible to generate a pseudo gray image in which a pedestrian is emphasized with respect to the background while maintaining the visibility of the entire image.
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、かつ、撮影された前方画像から濃淡画像を生成して表示する撮影システムに本発明を適用した場合を例に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, a case where the present invention is applied to an imaging system that is mounted on a vehicle and generates and displays a grayscale image from a captured front image will be described as an example.
図１に示すように、第１の実施の形態に係る撮影システム１０は、対象領域を撮影する撮影装置１２と、近赤外光を含む光を前方に照射する赤外光源１４と、撮影装置１２から出力される画像に基づいて、擬似濃淡画像を生成する処理を実行するコンピュータ１６と、コンピュータ１６での処理結果を表示するための表示装置１８とを備えている。 As shown in FIG. 1, an imaging system 10 according to the first embodiment includes an imaging device 12 that images a target region, an infrared light source 14 that irradiates light including near infrared light, and an imaging device. 12 is provided with a computer 16 that executes a process for generating a pseudo grayscale image based on the image output from 12 and a display device 18 for displaying a processing result in the computer 16.
撮影装置１２は、車両前方の対象領域を撮影し、画像信号を生成する撮像部（図示省略）、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）、及びＡ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）を備えている。本実施の形態では、１台で可視光領域の波長帯の光を用いて撮影される画像（以下、可視光画像という）、及び近赤外域の波長帯の光を用いて撮影される画像（以下、近赤外画像という）の双方を取得可能なマルチバンドカメラを用いる。 The imaging device 12 captures a target area in front of the vehicle and generates an image signal (not shown), and an A / D conversion unit (converts an analog image signal generated by the imaging unit into a digital signal). And an image memory (not shown) for temporarily storing the A / D converted image signal. In the present embodiment, an image (hereinafter referred to as a visible light image) captured using light in the wavelength band of the visible light region and an image captured using light in the near-infrared wavelength band (hereinafter referred to as a visible light image). Hereinafter, a multiband camera capable of acquiring both of them will be used.
コンピュータ１６は、撮影システム１０全体の制御を司るＣＰＵ、後述する擬似濃淡画像生成処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭに記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。 The computer 16 includes a CPU that controls the entire photographing system 10, a ROM as a storage medium that stores a program for a pseudo gray image generation processing routine, which will be described later, a RAM that temporarily stores data as a work area, and a bus that connects these. It is comprised including. In the case of such a configuration, a program for realizing the function of each component is stored in the ROM, and the CPU executes the program so that each function is realized.
このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮影装置１２から出力された近赤外画像の輝度情報を抽出する近赤外画像抽出部２０と、撮影装置１２から出力された可視光画像の輝度情報を抽出する可視光画像抽出部２２と、近赤外画像を用いる領域を設定する近赤外画像領域設定部２４と、近赤外画像領域設定部２４で設定された領域に近赤外画像の輝度情報を用い、それ以外の領域に可視光画像の輝度情報を用いて近赤外画像と可視光画像とを合成した擬似濃淡画像を生成し、表示装置１８に表示するように制御する擬似濃淡画像生成部２６と、を含んだ構成で表すことができる。 When the computer 16 is described with function blocks divided for each function realizing means determined based on hardware and software, as shown in FIG. 1, the luminance information of the near-infrared image output from the imaging device 12 is extracted. A near-infrared image extraction unit 20, a visible-light image extraction unit 22 that extracts luminance information of a visible-light image output from the imaging device 12, and a near-infrared image region setting that sets a region using the near-infrared image Near infrared image and visible light image using the luminance information of the near infrared image in the region set by the unit 24 and the near infrared image region setting unit 24 and the luminance information of the visible light image in the other region And a pseudo grayscale image generation unit 26 that controls to generate and display a pseudo grayscale image that is combined with the display device 18.
ここで、近赤外画像領域設定部２４で設定される領域について説明する。 Here, the region set by the near-infrared image region setting unit 24 will be described.
撮影装置１２で撮影される対象範囲において、撮影装置１２からの距離が遠くなるほど、対向車のヘッドライトや街灯などが画像上で密集して背景が明るくなる。このような明るい領域を背景に歩行者が存在する状況を可視光画像で見ると、赤外光源１４による照明で明るく撮影された歩行者と背景とのコントラストが低下し、歩行者を視認し難くなる。一方、このような状況を近赤外画像で見ると、赤外光源１４の届かない遠方は暗く撮影されるため、歩行者と背景とのコントラストが明確になり、歩行者が強調されて視認し易くなる。図２に、遠方の人を撮影した（Ａ）可視光画像、（Ｂ）近赤外画像、（Ｃ）可視光画像の遠方部分の拡大画像、及び（Ｄ）近赤外画像の遠方部分の拡大画像の一例を示す。（Ｃ）の可視光画像に比べて、（Ｄ）の近赤外画像の方が背景とのコントラストが明確で、人が浮き立って見える。 As the distance from the image capturing device 12 increases in the target range imaged by the image capturing device 12, the headlights, street lights, and the like of oncoming vehicles are concentrated on the image and the background becomes brighter. When a situation in which a pedestrian exists with such a bright area as a background is viewed with a visible light image, the contrast between the pedestrian captured brightly with the illumination by the infrared light source 14 and the background decreases, making it difficult to visually recognize the pedestrian. Become. On the other hand, when such a situation is viewed as a near-infrared image, a distant area where the infrared light source 14 does not reach is photographed darkly, so the contrast between the pedestrian and the background becomes clear, and the pedestrian is emphasized and visually recognized. It becomes easy. FIG. 2 shows (A) a visible light image, (B) a near-infrared image, (C) an enlarged image of a distant portion of a visible light image, and (D) a distant portion of a near-infrared image. An example of an enlarged image is shown. Compared with the visible light image of (C), the near-infrared image of (D) has clearer contrast with the background, and the person appears to stand up.
また、撮影装置１２からの距離が近い領域や、遠方であっても信号等の灯火は明るい可視光画像の方が視認し易い画像となる。 In addition, even when the distance from the photographing device 12 is near or far away, a bright visible light image is easier to visually recognize the lights such as signals.
そこで、可視光画像と近赤外画像とを合成して擬似濃淡画像を生成する際に、可視光画像の輝度情報を用いる領域と近赤外画像の輝度情報を用いる領域とを設定する。ここでは、近赤外画像の輝度情報を用いる領域を設定し、その領域以外の領域を可視光画像の輝度領域を用いる領域とする場合について説明する。 Therefore, when a pseudo gray image is generated by synthesizing the visible light image and the near-infrared image, a region using the luminance information of the visible light image and a region using the luminance information of the near-infrared image are set. Here, a case will be described in which a region using the luminance information of the near-infrared image is set, and a region other than the region is set as a region using the luminance region of the visible light image.
上述のように、遠方であって、信号等の灯火を含まない範囲を近赤外画像の輝度情報を用いる領域とすることが好ましい。例えば、図３に示すように、無限遠点を含む画像の中央付近の矩形領域を近赤外画像の輝度情報を用いる領域とする。矩形領域の下端は、撮影装置１２から予め定めた第１の距離遠方の路面上の地点に対応する画像上の横ラインとする。第１の距離は、赤外光源１４の照射範囲や視認したい距離等に基づいて、例えば６０ｍ等とすることができる。矩形領域の上端は、撮影装置１２から予め定めた第２の距離遠方の路面上の地点における路面からの高さが所定高さの位置に対応する画面上の横ラインとする。第２の距離は、例えば１００ｍ等の第１の距離より遠い距離とすることができ、所定高さは、信号等の高さに基づいて、例えば５ｍ等とすることができる。矩形領域の左端及び右端は、第１の距離遠方の路面上の地点において無限遠点の縦位置を基準に左右に所定幅離れた位置に対応する画面上の縦ラインとする。所定幅は、車幅を考慮して、例えば３．５ｍ等とすることができる。また、無限遠点は、撮影装置１２の取り付け位置や画角等により定まる。 As described above, it is preferable that a range that is far away and does not include a light such as a signal be a region that uses the luminance information of the near-infrared image. For example, as shown in FIG. 3, a rectangular area near the center of the image including the point at infinity is set as an area using the luminance information of the near-infrared image. The lower end of the rectangular area is a horizontal line on the image corresponding to a point on the road surface that is a predetermined distance away from the imaging device 12 in advance. The first distance can be set to 60 m, for example, based on the irradiation range of the infrared light source 14, a distance desired to be visually recognized, and the like. The upper end of the rectangular area is a horizontal line on the screen corresponding to a position where the height from the road surface at a point on the road surface that is a predetermined distance away from the photographing device 12 is a predetermined height. The second distance can be a distance farther than the first distance, such as 100 m, and the predetermined height can be 5 m, for example, based on the height of the signal or the like. The left end and the right end of the rectangular area are vertical lines on the screen corresponding to positions that are separated from each other by a predetermined width on the basis of the vertical position of the infinity point at a point on the road surface at a distance of the first distance. The predetermined width can be set to, for example, 3.5 m in consideration of the vehicle width. In addition, the infinity point is determined by the mounting position of the photographing device 12, the angle of view, and the like.
次に、第１の実施の形態に係る撮影システム１０の作用について説明する。赤外光源１４によって近赤外光を含む光が前方に照射されると共に、撮影装置１２によって、自車両の前方が連続して撮影されているときに、コンピュータ１６において、図４に示す擬似濃淡画像生成処理ルーチンが実行される。 Next, the operation of the imaging system 10 according to the first embodiment will be described. When the infrared light source 14 irradiates light including near-infrared light forward and the imaging device 12 continuously captures the front of the host vehicle, the computer 16 displays the pseudo-shade shown in FIG. An image generation processing routine is executed.
まず、ステップ１００において、撮影装置１２から出力された画像データを取得して、図５に示すように、近赤外画像（Ａ）と可視光画像（Ｂ）とに分離し、可視光画像の輝度情報Ｉｃ及び近赤外画像の輝度情報Ｉｒを抽出する。 First, in step 100, the image data output from the imaging device 12 is acquired and separated into a near-infrared image (A) and a visible light image (B) as shown in FIG. Luminance information Ic and luminance information Ir of the near-infrared image are extracted.
次に、ステップ１０２で、生成する擬似濃淡画像上において、近赤外画像の輝度情報Ｉｒを用いる領域を設定する。以下、この領域を設定領域という。設定領域は、例えば、上述の図３に示したように、無限遠点を含む画像中心付近の領域を予め定めておいてもよいし、車速などに応じて、第１の距離、第２の距離及び所定幅を変更して設定してもよい。また、予め定めた無限遠点ではなく、オプティカルフロー等により無限遠点を検出するようにしてもよい。 Next, in step 102, an area using the near-infrared image luminance information Ir is set on the generated pseudo gray image. Hereinafter, this area is referred to as a setting area. For example, as shown in FIG. 3 described above, the setting area may be determined in advance as an area near the center of the image including the infinity point, or depending on the vehicle speed or the like, the first distance, The distance and the predetermined width may be changed and set. Further, instead of a predetermined infinity point, the infinity point may be detected by optical flow or the like.
次に、ステップ１０４で、擬似濃淡画像に注目画素を設定する。次に、ステップ１０６で、注目画素の画素位置が、上記ステップ１０２で設定した設定領域内に含まれるか否かを判定する。設定領域内に含まれる場合には、ステップ１０８へ移行して、近赤外画像において注目画素と同一の画素位置の画素の輝度情報Ｉｒを、注目画素の輝度情報として選択する。一方、注目画素の画素位置が設定領域に含まれていない場合には、ステップ１１０へ移行して、可視光画像において注目画素と同一の画素位置の画素の輝度情報Ｉｃを、注目画素の輝度情報として選択する。 Next, in step 104, a pixel of interest is set in the pseudo gray image. Next, in step 106, it is determined whether or not the pixel position of the target pixel is included in the setting area set in step 102. If it is included in the setting area, the process proceeds to step 108, and the luminance information Ir of the pixel at the same pixel position as the target pixel in the near-infrared image is selected as the luminance information of the target pixel. On the other hand, when the pixel position of the target pixel is not included in the setting area, the process proceeds to step 110, and the luminance information Ic of the pixel at the same pixel position as the target pixel in the visible light image is obtained. Choose as.
次に、ステップ１１２へ移行し、擬似濃淡画像の全ての画素について注目画素に設定したか否かを判定する。まだ注目画素に設定していない画素が存在する場合には、ステップ１０４へ戻って、次の注目画素を設定して処理を繰り返す。全ての画素について処理が終了した場合には、擬似濃淡画像の全画素に可視光画像または近赤外画像の輝度情報が埋め込まれた状態となるため、ステップ１１４へ移行して、生成された擬似濃淡画像を表示装置１８に表示して、処理を終了する。擬似濃淡画像の一例を、図５（Ｃ）に示す。なお、同図中においては、便宜的に設定領域を枠で囲んで示している。以下、図６、９及び１２においても同様である。 Next, the process proceeds to step 112, and it is determined whether or not all pixels of the pseudo gray image are set as the target pixel. If there is a pixel that has not yet been set as the target pixel, the process returns to step 104 to set the next target pixel and repeat the process. When the processing is completed for all the pixels, since the luminance information of the visible light image or the near-infrared image is embedded in all the pixels of the pseudo gray image, the process proceeds to step 114 and the generated pseudo image is displayed. The grayscale image is displayed on the display device 18, and the process is terminated. An example of the pseudo gray image is shown in FIG. In the figure, the setting area is surrounded by a frame for convenience. The same applies to FIGS. 6, 9 and 12 below.
以上説明したように、第１の実施の形態に係る撮影システムによれば、遠方であって、信号等の灯火を含まない範囲に対応する画像上の領域を近赤外画像の輝度情報を用いる設定領域として、それ以外の領域については可視光画像の輝度情報を用いるため、遠方の歩行者は背景が暗くなることによりコントラストが明確になり、距離が近い領域や信号等は明るい擬似濃淡画像が生成されるため、画像全体の視認性を保持したまま、背景に対して歩行者が強調された擬似濃淡画像を生成することができる。 As described above, according to the imaging system according to the first embodiment, the near-infrared luminance information is used for a region on the image that is far away and does not include a signal or other light. As the setting area, the luminance information of the visible light image is used for the other areas, so that the contrast is clear for distant pedestrians due to the dark background, and a bright pseudo gray image is used for areas and signals that are close to each other. Therefore, a pseudo grayscale image in which a pedestrian is emphasized with respect to the background can be generated while maintaining the visibility of the entire image.
なお、第１の実施の形態では、近赤外画像の輝度情報を用いる設定領域を、図３に示したような矩形領域とする場合について説明したが、図６に示すように、矩形領域を規定している上端及び下端で定まる所定ライン数分の領域としてもよい。この場合、可視光画像の輝度情報か近赤外画像の輝度情報かをライン毎に選択すればよいため、画素毎に処理する場合と比べて可視光画像と近赤外画像との合成処理が簡略化される。 In the first embodiment, the case where the setting area using the luminance information of the near-infrared image is a rectangular area as shown in FIG. 3 is described. However, as shown in FIG. It is good also as an area | region for the predetermined number of lines decided by the upper end and the lower end which are prescribed | regulated. In this case, since the luminance information of the visible light image or the luminance information of the near-infrared image may be selected for each line, the composition processing of the visible light image and the near-infrared image is performed compared to the case of processing for each pixel. Simplified.
次に、第２の実施の形態について説明する。 Next, a second embodiment will be described.
図７に示すように、第２の実施の形態の撮影システム２１０のコンピュータ２１６は、第１の実施の形態の構成に加え、路面領域検出部２２８を含んだ構成で表すことができる。 As illustrated in FIG. 7, the computer 216 of the imaging system 210 according to the second embodiment can be represented by a configuration including a road surface area detection unit 228 in addition to the configuration of the first embodiment.
路面領域検出部２２８は、可視光画像または近赤外画像を画像処理して路面を検出する。路面検出は、エッジを抽出して無限遠点方向に伸びる線を検出したり、パターンマッチング等により検出したり、従来の手法を用いることができる。 The road surface area detection unit 228 detects a road surface by performing image processing on a visible light image or a near-infrared image. The road surface detection can be performed by extracting an edge and detecting a line extending in the direction of the infinity point, detecting by pattern matching or the like, or using a conventional method.
近赤外画像領域設定部２２４は、第１の実施の形態で説明した設定領域に加えて、路面領域検出部２２８により検出された路面領域も近赤外画像の輝度情報を用いる領域として設定する。 In addition to the setting area described in the first embodiment, the near-infrared image area setting unit 224 sets the road surface area detected by the road surface area detection unit 228 as an area using the luminance information of the near-infrared image. .
次に、図８を参照して、第２の実施の形態に係る撮影システム２１０のコンピュータ２１６において実行される擬似濃淡画像生成処理ルーチンについて説明する。なお、第１の実施の形態の擬似濃淡画像生成処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。 Next, with reference to FIG. 8, a pseudo grayscale image generation processing routine executed in the computer 216 of the imaging system 210 according to the second embodiment will be described. In addition, about the process same as the pseudo | simulation gray image production | generation routine of 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
ステップ１００で、可視光画像の輝度情報Ｉｃ及び近赤外画像の輝度情報Ｉｒを抽出し、次に、ステップ２００で、可視光画像または近赤外画像から路面領域を検出する。 In step 100, the luminance information Ic of the visible light image and the luminance information Ir of the near infrared image are extracted. Next, in step 200, a road surface area is detected from the visible light image or the near infrared image.
次に、ステップ１０２及び１０４を経て、ステップ２０２で、注目画素の画素位置が、上記ステップ１０２で設定した設定領域内に含まれるか、または上記ステップ２００で検出された路面領域に含まれるか否かを判定する。設定領域または路面領域内に含まれる場合には、ステップ１０８へ移行し、設定領域または路面領域のいずれにも含まれていない場合には、ステップ１１０へ移行する。図９に、設定領域及び路面領域に近赤外画像の輝度情報を用いた擬似濃淡画像の一例を示す。 Next, after steps 102 and 104, whether or not the pixel position of the pixel of interest is included in the setting area set in step 102 or included in the road surface area detected in step 200 is determined in step 202. Determine whether. If it is included in the setting area or road surface area, the process proceeds to step 108. If it is not included in either the setting area or road surface area, the process proceeds to step 110. FIG. 9 shows an example of a pseudo gray image using the luminance information of the near infrared image for the setting area and the road surface area.
以上説明したように、第２の実施の形態に係る撮影システムによれば、遠方の歩行者に至る手前の路面を暗くすることにより、歩行者がより強調された擬似濃淡画像を生成することができる。 As described above, according to the imaging system according to the second embodiment, it is possible to generate a pseudo gray image in which a pedestrian is more emphasized by darkening the road surface in front of reaching a distant pedestrian. it can.
次に、第３の実施の形態について説明する。 Next, a third embodiment will be described.
図１０に示すように、第３の実施の形態の撮影システム３１０のコンピュータ３１６は、第１の実施の形態の構成に加え、ウインドウ画像抽出部３３０と、歩行者識別部３３２とを含んだ構成で表すことができる。 As shown in FIG. 10, the computer 316 of the imaging system 310 of the third embodiment includes a window image extraction unit 330 and a pedestrian identification unit 332 in addition to the configuration of the first embodiment. Can be expressed as
ウインドウ画像抽出部３３０は、可視光画像または近赤外画像に対して、予め定められたサイズのウインドウを１ステップにつき、予め定められた移動量だけ移動させながら画像を抽出する。ここで、抽出された画像をウインドウ画像という。 The window image extraction unit 330 extracts an image from a visible light image or a near-infrared image while moving a window having a predetermined size by a predetermined movement amount per step. Here, the extracted image is referred to as a window image.
歩行者識別部３３２は、ウインドウ画像抽出部３３０で抽出されたウインドウ画像と、予め生成した歩行者を識別するための識別モデルとを比較して、ウインドウ画像が歩行者を示す画像であるか否かを識別する。識別の手法は、テンプレートマッチングやＳＶＭ（サポートベクターマシン）等の公知の手法を用いることができる。 The pedestrian identification unit 332 compares the window image extracted by the window image extraction unit 330 with an identification model for identifying a pedestrian generated in advance, and whether the window image is an image indicating a pedestrian. To identify. As the identification method, a known method such as template matching or SVM (support vector machine) can be used.
近赤外画像領域設定部３２４は、第１の実施の形態で説明した設定領域に加えて、歩行者識別部３３２により歩行者であると識別されたウインドウ画像内の領域も近赤外画像の輝度情報を用いる領域として設定する。このように歩行者が検出された領域を歩行者領域という。なお、ここでは、ウインドウ画像内を歩行者領域としているが、これに限定されず、例えば、ウインドウ画像とその周辺領域を含めて歩行者領域としてもよい。 In addition to the setting area described in the first embodiment, the near-infrared image area setting unit 324 also includes an area in the window image that is identified as a pedestrian by the pedestrian identification unit 332 in the near-infrared image. It is set as an area using luminance information. An area where a pedestrian is detected in this way is called a pedestrian area. Here, the inside of the window image is the pedestrian area, but the present invention is not limited to this. For example, the window image and its peripheral area may be included in the pedestrian area.
次に、図１１を参照して、第３の実施の形態に係る撮影システム３１０のコンピュータ３１６において実行される擬似濃淡画像生成処理ルーチンについて説明する。なお、第１の実施の形態の擬似濃淡画像生成処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。 Next, with reference to FIG. 11, a pseudo grayscale image generation processing routine executed in the computer 316 of the imaging system 310 according to the third embodiment will be described. In addition, about the process same as the pseudo | simulation gray image production | generation routine of 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
ステップ１００で、可視光画像の輝度情報Ｉｃ及び近赤外画像の輝度情報Ｉｒを抽出し、次に、ステップ３００で、可視光画像または近赤外画像から抽出したウインドウ画像が歩行者を示す画像か否かを識別することにより、歩行者を検出する。 In step 100, the luminance information Ic of the visible light image and the luminance information Ir of the near-infrared image are extracted. Next, in step 300, the window image extracted from the visible light image or the near-infrared image indicates the pedestrian. By detecting whether or not, a pedestrian is detected.
次に、ステップ１０２及び１０４を経て、ステップ３０２で、注目画素の画素位置が、上記ステップ１０２で設定した設定領域内に含まれるか、または上記ステップ３００で歩行者が検出された歩行者領域に含まれるか否かを判定する。設定領域または歩行者領域内に含まれる場合には、ステップ１０８へ移行し、設定領域または歩行者領域のいずれにも含まれていない場合には、ステップ１１０へ移行する。図１２に、設定領域及び歩行者領域に近赤外画像の輝度情報を用いた擬似濃淡画像の一例を示す。 Next, after steps 102 and 104, in step 302, the pixel position of the pixel of interest is included in the setting area set in step 102, or in the pedestrian area in which the pedestrian is detected in step 300. It is determined whether or not it is included. When it is included in the setting area or the pedestrian area, the process proceeds to step 108, and when it is not included in either the setting area or the pedestrian area, the process proceeds to step 110. FIG. 12 shows an example of a pseudo gray image using luminance information of the near infrared image for the setting area and the pedestrian area.
以上説明したように、第３の実施の形態に係る撮影システムによれば、検出された歩行者も強調された擬似濃淡画像を生成することができる。 As described above, according to the imaging system according to the third embodiment, it is possible to generate a pseudo gray image in which a detected pedestrian is also emphasized.
なお、第３の実施の形態では、第１の実施の形態と組み合わせた場合について説明したが、第２の実施の形態と組み合わせてもよい。 In the third embodiment, the case of combining with the first embodiment has been described, but it may be combined with the second embodiment.
また、第３の実施の形態では、画像から歩行者を識別して検出する場合について説明したが、検出対象物は二輪車等であってもよい。 In the third embodiment, a case has been described in which a pedestrian is identified and detected from an image, but the detection target may be a two-wheeled vehicle or the like.
次に、第４の実施の形態について説明する。 Next, a fourth embodiment will be described.
図１３に示すように、第４の実施の形態の撮影システム４１０は、自車両の車速を検出する車速センサ１５を含んで構成されている。また、第４の実施の形態の撮影システム４１０のコンピュータ４１６は、第１の実施の形態の構成に加え、車速判定部４３４を含んだ構成で表すことができる。 As shown in FIG. 13, the imaging system 410 of the fourth embodiment includes a vehicle speed sensor 15 that detects the vehicle speed of the host vehicle. In addition, the computer 416 of the imaging system 410 according to the fourth embodiment can be represented by a configuration including a vehicle speed determination unit 434 in addition to the configuration of the first embodiment.
車速判定部４３４は、車速センサ１５で検出された車速を取り込んで、車速が所定値以上か否かを判定する。 The vehicle speed determination unit 434 takes in the vehicle speed detected by the vehicle speed sensor 15 and determines whether the vehicle speed is equal to or higher than a predetermined value.
近赤外画像領域設定部４２４は、車速判定部４３４での判定結果に基づいて、擬似濃淡画像において近赤外画像の輝度情報を用いる領域を設定する。車速が速くなると、ドライバが表示装置１８に表示された画像を見て判断する時間が短くなると考えられる。そのため、高速走行時にはなるべく情報量を減らした画像を表示することが得策である。そこで、車速が所定値以上の場合には、情報量の少ない近赤外画像を表示すべく、画像全体を近赤外画像の輝度情報を用いる領域に設定する。車速が所定値より小さい場合には、第１の実施の形態と同様に、画像中央付近に設定領域を設定する。なお、所定値は、例えば高速道路走行時等を考慮して、時速８０ｋｍ等とすることができる。 The near-infrared image area setting unit 424 sets an area using the luminance information of the near-infrared image in the pseudo gray image based on the determination result in the vehicle speed determination unit 434. When the vehicle speed increases, it is considered that the time for the driver to judge by looking at the image displayed on the display device 18 is shortened. Therefore, it is a good idea to display an image with a reduced amount of information when traveling at high speed. Therefore, when the vehicle speed is equal to or higher than a predetermined value, the entire image is set to a region using the luminance information of the near-infrared image in order to display a near-infrared image with a small amount of information. When the vehicle speed is smaller than the predetermined value, a setting area is set near the center of the image as in the first embodiment. The predetermined value can be set to 80 km / h, for example, when traveling on a highway.
次に、図１４を参照して、第４の実施の形態に係る撮影システム４１０のコンピュータ４１６において実行される擬似濃淡画像生成処理ルーチンについて説明する。なお、第１の実施の形態の擬似濃淡画像生成処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。 Next, with reference to FIG. 14, a pseudo grayscale image generation processing routine executed in the computer 416 of the photographing system 410 according to the fourth embodiment will be described. In addition, about the process same as the pseudo | simulation gray image production | generation routine of 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
ステップ１００で、可視光画像の輝度情報Ｉｃ及び近赤外画像の輝度情報Ｉｒを抽出し、次に、ステップ４００で、車速センサ１５により検出された自車両の車速を取得する。 In step 100, the luminance information Ic of the visible light image and the luminance information Ir of the near-infrared image are extracted. Next, in step 400, the vehicle speed of the host vehicle detected by the vehicle speed sensor 15 is acquired.
次に、ステップ４０２で、上記ステップ４００で取得した車速が予め定めた所定値以上か否かを判定する。所定値より小さい場合には、ステップ１０２以降の処理で、第１の実施の形態と同様に擬似濃淡画像を生成する。車速が所定値以上の場合には、ステップ４０４へ移行して、画像全体を近赤外画像の輝度情報を用いる領域に設定して、すなわち、近赤外画像を表示装置１８に表示して、処理を終了する。 Next, in step 402, it is determined whether or not the vehicle speed acquired in step 400 is equal to or greater than a predetermined value. If it is smaller than the predetermined value, a pseudo gray image is generated in the processing from step 102 onward, as in the first embodiment. If the vehicle speed is equal to or higher than the predetermined value, the process proceeds to step 404, where the entire image is set in a region using the luminance information of the near infrared image, that is, the near infrared image is displayed on the display device 18, The process ends.
以上説明したように、第４の実施の形態に係る撮影システムによれば、車速が所定値より小さい場合には、歩行者が強調された擬似濃淡画像を生成して視認性を向上させ、車速が所定値以上の場合には、情報量の少ない画像を表示することで、ドライバの負担を軽減することができる。 As described above, according to the photographing system according to the fourth embodiment, when the vehicle speed is smaller than the predetermined value, a pseudo grayscale image in which a pedestrian is emphasized is generated to improve visibility, and the vehicle speed is increased. When is greater than or equal to a predetermined value, the driver's burden can be reduced by displaying an image with a small amount of information.
なお、第４の実施の形態では、第１の実施の形態と組み合わせた場合について説明したが、第２または第３の実施の形態と組み合わせてもよい。 In addition, although the case where it combined with 1st Embodiment was demonstrated in 4th Embodiment, you may combine with 2nd or 3rd Embodiment.
また、上記第１〜第４の実施の形態では、設定領域等に近赤外画像の輝度情報を用い、それ以外の領域に可視光画像の輝度情報を用いる場合について説明したが、これに限定されず、設定領域等において、赤外画像の輝度情報が可視光画像の輝度情報より比率が高くなるようにすればよい。例えば、設定領域内の画素の輝度情報を、０．５＜ｓ≦１となる係数ｓを用いて、ｓ×Ｉｒ＋（１−ｓ）Ｉｃ、として求めてもよい。なお、上記実施の形態は、ｓ＝１の場合である。 Moreover, although the said 1st-4th embodiment demonstrated the case where the luminance information of a near-infrared image was used for a setting area | region etc., and the luminance information of a visible light image was used for an area | region other than that, it is limited to this. Instead, the ratio of the luminance information of the infrared image may be higher than the luminance information of the visible light image in the setting area or the like. For example, the luminance information of the pixels in the setting area may be obtained as s × Ir + (1−s) Ic using a coefficient s satisfying 0.5 <s ≦ 1. In the above embodiment, s = 1.
また、第４の実施の形態では、車速が所定値以上の場合に、近赤外画像を表示する場合について説明したが、これに限定されず、車速が所定値より小さい場合に比べて、近赤外画像の輝度情報を用いる比率を高くして、情報量を低減させればよい。例えば、上記第４の実施の形態のように、車速が所定値より小さいときに、設定領域に近赤外画像の輝度情報、それ以外の領域に可視光画像の輝度情報を用いた場合には、車速が所定値以上のときには、設定領域に同様に近赤外画像の輝度情報を用い、それ以外の領域の輝度情報を、上記のような比率で求めるようにしてもよい。 In the fourth embodiment, the case where the near-infrared image is displayed when the vehicle speed is equal to or higher than the predetermined value has been described. However, the present invention is not limited to this. What is necessary is just to raise the ratio which uses the luminance information of an infrared image, and to reduce an information amount. For example, as in the fourth embodiment, when the vehicle speed is smaller than a predetermined value, the brightness information of the near-infrared image is used for the setting area and the brightness information of the visible light image is used for the other areas. When the vehicle speed is equal to or higher than a predetermined value, the luminance information of the near-infrared image may be similarly used for the setting region, and the luminance information of the other region may be obtained at the above ratio.
また、上記第１〜第４の実施の形態では、撮影装置としてマルチバンドカメラを用いる場合について説明したが、撮影装置を、可視光画像を撮影するための可視光カメラ、及び近赤外画像を撮影するための近赤外カメラの２つで構成するようにしてもよい。 In the first to fourth embodiments, the case where a multiband camera is used as the imaging device has been described. However, the imaging device uses a visible light camera for capturing a visible light image, and a near-infrared image. You may make it comprise with two of the near-infrared cameras for imaging | photography.
また、可視光画像と近赤外画像とを用いて、擬似濃淡画像を生成する場合を例に説明したが、これに限定されるものではなく、可視光画像と遠赤外画像とを用いて、擬似濃淡画像を生成してもよい。この場合には、可視光画像及び遠近赤外域の波長帯の光を用いて撮影される遠赤外画像の双方を取得可能なマルチバンドカメラを用いるか、可視光カメラ及び遠赤外カメラを用いて、自車両の前方を撮影するようにすればよい。また、赤外光源を用いずに、自車両の前方を撮影すればよい。 Moreover, although the case where a pseudo gray image is generated using a visible light image and a near infrared image has been described as an example, the present invention is not limited to this, and a visible light image and a far infrared image are used. Alternatively, a pseudo gray image may be generated. In this case, use a multi-band camera capable of acquiring both a visible light image and a far-infrared image captured using light in the far-infrared wavelength band, or use a visible light camera and a far-infrared camera. Then, the front of the host vehicle may be photographed. Moreover, what is necessary is just to image | photograph the front of the own vehicle, without using an infrared light source.
また、各部をコンピュータで実現した場合を例に説明したが、これに限定されるものではなく、各部の機能を実現する複数のコンピュータ、または１つまたは複数の電子回路で構成するようにしてもよい。 Moreover, although the case where each part was implement | achieved by the computer was demonstrated to the example, it is not limited to this, You may make it comprise with the several computer which implement | achieves the function of each part, or one or several electronic circuits. Good.
また、本発明のプログラムを、記憶媒体に格納して提供することも可能である。 It is also possible to provide the program of the present invention by storing it in a storage medium.
１０、２１０、３１０、４１０ 撮影システム
１２ 撮影装置
１４ 赤外光源
１５ 車速センサ
１６、２１６、３１６、４１６ コンピュータ
１８ 表示装置
２０ 近赤外画像抽出部
２２ 可視光画像抽出部
２４、２２４、３２４、４２４ 近赤外画像領域設定部
２６ 擬似濃淡画像生成部
２２８ 路面領域検出部
３３０ ウインドウ画像抽出部
３３２ 歩行者識別部
４３４ 車速判定部
10, 210, 310, 410 Imaging system 12 Imaging device 14 Infrared light source 15 Vehicle speed sensor 16, 216, 316, 416 Computer 18 Display device 20 Near infrared image extraction unit 22 Visible light image extraction unit 24, 224, 324, 424 Near infrared image region setting unit 26 Pseudo gray image generation unit 228 Road surface region detection unit 330 Window image extraction unit 332 Pedestrian identification unit 434 Vehicle speed determination unit
Claims (8)
前記撮影手段からの路面上の距離が予め定めた第１の距離以上で、かつ前記撮影手段からの路面上の距離が前記第１の距離より遠方の予め定めた第２の距離における路面からの高さが予め定めた所定高さ以内に相当する領域において、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成する生成手段と、
を含む擬似濃淡画像生成装置。 Photographing a predetermined area, a visible light image by light in a first wavelength band including visible light, and an infrared image by light in a second wavelength band having a band different from the first wavelength band and including infrared light Luminance information extraction means for extracting luminance information from each of the visible light image and the infrared image output from the photographing means for outputting;
The distance on the road surface from the photographing means is not less than a predetermined first distance, and the distance on the road surface from the photographing means is from the road surface at a predetermined second distance farther than the first distance. The visible light image and the infrared image are combined so that the ratio of the luminance information of the infrared image is higher than the luminance information of the visible light image in a region corresponding to a predetermined height within a predetermined height. Generating means for generating a simulated gray image,
A pseudo gray-scale image generating apparatus including:
前記生成手段は、前記路面検出手段により検出された路面領域において、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成する請求項１〜請求項３のいずれか１項記載の擬似濃淡画像生成装置。 Road surface detecting means for detecting a road surface region from the visible light image or the infrared image,
The generating unit is configured to combine the visible light image and the infrared image so that the luminance information of the infrared image has a higher ratio than the luminance information of the visible light image in the road surface area detected by the road surface detecting unit. The pseudo grayscale image generating apparatus according to any one of claims 1 to 3, which generates a synthesized pseudo grayscale image.
前記生成手段は、前記対象物検出手段により検出された対象物を含む対象物領域において、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成する請求項１〜請求項４のいずれか１項記載の擬似濃淡画像生成装置。 Identification means for identifying an object from the visible light image or the infrared image,
The generation means includes the visible light image and the visible light image so that the luminance information of the infrared image has a higher ratio than the luminance information of the visible light image in an object region including the object detected by the object detection means. The pseudo grayscale image generation apparatus according to claim 1, wherein a pseudo grayscale image generated by combining the infrared image is generated.
前記生成手段は、前記判定手段により前記自車両の速度が予め定めた所定速度以上であると判定された場合には、前記自車両の速度が予め定めた所定速度より小さい場合に比べて、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成する請求項１〜請求項５のいずれか１項記載の擬似濃淡画像生成装置。 Determining means for determining whether the speed of the host vehicle is equal to or higher than a predetermined speed;
In the case where the determination unit determines that the speed of the host vehicle is equal to or higher than a predetermined speed, the generation unit compares the speed of the host vehicle with a speed smaller than a predetermined speed. 6. The pseudo gray image obtained by combining the visible light image and the infrared image so that the luminance information of the infrared image has a higher ratio than the luminance information of the visible light image. The pseudo grayscale image generating apparatus according to item 1.
所定領域を撮影し、可視光を含む第１波長帯の光による可視光画像、及び帯域が前記第１波長帯とは異なり、かつ赤外光を含む第２波長帯の光による赤外画像を出力する撮影手段から出力された前記可視光画像及び前記赤外画像の各々から輝度情報を抽出する輝度情報抽出手段、及び
前記撮影手段からの路面上の距離が予め定めた第１の距離以上で、かつ前記撮影手段からの路面上の距離が前記第１の距離より遠方の予め定めた第２の距離における路面からの高さが予め定めた所定高さ以内に相当する領域において、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成する生成手段
として機能させるための擬似濃淡画像生成プログラム。 Computer
Photographing a predetermined area, a visible light image by light in a first wavelength band including visible light, and an infrared image by light in a second wavelength band having a band different from the first wavelength band and including infrared light Luminance information extracting means for extracting luminance information from each of the visible light image and the infrared image output from the photographing means for outputting, and a distance on the road surface from the photographing means is a predetermined first distance or more. And in the region where the height from the road surface at a predetermined second distance far from the first distance is within a predetermined height, the distance on the road surface from the imaging means. A pseudo grayscale image generation program for functioning as a generation unit that generates a pseudo grayscale image obtained by synthesizing the visible light image and the infrared image so that the luminance information of the image has a higher ratio than the luminance information of the visible light image .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010166984A JP2012027773A (en) | 2010-07-26 | 2010-07-26 | Pseudo grayscale image generation device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010166984A JP2012027773A (en) | 2010-07-26 | 2010-07-26 | Pseudo grayscale image generation device and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012027773A true JP2012027773A (en) | 2012-02-09 |
Family
ID=45780611
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010166984A Pending JP2012027773A (en) | 2010-07-26 | 2010-07-26 | Pseudo grayscale image generation device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012027773A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014103223A1 (en) * | 2012-12-27 | 2014-07-03 | 株式会社デンソー | Night-vision device |
| JP2017158217A (en) * | 2017-06-15 | 2017-09-07 | 株式会社Ｊｖｃケンウッド | Photographic image display device, photographic image display method, and photographic image display program |
| JP2017188946A (en) * | 2017-06-15 | 2017-10-12 | 株式会社Ｊｖｃケンウッド | Photographic image display device, photographic image display method and photographic image display program |
| CN109145678A (en) * | 2017-06-15 | 2019-01-04 | 杭州海康威视数字技术股份有限公司 | Signal lamp detection method and device and computer equipment and readable storage medium storing program for executing |
| WO2019012647A1 (en) * | 2017-07-13 | 2019-01-17 | 日本電気株式会社 | Image processing device, image processing method, and program storage medium |
| WO2020100624A1 (en) * | 2018-11-16 | 2020-05-22 | 株式会社ジェイエイアイコーポレーション | Imaging device and subject inspection method using imaging device |
| CN113034915A (en) * | 2021-03-29 | 2021-06-25 | 北京卓视智通科技有限责任公司 | Double-spectrum traffic incident detection method and device |
| JP2021523507A (en) * | 2018-05-11 | 2021-09-02 | チェイス，アーノルド | Passive infrared pedestrian detection and avoidance system |
| WO2022163337A1 (en) * | 2021-01-29 | 2022-08-04 | 株式会社小松製作所 | Display system and display method |
| WO2022215323A1 (en) * | 2021-04-08 | 2022-10-13 | ソニーグループ株式会社 | Information processing system, information processing device, and information processing method |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002056381A (en) * | 2000-08-11 | 2002-02-20 | Fujitsu Ltd | Road state image processing device |
| JP2003274393A (en) * | 2002-03-12 | 2003-09-26 | Matsushita Electric Ind Co Ltd | Vehicle periphery monitor device |
| JP2006516507A (en) * | 2003-02-06 | 2006-07-06 | バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト | Method and apparatus for visualizing the periphery of a vehicle by fusing infrared and visual images depending on the periphery |
| JP2007515853A (en) * | 2003-10-16 | 2007-06-14 | バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト | Method and apparatus for visualizing the periphery of a vehicle |
| JP2008230358A (en) * | 2007-03-19 | 2008-10-02 | Honda Motor Co Ltd | Display device |
| JP2009253857A (en) * | 2008-04-09 | 2009-10-29 | Toyota Motor Corp | Vehicle surroundings monitoring apparatus |
-
2010
- 2010-07-26 JP JP2010166984A patent/JP2012027773A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002056381A (en) * | 2000-08-11 | 2002-02-20 | Fujitsu Ltd | Road state image processing device |
| JP2003274393A (en) * | 2002-03-12 | 2003-09-26 | Matsushita Electric Ind Co Ltd | Vehicle periphery monitor device |
| JP2006516507A (en) * | 2003-02-06 | 2006-07-06 | バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト | Method and apparatus for visualizing the periphery of a vehicle by fusing infrared and visual images depending on the periphery |
| JP2007515853A (en) * | 2003-10-16 | 2007-06-14 | バイエリッシェ モートーレン ウエルケ アクチエンゲゼルシャフト | Method and apparatus for visualizing the periphery of a vehicle |
| JP2008230358A (en) * | 2007-03-19 | 2008-10-02 | Honda Motor Co Ltd | Display device |
| JP2009253857A (en) * | 2008-04-09 | 2009-10-29 | Toyota Motor Corp | Vehicle surroundings monitoring apparatus |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014127924A (en) * | 2012-12-27 | 2014-07-07 | Denso Corp | Night vision device |
| US9497395B2 (en) | 2012-12-27 | 2016-11-15 | Denso Corporation | Night-vision device |
| WO2014103223A1 (en) * | 2012-12-27 | 2014-07-03 | 株式会社デンソー | Night-vision device |
| JP2017158217A (en) * | 2017-06-15 | 2017-09-07 | 株式会社Ｊｖｃケンウッド | Photographic image display device, photographic image display method, and photographic image display program |
| JP2017188946A (en) * | 2017-06-15 | 2017-10-12 | 株式会社Ｊｖｃケンウッド | Photographic image display device, photographic image display method and photographic image display program |
| CN109145678A (en) * | 2017-06-15 | 2019-01-04 | 杭州海康威视数字技术股份有限公司 | Signal lamp detection method and device and computer equipment and readable storage medium storing program for executing |
| CN109145678B (en) * | 2017-06-15 | 2020-12-11 | 杭州海康威视数字技术股份有限公司 | Signal lamp detection method and device, computer equipment and readable storage medium |
| US11055877B2 (en) | 2017-07-13 | 2021-07-06 | Nec Corporation | Image processing device, image processing method, and program storage medium |
| WO2019012647A1 (en) * | 2017-07-13 | 2019-01-17 | 日本電気株式会社 | Image processing device, image processing method, and program storage medium |
| JPWO2019012647A1 (en) * | 2017-07-13 | 2020-04-23 | 日本電気株式会社 | Image processing apparatus, image processing method, and computer program |
| TWI721288B (en) * | 2017-07-13 | 2021-03-11 | 日商日本電氣股份有限公司 | Image processing device, image processing method and program recording medium |
| JP2021523507A (en) * | 2018-05-11 | 2021-09-02 | チェイス，アーノルド | Passive infrared pedestrian detection and avoidance system |
| WO2020100624A1 (en) * | 2018-11-16 | 2020-05-22 | 株式会社ジェイエイアイコーポレーション | Imaging device and subject inspection method using imaging device |
| JP2020088438A (en) * | 2018-11-16 | 2020-06-04 | 株式会社ジェイエイアイコーポレーション | Imaging apparatus and inspection method of subject using the imaging apparatus |
| JP7162878B2 (en) | 2018-11-16 | 2022-10-31 | 株式会社ジェイエイアイコーポレーション | IMAGING DEVICE AND SUBJECT INSPECTION METHOD USING IMAGING DEVICE |
| WO2022163337A1 (en) * | 2021-01-29 | 2022-08-04 | 株式会社小松製作所 | Display system and display method |
| CN113034915A (en) * | 2021-03-29 | 2021-06-25 | 北京卓视智通科技有限责任公司 | Double-spectrum traffic incident detection method and device |
| CN113034915B (en) * | 2021-03-29 | 2023-06-20 | 北京卓视智通科技有限责任公司 | Dual-spectrum traffic event detection method and device |
| WO2022215323A1 (en) * | 2021-04-08 | 2022-10-13 | ソニーグループ株式会社 | Information processing system, information processing device, and information processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2012027773A (en) | Pseudo grayscale image generation device and program | |
| CN108460734B (en) | System and method for image presentation by vehicle driver assistance module | |
| JP4970516B2 (en) | Surrounding confirmation support device | |
| JP5115792B2 (en) | Image processing apparatus and method, and program | |
| JP5299026B2 (en) | Vehicle display device | |
| CN109409186B (en) | Driver assistance system and method for object detection and notification | |
| JP2007288657A (en) | Display apparatus for vehicle, and display method of the display apparatus for vehicle | |
| JP5071198B2 (en) | Signal recognition device, signal recognition method, and signal recognition program | |
| EP2723060A1 (en) | Vehicle-mounted camera device | |
| CN103770708A (en) | Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation | |
| JP4927647B2 (en) | Vehicle periphery monitoring device | |
| JP2016196233A (en) | Road sign recognizing device for vehicle | |
| JP2010257282A (en) | Obstacle detection device and vehicle with the device mounted thereon | |
| US20160012307A1 (en) | Road sign recognition device | |
| JP2006350670A (en) | Night driving visibility support system | |
| JP2011227657A (en) | Device for monitoring periphery of vehicle | |
| JP4615536B2 (en) | Display device | |
| JP2010136207A (en) | System for detecting and displaying pedestrian | |
| JP2018106239A (en) | Image processing apparatus, image processing method and image processing program | |
| JP6168024B2 (en) | Captured image display device, captured image display method, and captured image display program | |
| JP7295645B2 (en) | Vehicle road sign recognition support device | |
| JP2011065280A (en) | Image processing apparatus, surroundings monitoring system and operation support system | |
| JP2017200035A (en) | Vehicle display control device, vehicle display system, vehicle display control method, and program | |
| JP6327388B2 (en) | Captured image display device, captured image display method, and captured image display program | |
| US20200039437A1 (en) | Image processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121017 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130906 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140415 |